/********************************源代码*******************************/
//贝叶斯分类器所需函数的声明：2006/11/13
#ifndef _BAYES_H
#define _BAYES_H
#include"matrix.h"
//正态分布的监督参数估计：最大似然估计
//此函数用于求样本的均值向量U
//参数 X 代表一类样本集，X 是一个 n x d 的矩阵
//代表 n 个 特征空间维数为 d 的样本
//每行代表一个样本
Matrix getU(const Matrix &X);
//正态分布的监督参数估计：最大似然估计
//此函数用于求样本的协方差矩阵E
//参数 X 代表一类样本集，X 是一个 n x d 的矩阵
//代表 n 个 特征空间维数为 d 的样本
//每行代表一个样本
//参数 U 是该样本的均值向量，可用上面的 getU() 函数求得
Matrix getE(const Matrix &X, const Matrix &U);
//多元正态概率型下的最小错误率贝叶斯判别函数
//U 为每个类的均值向量
//E 为每个类的协方差矩阵
//Pw 为某类样本的先验概率
//X 为要判别的样本
//其返回值为样本类别的代号，范围是 1, 2, ..., c，c为类别数
int bayesFun(const Matrix U[], const Matrix E[],
const double Pw[],const Matrix &X, int c);
//贝叶斯分类器
//X[c] 为总体样本集,每个数组元素为一个类的样本集
//X 为要判别的样本
//c：类别数
void bayesDepart(const Matrix X[], const double Pw[],
const Matrix &x, int c, char* name[]);
//下面是此贝叶斯分类器需要给定的参数
//这里只作声明，相应的定义在bayesapp.cpp中
extern int c; //类别数
extern char* name[]; //类别名称
extern double Pw[]; //每类样本的先验概率
extern Matrix X[]; //总体样本集，数组中的每个矩阵代表一类样本集，
//矩阵中的每一行代表此类样本集的一个样本
#endif
//贝叶斯分类器中相应函数的实现：2006/11/13
#include<iostream.h>
#include<math.h>
#include"bayes.h"
#include"matrix.h"
#include<stdlib.h>
//计算均值向量U
Matrix getU(const Matrix &X)
{
int d = X.getCol();
int n = X.getRow();
Matrix U(d, 1); //U=(u1,u2,...,ud)^T，
//用 d x 1 的矩阵表示
for(int k=0; k<n; k++) //k 代表第 k 个样本
for(int j=0; j<d; j++) //j 代表样本的第 j 个特征值
U.set(j, 0, U.get(j,0)+X.get(k,j));
//这里要注意对矩阵元素的访问下标是从 0 开始的
return 1.0/n * U; //U 是所有样本的均值，故加和后除以样本总数
}
//计算协方差矩阵E
Matrix getE(const Matrix &X, const Matrix &U)
{
int d = X.getCol(); //X 的列数代表特征空间维数
int n = X.getRow(); //X 的每一行代表一个样本
Matrix E(d, d); //E 是 d x d 维矩阵，d 为每个样本特征空间数
//故此处可以用 X 列数来初始化它
double *ar = new double[d]; //此数组用于从矩阵中提取行，创建新矩阵
//从而可以进行下面的矩阵运算
for(int k=0; k<n; k++){ //k 代表第 k 个样本
for(int j=0; j<d; j++)
ar[j] = X.get(k, j); //将 X 的一行元素值放入数组 ar 中
Matrix Xk(d, 1, ar); //利用 ar 创建矩阵
E = E + (Xk - U) * trv(Xk - U); //(X-U) * (X-U)^T
}
delete[] ar; //释放动态分配的数组空间
//E 是 n 个矩阵( (Xk - U)与其转置的乘积 )的算术平均
return 1.0/n * E;
}
//贝叶斯判别函数
int bayesFun(const Matrix U[], const Matrix E[],
const double Pw[],const Matrix &X, int c)
{
double testPw = 0;
for(int w=0; w<c; w++){
if(Pw[w] <= 0){
cout << "Wrong Pw\n"; exit(0); }
testPw += Pw[w];
if(det(E[w]) == 0){
cout << "Check input, E[" << w << "]=0!\n";
exit(0); }
}
if(testPw != 1){
cout << "Wrong Pw\n"; exit(0); }
//对于贝叶斯判别函数中的 -d/2 * ln(2*PI)项因与 i 无关故可去掉
//另外(X-U)(E^-1)(X-U)^T 的计算结果虽然是一个数，但在这里
//其表示为一个一行一列的矩阵，因此需要对其求行列式值后才能
//赋给左边的 double maxg
double maxg = -1.0/2 * det( trv(X-U[0]) * inv(E[0]) * (X-U[0]) )
-1.0/2 * log(det(E[0])) + log(Pw[0]);
int code = 0; //用来返回类别代号
//求使得贝叶斯判别函数取得最大值类
for(int i=1; i<c; i++){
double g = -1.0/2 * det( trv(X-U) * inv(E) * (X-U) )
-1.0/2 * log(det(E)) + log(Pw);
if(g > maxg){
maxg = g;
code = i;
}
}//for i
return code;
}//bayesFun()
//贝叶斯分类器
void bayesDepart(const Matrix X[], const double Pw[],
const Matrix &x, int c, char* name[])
{
Matrix* U = new Matrix[c];
Matrix* E = new Matrix[c];
//先求出每个类的均值向量和协方差矩阵
for(int i=0; i<c; i++){
U = getU(X);
E = getE(X, U);
}
//调用贝叶斯判别函数，判断X所属类别，输出类别名称
cout << name[bayesFun(U,E,Pw,x,c)];
}
//贝叶斯分类器：2006/11/13
#include<iostream.h>
#include<conio.h>
#include"bayes.h"
//这个宏仅为了少写些代码
#define test(arx) \
{ \
for(int i=0; i<25; i++){ \
Matrix x(d,1,arx); \
bayesDepart(X, Pw, x, c, name); \
cout << ' '; \
if((i+1)%5 == 0) cout << endl; \
} \
cout << "--------------\n"; \
} \
void main()
{
cout << "\n==============\n";
//样本集分为 2 个类别，特征空间维数为 2，每个类别 25 个样本
const int c = 2, d = 2, n = 25;
//类别名称分别为 w1 和 w2
char* name[c] = {"w1", "w2"};
//两个类别的先验概率，可以给予不同的值，观察结果变化
double Pw[c] = { 0.5, 0.5 };
//数组 X为 i 类别的样本集，X 为总样本集
Matrix* X = new Matrix[c];
//类别 w1 的样本数据，
//特征值 1 集中在 4|5附近，特征值 2 集中在 13 附近
double ar0[] = {
1,11.45, 2,12.46, 3,13.78, 3,13.62, 4,13.84,
4,11.26, 4,15.28, 4,17.29, 4,21.36, 5,15.46,
5,13.63, 5,13.78, 5,12.29, 5,14.55, 5,21.73,
5,14.12, 5,15.34, 6,13.66, 6,13.21, 6,14.02,
7,12.16, 7,19.88, 7,10.21, 8,12.29, 9,15.52 };
//类别 w2 的样本数据
//特征值 1 集中在 7|8附近，特征值 2 集中在 19 附近
double ar1[] = {
1,19.76, 2,21.43, 3,18.79, 4,19.84, 5,18.75,
5,21.45, 5,18.78, 6,19.72, 7,19.04, 7,21.27,
7,20.01, 7,18.99, 7,19.67, 8,17.98, 8,14.26,
8,18.99, 8,15.67, 8,22.01, 8,21.91, 8,19.03,
9,18.97, 9,18.92, 9,19.34, 9,19.28, 9,17.63 };
//将两个类别的样本数组构造为矩阵
Matrix X0(n,d,ar0);
Matrix X1(n,d,ar1);
//放入总样本集中便于下面的参数传递
X[0] = X0;
X[1] = X1;
//测试样本数据，其中前两个与原样本相同，第三个为随机输入
//可以改变第三个样本中的数据值，观察结果变化
double arx0[25][2] = {
1,11.45, 2,12.46, 3,13.78, 3,13.62, 4,13.84,
4,11.26, 4,15.28, 4,17.29, 4,21.36, 5,15.46,
5,13.63, 5,13.78, 5,12.29, 5,14.55, 5,21.73,
5,14.12, 5,15.34, 6,17.66, 6,13.21, 6,14.02,
7,12.16, 7,19.88, 8,10.21, 9,12.29, 10,15.52 };
double arx1[25][2] = {
1,19.76, 2,21.43, 3,18.79, 4,19.84, 5,18.75,
5,21.45, 5,18.78, 6,19.72, 7,19.04, 7,21.27,
7,20.01, 7,18.99, 7,19.67, 8,17.98, 8,14.26,
8,18.99, 8,15.67, 8,22.01, 8,21.91, 8,19.03,
9,18.97, 9,18.92, 10,19.34,10,19.28,11,17.63 };
double arx2[25][2] = {
3,14.56, 5,12.35, 7,19.89, 8,25.37, 11,26.10,
3,14.29, 6,29.28, 5,16.19, 5,21.19, 8,27.19,
8,18.28, 7,17.15, 6,14.12, 6,14.13, 1,25.10,
5,16.29, 6,19.80, 10,19.34, 8,15.09,6,17.20,
6,12.20, 8,19.21, 2,19.29, 5,16.10, 7,18.23 };
test(arx0);
test(arx1);
test(arx2);
//试着输入与（4|5，13）接近的样本，看结果是否为 w1
//试着输入与（7|8，19）接近的样本，看结果是否为 w2
//改变先验概率，看结果是否发生改变
double testAr[2];
char ch = ' ';
while(ch != 'q'){
if(ch == 'p'){
cout << "Please enter Pw[1] and Pw[2]:\n";
cin >> Pw[0] >> Pw[1];
}
cout << "Please enter what you want test :\n";
cin >> testAr[0] >> testAr[1];
Matrix x(d,1,testAr);
bayesDepart(X, Pw, x, c, name);
cout << "\nPress any key to continue\n";
cout << "q to exit\n";
cout << "p to change Pw\n";
ch = getch();
}
} |
发表于 2008-11-26 21:14
提升卡
变色卡
显身卡
楼主