非参数判别分类法

非参数判别分类法——线性分类器，线性判别，感知准则，最小平方误差准则，近邻法


第三章　非参数判别分类方法


3.1引言

第二章的一些重要概念
样本Ｘ用特征表示
概率密度函数，后验概率
特征空间分布规律
训练集（直接）表示
分类——确定特征空间的合理划分——决策域
决策域——具有同一属性元素的集合
例：线性决策域，两维
[pic]
分界面：
[pic]
椭圆形决策域：
分界面[pic]
复杂划分
划分的实质：确定分界面方程的复杂程度
制约的因素：
（1）最佳准则的选择——不同选择在同样分布下得到不同结果。
（2）计算的复杂度——线性、二次函数、……
对复杂度不加限制的方法：
贝叶斯决策提供理论基础，没有考虑复杂度。随着样本的不同分布，分界面方程会呈
现不同的复杂度、近邻法也不子限定复杂度。
对复杂度加限制的方法：
在限定复杂度，或函数形式条件下求最佳。

3.2线性分类器

判别函数：
[pic]
判别规则：
如果[pic]，则[pic]
第i与第j类的决策域分界面一定是线性分界面
设计方法：
（1）确定最佳准则函数J
（2）找到使J达极值时[pic]及[pic]的计算方法。
（3）按所确定的计算方法计算[pic]及[pic]

3.2.4 Fisher线性判别函数

讨论范围：两类别，二维空间
任务：给定训练集，设计分界面
W权向量——决定分界面方向
[pic]阈值——在方向确定条件下确定分界面位置
[pic]的意义（1）向量点积 （2）投影
好的W：p42.图3.2
1. 同类样本在W上的投影聚集性强
2. 不同在样本在W上的投影离散性强
表示成可计算形式：投影是一个数量
均值：[pic]　[pic]
离数度：