资料介绍
电子信息和通信论文
基于最优互信息的特征选取
摘 要
本文提出一种新的多层神经网络的特征提取的方法。基于所提出的每个特征的评价函数
值,此方法能够给出所有特征的排序。该方法在人造数据集和真实数据集上进行了实验。
实验结果表明OMI能够准确地高效地在各种数据集上鉴别出最优特征集。
关键词 特征选取;特征排序;神经网络;多层神经网络
1 引言
随着信息科学技术的快速发展,在工业界和学术界有着更复杂和更大的多变量建模问题。
研究人员发现当不相关和冗余的特征向量剔除之后,模式识别技术的性能将显着的提高。
由此,特征提取成为了数据预处理和数据挖掘技术的重要的步骤之一。具体来讲,特征提
取有助于在线计算,加强系统的可读性,以及提高系统的预测性能。
一般来讲,特征选择有两大步骤:计算评价函数值和特征子集搜寻[1]。评价函数要能反映
出特征向量与数据类信息的匹配度信息,以及分类器性能变化的信息。而就特征子集搜寻
来讲,为了避免繁冗的无遗漏搜寻,一些被大多数学者认可的搜寻方法被广泛采用,例如:
前向选择,后向删除,双向搜寻等等[2]。与完全搜寻和随即搜寻相比,这三种顺序的搜寻
方法都能简单而快速的执行。
在构造输入数据和输出数据的复杂映射方面,由于多层神经网络(MLP)的卓越性能,因而M
LP被广泛的采用。本文采用MLP来作为分类器,来展示各种特征选取方法在各个数据集上
的分类性能。
2 最优互信息
根据Shannon信息理论,一个随机变量C的不确定性可以由熵H(C)来估计。对于两个随机变
量X和C,条件熵可以估计当变量X已知时,变量C的不确定性。而互信息可以估计变量C和变
量X的相互依赖性。从而,H(C) , 和 三者有如下的关系[3]:
,等价于
(1)
训练分类模型的目的是最小化已知训练数据与类属性数据的不
我要上传