system: [SYSTEM]

user: 3. 基于特征项位置及类内、类间分布信息的CHI优化 3.1. CHI方法特点以及存在问题 统计方法描述如下：记 为第 类文本集， 为类 内文本数， ； 为文本集， 为文本总数， 为特征项集合。 在 统计( CHI)方法中，特征项 和类别 之间的相关性度量如(1)式所示： (1) 其中，A表示S里包含 并且属于 的文本数，B表示S里包含 但是不属于 的文本数； 表示 中不含 的文本数； 表示不在 中且不含 的文本数。 数值 是量化特征项 和类别 之间的相互关系程度的指标，反映的是特征项在文本集里的分布状况信息，体现的是文本与特征之间的相互依存程度。 该模型的意义是 值越大，表示特征项 和类别 之间的相关性越高。当 与 相互独立时有 ，这意味着 不含有 的任何类别信息。而特征项 在整个文本集里的度量值如下式所示： (2) 该方法的主要优点是计算量较小并且算法复杂度较低，从语义角度看模型的设计易于理解、使用方便，在类别分布相对均匀的情况下分类效果较好。 对(1)式的结构进行理论分析可以发现模型的不足之处：一是特征项与类别之间的正负相关性没有区分；二是模型的设计没有考虑类别之间文本数目大小对特征项权值的影响；三是该方法是基于含有 的文本数为计量单位，没有考虑 在类内的词频因素对模型的影响；四是没有考虑 在文本的不同位置上对其类别表现能力的影响，对这些方面模型设计的不足之处逐步优化是可以提高模型的特征选择性能。 3.2. 基于特征项、类别之间正负相关性的模型优化 注意到(1)式中A是包含 的属于 的文本数， 是类 中不含 的文本数，因此 为类 中文本数；此时由B与D的定义易知有 表示文本集S里除去类 的剩余文本数，对于确定的文本集S来说这两个值为常数。因而(1)式可以表示为： (3) 对上式中因子 的结构进行分析是模型优化的可能途径。 类别属性表现能力强的特征项的共同特点是仅在一个类别或少数几个类别内的文本里频繁出现、同时在其他类别内却很少出现[ 7 ] 。这个思想反映在(3)式中，是指对于类别属性较强的特征项 及其所属类别 之间的关系为 内含有 的文本数应该很多，即A值应该较大；相应的根据 可以推得C值应该较小，所以A/C值就变得较大。另一方面，由于其它类内含有 的文本数应该较少，从而B值较小，而根据关系 可知 应该较大，从而B/D的值应该较小。这样应有不等式 ，由此推得满足： (4) 也就是说符合(4)式的特征项 的类别表现能力强。 反之，那些在所属类内文本中出现的次数很少、同时在其他类内的文本里出现的次数较多的特征项，A/C值就变得较小，而B/D的值应该较大，从而这样的特征项相应的基于文本的特征频数信息应满足 ，由此得到 (5) 即满足(5)式的特征项的类别表现能力很差，应该避免选择这样的特征项。 但是分析CHI模型(3)式可以发现：其因子 是以 形式进行计算，这就掩盖了(4)式与(5)式的正负性问题。 事实上符合(4)式的特征项与类别之间是呈正相关性，而符合(5)式的特征项与类别之间呈负相关性，特征选择只能选择符合(4)式的特征项，而呈负相关性的特征经常是类内低频词，应该被剔除。为此考虑对(3)式进行优化。 记： (6) 将(3)式改进为： (7) (7)式将与类别之间存在负相关的特征项删除，排除低频词对特征选择的干扰。 3.3. 基于特征分布信息的模型优化 3.3.1. 类偏斜条件下基于类内文本频数分布的模型优化 由于CHI模型是基于类别的特征项分类性能评估，所以类别之间的文本数目差异经常导致小类别文本特征无法被选择到，这是因为小类别内类别表现能力较强的特征即使其类内的频数较大，但是由于类内文本数量偏低使得其CHI值很难超过阈值而被选出。这种小类别样本被淹没现象会影响CHI模型的特征选择性能。但是类偏斜现象却是文本分类中的常见现象，特别是在基于web的文本自动分类过程中。因此对类偏斜条件下模型的优化有助于提高模型的适应性。 记 表示在类 内含有特征项 的文本数， 。在类 内由于含有特征项的文本频数随着类内文本数目的大小而波动，因此特征项的频数大小不能真正反映其类别表现能力，而频率的大小从一个方面体现了 的类别属性。一般说来类别属性较强的特征项 在其类内相应的文本频率应较大，而类别属性较差的特征项在类内出现的文本频率应该较小，这一指标基本不受类别分布倾斜程度的影响。故考虑引入权重因子(8)修正 与类 之间的相关程度： 上式体现出 随着类 内文本数量增加其权重 降低的趋势，从而大类别样本的特征项占优现象将得到相应抑制。 考虑到利用 的类间分布信息，故对上式作归一化处理： ， (8) 进而对(7)式优化得： (9) 3.3.2. 基于特征项的类内频数分布信息模型优化 特征项的基于文本的类内出现频率是量化其类别表示能力的一个因素，而其在类内不同文本之间出现的词频数目的大小是反映其类别表现能力的另一个因素 [ 8 ] 。注意到(3)式中的A、B、C、D表示的是与特征项 对应的文本频数相关信息，体现的是否含有以及不含有特征项 的文本在各个类别 内出现或者不出现的频数，是以文本数为基本计算单位，并没有反映特征项 的词频数，因而词频信息没有被充分利用。这种度量方式的不足之处是明显的： 假定特征项 、 在 内的大多数文本 中出现同时在其它类别内很少出现，则这两个特征项均可能是 的类别特征项。由(3)式可以判定特征项 、 与类别 之间的 值相差不大；但是假如 在 内的文本里出现的频数远远大于 在 内文本里出现的频数，即假设 表示特征项 在 类内的文本 ， 内出现的频数，且满足 ，此时 对 内文本的表 现能力远远超过 ，反映出 的特征项特点更加明显。但是(3)式却无法体现出这种差异性。 显然在一个或少数几个类别内出现的频率越大的特征项对该类别具有更强的类属表现能力。为此记： ， 并将上式进行归一化。为此引入权重因子： (10) 将(9)式进一步改进为： (11) 3.3.3. 基于特征项的类间频数分布信息模型再优化 特征项的类别表现能力也体现在类间的词频差异上。类别属性强的特征项 应该集中出现在少数类别文本里、同时在其它类别内较少或者不出现。这一特点在词频数据分布方面表现为特征项在不同类别的词频数之间的离散性较大，从统计学角度考虑体现为样本之间的方差较大时特征项的类别属性较强，并且样本方差是总体方差的无偏估计，因此使用样本方差对 在不同类别的词频数分布信息进行量化是 合理的。记 表示特征项 在类 内出现的频数， ，则 在各个类别之间出现频数的样本均方差为 (12) 其中 为样本均值。 将(12)式作归一化处理，记 ， (13) (11)式则相应的改进为： (14) 3.3.4. 基于特征在文本内位置的CHI模型再优化 特征项在文本里出现的位置不同，其类别标引能力的差异会很大。一般说来，文章标题是该文主旨内容的概括与总结，文章摘要精炼了文章的核心内容，关键词及章节标题则反映了文章的主体布局，这些位置上出现的特征项的类别属性要远远大于正文里出现的特征项。 研究表明 [ 9 ] ：特征项对文本表达能力从大到小顺序为：标题 > 摘要 > 关键词 > 副标题 > 第一段首句 > 第一段尾句 > 尾段 > 其它，实验表明 [ 10 ] ：文章标题、摘要、首段；章节标题、第一段首句、第一段尾句、文本其他部分对主题的表现能力权重为5:5:5:4:4:4:2。因此将训练集作相应处理以体现不同位置的特征项在文本类别表示方面的差异。方法如下： 1) 将训练文本集分解为三部分，第一部分由文章标题、关键词、摘要及首段组成；第二部分包含章节标题、第一段首句、第一段尾句；其他内容属于第三部分，分别归入3个集合 里，形成3个“伪训练集”， 里文本类别属性与原始训练集一致； 2) 对于特征项 ，使用(14)式在 内计算其与类别 之间的CHI值，分别记为 ； 3) 特征项 与类别 之间对应的最终 值为： (15) 特征项 在整个文本集里的 值如下式所示： (16)