system: [SYSTEM]

user: 3. 全局加局部的线性判别投影 3.1. 增强组间线性判别投影(EWLDP) 3.1.1. 局部相似性 局部相似性指的是近邻且同类的样本点之间的相似性 [ 11 ] ，当样本点的距离越近，相似性越强。前面提到，LDP算法只考虑样本中的全局信息而忽略了局部样本间的信息，然而在实际场景中，局部信息对判别分类更具有意义。在本章节，首先提出一种新算法增强组间线性判别投影(EWLDP)，将局部相似信息融合到LDP目标函数中。 局部相似信息在局部保留投影(LPP)中有很好的定义，EWLDP沿用LPP算法中保留局部相似信息的技巧，并结合监督学习的分类标签，将局部相似矩阵整合到LDP目标函数中。 LPP的基本思想是保留样本点的局部相似信息进行投影降维，目标函数为： 1 2 arg min v ∑ i ， j ‖ v ′ x i − v ′ x j ‖ 2 S i j (3-1) 其中权重矩阵S为一个相似矩阵， S i j 表示样本 x i ， x j 的相似性。S一共有两种定义方式： S i j = { exp ( − ‖ x i − x j ‖ 2 / t ) ，             ‖ x i − x j ‖ 2 < δ 0 ，                                                                           else (3-2) S i j = { exp ( − ‖ x i − x j ‖ 2 / t ) ，           x i ∈ N k ( x j )     or     x j ∈ N k ( x i ) 0 ，                                                                                 else (3-3) 其中 δ 表示局部领域的半径，通常 δ 取值较小且 δ > 0 ； x i ∈ N k ( x j ) 表示样本点 x i 属于样本点 x j 的k近邻点， x j ∈ N k ( x i ) 同理。从以上两种定义可以看出，当样本点距离越小，相似性越强，则权重越大。近邻点投影后的在一维空间中的距离变大，会给目标函数带来更大的惩罚。LPP算法就是通过增强近邻点之间的在惩罚函数中的权重系数，从而达到保留局部相似信息的目的。 然而上述两种定义的矩阵S都没有考虑样本标签，即认为近邻点属于相同类别，非近邻点属于不同类别。在实际场景中，近邻点往往包含异类样本点。为了提高分类准确度，需要考虑样本标签，重新定义相似矩阵S： S i j = { exp ( − ‖ x i − x j ‖ 2 / t ) ，         ‖ x i − x j ‖ 2 < δ     and     y i = y j 0 ，                                                                                   else (3-4) S i j = { exp ( − ‖ x i − x j ‖ 2 / t ) ，       x i ∈ N k ( x j )     or     x j ∈ N k ( x i )     and     y i = y j 0 ，                                                                                       else (3-5) 其中 y i ， y j 分别代表样本 x i ， x j 的类别标签。从以上两个定义可以看出，新的权重系数只考虑邻近且同类的样本点，其余为零。 下面对目标函数(3-1)进行代数运算，使目标函数的形式与子目标(2-5)的形式一致，从而更方便融合到LDP的目标函数中： 1 2 min ∑ i ， j ‖ v ′ x i − v ′ x j ‖ 2 S i j = 1 2 min ∑ i ， j ( v ′ x i − v ′ x j ) ( v ′ x i − v ′ x j ) ′ S i j = 1 2 min ∑ i ， j v ′ ( x i − x j ) S i j ( x i − x j ) ′ v = 1 2 min { v ′ [ ∑ i ， j ( x i − x j ) S i j ( x i − x j ) ′ ] v } = 1 2 min [ v ′ ( 2 ∑ i ， j x i S i j x ′ i − 2 ∑ i ， j x i S i j x ′ j ) v ] = min v ′ ( X D X ′ − X S X ′ ) v = min v ′ S L W v (3-6) 其中 D = d i a g ( D 11 ， ⋯ ， D n n ) ， D i i = ∑ j = 1 n S i j ( i = 1 ， ⋯ ， n ) 。称 S L W = X ( D − S ) X ′ 为局部组内离散矩阵。 3.1.2. 算法原理 根据前面提到的三个目标函数(2-4)、(2-5)、(3-6)，其中组间离散矩阵 C D 、组内离散矩阵 C S 保留了全局信息，局部组内离散矩阵 S L W 保留了局部相似信息，下面提出EWLDP的目标函数： arg max v v ′ C D v v ′ [ α C S + ( 1 − α ) S L W ] v (3-7) 其中参数 α ∈ ( 0 ， 1 ) 权衡了组内离散矩阵 C S 和局部组内离散矩阵 S L W 。 结合以上两个组内信息矩阵，得到一个完全的组内离散矩阵： C T W = α C S + ( 1 − α ) S L W (3-8) 于是EWLDP的目标函数(3-7)可以记为： arg max v v ′ C D v v ′ C T W v (3-9) 当 α = 1 时，即为LDP算法。 和LDA类似，求解式(3-9)的问题，对应求解广义特征问题： C D v = λ C T W v (3-10) 所以最优投影方向 为 C T W − 1 C D 的最大特征值对应的特征向量。 3.2. 完全线性判别投影(CGLDP) 3.2.1. 局部模式差异性 模式差异性表示了样本点的分布特性，当一个总体的样本点分布较分散，则其模式差异性越大；当该总体的样本点分布较集中，则其模式差异性越小。局部模式差异性指的是近邻样本点之间的模式差异性，当样本点距离越大，则模式差异性越大 [ 11 ] 。局部模式差异性分为局部组间模式差异性以及局部组内模式差异性，分别指近邻异类样本点之间的模式差异性和近邻同类样本点之间的模式差异性。 上一节提出了考虑局部相似信息的EWLDP算法，然而没有考虑所有的局部信息。局部信息一共分为三种：局部相似性、局部组间模式差异性以及局部组内模式差异性。为了投影后仍然保留局部模式差异性，建立目标函数： 1 2 arg max v ∑ i ， j ‖ v ′ x i − v ′ x j ‖ 2 W i j (3-11) 其中权重矩阵W表示样本点之间的模式差异性，当样本点 x i ， x j 之间距离越大，则权重 W i j 越大。 首先为了保留局部组内模式差异性，定义权重矩阵W： W i j = { exp ( − t / ‖ x i − x j ‖ 2 ) ，       x i ∈ N k ( x j )     or     x j ∈ N k ( x i )     and     y i = y j 0 ，                                                                                         else (3-12) 从而最大化目标函数(3-11)，使得局部组内模式差异性在新的降维特征空间中得到很好的保留。然而定义(3-12)只保留了局部组内模式差异性，而忽略了局部组间模式差异性。在实际场景中，局部组间模式差异性对选择投影方向起着决定性作用，模式差异性越大的近邻样本点更能决定投影方向。同时从另一个方面，处于决策边界的异类样本点往往存在异常点，保留局部组间模式差异性可以提升新特征空间的泛化能力。 通过最大化投影后的局部组内模式差异性和局部组间模式差异性，重新定义权重矩阵W： W i j = { exp ( − t / ‖ x i − x j ‖ 2 ) ( 1 + exp ( − ‖ x i − x j ‖ 2 / t ) ) ，     x i ∈ N k ( x j )     or     x j ∈ N k ( x i )     and     y i = y j exp ( − t / ‖ x i − x j ‖ 2 ) ( 1 − exp ( − ‖ x i − x j ‖ 2 / t ) ) ，     x i ∈ N k ( x j )     or     x j ∈ N k ( x i )     and     y i ≠ y j 0 ，                                                                                                                                                         else (3-13) 结合权重矩阵(3-13)最大化目标函数(3-11)，即若近邻样本点(包括同类和异类)距离较大，则投影后距离也应该较大，从而保留样本的局部模式差异性。 下面对目标函数(3-11)进行代数运算，使目标函数的形式与子目标(2-4)的形式一致，从而更方便融合到EWLDP的目标函数中： 1 2 max ∑ i ， j ‖ v ′ x i − v ′ x j ‖ 2 W i j = 1 2 max ∑ i ， j ( v ′ x i − v ′ x j ) ( v ′ x i − v ′ x j ) ′ W i j = 1 2 max ∑ i ， j v ′ ( x i − x j ) W i j ( x i − x j ) ′ v = 1 2 max { v ′ [ ∑ i ， j ( x i − x j ) W i j ( x i − x j ) ′ ] v } = 1 2 max [ v ′ ( 2 ∑ i ， j x i W i j x ′ i − 2 ∑ i ， j x i W i j x ′ j ) v ] = max v ′ ( X P X ′ − X W X ′ ) v = max v ′ S L P v (3-14) 其中 P = d i a g ( P 11 ， ⋯ ， P n n ) ， P i i = ∑ j = 1 n W i j ( i = 1 ， ⋯ ， n ) 。称 S L P = X ( P − W ) X ′ 为局部模式差异矩阵。 3.2.2. 算法原理 根据前面提到的四个目标函数(2-4)、(2-5)、(3-6)、(3-14)，其中组间离散矩阵 C D 、组内离散矩阵 C S 保留了全局信息，局部组内离散矩阵 S L W 保留了局部相似信息，局部模式差异矩阵 S L P 保留了局部相似信息。下面提出CGLDP的目标函数： arg max v v ′ [ β C D + ( 1 − β ) S L P ] v v ′ [ α C S + ( 1 − α ) S L W ] v (3-15) 其中参数 β ∈ ( 0 ， 1 ) 权衡了组间离散矩阵 C D 和局部模式差异矩阵 S L P 。 结合以上两个矩阵，得到一个完全的差异矩阵： C T D = β C D + ( 1 − β ) S L P (3-16) 于是CGLDP的目标函数(3-7)可以记为： arg max v v ′ C T D v v ′ C T W v (3-17) 当 β = 1 时，即为EWLDP算法；当 α ， β = 1 时，即为LDP算法。 和LDA类似，求解式(3-17)的问题，对应求解广义特征问题： C T D v = λ C T W v (3-18) 所以最优投影方向v为 C T W − 1 C T D 的最大特征值对应的特征向量的问题，对应求解广义特征问题： C T D v = λ C T W v (3-18) 所以最优投影方向v为 C T W − 1 C T D 的最大特征值对应的特征向量。