system: [SYSTEM]

user: 3. KN-SC算法及证明 为了清楚地描述我们提出的新方法。我们首先在第3.1节中定义基本概念，然后在第3.2节中描述建议的KNRS方法。 3.1. 概念定义 给定数据集， D = { X 1 ， X 2 ， ⋯ ， X n } ，d是每个点的维数。 定义1：k近邻图矩阵A。 点之间的欧几里得距离定义为： d ( i ， j ) = ( x i 1 − x j 1 ) 2 + ( x i 2 − x j 2 ) 2 + ⋯ + ( x i n − x j n ) 2 (1) A ( i ， j ) = { 1 ;       if   j th point distance ≤ k th   points distance 0 ;     if   j th point distance > k th points distance (2) k是KNRS的参数，k用于找出每个点的k个最近邻。 定义2：k近邻关系 ρ 。 ρ = exp ( − x + log ( 1 − α ) ) (3) 式(3)是归一化的。是KNRS的参数通常用于调整，可选参数的范围易于确定，用户可以轻松快捷地选择最佳参数。(根据重复的实验验证和结果比较，值通常为0.8，0.9)。x是矩阵A的每一行的总和除以k。 x = ( ∑ i = 1 n A ) / k (4) 定义3：eigengap δ。 定理1：根据Davis-Kahan定理， H ∈ R n × n 为对称矩阵，而 ‖   ⋅   ‖ 为frobenius范数或矩阵的2范数。将 A ˜ = A + H 视作A加扰动。令 S 1 ⊂ R 为间隔。用 σ s 1 ( A ) 表示包含在其中的A个特征值的集合，用V 1 表示与所有这些特征值相对应的本征空间，将 S 1 之外的A的谱与 S 1 之间的距离定义为： δ = min { | λ − s | ; λ   eigenvalue   of   A ， λ ∉ S 1 ， s ∈ S 1 } (5) V 1 和 V ˜ 1 之间的距离 d ( V 1 ， V ˜ 1 ) 的范围为： d ( V 1 ， V ˜ 1 ) ≤ ‖ H ‖ δ (6) 这表明，d越小越好，越接近理想分割，δ越大d值便越小即效果越好。在本文中我们将δ定义为eigengap。 3.2. KNRS算法 KNRS方法包括五个阶段，大致流程如图1所示。 第一步：为所有的数据点构造完整的连接图(每个样本的邻居数)，我们使用到完整连接图的欧几里德距离并获得连接矩阵。按距离d排序，根据给定k的数量选择最近的k个点。根据等式(2)，最后我们得到一个最近邻图矩阵A。 第二步：找到k个邻居关系 ρ 。根据等式(3)，我们得到k个邻居关系 ρ 。由于相似矩阵具有对称性，因此将 ρ 转换为对称矩阵可得到最终 ρ 。通过 ρ 的模型可以方便准确地发现数据集中包含的密度信息。可以反映数据的内在结构，考虑到邻居对他们密度的影响。生成的新亲和度矩阵可以增加应该在同一类中的点对的相似度，并使近点越来越近。使改进的算法对离群点不那么敏感。 第三步：得到KNRS相似度矩阵W。基于完全连接图和k邻居关系 ρ 计算的相似度矩阵，更新相似度矩阵。(此类相似性函数的一个示例是高斯相似度函数，其中参数控制邻域的宽度)。 根据上述步骤获得的更新的相似度矩阵，KNRS相似度矩阵W不仅考虑了其邻居的分布，而且还充分考虑了数据集的分布结构，真正体现了数据点之间的相似度。 第四步，根据相似度矩阵，得到相应的正则化或不规则化的拉普拉斯矩阵，通过对拉普拉斯矩阵进行特征分解，得到特征值及其对应的特征向量。计算D矩阵，度矩阵D是对角矩阵，其元素 D i i ( D i i = ∑ j = 1 n W i j ) 是点 x i 的度。拉普拉斯矩阵 [ 30 ] [ 31 ] [ 32 ] 通常分为两类 [ 6 ]。非正则化拉普拉斯矩阵和正则化的拉普拉斯矩阵。 非正则化拉普拉斯矩阵定义为： L = D − W (7) 图1. KNRS算法流程图 正则化拉普拉斯矩阵分为两种矩阵( L s y m 和 L r w )：对称正则化的拉普拉斯矩阵和非对称正则化的拉普拉斯矩阵。 定理2：G是具有非负权重的无向图，具有k个连通子图 A 1 ， A 2 ， ⋯ ， A k 。 L s y m 和 L r w 的特征值0的数量等于图中连接子图的数量。对于 L r w 来说，特征向量 I 1 ， I 2 ， ⋯ ， I k 划分k个特征空间，对于 L s y m 来说，可通 过特征向量 D 1 2 I A i 获得k个特征子空间。两个矩阵彼此密切相关，并定义为： L s y m = D − 1 / 2 L D 1 / 2 = I − D − 1 2 W D 1 2 (8) L r w = D − 1 L = I − D − 1 W . (9) 命题1：方程(8)正则化拉普拉斯矩阵的性质。 对于每一个 f ∈ R n ，我们都有等式(10)。 L s y m 和 L r w 是正半定值，并且具有非负实值特征值 0 = λ 1 ≤ ⋯ ≤ λ n ，最小特征值是0。 (10) 由于上述定理2和命题1： 证明1：证明方程式 f T L f = f T ( I − D − 1 2 W D − 1 2 ) f = ∑ i = 1 n f i 2 − ∑ i ， j = 1 n f i f j w i j d i d j = 1 2 ( ∑ i = 1 n f i 2 + ∑ j = 1 n f j 2 − 2 ∑ i ， j = 1 n f i f j w i j d i d j ) = 1 2 ∑ i ， j = 1 n w i j ( f i d i − f j d j ) 2 (11) 最后，得到拉普拉斯矩阵L，然后选择特征向量形成特征向量空间，并在特征向量空间中采用聚类算法如k均值算法。算法流总结为： 1. 第一步，构建完整的连接图并选择最近的k个点，获得k个最近的邻居矩阵W。 2. 第二步，找到k邻居关系。 3. 第三步，获得新的相似矩阵W。 4. 第四步，获得拉普拉斯矩阵L。 5. 第五步，使用例如K-均值算法得到最终的聚类结果。 3.3. KNRS算法相关证明 由于(等式(8))，得到 L = D − 1 2 ( D − W ) D 1 2 ，eigengap取决于L的特征值，L的特征值基本上由 D − W 确 定。令 f ( ⋅ ) 为计算特征值的函数。 引理1： f ( D − W ) 下限的渐近分析： f ( D − W ) ≥ f ( e min I − W ) ~ e min − λ ≥ e min − λ max ≥ e min − min ( ‖ W ‖ ∞ ， ‖ W ‖ 1 ) (12) 矩阵A的每个特征值的模数(绝对值)不超过矩阵A的范数 ‖ A ‖ 。 ‖ λ i ‖ < ‖ A ‖ 。“~”代表渐近分析。 max 1 ≤ i ≤ n | λ i | ≤ ‖ A ‖ 1 = max 1 ≤ j ≤ n ∑ i = 1 n | a i j | (13) max 1 ≤ i ≤ n | λ i | ≤ ‖ A ‖ ∞ = max 1 ≤ i ≤ n ∑ j = 1 n | a i j | (14) 引理2： f ( D − W ) 上限的渐近分析： f ( D − W ) ≤ f ( e max I − W ) ~ e max − λ ≤ e max − λ min ≤ min ( ‖ W ‖ ∞ ， ‖ W ‖ 1 ) − λ min (15) 设sup (L)的上限和sub (L)下限，则差为∆ ( Δ = ‖ eigengap ‖ )。根据引理1和引理2： Δ = s u p ( L ) − s u b ( L ) = ( min ( ‖ W ‖ ∞ ， ‖ W ‖ 1 ) − λ min ) − ( e min − min ( ‖ W ‖ ∞ ， ‖ W ‖ 1 ) ) = − λ min − e min + 2 min ( ‖ W ‖ ∞ ， ‖ W ‖ 1 ) = min ( ‖ W ‖ ∞ ， ‖ W ‖ 1 ) − λ min   ( assym .matrix W ) ≤ λ max − λ min ≤ λ max (16) 引理3：eigengap的边界取决于 λ max 。根据戴维斯–卡汉(Davis-Kahan)定理1和方程式(7)，(这里我们将KNRS度矩阵和KNRS相似度矩阵分别称为D'、W')，然后，我们对原始L和A进行运算，效果取决于H'和eigengap。 定理3：由矩阵的谱半径(即矩阵的特征值)不超过矩阵的任何范数可得： Δ = s u p ( L ) − s u b ( L ) ≤ λ max ≤ ‖ L + H ′ ‖ ≤ ‖ L ‖ + ‖ H ′ ‖ (17) 与以前 Δ ≤ ‖ L ‖ 相比，eigengap变大。