system: [SYSTEM]

user: 3. 基于拉普拉斯约束的半监督模糊c均值算法(SFCML) 3.1. 目标函数设计 半监督聚类是一种监督聚类和无监督聚类相结合的聚类方法，既可以使用有标记的数据，也可以使用无标记的数据。在上一节中，我们通过对FCM算法进行拉普拉斯约束，得到了FCML算法，该过程是简单的，它通常可以达到预期的性能。然而，FCML算法没有嵌入可在某些应用中收集和有用的先验知识，因此算法容易陷入局部最优。本节中，我们在数据集X上运行FCML算法，给定原始数据集X，第l个样本与它们的集群标签y构成一个标记子集Y，其余的 n − l 个样本构成一个未标记子集，通过将先验知识引入到FCML中，此时SFCML算法的目标函数为： J = min ∑ i = 1 n ∑ j = 1 c ‖ x i − v j ‖ 2 2 u i j 2 + λ ∑ i = 1 n ∑ j = 1 c ‖ u i − u j ‖ F 2 s i j + α ∑ i = 1 n ∑ j = 1 c ( u i j − f i j b i ) 2 d i j 2 st .   ∑ i = 1 n u i j = 1 ， u i j ≥ 0 (17) 式中， α ( α ≥ 0 ) 是反映保真度项重要性的参数， α 的具体值和 总 样 本 数 L 标 记 样 本 数 L 1 成正比例关系； f i j 为标签样本的隶属度矩阵，其值具体表示为 x i 归于 c j 的程度大小； b i 为一个布尔型的二值向量，根据其实际值可以判断 x i 是否是已经标记的数据。 b i 需要满足的条件如下： { b i = 1 ， x i 被 标 记 b i = 0 ， 其 他 (18) 3.2. 理论分析 当U和S固定时，更新V可得到 v j = ∑ i = 1 n u i j 2 x i ∑ i = 1 n u i j 2 (19) 当V和S固定时，更新U，由目标函数可知与U有关的函数为： 其中含 u i j 的项为： J = min ∑ i = 1 n ∑ j = 1 c ‖ x i − v j ‖ 2 2 u i j 2 + λ ∑ i = 1 n ∑ j = 1 c ‖ u i − u j ‖ F 2 s i j + α ∑ i = 1 n ∑ j = 1 c ( u i j − f i j b i ) 2 d i j 2 (20) u i j 2 d i j 2 + 2 λ ∑ l ≠ j ‖ u l − u j ‖ F 2 s l j + α ∑ i = 1 n ∑ j = 1 c ( u i j − f i j b i ) 2 d i j 2 = u i j 2 d i j 2 + 2 λ ( ‖ u 1 − u j ‖ F 2 s 1 j + ⋯ + ‖ u j − 1 − u j ‖ F 2 s j − 1 ， j + ‖ u j + 1 − u j ‖ F 2 s j + 1 ， j + ⋯ + ‖ u n − u j ‖ F 2 s n j ) + α ( ( u 11 − f 11 b 1 ) 2 d 11 2 + ⋯ + ( u 1 j − f 1 j b 1 ) 2 d 1 j 2 + ⋯ + ( u i j − f i j b i ) 2 d i j 2 + ⋯ + ( u n c − f n c b n ) 2 d n c 2 ) (21) 由于只有 ( u i 1 − u i j ) 2 及 α ( u i j − f i j b i ) d i j 2 中有 u i j ，所以(21)式中含 u i j 的值为： u i j 2 d i j 2 + 2 λ ∑ l ≠ j ( u i j − u i l ) 2 s l j + α ∑ i = 1 n ∑ j = 1 c ( u i j − f i j b i ) 2 d i j 2 (22) 将(22)式改写为 L ( u i j ， η ， β i j ) = u i j 2 d i j 2 + 2 λ ∑ l ≠ j ( u i j − u i l ) 2 s l j + α ∑ i = 1 n ∑ j = 1 c ( u i j − f i j b i ) 2 d i j 2 − η ( ∑ i = 1 n u i j − 1 ) − β i j u i j (23) 对(23)式中 u i j 求偏导数可得： ∂ J u ∂ u = 2 u i j d i j 2 + 4 λ ∑ l ≠ j ( u i j − u i l ) s l j + 2 α ( u i j − f i j b i ) d i j 2 − η − β i j 对其进行拉格朗日求导可得 2 u i j d i j 2 + 4 λ ∑ l ≠ j u i j s l j − 4 λ ∑ l ≠ j u i l s l j − 2 α ( u i j − f i j b i ) d i j 2 − η − β i j = 0 其中 η 和 β i j ≥ 0 为Lagrange乘子，所以 u i j = ( 4 λ ∑ l ≠ j u i l s l j − 2 α f i j b i d i j 2 + η + β i j 2 d i j 2 − 2 α d i j 2 + 4 λ ∑ l ≠ j s l j ) + (24) 由约束条件 ∑ k = 1 c u k j = 1 可知(24)式为 ∑ k = 1 c u k j = ∑ k = 1 c 4 λ ∑ l ≠ j u k l s l j − 2 α f k j b k d k j 2 + ξ j 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j = 1 (25) 因此 ξ j = 1 − ∑ k = 1 c 4 λ ∑ l ≠ j u k l s l j 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j + ∑ k = 1 c 2 α f k j b k d k j 2 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j ∑ k = 1 c 1 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j (26) 将(25)式代入(24)式中可得 u i j = 4 λ ∑ l ≠ j u i l s l j − 2 α f i j b i d i j 2 + 1 − ∑ k = 1 c 4 λ ∑ l ≠ j u k l s l j 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j + ∑ k = 1 c 2 α f k j b k d k j 2 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j ∑ k = 1 c 1 2 d k j 2 − 2 α d k j 2 + 4 λ ∑ l ≠ j s l j 2 d i j 2 − 2 α d i j 2 + 4 λ ∑ l ≠ j s l j (27) 3.3. 算法2 基于拉普拉斯约束的半监督模糊c均值(SFCML)与其他半监督聚类算法具有类似的框架，其流程为： 输入：需要聚类的数据对象集合X，聚类的类别数c以及带有标签信息的约束集Y。 输出：更新后的聚类中心V及隶属度矩阵U。 步骤1：通过计算每个集群中标记样本的平均值来初始化集群中心V 0 ，按照约束条件随机初始化U，设置聚类个数c，由标记信息计算标记信息的初始隶属度矩阵F 0 ； 步骤2：计算实际数据集X的样本点与聚类中心的距离d，标签样本集Y与聚类中心的距离d y ； 步骤3：利用公式(27)计算迭代后的隶属度矩阵U； 步骤4：利用公式(19)计算聚类中心V； 步骤5：本次计算得出的聚类中心与上次相比，不发生变化或者满足迭代次数超出最大次数，则算法停止；否则，返回步骤2。