system: [SYSTEM]

user: 2. 模型 2.1. 基础知识 图：无向图表示为 G = ( V ， E ) ，其中 V 是顶点的集合， E 是边的集合。 v i 和 e i ， j 表示顶点与边。 w i ， j 表示顶点 v i 和 v j 之间边 e i ， j 上的权重。在无向图中边的权重是对称的，即 w i ， j = w j ， i 。 图的划分 [ 4 ] ：在 G = ( V ， E ) 中，如果 V = { V 1 ， V 2 ， ⋯ ， V K } ，且满足： (1) V i ∩ V j = Φ ， i ≠ j ；(2) ∪ i = 1 K V i = V ， 则称 V 1 ， V 2 ， ⋯ ， V K 为 V 的一个划分。图的顶点的子集的选择问题就是图的划分问题。 本文的目标是选择边的子集 A ∈ E ，使得子图 ( V ， A ) 是K-连通的。 熵：用来度量随机变量的不确定性。设离散随机变量 X ，概率密度函数为 p X ，则它的熵定义为： H ( X ) = − ∑ p X ( x ) log p X ( x ) ， (1) 相应的，条件熵 H ( X | Y ) 的定义为： H ( X | Y ) = − ∑ p Y ( y ) H ( X | Y = y ) = − ∑ p Y ( y ) ∑ p X | Y ( x | y ) log p X | Y ( x | y ) ， (2) 其中 p X | Y 是条件概率密度函数 [ 5 ] [ 6 ] 。 熵率：用来度量随机过程 X = { X t | t ∈ T } 的不确定性。对于一个离散的随机过程，熵率定义为一个渐近测度 [ 7 ] ： H ( X ) = lim t → ∞ H ( X t | X t − 1 ， X t − 2 ， ⋯ ， X 1 ) ， (3) 对于一阶平稳的马尔可夫过程，熵率有一个简单的形式 [ 8 ] [ 9 ] ： H ( X ) = lim t → ∞ H ( X t | X t − 1 ) = lim t → ∞ H ( X 2 | X 1 ) = H ( X 2 | X 1 ) . (4) 第一个等式是由于一阶马尔可夫性，而第二个等式是平稳性的结果。有关更多详细信息，可以参考 [ 10 ] 。 图上的随机路径：设 X = { X t | t ∈ T ， X t ∈ V } 是带有非负的相似权 ω 的图 G = ( V ， E ) 上的随机路径。转移概率定义为： p i ， j = P ( X t + 1 = v j | X t = v i ) = ω i ， j ω i ， (5) 其中 ω i = ∑ k : e i . k ∈ E ω i ， k 是顶点 v i 发生事件之和，并且平稳分布为： μ = ( μ 1 ， μ 2 ， ⋯ ， μ | V | ) T = ( ω 1 ω T ， ω 2 ω T ， ⋯ ， ω | V | ω T ) T ， (6) 其中 ω T = ∑ i = 1 | V | ω i 是归一化常数。对于一个非连通图，平稳分布不是唯一的。但是，(6)式中的 μ 总是 平稳分布，容易证明得到 μ = P T μ ，其中 P = [ p ] i ， j 是转移矩阵。随机路径的熵率为： H ( X ) = H ( X 2 | X 1 ) = ∑ i μ i H ( X 2 | X 1 = v i ) = − ∑ i ∑ j ω i ， j ω T log ω i ， j ω T + ∑ i ω i ω T log ω i ω T (7) 下模性 [ 11 ] ：设 E 是有限集，函数 f : 2 E → R 是下模函数当且仅当 ∀   A ， B ⊆ E ， ∀   a 1 ， a 2 ∈ E ，有 f ( A ) + f ( B ) ≥ f ( A ∪ B ) + f ( A ∩ B ) . 或 f ( A ∪ { a 1 } ) − f ( A ) ≥ f ( A ∪ { a 1 ， a 2 } ) − f ( A ∪ { a 2 } ) (8) 等价于： δ f a 1 ( A ) ≥ δ f a 1 ( A ∪ { a 2 } ) ，对于所有的 A ⊆ E 和 a 1 ， a 2 ∈ E \ A ，其中 δ f a 1 ( A ) = f ( A ∪ { a 1 } ) − f ( A ) 进一步地，如果 f ( A ) ≤ f ( A ∪ { a 1 } ) ，则称 f 是单调递增函数 [ 12 ] 。 拟阵：设 E 是有限集， I 是 E 的子集组成的集合，拟阵是一个有序对 M = ( E ， I ) ，并且满足： 1) Φ ∈ I 。 2) 如果 I 1 ∈ I 且 I ′ ⊆ I 1 ，则 I ′ ∈ I 。 3) 如果 I 1 ∈ I ， I 2 ∈ I 且 | I 1 | < | I 2 | ，则存在元素 e ∈ I 2 − I 1 ，使得 I 1 ∪ e ∈ I 。 我们提出聚类作为一个图的划分问题。将图划分为 k 个类，搜索图具有 k 连通子图的拓扑，然后最大化提出的目标函数。 2.2. 图的构造 将数据集映射到图 G = ( V ， E ) ，顶点表示该数据点和边权重表示两数据点之间的相似性。为了聚类，将数据集映射成K-最近邻域图。目标是划分图成为几个连通分支。选择一个边的子集 A ⊆ E ，产生一个子图 G ′ = ( V ， A ) ，包含K-连通子图。再者，我们也假设每个顶点具有自环。虽然自环不影响图的划分，但它们对提出的随机路径模型是必要的。当某边不包含在 A 内时，增加与该边关联顶点的自环的权重，这样每个顶点的总发生的权保持常数。 如果边 e i ， j 是被聚类时选择了，则顶点 v i 的自环的权为 ω i ， i ，顶点 v j 的自环的权为 ω j ， j ，边 e i ， j 的权为 ω i ， j 。 如果边 e i ， j 是被聚类时未选择，则顶点 v i 的自环的权为 ω i ， i → ω i ， i + ω i ， j ，顶点 v j 的自环的权为 ω j ， j ← ω j ， j + ω i ， j ，边 e i ， j 的权为 ω i ， j ← 0 。 2.3. 平衡函数 利用平衡函数鼓励大小相似的数据点分到同一个聚类中。设 A 是已经被选择的边集， N A 是图中被划分部分的数量， Z A 是聚类的分布。例如，设图对边集 A 的划分是 S A = { S 1 ， S 2 ， ⋯ ， S N A } ，有 p Z A ( i ) = | S i | | V | ，   i = { 1 ， 2 ， ⋯ ， N A } ， (9) 并且平衡项为： Β ( A ) ≡ H ( Z A ) − N A = − ∑ i p Z A ( i ) log ( p Z A ( i ) ) − N A . (10) 熵 H ( Z A ) 将大小相似的聚为一类，同时通过类与类数据点之间的最小化可以得到聚类数目 N A 。 推论2：2.2中构造的图上的平衡函数 Β : 2 E → R 是一个单调递增的下模函数。 2.4. 聚类函数 目标函数是熵率和平衡函数的结合，因此得到了更加紧凑的、均匀的和平衡的聚类。 max A ⊆ E   F ( A ) s .t .   N A ≥ K (11) 其中 F ( A ) = H ( A ) + λ Β ( A ) 是目标函数。参数 λ ≥ 0 是平衡项的权重。目标函数也是单调递增的下模函数。 推论3：设 E 是边集， I 是边集的集合， A ⊆ E 满足：1) A 是无循环的；2) A 构成一个大于或等于K-连通分支的图划分，则 M = ( E ， I ) 是一个拟阵。 在无循环的约束下，图的划分问题变成了在拟阵约束下子模函数的最大化问题，即： max A ⊆ E   F ( A ) s .t .         A ∈ I (12)