system: [SYSTEM]

user: 4. 收敛性证明 在本节中，本文充分结合变分不等式来证明算法3.1的全局收敛性。因此，公式(3.6)可变为具有如下形式的变分不等式： { ( x ′ − x ˜ k ) { θ 1 ( x ˜ k ) − A T [ λ k − β ( A x ˜ k + B y k − b ) ] + ( R + S ) ‖ x ˜ k − x k ‖ 2 } ≥ 0 ，       ∀ x ′ ∈ X ， ( y ′ − y ˜ k ) { θ 2 ( y ˜ k ) − B T [ λ k − β ( A x ˜ k + B y ˜ k − b ) ] + S ‖ y ˜ k − y k ‖ 2 } ≥ 0 ，       ∀ y ′ ∈ Y ， λ ˜ k = λ k − β ( A x ˜ k + B y ˜ k − b ) . (4.1) 接下来将引入一些重要的引理和定理来证明算法的收敛性，如下所示。 引理4.1 令 w ˜ k = ( x ˜ k ， y ˜ k ， λ ˜ k ) 是由公式(3.6)生成得到，那么对于任意的 w * ∈ W * 是问题(1.1)的最优解，得到 ( w k − w * ) T Q ( w k − w ˜ k ) ≥ ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T B ( y k − y ˜ k ) ， (4.2) 其中 Q = ( ( R + S ) I n 1 0 n 1 × n 2 0 n 1 × m 0 n 2 × n 1 β B T B + S I n 2 0 n 2 × m 0 0 1 β I m ) 。 证明 由于 w * ∈ W * ， x ˜ ∈ X 并且 y ˜ ∈ Y ，那么可知 { ( x ˜ k − x * ) T ( θ 1 ( x * ) − A T λ * ) ≥ 0 ， ( y ˜ k − y * ) T ( θ 2 ( y * ) − B T λ * ) ≥ 0. (4.3) 将(3.6)分别加入(4.3)中且算子 θ 1 和 θ 2 的单调性，得出 { ( A x ˜ k − A x * ) T ( λ ˜ k − λ * ) + ( x ˜ k − x * ) ( R + S ) ( x k − x ˜ k ) ≥ β ( A x ˜ k − A x * ) T ( B y k − B y ˜ k ) ， ( B y ˜ k − B y * ) T ( λ ˜ k − λ * ) + ( y ˜ k − x * ) S ( y k − y ˜ k ) ≥ 0 ， (4.4) 因此，由(4.4) (3.6)以及 A x * + B y * = b 得知 1 β ( λ ˜ k − λ * ) T ( λ k − λ ˜ k ) + ( x ˜ k − x * ) T ( R + S ) ( x k − x ˜ k ) + ( y ˜ k − x * ) T S ( y k − y ˜ k ) ≥ β ( A x ˜ k − A x * ) T ( B y k − B y ˜ k ) ， (4.5) 在(4.5)的两边同时加上 β ( B y ˜ k − B y * ) T ( B y k − B y ˜ k ) 及矩阵Q的定义和 A x * + B y * = b ，于是得到 ( w ˜ k − w * ) T Q ( w k − w ˜ k ) ≥ β ( A x ˜ k + B y ˜ k − b ) T ( B y k − B y ˜ k ) ≥ ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) ， (4.6) 这意味着 ( w ˜ k − w * ) T Q ( w k − w ˜ k ) ≥ ‖ w k − w ˜ k ‖ Q 2 ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) . 因此，引理4.1得证。 引理4.2 令 w ˜ k = ( x ˜ k ， y ˜ k ， λ ˜ k ) 是由公式(3.6)生成得到，那么对于任意的 w * ∈ W * 是问题(1.1)的最优解，有 ‖ w k − w * ‖ Q 2 ≥ ‖ w ˜ k − w * ‖ Q 2 + 2 ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) + ‖ w ˜ k − w k ‖ Q 2 . (4.7) 证明 由引理4.1和(3.6)式得 ‖ w ˜ k − w * ‖ Q 2 = ‖ w k − w * − ( w k − w ˜ k ) ‖ Q 2 = ‖ w k − w * ‖ Q 2 + 2 ( w k − w * ) T Q ( w k − w ˜ k ) + ‖ w k − w ˜ k ‖ Q 2 ≤ ‖ w k − w * ‖ Q 2 − 2 [ ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) ] + ‖ w k − w ˜ k ‖ Q 2 ≤ ‖ w k − w * ‖ Q 2 − ‖ w k − w ˜ k ‖ Q 2 − 2 ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) 因此，引理4.2证毕且公式(4.7)表明 d ( w k ， w ˜ k ) = w k − w ˜ k 是 ‖ w k − w * ‖ Q 2 的下降方向。 定理4.1 假设 w * 是问题(1.1)的解，那么对任给的迭代点 w ˜ k = ( x ˜ k ， y ˜ k ， λ ˜ k ) ，本文定义如下的一些函数： { w k + 1 ( α ) = w k − α k ( w k − w ˜ k ) ， θ k ( α ) = ‖ w k − w * ‖ Q 2 − ‖ w k + 1 ( α ) − w * ‖ Q 2 ， φ ( w k ， w ˜ k ) = ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) ， ψ k ( α ) = 2 α φ ( w k ， w ˜ k ) − α 2 ‖ w k − w ˜ k ‖ Q 2 . (4.8) 那么对任意的 w * = ( x * ， y * ， λ * ) ∈ W * ， α ≥ 0 ，存在 θ k ( α ) ≥ ψ k ( α ) (4.9) 证明 由(4.8)可知 ‖ w k + 1 ( α ) − w * ‖ Q 2 = ‖ w k − α k ( w k − w ˜ k ) − w * ‖ Q 2 = ‖ w k − w * ‖ Q 2 − 2 α k ( w k − w * ) T Q ( w k − w ˜ k ) + α k 2 ‖ w k − w ˜ k ‖ Q 2 ≤ ‖ w k − w * ‖ Q 2 − 2 α φ ( w k ， w ˜ k ) + α 2 ‖ w k − w ˜ k ‖ Q 2 = ‖ w k − w * ‖ Q 2 − ψ k ( α ) . 因此，(4.9)得证。 从定理4.1可知 ψ k ( α ) 是 θ k ( α ) 的一个下界且 θ k ( α ) ≥ ψ k ( α ) 。由 ψ k ( α ) 的定义可知，它是关于 α 的一个二次函数，且它的最大值 α k = φ ( w k ， w ˜ k ) ‖ w k − w ˜ k ‖ Q 2 = ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) ‖ w k − w ˜ k ‖ Q 2 。 也是最优的步长。 定理4.2 如果 0 < a < E ( ξ k ) = ρ < b ，序列 { w k } 是由广义的邻近交替方向乘子法生成，那么有 E ( ‖ w k + 1 − w * ‖ Q 2 ) ≤ E ( ‖ w k − w * ‖ Q 2 ) − ρ ( 2 − p ) 4 E ( ‖ w k − w ˜ k ‖ Q 2 ) ， (4.10) 证明 由引理4.1和(3.7)，我们得到 ‖ w k + 1 − w * ‖ Q 2 = ‖ w k − η k α k ( w k − w ˜ k ) − w * ‖ Q 2 = ‖ w k − w * ‖ Q 2 − 2 η k α k ( w k − w * ) T Q ( w k − w ˜ k ) + ( η k α k ) 2 ‖ w k − w ˜ k ‖ Q 2 ≤ ‖ w k − w * ‖ Q 2 − 2 η k α k ( ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) ) + η k 2 α k 2 ‖ w k − w ˜ k ‖ Q 2 ≤ ‖ w k − w * ‖ Q 2 − 1 2 η k ( 2 − η k ) α k ( ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) ) . (4.11) 由于 ξ 1 ， ξ 2 ， ⋯ ， ξ k ， ⋯ 是独立且均匀分布，可以推出 η k ， w k ， w ˜ k 和 ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) 也是独立的。又因为 E ( η k ) = E ( 1 k ∑ i = 1 k ξ k ) = 1 k ∑ i = 1 k E ( ξ k ) = ρ ，   E ( α ) > 1 2 ， 那么 ‖ w k + 1 − w * ‖ Q 2 的数学期望满足 E ( ‖ w k + 1 − w * ‖ Q 2 ) = E ( ‖ w k − η k α k ( w k − w ˜ k ) − w * ‖ Q 2 ) = E ( ‖ w k − w * ‖ Q 2 ) − E ( 2 η k α k ( w k − w * ) T Q ( w k − w ˜ k ) ) + ( η k α k ) 2 E ( ‖ w k − w ˜ k ‖ Q 2 ) ≤ E ( ‖ w k − w * ‖ Q 2 ) − 2 E ( η k ) E ( α k ) E ( ‖ w k − w ˜ k ‖ Q 2 + ( λ k − λ ˜ k ) T ( B y k − B y ˜ k ) )     + E ( η k 2 ) E ( α k 2 ) E ( ‖ w k − w ˜ k ‖ Q 2 ) ≤ E ( ‖ w k − w * ‖ Q 2 ) − 1 4 ρ ( 2 − ρ ) E ( ‖ w k − w ˜ k ‖ Q 2 ) . 最后，获得本文期望的结果。 推论4.1 如果 0 < a < E ( ξ k ) = ρ < b ，序列 { w k } 是由广义的邻近交替方向乘子法生成，那么有 (1) 序列 E ( w k ) 和 E ( w ˜ k ) 都是有界的。 (2) 序列 E ( ‖ w k + 1 − w * ‖ Q 2 ) 是单调且有界的。 (3) lim k → ∞ E ( ‖ w k − w ˜ k ‖ 2 ) = 0 。 定理4.3 如果 0 < a < E ( ξ k ) = ρ < b ，序列 { w k } 是由广义的邻近交替方向乘子法生成，那么序列 { w k } 依概率收敛到 w ∞ ∈ W * 。 证明 从推论4.1和引理4.2，得到 lim k → ∞ E ( ‖ A x ˜ k + B y ˜ k − b ‖ Q 2 + ‖ B ( y k − y ˜ k ) ‖ Q 2 ) = 0. (4.12) 因为序列 { E ( w ˜ k ) } 是有界的，那么它至少有一个聚集点。令 E ( w ∞ ) 是序列 { E ( w ˜ k ) } 的一个聚集点，并且存在一个子序列 { E ( w ˜ k j ) } 收敛到 E ( w ∞ ) ，那么存在一个子序列 { w ˜ k j } 依概率收敛到 ω ∞ ∈ W * ，记为 w ˜ k j → P w ∞ 。 从引理2.3得到子序列 { w ˜ k j } 几乎必然地收敛到 ω ∞ ，那么它也可标记子序列为 { w ˜ k j } ，记作 lim j → ∞ w ˜ k j = w ∞       a . s . (4.13) 结合公式(3.6)、(4.12)和(4.13)，有 { lim j → ∞ ( x − x ˜ k j ) T { θ 1 ( x ˜ k j ) − A T λ ˜ k j } ≥ 0 ，           ∀ x ∈ X lim j → ∞ ( y − y ˜ k j ) T { θ 2 ( y ˜ k j ) − B T λ ˜ k j } ≥ 0 ，           ∀ y ∈ Y lim j → ∞ ( A x ˜ k j + B y ˜ k j − b ) = 0 从而有 { ( x − x ∞ ) T { θ 1 ( x ∞ ) − A T λ ∞ } ≥ 0 ，           ∀ x ∈ X ( y − y ∞ ) T { θ 2 ( y ∞ ) − B T λ ∞ } ≥ 0 ，           ∀ y ∈ Y ( A x ∞ + B y ∞ − b ) = 0 。 因此，可以推出 ω ∞ ∈ W * 。 又因为 lim j → ∞ E ( w ˜ k j ) = E ( w ∞ ) ，则 lim l → ∞ E ( ‖ w ˜ k l − w ∞ ‖ Q 2 ) = 0 。同时因为 lim k → ∞ E ( ‖ w k − w ˜ k ‖ Q 2 ) = 0 ，且对任给地 ε > 0 ，有 l > 0 ，于是得到 E ( ‖ w k l − w ˜ k l ‖ Q 2 ) = ε 2 和 E ( ‖ w ˜ k l − w ∞ ‖ Q 2 ) < ε 2 . (4.14) 因此，对任意的 k > k l ，由(4.14)，可知 E ( ‖ w k − w ∞ ‖ Q 2 ) ≤ E ( ‖ w k l − w ∞ ‖ Q 2 ) ≤ E ( ‖ w k l − w ˜ k l ‖ Q 2 ) + E ( ‖ w ˜ k l − w ∞ ‖ Q 2 ) < ε . (4.15) 由此推出 lim k → ∞ E ( ‖ w k − w ∞ ‖ Q 2 ) = 0 。 结合引理2.2和公式(4.15)，可得对任给的 ε > 0 ，如果存在 l > 0 ，只要 k > l ，就有 P ( ‖ w k − w ∞ ‖ Q 2 ≥ ϵ ) ≤ E ( ‖ w k − w ∞ ‖ Q 2 ) ϵ < ε 那么得到 lim k → ∞ P ( ‖ w k − w ∞ ‖ Q 2 ≥ ϵ ) = 0 。 因此，序列 { ω k } 依概率收敛到 w ∞ ∈ W * ，记作 ω k → P ω ∞ 。 至此，收敛性证明全部完成。