system: [SYSTEM]

user: 3. 算法及收敛性证明 3.1. ADMM算法 ADMM是一个非常适合解决高维优化问题的算法，可以较容易地处理全局问题。因此本文应用ADMM算法求解(4)。通过引入辅助变量 z 1 ， z 2 ，(4)等价于 min x 1 ， x 2 ， z 1 ， z 2 { ‖ A 1 x 1 + A 2 x 2 − y ‖ 2 2 + β μ ∑ i = 1 n 1 ω 1 i | z 1 i | + β ∑ j = 1 n 2 ω 2 j | z 2 j | } ， s .t . A x 1 = z 1 ， x 2 = z 2 其增广拉格朗日函数为 L ( x 1 ， x 2 ， z 1 ， z 2 ， w 1 ， w 2 ) = ‖ A 1 x 1 + A 2 x 2 − y ‖ 2 2 + β μ ∑ i = 1 n 1 ω 1 i | z 1 i | + β ∑ j = 1 n 2 ω 2 j | z 2 j | + 〈 w 1 ， x 1 − z 1 〉 + 〈 w 2 ， x 2 − z 2 〉 + ρ 1 2 ‖ x 1 − z 1 ‖ 2 2 + ρ 2 2 ‖ x 2 − z 2 ‖ 2 2 ， 这里的 w 1 和 w 2 是对偶变量， ρ 1 和 ρ 2 是正惩罚因子。ADMM算法迭代格式如下： z 1 k + 1 = arg min z 1 ( β μ ∑ i = 1 n 1 ω 1 i | z 1 i | + ρ 1 2 ‖ x 1 k − z 1 + w 1 k ρ 1 ‖ 2 2 ) (5) z 2 k + 1 = arg min z 2 ( β ∑ j = 1 n 2 ω 2 j | z 2 j | + ρ 2 2 ‖ x 2 k − z 2 + w 2 k ρ 2 ‖ 2 2 ) (6) x 1 k + 1 = arg min x 1 ( ‖ A 1 x 1 + A 2 x 2 k − y ‖ 2 2 + ρ 1 2 ‖ x 1 − z 1 k + 1 + w 1 k ρ 1 ‖ 2 2 ) (7) x 2 k + 1 = arg min x 2 ( ‖ A 1 x 1 k + 1 + A 2 x 2 − y ‖ 2 2 + ρ 2 2 ‖ x 2 − z 2 k + 1 + w 2 k ρ 2 ‖ 2 2 ) (8) w 1 k + 1 = w 1 k + ρ 1 ( x 1 k + 1 − z 1 k + 1 ) (9) w 2 k + 1 = w 2 k + ρ 2 ( x 2 k + 1 − z 2 k + 1 ) (10) 3.2. 加权l 1 范数的临近算子 为求解(5)和(6)，我们引入加权 l 1 范数的临近算子。 定义1 [ 5 ] 对 x ∈ R m ，其 l q 范数( 0 ≤ q ≤ 1 )函数的临近算子定义为 prox q ， η ( t ) = arg min x { ‖ x ‖ q q + η 2 ‖ x − t ‖ 2 2 } 其中 η > 0 为惩罚因子。当 q = 1 时，其解的表达形式为 prox 1 ， η ( t ) i = sign ( t i ) max { | t i | − 1 / η ， 0 } ， i = 1 ， ⋯ ， m 下面对 x ∈ R m 定义本文的加权 l 1 范数函数的临近算子 prox 1 ， η ( t ) = arg min x { ∑ i = 1 m h i | x i | + η 2 ‖ x − t ‖ 2 2 } 其中 h i = 0.3 ( x i 2 + 0.01 2 ) − 1 4 ， i = 1 ， ⋯ ， m 。可将其化简为 prox 1 ， η ( t ) = arg min x { ∑ i = 1 m ( h i | x i | + η 2 ( x i − t i ) 2 ) } (11) 当 x i ≥ 0 时，(11)等价为 x i = t i − h i η ， t i = x i + h i η ， i = 1 ， ⋯ ， m 因此 t i ≥ 0 。当 t i − h i η ≤ 0 时，结合 x i ≥ 0 可得 x i = 0 。综上可表述为 prox 1 ， η ( t ) i = max { t i − h i η ， 0 } ， t i ≥ 0 ， i = 1 ， ⋯ ， m (12) 同理当 x i ≤ 0 时，(11)等价为 x i = − ( − t i − h i η ) ， t i = x i − h i η ， i = 1 ， ⋯ ， m 因此 t i ≤ 0 。当 − t i − h i η ≤ 0 时，结合 x i ≤ 0 可得 x i = 0 。综上可表述为 prox 1 ， η ( t ) i = − max { − t i − h i η ， 0 } ， t i ≤ 0 ， i = 1 ， ⋯ ， m (13) 结合(12)与(13)可得，加权 l 1 范数函数的临近算子解的表达形式为 prox 1 ， η ( t ) i = sign ( t i ) max { | t i | − h i / η ， 0 } ， i = 1 ， ⋯ ， m 3.3. 收敛性证明 此处我们讨论ADMM算法的收敛性。 为叙述方便，定义如下符号： λ i = λ max ( A i Τ A i ) ， φ i = λ min ( A i Τ A i ) ， i = 1 ， 2 。设 { v k } 是本文算法产生的序列， v k : = ( x 1 k ， x 2 k ， z 1 k ， z 2 k ， w 1 k ， w 2 k ) 。令 v ˜ k : = ( x 1 k ， x 2 k ， z 1 k ， z 2 k ， w 1 k ， w 2 k ， x 2 k − 1 ) ， c 1 = 8 λ 1 λ 2 / ρ 1 ， L ˜ ( v k ， x ˜ ) : = L ( v k ) + c 1 ‖ x 2 k − x ˜ ‖ 2 2 ，从而 L ˜ ( v ˜ k ) : = L ( v k ) + c 1 ‖ x 2 k − x 2 k − 1 ‖ 2 2 。 引理 1 设序列 { v k } 由(5)~(10)产生，如果下式成立 ρ 1 > 16 λ 1 2 ρ 1 + 16 λ 1 λ 2 ρ 2 − 2 φ 1 ， ρ 2 > 16 λ 2 2 ρ 2 + 16 λ 1 λ 2 ρ 1 − 2 φ 2 (14) 则 L ˜ ( v k + 1 ， x 2 k ) + c 2 ‖ x 1 k + 1 − x 1 k ‖ 2 2 + c 3 ‖ x 2 k + 1 − x 2 k ‖ 2 2 ≤ L ˜ ( v k ， x 2 k − 1 ) 其中参数 c 2 > 0 ， c 3 > 0 ，且 c 2 = 2 φ 1 + ρ 1 2 − 8 λ 1 2 ρ 1 − 8 λ 1 λ 2 ρ 2 ， c 3 = 2 φ 2 + ρ 2 2 − 8 λ 2 2 ρ 2 − 8 λ 1 λ 2 ρ 1 证明 此引理的证明与文献 [ 5 ] 的引理1的证明相似，故略。 引理2 设序列 { v k } 由(5~(10)产生，如果(14)满足，那么 lim k → ∞ ‖ v k + 1 − v k ‖ 2 2 = 0 ，故 { v k } 的任何聚点都是 L 的一个驻点。 证明 由(7)得出的最小值 x 1 k + 1 满足 2 A 1 Τ ( A 1 x 1 k + 1 + A 2 x 2 k − y ) + ρ 1 ( x 1 k + 1 − z 1 k + 1 + w 1 k / ρ 1 ) = 0 将(9)代入其中有 w 1 k + 1 = − 2 A 1 Τ ( A 1 x 1 k + 1 + A 2 x 2 k − y ) (15) 从而结合 λ max ( A 1 A 1 Τ ) = λ max ( A 1 Τ A 1 ) = λ 1 ， λ max 2 ( A 1 Τ A 2 ) ≤ λ 1 λ 2 有 ‖ w 1 k ‖ 2 2 ≤ 16 3 λ 1 ‖ A 1 x 1 k + A 2 x 2 k − y ‖ 2 2 + 16 λ 1 λ 2 ‖ x 2 k − x 2 k − 1 ‖ 2 2 (16) 类似地，结合(8)及(10)可得 w 2 k + 1 = − 2 A 2 Τ ( A 1 x 1 k + 1 + A 2 x 2 k + 1 − y ) (17) ‖ w 2 k ‖ 2 2 ≤ 4 λ 2 ‖ A 1 x 1 k + A 2 x 2 k − y ‖ 2 2 (18) 因为 L ˜ ( v ˜ k ) 下半连续，故下有界。由引理1可知当满足(14)时， L ˜ ( v ˜ k ) 非增，因此收敛。对于 k > 1 ，由 L ˜ 的定义及(16)和(18)有 8 λ 1 λ 2 ρ 1 ‖ x 2 k − x 2 k − 1 ‖ 2 2 − ‖ w 1 k ‖ 2 2 2 ρ 1 ≥ − 8 λ 1 3 ρ 1 ‖ A 1 x 1 k + A 2 x 2 k − y ‖ 2 2 ， − ‖ w 2 k ‖ 2 2 2 ρ 2 ≥ − 2 λ 2 ρ 2 ‖ A 1 x 1 k + A 2 x 2 k − y ‖ 2 2 因此 L ˜ ( v ˜ 1 ) ≥ L ˜ ( v ˜ k ) ≥ c 4 ‖ A 1 x 1 k + A 2 x 2 k − y ‖ 2 2 + β μ ∑ i = 1 n 1 ω 1 i k | z 1 i k | + β ∑ j = 1 n 2 ω 2 j k | z 2 j k | + ρ 1 2 ‖ x 1 k − z 1 k + w 1 k ρ 1 ‖ 2 2 + ρ 2 2 ‖ x 2 k − z 2 k + w 2 k ρ 2 ‖ 2 2 这里的 c 4 = 1 − 8 λ 1 3 ρ 1 − 2 λ 2 ρ 2 。令 x = λ 1 ρ 1 ， y = λ 2 ρ 2 ，且 φ 1 ≤ λ 1 ， φ 2 ≤ λ 2 ，故(14)可以转化为 0 < y < 1 16 x − x + 1 8 ， 0 < x < 1 16 y − y + 1 8 ，且 c 4 = 1 − 8 3 x − 2 y 。由文献 [ 5 ] 的引理2证明过程可知，当 x ， y 同时满足上述两个不等式时， f ( x ， y ) = 8 3 x + 2 y 的最大值小于1，即 1 − 8 3 x − 2 y > 0 。因此当(14)成立时，有 c 4 > 0 。从而序列 { v k } 有界。故对于有界序列 { v ˜ k } ，必存在一个收敛子列 { v ˜ k j } 收敛到聚点 v ˜ ∗ ，又 L ˜ ( v ˜ k ) 在 c 2 ， c 3 > 0 时非增收敛， 那么对任意 k ≥ 1 都有 L ˜ ( v ˜ k ) ≥ L ˜ ( v ˜ ∗ ) ，从而结合引理1可得 c 2 ∑ k = 1 N ‖ x 1 k + 1 − x 1 k ‖ 2 2 + c 3 ∑ k = 1 N ‖ x 2 k + 1 − x 2 k ‖ 2 2 ≤ ∑ k = 1 N [ L ˜ ( v ˜ k ) − L ˜ ( v ˜ k + 1 ) ] 综上 c 2 ∑ k = 1 N ‖ x 1 k + 1 − x 1 k ‖ 2 2 + c 3 ∑ k = 1 N ‖ x 2 k + 1 − x 2 k ‖ 2 2 ≤ ∑ k = 1 N [ L ˜ ( v ˜ k ) − L ˜ ( v ˜ k + 1 ) ] = L ˜ ( v ˜ 1 ) − L ˜ ( v ˜ N + 1 ) ≤ L ˜ ( v ˜ 1 ) − L ˜ ( v ˜ ∗ ) < ∞ 令 N → ∞ ，当 c 2 ， c 3 > 0 时有 ∑ k = 1 ∞ ‖ x 1 k + 1 − x 1 k ‖ 2 2 < ∞ ， ∑ k = 1 ∞ ‖ x 2 k + 1 − x 2 k ‖ 2 2 < ∞ (19) 由(15)有 ‖ w 1 k + 1 − w 1 k ‖ 2 2 ≤ 4 ( ‖ A 1 Τ A 1 ( x 1 k + 1 − x 1 k ) ‖ 2 + ‖ A 1 Τ A 2 ( x 2 k − x 2 k − 1 ) ‖ 2 ) 2 ≤ 8 λ 1 2 ‖ x 1 k + 1 − x 1 k ‖ 2 2 + 8 λ 1 λ 2 ‖ x 2 k − x 2 k − 1 ‖ 2 2 (20) 同理由(17)可得 ‖ w 2 k + 1 − w 2 k ‖ 2 2 ≤ 8 λ 1 λ 2 ‖ x 1 k + 1 − x 1 k ‖ 2 2 + 8 λ 2 2 ‖ x 2 k + 1 − x 2 k ‖ 2 2 (21) 再结合(20)有 ∑ k = 1 ∞ ‖ w 1 k + 1 − w 1 k ‖ 2 2 < ∞ ， ∑ k = 1 ∞ ‖ w 2 k + 1 − w 2 k ‖ 2 2 < ∞ (22) 再据(19)和(22)可得 ∑ k = 1 ∞ ‖ z 1 k + 1 − z 1 k ‖ 2 2 < ∞ ， ∑ k = 1 ∞ ‖ z 2 k + 1 − z 2 k ‖ 2 2 < ∞ 。因此 lim k → ∞ ‖ v k + 1 − v k ‖ 2 2 = 0 。故可知由(5)~(10) 产生的序列 { v k } 的任何聚点都是 L 的一个驻点，且由最优性条件可知其满足 { 0 ∈ β μ ∂ ∑ i = 1 n 1 ω 1 i k + 1 | z 1 i k + 1 | − w 1 k + 1 + ρ 1 ( x 1 k + 1 − x 1 k ) ， 0 ∈ β ∂ ∑ j = 1 n 2 ω 2 j k + 1 | z 2 j k + 1 | − w 2 k + 1 + ρ 2 ( x 2 k + 1 − x 2 k ) ， 0 = w 1 k + 1 + 2 A 1 Τ ( A 1 x 1 k + 1 + A 2 x 2 k − y ) ， 0 = w 2 k + 1 + 2 A 2 Τ ( A 1 x 1 k + 1 + A 2 x 2 k + 1 − y ) ， w 1 k + 1 = w 1 k + ρ 1 ( x 1 k + 1 − z 1 k + 1 ) ， w 2 k + 1 = w 2 k + ρ 2 ( x 2 k + 1 − z 2 k + 1 ) . (23) 取 { v k } 的一个收敛子列 { v k j } 。因 lim k → ∞ ‖ v k + 1 − v k ‖ 2 2 = 0 ，从而 v k j 和 v k j + 1 有相同的极限点 v ∗ : = ( x 1 ∗ ， x 2 ∗ ， z 1 ∗ ， z 2 ∗ ， w 1 ∗ ， w 2 ∗ ) 。由于 L ˜ ( v ˜ k ) 收敛，故 ∑ i = 1 n 1 ω 1 i k + 1 | z 1 i k + 1 | ， ∑ j = 1 n 2 ω 2 j k + 1 | z 2 j k + 1 | 收敛。对(23)两侧求极限可得 x 1 ∗ = z 1 ∗ ， x 2 ∗ = z 2 ∗ ， w 1 ∗ ∈ β μ ∂ ∑ i = 1 n 1 ω 1 i ∗ | z 1 i ∗ | ， w 2 ∗ ∈ β ∂ ∑ j = 1 n 2 ω 2 j ∗ | z 2 j ∗ | − w 1 ∗ = 2 A 1 Τ ( A 1 x 1 ∗ + A 2 x 2 ∗ − y ) ， − w 2 ∗ = 2 A 2 Τ ( A 1 x 1 ∗ + A 2 x 2 ∗ − y ) 故 v ∗ 是 L 的一个驻点。 引理3 函数 L ˜ ( v k ， x ˜ ) 如前定义，若(14)成立，则存在常数 c 5 > 0 ，使得 dist ( 0 ， ∂ L ˜ ( v k + 1 ， x 2 k ) ) ≤ c 5 ( ‖ x 1 k + 1 − x 1 k ‖ 2 + ‖ x 2 k + 1 − x 2 k ‖ 2 + ‖ x 2 k − x 2 k − 1 ‖ 2 ) 证明 由 L ˜ 的定义可得 ∂ z 1 L ˜ ( v ˜ k + 1 ) = β μ ∂ ∑ i = 1 n 1 ω 1 i k + 1 | z 1 i k + 1 | − w 1 k + 1 − ρ 1 ( x 1 k + 1 − z 1 k + 1 ) = β μ ∂ ∑ i = 1 n 1 ω 1 i k + 1 | z 1 i k + 1 | − w 1 k + 1 − ( w 1 k + 1 − w 1 k ) 结合(23)有 ρ 1 ( x 1 k − x 1 k + 1 ) + ( w 1 k − w 1 k + 1 ) ∈ ∂ z 1 L ˜ ( v ˜ k + 1 ) 。类似可得： ρ 2 ( x 2 k − x 2 k + 1 ) + ( w 2 k − w 2 k + 1 ) ∈ ∂ z 2 L ˜ ( v ˜ k + 1 ) ， ∂ x ˜ L ˜ ( v ˜ k + 1 ) = 2 c 1 ( x 2 k − x 2 k + 1 ) ， ∂ x 1 L ˜ ( v ˜ k + 1 ) = w 1 k + 1 − w 1 k ， ∂ x 2 L ˜ ( v ˜ k + 1 ) = ( w 2 k + 1 − w 2 k ) + 2 c 1 ( x 2 k + 1 − x 2 k ) ， ∂ w 1 L ˜ ( v ˜ k + 1 ) = ( w 1 k + 1 − w 1 k ) / ρ 1 ， ∂ w 2 L ˜ ( v ˜ k + 1 ) = ( w 2 k + 1 − w 2 k ) / ρ 2 . 因此，存在常数 c 6 > 0 使得 dist ( 0 ， ∂ L ˜ ( v ˜ k + 1 ) ) ≤ c 6 ( ‖ x 1 k + 1 − x 1 k ‖ 2 + ‖ x 2 k + 1 − x 2 k ‖ 2 + ‖ w 1 k + 1 − w 1 k ‖ 2 + ‖ w 2 k + 1 − w 2 k ‖ 2 ) 再由引理2的证明可得结论。 注：这个结论为迭代间隙提供了一个次梯度下界，同时结合引理2可得出当 k → ∞ 时， dist ( 0 ， ∂ L ˜ ( v ˜ k + 1 ) ) → 0 定理1 若(14)成立，则本文算法产生的点列 { v k } 收敛到问题(4)的一个聚点。 证明 首先证明序列 { v k } 满足 ∑ k = 0 ∞ ‖ v k + 1 − v k ‖ < 2 ∞ (24) 对于本文定义的加权 l 1 范数 ∑ i = 1 m h i | x i | = ∑ i = 1 m 0.3 ( x i 2 + ε ) − 1 4 | x i | ，当 ε → 0 时， 0.3 ( x i 2 + ε ) − 1 4 | x i | → 0.3 | x i | 1 2 。取定任意小的正数 δ ，当 ε ∈ ( 0 ， δ ) 时， 0.3 ( x i 2 + ε ) − 1 4 | x i | = 0.3 | x i | 1 2 + o ( ε ) 。因 | x i | 1 2 是KL函数，故当 ε 充分小时， ∑ i = 1 m h i | x i | = ∑ i = 1 m 0.3 ( x i 2 + ε ) − 1 4 | x i | 是KL函数，从而 L ˜ 也为KL函数，故(24)成立。因此迭代点列 { v k } 是 柯西列且收敛，结合引理2可得迭代点列 { v k } 全局收敛到 L 的一个聚点。关于(24)的详细证明可参考文献 [ 6 ]，此处略去。