system: [SYSTEM]

user: 3. 收敛性分析 本节，我们令 ω k = { x k ， y k ， λ k } ， v k : = ( x k ， y k ) 其中 { ω k } 为算法(1.4)生成的序列，并假设有界。 由(1.4)的最优性，有 { 0 ∈ ∂ f ( x k + 1 ) + ∇ x H ( x k + 1 ， y k ) − A Τ λ k + β A Τ ( A x k + 1 + y k − b ) + G ( x k + 1 − x k ) ， 0 = ∇ g ( y k + 1 ) + ∇ y H ( x k + 1 ， y k + 1 ) − λ k + β ( A x k + 1 + y k + 1 − b ) ， λ k + 1 = λ k − β ( A x k + 1 + y k + 1 − b ) . (3.1) 即 { A Τ λ k + 1 + β A Τ ( y k + 1 − y k ) − ∇ x H ( x k + 1 ， y k ) − G ( x k + 1 − x k ) ∈ ∂ f ( x k + 1 ) ， ∇ g ( y k + 1 ) = λ k + 1 − ∇ y H ( x k + 1 ， y k + 1 ) ， λ k + 1 = λ k − β ( A x k + 1 + y k + 1 − b ) . (3.2) 贯穿本文，我们做出如下假设。 假设3.1令 f : R n → R ∪ { + ∞ } 是弱凸函数，常数 ω > 0 ； g : R m → R 是连续可微函数，它的梯度 ∇ g 是利普希茨连续的，其利普希茨常数 L 1 > 0 ； H : R n × R m → R 是光滑函数。假设问题(1.1)满足下列条件： i) ‖ ∇ y H ( x ， y ) − ∇ y H ( x ， y ˜ ) ‖ ≤ L 2 ( x ) ‖ y − y ˜ ‖ ， ∀ y ， y ˜ ∈ R n ‖ ∇ x H ( x ， y ) − ∇ x H ( x ˜ ， y ) ‖ ≤ L 3 ( y ) ‖ x − x ˜ ‖ ， ∀ x ， x ˜ ∈ R n ii) ∇ H 在 R n × R m 的有界子集上是利普希茨连续的。换句话说，对于每个有界子集 B 1 × B 2 ⊆ R n × R m ，存在 M > 0 ，使得对于所有的 ( x i ， y i ) ∈ B 1 × B 2 ， i = 1 ， 2 ， ‖ ∇ x H ( x 1 ， y 1 ) − ∇ x H ( x 2 ， y 2 ) ， ∇ y H ( x 1 ， y 1 ) − ∇ y H ( x 2 ， y 2 ) ‖ ≤ M ‖ ( x 1 − y 1 ， x 2 − y 2 ) ‖ iii) 存在 L 2 ， L 3 > 0 ，使得 sup { L 2 ( x k ) : k ∈ N } ≤ L 2 ， sup { L 3 ( x k ) : k ∈ N } ≤ L 3 。 引理3.1 L β ( x k + 1 ， y k + 1 ， λ k + 1 ) − L β ( x k ， y k ， λ k ) ≤ δ ‖ v k + 1 − v k ‖ 2 − 1 2 ‖ x k + 1 − x k ‖ G 2 . (3.3) 证明：由增光拉格朗日的定义及(3.2c)式可得 L β ( x k + 1 ， y k + 1 ， λ k + 1 ) = L β ( x k + 1 ， y k + 1 ， λ k ) + 〈 λ k + 1 − λ k ， A x k + 1 + y k + 1 − b 〉 = L β ( x k + 1 ， y k + 1 ， λ k ) + 1 β ‖ λ k − λ k + 1 ‖ 2   (3.4) 且 L β ( x k + 1 ， y k + 1 ， λ k ) − L β ( x k + 1 ， y k ， λ k ) = g ( y k + 1 ) − g ( y k ) + H ( x k + 1 ， y k + 1 ) − H ( x k + 1 ， y k ) − 〈 λ k ， y k + 1 − y k 〉         + β 2 ‖ A x k + 1 + y k + 1 − b ‖ 2 − β 2 ‖ A x k + 1 + y k − b ‖ 2 (3.5) 由引理2.1及(3.2b)式可得 g ( y k + 1 ) − g ( y k ) ≤ 〈 λ k + 1 − ∇ y H ( x k + 1 ， y k + 1 ) ， y k + 1 − y k 〉 + L 1 2 ‖ y k − y k + 1 ‖ 2 (3.6) 又因为 ∇ y H ( x k + 1 ， ⋅ ) 是关于常数 L 2 ( x k + 1 ) 利普希茨连续的，则 H ( x k + 1 ， y k + 1 ) − H ( x k + 1 ， y k ) ≤ 〈 ∇ y H ( x k + 1 ， y k + 1 ) ， y k +1 − y k 〉 − L 2 ( x k + 1 ) 2 ‖ y k + 1 − y k ‖ 2 . (3.7) 将(3.6)式和(3.7)式代入(3.5)式得到 L β ( x k + 1 ， y k + 1 ， λ k ) − L β ( x k + 1 ， y k ， λ k ) ≤ 〈 λ k + 1 - λ k ， y k + 1 − y k 〉 + L 1 2 ‖ y k − y k + 1 ‖ 2 + L 2 ( x k + 1 ) 2 ‖ y k + 1 − y k ‖ 2         + β 2 ‖ A x k + 1 + y k + 1 − b ‖ 2 − β 2 ‖ A x k + 1 + y k − b ‖ 2 . (3.8) 由(3.2)的第三个式子，有 A x k + 1 + y k + 1 − b = 1 β ( λ k − λ k + 1 ) (3.9) 则 A x k + 1 + y k − b = 1 β ( λ k − λ k + 1 ) − ( y k + 1 − y k ) (3.10) 因此，将(3.9)和(3.10)代入(3.8)，得到 L β ( x k + 1 ， y k + 1 ， λ k ) − L β ( x k + 1 ， y k ， λ k ) ≤ L 1 + L 2 ( x k + 1 ) − β 2 ‖ y k + 1 − y k ‖ 2 . (3.11) 又由(3.2b)可知 ‖ λ k + 1 − λ k ‖ 2 = ‖ ∇ g ( y k + 1 ) + ∇ y H ( x k + 1 ， y k + 1 ) − ∇ g ( y k ) − ∇ y H ( x k ， y k ) ‖ 2 ≤ 2 ‖ ∇ g ( y k + 1 ) − ∇ g ( y k ) ‖ 2 + 2 ‖ ∇ y H ( x k + 1 ， y k + 1 ) − ∇ y H ( x k ， y k ) ‖ 2 ≤ 2 L 1 2 ‖ y k + 1 − y k ‖ 2 + 2 M 2 ‖ x k + 1 − x k ‖ 2 + 2 M 2 ‖ y k + 1 − y k ‖ 2 = ( 2 L 1 2 + 2 M 2 ) ‖ y k + 1 − y k ‖ 2 + 2 M 2 ‖ x k + 1 − x k ‖ 2 . (3.12) 其中，第二个不等式由 ∇ g 的利普西茨连续性和假设3.1的(ii)得到。将(3.12)式代入(3.4)式，得到 L β ( x k + 1 ， y k + 1 ， λ k + 1 ) − L β ( x k + 1 ， y k + 1 ， λ k ) ≤ ( 2 L 1 2 + 2 M 2 ) β ‖ y k + 1 − y k ‖ 2 + 2 M 2 β ‖ x k + 1 − x k ‖ 2 . (3.13) 又因为 x k + 1 是(1.4a)的最优解，所以 L β ( x k + 1 ， y k ， λ k ) ≤ L β ( x k ， y k ， λ k ) − 1 2 ‖ x k + 1 − x k ‖ G 2 ， (3.14) 结合(3.11)，(3.13)及(3.14)，有 L β ( x k + 1 ， y k + 1 ， λ k + 1 ) ≤ L β ( x k ， y k ， λ k ) + ( ( 2 L 1 2 + 2 M 2 ) β + L 1 + L 2 ( x k + 1 ) − β 2 ) ‖ y k + 1 − y k ‖ 2         + 2 M 2 β ‖ x k + 1 − x k ‖ 2 − 1 2 ‖ x k + 1 − x k ‖ G 2 ≤ δ ‖ v k + 1 − v k ‖ 2 − 1 2 ‖ x k + 1 − x k ‖ G 2 . 在最后一个不等式中，令 δ : = min { ( 2 L 1 2 + 2 M 2 ) β + L 1 + L 2 ( x k + 1 ) − β 2 ， 2 M 2 β } 显然， δ > 0 。引理获证。 引理3.2： ∑ k = 0 + ∞ ‖ ω k + 1 ω k ‖ 2 < + ∞ 证明：由于序列 { ω k } k ∈ N 是有界的，则存在收敛子列 { ω k j } j ∈ N 且 ω k j → ω * 。由h和g的连续性和f的下半连续性可知 L β ( ⋅ ) 下班连续，从而 L β ( ω * ) ≤ lim inf j → ∞ L β ( ω k j ) . (3.15) 因此序列 { L β ( ω k j ) } j ∈ N 有下界，又由引理3.1知 { L β ( ω k j ) } j ∈ N 单调递减，所以 { L β ( ω k j ) } j ∈ N 收敛，此外 { L β ( ω k ) } j ∈ N 也是收敛的，且 L β ( ω k ) ≥ L β ( ω * ) 。由引理3.1可得 ∑ k = 0 m δ ‖ v k + 1 − v k ‖ 2 − 1 2 ‖ x k + 1 − x k ‖ G 2 ≤ L β ( ω 0 ) − L β ( ω m + 1 ) ≤ L β ( ω 0 ) − L β ( ω * ) < + ∞ . 由于 δ > 0 ， G ≽ 0 ∑ k = 0 + ∞ ‖ v k + 1 − v k ‖ 2 < + ∞     ，           ∑ k = 0 + ∞ ‖ x k + 1 − x k ‖ G 2 . (3.16) 因此， ∑ k = 0 + ∞ ‖ x k + 1 − x k ‖ 2 < + ∞ ，         ∑ k = 0 + ∞ ‖ y k + 1 − y k ‖ 2 < + ∞ . 则由(3.12)式可知 ∑ k = 0 + ∞ ‖ λ k + 1 − λ k ‖ 2 < + ∞ 。 因此 ∑ k = 0 + ∞ ‖ ω k + 1 − ω k ‖ 2 < + ∞ 。 引理3.3：存在 η > 0 ，使得 d ( 0 ， ∂ L β ( ω k + 1 ) ) ≤ η ‖ v k + 1 − v k ‖ 证明：根据 L β ( ⋅ ) 的定义知 { ∂ x L β ( ω k + 1 ) = ∂ f ( x k + 1 ) + ∇ x H ( x k + 1 ， y k + 1 ) − A Τ λ k + β A Τ ( A x k + 1 + y k + 1 − b ) ， ∂ y L β ( ω k + 1 ) = ∇ g ( y k + 1 ) + ∇ y H ( x k + 1 ， y k + 1 ) − λ k + 1 + β ( A x k + 1 + y k + 1 − b ) ， ∂ λ L β ( ω k + 1 ) = − ( A x k + 1 + y k + 1 − b ) .     (3.17) 结合(3.17)及(3.2) { A Τ ( λ k − λ k + 1 ) + β A Τ ( y k + 1 − y k ) + ∇ x H ( x k + 1 ， y k + 1 ) − ∇ x H ( x k + 1 ， y k ) − G ( x k + 1 − x k ) ∈ ∂ x L β ( ω k + 1 ) λ k − λ k + 1 ∈ ∂ y L β ( ω k + 1 ) − 1 β ( λ k + 1 − λ k ) ∈ ∂ λ L β ( ω k + 1 ) 定义 { ζ x k + 1 = A Τ ( λ k − λ k + 1 ) + β A Τ ( y k + 1 − y k ) ∇ x H ( x k + 1 ， y k + 1 ) − ∇ x H ( x k + 1 ， y k ) − G ( x k + 1 − x k ) ζ y k + 1 = λ k + 1 − λ k ζ λ k + 1 = − 1 β ( λ k + 1 − λ k ) 则 ( ζ x k + 1 ， ζ y k + 1 ， ζ λ k + 1 ) Τ ∈ L β ( ω k + 1 ) ，且 存在 η 1 ， η 2 ， η 3 ， η 4 > 0 ，使得 ‖ ( ζ x k + 1 ， ζ y k + 1 ， ζ λ k + 1 ) Τ ‖ ≤ η 1 ‖ x k + 1 − x k ‖ + η 2 ‖ y k + 1 − y k ‖ + η 3 ‖ λ k + 1 − λ k ‖     + η 4 ‖ ∇ x H ( x k + 1 ， y k + 1 ) − ∇ x H ( x k + 1 ， y k ) ‖ (3.18) 由假设3.1的(ii)可知 ‖ ∇ x H ( x k + 1 ， y k + 1 ) − ∇ x H ( x k + 1 ， y k ) ‖ ≤ M ‖ y k + 1 − y k ‖ (3.19) 由(3.12)式可得 ‖ λ k + 1 − λ k ‖ ≤ ( 2 L 1 2 + 2 M 2 ) ‖ y k + 1 − y k ‖ + 2 M ‖ x k + 1 − x k ‖ (3.20) 令 η : = ( η 1 + 2 M η 3 ) 2 + ( η 2 + ( 2 L 1 2 + 2 M 2 ) η 3 + M η 4 ) 2 结合(3.18)，(3.19)，(3.20)，得到 d ( 0 ， ∂ L β ( ω k + 1 ) ) ≤ ‖ ( ζ x k + 1 ， ζ y k + 1 ， ζ λ k + 1 ) Τ ‖ ≤ ( η 1 + 2 M η 3 ) ‖ x k + 1 − x k ‖ + ( η 2 + ( 2 L 1 2 + 2 M 2 ) η 3 + M η 4 ) ‖ y k + 1 − y k ‖ ≤ η ‖ v k + 1 − v k ‖ 引理获证。 引理3.4：记序列 { ω k } k ∈ N 的所有极限点为 S ( ω 0 ) ，则 i) S ( ω 0 ) 是一个非空紧集，并且 d ( ω k ， S ( ω 0 ) ) → 0 ， k → + ∞ ； ii) S ( ω 0 ) ⊂ c r i t       L β ； iii) L β ( ⋅ ) 在 S ( ω 0 ) 上取有限值且为常量，且 inf k ∈ N L β ( ω k ) = lim k → + ∞ L β ( ω k ) 。 证明：i) 可由 S ( ω 0 ) 的定义可直接得到。 ii) 对于任意点 ( x * ， y * ， γ * ) ∈ S ( ω 0 ) ，存在子列 { ( x k j ， y k j ， γ k j ) } → ( x * ， y * ， γ * ) ， k j → + ∞ ， 根据增广拉格朗日函数的定义， x k + 1 是 L β ( x ， y k ， γ k ) 关于变量x的全局最小点，因此由(1.4)第一个式有 L β ( x k + 1 ， y k ， γ k ) + 1 2 ‖ x k + 1 − x k ‖ G 2 ≤ L β ( x * ， y k ， γ k ) 1 2 ‖ x ∗ − x k ‖ G 2 . 又 L β ( ⋅ ) 关于y和 γ 连续，则有 lim sup j → + ∞ L β ( x k j + 1 ， y k j ， γ k j ) = lim sup j → + ∞ L β ( x k j + 1 ， y k j + 1 ， γ k j + 1 ) ≤ L β ( x * ， y * ， γ * ) . (3.21) 由引理3.2，从而 { ( x k j + 1 ， y k j + 1 ， γ k j + 1 ) } → ( x * ， y * ， γ * ) ， k j → + ∞ ，由函数 L β ( ⋅ ) 的下半连续性，可得 lim inf j → + ∞ L β ( x k j + 1 ， y k j + 1 ， γ k j + 1 ) ≥ L β ( x * ， y * ， γ * ) . (3.22) 结合(3.21)式和(3.22)式，有 lim j → + ∞ L β ( x k j + 1 ， y k j + 1 ， γ k j + 1 ) = L β ( x * ， y * ， γ * ) 。 因此 lim j → + ∞ f ( x k j + 1 ) = f ( x * ) 。结合 ∇ g ， ∇ H x ( ⋅ ， ⋅ ) ， ∇ H y ( ⋅ ， ⋅ ) 的连续性，在式(3.2)中对序列 { ( x k j ， y k j ， γ k j ) } 取极限，可得 { A Τ λ k − ∇ x H ( x k + 1 ， y k ) ∈ ∂ f ( x * ) ， λ k + 1 − ∇ y H ( x k + 1 ， y k + 1 ) = ∇ g ( y * ) ， A x * + y * − b = 0. 因此 ( x * ， y * ， γ * ) ∈ S ( ω 0 ) 。 iii) 对于任意点 ( x * ， y * ， γ * ) ∈ S ( ω 0 ) ，存在子列 { ( x k j ， y k j ， γ k j ) } → ( x * ， y * ， γ * ) ， k j → + ∞ ，由于 L β ( ω k ) 单调递减，有 lim j → + ∞ L β ( x k ， y k ， γ k ) = L β ( x * ， y * ， γ * ) 。且 L β ( ⋅ ) 在 S ( ω 0 ) 是常量。得证。 定理3.1若 L β ( ⋅ ) 满足KL性质，则 ∑ k = 0 + ∞ ‖ ω k + 1 − ω k ‖ 2 < + ∞ ，且序列 { ω k } k ∈ N 收敛到 L β ( ⋅ ) 的一个稳定点。 证明由引理3.4可知， lim k → + ∞ L β ( ω k ) = L β ( ω * ) ， ∀ ω * ∈ S ( ω 0 ) ，因此考虑以下两种情况。 i) 存在整数 k 0 使得 L β ( ω k 0 ) = L β ( ω * ) ，由引理3.1可知 δ ‖ v k + 1 − v k ‖ 2 − 1 2 ‖ x − x k ‖ G 2 ≤ L β ( ω k ) − L β ( ω k + 1 ) ≤ L β ( ω k 0 ) − L β ( ω * ) = 0. 因此对任意的 k > k 0 ，有 v k + 1 = v k ，结合式(3.16)可知，对于任意的 k > k 0 + 1 ，有 ω k + 1 = ω k 成立，结论成立。 ii) 假设对于任意的k都有 L β ( ω k ) > L β ( ω * ) 成立，存在 k ˜ > 0 使得对于所有的 k > k ˜ 有 δ ‖ v k + 1 − v k ‖ 2 ≤ ξ ⋅ ‖ v k − v k − 1 ‖ ⋅ Δ k ， k + 1 . (3.23) 其中 Δ p ， q = φ ( L β ( ω p ) − L β ( ω * ) ) − φ ( L β ( ω q ) − L β ( ω * ) ) 。 由于 d ( ω k ， S ( ω 0 ) ) → 0 且 L β ( ω k ) → L β ( ω * ) ，那么对于任意的 ε ， κ > 0 ，存在 k ˜ > 0 使得对于所有的 k > k ˜ 有 d ( ω k ， S ( ω 0 ) ) < ε ， L β ( ω * ) < L β ( ω k ) < L β ( ω * ) + κ . 由于 S ( ω 0 ) 是非空紧集，且 L β ( ⋅ ) 在 S ( ω 0 ) 是常数，由引理3.3可得对所有的 k > k ˜ 有 φ ′ ( L β ( ω k ) − L β ( ω * ) ) d ( 0 ， ∂ L β ( ω k ) ) ≥ 1. 由于 L β ( ω k ) − L β ( ω k + 1 ) = ( L β ( ω k ) − L β ( ω * ) ) − ( L β ( ω k + 1 ) − L β ( ω * ) ) ， 利用函数 φ 的凹性，可以得到 φ ( L β ( ω k ) − L β ( ω * ) ) − φ ( L β ( ω k + 1 ) − L β ( ω * ) ) ≥ φ ′ ( L β ( ω k ) − L β ( ω * ) ) ( L β ( ω k ) − L β ( ω k + 1 ) ) . 因此结合引理3.3以及 φ ′ ( L β ( ω k ) − L β ( ω * ) ) > 0 ，可得 L β ( ω k ) − L β ( ω k + 1 ) ≤ φ ( L β ( ω k ) − L β ( ω * ) ) − φ ( L β ( ω k + 1 ) − L β ( ω * ) ) φ ′ ( L β ( ω k ) − L β ( ω * ) ) ≤ ξ ‖ v k − v k − 1 ‖ ‖ φ ( L β ( ω k ) − L β ( ω * ) ) − φ ( L β ( ω k + 1 ) − L β ( ω * ) ) ‖ = ξ ‖ v k − v k − 1 ‖ Δ k . k + 1 . 结合引理3.2可得式(3.23)成立，且由(3.23)可得 ‖ v k + 1 − v k ‖ ≤ ξ δ Δ k ， k + 1 ⋅ ‖ v k − v k − 1 ‖ 1 2 . 利用不等式 2 α β ≤ α + β ( ∀ α ， β > 0 ) ，可得 2 ‖ v k + 1 − v k ‖ ≤ ‖ v k − v k − 1 ‖ + ξ δ Δ k ， k + 1 . 进一步，将上式由 k = k ˜ + 1 ， ⋯ ， m 相加得到 2 ∑ k = k ˜ + 1 m ‖ v k + 1 − v k ‖ ≤ ∑ k = k ˜ + 1 m ‖ v k − v k − 1 ‖ + ξ δ Δ k ˜ + 1 ， m . 由于 φ ( L β ( ω m + 1 ) − L β ( ω * ) ) > 0 ，令 m → + ∞ ，上式为 ∑ k = k ˜ + 1 + ∞ ‖ v k + 1 − v k ‖ ≤ ‖ v k − v k − 1 ‖ + ξ δ φ ( L β ( ω k ˜ + 1 ) − L β ( ω * ) ) . 也就是说 ∑ k = 0 + ∞ ‖ v k + 1 − v k ‖ < + ∞ ，因此 ∑ k = 0 + ∞ ‖ x k + 1 − x k ‖ < + ∞ ， ∑ k = 0 + ∞ ‖ y k + 1 − y k ‖ < + ∞ 。 进一步由(3.12)可得 ∑ k = 0 + ∞ ‖ λ k + 1 − λ k ‖ < + ∞ 。 此外，由于 ‖ ω k + 1 − ω k ‖ = ( ‖ x k + 1 − x k ‖ 2 + ‖ y k + 1 − y k ‖ 2 + ‖ λ k + 1 − λ k ‖ 2 ) 1 2 ≤ ‖ x k + 1 − x k ‖ + ‖ y k + 1 − y k ‖ + ‖ λ k + 1 − λ k ‖ . 因此 ∑ k = 0 + ∞ ‖ ω k + 1 − ω k ‖ < + ∞ 。且 { ω k } k ∈ N 是Cauchy序列，因此 { ω k } k ∈ N 收敛。