system: [SYSTEM]

user: 5. 收敛性分析 定理5.1：1) 设矩阵A行满秩且 { z k : = ( μ k ， x k ， y k ) } 是算法4.1生成的无穷迭代点列，则对 ∀ k ≥ 0 ，若 μ k > 0 ， z k ∈ Λ ， θ ( z k ) ≤ θ ( z 0 ) ，则 z k + 1 ∈ Λ ，其中 Λ : = { z : = ( μ ， x ， y ) ∈ R + × R n × R m | μ ≥ β ( z ) μ 0 } ， (5.1) 2) (全局收敛性) { z k } 的任意聚点 z * = ( μ * ， x * ， y * ) 都是 H ( z k ) = 0 的解。 证明：1) 根据 β ( z ) 的定义分两种情况讨论： i) 若 θ ( z k ) ≤ 1 ，则 β k = γ e μ k ‖ θ ( z k ) ‖ 。对任意的 t ∈ ( 0 ， 1 ] ，从(4.7)式知 θ ( z k + t Δ z k ) ≤ [ 1 − σ ( 1 − 2 γ μ 0 η ) t ] θ ( z k ) ，故 β ¯ ( z k + t Δ z k ) = γ θ ( z k + t Δ z k ) . 。由于 z k ∈ Λ ，可得 μ k + t Δ μ k − β ¯ ( z k + t Δ z k ) μ 0 ≥ ( 1 − t ) μ k + t γ μ 0 θ ( z k ) − β ¯ ( z k + t Δ z k ) μ 0 ≥ ( 1 − t ) β ¯ k μ 0 + t γ μ 0 θ ( z k ) − γ θ ( z k + t Δ z k ) μ 0 ≥ ( 1 − t ) γ θ ( z k ) μ 0 + t γ μ 0 θ ( z k ) − γ [ 1 − σ ( 1 − 2 γ μ 0 η ) t ] θ ( z k ) μ 0 = 2 γ σ ( 1 − γ μ 0 η ) t θ ( z k ) μ 0 ≥ 0. ii) 若 θ ( z k ) > 1 ，则 β k = γ e μ k ， β ¯ k : = β ¯ ( z k ) = γ 。对任意的 z ∈ R 2 n + 1 ，有 β ¯ ( z ) ≤ γ ，从而对任意的 t ∈ ( 0 ， 1 ] ，有 μ k + t Δ μ k − β ¯ ( z k + t Δ z k ) μ 0 = μ k + t ( 1 − e μ k e μ k + β k μ 0 e μ k ) − β ¯ ( z k + t Δ z ) k μ 0 ≥ ( 1 − t ) μ k + t γ μ 0 − γ μ 0 ≥ ( 1 − t ) β ¯ k μ 0 + t γ μ 0 − γ μ 0 = ( 1 − t ) γ μ 0 + t γ μ 0 − γ μ 0 = 0. 从而 z k + 1 ∈ Λ 。 2) 不失一般性，设 z * 是点列 { z k } 的任意聚点，要证 H ( z * ) = 0 ，用反证法。假设 ‖ H ( z * ) ‖ > 0 ，由算法4.1的步骤3知 { ‖ H ( z k ) ‖ } 单调下降且有界，结合 H ( z k ) 的连续性，有 lim k → + ∞ ‖ H ( z k ) ‖ = ‖ H ( z * ) ‖ 。由 β ( ⋅ ) 的定义知 β ( z k ) 单调下降且趋于 β ( z * ) : β * = β ( z * ) = e μ * γ min { 1 ， θ ( z * ) } > 0 。另外，由(5.1)和(4.6)式得到： 0 < μ k + 1 = μ k + t Δ μ k = μ k + t ( 1 − e μ k e μ k + β k μ 0 e μ k ) ≤ μ k + t ( − μ k e μ k + e μ k β ¯ k μ 0 e μ k ) ≤ μ k + t ( − μ k e μ k + μ k ) ≤ μ k . 即 μ k 是单调下降的，则 lim k → + ∞ μ k = μ * 。对 μ k ≥ β k μ 0 两边取极限，有 μ * ≥ β * μ 0 > 0 。由定理4.1知 H ′ ( z * ) 存在且非奇异。由引理4.1知：存在 z * 的一个闭邻域 N ( z * ) 和正数 t ¯ ∈ ( 0 ， 1 ] ，使得对于任意的 z = ( μ ， x ， y ) ∈ N ( z * ) 和所有的 t ∈ [ 0 ， t ¯ ] ，都有 μ > 0 ， H ′ ( z ) 非奇异且 θ ( z k + t Δ z k ) ≤ [ 1 − σ ( 1 − 2 γ μ 0 η ) t ] θ ( z k ) . 可以找到一个非负整数 τ ，使得 δ τ ∈ [ 0 ， t ¯ ] ，当k充分大时，有 θ ( z k + 1 ) ≤ [ 1 − σ ( 1 − 2 γ μ 0 η ) t ] θ ( z k ) . 由步骤3知，对于充分大的k，步长 t k = δ α k ≥ δ τ ，因此有 θ ( z k + 1 ) ≤ [ 1 − σ ( 1 − 2 γ μ 0 η ) t k ] θ ( z k ) ≤ [ 1 − σ ( 1 − 2 γ μ 0 η ) δ τ ] θ ( z k ) . 这与序列 { θ ( z k ) } 的极限 θ ( z * ) > 0 矛盾，故 θ ( z * ) = 0 ，即 H ( z * ) = 0 ，因此算法4.1是全局收敛的。 接下来证明算法的一个局部收敛性，在证明之前先介绍相关引理。 引理5.1 (文 [ 12 ] )：如果 V ∈ ∂ F ( z * ) 都是非奇异的，那么存在 z * 的一个邻域 N ( z * ) 和一个常数 C > 0 ，使得对于任意的 z k ∈ N z * 和任意的 V ∈ ∂ F ( z k ) 。V非奇异且 ‖ V − 1 ‖ ≤ C 。 定理5.2 (局部二次收敛)：设矩阵A行满秩且 z * 是算法4.1产生的迭代点列 { z k } 的任意聚点，则当k充分大时， { z k } 二阶收敛到 z * ，即 ‖ z k + 1 − z * ‖ = O ( ‖ z k − z * ‖ 2 ) ，且 μ k + 1 = O ( μ k 2 ) 。 证明：由定理5.1的(2)知 H ( z * ) = 0 ，又由定理4.1知 H ′ ( z * ) 存在且非奇异。故由引理5.1知，存在一个常数 C > 0 ，对于充分接近 z * 的所有点 z k ，有 ‖ ( H ′ ( z k ) ) − 1 ‖ ≤ C 。由定理3.1和定理4.1知 H ( z ) 在 z k 处是全局利普希茨连续的强半光滑函数，因为 H ( x + Δ x ) − H ( x ) − V ( Δ x ) = O ( ‖ Δ x ‖ 1 + p ) ，当 z k 充分接近 z * 时，由半光滑函数的定义知，当 z k 充分接近点 z * 时，有 ‖ H ( z k ) ‖ = ‖ H ( z k ) − H ( z * ) ‖ = O ( ‖ z k − z * ‖ ) 和 H ( z * ) − H ( z k ) − H ′ ( z k ) ( z * − z k ) = O ( ‖ z k − z * ‖ 2 ) . 又 β k = e μ k γ min { 1 ， ‖ H ( z k ) ‖ 2 } ≤ ‖ H ( z k ) ‖ 2 ，即 β k = O ( ‖ H ( z k ) ‖ 2 ) = O ( ‖ z k − z * ‖ 2 ) 。因此， ‖ z k + Δ z k − z * ‖ = ‖ z k + ( H ′ ( z k ) ) − 1 ( β k z ¯ − H ( z k ) ) − z * ‖ = ‖ ( H ′ ( z k ) ) − 1 [ H ′ ( z k ) ( z k − z * ) + β k z ¯ − H ( z k ) ] ‖ ≤ ‖ ( H ′ ( z k ) ) − 1 ‖ ‖ H ( z * ) − H ( z k ) − H ′ ( z k ) ( z * − z k ) + β k z ¯ ‖ ≤ C [ ‖ H ( z * ) − H ( z k ) − H ′ ( z k ) ( z * − z k ) ‖ + β k μ 0 ] = O ( ‖ z k − z * ‖ 2 ) . (5.2) 进一步有 ‖ H ( z k + Δ z k ) ‖ = O ( ‖ z k + Δ z k − z * ‖ ) = O ( ‖ z k − z * ‖ 2 ) = O ( ‖ H ( z k ) ‖ 2 ) (5.3) 即当 z k 充分接近 z * 时，有 z k + 1 = z k + Δ z k 。由(4.5)知 ‖ z k + 1 − z * ‖ = O ( ‖ z k − z * ‖ 2 ) (5.4) 即算法4.1是二次收敛的，其次，当k充分大时， H ( z k ) 单调减少趋向于 H ( z * ) ，即 H ( z k ) → 0 ，所以 β k = e μ k γ ‖ H ( z k ) ‖ 2 ，又因为 z k + 1 = z k + Δ z k ，所以当k充分大时有 μ k + 1 = μ k + Δ μ k = β k μ 0 e μ k = γ ‖ H ( z k ) ‖ 2 μ 0 . (5.5) 结合(5.3)式知，当 z k 充分接近 z * 时，有 μ k + 1 μ k = ‖ H ( z k ) ‖ 2 ‖ H ( z k − 1 ) ‖ 2 = O (     ‖ H ( z k − 1 ) ‖ 4 )       ‖ H ( z k − 1 ) ‖ 2 = O   (   ‖ H ( z k − 1 ) ‖ 2 ) = O ( μ k ) ， 即 μ k + 1 = O ( μ k 2 ) 。