system: [SYSTEM]

user: 3. 收敛性与复杂度分析 本节将证明算法1的全局收敛性并分析其计算复杂度。记 Λ 为近似次梯度的上界，即 ‖ g ˜ f k ‖ ≤ Λ ， ‖ g ˜ c k ‖ ≤ Λ ， ∀ k 。由算法步骤2和引理2可知，若 h rec k ≤ 0 ，则算法终止，并且 x rec k 是问题(1)的近似最优解，因此在下面分析中将假设 h rec k > 0 ， ∀ k 。下面引理给出相邻两个迭代点之间距离的下界，其证明类似于文 [ 5 ] 的引理6。 引理3：算法1产生的迭代点满足下列关系： ‖ x k + 1 − x k ‖ ≥ 1 − γ Λ h rec k ，           k > k ( l ) ， ‖ x k + 1 − x ^ k ‖ ≥ 1 − γ Λ h rec k ，           k = k ( l ) . 证明：对于任意的k和 j ∈ J f k ∩ J c k ，根据子问题 x k + 1 : = arg min x ∈ X k φ ( x ; x ^ k ) 可以得到 x k + 1 ∈ X k 。由 X k 的定义(11)结合(3)式，可得 f x j + 〈 g ˜ f j ， x k + 1 − x j 〉 ≤ f lev k ， c x j + 〈 g ˜ c j ， x k + 1 − x j 〉 ≤ 0. 即 f x j − f lev k ≤ 〈 g ˜ f j ， x k + 1 − x j 〉 ， c x j ≤ 〈 g ˜ c j ， x k + 1 − x j 〉 . 结合Cauchy-Schwarz不等式可以得到 f x j − f lev k ≤ 〈 g ˜ f j ， x k + 1 − x j 〉 ≤ ‖ g ˜ f j ‖ ‖ x k + 1 − x j ‖ ≤ Λ ‖ x k + 1 − x j ‖ . 类似的，可以得到 c x j ≤ 〈 g ˜ c j ， x k + 1 − x j 〉 ≤ ‖ g ˜ c j ‖ ‖ x k + 1 − x j ‖ ≤ Λ ‖ x k + 1 − x j ‖ . 再结合 f lev k = f low k + γ h rec k 及 h rec k > 0 ，可得 Λ ‖ x k + 1 − x j ‖ ≥ max { f x j − f low k − γ h rec k ， c x j } ≥ max { f x j − f low k − γ h rec k ， c x j − γ h rec k } = − γ h rec k + max { f x j − f low k ， c x j } = − γ h rec k + h ˜ ( x j ; f low k ) 由(7) = ( 1 − γ ) h rec k . 由(8) 当 k > k ( l ) ，则束管理确保 k ∈ J f k ∩ J c k 。故令 使得 ‖ x k + 1 − x k ‖ ≥ 1 − γ Λ h rec k 成立，当 k = k ( l ) 时，选取 x ^ k 为稳定中心，故存在 j ∈ J f k ∩ J c k 使得 x j = x ^ k ，即 ‖ x k + 1 − x ^ k ‖ ≥ 1 − γ Λ h rec k 成立。 下面将证明每一个循环 K l 中的迭代次数是有限的。 引理4：对于任意的 l ≥ 0 ，在第l个循环中的迭代指标 k ( k ∈ K l ) 满足： k − k ( l ) + 1 ≤ Ω ω ， X ( Λ ( 1 − γ ) h rec k ) 2 + 1. 证明：对任意的 k > k ( l ) ，由子问题(10)知 x k = arg min x ∈ X k − 1 φ ( x ; x ^ k − 1 ) ，故由一阶最优性条件可得： 〈 ∇ φ ( x k ; x ^ k − 1 ) ， x − x k 〉 ≥ 0 ，             ∀ x ∈ X k − 1 . (16) i) 假如在第 k − 1 步到第k步没有束压缩机制，那么根据 f ^ k ( x ) 的定义(6)可知 f ^ k ( x ) ≥ f ^ k − 1 ( x ) ， c ^ k ( x ) ≥ c ^ k − 1 ( x ) ， ∀ x ∈ R n 。根据注1可得 f lev k ≤ f lev k − 1 ，从而 X k ⊆ X k − 1 。因为 k ∈ K l ，所以有 X k 非空，并且 x k + 1 ∈ X k 。又因为在每个 l 循环中稳定中心不变，即： x ^ k − 1 = x ^ k ，从而可以得到 〈 ∇ φ ( x k ; x ^ k ) ， x k + 1 − x k 〉 ≥ 0 。 ii) 若在第 k − 1 步到第k步有束压缩，则聚集指标 a k ∈ J f k ， a k ∈ J c k ，故 f ^ k ( x ) ≥ f ¯ a k ( x ) ，   c ^ k ( x ) ≥ c ¯ a k ( x ) ， ∀ x ∈ R n ，从而 X k ⊆ X a k 。由(15)可知 x k = arg min { φ ( x ; x ^ k − 1 ) ， x ∈ X a k } ，根据一阶最优性条件有： 〈 ∇ φ ( x k ; x ^ k − 1 ) ， x − x k 〉 ≥ 0 ，             ∀ x ∈ X a k . (17) 类似地，可利用稳定中心在同一个l循环中不变，即 x ^ k − 1 = x ^ k ，并且 x k + 1 ∈ X a k ，结合 (17) 得到 〈 ∇ φ ( x k ; x ^ k ) ， x k + 1 − x k 〉 ≥ 0 。又因为 k ∈ K l ， h rec k > δ Tol ，算法不终止且 ，于是 〈 ∇ φ ( x k ; x ^ k ( l ) ) ， x k + 1 − x k 〉 ≥ 0. 由 φ ( x ; x ^ k ( l ) ) 是强凸函数，有 σ 2 ‖ x k + 1 − x k ‖ 2 ≤ φ ( x k + 1 ; x ^ k ( l ) ) − φ ( x k ; x ^ k ( l ) ) − 〈 ∇ φ ( x k ; x ^ k ( l ) ) ， x k + 1 − x k 〉 ≤ φ ( x k + 1 ; x ^ k ( l ) ) − φ ( x k ; x ^ k ( l ) ) . 从而有 σ 2 ‖ x k + 1 − x k ‖ 2 ≤ φ ( x k + 1 ; x ^ k ( l ) ) − φ ( x k ; x ^ k ( l ) ) . 对上式从 k ( l ) + 1 到k求和，得到： σ 2 ∑ j = k ( l ) + 1 k ‖ x j + 1 − x j ‖ 2 ≤ φ ( x k + 1 ; x ^ k ( l ) ) − φ ( x k ( l ) + 1 ; x ^ k ( l ) ) . (18) 对不等式(18)左边缩小，结合引理3可得 σ 2 ∑ j = k ( l ) + 1 k ‖ x j + 1 − x j ‖ 2 ≥ σ 2 ∑ j = k ( l ) + 1 k ( 1 − γ Λ h rec j ) 2 ≥ σ 2 ∑ j = k ( l ) + 1 k ( 1 − γ Λ h rec k ) 2 . 对不等式(18)右边放大，由 φ ( x ; x ^ ) 的性质以及(4)可得 φ ( x k + 1 ; x ^ k ( l ) ) − φ ( x k ( l ) + 1 ; x ^ k ( l ) ) ≤ φ ( x k + 1 ; x ^ k ( l ) ) ≤ max x ∈ X { φ ( x ; x ^ k ( l ) ) } ≤ max x ， y ∈ X { φ ( x ; y ) } = D ω ， X 2 . 于是 D ω ， X 2 ≥ σ 2 ∑ j = k ( l ) + 1 k ( 1 − γ Λ h rec k ) 2 = σ 2 ( k − k ( l ) ) ( 1 − γ Λ h rec k ) 2 ， 从而结合(5)有 k − k ( l ) ≤ 2 D ω ， X 2 σ ( Λ ( 1 − γ ) h rec k ) 2 = Ω ω ， X ( Λ ( 1 − γ ) h rec k ) 2 . □ 以下定理给出了算法1的全局收敛性。。 定理1：假设 δ Tol = 0 且算法不终止，则 lim k h rec k ≤ 0 ，并且 a) 如果 ε f k ≡ ε f ≥ 0 ， ε c k ≡ ε c ≥ 0 ， ∀ k ，则序列 { x rec k } 的任意聚点是问题(1)的 ε 最优解，其中 ε : = max { ε f ， ε c } 。 b) 如果 ε f k → 0 ， ε c k → 0 ， k → ∞ ，则序列 { x rec k } 的任意聚点是问题(1)的最优解。 证明：首先，类似于文献 [ 5 ] 中的定理4，可以证明 lim k h rec k ≤ 0 。其次，根据引理2易知定理成立。 □ 下面给出算法1的计算复杂度。 定理2：设 − ∞ < f low 0 ≤ f * ， δ Tol > 0 ，且不考虑步骤3，则算法1执行的迭代次数的上界为： ( 1 + f * − f low 0 γ δ Tol ) ( Ω ω ， X ( Λ ( 1 − γ ) δ Tol ) 2 + 1 ) . 证明：根据算法1可知，当 X k 为空集时，最优值 f * 的下界 f low k 增加了 γ h rec k ( > γ δ Tol ) 。即 f * ≥ f low 0 + γ h rec 1 + ⋯ + γ h rec k ≥ f low 0 + γ δ Tol + ⋯ + γ δ Tol . 因为 f low 0 是有限的，所以 X k 出现空集的次数也是有限的，令N为出现空集的次数，即N是有限的。因此， N ⋅ γ δ Tol ≤ f * − f low 0 ，从而有： N ≤ f * − f low 0 γ δ Tol . 若算法在第k次迭代不终止，有 h rec k > δ Tol   ，根据引理4可知算法中每个 K l 至多有 Ω ω ， X ( Λ ( 1 − γ ) h rec k ) 2 + 1 次迭代。那么有： Ω ω ， X ( Λ ( 1 − γ ) h rec k ) 2 + 1 ≤ Ω ω ， X ( Λ ( 1 − γ ) δ Tol ) 2 + 1. 令 k δ Tol 是使得 h rec k > δ Tol   成立的最大指标集，那么 k δ Tol ≤ ( 1 + f * − f low 0 γ δ Tol ) ( Ω ω ， X ( Λ ( 1 − γ ) δ Tol ) 2 + 1 ) . □