system: [SYSTEM]

user: 3. 修正的惯性次梯度外梯度方法 设 A : H → H 为一个在 H 上单调且Lipschitz连续的映射， V I ( Ω ， A ) ≠ ∅ 。 f : H → H 是一个压缩映射，压缩系数为 κ ∈ [ 0 ， 1 ) 。 算法3.1 (修正的惯性次梯度外梯度算法)： Step 0 (初始化)：设置 τ ∈ ( 0 ， 1 L ) ， { α n } ⊂ [ 0 ， α ) 其中 α > 0 ， { β n } ⊂ ( 0 ， 1 ) ， { θ n } ⊂ ( θ ˜ ， 1 ] ， 0 < θ ˜ < 1 ，满足 以下条件： lim n → ∞ β n = 0 ， ∑ n = 1 ∞ β n = ∞ 设置初始点 x 0 ， x 1 ∈ C 和 n : = 1 。 Step 1：计算： w n = x n + α n ( x n − x n − 1 ) y n = P C ( w n − τ A w n ) 如果 y n = w n ，迭代停止( y n 即为变分不等式的解)。否则进行Step 2。 Step 2：构造半空间： T n = { z ∈ R n 〈 w n − τ A w n − y n ， z − y n 〉 | ≤ 0 } 计算： z n = P T n ( w n − τ A y n ) 。 Step 3：计算： x n + 1 = ( 1 − θ n ) x n + θ n [ ( 1 − β n ) z n + β n f ( z n ) ] 令 n : = n + 1 ，回到Step 1。 定理3.1：假设序列 { α n } 使得 lim n → ∞ α n β n ‖ x n − x n − 1 ‖ = 0 (3) 由算法生成的序列 { x n } 收敛于 p ∈ V I ( C ， A ) ，其中 p = P V I ( C ， A ) ° f ( p ) 。 要证明这个定理，我们首先证明以下几个引理： 引理3.1 由算法生成的序列 { x n } 都是有界的。 证明：因为 p ∈ V I ( C ， A ) ，通过引理2.2，我们有： ‖ z n − p ‖ 2 ≤ ‖ w n − p ‖ 2 − ( 1 − τ L ) ‖ y n − w n ‖ 2 − ( 1 − τ L ) ‖ z n − y n ‖ 2 (4) 即有： ‖ z n − p ‖ ≤ ‖ w n − p ‖ (5) 通过 w n 的定义得： ‖ w n − p ‖ = ‖ x n + α n ( x n − x n − 1 ) − p ‖ ≤ ‖ x n − p ‖ + α n ‖ x n − x n − 1 ‖ = ‖ x n − p ‖ + β n α n β n ‖ x n − x n − 1 ‖ (6) 又因为 lim n → ∞ α n β n ‖ x n − x n − 1 ‖ = 0 ，所以存在常数 M 1 ≥ 0 ，对任意的 n ≥ 0 ，使得 α n β n ‖ x n − x n − 1 ‖ ≤ M 1 (7) 结合(5)、(6)和(7)式，我们得到： ‖ z n − p ‖ ≤ ‖ w n − p ‖ ≤ ‖ x n − p ‖ + β n M 1 (8) 通过 x n + 1 和 f 的定义可得： ‖ x n + 1 − p ‖ = ‖ ( 1 − θ n ) ( x n − p ) + θ n [ ( 1 − β n ) ( z n − p ) + β n ( f ( z n ) − p ) ] ‖                       ≤ ( 1 − θ n ) ‖ x n − p ‖ + θ n ( 1 − β n ) ‖ z n − p ‖ + θ n β n ‖ f ( z n ) − f ( p ) ‖ + θ n β n ‖ f ( p ) − p ‖                       ≤ ( 1 − θ n ) ‖ x n − p ‖ + θ n ( 1 − ( 1 − κ ) β n ) ‖ z n − p ‖ + θ n β n ‖ f ( p ) − p ‖ (9) 把(8)代入(9)式，得到： ‖ x n + 1 − p ‖ ≤ ( 1 − θ n ) ‖ x n − p ‖ + θ n ( 1 − ( 1 − κ ) β n ) ‖ x n − p ‖ + θ n β n M 1 + θ n β n ‖ f ( p ) − p ‖ = ( 1 − ( 1 − κ ) θ n β n ) ‖ x n − p ‖ + ( 1 − κ ) θ n β n ( M 1 + ‖ f ( p ) − p ‖ ) 1 − κ ≤ max { ‖ x n − p ‖ ， M 1 + ‖ f ( p ) − p ‖ 1 − κ } ≤ ⋯ ≤ max { ‖ x 0 − p ‖ ， M 1 + ‖ f ( p ) − p ‖ 1 − κ } (10) 由此可以推出 { x n } 有界，也可以顺便推出 { z n } ， { f ( z n ) } ， { w n } 有界。 □ 引理3.2 对于由算法生成的序列 { x n } ， { y n } ， { z n } ， { w n } ，以及 p ∈ V I ( C ， A ) ，有以下不等式成立： θ n ( 1 − τ L ) ‖ y n − w n ‖ 2 + θ n ( 1 − τ L ) ‖ z n − y n ‖ 2 ≤ ‖ x n − p ‖ 2 − ‖ x n + 1 − p ‖ 2 + β n M 4 其中： M 2 : = 2 ‖ f ( p ) − p ‖ sup n ∈ ℕ { ‖ z n − p ‖ } + ‖ f ( p ) − p ‖ 2 M 3 : = sup n ∈ ℕ { 2 M 1 ‖ x n − p ‖ + β n M 1 2 } M 4 : = M 2 + M 3 证明： 由 x n + 1 的定义和命题2.1，得到： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ( 1 − β n ) ‖ z n − p ‖ 2 + θ n β n ‖ f ( z n ) − p ‖ 2                         ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ( 1 − β n ) ‖ z n − p ‖ 2 + θ n β n ( ‖ f ( z n ) − f ( p ) ‖ + ‖ f ( p ) − p ‖ ) 2 又因为 f 是一个 κ − 压缩，所以由上式可得： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ‖ z n − p ‖ 2 + β n ( 2 ‖ z n − p ‖ ‖ f ( p ) − p ‖ + ‖ f ( p ) − p ‖ 2 ) ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ‖ z n − p ‖ 2 + β n M 2 (11) 因为 { z n } 有界，所以 { ‖ z n − p ‖ } 有界。 即令 M 2 : = 2 ‖ f ( p ) − p ‖ sup n ∈ ℕ { ‖ z n − p ‖ } + ‖ f ( p ) − p ‖ 2 ，得到 M 2 是一个有界量，且 M 2 > 0 。 把(4)代入(11)得到： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ‖ w n − p ‖ 2 − θ n ( 1 − τ L ) ‖ y n − w n ‖ 2 − θ n ( 1 − τ L ) ‖ z n − y n ‖ 2 + β n M 2 (12) 通过(8)式我们得到： ‖ w n − p ‖ 2 ≤ ( ‖ x n − p ‖ + β n M 1 ) 2 = ‖ x n − p ‖ 2 + β n ( 2 M 1 ‖ x n − p ‖ + β n M 1 2 ) ≤ ‖ x n − p ‖ 2 + β n M 3 (13) 其中 M 3 > 0 。 把(13)式代入(12)式，得到： ‖ x n + 1 − p ‖ 2 ≤ ‖ x n − p ‖ 2 − θ n ( 1 − τ L ) ‖ y n − w n ‖ 2 − θ n ( 1 − τ L ) ‖ z n − y n ‖ 2 + β n ( M 3 + M 2 ) ≤ ‖ x n − p ‖ 2 − θ n ( 1 − τ L ) ‖ y n − w n ‖ 2 − θ n ( 1 − τ L ) ‖ z n − y n ‖ 2 + β n M 4 即得： θ n ( 1 − τ L ) ‖ y n − w n ‖ 2 + θ n ( 1 − τ L ) ‖ z n − y n ‖ 2 ≤ ‖ x n − p ‖ 2 − ‖ x n + 1 − p ‖ 2 + β n M 4 其中 M 4 : = M 2 + M 3 。 □ 引理3.3 对于由算法生成的序列 { x n } ，以及 p ∈ V I ( C ， A ) ，有以下不等式成立： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − ( 1 − κ ) β n θ n ) ‖ x n − p ‖ 2 + ( 1 − κ ) β n θ n [ 2 1 − κ 〈 f ( p ) − p ， x n + 1 − p 〉 + 3 M ( 1 − κ ) θ n α n β n ‖ x n − x n − 1 ‖ ] 其中 M : = sup { ‖ x n − p ‖ ， α ‖ x n − x n − 1 ‖ | n ∈ ℕ } > 0 。 证明：根据 w n 的定义我们有， ‖ w n − p ‖ 2 = ‖ x n + α n ( x n − x n − 1 ) − p ‖ 2 = ‖ x n − p ‖ 2 + 2 α n 〈 x n − p ， x n − x n − 1 〉 + α n 2 ‖ x n − x n − 1 ‖ 2 ≤ ‖ x n − p ‖ 2 + 2 α n ‖ x n − p ‖ ‖ x n − x n − 1 ‖ + α n 2 ‖ x n − x n − 1 ‖ 2 (14) 由 x n + 1 的定义以及(2)式我们得到： ‖ x n + 1 − p ‖ 2 = ‖ ( 1 − θ n ) ( x n − p ) + θ n [ ( 1 − β n ) ( z n − p ) + β n ( f ( z n ) − f ( p ) ) ] + θ n β n ( f ( p ) − p ) ‖ 2 ≤ ‖ ( 1 − θ n ) ( x n − p ) + θ n [ ( 1 − β n ) ( z n − p ) + β n ( f ( z n ) − f ( p ) ) ] ‖ + 2 θ n β n 〈 f ( p ) − p ， x n + 1 − p 〉 接下来对上式左边的范数部分使用命题2.1，得到： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ( 1 − β n ) ‖ z n − p ‖ 2 + θ n β n ‖ f ( z n ) − f ( p ) ‖ 2 + 2 θ n β n 〈 f ( p ) − p ， x n + 1 − p 〉 因为 f 是一个 κ − 压缩， κ ∈ [ 0 ， 1 ) ，使用(5)式， 上式可得： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ( 1 − β n ) ‖ z n − p ‖ 2 + θ n β n κ ‖ z n − p ‖ 2 + 2 θ n β n 〈 f ( p ) − p ， x n + 1 − p 〉 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ n ( 1 − ( 1 − κ ) β n ) ‖ w n − p ‖ 2 + 2 θ n β n 〈 f ( p ) − p ， x n + 1 − p 〉 (15) 把(14)式代入(15)式，可得： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − θ n ) ‖ x n − p ‖ 2 + θ ( 1 − ( 1 − κ ) β n ) ‖ x n − p ‖ 2 + 2 α n ‖ x n − p ‖ ‖ x n − x n − 1 ‖ + α n 2 ‖ x n − x n − 1 ‖ 2 + 2 θ n β n 〈 f ( p ) − p ， x n + 1 − p 〉 = ( 1 − ( 1 − κ ) β n θ n ) ‖ x n − p ‖ 2 + ( 1 − κ ) β n θ n 2 1 − κ 〈 f ( p ) − p ， x n + 1 − p 〉 + α n ‖ x n − x n − 1 ‖ ( 2 ‖ x n − p ‖ + α n ‖ x n − x n − 1 ‖ ) 又因为 0 ≤ α n < α ，所以由上式可得： ‖ x n + 1 − p ‖ 2 ≤ ( 1 − ( 1 − κ ) β n θ n ) ‖ x n − p ‖ 2 + ( 1 − κ ) β n θ n 2 1 − κ 〈 f ( p ) − p ， x n + 1 − p 〉 + α n ‖ x n − x n − 1 ‖ ( 2 ‖ x n − p ‖ + α ‖ x n − x n − 1 ‖ ) ≤ ( 1 − ( 1 − κ ) β n θ n ) ‖ x n − p ‖ 2 + ( 1 − κ ) β n θ n 2 1 − κ 〈 f ( p ) − p ， x n + 1 − p 〉 + 3 M α n ‖ x n − x n − 1 ‖ ≤ ( 1 − ( 1 − κ ) β n θ n ) ‖ x n − p ‖ 2 + ( 1 − κ ) β n θ n [ 2 1 − κ 〈 f ( p ) − p ， x n + 1 − p 〉 + 3 M ( 1 − κ ) θ n α n β n ‖ x n − x n − 1 ‖ ] 其中： M : = sup { ‖ x n − p ‖ ， α ‖ x n − x n − 1 ‖ | n ∈ ℕ } > 0 。 □ 以下是定理3.1的证明： 证明：我们要证明 { ‖ x n − p ^ ‖ 2 } 收敛到零，下面我们考虑序列 { ‖ x n − p ^ ‖ 2 } 的两种情况： (一)：存在 N ∈ ℕ ，对任意的 n ≥ N ，使得 ‖ x n + 1 − p ^ ‖ 2 ≤ ‖ x n − p ^ ‖ 2 。 在引理3.1里证明了 { x n } 有界，故可以推出 { ‖ x n − p ^ ‖ } 是有界的，所以由 ‖ x n + 1 − p ^ ‖ 2 ≤ ‖ x n − p ^ ‖ 2 可以得到： lim n → ∞ ‖ x n − p ^ ‖ 存在。 根据引理3.2，我们可以得到： lim n → ∞ ‖ y n − w n ‖ = 0 ， lim n → ∞ ‖ z n − y n ‖ = 0 (16) 由于 { x n } 是有界的，就存在 { x n } 的一个子列 { x n k } 令它收敛到 z ，我们可以推出 { 〈 f ( p ^ ) − p ， x n − p ^ 〉 } 是有界的，那么存在其子列 { 〈 f ( p ^ ) − p ^ ， x n k − p ^ 〉 } ，使得： lim sup n → ∞ 〈 f ( p ^ ) − p ^ ， x n − p ^ 〉 = lim k → ∞ 〈 f ( p ^ ) − p ^ ， x n k − p ^ 〉 = 〈 f ( p ^ ) − p ^ ， z − p ^ 〉 (17) 根据(16)和(文献 [ 19 ] 引理3.2)，我们可以得到 z ∈ V I ( C ， A ) 。 通过(17)、引理2.1(3)以及 p ^ = P V I ( C ， A ) ∘ f ( p ^ ) ，就有： lim sup n → ∞ 〈 f ( p ^ ) − p ^ ， x n − p ^ 〉 = 〈 f ( p ^ ) − p ^ ， z − p ^ 〉 ≤ 0 (18) 现在我们证明： lim n → ∞ ‖ x n + 1 − x n ‖ = 0 (19) 通过(16)可以得到： ‖ z n − w n ‖ = ‖ z n − y n + y n − w n ‖ ≤ ‖ z n − y n ‖ + ‖ y n − w n ‖ → 0 ( n → ∞ ) (20) 另一方面，我们有： ‖ x n − w n ‖ = α n ‖ x n − x n − 1 ‖ = α n β n ‖ x n − x n − 1 ‖ β n → 0 ( n → ∞ ) (21) ‖ x n − z n ‖ ≤ ‖ x n − w n ‖ + ‖ w n − y n ‖ + ‖ y n − z n ‖ → 0 ( n → ∞ ) (22) 所以由 x n + 1 的定义以及(22)式可以得到： ‖ x n + 1 − z n ‖ = ‖ ( 1 − θ n ) ( x n − z n ) + θ n β n ( f ( z n ) − z n ) ‖ ≤ ( 1 − θ n ) ‖ x n − z n ‖ + θ n β n ‖ f ( z n ) − z n ‖ → 0 ( n → ∞ ) (23) 根据(20)、(21)和(23)式，可以推出： ‖ x n + 1 − x n ‖ ≤ ‖ x n + 1 − z n ‖ + ‖ z n − w n ‖ + ‖ w n − x n ‖ → 0 ( n → ∞ ) 所以这就证明了 lim n → ∞ ‖ x n + 1 − x n ‖ = 0 。 结合(18)和(19)式，我们有： lim sup n → ∞ 〈 f ( p ^ ) − p ^ ， x n + 1 − p ^ 〉 = lim sup n → ∞ 〈 f ( p ^ ) − p ^ ， x n − p ^ 〉 = 〈 f ( p ^ ) − p ^ ， z − p ^ 〉 ≤ 0 因此，根据(文献 [ 18 ] 引理2.1)和引理3.3，我们就可以得到 lim n → ∞ ‖ x n − p ^ ‖ = 0 。 (二)：存在 { ‖ x n − p ^ ‖ 2 } 的子序列 { ‖ x n j − p ^ ‖ 2 } ，使得对任意的 j ∈ ℕ 有 ‖ x n j − p ^ ‖ 2 < ‖ x n j + 1 − p ^ ‖ 2 。 在这种情况下，根据(文献 [ 20 ] 引理2.3)，存在一个非减序列 { m k } ⊂ ℕ ，使得 lim k → ∞ m k = ∞ ，并有以下不等式成立： 对任意的 k ∈ ℕ ‖ x m k − p ^ ‖ 2 ≤ ‖ x m k + 1 − p ^ ‖ 2 ， ‖ x k − p ^ ‖ 2 ≤ ‖ x m k + 1 − p ^ ‖ 2 (24) 根据引理3.2，我们有： θ m k ( 1 − τ L ) ‖ y m k − w m k ‖ 2 + θ m k ( 1 − τ L ) ‖ z m k − y m k ‖ 2 ≤ ‖ x m k − p ^ ‖ 2 − ‖ x m k + 1 − p ^ ‖ 2 + β m k M 4 ≤ β m k M 4 因此，我们得到 lim k → ∞ ‖ y m k − w m k ‖ = 0 ， lim k → ∞ ‖ z m k − y m k ‖ = 0 与(一)的证明类似，我们可以得到： ‖ x m k + 1 − x m k ‖ → 0 ( k → 0 ) 和 lim sup k → ∞ 〈 f ( p ^ ) − p ^ ， x m k + 1 − p ^ 〉 ≤ 0 根据引理3.3，有： ‖ x m k + 1 − p ^ ‖ 2 ≤ ( 1 − ( 1 − κ ) β m k θ m k ) ‖ x m k − p ^ ‖ 2 + ( 1 − κ ) β m k θ m k [ 2 1 − κ 〈 f ( p ^ ) − p ^ ， x m k + 1 − p ^ 〉 + 3 M ( 1 − κ ) θ m k α m k β m k ‖ x m k − x m k − 1 ‖ ] 通过(24)和上式，有： ‖ x m k + 1 − p ^ ‖ 2 ≤ ( 1 − ( 1 − κ ) β m k θ m k ) ‖ x m k + 1 − p ^ ‖ 2 + ( 1 − κ ) β m k θ m k [ 2 1 − κ 〈 f ( p ^ ) − p ^ ， x m k + 1 − p ^ 〉 + 3 M ( 1 − κ ) θ m k α m k β m k ‖ x m k − x m k − 1 ‖ ] 所以，我们得到： ‖ x m k + 1 − p ^ ‖ 2 ≤ 2 1 − κ 〈 f ( p ^ ) − p ^ ， x m k + 1 − p ^ 〉 + 3 M ( 1 − κ ) θ m k α m k β m k ‖ x m k − x m k − 1 ‖ 因此，我们可以推出： lim sup k → ∞ ‖ x m k + 1 − p ^ ‖ ⩽ 0 (25) 结合(24)和(25)，我们有： lim sup k → ∞ ‖ x k − p ^ ‖ ≤ 0 ，所以就有 x k → p ^ ( k → ∞ ) □