system: [SYSTEM]

user: 3. 哈达玛流形上的近端梯度法 在欧式空间中近端算法可以看作是解决一些非光滑、有约束、大规模问题的常规方法。本节中，我们将介绍哈达玛流形上的近端梯度法。 定义3.1 黎曼流形上的近端算子定义为： x k + 1 : = p r o x λ k g ( x ′ k ) = arg min x ∈ M ( g ( x ) + 1 2 λ k d 2 ( x ， x ′ k ) ) ， 其中， x ′ k = exp x k ( − λ k grad f ( x k ) ) 。 我们接下来给出下列假设： 假设3.1 f 是一个恰当的，并且在M上是G-L光滑函数， g 是一个恰当的，在M上是下半连续函数。 假设3.2 函数 F = f + g 是1-强制的，并且在M上有下界。 引理3.1 设 Ω 在 M 上是一个紧集，则存在一个常数 C ( 0 < C < + ∞ ) 使得任意 x ， y 和 z ∈ M ，都有 ‖ exp x − 1 z − P ( x ， y ) exp y − 1 z ‖ ≤ C d ( x ， y ) (3) 证明：由于 M 是一个有限维哈达玛流形，我们可以把 exp x − 1 z 看作 x 点处的光滑函数，此时，结论得证。 注 实际上，由引理3.1我们可以得出 C ≥ 1 。梯度向量场在 M 上，当 λ = 1 时，梯度向量场 grad 1 2 d 2 ( ⋅ ， z ) 是严格单调的。因此，对任意 x ， y 和 z ∈ M ，我们有 〈 P ( x ， y ) grad 1 2 d 2 ( ⋅ ， z ) − grad 1 2 d 2 ( ⋅ ， z ) ， exp x − 1 y 〉 ≥ d 2 ( x ， y ) 即， 〈 P ( x ， y ) ( − exp y − 1 z ) − exp x − 1 z ， exp x − 1 y 〉 ≥ d 2 ( x ， y ) 因此， ‖ exp x − 1 z − P ( x ， y ) exp y − 1 z ‖ ≥ d ( x ， y ) 此时，在引理3.2中 C ≥ 1 。 接下来，我们给出哈达玛流形上满足上述假设的定步长近端梯度算法(如下算法1)。 Algorithm 1. Upper proximal gradient method 算法1. M上近端梯度法 收敛性分析 定理3.1 当假设3.1，3.2成立时，算法1生成的迭代序列 { x k } 在一个有界区域中，设 x * 是 { x k } 的任意聚点，则 0 ∈ ∂ F ( x * ) 。 证明： x k + 1 = prox α g ( exp x k ( − α grad f ( x k ) ) ) = arg min x ∈ M 1 2 α d 2 ( x ， exp x k ( − α grad f ( x k ) ) ) + g ( x ) (5) 令 ω k = exp x k ( − α grad f ( x k ) ) ，则 g ( x k + 1 ) + 1 2 α d 2 ( x k + 1 ， ω k ) ≤ g ( x k ) + 1 2 α d 2 ( x k ， ω k ) 由 f 的G-L光滑性质，我们有， F ( x k + 1 ) = f ( x k + 1 ) + g ( x k + 1 ) ≤ f ( x k ) + 〈 grad f ( x k ) ， exp x k − 1 x k + 1 〉 + L 2 ‖ exp x k − 1 x k + 1 ‖ 2     + g ( x k ) + 1 2 α ( d 2 ( x k ， ω k ) − d 2 ( x k + 1 ， ω k ) ) (8) 由余弦定理，我们有， d 2 ( x k ， ω k ) − d 2 ( x k + 1 ， ω k ) ≤ − d 2 ( x k + 1 ， x k ) + 2 〈 grad f ( x k ) ， exp x k − 1 x k + 1 〉 = − ‖ exp x k − 1 x k + 1 ‖ 2 − 2 α 〈 grad f ( x k ) ， exp x k − 1 x k + 1 〉 (9) 由(8)，(9)我们可得， F ( x k + 1 ) ≤ F ( x k ) + 1 2 α ( − ‖ exp x k − 1 x k + 1 ‖ 2 − 2 α 〈 grad f ( x k ) ， exp x k − 1 x k + 1 〉 )     + 〈 grad f ( x k ) ， exp x k − 1 x k + 1 〉 + L 2 ‖ exp x k − 1 x k + 1 ‖ 2 = F ( x k ) − ( 1 2 α − L 2 ) ‖ exp x k − 1 x k + 1 ‖ 2 . (10) 因为 α ≤ 1 L ，所以， F ( x k + 1 ) ≤ F ( x k ) 。从而可得 F ( x k ) 是非增的，因此，我们有 F ( x k ) ≤ F ( x 1 ) ， ∀ k > 0. 由于 f 是1-强制的，我们可以得到 { x k } 是有界的，因此， { x k } 有聚点。因为 F ( x k ) 是非增的且有界，因此， F 在 { x k } 所有的聚点上都有相同的值，记为 F * 。 接下来，我们将证明 { x k } 在一个有界域中。由(10)，我们可得 ( 1 2 α − L 2 ) ‖ exp x k − 1 x k + 1 ‖ 2 ≤ F ( x k ) − F ( x k + 1 ) 因此， ( 1 2 α − L 2 ) ∑ k = 1 ∞ ‖ exp x k − 1 x k + 1 ‖ 2 ≤ F ( x 1 ) − F * < ∞ . 进而， ‖ exp x k − 1 x k + 1 ‖ 2 → 0 k → ∞ 由(5)的最优性可得， 0 ∈ ∂ g ( x k + 1 ) + 1 2 α gradd 2 ( · ， ω k ) = grad f ( x k + 1 ) + ∂ g ( x k + 1 ) − grad f ( x k + 1 ) + 1 2 α gradd 2 ( · ， ω k ) ， 之后，我们有， grad f ( x k + 1 ) − 1 2 α gradd 2 ( · ， ω k ) ∈ ∂ F ( x k + 1 ) 因此， ‖ grad f ( x k + 1 ) − 1 2 α gradd 2 ( · ， ω k ) ‖ = ‖ grad f ( x k + 1 ) − 1 α ( − exp x k + 1 − 1 ω k ) ‖ = ‖ grad f ( x k + 1 ) − P ( x k ， x k + 1 ) grad f ( x k ) + P ( x k ， x k + 1 ) grad f ( x k ) + 1 α exp x k + 1 − 1 ω k ‖ ≤ L ‖ exp x k − 1 x k + 1 ‖ + 1 α ‖ P ( x k ， x k + 1 ) α grad f ( x k ) + exp x k + 1 − 1 ω k ‖ . 因为 f 是G-L光滑的，且 { x k } 在一个有界域上，存在一个紧集 Ω 1 ⊃ { x k } 使得 grad f ( x ) 的范数对于任意 x ∈ Ω 1 是有限的，那么， { ω k } 自然在一个有界区域 Ω 2 中。除此之外，我们还可得到 { x k } ， { ω k } 都在一个紧集 Ω 中。因此，由引理可得，存在一个常数 C ，使得， ‖ P ( x k ， x k + 1 ) α grad f ( x k ) + exp x k + 1 − 1 ω k ‖ = ‖ P ( x k ， x k + 1 ) ( exp x k − 1 ω k ) + exp x k + 1 − 1 ω k ‖ ≤ C ‖ exp x k − 1 x k + 1 ‖ . (16) 由(14)，(15)，(16)我们可以得出 ‖ grad f ( x k + 1 ) − 1 2 α gradd 2 ( · ， ω k ) ‖ ≤ ( L + C α ) ‖ exp x k − 1 x k + 1 ‖ → 0 ， k → ∞ . (17) 设 x * 是 { x k } 的任意聚点，当 j → ∞ 时， { x k } 的子列 x k j → x * 。我们现在证明 0 ∈ ∂ F ( x * ) 。由(5)我们知道 g ( x k j + 1 ) + 1 2 α gradd 2 ( x k j + 1 ， ω k j ) ≤ g ( x * ) + 1 2 α gradd 2 ( x * ， ω k j ) ， 那么， g ( x k j + 1 ) ≤ g ( x * ) + 1 2 α ( gradd 2 ( x * ， ω k j ) − gradd 2 ( x k j + 1 ， ω k j ) ) . 有余弦定理，我们可以得到 g ( x k j + 1 ) ≤ g ( x * ) − 1 2 α gradd 2 ( x k j + 1 ， x * ) + 1 α 〈 exp x * − 1 x k j + 1 ， exp x * − 1 ω k j 〉 . 由于 { ω k } 在一个有界区域中，对于任意 j > 0 ， exp x * − 1 x k j + 1 自然也是有界的。因此，我们有 lim sup j → ∞ g ( x k j + 1 ) ≤ g ( x * ) . 此外，由 g ( x ) 下半连续，我们有 lim inf j → ∞ g ( x k j + 1 ) ≥ g ( x * ) . 所以，我们可以得到 lim j → ∞ g ( x k j + 1 ) = g ( x * ) . (18) 由 f ( x ) 的连续性和(18)，可知当 j → ∞ ， F ( x k j + 1 ) → F ( x * ) . 由(14)，(17)—(19)，以及次微分的定义可得 0 ∈ ∂ F ( x * ) .