system: [SYSTEM]

user: 5. 收敛性分析 接下来证明结合非精确线搜索的BMRM算法具有较好的收敛速度。事实上，对于求解非光滑优化问题，水平束方法收敛速度为 O ( 1 / ε 2 ) 。本文将证明，对于求解具有非光滑损失函数的正则化风险函数问题，算法3将具有 O ( 1 / ε ) 的收敛速度。更具体的说，我们将证明以下收敛性： 假设 max u ∈ ∂ w R e m p ( w ) ‖ u ‖ ≤ G ，而对于正则化项 Ω ( w ) 有 ‖ ∂ μ 2 Ω ∗ ( μ ) ‖ ≤ H ∗ ，本文将证明在上述假设下，算法具有 O ( 1 / ε ) 收敛速度，即算法将在 O ( 1 / ε ) 的迭代次数中，得到其 ε -最优解。 在以下的证明过程中，我们使用了类似于文 [ 7 ] 的技术： 定理5.1 假设 max u ∈ ∂ w R e m p ( w ) ‖ u ‖ ≤ G   对于所有的 w ∈ d o m J 成立，且 ‖ ∂ μ 2 Ω ∗ ( μ ) ‖ ≤ H ∗ 对于所有的 μ ∈ { − λ − 1 ∑ i = 1 t + 1 α i α i } 成立，这里 α i ≥ 0 ，且对 ∀ i 有 ∑ i = 1 t + 1 α i = 1 成立，即，存在： ε t − ε t + 1 ≥ ε t 2 min ( 1 ， λ ε t 4 G 2 H ∗ ) . 证明：定理5.1的证明参考文献 [ 4 ] 。 定理5.2 假设对于所有的w有 J ( w ) ≥ 0 ，在定理5.1成立的条件下，可以证明算法1的收敛性。即对任 意的 ε < 4 G 2 H ∗ λ ，算法会在至多： n ≤ log 2 λ J ( 0 ) G 2 H ∗ + 8 G 2 H ∗ λ ε − 1 步后，收敛到所需精度。 证明：定理5.2的证明参考文献 [ 4 ] 。 在证明算法3收敛性之前先介绍相关引理。 引理5.1 J t + 1 ( w t ) = λ Ω ( w t ) + 〈 w t ， a t + 1 〉 + b t + 1 。 证明：由 w t b 和 w t 与 w t − 1 b 的关系，且 w t c 是 w t 和 w t b 的凸组合，此外，根据 a t + 1 和 b t + 1 的定义，得到 J ( w t c ) = J t + 1 ( w t c ) 。因此有： J ( w t c ) = J t + 1 ( w t c ) = λ Ω ( w t c ) + 〈 a t + 1 ， w t c 〉 + b t + 1 ≥ J ( w t b ) . (5.1) 因为 Ω 是凸的，所以： Ω ( ( 1 − θ ) w t b + θ w t ) ≤ ( 1 − θ ) Ω ( w t b ) + θ Ω ( w t ) ， 即： θ ( Ω ( w t b ) − Ω ( w t ) ) ≤ Ω ( w t b ) − Ω ( w t c ) ， 上式两边乘以 λ ，然后加上 θ R e m p ( w t b ) 和减去 θ R t ( w t ) 得： λ θ   Ω ( w t b ) + θ R e m p ( w t b ) − λ θ   Ω ( w t ) − θ R t ( w t ) ≤ λ Ω ( w t b ) + R e m p ( w t b ) − λ Ω ( w t c ) − ( 1 − θ ) R e m p ( w t b ) − θ R t ( w t ) ， 结合算法3的步骤7： θ ε t ≤ J ( w t b ) − λ Ω ( w t c ) − ( 1 − θ ) R e m p ( w t b ) − θ R t ( w t ) ， (5.2) 联立(5.1)和(5.2)： 〈 a t + 1 ， w t c 〉 + b t + 1 ≥ J ( w t b ) − λ Ω ( w t c ) ≥ ( 1 − θ ) R e m p ( w t b ) + θ R t ( w t ) + θ ε t 由 w t c = ( 1 − θ ) w t b + θ w t 可得： ( 1 − θ ) 〈 a t + 1 ， w t b 〉 + θ 〈 a t + 1 ， w t 〉 + b t + 1 ≥ J ( w t b ) − λ Ω ( w t c ) ≥ ( 1 − θ ) R e m p ( w t b ) + θ R t ( w t ) + θ ε t ， 化简得： ( 1 − θ ) ( 〈 a t + 1 ， w t b 〉 − R e m p ( w t b ) ) + θ ( 〈 a t + 1 ， w t 〉 − R t ( w t ) ) + b t + 1 ≥ J ( w t b ) − λ Ω ( w t c ) ≥ θ ε t . (5.3) 因为 〈 w t b ， a t + 1 〉 + b t + 1 是凸函数 R e m p 的泰勒近似，所以有： R e m p ( w t b ) ≥ 〈 w t b ， a t + 1 〉 + b t + 1 (5.4) 把(5.4)带入(5.3)，得到： ( 1 − θ ) ( − b t + 1 ) + θ ( 〈 w t b ， a t + 1 〉 − R t ( w t ) ) + b t + 1 ≥ θ ε t 两边除以 θ > 0 ，得到： 〈 w t b ， a t + 1 〉 + b t + 1 ≥ R t ( w t ) + ε t 又： R t + 1 ( w t ) = max ( 〈 w t ， a t + 1 〉 + b t + 1 ， R t ( w t ) ) = 〈 w t ， a t + 1 〉 + b t + 1 J t + 1 ( w t ) = λ Ω ( w t ) + R t + 1 (wt) 故： J t + 1 ( w t ) = λ Ω ( w t ) + 〈 w t ， a t + 1 〉 + b t + 1 . 引理5.2 ε t − ε t + 1 ≥ J t + 1 ( w t + 1 ) − J t ( w t ) 。 证明： ε t − ε t + 1 = J ( w t b ) − J t ( w t ) − J ( w t + 1 b ) + J t + 1 ( w t + 1 ) = J ( w t b ) − J ( w t + 1 b ) + J t + 1 ( w t + 1 ) − J t ( w t ) ≥ J t + 1 ( w t + 1 ) − J t ( w t ) . 引理5.3 令 α t 如定理4.1中的定义， A ¯ : = [ a 1 ， ⋯ ， a t + 1 ] 和 b ¯ : = [ b 1 ， ⋯ ， b t + 1 ] ，则在定理5.1里下述条件成立 max u ∈ ∂ w R e m p ( w ) ‖ u ‖ ≤ G 情况下，下式成立： [ − α t ， 1 ] T A ¯ T A ¯ [ − α t ， 1 ] ≤ 4 G 2 . 证明：首先，有对偶关系 ∂ w λ Ω ( w t ) = − A α t ，且(4.2)在第t迭代时， α t ≥ 0 和 ‖ α t ‖ 1 = 1 ，随后，因为 ∂ w λ Ω ( w t ) 在 a t ′ ∈ ∂ w R e m p ( w t ′ c ) ， ∀ t ′ ≤ t 的凸包里面，因此 ‖ ∂ w λ Ω ( w t ) ‖ ≤ G ，接下来，由Cauchy-Schwarz不等式得： [ − α t ， 1 ] T A ¯ T A ¯ [ − α t ， 1 ] = ‖ ∂ w λ Ω ( w t ) + a t + 1 ‖ 2 = ‖ ∂ w λ Ω ( w t ) ‖ 2 + 2 ∂ w λ Ω ( w t ) T a t + 1 + ‖ a t + 1 ‖ 2 ≤ 4 G 2 . 引理5.4 对满足以下递推条件： c > 0 是一个常数，当 t ≥ 1 时 ρ t − ρ t + 1 ≥ c ( ρ t ) 2 的非负序列 〈 ρ 1 ， ρ 2 ， ⋯ 〉 ，有当整数 t ≥ 1 时： ρ t ≤ 1 c ( t − 1 + 1 ρ 1 c ) . 此外，当 t ≥ 1 c ρ − 1 ρ 1 c + 1 时：总有 ρ t ≤ ρ 成立。 证明：此引理通过归纳法易得，参考文献 [ 8 ] 。 定理 5.3 在定理5.1成立条件下，算法3收敛到任意 ε < 4 G 2 H ∗ / λ 精度需要： n ≤ 8 G 2 H ∗ λ ε 步。 证明：对于 ε < 4 G 2 H ∗ λ ，结合定理5.1及其证明过程，易知： ε t − ε t + 1 ≥ λ ε t 2 8 G 2 H ∗ 又由引理5.4可知 ε t ≤ 1 c ( t − 1 + 1 ε 1 c ) ，这里 c = λ 8 G 2 H ∗ 。令 1 c ( t − 1 + 1 ε 1 c ) = ε ，假设 ε 1 > 0 ，然后 解出n，有： n ≤ 1 c ε = 8 G 2 H ∗ λ ε .