system: [SYSTEM]

user: 4. 算法的收敛性分析 接下来，我们对算法的收敛性进行理论分析。首先，讨论步长满足条件(8)的随机次梯度镜面下降法的迭代特点。这里我们假设Bregman距离函数满足如下要求： B φ ( w ， u ) ≤ 1 2 ‖ w − u ‖ 2 ， 对任意 w ， u ∈ Ω (10) 上述关系成立，当Bregman距离生成函数 φ 在集合 Ω 上梯度Lipschitz连续，且Lipschitz参数 L = 1 2 ，即， 〈 ∇ φ ( w ) − ∇ φ ( u ) ， w − u 〉 ≤ 1 2 ‖ w − u ‖ 2 ， 对任意 w ， u ∈ Ω 观察发现，基于函数 φ 的梯度Lipschitz连续的性质，则对任意 w ， u ∈ Ω ，我们有 1 2 ‖ w − u ‖ 2 ≥ 〈 ∇ φ ( w ) − ∇ φ ( u ) ， w − u 〉 ≥ φ ( u ) − φ ( w ) − 〈 ∇ φ ( w ) ， w − u 〉 = B φ ( w ， u ) ， 其中后面的不等式可由函数 φ 在 Ω 上的凸性得到。而且，若 φ ˜ 在 Ω 上满足梯度Lipschitz连续，且Lipschitz常数为 L > 0 ， 〈 ∇ φ ˜ ( w ) − ∇ φ ˜ ( u ) ， w − u 〉 ≤ L ‖ w − u ‖ 2 ， 对任意 w ， u ∈ Ω 则存在函数 φ = 1 2 L φ ˜ ，其梯度的Lipschitz常数为 L = 1 2 。这样的函数可以用做满足式(10)的距离生成函数。对于欧式空间，我们取 φ ( w ) = 1 2 ‖ w ‖ 2 2 ，得Bregman距离函数为 B φ ( w ， u ) = 1 2 ‖ w − u ‖ 2 ，同样满足式(10)。 假设1：设随机次梯度 g ˜ ( w ) 满足 E [ g ˜ ( w ) | w ] = g ( w ) ，对任意 w ∈ Ω ，则存在某一标量 C ˜ > 0 使得对任意 w ∈ Ω ，有 E [ ‖ g ˜ ( w ) ‖ * 2 | w ] ≤ C ˜ 2 。 当 g ˜ ( w ) = g ( w ) 时，假设1中次梯度在 Ω 上一致有界，即存在 C > 0 使得对任意 w ∈ Ω ，有 ‖ g ( w ) ‖ ≤ C 。若目标函数的次梯度一致有界，且满足 E [ g ˜ ( w ) | w ] = g ( w ) ，存在某个 γ > 0 ，使得对任意 w ∈ Ω ， E [ ‖ g ˜ ( w ) − g ( w ) ‖ * 2 | w ] ≤ γ 2 ，则对于一般范数，假设1成立，且 C ˜ 2 = 2 C 2 + 2 γ 2 。显然欧式范数下有同样结论。 我们定义由算法生成的σ-场如下： Γ k = σ { w 0 ， g ˜ 0 ， ⋯ ， g ˜ k − 1 } ， 对任意 k ≥ 1 ， 且 Γ 0 = σ { w 0 } 。根据σ-场，在假设1下，我们得到随机次梯度镜面下降法生成的序列 { w k } 有如下基本性质： 引理1：若假设1成立，则根据算法(7)，对任意 u ∈ Ω ， k ≥ 0 ，有 E [ B φ ( w k + 1 ， u ) | Γ k ] + α k 〈 g k ， w k − u 〉 ≤ B φ ( w k ， u ) + α k 2 C ˜ 2 2 μ φ . 证明：由点 w k + 1 处的一阶必要性条件得： 0 ≤ 〈 α k g ˜ k + ∇ u B φ ( w k ， w k + 1 ) ， u − w k + 1 〉 ，对任意 u ∈ Ω 其中 ∇ u B φ ( ⋅ ， ⋅ ) 表示Bregman距离函数关于第二个变量的偏导数。由式(6)，我们有， 0 ≤ 〈 α k g ˜ k + ∇ φ ( w k + 1 ) − ∇ φ ( w k ) ， u − w k + 1 〉 ， 对任意 u ∈ Ω 等价地， α k 〈 g ˜ k ， w k + 1 − u 〉 ≤ 〈 ∇ φ ( w k + 1 ) − ∇ φ ( w k ) ， u − w k + 1 〉 . (11) 根据式(5)，令 w = w k ， v = w k + 1 ，则对任意 u ∈ Ω ，我们有 〈 ∇ φ ( w k + 1 ) − ∇ φ ( w k ) ， u − w k + 1 〉 = B φ ( w k ， u ) − B φ ( w k + 1 ， u ) − B φ ( w k ， w k + 1 ) . 将其带入(11)式，可以发现，对任意 u ∈ Ω ， α k 〈 g ˜ k ， w k + 1 − u 〉 ≤ B φ ( w k ， u ) − B φ ( w k + 1 ， u ) − B φ ( w k ， w k + 1 ) . 由 φ ( w ) 的强凸性质，以及式(5)可推出， α k 〈 g ˜ k ， w k + 1 − u 〉 ≤ B φ ( w k ， u ) − B φ ( w k + 1 ， u ) − μ φ 2 ‖ w k − w k + 1 ‖ 2 . (12) 下面求内积项，根据Fenchel’s不等式 | 〈 p ， q 〉 | ≤ 1 2 ‖ p 2 ‖ + 1 2 ‖ q ‖ * 2 ，可得： α k 〈 g ˜ k ， w k + 1 − u 〉 = α k 〈 g ˜ k ， w k + 1 − w k 〉 + α k 〈 g ˜ k ， w k − u 〉 ≥ − | 〈 α k μ φ g ˜ k ， μ φ ( w k + 1 − w k ) 〉 | + α k 〈 g ˜ k ， w k − u 〉 ≥ − α k 2 2 μ φ ‖ g ˜ k ‖ * 2 − μ φ 2 ‖ w k + 1 − w k ‖ 2 + α k 〈 g ˜ k ， w k − u 〉 ， (13) ‖ • ‖ * 为范数 ‖ • ‖ 的共轭范数。消去 ‖ w k + 1 − w k ‖ 2 ，我们有 α k 〈 g ˜ k ， w k − u 〉 ≤ B φ ( w k ， u ) − B φ ( w k + 1 ， u ) + α k 2 2 μ φ ‖ g ˜ k ‖ * 2 . 在 Γ k 上取条件期望，再根据假设1，我们得到 α k 〈 g ˜ k ， w k − u 〉 ≤ B φ ( w k ， u ) − E [ B φ ( w k + 1 ， u ) | Γ k ] + α k 2 C ˜ 2 2 μ φ . 从而推论得证。 引理2：设F为 Ω 上的强凸函数，强凸系数 μ F > 0 ，若假设1成立，且Bregman距离函数 B φ 满足式(10)，步长取值满足条件(8)，则随机次梯度镜面下降迭代生成的序列 { w k } 与问题(1)的最优解 满足如下关系： E [ B φ ( w k + 1 ， w * ) ] + 1 μ F 1 ( ∑ t = 0 k 1 α t ) ∑ t = 0 k 1 α t ( E [ F ( w t ) ] − F ( w * ) ) ≤ ( k + 1 ) α k 2 C ˜ 2 2 μ F 2 μ φ . 证明：在假设1下，根据引理1，令 u = w * ，则对任意 k ≥ 0 ，有 E [ B φ ( w k + 1 ， w * ) | Γ k ] + α k μ F 〈 g k ， w k − w * 〉 ≤ B φ ( w k ， w * ) + α k 2 C ˜ 2 2 μ F 2 μ φ ， 由函数F的强凸性可得 α k μ F 〈 g k ， w k − w * 〉 ≥ α k μ F ( F ( w k ) − F ( w * ) ) + α k 2 ‖ w k − w * ‖ 2 ≥ α k μ F ( F ( w k ) − F ( w * ) ) + α k B ( w k ， w * ) . 结合上述两不等式，并对它们求总期望，进一步得：对任意 k ≥ 0 ， E [ B φ ( w k + 1 ， w * ) ] + α k μ F ( E [ F ( w k ) ] − F ( w * ) ) ≤ ( 1 − α k ) E [ B φ ( w k ， w * ) ] + α k 2 C ˜ 2 2 μ F 2 μ φ ，(14) 不等式两边同时乘以 1 / α k 2 ，由 1 − α k α k 2 ≤ 1 α k − 1 2 ，则对任意 k ≥ 1 ，我们有 1 α k 2 E [ B φ ( w k + 1 ， w * ) ] + 1 α k μ F ( E [ F ( w k ) ] − F ( w * ) ) ≤ ( 1 − α k ) α k 2 E [ B φ ( w k ， w * ) ] + C ˜ 2 2 μ F 2 μ φ ≤ 1 α k − 1 2 E [ B φ ( w k ， w * ) ] + C ˜ 2 2 μ F 2 μ φ . 由于 α 0 = 1 ，将上面不等式从 k ， k − 1 ， ⋯ ， 1 求和得 1 α k 2 E [ B φ ( w k + 1 ， w * ) ] + 1 μ F ∑ t = 1 k 1 α t ( E [ F ( w t ) ] − F ( w * ) ) ≤ E [ B φ ( w 1 ， w * ) ] + k C ˜ 2 2 μ F 2 μ φ ，(15) 由于 α 0 = 1 ，由(14)式知，当 k = 1 时， E [ B φ ( w 1 ， w * ) ] 满足如下关系： E [ B φ ( w 1 ， w * ) ] + 1 μ F ( E [ F ( w 0 ) ] − F ( w * ) ) ≤ C ˜ 2 2 μ F 2 μ φ 。对任意 k ≥ 1 (16) 联立(15)和(16)式，我们可得到，对任意 k ≥ 1 1 α k 2 E [ B φ ( w k + 1 ， w * ) ] + 1 μ F ∑ t = 0 k 1 α t ( E [ F ( w t ) ] − F ( w * ) ) ≤ ( k + 1 ) C ˜ 2 2 μ F 2 μ φ ， 将上式两边同时乘以 α k 2 ，然后运用关系 α k 2 ≥ 1 / ( ∑ t = 0 k 1 α t ) ，从而推论得证。 定理2：设F为 Ω 上的强凸函数，强凸系数 μ F > 0 。若假设1成立，且Bregman距离函数 B φ 满足式(10)，步长取(9)中任何一个，则对随机次梯度镜面下降迭代法生成的序列 { w k } ，我们有： E [ ‖ w t − w * ‖ 2 ] ≤ 4 k + 1 C ˜ 2 μ F 2 μ φ 2 ， 对任意 k ≥ 0 ， 则对加权平均迭代序列 { w ^ k } ，我们有： E [ F ( w ^ t ) ] − F ( w * ) ≤ 2 k + 1 C ˜ 2 μ F μ φ ， 对任意 k ≥ 0 ， E [ ‖ w ^ t − w * ‖ 2 ] ≤ 4 k + 1 C ˜ 2 μ F 2 μ φ ， 对任意 k ≥ 0 ， 其中 w * 为问题(1)的最优解。 证明：根据引理2，对任意 k ≥ 0 ，我们有： E [ B φ ( w k + 1 ， w * ) ] + 1 μ F 1 ( ∑ t = 0 k 1 α t ) ∑ t = 0 k 1 α t ( E [ F ( w t ) ] − F ( w * ) ) ≤ ( k + 1 ) α k 2 C ˜ 2 2 μ F 2 μ φ . 有步长序列 { α k } 满足：对任意 k ≥ 0 ， α k ≤ 2 k + 1 ，所以 E [ B φ ( w k + 1 ， w * ) ] + 1 μ F 1 ( ∑ t = 0 k 1 α t ) ∑ t = 0 k 1 α t ( E [ F ( w t ) ] − F ( w * ) ) ≤ 2 k + 1 α k 2 C ˜ 2 μ F 2 μ φ ， (17) 由F的强凸性以及加权平均迭代序列 { w ^ k } 的定义，上式可总结为： E [ F ( w ^ k ) ] − F ( w * ) ≤ 2 k + 1 C ˜ 2 μ F μ φ ， 对任意 k ≥ 0 ， 又F在 Ω 上的强凸性，我们有 F ( w ^ ) − F ( w * ) ≥ μ F 2 ‖ w ^ − w * ‖ 2 ，则 E [ ‖ w ^ k − w * ‖ 2 ] ≤ 4 k + 1 C ˜ 2 μ F 2 μ φ ， 对任意 k ≥ 0 ， 而且由式(17)我们可得： E [ B φ ( w k + 1 ， w * ) ] ≤ 2 k + 1 C ˜ 2 μ F 2 μ φ ， 对任意 k ≥ 0 ， 则由函数 φ 的强凸性，我们有 E [ ‖ w k − w * ‖ 2 ] ≤ 4 k + 1 C ˜ 2 μ F 2 μ φ 2 ， 对任意 k ≥ 0 .