system: [SYSTEM]

user: 4. 混合束方法子问题解的表达式 由于问题(2.1)是非光滑凸优化问题，对非光滑凸优化问题来说在满足Slater约束规格的条件下，对问题的求解可以转化为其极小化Lagrange函数问题的求解，也就是说必然存在一个乘子 0 ≤ λ k ∈ R ，能 使 x k + 1 = arg min x ∈ R n L ( x ， λ k ) ，在这里 L ( x ， λ k ) ： = f ^ k ( x ) + 1 2 τ k | x − x k | k 2 + 1 2 λ k ( | x − x k | k 2 − δ k 2 ) ，故问题(2.1)等价于下述问题： { min f ^ k ( x ) + 1 2 τ k | x − x k | k 2 + 1 2 λ k ( | x − x k | k 2 − δ k 2 ) x ∈ R n (3.1) 问题(3.1)还可以等价的写成： { min f ^ k ( x ) + 1 + λ k τ k 2 τ k | x − x k | k 2 − λ k δ k 2 2 x ∈ R n (3.2) 我们定义相应的额定下降： ξ k + 1 ： = f ( x k ) − ( f ^ k ( x k + 1 ) + 1 + λ k τ k 2 τ k | x k + 1 − x k | k 2 − λ k δ k 2 2 ) 定理3.1：令问题(2.1)的最优解为 x k + 1 ，假设参数 δ k ， τ k > 0 ，则有 x k + 1 = x k − τ k 1 + λ k τ k M k − 1 g ^ k ，其中 g ^ k = ∑ j = 1 n p k β − g j 并且 β ¯ = ( β ¯ 1 ， β ¯ 2 ， ⋯ ， β ¯ n p k ) 是下述问题的最优解 { min τ k 2 ( 1 + λ k τ k ) ‖ ∑ j = 1 n p k β j g j ‖ k 2 + ∑ j = 1 n p k β j α j k s . t . β ∈ Δ k : = { z ∈ [ 0 ， 1 ] n p k : ∑ j = 1 n p k z j = 1 } (3.3) 证明：因为问题(3.2)和问题(2.1)是等价的，所以可以通过引入变量 r 得到问题(3.2)的等价形式如下： (3.4) 当 β ∈ R + n p k 时，问题(3.4)的Lagrange函数为： L ( x ， r ， β ) = r + 1 + λ k τ k 2 τ k | x − x k | k 2 − λ k δ k 2 2 + ∑ j = 1 n p k β j ( f ( x k ) + 〈 g j ， x − x k 〉 − α j k − r ) 整理得： L ( x ， r ， β ) = ( 1 − ∑ j = 1 n p k β j ) r + ∑ j = 1 n p k β j ( f ( x k ) + 〈 g j ， x − x k 〉 − α j k ) + 1 + λ k τ k 2 τ k | x − x k | k 2 − λ k δ k 2 2 由于目标函数是强凸的，所以问题(2.1)有且仅有一个解。记最优乘数为 β ¯ ， ( x k + 1 ， β ¯ ) 可以从问题(3.4)和它的对偶问题中获得。 min ( x ， r ) ∈ R n × R max β ∈ R + n p k L ( x ， r ， β ) = max β ∈ R + n p k min ( x ， r ) ∈ R n × R L ( x ， r ， β ) 该问题与问题(3.4)的有限最优值是一样的，不一样的是对偶问题的内层是无约束最小化优化问题，所以必有 1 − ∑ j = 1 n p k β j = 0 。基于以上结论，问题(3.2)的最优解 x k + 1 和最优乘数 β ¯ 分别可以从原问题和对偶问题中得到。 min x ∈ R n max β ∈ R + n p k L ( x ， β ) = max β ∈ R + n p k min x ∈ R n L ( x ， β ) 其中 L ( x ， β ) = ∑ j = 1 n p k β j ( f ( x k ) + 〈 g j ， x − x k 〉 − α j k ) + 1 + λ k τ k 2 τ k | x − x k | k 2 − λ k δ k 2 2 = f ( x k ) + ∑ j = 1 n p k ( 〈 β j g j ， x − x k 〉 − β j α j k ) + 1 + λ k τ k 2 τ k ( x − x k ) T M k ( x − x k ) − λ k δ k 2 2 考虑对偶问题，对于 ∀ β ∈ Δ k ，应用 x ( β ) = arg min x L ( x ， β ) 的最优性条件 ∇ x L ( x ( β ) ， β ) = 0 。即 ∇ x L ( x ( β ) ， β ) = ∑ j = 1 n p k β j g j + 1 + λ k τ k τ k M k ( x ( β ) − x k ) = 0 (3.5) 记 g ^ k = ∑ j = 1 n p k β ¯ g j ，当 β = β ¯ ， x ( β ¯ ) = x k + 1 时，有 x k + 1 = x k − τ k 1 + λ k τ k M k − 1 g ^ k 。 接下证明 β ¯ 是问题(3.3)的解。 首先，在式子(3.5)的两边同时乘 x ( β ) − x k 得 ∑ j = 1 n p k β j g j ( x ( β ) − x k ) + 1 + λ k τ k τ k ( x ( β ) − x k ) T M k ( x ( β ) − x k ) = 0 即 ∑ j = 1 n p k β j 〈 g j ， x ( β ) − x k 〉 + 1 + λ k τ k τ k | x ( β ) − x k | k 2 = 0 (3.6) 同理在式(3.5)两边同时乘 M k − 1 得 M k − 1 ∑ j = 1 n p k β j g j + 1 + λ k τ k τ k ( x ( β ) − x k ) = 0 。 再在两边同乘 τ k 1 + λ k τ k ∑ j = 1 n p k β j g j 得 τ k 1 + λ k τ k ∑ j = 1 n p k β j g j M k − 1 ∑ j = 1 n p k β j g j + ∑ j = 1 n p k β j 〈 g j ， x ( β ) − x k 〉 = 0 。 即 (3.7) 将式子(3.6)和式子(3.7)联立，得 τ k 1 + λ k τ k ‖ ∑ j = 1 n p k β j g j ‖ k 2 = 1 + λ k τ k τ k | x ( β ) − x k | k 2 故有 L ( x ( β ) ， β ) = f ( x k ) + ∑ j = 1 n p k ( 〈 β j g j ， x − x k 〉 − β j α j k ) + 1 + λ k τ k 2 τ k | x − x k | k 2 − λ k δ k 2 2 = f ( x k ) + 1 + λ k τ k 2 τ k | x − x k | k 2 − λ k δ k 2 2 + 〈 ∑ j = 1 n p k β j g j ， x − x k 〉 − ∑ j = 1 n p k β j α j k = f ( x k ) + τ k 2 ( 1 + λ k τ k ) ‖ ∑ j = 1 n p k β j g j ‖ k 2 − λ k δ k 2 2 + 〈 g ^ k ， − τ k 1 + λ k τ k M k − 1 g ^ k 〉 − ∑ j = 1 n p k β j α j k = f ( x k ) + τ k 2 ( 1 + λ k τ k ) ‖ g ^ k ‖ k 2 − λ k δ k 2 2 − τ k 1 + λ k τ k ‖ g ^ k ‖ k 2 − ∑ j = 1 n p k β j α j k = f ( x k ) − ( τ k 2 ( 1 + λ k τ k ) ‖ g ^ k ‖ k 2 + λ k δ k 2 2 + ∑ j = 1 n p k β j α j k ) 综上所述 β ¯ 是问题(3.3)的解。