system: [SYSTEM]

user: 2. 共轭梯度算法 共轭梯度类算法 [ 8 ] [ 9 ] [ 10 ] 由于其收敛速度快、存储量小以及稳定性高等优点被广泛应用于无约束优化问题的求解中，其最早由Hestenes和Stiefle提出。著名的共轭梯度法有Fletcher-reeves (FR)方法，Hestenes-Stiefel (HS)方法和Dai-Yuan (DY)方法等。本节给出针对光滑后的极大极小问题的共轭梯度法及其算法。 设 x k 为当前迭代点，对光滑后的极大极小问题(3)，即一个无约束优化问题 min F ˜ ( x ， t ) ， 记函数值 F ˜ k = F ˜ ( x k ， t k ) ，梯度 g ˜ k = g ˜ ( x k ， t k ) ，则搜索方向为 d ˜ k = { − g ˜ k ， if   k = 0 ， − g ˜ k + β k d ˜ k − 1 ， if   k > 0 ， 其中， β ˜ k 为一个参数，常用的 β ˜ k 有： β ˜ k H S = g ˜ k T y ˜ k − 1 d ˜ k − 1 T y ˜ k − 1 ，       β ˜ k D Y = ‖ g ˜ k ‖ 2 d ˜ k − 1 T y ˜ k − 1 ，       β ˜ k L S = g ˜ k T y ˜ k − 1 − g ˜ k − 1 T d ˜ k − 1 ， β ˜ k F R = ‖ g ˜ k ‖ 2 ‖ g ˜ k − 1 ‖ 2 ，       β ˜ k P R = g ˜ k T y ˜ k − 1 ‖ g ˜ k − 1 ‖ 2 ，       β ˜ k P R + = max { g ˜ k T y ˜ k − 1 ‖ g ˜ k − 1 ‖ 2 ， 0 } . 其中， y ˜ k − 1 = g ˜ k − g ˜ k − 1 。此时，共轭梯度法的迭代形式为 x k + 1 = x k + α k d ˜ k ， 其中 α k 为线搜索产生的步长。常用的线搜索为Wolfe线搜索： F ˜ ( x k + α k d ˜ k ， t k ) − F ˜ ( x k ， t k ) ≤ δ α k g ˜ k T d ˜ k ， d ˜ k T g ˜ ( x k + α k d ˜ k ， t k ) ≥ σ d ˜ k T g ˜ k ， 以及Amijo线搜索 α k = max { ρ − j ， j = 0 ， 1 ， 2 ， ⋯ } ， F ˜ ( x k + α k d ˜ k ， t k ) − F ˜ ( x k ， t k ) ≤ δ α k g ˜ k T d ˜ k . 为解决更复杂的无约束优化问题以及得到更精确的解，谱共轭梯度法 [ 11 ] [ 12 ] [ 13 ]、三项共轭梯度法 [ 14 ] [ 15 ] [ 16 ] 等方法被提出，在解决大规模无约束优化问题、互补问题以及张量等问题都有良好的数值效果。结合文献 [ 11 ]，本文给出针对光滑化后的极大极小问题的搜索方向与步长： d ˜ k = { − g ˜ k ， if   k = 0 ， − θ ˜ k g ˜ k + β ˜ k F R d ˜ k − 1 ， if   k > 0 ， (6) 在(6)中， θ ˜ k = d ˜ k − 1 T y ˜ k − 1 ‖ g ˜ k − 1 ‖ 2 . 步长 α k > 0 满足 F ˜ ( x k + α k d ˜ k ， t k ) − F ˜ ( x k ， t k ) ≤ ρ α k 2 ‖ d ˜ k ‖ 2 ， (7) d ˜ k T g ˜ ( x k + α k d ˜ k ， t k ) ≥ − 2 σ α k ‖ d ˜ k ‖ 2 ， (8) 其中， 0 < ρ < σ < 1 。 下面，我们给出求解极大极小问题的光滑化共轭梯度法： 算法2.1 步1：给定常数 ς ∈ ( 0 ， 1 ) ， 0 < ρ < σ < 1 ， ε > 0 ，初始点 ( x 0 ， t 0 ) ∈ ( R n ， R ) ，令 k = 0 ； 步2：若 ‖ g ˜ k ‖ ≤ ε ，则停止计算，否则转步3； 步3：根据(7)、(8)计算步长 α k ； 步4：令 x k + 1 = x k + α k d ˜ k ， t k + 1 = ς t k ，由(6)计算搜索方向 d ˜ k + 1 ； 步5：计算 F ˜ k + 1 ， g ˜ k + 1 ，令 k = k + 1 ，转步2。 为证明算法的收敛性，我们首先给出如下假设： 假设2.1： (A1) 水平集 Ω 有界，水平集为 Ω = { x ∈ R n | F ˜ ( x ， t ) ≤ F ˜ ( x 0 ， t 0 ) } ； (A2) 在 Ω 的一个邻域U中，函数是连续可微且其导数是Lipschitz连续的，即 ‖ g ˜ ( x ， t ) − g ˜ ( y ， t ) ‖ ≤ L ‖ x − y ‖ ，     ∀ x ， y ∈ U ， 其中L是Lipschitz常数。 由假设2.1可得，存在一个常数 Γ > 0 ，使得 ‖ g ˜ ( x ， t ) ‖ ≤ Γ ，     x ∈ Ω . 引理2.1： d ˜ k 由(6)式给出，则 g ˜ k T d k ≤ − c ‖ g ˜ k ‖ 2 ，     c > 0 (9) 证 当 k = 0 时，(9)式显然成立，假设 k ≥ 1 时满足 g ˜ k − 1 T d k − 1 ≤ − c ‖ g ˜ k − 1 ‖ 2 ，则 g ˜ k T d ˜ k = − θ ˜ k ‖ g ˜ k ‖ 2 + ‖ g ˜ k ‖ 2 ‖ g ˜ k − 1 ‖ 2 d ˜ k − 1 T g ˜ k = g ˜ 2 ‖ g ˜ k − 1 ‖ 2 ( − d ˜ k − 1 T g ˜ k + d ˜ k − 1 T g ˜ k − 1 + d ˜ k − 1 T g ˜ k ) = ‖ g ˜ k ‖ 2 ‖ g ˜ k − 1 ‖ 2 d ˜ k − 1 T g ˜ k − 1 ≤ c ‖ g ˜ k ‖ 2 ‖ g ˜ k − 1 ‖ 2 ( − ‖ g ˜ k − 1 ‖ 2 ) = − c ‖ g ˜ k ‖ 2 . 引理2.2：若假设2.1成立，则 ∑ k ≥ 0 ‖ g ˜ k ‖ 4 ‖ d ˜ k ‖ 2 < + ∞ (10) 证 由假设A(2)和(8)式，我们有 ( 2 σ + L ) α k ‖ d ˜ k ‖ 2 ≥ − g ˜ k d ˜ k ， 移项后两边同时平方可得 α k 2 ‖ d ˜ k ‖ 2 ≥ ( 1 2 σ + L ) 2 ( g ˜ k d ˜ k ) 2 ‖ d ˜ k ‖ 2 ， 结合(7)式， ∑ k ≥ 0 ( g ˜ k d ˜ k ) 2 ‖ d ˜ k ‖ 2 ≤ ∑ k ≥ 0 { F ˜ ( x k ) − F ˜ ( x k + 1 ) } < + ∞ 故由引理2.1可得(10)式成立。 由引理2.1和引理2.2，我们可以得出如下的收敛性定理。 定理2.1：若假设2.1成立，则算法2.1满足 lim inf k → ∞ ‖ g ˜ k ‖ = 0. (11) 证 反证法，假设定理不成立，存在常数 ε > 0 ，对任意 k ≥ 0 ，有 ‖ g ˜ k ‖ ≥ ε ， 根据(6)式，有 d ˜ k = − θ ˜ k g ˜ k + β ˜ k F R d ˜ k − 1 ， 两边同时平方后除以 ( g ˜ k T d ˜ k ) 2 ，有 ‖ d ˜ k ‖ 2 ‖ g ˜ k ‖ 4 = ‖ d ˜ k ‖ 2 ( g ˜ k T d ˜ k ) 2 = ( ‖ g ˜ k ‖ 2 ‖ g ˜ k − 1 ‖ 2 ) 2 ‖ d ˜ k − 1 ‖ 2 ‖ g ˜ k ‖ 4 + 2 θ ˜ k ‖ g ˜ k ‖ 2 − θ ˜ k 2 ‖ g ˜ k ‖ 2 ≤ ‖ d ˜ k − 1 ‖ 2 ‖ g ˜ k − 1 ‖ 4 + 1 ‖ g ˜ k ‖ 2 即 ‖ d ˜ k ‖ 2 ‖ g ˜ k ‖ 4 ≤ ∑ i = 0 k − 1 1 ‖ g ˜ i ‖ 2 ≤ k ε 2 因此，我们有 ∑ k ≥ 0 ‖ g ˜ k ‖ 4 ‖ d ˜ k ‖ 2 ≥ ε 2 ∑ k ≥ 0 1 k = + ∞ 与假设矛盾，因此(11)式成立。