system: [SYSTEM]

user: 3. 共轭梯度法及其全局收敛性 引理3.1：若假设H成立，考虑序列 x k + 1 = x k + α k d k ，序列 { g k } 和 { d k } 由算法1生成，如果 1) 对所有k均成立 ‖ g k + 1 ‖ > 3 L α k ‖ d k ‖ 2) 存在常数 r > 0 ，使得对任给 k > 0 ，都有 ‖ g k ‖ > r 成立，则存在一个充分大的 k 0 ，使得 k > k 0 时， β k + 1 C 满足 0 ≤ β k + 1 C ≤ β k + 1 F R = ‖ g k + 1 ‖ 2 ‖ g k ‖ 2 (8) 证明：因为 β k + 1 C 的定义为 β k + 1 C = g k + 1 T ( 2 ‖ g k ‖ − ‖ g k + 1 ‖ ‖ g k + 1 ‖ g k + 1 − g k − d k ) ‖ g k ‖ 2 + μ | g k + 1 T d k | + λ (9) 1) 证明分子 g k + 1 T ( 2 ‖ g k ‖ − ‖ g k + 1 ‖ ‖ g k + 1 ‖ g k + 1 − g k − d k ) ≤ ‖ g k + 1 ‖ 3 L α k ‖ d k ‖ 成立 g k + 1 T ( 2 ‖ g k ‖ − ‖ g k + 1 ‖ ‖ g k + 1 ‖ g k + 1 − g k − d k ) ≤ ‖ g k + 1 ‖ ⋅ ‖ 2 ‖ g k ‖ − ‖ g k + 1 ‖ ‖ g k + 1 ‖ g k + 1 − g k + 1 + g k + 1 − g k ‖ ≤ ‖ g k + 1 ‖ ( ‖ 2 ‖ g k ‖ − ‖ g k + 1 ‖ ‖ g k + 1 ‖ g k + 1 − g k + 1 ‖ + ‖ g k + 1 − g k ‖ ) ≤ ‖ ( 2 ‖ g k ‖ − ‖ g k + 1 ‖ ) g k + 1 − ‖ g k + 1 ‖ ⋅ g k + 1 ‖ + ‖ g k + 1 ‖ ⋅ ‖ g k + 1 − g k ‖ ≤ 2 ‖ g k − g k + 1 ‖ ⋅ ‖ g k + 1 ‖ + ‖ g k + 1 ‖ ⋅ ‖ g k + 1 − g k ‖ ≤ 3 ‖ g k + 1 ‖ ⋅ ‖ g k + 1 − g k ‖ ≤ ‖ g k + 1 ‖ 3 L α k ‖ d k ‖ 2) 将以上化简结果代入式(9)中 β k + 1 C = g k + 1 T ( 2 ‖ g k ‖ − ‖ g k + 1 ‖ ‖ g k + 1 ‖ g k + 1 − g k − d k ) ‖ g k ‖ 2 + μ | g k + 1 T d k | + λ ≤ ‖ g k + 1 ‖ 3 L α k ‖ d k ‖ ‖ g k ‖ 2 + μ | g k + 1 T d k | + λ ≤ ‖ g k + 1 ‖ ⋅ 3 L α k ‖ d k ‖ ‖ g k ‖ 2 因为 0 ≤ α k ‖ d k ‖ < ‖ g k + 1 ‖ 3 L 则引理3.1得证。 引理3.2：如果参数 σ < 1 2 ， μ ≥ 0 ， λ > 0 ，则存在常数 c 1 = 1 − 2 σ + σ k 1 − σ ， c 2 = 1 − σ k 1 − σ 对所有的k，有下式成立： − c 2 ‖ g k ‖ 2 ≤ g k T d k ≤ − c 1 ‖ g k ‖ 2 ， ∀ k ≥ 1 (10) 证明：数学归纳法：当 k = 1 ， d 1 = − g 1 ， g 1 T d 1 = − ‖ g 1 ‖ 2 ，则(10)式成立。 假设 k > 1 ，都有 g k T d k < 0 成立，令(3)式中k为k + 1时与 g k + 1 T 作内积，结合(8)式得 − g k + 1 T d k + 1 ‖ g k + 1 ‖ 2 = 1 − g k + 1 T d k ‖ g k ‖ 2 在上式中用 σ d k T g k ≤ d k T g ( x k + α k d k ) ≤ − σ d k T g k 则有 1 + σ g k T d k ‖ g k ‖ 2 ≤ − g k + 1 T d k + 1 ‖ g k + 1 ‖ 2 ≤ 1 − σ g k T d k ‖ g k ‖ 2 (11) 利用(11)式递推可得： c 1 = 1 − 2 σ + σ k 1 − σ ≤ − g k + 1 T d k + 1 ‖ g k + 1 ‖ 2 ≤ 1 − σ k 1 − σ = c 2 由归纳法知，上述引理成立。当 σ < 1 2 时，充分下降条件对正常数 c = 1 − 2 σ 1 − σ 也成立。 由引理3.2和文献 [ 1 ] 引理1.4.1，可得以下引理。 引理3.3：若假设H成立，序列 { x k } 由算法1生成， d k 满足 g k T d k < 0 ， α k 由SWP线搜索得到，则Zoutendijk条件成立： ∑ k ≥ 1 ‖ g k ‖ 4 ‖ d k ‖ 2 < + ∞ 证明：由SWP线搜索得 d k T y k ≥ ( σ − 1 ) g k T d k 。 由Lipschitz条件得 d k T y k ≤ α k L ‖ d k ‖ 2 ，把两式结合，则有 α k ≥ σ − 1 L ⋅ g k T d k ‖ d k ‖ 2 (12) 由SWP线搜索和(12)式得 f k − f k + 1 ≥ c ( g k T d k ) 2 ‖ d k ‖ 2 其中， c = δ ( 1 − σ ) L ，对上式从 k = 1 ， 2 ， ⋯ 求和，由假设H(1)知， ∑ k ≥ 1 ( g k T d k ) 2 ‖ d k ‖ 2 < + ∞ 成立，由充分下降条件 g k T d k ≤ − c ‖ g k ‖ 2 成立，则有 ∑ k ≥ 1 ‖ g k ‖ 4 ‖ d k ‖ 2 < + ∞ 以下是算法1的全局收敛性结果。 定理1：若假设H成立，序列 { g k } 和 { d k } 由算法1生成，若 σ < 1 2 ，则 lim k → ∞ inf ‖ g k ‖ = 0 。 证明：反证法，即存在常数 r > 0 ，有 ‖ g k ‖ ≥ r ， ∀ k ≥ 1 ∵ d k + 1 = − g k + 1 + β k + 1 C d k ‖ d k + 1 ‖ 2 = ( β k + 1 C ) 2 ‖ d k ‖ 2 − 2 β k + 1 C g k + 1 T d k + ‖ g k + 1 ‖ 2 两边同除 ‖ g k + 1 ‖ 4 ‖ d k + 1 ‖ 2 ‖ g k + 1 ‖ 4 = ( β k + 1 C ) 2 ‖ d k ‖ 2 ‖ g k + 1 ‖ 4 − 2 β k + 1 C g k + 1 T d k ‖ g k + 1 ‖ 4 + 1 ‖ g k + 1 ‖ 2 由SWP线搜索、(8)式和(10)式知 | g k + 1 T d k | ‖ g k ‖ 2 ≤ σ | g k T d k | ‖ g k ‖ 2 ≤ σ 1 − σ || d k + 1 || 2 | | g k + 1 | | 4 ≤ ( β k + 1 F R ) 2 ‖ d k ‖ 2 ‖ g k + 1 ‖ 4 + 2 β k + 1 F R | g k + 1 T d k | ‖ g k + 1 ‖ 4 + 1 ‖ g k + 1 ‖ 2                       ≤ ‖ d k ‖ 2 ‖ g k ‖ 4 + 2 σ | g k T d k | ‖ g k + 1 ‖ 4 ⋅ ‖ g k ‖ 2 + 1 ‖ g k + 1 ‖ 2 ≤ ‖ d k ‖ 2 ‖ g k ‖ 4 + 1 ‖ g k + 1 ‖ 2 ( 1 + 2 σ 1 − σ )                       ≤ 1 + σ 1 − σ ∑ i = 1 k + 1 1 ‖ g i ‖ 2 ≤ 1 + σ 1 − σ k + 1 r 2 由上式得 ∑ k ≥ 1 ‖ g k + 1 ‖ 4 ‖ d k + 1 ‖ 2 ≥ 1 − σ 1 + σ r 2 ∑ k ≥ 1 1 k + 1 = + ∞ 与引理3.3矛盾，故定理1得证。