system: [SYSTEM]

user: 3. 算法的充分下降性和全局收敛性 引理3.1：对所有 k ≥ 0 ，搜索方向 d k 满足下面两式 d k T g k ≤ − c ‖ g k ‖ 2 (3.1) 和 d k T y k ≥ c ( 1 − σ ) ‖ g k ‖ 2 (3.2) c > 0 是常数。 证明：首先证明(3.1)成立。根据算法1，如果 k = 0 ，则 g 0 T d 0 = − ‖ g 0 ‖ 2 ，式(3.1)显然成立。下面利用归纳法，当 k ≥ 1 ，假如公式(2.3)满足(3.1)，对 k + 1 ，有 g k + 1 T d k + 1 = − ‖ g k + 1 ‖ 2 + β k M M L S * d k T g k + 1 = − ‖ g k + 1 ‖ 2 + [ g k + 1 T y k m − d k T g k − min { g k + 1 T y k m − d k T g k ， μ ‖ y k m ‖ 2 ( − d k T g k ) 2 g k + 1 T d k } ] d k T g k + 1 (3.3) 由 − d k T g k > 0. 取 u = − d k T g k 2 μ g k + 1 ， v = 2 μ g k + 1 T d k − d k T g k y k m 。下面我们分两种情形分别讨论(3.3)式： 情形I：如果 g k + 1 T y k m − d k T g k < μ ‖ y k m ‖ 2 ( − d k T g k ) 2 g k + 1 T d k ，显然 g k + 1 T d k + 1 = − ‖ g k + 1 ‖ 2 成立。 情形II：如果 g k + 1 T y k m − d k T g k ≥ μ ‖ y k m ‖ 2 ( − d k T g k ) 2 g k + 1 T d k ，(3.3)式可化为 g k + 1 T d k + 1 = − ‖ g k + 1 ‖ 2 + ( g k + 1 T y k m − d k T g k − μ ‖ y k m ‖ 2 ( − d k T g k ) 2 g k + 1 T d k ) d k T g k + 1 = d k T g k + 1 g k + 1 T y k m − ‖ g k + 1 ‖ 2 ( − d k T g k ) − μ ‖ y k m ‖ 2 − d k T g k ( g k + 1 T d k ) 2 − d k T g k = u T v − 1 2 ( ‖ u ‖ 2 + ‖ v ‖ 2 ) − d k T g k + − ( 1 − 1 4 μ ) ‖ g k + 1 ‖ 2 d k T y k m − d k T g k ≤ − ( 1 − 1 4 μ ) ‖ g k + 1 ‖ 2 ， 上述不等式利用了 u T v ≤ 1 2 ( ‖ u ‖ 2 + ‖ v ‖ 2 ) 的关系。取 c = 1 − 1 4 μ ，则(3.1)成立。根据线搜索技术(2.2)可推出(3.2)也成立。证毕。 我们将采用反证法来证明算法1的全局收敛性，假设存在常数 ε 0 > 0 满足 ‖ g k ‖ ≥ ε 0 ， ∀ k ≥ 0. (3.4) 根据(3.4)导出矛盾，从而证明 ‖ g k ‖ → 0 ， k → ∞ 成立。 为证明算法1的收敛性，还需要下面的常规假设条件。 假设A：1) 定义水平集 Ω = { x ∈ ℜ n : f ( x ) ≤ f ( x 0 ) } 且有界，存在 L 0 > 0 满足 ‖ ∇ 2 f ( x ) ‖ ≤ L 0 ， x ∈ Ω . 2) 目标函数 f 在水平集 Ω 上连续可微并有下界，目标函数梯度满足Lipschitz条件，所谓Lipschitz条件就是存在常数 L > 0 满足下式 ‖ g ( x ) − g ( y ) ‖ ≤ L ‖ x − y ‖ ， ∀ x ， y ∈ Ω 。 (3.5) 下面引理3.2和引理3.3在共轭梯度算法文献中有类似的结论，本文只给出引理3.3证明过程。 引理3.2：设假设A成立，序列 { g k } 和 { d k } 由算法1产生，则 d k ≠ 0 及 ∑ k = 0 ∞ ‖ u k + 1 − u k ‖ 2 < ∞ ，其中 u k = d k ‖ d k ‖ 。 Gilbert和Nocedal [ 14 ] 给出下面性质(P)，具体内容是： 性质(P)对于两参数 γ 1 ， γ 2 > 0 ，且满足 0 < γ 1 ≤ ‖ g k ‖ ≤ γ 2 。 (3.6) 若对所有 k ，存在常数 b > 1 和 λ > 0 满足 | β k | ≤ b 和 ‖ s k ‖ ≤ λ ，有 | β k | ≤ 1 2 b 成立。 引理3.3：如果假设A满足且序列 { g k } 和 { d k } 由算法1产生，且存在常数 M > 0 使得 ‖ d k ‖ ≤ M 成立，则 β k M M L S * 满足性质(P)。 证明：对于公式(2.3)，如果 g k + 1 T y k m − d k T g k ≤ μ ‖ y k m ‖ 2 ( − d k T g k ) 2 g k + 1 T d k 成立，结论显然成立。否则，利用假设A(1)，可推出存在常数 M 1 > 0 使下式 ‖ s k ‖ ≤ M 1 (3.7) 成立。利用 ‖ d k ‖ ≤ M ，(3.1)，(3.2)，(3.5)~(3.7)，有 | β k M M L S * | ≤ | g k + 1 T y k m d k T g k | + μ ‖ y k m ‖ 2 ( − d k T g k ) 2 | g k + 1 T d k | ≤ ‖ g k + 1 ‖ ‖ ‖ g k + 1 − g k ‖ + 3 [ ‖ g k + 1 − g k ‖ + ‖ ∇ 2 f ( ς k ) s k ‖ ] ‖ c ‖ g k ‖ 2 + μ ‖ g k + 1 ‖ ‖ d k ‖ ‖ ‖ g k + 1 − g k ‖ + 3 [ ‖ g k + 1 − g k ‖ + ‖ ∇ 2 f ( ς k ) s k ‖ ] ‖ 2 c 2 ‖ g k ‖ 4 ≤ [ L γ 2 + 3 ( L + L 0 ) ] ‖ s k ‖ c γ 1 2 + [ μ γ 2 M ( L + 3 ( L + L 0 ) ) 2 M 1 ] ‖ s k ‖ c 2 γ 1 4 = ( [ L γ 2 + 3 ( L + L 0 ) ] c γ 1 2 + [ μ γ 2 M ( L + 3 ( L + L 0 ) ) 2 M 1 ] c 2 γ 1 4 ) ‖ s k ‖ ， 取 b = max { 2 ， [ L γ 2 + 3 ( L + L 0 ) ] c γ 1 2 + [ μ γ 2 M ( L + 3 ( L + L 0 ) ) 2 M 1 ] c 2 γ 1 4 } 和 λ = c 2 γ 1 4 b { [ L γ 2 + 3 ( L + L 0 ) ] c γ 1 2 + [ μ γ 2 M ( L + 3 ( L + L 0 ) ) 2 M 1 ] } . 利用(3.8)， λ 和 b > 1 ，则 | β k M M L S * | ≤ b 和 | β k M M L S * | ≤ [ L γ 2 + 3 ( L + L 0 ) ] c γ 1 2 + [ μ γ 2 M ( L + 3 ( L + L 0 ) ) 2 M 1 ] c 2 γ 1 4 ‖ s k ‖ ≤ [ L γ 2 + 3 ( L + L 0 ) ] c γ 1 2 + [ μ γ 2 M ( L + 3 ( L + L 0 ) ) 2 M 1 ] c 2 γ 1 4 λ = 1 2 b . 因此公式(2.3)满足性质(P)，引理得证。 利用假设A，引理3.1~3.3，与文献 [ 15 ] 中的定理3.2的证明类似，可得到算法1的全局收敛性定理，定理的证明请参照文献 [ 15 ] 中的定理3.2完成。 定理3.1：序列 { d k ， g k } 由算法产生，若假设A成立，则 lim k → ∞ inf ‖ g k ‖ = 0 成立。