system: [SYSTEM]

user: 2. 算法与收敛性分析 本文考虑该扰动的BFGS方法在Armijo搜索下的全局收敛性。下面我们给出算法的具体步骤。 算法1 (Armijo搜索下的PBFGS算法)： 步0：选择初始点 x 1 ∈ R n 和初始的对称正定矩阵 B 1 ∈ R n × n 以及 Q = I 。选取常数 0 < σ 1 < σ 2 < 1 ， ρ ， τ ， η ∈ ( 0 ， 1 ) ， ε 1 > 0 以及 M B > 1 。令 μ 1 = ε 1 ， δ = ‖ ∇ f ( x 1 ) ‖ 以及 k = 1 。 步1：解线性方程组 ( B k + μ k Q ) d k + ∇ f ( x k ) = 0 ， (2.1) 解得 d k 。转步2。 步2：由Armijo线性搜索 [ 8 ] f ( x k + α k d k ) − f ( x k ) ≤ σ 1 α k ∇ f ( x k ) T d k ， (2.2) 来确定 α k ，其中 α k 的取值为集合 { ρ ， ρ 2 ， ρ 3 ， ⋯ } 中使上面不等式成立的最大者。然后令 x k + 1 = x k + α k d k 。 步3：由修正公式 B k + 1 = { B k − B k s k s k T B k s k T B k s k + y k y k T y k T s k ，               如 果   y k T s k > 0 B k ， 　 　 　 　 　 　 　 　                               其 他 (2.3) 确定 B k + 1 。 步4：如果 ‖ ∇ f ( x k + 1 ) ‖ / δ ≤ η ，令 ε k + 1 = τ ε k ， μ k + 1 = ε k + 1 ， δ = ‖ ∇ f ( x k + 1 ) ‖ 。否则令 ε k + 1 = ε k 以及 μ k + 1 = { ε k + 1 ‖ B k + 1 ‖ F ， 如 果 ‖ B k + 1 ‖ F ≥ M k + 1 ε k + 1 ，                         其 它 (2.4) 其中， M k = max { M B ， 1 / ‖ ∇ f ( x k ) ‖ } 。 步5：令 k = k + 1 然后转步1。 在以上的算法中， ε k 按照如下规则逐渐减小 ε k + 1 = { τ ε k ，         如 果 ‖ ∇ f ( x k + 1 ) ‖ / δ ≤ η ε k ，                         否 则 (2.5) 其中 τ ， η ∈ ( 0 ， 1 ) ，并且 δ = ‖ ∇ f ( x i ) ‖ ，i取值是 [ 1 ， k ] 中的一个指标。所以 { ‖ ∇ f ( x k ) ‖ } 中必存在一个公比不超过 η 的几何子序列，如果 lim inf k → ∞ ‖ ∇ f ( x k ) ‖ = 0 (2.6) 成立，那么 { ε k } 为单调非增序列，并且当 k → ∞ 时，有 ε k → 0 。由此可得，当 ‖ B k ‖ F 有界时， ε k ‖ B k ‖ F → 0 ，从而 μ k → 0 ，(2.1)式逐渐逼近于(1.3)式。 下面证明算法的全局收敛性，在证明之前需作如下假设： 假设1：存在一个水平集 Ω = { x ∈ R n | f ( x ) ≤ f ( x 1 ) } 是一个有界集，函数 f ( x ) 在 Ω 上有Lipschitz连续的梯度，即存在常数 L > 0 使得 ‖ ∇ f ( x ) − ∇ f ( y ) ‖ ≤ L ‖ x − y ‖ ，     ( ∀ x ， y ∈ Ω ) . (2.7) 由(2.3)式所产生的矩阵 B k 总是正定的，从而序列 { f ( x k ) } 是单调递减的，由假设可知 Ω = { x ∈ R n | f ( x ) ≤ f ( x 1 ) } 是有界的，因而 f ( x ) 有下界。由Armijo线性搜索不等式(2.2)可得 f ( x 1 + α 1 d 1 ) − f ( x 1 ) ≤ σ 1 α 1 ∇ f ( x 1 ) T d 1                                               ⋮ f ( x k + α k d k ) − f ( x k ) ≤ σ 1 α k ∇ f ( x k ) T d k 将上面k个式子累加 f ( x k + α k d k ) − f ( x 1 ) ≤ σ 1 ∑ k = 1 ∞ α k ∇ f ( x k ) T d k . 因此 − ∑ k = 1 ∞ α k ∇ f ( x k ) T d k ≤ − C 1 δ 1 < + ∞ . 其中常数 C 1 = f ( x k + α k d k ) − f ( x 1 ) < 0 ，由此可推出 − lim k → + ∞ α k ∇ f ( x k ) T d k = − lim k → + ∞ ∇ f ( x k ) T s k = 0. (2.8) 为了方便证明收敛性，根据步4可定义指标集合 K τ = { k : ε k + 1 = τ ε k } ， K B = { k : ‖ B k ‖ F ≥ M k } . (2.9) 下面为了证明算法的全局收敛性，我们先证明几个重要的引理。 引理1：假定集合 K τ 是有限集，则算法所产生的步长序列 { α k } 有非零的下界，并且当 k → ∞ 时， d k → 0 。 证明：假定 K τ 是有限集，即 ε k 被减小有限次，也就是说存在一个整数 k 1 使得对任意的 k ≥ k 1 都有 ε k = ε k 1 。由于 B k 是正定的，那么对于所有的k，有 − ∇ f ( x k ) T d k = d k T ( B k + μ k I ) d k ≥ ε k ‖ B k ‖ F ‖ d k ‖ 2 ≥ ε k min { 1 ， M B } ‖ d k ‖ 2 . (2.10) 由Armijo型线性搜索准则知，当 α k ≠ 1 时， ρ − 1 α k 不满足(2.2)式 [ 5 ] [ 9 ] ，那么我们有 [ 9 ] f ( x k + ρ − 1 α k d k ) − f ( x k ) > σ 1 ρ − 1 α k ∇ f ( x k ) T d k . (2.11) 通过中值定理以及 ∇ f ( x ) 的Lipschitz连续性，存在一个 θ k ∈ ( 0 ， 1 ) ，可得 f ( x k + ρ − 1 α k d k ) − f ( x k ) = ρ − 1 α k ∇ f ( x k + θ k ρ − 1 α k d k ) T d k = ρ − 1 α k ∇ f ( x k ) T d k + ρ − 1 α k [ ∇ f ( x k + θ k ρ − 1 α k d k ) T − ∇ f ( x k ) ] d k ≤ ρ − 1 α k ∇ f ( x k ) T d k + L ρ − 2 α k 2 ‖ d k ‖ 2 ， (2.12) 这里的 L > 0 是 ∇ f ( x k ) 的Lipschitz常数。再将(2.12)式代入(2.11)式可得 α k ≥ − ( 1 − σ 1 ) ρ ∇ f ( x k ) T d k L ‖ d k ‖ 2 = ( 1 − σ 1 ) ρ d k T ( B k + μ k I ) d k L ‖ d k ‖ 2         ≥ ( 1 − σ 1 ) ρ ε k 1 L min { 1 ， M B } > 0. (2.13) 当 α k = 1 时，显然可得 α k > 0 。又由(2.8)，(2.10)可得 0 = − lim k → + ∞ α k ∇ f ( x k ) T d k = lim k → + ∞ α k d k T ( B k + μ k I ) d k ≥ lim k → + ∞ α k ε k min { 1 ， M B } ‖ d k ‖ 2 > 0 ， 因此， k → ∞ 时， d k → 0 。 引理2. 如果 K B 是无限集，而 K τ 是有限集，则必有 lim k → ∞ inf ‖ ∇ f ( x k ) ‖ = 0. (2.14) 证明：令 α ^ k = α k / ‖ B k ‖ F 和 d ^ k = ‖ B k ‖ F d k ，那么有 α ^ k d ^ k = α k d k 。当 K τ 为有限集时，可从集合 K B 的定义 K B = { k : ‖ B k ‖ F ≥ M k } ，这里 M k = max { M B ， 1 / ‖ ∇ f ( x k ) ‖ } 以及算法的步4知，对任意的 k ≥ k 1 ，并且 k ∈ K B ，有 μ k = ε k 1 ‖ B k ‖ F 。又由修正的拟牛顿方法 ( B k + μ k I ) d k + ∇ f ( x k ) = 0 ，那么 d k 也满足 B k d k + ε k 1 ‖ B k ‖ F d k + ∇ f ( x k ) = 0. 所以有 − ∇ f ( x k ) T d ^ k = d k T B k d ^ k + ε k 1 ‖ d ^ k ‖ 2 . (2.15) 由(2.11)式和(2.12)式可得 L ρ − 2 α k 2 ‖ d k ‖ 2 ≥ ( σ − 1 ) ρ − 1 α k ∇ f ( x k ) T d k . 由上面不等式及 α ^ k d ^ k = α k d k ，我们可推出 L ρ − 2 α ^ k 2 ‖ d ^ k ‖ 2 ≥ ( σ − 1 ) ρ − 1 α ^ k ∇ f ( x k ) T d ^ k ， 将(2.15)式代入上式，从而 α ^ k ≥ − ( 1 − σ 1 ) ρ ∇ f ( x k ) T d ^ k L ‖ d ^ k ‖ 2 = ( 1 − σ 1 ) ρ ( d k T B k d ^ k + ε k 1 ‖ d ^ k ‖ 2 ) L ‖ d ^ k ‖ 2 ≥ ( 1 − σ 1 ) ρ ε k 1 L > 0. 进一步由(2.8)式及上面的结论有 0 = − lim k → + ∞ α ^ k ∇ f ( x k ) T d ^ k = lim k → + ∞ α ^ ( d k T B k d ^ k + ε k 1 ‖ d ^ k ‖ 2 ) ≥ lim k → + ∞ α ^ k ε k 1 ‖ d ^ k ‖ 2 > 0. 可得 lim k → ∞ ， k ∈ K B d ^ k = 0. (2.16) 并且对所有的 k ∈ K B ，我们有 ‖ ∇ f ( x k ) ‖ ≤ ‖ B k ‖ ‖ d ^ k ‖ / ‖ B k ‖ F + ε k 1 ‖ d ^ k ‖ ≤ ( 1 + ε k 1 ) ‖ d ^ k ‖ . 因此由(2.16)式的结论可得 lim k → ∞ inf ‖ ∇ f ( x k ) ‖ = 0. 引理3：如果 K B 是有限集并且 K τ 也是有限集，那么有 lim k → ∞ inf ‖ ∇ f ( x k ) ‖ = 0. 证明：反设存在一个正数 γ 使得对所有的k有 ‖ ∇ f ( x k ) ‖ ≥ γ 成立。由算法的步4可知，当 k ∉ K B 时，有 μ k = ε k ，且 ‖ B k ‖ F < max { M B ， 1 / ‖ ∇ f ( x k ) ‖ } ≤ max { M B ， 1 / γ } . (2.17) 当 K τ 为有限集时，对所有的 k ≥ k 1 有(2.10)式成立。由引理1和(2.8)可知，当 k → ∞ 时， d k → 0 。进一步由修正后的拟牛顿公式(2.1)以及(2.17)式可得，对所有的 k ∉ K B 有下面不等式 ‖ ∇ f ( x k ) ‖ ≤ ( ‖ B k ‖ + ε k ) ‖ d k ‖ ≤ ( ‖ B k ‖ F + ε 1 ) ‖ d k ‖ ≤ ( max { M B ， 1 / γ } + ε 1 ) ‖ d k ‖ 以上结论说明 lim k → ∞ ， k ∉ K B inf ‖ ∇ f ( x k ) ‖ = 0 ， 但是这与假设矛盾，所以必定有(2.14)成立。 在引理2和引理3的基础上，下面我们证明算法1的全局收敛性。 定理1：设序列 { x k } 由算法产生且满足假设1，那么 lim k → ∞ inf ‖ ∇ f ( x k ) ‖ = 0. (2.18) 证明：这里需要考虑两种情形：(i) K τ 是无限集和(ii) K τ 是有限集。 对情形(i)：由 K τ 的定义 K τ = { k : ε k + 1 = τ ε k } 及(2.4)式可知 { ‖ ∇ f ( x k ) ‖ } 中必存在一个公比不超过 0 < η < 1 的几何子序列，那么此时必有(2.18)式成立。 对情形(ii)：这时需要考虑 K B 是无限集还是有限集这两种情况。在引理2和引理3中，我们已证明在这两种情况下，结论(2.18)总是成立的，即 ε k 被减小无穷多次。因此，由 K τ 的定义可知情形(ii)是不可能出现的。 由定理1可以得到， ε k 一定无限次的减小，即 k → + ∞ 时， ε k → 0 。当 B k 有界，且k充分大时，有 μ k = ε k ，显然当 k → + ∞ 时，也可得到 μ k → 0 。