system: [SYSTEM]

user: 3. 预备知识与算法 引理3.1 对于任意的 ( a ， b ， μ ) ∈ R 2 × ( 0 ， + ∞ ) ，且 ( a ， b ， μ ) ≠ ( 0 ， 0 ， 0 ) ，有 0 < ∂ a ϕ ( a ， b ， μ k ) < 1 ， 0 < ∂ b ϕ ( a ， b ， μ k ) < 1 ，     i = 1 ， ⋯ ， m ， (3.1) 0 < ( ∂ ϕ ( a ， b ， μ k ) ∂ a ) 2 + ( ∂ ϕ ( a ， b ， μ k ) ∂ b ) 2 ≤ 2 (3.2) 成立。 证明：由(2.5)，有(3.1)成立。 接下来证明(3.2)式如下： ( ∂ ϕ ( y ， w ， μ k ) ∂ y ) 2 + ( ∂ ϕ ( y ， w ， μ k ) ∂ w ) 2 = ( e − y μ 1 + e − y μ ) 2 + ( e − w μ 1 + e − w μ ) 2 ≤ ( e − y μ e − y μ ) 2 + ( e − w μ e − w μ ) 2 = 2. 设 z k = ( x k ， y k ， w k ) ∈ X 0 ，是算法第k步的迭代点， μ > 0 ， B k 是一个 n + 2 m 阶的对称正定矩阵，在算法的第k步迭代中，求解以下二次序列子问题 min     ∇ f ( x k     y k ) T ( d x d y ) + 1 2 ( d x T     d y T     d w T ) B k ( d x d y d w ) ， s .t .         A x k + A d x − b ≤ 0 ，                 d w − N d x − M d y = 0 ，                 Φ ( t k ， μ k ) + ∇ t Φ ( t k ， μ ) T d t = 0. (3.3) 求解(3.3)式，得解 d z k = ( d x k     d y k     d w k ) ，及相应的KKT乘子 ( λ k ， l k ， m k ) ，定义 ∇ Φ ( y k ， w k ， μ k ) ∈ R 2 m × R m × R → R m 。 ∇ Φ ( y k ， w k ， μ k ) = ( D y k D w k ) ， (3.4) 其中 D y k = d i a g ( ∂ y i ϕ ( y i k ， w i k ， μ k ) ) ，     i = 1 ， ⋯ ， m D w k = d i a g ( ∂ w i ϕ ( y i k ， w i k ， μ k ) ) ，     i = 1 ， ⋯ ， m 从而QP子问题(3.3)也可以写成如下形式： min     ∇ f ( x k     y k ) T ( d x d y ) + 1 2 ( d x T     d y T     d w T ) B k ( d x d y d w ) ， s .t .         A x k + A d x − b ≤ 0 ，                 ( N M − I 0 D y k D w k ) ( d x d y d w ) + ( 0 Φ ( y i ， w i ， μ ) ) = 0. (3.5) QP子问题(3.3)是一个带线性约束的凸规划问题，所以问题(3.5)的最优解与KKT点等价，进而其KKT系统可以写成： ( ∇ f ( x k ) ∇ f ( y k ) 0 ) + B k ( d x d y d w ) + ( N T 0 M T D y k ) ( l m ) + ( A T 0 0 ) λ = 0 ， (3.6) 0 ≤ ( b − A x k − A d x ) ⊥ λ ≥ 0 ， (3.7) ( N M − I 0 D y k D w k ) d z + ( 0 Φ ( y i ， w i ， μ ) ) = 0 ， (3.8) 其中 ( λ ， l ， m ) ∈ R p × R m × R m 是KKT乘子。 命题3.1 [ 6 ] 设假设H 2.1成立， z k = ( x k ， y k ， w k ) ∈ X ，罚参数 μ k 是个给定的正数， B k 是一个对称正定矩阵，那么QP子问题(3.3)有唯一最优解。 现假设问题(3.3)的唯一最优解为 d z k = ( d x k ， d y k ， d w k ) ，通过对罚函数 φ 作线搜索，得到下一个迭代点 z k + 1 = ( x k + 1 ， y k + 1 ， w k + 1 ) ，也就是说对于给定的参数 ρ ， σ ，满足 0 < ρ < 1 ， 0 < σ < 1 ，第 k + 1 次迭代点 z k + 1 = z k + α k d z k ，其中 α k 是步长因子，令 α k = δ m k ， m k 是使得下列不等式成立的最小的非负整数： φ ( z k + δ m k d z k ， ε ， μ k ) ≤ φ ( z k ， ε ， μ k ) + σ δ m k φ ′ ( z k ， ε ， μ k ; d z k ) . (3.9) 下面给出求解问题(1.1)的SQP算法。 算法3.1 步骤0. 选取初始点 z 0 = ( x 0 ， y 0 ， z 0 ) ∈ X 0 ，参数 ξ ， μ 0 ， ε − 1 ∈ ( 0 ， + ∞ ) ， B 0 ∈ R n + 2 m × R n + 2 m 。 选取序列 { μ k } k = 0 ∞ 满足 μ k > 0 ， μ k + 1 < μ k ， lim k → ∞ μ k + 1 μ k ζ = η ，其中 0 < η < 1 ， 1 < ζ < 2 ，令 k = 0 。 步骤1. 求解QP子问题(3.3)得唯一最优解 d z k = ( d x k ， d y k ， d w k ) 以及相应的乘子 ( λ k ， l k ， m k ) ，如果 d z k = 0 ，则令 z k + 1 = z k ， ε k = ε k − 1 ，转到步骤4。 步骤2. 调整罚参数，计算 ε k = { ε k − 1 ，                                                                   ε k − 1 ≥ ‖ c k ‖ ∞ + ξ ， max { ‖ c k ‖ ∞ + ξ ， ε k − 1 + 2 ξ } ，         ε k − 1 < ‖ c k ‖ ∞ + ξ ， (3.10) 其中 ‖ c k ‖ ∞ = max 1 ≤ i ≤ m | c i k | 。 步骤3. 对函数 φ ( ⋅   ， ε k ， μ k ) 按(3.10)做Armijo先搜索求得步长 α k ，令 z k + 1 = z k + α k d z k 。 步骤4. 如果 d z k = 0 ，停止；否则，令 μ k + 1 = β μ k ，更新修正 B k ，得新的对称正定阵， B k + 1 ∈ R ( n + 2 m ) × ( n + 2 m ) ，令 k = k + 1 ，返回步骤1。 引理3.2 若假设H2.1成立， ( x k ， y k ， w k ) ∈ X 0 ， μ k > 0 ， B k 是对称正定阵，假设 d z k = ( d x k ， d y k ， d w k ) 是子问题(3.3)的唯一最优解，相应的KKT乘子为 ( λ k ， l k ， m k ) ，若 ε k ≥ ‖ c k ‖ ∞ ，有 φ ′ ( z k ， ε k ， μ k ; d z k ) ≤ ( − d z k ) T B k d z k < 0 (3.11) 成立，且对任意的 ρ ∈ ( 0 ， 1 ) ，存在 ρ ¯ > 0 ，使得对于所有的 ρ ∈ ( 0 ， ρ ¯ ) ，有 φ ( z k + ρ d z ， ε ， μ k ) ≤ φ ( z k ， ε ， μ k ) + σ ρ φ ′ ( z k ， ε ， μ k ; d z k ) . (3.12) 证明：由(3.5)有 D y k d y k + D w k d w k + Φ ( y k ， w k ， μ k ) = 0 ， ( ∇ y ϕ ( y i ， w i ， μ ) ∇ w ϕ ( y i ， w i ， μ ) ) T ( d y i k d w i k ) + Φ ( y i k ， w i k ， μ ) = 0. (3.13) 由(2.10)和(2.11)有 φ ′ ( z k ， ε k ， μ k ; d z k ) = ∇ f ( x k     y k ) T ( d x k d y k ) − ε k ∑ | ϕ ( y k ， w k ， μ k ) |   . (3.14) 由(3.6)得 ∇ f ( x k     y k ) T ( d x k d y k ) + ( λ k ) T A d x k + ( d z k ) T B k d z k + ( l k ) T ( N d x + M d y − d w k ) + ( m k ) T ( D y k d y k + D w k d w k ) = 0 ， 故 ∇ f ( x k     y k ) T ( d x k d y k ) + ( d z k ) T B k d z k − ( m k ) T Φ ( y k ， w k ， μ k ) = ( λ k ) T ( A x − b ) ≤ 0. (3.15) 由(3.14)，(3.15)有 φ ′ ( z k ， ε k ， μ k ; d z k ) ≤ − ( d z k ) T B k d z k + ∑ i ∈ I + k ( c i k − ε k ) ϕ ( y i k ， w i k ， μ k ) + ∑ i ∈ I − k ( c i k + ε k ) ϕ ( y i k ， w i k ， μ k ) ， 其中 I + k ， I − k 分别定义如下： I + k = { i : ϕ ( y i k ， w i k ， μ k ) > 0 } ， I − k = { i : ϕ ( y i k ， w i k ， μ k ) < 0 } . 又由(3.10)及 ε k ≥ ‖ c k ‖ ∞ ，有 φ ′ ( z k ， ε k ， μ k ; d z k ) ≤ ( − d z k ) T B k d z k < 0. 由(2.10)，(3.10) (3.11)和(3.14)易得(3.13)成立.