system: [SYSTEM]

user: 2. 算法 定义2.1：对于可微矩阵函数 G ( x ) : ℝ n → S m ， G ( x ) 在 x ∈ ℝ n 处的微分算子 D G ( x ) 定义如下： D G ( x ) : = ( ∂ G ( x ) ∂ x 1 ， ∂ G ( x ) ∂ x 2 ， ⋯ ， ∂ G ( x ) ∂ x n ) T ， G ( x ) 在x处沿着 d = ( d 1 ， d 2 ， ⋯ ， d n ) n ∈ ℝ n 的方向导数 D G ( x ) d 为 D G ( x ) d = ∑ i = 1 n     d i ∂ G ( x ) ∂ x i ， 相对应的伴随算子 D G ( x ) * 定义为 D G ( x ) * Y = ( 〈 ∂ G ( x ) ∂ x 1 ， Y 〉 ， 〈 ∂ G ( x ) ∂ x 2 ， Y 〉 ， ⋯ ， 〈 ∂ G ( x ) ∂ x n ， Y 〉 ) T ， ∀ Y ∈ S m ， 其中 〈 · ， · 〉 表示矩阵的内积，定义如下： 〈 A ， B 〉 = Tr ( B T A ) = ∑ i = 1 m ∑ j = 1 n a i j b i j ，   ∀ A = [ a i j ] ，     B = [ b i j ] ∈ ℝ m × n . 定义2.2：设 x ∈ ℝ n 是NLSDP(1.1)的一个可行点，若存在矩阵 M ∈ S m 使得以下条件成立： ∇ f ( x ) + D G ( x ) ∗ M = 0 ， G ( x ) ≼ 0 ，     M ≽ 0 ，     Tr ( M G ( x ) ) = 0 ， 则称x是NLSDP(1.1)的一个KKT点，M是相应的拉格朗日乘子，上式称为NLSDP(1.1)的KKT条件。 定义2.3：NLSDP(1.1)的约束违反度函数定义如下： P ( x ) = λ 1 ( G ( x ) ) + = max { 0 ， λ 1 ( G ( x ) ) } ， 其中， λ 1 ( A ) 表示矩阵A的最大特征值。 显然， P ( x ) = 0 当且仅当x为NLSDP(1.1)的一个可行点。 令 x k 为当前迭代点，构造如下的二次半定规划子问题(简记为QSDP)： min ∇ f ( x k ) T d + 1 2 d T H k d s .t .   G ( x k ) + D G ( x k ) d ≼ 0 ， (2.1) 其中 H k 为NLSDP(1.1)的Lagrange函数的Hesse阵或近似阵。 子问题QSDP(2.1)的解 d 0 k 为目标函数的下降方向，但不一定是可行方向，因此需对其进行修正，以便得到一个可行下降方向 d k 。 利用 d 0 k 对子问题QSDP(2.1)的约束不等式的右边进行扰动，得到如下的二次半定规划子问题： min   ∇ f ( x k ) T d + 1 2 d T H k d s .t .     G ( x k ) + D G ( x k ) d ≼ − ‖ d 0 k ‖ v E m ， (2.2) 其中 E m 为一个m阶的单位矩阵。 记NLSDP(1.1)的可行集为 Ω = { x ∈ ℝ n | G ( x ) ≼ 0 } 。本文需作以下基本假设： 假设1：集合 Ω 是非空的。 假设2：函数 f ( x ) ， G ( x ) 是连续可微的。 假设3：存在正的常数a和b，使得 a ‖ d ‖ 2 ≤ d T H k d ≤ b ‖ d ‖ 2 ，   ∀ d ∈ R n . 求解NLSDP(1.1)的可行SSDP算法描述如下： 算法A： 步骤0：(初始化)选取参数 α ∈ ( 0 ， 1 2 ) ， β ∈ ( 0 ， 1 ) ， v > 2 。初始点 x 0 ∈ Ω ， H 0 ∈ ℝ n × n 正定，令 k = 0 。 步骤1：(计算搜索方向) 步骤1.1：求解子问题QSDP(2.1)得 d 0 k 。如果 ‖ d 0 k ‖ = 0 ，则停止；否则，进入步骤1.2。 步骤1.2：求解子问题QSDP(2.2)得 d k ，令 θ k = ∇ f ( x k ) T d k 。 步骤2：(线搜索)计算序列 { 1， β ， β 2 ， ⋯ } 中第一个满足如下两个条件的步长 t k ： f ( x k + t d k ) ≤ f ( x k ) + α t θ k ， (2.3) G ( x k + t d k ) ≼ 0. (2.4) 步骤3：(更新)令 x k + 1 = x k + t k d k ，用某种技术产生新的对称正定阵 H k + 1 ，令 k = k + 1 ，返回步骤1。 为分析的简便，现作如下进一步假设： 假设4：子问题QSDP(2.2)有解 d k ，且 d k 满足如下条件： ‖ d k ‖ ≤ L ，   ∇ f ( x k ) T d k ≤ min { − ‖ d 0 k ‖ σ ， − ‖ d k ‖ σ } . 其中 L > 0 ， σ > 2 。 假设5：算法A生成的迭代点列 { x k } 有界。 基于假设条件1~3，易知下面引理成立。 引理2.1：假设1~3成立，则子问题QSDP(2.1)有唯一解 d 0 k ，并且存在矩阵 M k ∈ S m 满足QSDP(2.1)的KKT条件，即 ∇ f ( x ) + D G ( x k ) ∗ M k + H k d 0 k = 0 ， (2.5a) G ( x k ) + D G ( x k ) d 0 k ≼ 0 ， (2.5b) M k ≽ 0 ， (2.5c) Tr ( M k ( G ( x k ) + D G ( x k ) d 0 k ) ) = 0. (2.5d) 引理2.2：假设1~3成立，如果 d 0 k = 0 ，则当前迭代点 x k 为NLSDP(1.1)的一个KKT点。 证明：将 d 0 k = 0 代入(2.5)，结合定义2.2即知当前迭代点 x k 为NLSDP(1.1)的一个KKT点。 引理2.3：假设1~4成立，算法A的线搜索在有限次计算中生成步长 t k ，即算法A是适定的。 证明：由Taylor展开式知 f ( x k + t d k ) = f ( x k ) + t ∇ f ( x k ) T d k + o ( t ) ， G ( x k + t d k ) = G ( x k ) + t D G ( x k ) d k + o ( t ) ， 由假设4知 θ k = ∇ f ( x k ) T d k < 0 。因为 α ∈ ( 0 ， 1 2 ) ，所以存在 t ¯ k > 0 ，使得对任意 t ∈ ( 0 ， t ¯ k ) ，有 f ( x k + t d k ) ≤ f ( x k ) + α t θ k ， 因为 G ( x ) 是连续可微函数，由子问题QSDP(2.2)的约束条件知 G ( x k ) + D G ( x k ) d k ≼ − ‖ d 0 k ‖ v E m ≺ 0 ， 从而有 λ 1 ( G ( x k ) + D G ( x k ) d k ) < 0 ， (2.6) 而由 λ 1 ( ⋅ ) 的凸性可得 λ 1 ( G ( x k + t d k ) ) ≤ ( 1 − t ) λ 1 ( G ( x k ) ) + t λ 1 ( G ( x k ) + D G ( x k ) d k ) + o ( t ) ， 所以由 G ( x k ) ≼ 0 ，并结合(2.6)知存在 t ˜ k > 0 ，使得对任意 t ∈ ( 0 ， t ˜ k ) ，有 λ 1 ( G ( x k + t d k ) ) ≤ 0 ， 从而 G ( x k + t d k ) ≼ 0 ， 综上所述知存在充分小的 t > 0 ，使得不等式(2.3)和(2.4)成立，故算法A适定。