system: [SYSTEM]

user: 3. 交替投影算法及收敛性分 3.1. StIEP及投影的计算 设 λ : = { λ 1 ， λ 2 ， ⋯ ， λ n } 是给定的 n 个实数。考虑对称随机逆特征值问题( S t I E P )，即求一个 n 阶对称随机矩阵 X ∈ R n × n ，使得它的特征值是 λ 。不失一般性，设 λ 1 ≥ λ 2 ≥ ⋯ ≥ λ n ，并记对角阵 Λ 为 Λ = d i a g ( λ 1 ， λ 2 ， ⋯ ， λ n ) ，即 d i a g ( λ ) = [ λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 ⋮ ⋮ ⋮ ⋮ 0 0 ⋯ λ n ] . 在 R n × n 中定义以下集合 E ， F 和 F 1 如下： E : = { A ∈ R n × n | A = V Λ V T ，       V ∈ R n × n 是 正 交 矩 阵 }   ， F : = { A ∈ R n × n | A T = A ， ∑ j = 1 n A i j = 1 ， A i j ≥ 0 ， i ， j = 1 ， 2 ， ⋯ ， n } F 1 : = { A ∈ R n × n | ∑ j = 1 n A i j = 1 ， A i j ≥ 0 ， i ， j = 1 ， 2 ， ⋯ ， n } ， 其中 B T 表示矩阵 B ∈ R n × n 的转置， A i j 表示矩阵 A 的第 i 行第 j 列元素。下面我们先讨论集合 E 和 F 1 上投影算子 P E ( ⋅ ) 和 P F 1 ( ⋅ ) 的计算。首先，我们有以下关于 P E ( ⋅ ) 的计算式。 引理3.1 ( [ 22 ]，Theorem 3.2) 设实对称矩阵 Y ∈ R n × n 的正交分解为 Y = V d i a g ( μ 1 ， ⋯ ， μ n ) V Τ ，其中 μ 1 ≥ ⋯ ≥ μ n 。则 P E ( Y ) = V Λ V Τ 。 下面讨论 P F 1 ( ⋅ ) ，为此设向量 a = ( a 1 ， ⋯ ， a n ) Τ 。考虑以下严格凸优化问题： min x ∈ R n 1 2 ‖ x − a ‖ 2 2 s . t . ∑ i = 1 n x i = 1 ， − x i ≤ 0 ， i = 1 ， ⋯ ， n ， (3.1) 其中 ‖ ‖ 2 表示 R n 中的 2 − 范数。设 x a * = ( ( x a * ) i ) ∈ R n 为问题(3.1)的唯一全局最优解，同时也是它的唯一KKT点。所以存在 λ * = ( λ i * ) ∈ R n ， μ * ∈ R ，满足以下KKT条件： { x a * − a − μ * e − ∑ i = 1 n λ i * e i = 0 ，                                                                                                                                                                                                                                                                                                                                               ( 3.2 ) ∑ i = 1 n ( x a * ) i = 1 ，                                                                                                                                                                                                                                                                                                                                                                                                                                                               ( 3.3 ) ( x a * ) i ≥ 0 ， λ i * ≥ 0 ， ( x a * ) i λ i * = 0 ， i = 1 ， ⋯ ， n ，                                                                                                                                                                                                               ( 3.4 ) 其中 e = ( 1 ， ⋯ ， 1 ) ， e i = ( 0 ， ⋯ 0 ， 1 ， 0 ， ⋯ ， 0 ) ∈ R n ，     ( 第 i 个 分 量 为 1   ， 其 他 为 0 )   。为了方便运算，我们设向量的 a 分量满足 a 1 ≤ a 2 ≤ ⋯ ≤ a n 。 引理3.2 设向量 a 的分量满足 a 1 ≤ a 2 ≤ ⋯ ≤ a n ，则问题(3.1)的唯一最优解为： x a * = ( 0， ⋯ ， 0 ， b l + 1 + 1 n − l ∑ j = 1 l b j ， ⋯ ， b n + 1 n − l ∑ j = 1 l b j ) ， (3.5) 其中对任意 i = 1 ， ⋯ ， n ， b i = a i + 1 n − 1 n ∑ i = 1 n a i ， c i = b i + 1 n − i + 1 ∑ j = 1 i − 1 b j ， l ∈ { 0 ， 1 ， ⋯ ， n − 1 } 使得 c i ≤ 0 ( ∀ i ≤ l ) 且 c l + 1 > 0 。 证明由 { b i } 和 { c i } 的定义，容易证明 b 1 ≤ ⋯ ≤ b n ， (3.6) 且存在 l ∈ { 0 ， 1 ， ⋯ ， n − 1 } ，使得 c i ≤ 0 ( ∀ i ≤ l ) ，且 c l + 1 > 0 ，令 ( x a * ) i = { 0 ， i ≤ l ， b i + 1 n − l ∑ j = 1 l b j ， i ≥ l + 1. (3.7) λ i * = { − b i − 1 n − l ∑ j = 1 l b j ， i ≤ l ， 0 ， i ≥ l + 1. (3.8) 下面验证 x a * ， λ * 满足KKT条件(3.2)~(3.4)。首先，我们有 λ i * ⋅ ( x a * ) i = 0 ， ∀ i = 1 ， ⋯ ， n . 另外，由(3.6)，显然有 λ 1 * ≥ λ 2 * ≥ ⋯ ≥ λ l * 。要证 λ i * ≥ 0 ( i = 1 ， 2 ， ⋯ ， n ) ，只需证明 λ l ≥ 0 。根据 l 的定义，有 c i ≤ 0 。于是由(3.8)有： λ l * = − b l − 1 n − l ∑ j = 1 l b j = − b l − 1 n − l + 1 ∑ j = 1 l − 1 b j + 1 n − l + 1 ∑ j = 1 l − 1 b j − 1 n − l ∑ j = 1 l b j = − c l − 1 n − l c l ≥ 0. 下面证明 ( x a * ) i ≥ 0       ( i = 1 ， 2 ， ⋯ ， n ) 。类似地，由(3.6)和(3.7)，显然有 ( x a * ) l + 1 ≤ ( x a * ) l + 2 ≤ ⋯ ≤ ( x a * ) n ，所以只需证明 ( x a * ) l + 1 ≥ 0 。根据 l 的定义，有 c l + 1 > 0 。又 { b i } 单调不减，我们有 ( x a * ) l + 1 = b l + 1 + 1 n − l ∑ j = 1 l b j = c l + 1 > 0. 所以 x a * ， λ a * 满足KKT条件(3.4)。又 ∑ i = 1 n ( x a * ) i = ∑ i = 1 l ( x a * ) i + ∑ i = l + 1 n ( x a * ) i = ∑ i = l + 1 n b i = 1. 所以(3.3)成立。令 μ * = { − a i − ∑ i = 1 n ( − b i − 1 n − l ∑ j = 1 l b j ) ，                   i ≤ l ， b i + 1 n − l ∑ j = 1 l b j − a i ，     i ≥ l + 1. 则有 ( x a * ) i − a i − ∑ i = 1 n λ i * − μ * = { b i + 1 n − l ∑ j = 1 l b j − a i − ( b i + 1 n − l ∑ j = 1 l b j − a i ) = 0 ， i ≥ l + 1 ， 0 − a i + a i + ∑ i = 1 n ( − b i − 1 n − l ∑ j = 1 l b j ) − ∑ i = 1 n ( − b i − 1 n − l ∑ j = 1 l b j ) = 0 ， i ≤ l + 1 . 即 x a * − a − μ * e − ∑ i = 1 n λ i * e i = 0. 所以 x a * ， λ * 满足KKT条件(3.2)。综上， x a * 是问题(3.1)的KKT点，从而是问题(3.1)最优解。 注 3.1 如果向量 a 的分量不满足 a 1 ≤ a 2 ≤ ⋯ ≤ a n ，可以先将 a 的分量按从小到大顺序排列，记为向量 a ¯ 。设 x a ¯ ∗ 是由(3.5)定义的向量， x a ∗ 是 x a ¯ ∗ 按照分量所在位置还原后得到的向量。则 x a ∗ 是问题(3.1)的唯一最优解。 结合引理3.2和注3.1，将矩阵 X ∈ R n × n 按行分块，即 X = ( X 1 Τ X 2 Τ           ⋮ X n Τ ) ，则 X 在集合 F 1 上的投影 P F 1 ( ⋅ ) 有以下表达式，其中 x X i T ∗ 是按注3.1中计算，即先将 X i T 的分量按从小到大排序得到 X i T ¯ ，再令 a : = X i T ¯ 按(3.5)计算后，排回原来的位置得到。 引理 3.3 设 X ∈ R n × n ，且 X 按行分块为 X = ( X 1 Τ X 2 Τ           ⋮ X n Τ ) ，则 X 在集合 F 1 上的投影为 P F 1 ( X ) = ( ( x X 1 T ∗ ) T ( x X 2 T ∗ ) T           ⋮ ( x X n T ∗ ) T ) 。 3.2. 交替投影算法及收敛性分析 显然 S t I E P 等价于可行性问题(1.3)，即求 X ∈ E ∩ F 。我们提出以下求解 S t I E P 的交替投影算法。 交替投影算法3.1 交替投影算法1要计算两个集合 E 和 F 上的投影，其中 P E ( ⋅ ) 按引理3.1计算，而 P F ( ⋅ ) 用同时投影算法计算，具体见以下交替投影算法3.2和注3.2。 交替投影算法3.2 注 3.2 交替投影算法3.2给出了投影的计算式。由引理3.1，Step 4计算了 P E ( W k ) ，即 P E ( W k ) : = X k + 1 。而算法的Steps 2-3用同时投影算法计算 P F ( X k ) 。事实上，记 F 2 : = { A ∈ R n × n | ∑ i = 1 n A i j = 1 ，         A i j ≥ 0 ，           i ， j = 1 ， 2 ， ⋯ ， n } . 则 P F ( X ) = P F 1 ∩ F 2 ( X ) ，且容易验证 P F 2 ( X ) = ( P F 1 ( X ) ) T 。所以交替投影算法3.2的Steps 3-4实际上是子迭代： Y k ， l + 1 : = P F 1 ( Y k ， l ) + P F 2 ( Y k ， l ) 2                                                         ∀ l ∈ 0 ， 1 ， ⋯ ， (3.9) 直到满足精度要求 ‖ Y k ， l − Y k ， l + 1 ‖ < ε 2 。因为集合 F 1 和 F 2 都是多面体，求解凸可行问题：求 X ∈ F 1 ∩ F 2 的同时投影算法(3.9)是线性收敛的(见 [ 30 ]，Corollary 3.14)，所以交替投影算法2的Steps 2-3迭代的次数不多。 下面我们分析交替投影算法3.1的收敛性。因为集合 E 不是凸集，所以凸可行性问题的研究方法不能用来分析交替投影算法3.1的收敛性。我们将用 [ 22 ] 中的求两个黎曼子流形交点的交替投影算法的收敛性研究结果进行研究。因为集合 F 不是 R n × n 的子流形。为此，我们定义集合 F ∘ 如下： F ∘ : = { A ∈ R n × n | A = A T     ，       ∑ j = 1 n A i j = 1 ，         A i j > 0 ，                                       i ， j = 1 ， 2 ， ⋯ ， n } . 由集合 F ∘ 的定义，对任意 X ∈ F ∘ ，存在点 X 的邻域 U ( X ) 使得 F ∘ ∩ U ( X ) : = { A ∈ U ( X ) | A i j = A j i     ，       ∑ j = 1 n A i j = 1 ，           i ， j = 1 ， 2 ， ⋯ ， n } . 由定义2.1容易验证以下结论。 引理 3.4 F ∘ 在任意点 X ∈ F ∘ 附近是光滑黎曼流形。 关于集合 E ，由定义知对任意 X ∈ E ， λ : = { λ 1 ， λ 2 ， ⋯ ， λ n } 是它的 n 个特征值，即 λ 1 ， λ 2 ， ⋯ ， λ n 是关于 λ 的 n 次方程 | λ I − X | = 0 的 n 个根，其中 I 是 n 阶单位阵。由根与系数的关系以及集合 E 的定义有 E : = { A ∈ R n × n | A i j = A j i     ，       f ( A ) = 0 ， i ， j = 1 ， 2 ， ⋯ ， n } ， 其中 f : R n × n → R n 是定义在 R n × n 上的多项式函数。设 X ¯ ∈ E ∩ F ∘ ，下面的讨论需要用到以下假设： E 在点 X ¯ 附近是光滑黎曼流形，且满足 T E ∩ F ∘ ( X ¯ ) = T E ( X ¯ ) ∩ T F ∘ ( X ¯ ) .(3.10) 下面仅对当 n = 2 时，说明 E 在任意点 X ¯ ∈ E ∩ F ∘ 附近是光滑黎曼流形，而当 n > 2 时，类似地可以知道很多情形下相同的结论也成立。事实上容易验证， n = 2 时 S t I E P 有解(即 E ∩ F ≠ ∅ )的充分必要条件是 λ = { 1 ， t } ，其中 t ∈ [ − 1 ， 1 ] ，且解为 X * : = [ 1 2 + t 2 1 2 − t 2 1 2 − t 2 1 2 + t 2 ] 。而当 t ∈ ( − 1 ， 1 ) 时， E ∩ F o ≠ ∅ 。设 t ∈ ( − 1 ， 1 ) ， X ¯ = [ 1 2 + t 2 1 2 − t 2 1 2 − t 2 1 2 + t 2 ] ∈ E ∩ F ∘ ，并记 E : = { A ∈ R n × n | A 12 = A 21 ，   A 11 + A 22 = 1 + t ，     A 11 A 22 − A 12 A 21 = t } = { A ∈ R n × n | g ( A ) = 0 } . 直接计算知 J g ( X ¯ ) 满秩，所以由定义2.1， E 在点 X ¯ 附近是光滑黎曼流形。 考虑以下可行性问题： 求 X ∈ E ∩ F ∘ . (3.11) 由引理2.1和引理3.4，有以下结论(其中 M : = F 0 ， N : = E )。 引理 3.5 设 x ¯ ∈ E ∩ F ∘ 满足假设(3.10)。设 { X k } 是由以下交替投影法产生的点列，即 X k + 1 : = P E P F 0 ( X k )                                                   ∀ k = 0 ， 1 ， ⋯ . (3.12) 则存在 δ > δ ′ > 0 ，使得当初始点 X 0 ∈ U ( X ¯ ， δ ′ ) 时，点列 { X k } 满足 { X k } ⊂ U ( X ¯ ， δ ) ，且线性收敛到 E ∩ F ∘ 中一点 X ∗ 。 关于交替投影算法3.1，我们有以下线性收敛的结论。 定理 3.1设 X ¯ ∈ E ∩ F ∘ 满足假设(3.10)。则当初始点 X 0 充分接近 X ¯ 时，交替投影算法3.1产生的点列 { X k } 线性收敛到 E ∩ F 中一点。 证明 设 { X ˜ k } 是以 X 0 为初始点(即 X ˜ 0 = X 0 )，用交替投影算法(3.12)产生的点列。由引理3.5，存在 δ > δ ′ > 0 ，使得当初始点 X 0 ∈ U ( X ¯ ， δ ′ ) 时，点列 { X ˜ k } 满足 { X ˜ k } ⊂ U ( X ¯ ， δ ) ，且线性收敛到 E ∩ F ∘ ( ⊂ E ∩ F ) 中一点。所以，要证明定理的结论，只需证明当初始点 X 0 充分接近 X ¯ 时，算法3.1和算法(3.12)产生相同的点列，即 { X k } 和 { X ˜ k } 相同。设 X ¯ 到集合 F 的边界 ∂ F : = F \ F ∘ 的距离为 d 0 ，则由 F ∘ 的定义知 d 0 > 0 。不妨设 δ < d 0 2 (否则取更小的 δ 即可)。因为 X ¯ ∈ E ∩ F ∘ ⊂ E ∩ F ，所以对任意 X ∈ U ( X ¯ ， δ ) ，我们有 P F ( X ) = P F ∘ ( X ) 。注意到 X ˜ 0 = X 0 和 { X ˜ k } ⊂ U ( X ¯ ， δ ) ，容易得到算法3.1和算法(3.12)产生相同的点列。证毕。