system: [SYSTEM]

user: 2. 全局必要最优条件 为更好地刻画矩阵的低秩结构，文献 [ 19 ] 指出 S 1 2 拟范数正则化具有低秩无偏理论的特点。在本节中， 取 p = 1 2 ，给出加权 S 1 2 拟范数正则化模型和相应的不动点迭代算法。 阈值和加权处理 假设 M ∈ R m × n 是一个秩为r的实数矩阵， Y ∈ R m × n 是由M的可观测元素构成的矩阵，问题(1.4)的目的是找到最小秩矩阵 X ∈ R m × n 近似M。Ding [ 19 ] 通过引入Tikhonov正则项，将问题(1.4)描述为以下形式 min X 1 2 ‖ P Ω ( X ) − P Ω ( Y ) ‖ F 2 + ‖ X ‖ W ， S 1 2 1 2 (2.1) 其中 ‖ X ‖ W ， S 1 2 2 = ∑ i = 1 min { m ， n } ω i δ i ， ω i 为权值， δ i 为奇异值， P Ω ( · ) 为集合 Ω 的投影。 问题(2.1)的非凸和非光滑性使得问题不易求解。利用以下结论可以将问题(2.1)转化为可分离的问题进行求解。 引理1 [ 20 ] 假设 A ， B ∈ R m × n ， σ ( A ) = [ σ 1 ( A ) ， ⋯ ， σ r ( A ) ] T ， σ ( B ) = [ σ 1 ( B ) ， ⋯ ， σ r ( B ) ] T 分别为矩阵 A ， B 的奇异值，并且 σ 1 ( A ) ≥ ⋯ ≥ σ r ( A ) ， σ 1 ( B ) ≥ ⋯ ≥ σ r ( B ) ， r = min { m ， n } 。 则不等式 t r ( A T B ) ≤ t r ( σ ( A ) T σ ( B ) ) 成立当且仅当存在正交矩阵 U ∈ R m × r ， V ∈ R n × r ，使得 A = U ∑ A V ， B = U ∑ B V (2.2) Σ A ， Σ B 分别为矩阵 A ， B 的奇异值矩阵。 引理2 [ 21 ] 假设 Y ∈ R m × n ，且有 Y = U ∑ V T ， Σ = d i a g ( σ 1 ， ⋯ ， σ r ) ， σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r ， r = min { m ， n } 。问题(2.1)最优解的SVD为 X = U Δ V T ，其中 Δ = d i a g ( δ 1 ， ⋯ ， δ r ) ， δ i ≥ δ j ， i ≥ j 。 δ i 是如下优化问题的解 min δ 1 ， ⋯ ， δ r     ∑ i r [ ( δ i − σ i ) 2 + ω i δ i 1 2 ] s . t .   δ i ≥ 0 ， δ i ≥ δ j ， i ≤ j ， i = 1 ， ⋯ ， r (2.3) 引理1和引理2表明问题(2.1)可以转化为可分离问题(2.3)求解。对于问题(2.3)，讨论其一般项的求解。为文章的完整性起见，将文献 [ 19 ] 的证明整理如下。 引理3假设 y ∈ R n ， λ > 0 ， 令 f λ ( x ) : = ( x − y ) 2 + λ x 1 2 。问题 h λ ( y ) = arg min x ≥ 0 { f λ ( x ) } (2.4) 的解可以表示为 h λ ( y ) = { h λ ( y ) ， y > 3 4 λ 2 3         0 ， y > 3 4 λ 2 3 (2.5) 其中 h λ ( y ) = 2 3 y ( 1 + cos ( 2 π 3 − 2 3 Φ λ ( y ) ) ) (2.6) Φ λ ( y ) = arccos ( λ 8 ( y 3 ) − 3 2 ) (2.7) 证明： ∀ y ∈ R n ， ‖ y ‖ 1 2 1 2 是连续可微的。令 f λ ( x ) 的一阶导数为零 y i − x i + λ s i g n ( y i ) 4 | y i | = 0 (2.8) 当且仅当 x > 0 时，(2.8)有非负解， x ≤ 0 时， f λ ( x ) 有唯一解 x = 0 。因此，仅考虑 x > 0 的情况。 令 | y i | = η ， y i = η 2 。当 x i > 3 4 λ 2 3 时，有 η 3 − x i η + λ 4 = 0 (2.9) 假设 r = | x i | 3 ， q = λ 8 ， Φ = arccos ( q 3 ) ， (2.9)的三个解可以表示为： η 1 = − 2 r cos ( Φ 3 ) ， η 2 = 2 r cos ( π 3 + Φ 3 ) ， η 3 = 2 r cos ( π 3 − Φ 3 ) [ 11 ]。经验证， η 3 = 2 r cos ( π 3 − Φ 3 ) 是问题(2.4)的最优解，且解 的形式为 y i = 2 3 x i ( 1 + cos ( 2 π 3 − 2 3 λ Φ λ ( x i ) ) ) (2.10) 当 x i > 3 4 λ 2 3 时，证明与上述类似。 定义1 ∀ λ > 0 ， 向量阈值函数定义为 H λ ( x ) : = ( h λ ( x 1 ) ， h λ ( x 2 ) ， ⋯ ， h λ ( x n ) ) ， ∀ x = ( x 1 ， x 2 ， ⋯ ， x n ) ∈ R n (2.11) h λ ( x ) 的形式如(2.5)所示。 假设秩为 r 的矩阵 Y ∈ R m × n 的SVD为 Y = U ∑ V T ， U ∈ R m × r 、 V ∈ R n × r 均为列正交矩阵， Σ ∈ R r × r 为奇异值非增的对角矩阵。 对 ∀ λ > 0 ，由向量阈值函数可以定义矩阵阈值函数 Η λ ( Y ) : = U ∑ H λ V T (2.12) Σ H λ = d i a g ( H λ ( σ 1 ) ， ⋯ ， H λ ( σ r ) ) 。因此，问题(2.1)可以由矩阵阈值函数求解。本节的后续内容将会介绍由(2.12)表示的问题(2.1)解的形式以及权重对奇异值的影响。 引理3给出了当矩阵维数为1时的解的情况，现在考虑矩阵 Y ∈ R m × n 。 定理1当且仅当权重满足 0 ≤ ω 1 ≤ ⋯ ≤ ω r 时，问题(2.1)最优解的奇异值满足 δ 1 ≥ ⋯ ≥ δ r 。 证明：由引理2和引理3，问题(2.1)可分离出子问题 f δ ( x ) : = ( σ − δ ) 2 + ω δ 1 2 (2.13) 文献 [ 19 ] 指出， f δ ( x ) 有唯一解 h ω ( δ ) 。 首先，证明当 ω i < ω j 时，有 h ω i ≥ h ω j 。 当 y < 3 4 ω i 2 3 且 y < 3 4 ω j 2 3 时，由(2.5)，有 h ω i = h ω j = 0 。结论 h ω i ≥ h ω j 成立。 当 y > 3 4 ω i 2 3 且 y < 3 4 ω j 2 3 时，显然有 h ω j = 0 。另一方面，由引理3的证明，当 y > 0 时有 h ω i > 0 。因此，结论 h ω i ≥ h ω j 成立。 当 y > 3 4 ω i 2 3 且 y > 3 4 ω j 2 3 时，通过函数 h ω ( δ ) 的单调性证明结论。因为 y > 3 4 ω 2 3 ，且 ω 8 ( x 3 ) − 2 3 ∈ ( 0 ， 1 ) ，则由(2.7)可得 Φ ω ( y ) ∈ ( 0 ， π 2 ) ，由此可得函数 cos ( 2 3 − 2 3 Φ ω ( y ) ) 单调递减。因此， h ω i ≥ h ω j 成立。 然后，对给定 ω > 0 ，以下不等式显然成立 2 3 y i ( 1 + cos ( 2 π 3 − 2 3 Φ ) ) > 2 3 y j ( 1 + cos ( 2 π 3 − 2 3 Φ ) ) ， ∀ y i > y j . 综合两方面的证明，可以得到结论 h ω i ( y i ) ≥ h ω j ( y j ) ， ∀ ω i < ω j ， y i > y j . 证毕。 文献 [ 14 ] [ 22 ] 将矩阵问题转化为易于求解的向量问题，同时表明非凸问题可以用阈值法解决。 引理4 [ 14 ] 令 λ > 0 ，假设秩为 r 的矩阵 Y ∈ R m × n 的SVD为 Y = U ∑ Y V T ，对应的矩阵阈值函数为 Η λ ( Y ) : = U ∑ H λ ( σ ) V T (2.14) 则 Η λ ( Y ) : = arg min X ∈ R m × n { ‖ X − Y ‖ F 2 + λ ‖ X ‖ 1 2 1 2 } (2.15)