system: [SYSTEM]

user: 4. 理论分析 这节内容主要关注在限制强凸条件下，针对 f ( x ) : = ψ ( A x ) + 〈 c ， x 〉 + μ 2 ‖ x ‖ 2 ，多阶段凸松弛法的收敛性分析。假设 x ¯ 是真实解，本文将建立迭代点 x k 到真实解 的误差界，并证明误差数列随着 k 的增长是严格下降的。记 S ¯ : = { i : x ¯ i ≠ 0 } ， r ¯ = | S ¯ | = ‖ x ¯ ‖ 0 < n ，则 S ¯ c : = { i : x ¯ i = 0 } 。对 S ¯ 和整数 ，定义集合： C ( S ¯ ， l ) : = { x ∈ R n : ∃ S ⊇ S ¯ 且 | S | ≤ l ， 使 得 ∑ i ∈ S c | x i | ≤ 2 1 − t ¯ ∑ i ∈ S | x i | } 。 若矩阵A满足：对任意 x ∈ C ， α 2 ‖ A x ‖ 2 ≥ κ ‖ x ‖ 2 成立，则称矩阵A在集合 C 上满足 ，其中 κ > 0 。假设噪音向量 ε 中的元素是独立次高斯的，则下面的假设成立： 假设1：假设 ε i ( i = 1 ， ⋯ ， m ) 是独立次高斯分布的，即：存在 σ > 0 ，使得对所有 i 和 t ∈ R ， E [ exp ( t ε i ) ] ≤ exp ( σ 2 t 2 2 ) 。 为给出每一迭代步 x k 到真实解 x ¯ 的误差界，需要将参考文献 [ 4 ] 引理7，8拓展为下面一些引理： 引理3：对于 k ≥ 1 ，记 Δ k = x k − x ¯ ， 。若存在一个指标集 S k − 1 ⊇ S ¯ ，使得 min i ∈ ( S k − 1 ) c θ i k − 1 ≤ t ¯ ，则当 λ ≥ ( 3 − t ¯ ) ‖ ε ^ ‖ ∞ 1 − t ¯ 时，下式成立： ∑ i ∈ ( S k − 1 ) c | Δ i k | ≤ 2 1 − t ¯ ∑ i ∈ S k − 1 | Δ i k | 。 证明：对于问题(7)， 和 x ¯ 分别代表最优解和可行解，则有： ψ ( A x k ) + 〈 c ， x k 〉 + μ 2 ‖ x k ‖ 2 + λ ∑ i = 1 n v i k − 1 | x i k | ≤ ψ ( A x ¯ ) + 〈 c ， x ¯ 〉 + μ 2 ‖ x ¯ ‖ 2 + λ ∑ i = 1 n v i k − 1 | x ¯ i | 由于 ε ^ = A T ∇ ψ ( A x ¯ ) + c + μ x ¯ ，所以： ψ ( A x k ) − ψ ( A x ¯ ) + 〈 c ， Δ k 〉 + μ 2 ( ‖ x k ‖ 2 − ‖ x ¯ ‖ 2 ) − 〈 ε ^ ， Δ k 〉       ≤ − 〈 ε ^ ， Δ k 〉 + λ ∑ i = 1 n v i k − 1 ( | x ¯ i | − | x i k | )       ≤ ∑ i = 1 n | ε ^ i | | Δ i k | + λ ∑ i ∈ S ¯ v i k − 1 ( | x ¯ i | − | x i k | ) − λ ∑ i ∈ S ¯ c v i k − 1 | x i k |       ≤ ∑ i = 1 n | ε ^ i | | Δ i k | + λ ∑ i ∈ S ¯ v i k − 1 | Δ i k | − λ ∑ i ∈ ( S k − 1 ) c v i k − 1 | Δ i k |       ≤ ∑ i ∈ S k − 1 \ S ¯ | ε ^ i | | Δ i k | + ( λ + ‖ ε ^ ‖ ∞ ) ∑ i ∈ S ¯ | Δ i k | + ( ‖ ε ^ ‖ ∞ − λ ( 1 − t ¯ ) ) ∑ i ∈ ( S k − 1 ) c | Δ i k | (9) 由于 在 R m 上是强凸的，即： ψ ( A x k ) − ψ ( A x ¯ ) − 〈 A T ∇ ψ ( A x ¯ ) ， Δ k 〉 ≥ α / 2 ‖ A Δ k ‖ 2 ≥ 0 ，且 μ / 2 ( ‖ x k ‖ 2 − ‖ x ¯ ‖ 2 ) − 〈 μ x ¯ ， Δ k 〉 = μ / 2 ‖ Δ k ‖ 2 ，所以， ( λ ( 1 − t ¯ ) − ‖ ε ^ ‖ ∞ ) ∑ i ∈ ( S k − 1 ) c | Δ i k | ≤ ∑ i ∈ S k − 1 \ S ¯ | ε ^ i | | Δ i k | + ( λ + ‖ ε ^ ‖ ∞ ) ∑ i ∈ S ¯ | Δ i k | ≤ ( λ + ‖ ε ^ ‖ ∞ ) ∑ i ∈ S k − 1 | Δ i k | (10) 再由引理条件 λ ≥ ( 3 − t ¯ ) ‖ ε ^ ‖ ∞ 1 − t ¯ ，即可得到不等式。证毕。 引理4：对于 k ≥ 1 ，若存在一个指标集 S k − 1 ⊇ S ¯ ，使得 min i ∈ ( S k − 1 ) c θ i k − 1 ≤ t ¯ ，且矩阵A在集合 C ( S ¯ ， | S k − 1 | ) 上满足常数 γ k > 0 的限制强凸条件(RSC)，则当 λ ≥ ( 3 − t ¯ ) ‖ ε ^ ‖ ∞ 1 − t ¯ 时，下式成立： ‖ Δ k ‖ ≤ 1 γ k ( ‖ ε ^ S k − 1 ‖ + λ ∑ i ∈ S ¯ ( v i k − 1 ) 2 ) 。 证明：由引理3可知， Δ k ∈ C ( S ¯ ， | S k − 1 | ) ，再由(9)式得到： γ k ‖ Δ k ‖ 2 ≤ ( γ k + μ / 2 ) ‖ Δ k ‖ 2 ≤ ∑ i = 1 n | ε ^ i | | Δ i k | + λ ∑ i ∈ S ¯ v i k − 1 | Δ i k | − λ ∑ i ∈ ( S k − 1 ) c v i k − 1 | Δ i k | ≤ ∑ i = 1 n | ε ^ i | | Δ i k | + λ ∑ i ∈ S ¯ v i k − 1 | Δ i k | − λ ( 1 − t ¯ ) ∑ i ∈ ( S k − 1 ) c | Δ i k | ≤ ∑ i ∈ S k − 1 | ε ^ i | | Δ i k | + λ ∑ i ∈ S ¯ v i k − 1 | Δ i k | ≤ ∑ i ∈ S k − 1 | ε ^ i | 2 ‖ Δ k ‖ + λ ∑ i ∈ S ¯ ( v i k − 1 ) 2 ‖ Δ k ‖ (11) 因此，结论得证。证毕。 下面给出迭代点到真实解的误差界。由参考文献 [ 4 ] 定理4.1可得： 定理2：令 ε ^ = A T ∇ ψ ( A x ¯ ) + c + μ x ¯ ，假设矩阵A在集合 C ( S ¯ ， 1.5 r ¯ ) 上满足常数 κ > 0 的限制强凸条件(RSC)，且 3 ( 4 − 2 t ¯ ) ( 1 − t ∗ ) ( 3 − t ¯ ) κ ≤ v ≤ 1 − t ¯ ( 3 − t ¯ ) ‖ ε ^ ‖ ∞ 。若 v ( 3 − t ¯ ) ‖ ε ^ ‖ ∞ 1 − t ¯ ≤ ρ ≤ ( 3 − t ¯ ) κ v 3 ( 4 − 2 t ¯ ) ( 1 − t ∗ ) ，则 ‖ x k − x ¯ ‖ ≤ { v − 1 ( 4 − 2 t ¯ ) κ ( 3 − t ¯ ) 1.5 r ¯ ， 若 k = 1 ; ρ v − 1 ( 4 − 2 t ¯ ) κ ( 3 − t ¯ ) 1.5 r ¯ ， 若 k = 2 ， 3 ， ⋯ . 定理2虽然给出了多阶段凸松弛法产生的迭代点的误差界，但是依然不清楚当前迭代点 x k 的误差界是否优于先前迭代点 x k − 1 ，即误差界数列是否下降。下面的定理3(参考文献 [ 4 ] 定理4.2)对所有 i ∈ S ¯ ，通过 Ι Λ ( i ) 和 Ι F k ( i ) 界定 ( v i k − 1 ) 2 解决了这一问题，其中 Λ : = { i : | x ¯ i | ≤ 2 ϕ ′ − ( 1 ) / ρ } ， F k : = { i : | | x i k | − | x ¯ i | | ≥ [ ( 1 − t ∗ ) ρ ] − 1 } ， k = 1 ， 2 ， ⋯ 且 F 0 = S ¯ 。首先对 i ∈ S ¯ ，通过 和 Ι F k ( i ) ，给出 ( v i k − 1 ) 2 的上界(参考文献 [ 4 ] 引理9)。 引理5：对每一个 ，令 F k 为上面定义的指标集，则有： ∑ i ∈ S ¯ ( v i k − 1 ) 2 ≤ ∑ i ∈ S ¯ Ι Λ ( i ) + ∑ i ∈ S ¯ Ι F k − 1 ( i ) 。 定理3：假设矩阵A在集合 C ( S ¯ ， 1.5 r ¯ ) 上满足常数 κ > 0 的限制强凸条件(RSC)，若参数 和 ρ 的选取与定理2一样，则对所有的 k ≥ 1 ： ‖ x k − x ¯ ‖ ≤ 3 κ ( 3 − 1 ) [ ‖ ε ^ S ¯ ‖ + ρ v − 1 ∑ i ∈ S ¯ Ι Λ ( i ) ] + ( 1 3 ) k − 1 ‖ x 1 − x ¯ ‖ 。 由定理3可知： x 1 的误差界与 x k ( k ≥ 2 ) 的误差界紧密相关，且若前者充分小，则后者也将很小。然而，若 ρ 选择恰当，即使 x 1 的误差界很大， x k ( k ≥ 2 ) 的误差界也将很小。定理还说明误差数列随着 k 增大而递减，递减到 3 κ ( 3 − 1 ) [ ‖ ε ^ S ¯ ‖ + λ ∑ i ∈ S ¯ Ι Λ ( i ) ] ，称之为统计误差。统计误差包含两部分：第一部分是由噪声引起的，第二部分是由 ϕ ， ρ 和 λ 的选择产生的。