system: [SYSTEM]

user: 2. 模型及其性质 我们考虑如下模型： min x ∈ R n λ 1 ‖ x ‖ p + λ 2 ‖ x ‖ 2 ， s .t . A x = b . 其中 λ 1 ， λ 2 ∈ R 。该问题的正则化问题为： min x ∈ R n λ 1 ‖ x ‖ p + λ 2 ‖ x ‖ 2 + 1 2 ‖ A x − b ‖ 2 2 . (4) 其模型较p范数模型(3)，加入了一项2范数项进行调节p过小时目标函数的非凸程度，以p = 0.3时为例，依次做 R = λ 2 / λ 1 = 0 ， 1 ， 10 ， 100 时的范数图像，如图1至图4所示： 图1. R = 0范数图像 图2. R = 1范数图像 图3. R = 10范数图像 图4. R = 100范数图像 可见通过适当调整 λ 1 ， λ 2 取值在保证产生稀疏解的同时可以增强问题的凸性。由p范数的定义 ‖ x ‖ p = ( ∑ i = 1 n | x i | p ) 1 p 可知，由于 | x | 的非光滑性，导致 ‖ x ‖ p 是非光滑的，因而我们通过光滑绝对值函数 | x | 对 ‖ x ‖ p 进行光滑逼近。文献 [ 8 ] 中对绝对值函数提出如下两个光滑函数： φ 1 ( ε ， t ) = { t ， t ≥ ε 2 ， t 2 ε + ε 4 ， − ε 2 < t < − t ， t ≤ − ε 2 . ε 2 及 φ 2 ( ε ， t ) = { t 2 2 ε ， | t | ≤ ε ， | t | − ε 2 ， | t | > ε . (5) 利用 φ i ( i = 1 ， 2 ) ，我们得到的模型为： min λ 1 ϕ i ( ε ， x ) + λ 2 ‖ x ‖ 2 ， μ + 1 2 ‖ A x − b ‖ 2 2 . (6) 其中， ϕ i ( x ) = [ ∑ j = 1 n φ i ( ε ， x j ) p ] 1 p ， i = 1 ， 2 ， (7) ‖ x ‖ 2 ， μ = x 1 2 + x 2 2 + ⋯ + x n 2 + μ 2 ， μ > 0. 为叙述方便，令： G i ( x ) = λ 1 ϕ i ( ε ， x ) + λ 2 ‖ x ‖ 2 ， μ + 1 2 ‖ A x − b ‖ 2 2 ， ( i = 1 ， 2 ) . (8) 计算函数 G i ( x ) 的梯度： ∇ G i ( x ) = λ 1 ∇ ϕ i ( ε ， x ) + λ 2 ∇ ‖ x ‖ 2 ， μ + A T ( A x − b ) . (9) 引理1 设D为 R n 中的紧集，若 h : D → R 是D上的光滑函数，则h在D上满足Lipschitz条件，即： ‖ h ( x ) − h ( y ) ‖ ≤ L ‖ x − y ‖ ， ∀ x ， y ∈ D . 其中 L > 0 称为Lipschitz常数。 证明：对 ∀ x ， y ∈ D ，由 h ( x ) 的光滑性及Lagrange中值定理可知： | h ( x ) − h ( y ) | = | ∇ h T ( ξ ) ( x − y ) | ≤ ‖ ∇ h ( ξ ) ‖ ⋅ ‖ x − y ‖ ，其中 ξ 位于 x ， y 之间。 因D为紧集，则 ∃ L > 0 ， ‖ ∇ h ( ξ ) ‖ ≤ L ，从而 ‖ h ( x ) − h ( y ) ‖ ≤ L ‖ x − y ‖ 。 引理2设 D ⊂ R n 为紧集， f ， g : D → R 在D上Lipschitz连续，则 f ⋅ g 在D上Lipschitz连续。 证明：因D紧且f和g均在D上Lipschitz连续，则 ∃ M > 0 ， ∀ L 1 > 0 ， L 2 > 0 ，满足： | f ( x ) | ≤ M ， | g ( x ) | ≤ M ， | f ( x ) − f ( y ) | ≤ L 1 ‖ x − y ‖ ， | g ( x ) − g ( y ) | ≤ L 2 ‖ x − y ‖ ， ∀ x ， y ∈ D . 对 ∀ x ， y ∈ D ，有： | f ( x ) g ( x ) − f ( y ) g ( y ) | = | f ( x ) g ( x ) − f ( y ) g ( x ) + f ( y ) g ( x ) − f ( y ) g ( y ) | ≤ | g ( x ) | | f ( x ) − f ( y ) | + | f ( y ) | | g ( x ) − g ( y ) | ≤ M L 1 ‖ x − y ‖ + M L 2 ‖ x − y ‖ = M ( L 1 + L 2 ) ‖ x − y ‖ . 引理3 若 φ i ( i = 1 ， 2 ) 由(5)定义，则 φ ′ i ( ε ， t ) 在紧集D上Lipschitz连续。 证明：对于 i = 1 的情况，我们有： φ ′ i ( ε ， t ) = { sgn ( t ) ， | t | ≥ ε 2 ， 2 t ε ， | t | < ε 2 . 当 ε 2 > t 1 > t 2 > − ε 2 时，有： | φ ′ 1 ( ε ， t 1 ) − φ ′ 1 ( ε ， t 2 ) | ≤ | 2 t 1 ε − 2 t 2 ε | = 2 ε | t 1 − t 2 | . 当 t 1 > ε 2 > t 2 > − ε 2 时，有： | φ ′ 1 ( ε ， t 1 ) − φ ′ 1 ( ε ， t 2 ) | = | 1 − 2 t 2 ε | < | 2 t 1 ε − 2 t 2 ε | = 2 ε | t 1 − t 2 | . 当 ε 2 > t 1 > − ε 2 > t 2 时，有： | φ ′ 1 ( ε ， t 1 ) − φ ′ 1 ( ε ， t 2 ) | = | 2 t 1 ε + 1 | < | 2 t 1 ε − 2 t 2 ε | = 2 ε | t 1 − t 2 | . 当 t 1 > ε 2 > − ε 2 > t 2 时，有： | φ ′ 1 ( ε ， t 1 ) − φ ′ 1 ( ε ， t 2 ) | = 2 = 2 ε ε ≤ 2 ε | t 1 − t 2 | . 当 t 1 > t 2 > ε 2 或 − ε 2 > t 1 > t 2 时，有： | φ ′ 1 ( ε ， t 1 ) − φ ′ 1 ( ε ， t 2 ) | = 0 ≤ 2 ε | t 1 − t 2 | . 令 L 1 = 2 ε ，同理可证存在常数 L 2 使得 φ ′ 2 ( t ) 在紧集D上Lipschitz连续。 最终令 L m = max { L 1 ， L 2 } ，我们得到： | φ ′ i ( ε ， t 1 ) − φ ′ i ( ε ， t 2 ) | ≤ L m | t 1 − t 2 | ， ∀ t 1 ， t 2 ∈ D ， i = 1 ， 2. 引理4 函数 ϕ i ( ε ， x ) 由(7)所定义，则 ∇ ϕ i ( ε ， x ) 在紧集D上Lipschitz连续。 证明：计算得： [ ∇ ϕ i ( ε ， x ) ] j = ( ∑ j = 1 n φ i p ( ε ， x j ) ) 1 − p p φ i p − 1 ( ε ， x j ) φ ′ ( ε ， x j ) . 因 φ i 连续可微，且 ε ≠ 0 ， φ i ≠ 0 ，我们有 ( ∑ j = 1 n φ i p ( ε ， x j ) ) 1 − p p 和 φ i p − 1 均连续可微。假设集合D有界，则D为紧集，由引理1知 ( ∑ j = 1 n φ i p ( ε ， x j ) ) 1 − p p 及 φ i p − 1 在紧集D上Lipschitz连续。 同时由引理3可知 φ ′ ( ε ， x j ) 在紧集D上Lipschitz连续，则由引理2可知： ( ∑ j = 1 n φ i p ( ε ， x j ) ) 1 − p p ⋅ φ i p − 1 ( ε ， x j ) ⋅ φ ′ ( ε ， x j ) 在紧集D上Lipschitz连续，记Lipschitz常数为 L D ，那么有： ‖ ∇ ϕ i ( ε ， x ) − ∇ ϕ i ( ε ， y ) ‖ ≤ ∑ j = 1 n ‖ [ ∇ ϕ i ( ε ， x ) ] j − [ ∇ ϕ i ( ε ， y ) ] j ‖ ≤ n L D ‖ x − y ‖ . 即 ∇ ϕ i ( ε ， x ) 在紧集D上Lipschitz连续。 引理5 ∇ ‖ x ‖ 2 在紧集D上Lipschitz连续。 证明：计算得 ∇ ‖ x ‖ 2 = [ x 1 ‖ x ‖ 2 ， x 2 ‖ x ‖ 2 ， ⋯ ， x n ‖ x ‖ 2 ] ，由引理1可知 x j ‖ x ‖ 在水平集上光滑，则 x j ‖ x ‖ 在紧集D上Lipschitz连续，记Lipschitz常数为 L c ，则： ‖ ∇ ‖ x ‖ 2 − ∇ ‖ y ‖ 2 ‖ ≤ n L c ‖ x − y ‖ . 引理6 目标函数梯度 ∇ G i ( x ) 由(9)所定义，则 ∇ G i ( x ) 在紧集D上Lipschitz连续。 证明：计算得 ∇ G i ( x ) = λ 1 ∇ φ i ( ε ， x ) + λ 2 ∇ ‖ x ‖ 2 ， μ + A T ( A x − b ) ，则： ‖ ∇ G i ( x ) − ∇ G i ( y ) ‖ = ‖ λ 1 ∇ ϕ i ( ε ， x ) + λ 2 ∇ ‖ x ‖ 2 ， μ + A T ( A x − b ) − λ 1 ∇ ϕ i ( ε ， y ) − λ 2 ∇ ‖ y ‖ 2 ， μ − A T ( A y − b ) ‖ ≤ λ 1 n L D ‖ x − y ‖ + λ 2 n L C ‖ x − y ‖ + ‖ A ‖ 2 2 ‖ x − y ‖ = ( λ 1 n L D + λ 2 n L C + ‖ A ‖ 2 2 ) ‖ x − y ‖ .