system: [SYSTEM]

user: 3. 主要结论 设 A ∈ ℝ m × n ，其中 m > n ，令 A = U Σ V T 表示 A 的奇异值分解。若 r a n k δ ( A ) = r ，则 U : ， r + 1 : n 和 V : ， r + 1 : m 的列向量分别张成矩阵 A 的近似 δ -左零空间和近似 δ -右零空间。定义变量矩阵 E E = ( e 1 ， 1 e 1 ， 2 ⋯ e 1 ， n e 2 ， 1 e 2 ， 2 ⋯ e 2 ， n ⋯ ⋯ ⋯ ⋯ e m ， 1 e m ， 2 ⋯ e m ， n ) (3) 为了简便起见，用符号 e 表示向量 E ( : ) ，用符号 A ( e ) 表示矩阵 A + E 。 引理2：令 A ∈ ℝ m × n ，其中 m > n ，且 r a n k δ ( A ) = r ，则矩阵 ( A ( e ) U : ， r + 1 : m V : ， r + 1 : n T O n − r ， n − r ) 当 e = 0 时非奇异。 引理3：令 A ∈ ℝ m × n ， m > n ，且 r a n k δ ( A ) = r ，则矩阵 H ( e ) H ( e ) = ( A ( e ) U : ， r + 1 : n − I m O m ， n − r V : ， r + 1 : n T O n − r ， n − r O n − r ， m − I n − r O n ， n O n ， n − r A ( e ) T V : ， r + 1 : n T O n − r ， n O n − r ， n − r U : ， r + 1 : n T O n − r ， n − r ) (4) 当 e = 0 时非奇异。 引入如下线性系统 ( A ( e ) U : ， r + 1 : n − I m O m ， n − r V : ， r + 1 : n T O n − r ， n − r O n − r ， m − I n − r O n ， n O n ， n − r A ( e ) T V : ， r + 1 : n O n − r ， n O n − r ， n − r U : ， r + 1 : n T O n − r ， n − r ) ( C ( e ) F ( e ) Y ( e ) Z ( e ) ) = ( O m ， n − r I n − r O n ， n − r O n − r ， n − r ) . (5) 其中矩阵 C ( e ) ， F ( e ) ， Y ( e ) 和 Z ( e ) 的行维数分别时是 n ， n − r ， m 和 n − r 。 定义矩阵 A ˜ ( e ) = A ( e ) − Y ( e ) ( C T ( e ) C ( e ) ) − 1 C T ( e ) . (6) 命题1：假设向量 e ^ ∈ ℝ n 2 满足如下条件： (1) ‖ e ^ ‖ ∞ < 1 ( m + n ) m + n ‖ H ( 0 ) − 1 ‖ 2 ， (2) F ( e ^ ) = O n − r ， n − r ， (3) 矩阵 Z ( e ^ ) + I n − r 非奇异， (4) 矩阵 ( A ˜ ( e ^ ) C ( e ^ ) T ) . (7) 满秩，则 r a n k ( A ˜ ( e ^ ) ) = r 。 证明：易知 ‖ I m + n − H ( 0 ) − 1 H ( e ^ ) ‖ 2 ≤ ‖ H ( 0 ) − 1 ‖ 2 ‖ H ( 0 ) − H ( e ^ ) ‖ 2 ≤ m + n ‖ H ( 0 ) − 1 ‖ 2 ‖ H ( 0 ) − H ( e ^ ) ‖ ∞ ≤ ( m + n ) m + n ‖ H ( 0 ) − 1 ‖ 2 ‖ e ^ ‖ ∞ < 1. 故矩阵 H ( e ^ ) 非奇异。若 F ( e ^ ) = O n − r ， n − r ，则 A ( e ^ ) C ( e ^ ) = Y ( e ^ ) 。由(6)式可得 A ˜ ( e ^ ) C ( e ^ ) = O n − r ， m ，断言 C ( e ^ ) 满秩。事实上，如果 C ( e ^ ) 的列向量线性相关，则存在一个非零向量 α ∈ ℝ m − r 使得 C ( e ^ ) α = 0 。由于 V : ， r + 1 : n T C ( e ^ ) − Z ( e ^ ) = I n − r ，所以 Z ( e ^ ) α + α = 0 ，这与矩阵 Z ( e ^ ) + I n − r 非奇异相矛盾。假设 r a n k ( A ˜ ( e ^ ) ) < r ，则存在一个向量 β ∈ n u l l ( A ˜ ( e ^ ) T ) 使得矩阵 ( C ( e ^ ) β ) 满秩。定义非零向量 γ = ( C ( e ^ ) β ) ( ( C ( e ^ ) T C ( e ^ ) ) − 1 C ( e ^ ) T β − 1 ) ， 通过计算可知 ( A ˜ ( e ^ ) C ( e ^ ) T ) γ = 0 . 上式与矩阵(7)满秩相矛盾。 □ 由引理3可知，存在零向量的一个邻域，使得对这个邻域内的任何向量 e ，矩阵 H ( e ) 均是非奇异的。因此，在这个邻域内，系统(5)的解的每一项对每个变量均可导。对系统(5)的两边关于变量求导，可得如下的线性系统 H ( e ) ( ∂ C ( e ) ∂ e i ， j ∂ F ( e ) ∂ e i ， j ∂ Y ( e ) ∂ e i ， j ∂ Z ( e ) ∂ e i ， j ) = ( O i − 1 ， n − r − C ( e ) j ， : O m + n − r − i + j − 1 ， n − r − Y ( e ) i ， : O 2 n − r − j ， n − r ) ， 1 ≤ i ≤ m ， 1 ≤ j ≤ n ， (8) H ( e ) ( ∂ 2 C ( e ) ∂ e i 1 ， j 1 ∂ e i 2 ， j 2 ∂ 2 F ( e ) ∂ e i 1 ， j 1 ∂ e i 2 ， j 2 ∂ 2 Y ( e ) ∂ e i 1 ， j 1 ∂ e i 2 ， j 2 ∂ 2 Z ( e ) ∂ e i 1 ， j 1 ∂ e i 2 ， j 2 ) = ( O i 2 − 1 ， n − r ( − ∂ C ( e ) ∂ e i 1 ， j 1 ) j 2 ， : O m + n − r − i 2 + j 2 − 1 ， n − r ( − ∂ Y ( e ) ∂ e i 1 ， j 1 ) i 2 ， : O 2 n − r − j 2 ， n − r ) + ( O i 1 − 1 ， n − r ( − ∂ C ( e ) ∂ e i 2 ， j 2 ) j 1 ， : O m + n − r − i 1 + j 1 − 1 ， n − r ( − ∂ Y ( e ) ∂ e i 2 ， j 2 ) i 1 ， : O 2 n − r − j 1 ， n − r ) ， 1 ≤ i ≤ m ， 1 ≤ j ≤ n . (9) 考虑如下约束优化问题 min 1 2 ‖ e ‖ 2 2 s . t . F ( e ) = O n − r ， n − r (10) 引入拉格朗日乘子 λ = ( λ 1 ， 1 ， λ 1 ， 2 ， ⋯ ， λ n − r ， λ 1 ， 2 ， λ 2 ， 2 ， ⋯ ， λ n − r ， 2 ， ⋯ ， λ 1 ， n − r ， λ 2 ， n − r ， ⋯ ， λ n − r ， n − r ) T 定义拉格朗日函数 g ( e ， λ ) = 1 2 ‖ e ‖ 2 2 + ∑ j = 1 n − r ∑ j = 1 n − r λ i ， j F ( e ) i ， j . (11) 经计算可知 g ( e ， λ ) 的梯度为 g ′ ( e ， λ ) = ( e + ∑ i = 1 n − r ∑ j = 1 n − r λ i ， j F ′ ( e ) i ， j F ( e ) ) . (12) g ( e ， λ ) 的海森矩阵为 g ″ ( e ， λ ) = ( I m n + ∑ i = 1 n − r ∑ j = 1 n − r λ i ， j F ″ ( e ) i ， j F ′ ( e ) ( : ) T F ′ ( e ) ( : ) O ( n − r ) 2 ， ( n − r ) 2 ) . (13) 注3：数值部分利用牛顿迭代法 ( e ˜ λ ˜ ) ← ( e ˜ λ ˜ ) − g ″ ( e ˜ ， λ ˜ ) − 1 g ′ ( e ˜ ， λ ˜ ) (14) 计算 g ′ ( e ， λ ) = 0 的高精度近似解 ( e ˜ ， λ ˜ ) ，其中 g ′ ( e ˜ ， λ ˜ ) ， g ″ ( e ˜ ， λ ˜ ) 可由求系统(8) (9)当 e = e ˜ 时的解得到。 注4：验证部分利用区间算法计算系统 g ′ ( e ， λ ) = 0 近似解的可信误差界。对于任何 E ˜ ∈ I ℝ m n ， Λ ˜ ∈ I ℝ ( n − r ) ( n − r ) ，利用verifylss函数求解当 e = E ˜ 时线性方程组(5) (8) (9)的解，从而得到 g ′ ( E ˜ ， Λ ˜ ) 和 g ″ ( E ˜ ， Λ ˜ ) 。利用定理3和verifylss函数的代码，验证部分计算区间向量 E ^ 和 Λ ^ ，其分别包含实向量 e ^ 和 λ ^ ， 使得 g ' ( e ^ ， λ ^ ) = 0 。 算法 1 输入 A ∈ ℝ m × n ， m > n ， b ∈ ℝ m ， δ ∈ ℝ + ； 输出 r ∈ ℕ ， A ˜ ( e ^ ) ∈ I ℝ m × n 或者“Failure”。 步骤1计算满足条件(1)的正数 r 。 步骤2计算系统(11)的近似解 ( e ˜ ， λ ˜ ) 。 步骤3计算包含系统(11)精确解的区间向量 ( E ^ ， Λ ^ ) 。 步骤4利用(6)式计算区间矩阵 A ˜ ( E ^ ) 。 步骤5利用定理2验证矩阵 Z ( E ^ ) + I n − r 是否非奇异，如果失败，则返回“Failure”。 步骤6利用定理3验证矩阵 ( A ˜ ( E ^ ) C ( E ^ ) T ) 是否秩亏，如果失败，则返回“Failure”。 □ 若算法1成功地输出区间向量 E ^ ，则由命题5可知，存在 e ^ ∈ E ^ ，使得 r a n k ( A ˜ ( e ^ ) ) = r 。因此，存在 满足条件 1 ≤ i 1 < i 2 ， ⋯ < i r ≤ n 的正整数序列 i 1 ， i 2 ⋯ ， i r ，使得区间矩阵 A ( E ^ ) : ， i 1 ， i 2 ， ⋯ ， i r 满秩，则考虑如下区间线 性系统 ( A ˜ ( E ^ ) : ， i 1 ， i 2 ， ⋯ ， i r − I m O r ， r A ˜ ( E ^ ) T : ， i 1 ， i 2 ， ⋯ ， i r ) ( y ( E ^ ) ω ( E ^ ) ) = ( b 0 ) . (15) 命题2：设 r 维向量 x ( e ) 向量满足如下条件 x ( e ) : ， k = { y ( e ) : ， j ， 当 k = i j ， 1 ≤ j ≤ r ; 0 ， 其 他 情 况 . (16) 若向量 e ^ ∈ R m × n 满足 r a n k ( A ˜ ( e ^ ) ) = r ，则 x ( e ^ ) 是超定系统 A ˜ ( e ^ ) x = b 的最小二乘解。 证明：假设存在向量 x ˜ ∈ ℝ n ，使得 ‖ A ˜ ( e ^ ) x ˜ − b ‖ 2 ≤ ‖ A ˜ ( e ^ ) x ( e ^ ) − b ‖ 2 . (17) 根据 r a n k ( A ˜ ( e ^ ) ) = r ，可知 A ^ ( e ^ ) : r 1 ， r 2 ， ⋯ ， r r 满秩。因此，存在实向量 α ( 1 ) ， α ( 2 ) ， ⋯ ， α ( n - r ) ∈ ℝ r ，使得 A ˜ ( e ^ ) : j 1 ， j 2 ， ⋯ ， j n − r = A ˜ ( e ^ ) : i 1 ， i 2 ， ⋯ ， i r ( α ( 1 ) α ( 2 ) ⋯ α ( n − r ) ) ， (18) 其中 { j 1 ， j 2 ， ⋯ ， j n − r } = { 1 ， 2 ， ⋯ ， n } \ { i 1 ， i 2 ， ⋯ ， i r } 。显然，区间系统(15)的解包含着下述系统 ( A ˜ ( e ^ ) : ， i 1 ， i 2 ， ⋯ ， i r − I m O r ， r A ˜ ( e ^ ) T : ， i 1 ， i 2 ， ⋯ ， i r ) ( y ( e ^ ) ω ( e ^ ) ) = ( b 0 ) 的解。由(17) (18)式可知， ‖ A ˜ ( e ^ ) x ˜ − b ‖ 2 = ‖ A ˜ ( e ^ ) : i 1 ， i 2 ， ⋯ ， i r ( ( α ( 1 ) α ( 2 ) ⋯ α ( n − r ) ) x ˜ j 1 ， j 2 ， ⋯ ， j r + x ˜ i 1 ， i 2 ， ⋯ ， i r ) − b ‖ 2 ≤ ‖ A ˜ ( e ^ ) : i 1 ， i 2 ， ⋯ ， i r y ( e ^ ) −   b ‖ 2 ， 而 y ( e ^ ) 是系数矩阵 A ˜ ( e ^ ) : i 1 ， i 2 ， ⋯ ， i r 和右端向量 b 的超定线性系统的唯一最小二乘解，故 y ( e ^ ) = x ˜ i 1 ， i 2 ， ⋯ ， i r + ( α ( 1 ) α ( 2 ) ⋯ α ( n − r ) ) x ˜ j 1 ， j 2 ， ⋯ ， j n − r . 因此 ‖ A ˜ ( e ^ ) x ˜ − b ‖ 2 = ‖ A ˜ ( e ^ ) x ( e ^ ) − b ‖ 2 . □ 算法1 输入 A ∈ ℝ m × n ， m ≤ n ； b ∈ ℝ m ， δ ∈ ℝ + ； 输出 r ∈ ℕ ， A ^ ∈ I ℝ m × n ， X ^ ∈ I ℝ n 。 步骤1执行算法1。 步骤2利用verifylss函数解线性方程组(15)计算 y ( E ^ ) ， ω ( E ^ ) 。 步骤3确定指标集合 i 1 ， i 2 ， ⋯ ， i r ，使得 A ^ ( E ^ ) : i 1 ， i 2 ， ⋯ ， i r 满秩。 步骤4利用(15) (16)式计算区间向量 x ^ ( E ^ ) 。 步骤5令 A ^ ← A ( E ^ ) ， X ^ ← x ^ ( E ^ ) 。 □ 由命题1和命题2可得如下定理。 定理4：若算法1成功输出 r ∈ ℕ ， A ^ ∈ I ℝ m × n ， X ^ ∈ I ℝ n ，则存在实矩阵 A ^ ∈ A ^ ，实向量 x ^ ∈ X ^ 使得 x ^ 是超定线性系统 A ^ x = b 的最小二乘解，且 r a n k ( A ^ ) = r 。