奇异值

数学中，特别是泛函分析中，作用于希尔伯特空间X、Y之间的紧算子 T : X → Y {\displaystyle T:X\rightarrow Y} 的奇异值是自伴算子 T ∗ T {\displaystyle T^{*}T} （ T ∗ {\displaystyle T^{*}} 表示T的伴随）的非负特征值的平方根。 奇异值是非负实数，一般按递减顺序排列（ σ 1 ( T ) ,   σ 2 ( T ) , … {\displaystyle \sigma _{1}(T),\ \sigma _{2}(T),\dots } ）。最大的奇异值 σ 1 ( T ) {\displaystyle \sigma _{1}(T)} 等于T的算子范数（见极小-极大定理）。 作用于欧氏空间 R n {\displaystyle \mathbb {R} ^{n}} 的T的奇异值有简单的几何解释：单位n球在T变换下的像是椭球，其半轴长度是T的奇异值（图中提供了 R 2 {\displaystyle \mathbb {R} ^{2}} 的例子）。 奇异值是正规矩阵A的特征值的绝对值，由谱定理可得A的单位对角化： A = U Λ U ∗ {\displaystyle A=U\Lambda U^{*}} 。因此有 A ∗ A = U Λ ∗ Λ U ∗ = U | Λ | U ∗ {\displaystyle {\sqrt {A^{*}A}}={\sqrt {U\Lambda ^{*}\Lambda U^{*}}}=U\left|\Lambda \right|U^{*}} 。 研究的希尔伯特空间算子的大多数范数都是用奇异值定义的。例如，樊𰋀-k-范数是前k个奇异值的和，迹范数是所有奇异值的和，沙滕范数是奇异值的p次幂之和的p次根。注意每种范数都只定义在一类特殊的算子上，因此奇异值有助于算子的分类。 有限维情形，矩阵总可以分解为 U Σ V ∗ {\displaystyle \mathbf {U\Sigma V^{*}} } ，其中 U {\displaystyle \mathbf {U} } 、 V ∗ {\displaystyle \mathbf {V^{*}} } 是酉矩阵， Σ {\displaystyle \mathbf {\Sigma } } 是矩形对角矩阵，奇异值在对角线上。这就是奇异值分解。 对 A ∈ C m × n {\displaystyle A\in \mathbb {C} ^{m\times n}} 、 i = 1 , 2 , … , min { m , n } {\displaystyle i=1,2,\ldots ,\min\{m,n\}} 。 应用特征值的最小-最大定理。这里 U : dim ⁡ ( U ) = i {\displaystyle U:\dim(U)=i} 是 C n {\displaystyle \mathbb {C} ^{n}} 的i维子空间。 σ i ( A ) = min dim ⁡ ( U ) = n − i + 1 max x ∈ U ‖ x ‖ 2 = 1 ‖ A x ‖ 2 . σ i ( A ) = max dim ⁡ ( U ) = i min x ∈ U ‖ x ‖ 2 = 1 ‖ A x ‖ 2 . {\displaystyle {\begin{aligned}\sigma _{i}(A)&=\min _{\dim(U)=n-i+1}\max _{\underset {\|x\|_{2}=1}{x\in U}}\left\|Ax\right\|_{2}.\\\sigma _{i}(A)&=\max _{\dim(U)=i}\min _{\underset {\|x\|_{2}=1}{x\in U}}\left\|Ax\right\|_{2}.\end{aligned}}} 矩阵转置和共轭不会改变奇异值。 σ i ( A ) = σ i ( A T ) = σ i ( A ∗ ) . {\displaystyle \sigma _{i}(A)=\sigma _{i}\left(A^{\textsf {T}}\right)=\sigma _{i}\left(A^{*}\right).} 对任意酉矩阵 U ∈ C m × m , V ∈ C n × n {\displaystyle U\in \mathbb {C} ^{m\times m},V\in \mathbb {C} ^{n\times n}} σ i ( A ) = σ i ( U A V ) . {\displaystyle \sigma _{i}(A)=\sigma _{i}(UAV).} 与特征值的关系： σ i 2 ( A ) = λ i ( A A ∗ ) = λ i ( A ∗ A ) . {\displaystyle \sigma _{i}^{2}(A)=\lambda _{i}\left(AA^{*}\right)=\lambda _{i}\left(A^{*}A\right).} 与迹的关系： ∑ i = 1 n σ i 2 = tr   A ∗ A {\displaystyle \sum _{i=1}^{n}\sigma _{i}^{2}={\text{tr}}\ A^{\ast }A} . 若 A ⊤ A {\displaystyle A^{\top }A} 满秩，则奇异值的积是 det A ⊤ A {\displaystyle {\sqrt {\det A^{\top }A}}} 。 若 A A ⊤ {\displaystyle AA^{\top }} 满秩，则奇异值的积是 det A A ⊤ {\displaystyle {\sqrt {\det AA^{\top }}}} 。 若A满秩，则奇异值的积是 | det A | {\displaystyle |\det A|} 。 另见 对 A ∈ C m × n {\displaystyle A\in \mathbb {C} ^{m\times n}} ， 令B表示删除了某一行或某一列的A。则 σ i + 1 ( A ) ≤ σ i ( B ) ≤ σ i ( A ) {\displaystyle \sigma _{i+1}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)} 令B表示删除了某一行和某一列的A。则 σ i + 2 ( A ) ≤ σ i ( B ) ≤ σ i ( A ) {\displaystyle \sigma _{i+2}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)} 令B表示A的 ( m − k ) × ( n − l ) {\displaystyle (m-k)\times (n-l)} 子矩阵，则 σ i + k + l ( A ) ≤ σ i ( B ) ≤ σ i ( A ) {\displaystyle \sigma _{i+k+l}(A)\leq \sigma _{i}(B)\leq \sigma _{i}(A)} 对 A , B ∈ C m × n {\displaystyle A,B\in \mathbb {C} ^{m\times n}} ∑ i = 1 k σ i ( A + B ) ≤ ∑ i = 1 k ( σ i ( A ) + σ i ( B ) ) , k = min { m , n } {\displaystyle \sum _{i=1}^{k}\sigma _{i}(A+B)\leq \sum _{i=1}^{k}(\sigma _{i}(A)+\sigma _{i}(B)),\quad k=\min\{m,n\}} σ i + j − 1 ( A + B ) ≤ σ i ( A ) + σ j ( B ) . i , j ∈ N ,   i + j − 1 ≤ min { m , n } {\displaystyle \sigma _{i+j-1}(A+B)\leq \sigma _{i}(A)+\sigma _{j}(B).\quad i,j\in \mathbb {N} ,\ i+j-1\leq \min\{m,n\}} 对 A , B ∈ C n × n {\displaystyle A,B\in \mathbb {C} ^{n\times n}} ∏ i = n i = n − k + 1 σ i ( A ) σ i ( B ) ≤ ∏ i = n i = n − k + 1 σ i ( A B ) ∏ i = 1 k σ i ( A B ) ≤ ∏ i = 1 k σ i ( A ) σ i ( B ) , ∑ i = 1 k σ i p ( A B ) ≤ ∑ i = 1 k σ i p ( A ) σ i p ( B ) , {\displaystyle {\begin{aligned}\prod _{i=n}^{i=n-k+1}\sigma _{i}(A)\sigma _{i}(B)&\leq \prod _{i=n}^{i=n-k+1}\sigma _{i}(AB)\\\prod _{i=1}^{k}\sigma _{i}(AB)&\leq \prod _{i=1}^{k}\sigma _{i}(A)\sigma _{i}(B),\\\sum _{i=1}^{k}\sigma _{i}^{p}(AB)&\leq \sum _{i=1}^{k}\sigma _{i}^{p}(A)\sigma _{i}^{p}(B),\end{aligned}}} σ n ( A ) σ i ( B ) ≤ σ i ( A B ) ≤ σ 1 ( A ) σ i ( B ) i = 1 , 2 , … , n . {\displaystyle \sigma _{n}(A)\sigma _{i}(B)\leq \sigma _{i}(AB)\leq \sigma _{1}(A)\sigma _{i}(B)\quad i=1,2,\ldots ,n.} 对 A , B ∈ C m × n {\displaystyle A,B\in \mathbb {C} ^{m\times n}} 2 σ i ( A B ∗ ) ≤ σ i ( A ∗ A + B ∗ B ) , i = 1 , 2 , … , n . {\displaystyle 2\sigma _{i}(AB^{*})\leq \sigma _{i}\left(A^{*}A+B^{*}B\right),\quad i=1,2,\ldots ,n.} 对 A ∈ C n × n {\displaystyle A\in \mathbb {C} ^{n\times n}} . 见 λ i ( A + A ∗ ) ≤ 2 σ i ( A ) , i = 1 , 2 , … , n . {\displaystyle \lambda _{i}\left(A+A^{*}\right)\leq 2\sigma _{i}(A),\quad i=1,2,\ldots ,n.} 假设 | λ 1 ( A ) | ≥ ⋯ ≥ | λ n ( A ) | {\displaystyle \left|\lambda _{1}(A)\right|\geq \cdots \geq \left|\lambda _{n}(A)\right|} ，则对 k = 1 , 2 , … , n {\displaystyle k=1,2,\ldots ,n} ： 外尔定理 ∏ i = 1 k | λ i ( A ) | ≤ ∏ i = 1 k σ i ( A ) . {\displaystyle \prod _{i=1}^{k}\left|\lambda _{i}(A)\right|\leq \prod _{i=1}^{k}\sigma _{i}(A).} 对 p > 0 {\displaystyle p>0} 。 ∑ i = 1 k | λ i p ( A ) | ≤ ∑ i = 1 k σ i p ( A ) . {\displaystyle \sum _{i=1}^{k}\left|\lambda _{i}^{p}(A)\right|\leq \sum _{i=1}^{k}\sigma _{i}^{p}(A).} 奇异值这一概念由埃哈德·施密特（1907）提出，当时称奇异值为“特征值”。“奇异值”的名称由史密斯于1937年首次使用。1957年，Allahverdiev证明了第n个奇异值的如下特征： σ n ( T ) = inf { ‖ T − L ‖ : L 的秩 < n } . {\displaystyle \sigma _{n}(T)=\inf {\big \{}\,\|T-L\|:L{\text{的秩}}<n\,{\big \}}.} 这种表述使奇异值概念可以推广到巴拿赫空间的算子。 注意还有更一般的s-数（s-number）概念，也包括盖尔范德和柯尔莫哥洛夫宽。 条件数 庞加莱分离定理 舒尔–霍恩定理 奇异值分解 R. A. Horn and C. R. Johnson. Topics in Matrix Analysis. Cambridge University Press, Cambridge, 1991. Chap. 3 X. Zhan. Matrix Inequalities. Springer-Verlag, Berlin, Heidelberg, 2002. p.28 R. Bhatia. Matrix Analysis. Springer-Verlag, New York, 1997. Prop. III.5.1 I. C. Gohberg and M. G. Krein. Introduction to the Theory of Linear Non-selfadjoint Operators. American Mathematical Society, Providence, R.I.,1969. Translated from the Russian by A. Feinstein. Translations of Mathematical Monographs, Vol. 18.