奇异值

数学中，特别是泛函分析中，作用于希尔伯特空间X、Y之间的紧算子$T: X \rightarrow Y$的奇异值是自伴算子$T^*T$（$T^*$表示T的伴随）的非负特征值的平方根。

奇异值是非负实数，一般按递减顺序排列（$\sigma_1(T),\ \sigma_2(T),\dots$）。最大的奇异值$\sigma_1(T)$等于T的算子范数（见极小-极大定理）。

<image>

作用于欧氏空间$\Reals ^n$的T的奇异值有简单的几何解释：单位n球在T变换下的像是椭球，其半轴长度是T的奇异值（图中提供了$\R^2$的例子）。

奇异值是正规矩阵A的特征值的绝对值，由谱定理可得A的单位对角化：$A = U\Lambda U^*$。因此有$\sqrt{A^* A} = \sqrt{U \Lambda^* \Lambda U^*} = U \left| \Lambda \right| U^*$。

研究的希尔伯特空间算子的大多数范数都是用奇异值定义的。例如，樊𰋀-k-范数是前k个奇异值的和，迹范数是所有奇异值的和，沙滕范数是奇异值的p次幂之和的p次根。注意每种范数都只定义在一类特殊的算子上，因此奇异值有助于算子的分类。

有限维情形，矩阵总可以分解为$\mathbf{U\Sigma V^*}$，其中$\mathbf{U}$、$\mathbf{V^*}$是酉矩阵，$\mathbf{\Sigma}$是矩形对角矩阵，奇异值在对角线上。这就是奇异值分解。

## 基本性质

对$A \in \mathbb{C}^{m \times n}$、$i = 1,2, \ldots, \min \{m,n\}$。

应用特征值的最小-最大定理。这里$U: \dim(U) = i$是$\mathbb{C}^n$的i维子空间。

$$\begin{align} <pre> \sigma_i(A) &= \min_{\dim(U)=n-i+1} \max_{\underset{\| x \|_2 = 1}{x \in U}} \left\| Ax \right\|_2. \\ \sigma_i(A) &= \max_{\dim(U)=i} \min_{\underset{\| x \|_2 = 1}{x \in U}} \left\| Ax \right\|_2. </pre> \end{align}$$

矩阵转置和共轭不会改变奇异值。

$$\sigma_i(A) = \sigma_i\left(A^\textsf{T}\right) = \sigma_i\left(A^*\right).$$

对任意酉矩阵$U \in \mathbb{C}^{m \times m}, V \in \mathbb{C}^{n \times n}$

$$\sigma_i(A) = \sigma_i(UAV).$$

与特征值的关系：

$$\sigma_i^2(A) = \lambda_i\left(AA^*\right) = \lambda_i\left(A^*A\right).$$

与迹的关系：

$\sum_{i=1}^n \sigma_i^2=\text{tr}\ A^\ast A$.

若$A^\top A$满秩，则奇异值的积是$\sqrt{\det A^\top A}$。

若$A A^\top$满秩，则奇异值的积是$\sqrt{\det A A^\top}$。

若A满秩，则奇异值的积是$|\det A|$。

## 关于奇异值的不等式

另见

### 子矩阵的奇异值

对$A \in \mathbb{C}^{m \times n}$。

- 令B表示删除了某一行或某一列的A。则$$\sigma_{i+1}(A) \leq \sigma_i (B) \leq \sigma_i(A)$$
- 令B表示删除了某一行和某一列的A。则$$\sigma_{i+2}(A) \leq \sigma_i (B) \leq \sigma_i(A)$$
- 令B表示A的$(m-k)\times(n-l)$子矩阵，则$$\sigma_{i+k+l}(A) \leq \sigma_i (B) \leq \sigma_i(A)$$

### A + B的奇异值

对$A, B \in \mathbb{C}^{m \times n}$

- $$\sum_{i=1}^{k} \sigma_i(A + B) \leq \sum_{i=1}^{k} (\sigma_i(A) + \sigma_i(B)), \quad k=\min \{m,n\}$$
- $$\sigma_{i+j-1}(A + B) \leq \sigma_i(A) + \sigma_j(B). \quad i,j\in\mathbb{N},\ i + j - 1 \leq \min \{m,n\}$$

### AB的奇异值

对$A, B \in \mathbb{C}^{n \times n}$

- $$\begin{align} <pre> \prod_{i=n}^{i=n-k+1} \sigma_i(A) \sigma_i(B) &\leq \prod_{i=n}^{i=n-k+1} \sigma_i(AB) \\ \prod_{i=1}^k \sigma_i(AB) &\leq \prod_{i=1}^k \sigma_i(A) \sigma_i(B), \\ \sum_{i=1}^k \sigma_i^p(AB) &\leq \sum_{i=1}^k \sigma_i^p(A) \sigma_i^p(B), </pre> \end{align}$$
- $$\sigma_n(A) \sigma_i(B) \leq \sigma_i (AB) \leq \sigma_1(A) \sigma_i(B) \quad i = 1, 2, \ldots, n.$$

对$A, B \in \mathbb{C}^{m \times n}$ $$2 \sigma_i(A B^*) \leq \sigma_i \left(A^* A + B^* B\right), \quad i = 1, 2, \ldots, n.$$

### 奇异值与特征值

对$A \in \mathbb{C}^{n \times n}$.

- 见 $$\lambda_i \left(A + A^*\right) \leq 2 \sigma_i(A), \quad i = 1, 2, \ldots, n.$$
- 假设$\left|\lambda_1(A)\right| \geq \cdots \geq \left|\lambda_n(A)\right|$，则对$k = 1, 2, \ldots, n$：
- 外尔定理$$\prod_{i=1}^k \left|\lambda_i(A)\right| \leq \prod_{i=1}^{k} \sigma_i(A).$$
- 对$p>0$。$$\sum_{i=1}^k \left|\lambda_i^p(A)\right| \leq \sum_{i=1}^{k} \sigma_i^p(A).$$

## 历史

奇异值这一概念由埃哈德·施密特（1907）提出，当时称奇异值为“特征值”。“奇异值”的名称由史密斯于1937年首次使用。1957年，Allahverdiev证明了第n个奇异值的如下特征：

$$\sigma_n(T) = \inf\big\{\, \|T-L\| : L\text{的秩}<n \,\big\}.$$

这种表述使奇异值概念可以推广到巴拿赫空间的算子。

注意还有更一般的s-数（s-number）概念，也包括盖尔范德和柯尔莫哥洛夫宽。