奇異值

數學中，特別是泛函分析中，作用於希爾伯特空間X、Y之間的緊算子$T: X \rightarrow Y$的奇異值是自伴算子$T^*T$（$T^*$表示T的伴隨）的非負特徵值的平方根。

奇異值是非負實數，一般按遞減順序排列（$\sigma_1(T),\ \sigma_2(T),\dots$）。最大的奇異值$\sigma_1(T)$等於T的算子範數（見極小-極大定理）。

<image>

作用於歐氏空間$\Reals ^n$的T的奇異值有簡單的幾何解釋：單位n球在T變換下的像是橢球，其半軸長度是T的奇異值（圖中提供了$\R^2$的例子）。

奇異值是正規矩陣A的特徵值的絕對值，由譜定理可得A的單位對角化：$A = U\Lambda U^*$。因此有$\sqrt{A^* A} = \sqrt{U \Lambda^* \Lambda U^*} = U \left| \Lambda \right| U^*$。

研究的希爾伯特空間算子的大多數範數都是用奇異值定義的。例如，樊𰋀-k-範數是前k個奇異值的和，跡範數是所有奇異值的和，沙滕範數是奇異值的p次冪之和的p次根。注意每種範數都只定義在一類特殊的算子上，因此奇異值有助於算子的分類。

有限維情形，矩陣總可以分解為$\mathbf{U\Sigma V^*}$，其中$\mathbf{U}$、$\mathbf{V^*}$是酉矩陣，$\mathbf{\Sigma}$是矩形對角矩陣，奇異值在對角線上。這就是奇異值分解。

## 基本性質

對$A \in \mathbb{C}^{m \times n}$、$i = 1,2, \ldots, \min \{m,n\}$。

應用特徵值的最小-最大定理。這裡$U: \dim(U) = i$是$\mathbb{C}^n$的i維子空間。

$$\begin{align} <pre> \sigma_i(A) &= \min_{\dim(U)=n-i+1} \max_{\underset{\| x \|_2 = 1}{x \in U}} \left\| Ax \right\|_2. \\ \sigma_i(A) &= \max_{\dim(U)=i} \min_{\underset{\| x \|_2 = 1}{x \in U}} \left\| Ax \right\|_2. </pre> \end{align}$$

矩陣轉置和共軛不會改變奇異值。

$$\sigma_i(A) = \sigma_i\left(A^\textsf{T}\right) = \sigma_i\left(A^*\right).$$

對任意酉矩陣$U \in \mathbb{C}^{m \times m}, V \in \mathbb{C}^{n \times n}$

$$\sigma_i(A) = \sigma_i(UAV).$$

與特徵值的關係：

$$\sigma_i^2(A) = \lambda_i\left(AA^*\right) = \lambda_i\left(A^*A\right).$$

與跡的關係：

$\sum_{i=1}^n \sigma_i^2=\text{tr}\ A^\ast A$.

若$A^\top A$滿秩，則奇異值的積是$\sqrt{\det A^\top A}$。

若$A A^\top$滿秩，則奇異值的積是$\sqrt{\det A A^\top}$。

若A滿秩，則奇異值的積是$|\det A|$。

## 關於奇異值的不等式

另見

### 子矩陣的奇異值

對$A \in \mathbb{C}^{m \times n}$。

- 令B表示刪除了某一行或某一列的A。則$$\sigma_{i+1}(A) \leq \sigma_i (B) \leq \sigma_i(A)$$
- 令B表示刪除了某一行和某一列的A。則$$\sigma_{i+2}(A) \leq \sigma_i (B) \leq \sigma_i(A)$$
- 令B表示A的$(m-k)\times(n-l)$子矩陣，則$$\sigma_{i+k+l}(A) \leq \sigma_i (B) \leq \sigma_i(A)$$

### A + B的奇異值

對$A, B \in \mathbb{C}^{m \times n}$

- $$\sum_{i=1}^{k} \sigma_i(A + B) \leq \sum_{i=1}^{k} (\sigma_i(A) + \sigma_i(B)), \quad k=\min \{m,n\}$$
- $$\sigma_{i+j-1}(A + B) \leq \sigma_i(A) + \sigma_j(B). \quad i,j\in\mathbb{N},\ i + j - 1 \leq \min \{m,n\}$$

### AB的奇異值

對$A, B \in \mathbb{C}^{n \times n}$

- $$\begin{align} <pre> \prod_{i=n}^{i=n-k+1} \sigma_i(A) \sigma_i(B) &\leq \prod_{i=n}^{i=n-k+1} \sigma_i(AB) \\ \prod_{i=1}^k \sigma_i(AB) &\leq \prod_{i=1}^k \sigma_i(A) \sigma_i(B), \\ \sum_{i=1}^k \sigma_i^p(AB) &\leq \sum_{i=1}^k \sigma_i^p(A) \sigma_i^p(B), </pre> \end{align}$$
- $$\sigma_n(A) \sigma_i(B) \leq \sigma_i (AB) \leq \sigma_1(A) \sigma_i(B) \quad i = 1, 2, \ldots, n.$$

對$A, B \in \mathbb{C}^{m \times n}$ $$2 \sigma_i(A B^*) \leq \sigma_i \left(A^* A + B^* B\right), \quad i = 1, 2, \ldots, n.$$

### 奇異值與特徵值

對$A \in \mathbb{C}^{n \times n}$.

- 見 $$\lambda_i \left(A + A^*\right) \leq 2 \sigma_i(A), \quad i = 1, 2, \ldots, n.$$
- 假設$\left|\lambda_1(A)\right| \geq \cdots \geq \left|\lambda_n(A)\right|$，則對$k = 1, 2, \ldots, n$：
- 外爾定理$$\prod_{i=1}^k \left|\lambda_i(A)\right| \leq \prod_{i=1}^{k} \sigma_i(A).$$
- 對$p>0$。$$\sum_{i=1}^k \left|\lambda_i^p(A)\right| \leq \sum_{i=1}^{k} \sigma_i^p(A).$$

## 歷史

奇異值這一概念由埃哈德·施密特（1907）提出，當時稱奇異值為「特徵值」。「奇異值」的名稱由史密斯於1937年首次使用。1957年，Allahverdiev證明了第n個奇異值的如下特徵：

$$\sigma_n(T) = \inf\big\{\, \|T-L\| : L\text{的秩}<n \,\big\}.$$

這種表述使奇異值概念可以推廣到巴拿赫空間的算子。

注意還有更一般的s-數（s-number）概念，也包括蓋爾范德和柯爾莫哥洛夫寬。