穆爾-彭羅斯廣義逆

穆爾-彭羅斯廣義逆（Moore–Penrose pseudoinverse），通常標記為$A^\dagger$或$A^+$，是著名的廣義逆矩陣之一。

1903年，埃里克·伊瓦爾·弗雷德霍姆提出積分算子的偽逆的概念。穆爾-彭羅斯廣義逆先後被E·H·穆爾（1920年）、阿爾內·比耶哈馬爾（1951年）、羅傑·潘洛斯（1955年）發現或描述。

它常被用於求得或簡化非一致線性方程組的最小範數最小二乘解（最小二乘法）。

矩陣的穆爾-彭羅斯廣義逆在實數域和複數域上都是唯一的，並且可以通過奇異值分解求得。

## 定義

### 定義一

令PS表示到向量空間S上的正交投影。對於任意一個m乘n的復矩陣A，設R(A)表示A的值域空間。穆爾於1935年證明矩陣A的廣義逆矩陣G必須滿足的條件：

$$\boldsymbol{AG}=\boldsymbol{P}_{R(\boldsymbol{A})},\boldsymbol{GA}=\boldsymbol{P}_{R(\boldsymbol{A_H})}$$

以上兩個條件稱為穆爾條件。滿足穆爾條件的矩陣G稱為矩陣A的穆爾逆矩陣。

### 定義二

彭羅斯於1955年提出了定義廣義逆矩陣的另外一組條件：

- $\boldsymbol{AGA}=\boldsymbol{A}$， $\boldsymbol{AG}$不一定是單位矩陣，但卻不會改變$\boldsymbol{A}$的列向量。
- $\boldsymbol{GAG}=\boldsymbol{G}$， $\boldsymbol{G}$是乘法半群的弱逆
- $(\boldsymbol{AG})^{\boldsymbol{H}}=\boldsymbol{AG}$， $\boldsymbol{AG}$是埃爾米特矩陣
- $(\boldsymbol{GA})^{\boldsymbol{H}}=\boldsymbol{GA}$， $\boldsymbol{GA}$也是埃爾米特矩陣

以上四個條件常稱穆爾-彭羅斯條件。滿足全部四個條件的矩陣G，就稱為A的穆爾-彭羅斯廣義逆矩陣。

## 性質

從穆爾-彭羅斯條件出發，彭羅斯推導出了穆爾-彭羅斯廣義逆的一些性質：

- $$(\boldsymbol{A}^H)^\dagger=(\boldsymbol{A}^\dagger)^H$$
- $$\boldsymbol{A}^\dagger \boldsymbol{A} \boldsymbol{A}^H =\boldsymbol{A}^H \boldsymbol{A} \boldsymbol{A}^\dagger=\boldsymbol{A}^H$$
- $$\boldsymbol{A} \boldsymbol{A}^H (\boldsymbol{A}^H)^\dagger=(\boldsymbol{A}^H)^\dagger \boldsymbol{A}^H \boldsymbol{A}=\boldsymbol{A}$$
- $\boldsymbol{A}^\dagger \boldsymbol{A}$，$\boldsymbol{A} \boldsymbol{A}^\dagger$，$(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A})$和$(\boldsymbol{I}- \boldsymbol{A}^\dagger \boldsymbol{A})$都是冪等矩陣。

### 存在性和唯一性

偽逆存在且唯一：對於任何矩陣A，恰好有一個矩陣A^\dagger滿足定義的四個性質。

滿足該定義的第一個條件的矩陣被稱為廣義逆。如果該矩陣也滿足第二個定義，它就被稱為廣義反身逆陣（generalized reflexive inverse）。廣義逆矩陣總存在，但一般不唯一。唯一性是最後兩個條件的結果。

### 基本性質

這些性質的證明可以在維基教科書中找到。

- 如果 A 有實數項，那麼 A^\dagger也有。
- 如果 A 是可逆的，它的偽逆就是它的逆矩陣，即： $A^\dagger = A^{-1}$.
- 零矩陣的偽逆是它的轉置。
- 矩陣偽逆的偽逆是原矩陣，即： $\left(A^\dagger \right)^\dagger = A$.
- 偽轉置與轉置、復共軛和共軛轉置可以交換：
- $\left(A^\textsf{T}\right)^\dagger = \left(A^\dagger\right)^\textsf{T}$, $\left(\overline{A}\right)^\dagger = \overline{A^\dagger}$, $\left(A^*\right)^\dagger = \left(A^\dagger\right)^*$.
- 矩陣 A 的標量乘法的偽逆是 A ^\dagger 的標量的倒數的乘法：
- $\left(\alpha A\right)^\dagger = \alpha^{-1} A^\dagger$ 對於 \alpha \neq 0.

#### 恆等式

下面的恆等式可以用來判定部分涉及偽逆的子表達式的正確性：$$<pre> A = {}A{}A^*{}A^{\dagger *}{} = {}A^{\dagger *}{}A^*{}A </pre>$$同樣的，將 $A^\dagger$ 替換為 $A$ 會得到：$$<pre> A^\dagger ={}A^\dagger{}A^{\dagger *}{}A^*{} = {}A^*{}A^{\dagger *}{}A^\dagger </pre>$$當用 $A^*$ 替代 $A$ 時，會得到：$$<pre> A^* ={}A^*{}A{}A^+{}={}A^+{}A{}A^*. </pre>$$

### 埃爾米特情況

偽逆的計算可以簡化為其在埃爾米特情況下的構造，這可以通過等價關係實現：$$A^+ = \left(A^*A\right)^+ A^*,$$ $$A^+ = A^* \left(A A^*\right)^+,$$其中A^*A 和 A A^* 是埃爾米特矩陣。

### 乘積

令$A \in \mathbb{k}^{m\times n},\ B \in \mathbb{k}^{n\times p}$，下列等式等價：

- (AB)^\dagger = B^\dagger A^\dagger
- $$\begin{aligned} A^\dagger A BB^* A^* & = BB^* A^*, \\ <pre> BB^\dagger A^* A B & = A^* A B. </pre> \end{aligned}$$
- $$\begin{aligned} \left(A^\dagger A BB^*\right)^* & = A^\dagger A BB^*, \\ \left(A^* A BB^\dagger\right)^* & = A^* A BB^\dagger. \end{aligned}$$
- $$A^\dagger A BB^* A^* A BB^\dagger = BB^* A^* A$$
- $$\begin{aligned} <pre> A^\dagger A B & = B (AB)^\dagger AB, \\ </pre> BB^\dagger A^* & = A^* A B (AB)^\dagger . \end{aligned}$$

下方列出了 (AB)^+ = B^+ A^+的充分條件：

- A 的列單位正交（此時$A^*A = A^\dagger A = I_n$），或
- B 的行單位正交 （此時 $BB^* = BB^\dagger = I_n$），或
- A 的列線性無關（此時 $A^\dagger A = I$）同時 B 的行線性無關（此時 $BB^\dagger = I$），或
- $B = A^*$，或
- $B = A^\dagger$。

下方列出了 (AB)^\dagger = B^\dagger A^\dagger的必要條件：

- $$(A^\dagger A) (BB^\dagger) = (BB^\dagger) (A^\dagger A)$$

由最後一個充分條件得出等式：$$\begin{align} <pre> \left(A A^*\right)^+ &= A^{+*} A^+, \\ \left(A^* A\right)^+ &= A^+ A^{+*}. </pre> \end{align}$$注意: 等式 (AB)^\dagger = B^\dagger A^\dagger 一般不成立，例如：$$\Biggl( \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} 0 & 0 \\ 1 & 1 \end{pmatrix} \Biggr)^+ = \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}^+ = \begin{pmatrix} <pre> \tfrac12 & 0 \\ \tfrac12 & 0 \end{pmatrix} \quad \neq \quad \begin{pmatrix} \tfrac14 & 0 \\ \tfrac14 & 0 \end{pmatrix} = \begin{pmatrix} 0 & \tfrac12 \\ 0 & \tfrac12 \end{pmatrix} \begin{pmatrix} \tfrac12 & 0 \\ \tfrac12 & 0 \end{pmatrix} = \begin{pmatrix} 0 & 0 \\ 1 & 1 \end{pmatrix}^+ \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}^+$$

### 投影

$P = A A^\dagger$ 和 $Q = A^\dagger A$ 是正交投影算子，即它們是埃爾米特矩陣（$P = P^*$，$Q = Q^*$）和冪等矩陣（$P^2 = P$，$Q^2 = Q$）。以下性質成立：

- $PA = AQ = A$，$A^\dagger P = QA^\dagger = A^\dagger$
- P 是正交投影算子，投影到 A 的值域（也就是 A^* 的核的正交補空間）。
- Q 是正交投影算子，投影到 A^* 的值域（也就是 A 的核的正交補空間）。
- $(I - Q) = \left(I - A^\dagger A\right)$ 是正交投影算子，投影到 A 的核。
- $(I - P) = \left(I - A A^\dagger \right)$ 是正交投影算子，投影到 A^* 的核。

最後兩條性質隱含了下列等式：

- $$A\,\ \left(I - A^\dagger A\right)= \left(I - A A^\dagger\right)A\ \ = 0$$
- $$A^*\left(I - A A^\dagger\right) = \left(I - A^\dagger A\right)A^* = 0$$

如果 $A \in \mathbb{k}^{n\times n}$ 是埃爾米特矩陣和冪等矩陣（若且唯若它為正交投影矩陣），則對於任意矩陣 $B\in \mathbb{k}^{m\times n}$，下式成立：$$A(BA)^\dagger = (BA)^\dagger$$這一條性質可以如此證明：定義矩陣 $C = BA$, $D = A(BA)^\dagger$，當 A 是埃爾米特矩陣和冪等矩陣時，通過驗證偽逆的性質可以檢查 D 確實是 C 的一個偽逆。從上一條性質可以看出，當 $A \in \mathbb{k}^{n\times n}$ 是埃爾米特矩陣和冪等矩陣時，對於任意矩陣 $B \in \mathbb{k}^{n\times m}$

$$(AB)^\dagger A = (AB)^\dagger$$

當 A 是一個正交投影矩陣，則它的偽逆就是它自身，即 $A^\dagger = A$。

### 幾何結構

如果我們把矩陣看作是一個在數域 $\mathbb{k}$ 上的線性映射，那麼 $A^\dagger : \mathbb{k}^m \to \mathbb{k}^n$ 可以被分解如下。首先定義符號： \oplus 表示直和， \perp 表示正交補，\ker 表示映射的核， $\operatorname{ran}$ 表示映射的像。注意 $\mathbb{k}^n = \left(\ker A\right)^\perp \oplus \ker A$ 和 $\mathbb{k}^m = \operatorname{ran} A \oplus \left(\operatorname{ran} A\right)^\perp$。限制條件 $A: \left(\ker A\right)^\perp \to \operatorname{ran} A$ 則是一個同構。這意味著 A^\dagger 在 上時這個同構的逆，在 $\left(\operatorname{ran} A\right)^\perp$ 上則是零。

換而言之，對於給定的 要找到 A^\dagger b，首先將 b 正交投影在 A 的值域中，找到點 p(b)，然後構建，即就是在 中，會被 A 投影到 p(b) 的點。這是 的一個平行於 A 的核的仿射子空間。這個子空間中長度最小的元素（也就是最靠近原點的元素），就是我們尋找的 A^+b 的解。它可以通過從 中選擇任意元素，並將其投影在 A 的核的正交補空間而得到。

以上描述與線性系統的最小範數解密切相關。

### 子空間

$$\begin{align} <pre> \ker\left(A^+\right) &= \ker\left(A^*\right) \\ \operatorname{ran}\left(A^+\right) &= \operatorname{ran}\left(A^*\right) </pre> \end{align}$$

### 極限

偽逆可以由極限定義：$$A^\dagger = \lim_{\delta \searrow 0} \left(A^* A + \delta I\right)^{-1} A^* <pre> = \lim_{\delta \searrow 0} A^* \left(A A^* + \delta I\right)^{-1} </pre>$$（參見吉洪諾夫正則化）。當 $\left(A A^*\right)^{-1}$ 或 $\left(A^*A\right)^{-1}$不存在時，這些極限仍然存在。

### 連續性

與一般的矩陣求逆不同，求偽逆的過程並不連續：如果序列 \left(A_n\right) 收斂到矩陣 A （在最大範數或弗羅貝尼烏斯範數意義下），則 (A_n)^\dagger 不一定收斂於 A^\dagger. 然而，如果所有的矩陣 A_n 與 A 有相同的秩，則 (A_n)^\dagger 將收斂於 A^\dagger.

### 導數關係

實值偽逆矩陣的導數，該矩陣在某點x處具有恆定的秩 可以用原矩陣的導數來計算：$$<pre> \frac{\mathrm d}{\mathrm d x} A^\dagger(x) = -A^\dagger \left( \frac{\mathrm d}{\mathrm d x} A \right) A^\dagger ~+~ A^\dagger A^{\dagger\textsf{T}} \left(\frac{\mathrm d}{\mathrm d x} A^\textsf{T}\right) \left(I - A A^\dagger\right) ~+~ \left(I - A^\dagger A\right) \left(\frac{\text{d}}{\text{d} x} A^\textsf{T}\right) A^{\dagger\textsf{T}} A^\dagger </pre>$$

## 例子

對於可逆矩陣，其廣義逆為其一般的逆矩陣，所以以下僅舉一些不可逆矩陣的例子。

- 對於$A = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}$，其廣義逆矩陣為$A^\dagger = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}$（通常零矩陣的廣義逆矩陣為其轉置）。該廣義逆矩陣的唯一性可以認為時由性質$A^\dagger=A^\dagger AA^\dagger$得出的，因為與零矩陣相乘總會得到零矩陣。
- 對於$A = \begin{pmatrix} 1 & 0 \\ 1 & 0 \end{pmatrix}$，其廣義逆矩陣為 $A^\dagger = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ 0 & 0 \end{pmatrix}$。
- 事實上，$A\,A^\dagger = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ \frac{1}{2} & \frac{1}{2} \end{pmatrix}$，所以 $A\,A^\dagger A = \begin{pmatrix} 1 & 0 \\ 1 & 0\end{pmatrix} = A$。
- 類似的， $A^\dagger A = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}$，由此 $A^\dagger A\,A^\dagger = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ 0 & 0 \end{pmatrix} = A^\dagger$。
- 對於$A = \begin{pmatrix} 1 & 0 \\ -1 & 0 \end{pmatrix}$，其廣義逆矩陣為$A^\dagger = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} \\ 0 & 0 \end{pmatrix}$。
- 對於$A = \begin{pmatrix} 1 & 0 \\ -1 & 0 \end{pmatrix}$，其廣義逆矩陣為$A^\dagger = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} \\ 0 & 0 \end{pmatrix}$。
- 對於$A = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$，其廣義逆矩陣為$A^\dagger = \begin{pmatrix} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{pmatrix}$。
- 對於$A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 0 & 1 \end{pmatrix}$，其廣義逆矩陣為 $A^\dagger = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{1}{2} & \frac{1}{2} \end{pmatrix}$。對於該矩陣，其左逆存在且等於$A^\dagger$，事實上，$A^\dagger A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}$。