穆尔-彭罗斯广义逆

**穆尔-彭罗斯广义逆**（），通常標記為A^\dagger或A^+，是著名的广义逆矩阵之一。

1903年，埃里克·伊瓦爾·弗雷德霍姆提出积分算子的伪逆的概念。穆尔-彭罗斯广义逆先后被E·H·穆爾（1920年）、（1951年） 、羅傑·潘洛斯（1955年）发现或描述。

它常被用于求得或简化非一致线性方程组的最小范数最小二乘解（最小二乘法）。

矩阵的穆尔-彭罗斯广义逆在实数域和复数域上都是唯一的，并且可以通过奇异值分解求得。

## 定义
### 定义一

令**P**S表示到向量空间*S*上的正交投影。对于任意一个m乘n的复矩阵**A**，设*R*(**A**)表示**A**的值域空间。穆尔于1935年证明矩阵**A**的广义逆矩阵**G**必须满足的条件：


\boldsymbol{AG}=\boldsymbol{P}_{R(\boldsymbol{A})},\boldsymbol{GA}=\boldsymbol{P}_{R(\boldsymbol{A_H})}


以上两个条件称为穆尔条件。满足穆尔条件的矩阵**G**称为矩阵**A**的穆尔逆矩阵。

### 定义二

彭罗斯于1955年提出了定义广义逆矩阵的另外一组条件：

# \boldsymbol{AGA}=\boldsymbol{A}， \boldsymbol{AG}不一定是单位矩阵，但却不会改变\boldsymbol{A}的列向量。
# \boldsymbol{GAG}=\boldsymbol{G}， \boldsymbol{G}是乘法半群的弱逆
# (\boldsymbol{AG})^{\boldsymbol{H}}=\boldsymbol{AG}， \boldsymbol{AG}是埃尔米特矩阵
# (\boldsymbol{GA})^{\boldsymbol{H}}=\boldsymbol{GA}， \boldsymbol{GA}也是埃尔米特矩阵

以上四个条件常称穆尔-彭罗斯条件。满足全部四个条件的矩阵**G**，就称为**A**的穆尔-彭罗斯广义逆矩阵。

## 性质
从穆尔-彭罗斯条件出发，彭罗斯推导出了穆尔-彭罗斯广义逆的一些性质：

*(\boldsymbol{A}^H)^\dagger=(\boldsymbol{A}^\dagger)^H
*\boldsymbol{A}^\dagger \boldsymbol{A} \boldsymbol{A}^H =\boldsymbol{A}^H \boldsymbol{A} \boldsymbol{A}^\dagger=\boldsymbol{A}^H
*\boldsymbol{A} \boldsymbol{A}^H (\boldsymbol{A}^H)^\dagger=(\boldsymbol{A}^H)^\dagger \boldsymbol{A}^H \boldsymbol{A}=\boldsymbol{A}
*\boldsymbol{A}^\dagger \boldsymbol{A}，\boldsymbol{A} \boldsymbol{A}^\dagger，(\boldsymbol{I}-\boldsymbol{A}^\dagger \boldsymbol{A})和(\boldsymbol{I}-  \boldsymbol{A}^\dagger \boldsymbol{A})都是幂等矩阵。

### 存在性和唯一性
伪逆存在且唯一：对于任何矩阵，恰好有一个矩阵满足定义的四个性质。

满足该定义的第一个条件的矩阵被称为广义逆。如果该矩阵也满足第二个定义，它就被称为广义反身逆阵（generalized reflexive inverse）。广义逆矩阵总存在，但一般不唯一。唯一性是最后两个条件的结果。

### 基本性质

这些性质的证明可以在維基教科書中找到。

* 如果  有实数项，那么 也有。
* 如果  是可逆的，它的伪逆就是它的逆矩阵，即： A^\dagger = A^{-1}.
* 零矩阵的伪逆是它的转置。
* 矩阵伪逆的伪逆是原矩阵，即： \left(A^\dagger \right)^\dagger = A.
* 伪转置与转置、复共轭和共轭转置可以交换： 
*: \left(A^\textsf{T}\right)^\dagger = \left(A^\dagger\right)^\textsf{T}, \left(\overline{A}\right)^\dagger = \overline{A^\dagger}, \left(A^*\right)^\dagger = \left(A^\dagger\right)^*.
* 矩阵  的标量乘法的伪逆是  的标量的倒数的乘法：
*: \left(\alpha A\right)^\dagger = \alpha^{-1} A^\dagger 对于 .

#### 恒等式
下面的恒等式可以用来判定部分涉及伪逆的子表达式的正确性：
  A = {}A{}A^*{}A^{\dagger *}{} = {}A^{\dagger *}{}A^*{}A
同样的，将 A^\dagger 替换为 A 会得到：
  A^\dagger ={}A^\dagger{}A^{\dagger *}{}A^*{} = {}A^*{}A^{\dagger *}{}A^\dagger
当用 A^* 替代 A 时，会得到：
  A^* ={}A^*{}A{}A^+{}={}A^+{}A{}A^*.


### 埃尔米特情况
伪逆的计算可以简化为其在埃尔米特情况下的构造，这可以通过等价关系实现：A^+ = \left(A^*A\right)^+ A^*,A^+ = A^* \left(A A^*\right)^+,其中 和  是埃尔米特矩阵。

### 乘积
令A \in \mathbb{k}^{m\times n},\ B \in \mathbb{k}^{n\times p}，下列等式等价：

# 
# \begin{aligned}
A^\dagger A BB^* A^* & = BB^* A^*, \\
  BB^\dagger A^* A B & = A^* A B.
\end{aligned}
# \begin{aligned}
\left(A^\dagger A BB^*\right)^* & = A^\dagger A BB^*, \\
\left(A^* A BB^\dagger\right)^* & = A^* A BB^\dagger.
\end{aligned}
# A^\dagger A BB^* A^* A BB^\dagger = BB^* A^* A
# \begin{aligned}
 A^\dagger A B & = B (AB)^\dagger AB, \\
BB^\dagger  A^* & = A^* A B (AB)^\dagger .
\end{aligned}

下方列出了 的充分条件：

#  的列单位正交（此时A^*A = A^\dagger A = I_n），或
#  的行单位正交 （此时 BB^* = BB^\dagger = I_n） ，或
#  的列线性无关（此时 A^\dagger A = I ） 同时  的行线性无关（此时 BB^\dagger = I），或 
# B = A^*，或
# B = A^\dagger。

下方列出了 的必要条件：

# (A^\dagger A) (BB^\dagger) = (BB^\dagger) (A^\dagger A)

由最后一个充分条件得出等式：\begin{align}
  \left(A A^*\right)^+ &= A^{+*} A^+, \\
  \left(A^* A\right)^+ &= A^+ A^{+*}.
\end{align}注意: 等式  一般不成立，例如：\Biggl( \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix} \begin{pmatrix} 0 & 0 \\ 1 & 1 \end{pmatrix} \Biggr)^+ = \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}^+ = \begin{pmatrix}
 \tfrac12 & 0 \\ \tfrac12 & 0 \end{pmatrix} \quad \neq \quad \begin{pmatrix}
 \tfrac14 & 0 \\ \tfrac14 & 0 \end{pmatrix} = \begin{pmatrix} 0 & \tfrac12 \\ 0 & \tfrac12 \end{pmatrix} \begin{pmatrix} \tfrac12 & 0 \\ \tfrac12 & 0 \end{pmatrix} = \begin{pmatrix} 0 & 0 \\ 1 & 1 \end{pmatrix}^+ \begin{pmatrix} 1 & 1 \\ 0 & 0 \end{pmatrix}^+ 

### 投影

P = A A^\dagger 和 Q = A^\dagger A 是正交投影算子，即它们是埃尔米特矩阵（P = P^*，Q = Q^*）和幂等矩阵（P^2 = P，Q^2 = Q）。以下性质成立：

* PA = AQ = A ，A^\dagger P = QA^\dagger = A^\dagger
*  是正交投影算子，投影到  的值域（也就是  的核的正交补空间）。
*  是正交投影算子，投影到  的值域（也就是  的核的正交补空间）。
* (I - Q) = \left(I - A^\dagger A\right) 是正交投影算子，投影到  的核。
* (I - P) = \left(I - A A^\dagger \right) 是正交投影算子，投影到  的核。

最后两条性质隐含了下列等式：

* A\,\ \left(I - A^\dagger A\right)= \left(I - A A^\dagger\right)A\ \ = 0
* A^*\left(I - A A^\dagger\right) = \left(I - A^\dagger  A\right)A^* = 0

如果 A \in \mathbb{k}^{n\times n}  是埃尔米特矩阵和幂等矩阵（当且仅当它为正交投影矩阵），则对于任意矩阵 B\in \mathbb{k}^{m\times n} ，下式成立： A(BA)^\dagger = (BA)^\dagger这一条性质可以如此证明：定义矩阵 C = BA, D = A(BA)^\dagger，当  是埃尔米特矩阵和幂等矩阵时，通过验证伪逆的性质可以检查  确实是  的一个伪逆。从上一条性质可以看出，当  A \in \mathbb{k}^{n\times n}  是埃尔米特矩阵和幂等矩阵时，对于任意矩阵  B \in \mathbb{k}^{n\times m}

(AB)^\dagger A = (AB)^\dagger 

当  是一个正交投影矩阵，则它的伪逆就是它自身，即 A^\dagger = A。

### 几何结构

如果我们把矩阵看作是一个在数域 \mathbb{k} 上的线性映射 ， 那么  A^\dagger : \mathbb{k}^m \to \mathbb{k}^n  可以被分解如下。首先定义符号：  表示直和，  表示正交补， 表示映射的核， \operatorname{ran} 表示映射的像。注意 \mathbb{k}^n = \left(\ker A\right)^\perp \oplus \ker A 和 \mathbb{k}^m = \operatorname{ran} A \oplus \left(\operatorname{ran} A\right)^\perp。 限制条件  A: \left(\ker A\right)^\perp \to \operatorname{ran} A 则是一个同构。这意味着  在  上时这个同构的逆，在 \left(\operatorname{ran} A\right)^\perp  上则是零。

换而言之，对于给定的  要找到 ，首先将  正交投影在  的值域中，找到点 ，然后构建 ，即就是在  中，会被  投影到  的点。这是  的一个平行于  的核的仿射子空间。这个子空间中长度最小的元素（也就是最靠近原点的元素），就是我们寻找的  的解。它可以通过从  中选择任意元素，并将其投影在  的核的正交补空间而得到。

以上描述与线性系统的最小范数解密切相关。

### 子空间
\begin{align}
  \ker\left(A^+\right) &= \ker\left(A^*\right) \\
  \operatorname{ran}\left(A^+\right) &= \operatorname{ran}\left(A^*\right)
\end{align}

### 极限
伪逆可以由极限定义：A^\dagger = \lim_{\delta \searrow 0} \left(A^* A + \delta I\right)^{-1} A^*
            = \lim_{\delta \searrow 0} A^* \left(A A^* + \delta I\right)^{-1}
（参见吉洪诺夫正则化）。当 \left(A A^*\right)^{-1} 或  \left(A^*A\right)^{-1}不存在时，这些极限仍然存在。

### 连续性
与一般的矩阵求逆不同，求伪逆的过程并不连续：如果序列  收敛到矩阵  （在最大范数或弗罗贝尼乌斯范数意义下），则  不一定收敛于 . 然而，如果所有的矩阵  与  有相同的秩，则  将收敛于 .

### 导数关系
实值伪逆矩阵的导数，该矩阵在某点处具有恒定的秩 可以用原矩阵的导数来计算：
  \frac{\mathrm d}{\mathrm d x} A^\dagger(x) =
    -A^\dagger \left( \frac{\mathrm d}{\mathrm d x} A \right) A^\dagger ~+~
     A^\dagger A^{\dagger\textsf{T}} \left(\frac{\mathrm d}{\mathrm d x} A^\textsf{T}\right) \left(I - A A^\dagger\right) ~+~
     \left(I - A^\dagger A\right) \left(\frac{\text{d}}{\text{d} x} A^\textsf{T}\right) A^{\dagger\textsf{T}} A^\dagger


## 例子
对于可逆矩阵，其广义逆为其一般的逆矩阵，所以以下仅举一些不可逆矩阵的例子。

* 对于A = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}，其广义逆矩阵为A^\dagger = \begin{pmatrix} 0 & 0 \\ 0 & 0 \end{pmatrix}（通常零矩阵的广义逆矩阵为其转置）。该广义逆矩阵的唯一性可以认为时由性质A^\dagger=A^\dagger AA^\dagger得出的，因为与零矩阵相乘总会得到零矩阵。
* 对于A = \begin{pmatrix} 1 & 0 \\ 1 & 0 \end{pmatrix}，其广义逆矩阵为 A^\dagger = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ 0 & 0 \end{pmatrix}。
** 事实上，A\,A^\dagger = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ \frac{1}{2} & \frac{1}{2} \end{pmatrix}，所以 A\,A^\dagger A = \begin{pmatrix} 1 & 0 \\ 1 & 0\end{pmatrix} = A。
** 类似的， A^\dagger A = \begin{pmatrix} 1 & 0 \\ 0 & 0 \end{pmatrix}，由此 A^\dagger A\,A^\dagger = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ 0 & 0 \end{pmatrix} = A^\dagger。
* 对于A = \begin{pmatrix} 1 & 0 \\ -1 & 0 \end{pmatrix}，其广义逆矩阵为A^\dagger = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} \\ 0 & 0 \end{pmatrix}。
* 对于A = \begin{pmatrix} 1 & 0 \\ -1 & 0 \end{pmatrix}，其广义逆矩阵为A^\dagger = \begin{pmatrix} \frac{1}{2} & -\frac{1}{2} \\ 0 & 0 \end{pmatrix}。
* 对于A = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}，其广义逆矩阵为A^\dagger = \begin{pmatrix} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{pmatrix}。
* 对于A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 0 & 1 \end{pmatrix}，其广义逆矩阵为 A^\dagger = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \frac{1}{2} & \frac{1}{2} \end{pmatrix} 。对于该矩阵，其左逆存在且等于A^\dagger，事实上，A^\dagger A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}。

## 参考
### 书籍
*

### 文献