正定矩阵

在线性代数里，正定矩阵（positive-definite matrix）是埃尔米特矩阵的一种，有时会简称为正定阵。在线性代数中，正定矩阵的性质类似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（复域中则对应埃尔米特正定双线性形式）。

## 定义

一个 $n\times n$ 的实对称矩阵 $M$ 是正定的，当且仅当对于所有的非零实系数向量 $\mathbf{z}$，都有 $\mathbf{z}^T M\mathbf{z} >0$。其中 $\mathbf{z}^T$表示 $\mathbf{z}$ 的转置。对于复数的情况，定义则为：一个 $n\times n$ 的埃尔米特矩阵 $M$ 是正定的当且仅当对于每个非零的复向量 $\mathbf{z}$，都有 $\mathbf{z}^* M\mathbf{z} >0$。其中 $\mathbf{z}^*$表示 $\mathbf{z}$ 的共轭转置。

这样的定义仰赖一个事实：对于任意的埃尔米特矩阵 $M$ 及复向量 $\mathbf{z}$，$\mathbf{z}^* M\mathbf{z}$ 必定是实数。

首先，因为 $M$ 是埃尔米特矩阵，所以我们有 $M^* = M$。接下来我们计算所求的共轭转置：$(\mathbf{z}^* M \mathbf{z})^* = \mathbf{z}^* M^* (\mathbf{z}^*)^* = \mathbf{z}^* M \mathbf{z}$。因为 $\mathbf{z}^* M\mathbf{z}$ 是纯量且其共轭复数等于自身，所以根据复数的性质，我们得出 $\mathbf{z}^* M\mathbf{z}$ 是实数。

## 正定矩阵

对于 $n\times n$ 的埃尔米特矩阵 $M$，下列性质与“$M$ 为正定矩阵”等价：

- $M$ 的所有的特征值 $\lambda_i$ 都是正的。根据谱定理，$M$ 与一个实对角矩阵 $D$ 相似（也就是说 $M = U^{-1}DU$，其中 $U$ 是酉矩阵，或者说 $M$ 在某个正交基可以表示为一个实对角矩阵）。因此，$M$是正定阵当且仅当相应的 $D$ 的对角线上元素都是正的。另外，也可以假设 $\lambda_i$ 和 $\mathbf{v}_i$ 是 $M$ 的一组特征值与特征向量，根据定义 $M\mathbf{v}_i = \lambda_i \mathbf{v}_i$，从左侧同乘以 $\mathbf{v}_i^*$ 得到：$\mathbf{v}_i^* M\mathbf{v}_i = \lambda_i \mathbf{v}_i^* \mathbf{v}_i = \lambda_i \Vert \mathbf{v}_i \Vert ^2$。因为 $M$ 是正定矩阵，根据定义我们有 $\mathbf{v}_i^* M\mathbf{v} >0$。移项整理后可以得到 $\lambda_i = \frac{\mathbf{v}^* M\mathbf{v}}{\Vert\mathbf{v}_i\Vert^2} >0$。注意因为特征向量 $\mathbf{v}_i \neq \mathbf{0}$，所以前述 $\lambda_i$ 不会有无解的情形。
- 半双线性形式 $\langle \textbf{x},\textbf{y}\rangle = \textbf{x}^{*} M \textbf{y}$ 定义了一个 $\mathbb{C}^n$上的内积。实际上，所有 $\mathbb{C}^n$上的内积都可视为由某个正定矩阵通过此种方式得到。
- $M$ 是向量 $\textbf{x}_1,\ldots,\textbf{x}_n \in \mathbb{C}^k$ 构成的格拉姆矩阵，其中 $k\in\mathbb{Z}^+$。更精确地说，$M=[m_{ij}]$ 定义为：$m_{ij} = \langle \textbf{x}_i, \textbf{x}_j\rangle = \textbf{x}_i^{*} \textbf{x}_j$。换句话说，$M$ 具有 $A^*A$ 的形式，其中 $A$ 不一定是方阵，但必须是单射的。
- $M$ 的所有顺序主子式，也就是顺序主子阵的行列式都是正的（西尔维斯特准则）。明确地说，就是考察 $M$ 左上角大小 $1\times 1,\ldots,n\times n$ 的子矩阵的行列式。对于半正定矩阵而言，相应的条件应改为所有的主子式非负。但顺序主子式非负并不能推出矩阵是半正定的。比如以下例子： $$\begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 0 \end{bmatrix}$$
- 存在唯一的下三角矩阵 $L$，其主对角线上的元素全是正的，使得 $M=L L^*$。其中 $L^*$是 $L$ 的共轭转置。这一分解被称为科列斯基分解。

对于实对称矩阵，只需将上述性质中的 $\mathbb{C}^n$改为 $\mathbb{R}^n$，并将“共轭转置”改为“转置”即可。

### 二次型

由以上的第二个等价条件，可以得到二次型形式下正定矩阵的等价条件：用 $\mathbb{K}$ 代表 $\mathbb{C}$ 或 $\mathbb{R}$，设 $\mathbb{V}$ 是 $\mathbb{K}$ 上的一个向量空间。一个埃尔米特型：

$$B : V \times V \rightarrow K$$

是一个双线性映射，使得 $B(\mathbf{x},\mathbf{y})$ 总是 $B(\mathbf{y},\mathbf{x})$ 的共轭。这样的一个映射 $B$ 是正定的当且仅当对于 $\mathbb{V}$ 中所有的非零向量 $\mathbf{x}$，都有 $B(\mathbf{x},\mathbf{x}) >0$。

## 负定、半定及不定矩阵

与正定矩阵对应，一个 $n\times n$ 的埃尔米特矩阵 $M$ 是负定矩阵（negative-definite matrix）当且仅当对所有非零向量 $\mathbf{z} \in \mathbb{R}^n$（或 $\mathbf{z} \in \mathbb{C}^n$），都有 $z^{*} M z < 0\,$。

$M$是半正定矩阵（positive semi-definite matrix）当且仅当对于所有非零向量 $\mathbf{z} \in \mathbb{R}^n$（或 $\mathbf{z} \in \mathbb{C}^n$），都有 $z^{*} M z \geq 0$。

$M$是半负定矩阵（negative semi-definite matrix）当且仅当对于所有非零向量 $\mathbf{z} \in \mathbb{R}^n$（或 $\mathbf{z} \in \mathbb{C}^n$），都有 $z^{*} M z \leq 0$。

如果一个埃尔米特矩阵既不是半正定也不是半负定的，那么称其为不定矩阵（indefinite matrix）。

可以看出，上一节中正定矩阵的第一个等价性质只需作出相应改动，就可以变为判别负定矩阵、半正定矩阵和半负定矩阵的准则。注意当 $M$ 是半正定时，相应的格拉姆矩阵不必由线性独立的向量组成。对于任意矩阵 $A$，$A^*A$必是半正定的，并有 $\mathrm{rank}(A)=\mathrm{rank}(A^*A)$（两者的秩相等）。反过来，任意的半正定矩阵都可以写作 $M=A^*A$，这就是科列斯基分解。

对于任意矩阵 $A$，因为 $(A^*A)^*=A^*(A^*)^*=A^*A$，因此 $A^*A$ 是埃尔米特矩阵。令 $\mathbf{v}\in\mathbb{C}^n$，则 $\mathbf{v}^* (A^*A) \mathbf{v} = (\mathbf{v}^*A^*)(A\mathbf{v})=(A\mathbf{v})^*(A\mathbf{v})=\Vert A\mathbf{v}\Vert^2 \geq 0$，因此 $A^*A$ 是半正定的。另外，我们很容易证明 $A$ 与 $A^*A$ 有相同的零空间，根据秩 – 零化度定理，我们可以得到它们有相同的秩。

一个埃尔米特矩阵 $M$ 是负定矩阵当且仅当 $M$ 的所有奇数阶顺序主子式小于 $0$，所有偶数阶顺序主子式大于 $0$。当 $M$ 是负定矩阵时，$M$ 的逆矩阵也是负定的。

## 相关性质

若 $M$ 为半正定矩阵，可以记作 $M \geq 0$。如果$M$是正定矩阵，可以记作 $M > 0$。这个记法来自泛函分析，其中的正定矩阵定义了正算子。

对于一般的埃尔米特矩阵，$M$、$N$，$M\geq N$ 当且仅当 $M-N \geq 0$。这样可以定义一个在埃尔米特矩阵集合上的偏序关系。类似地，可以定义$M>N$。

1.｜每个正定阵都是可逆的，它的逆也是正定阵。如果 $M \geq N > 0$ 那么 $N^{-1} \geq M^{-1} > 0$。

2.｜如果 $M$ 是正定阵，$r > 0$ 为正实数，那么 $r M$ 也是正定阵。如果 $M$、$N$ 是正定阵，那么 $M + N$、$MNM$ 与 $NMN$ 都是正定的。如果 $M N = N M$，那么 $M N$ 仍是正定阵。

3.｜如果 $M=(m_{ij}) > 0$ 那么主对角线上的元素 $m_{ii}$ 为正实数。于是有 $\text{tr}(M)>0$。此外还有 :$| m_{ij} | \leq \sqrt{m_{ii} m_{jj}} \leq \frac{m_{ii}+m_{jj}}{2}$。

4.｜矩阵 $M$ 是正定阵当且仅当存在唯一的正定阵 $B>0$ 使得 $B^2 = M$。根据其唯一性可以记作 $B = M^{1/2}$，称 $B$ 为 $M$ 的平方根。对半正定阵也有类似结论。同时，如果 $M > N > 0$ 那么 $M^{1/2} > N^{1/2}>0$。

5.｜如果 $M,N > 0$ 那么 $M\otimes N > 0$，其中 $\otimes$ 表示克罗内克积。

6.｜对矩阵 $M=(m_{ij}),\ N=(n_{ij})$，将两者同一位置上的系数相乘所得的矩阵记为 $M\circ N$，即 $(M\circ N)_{i,j}=m_{ij} n_{ij}$，称为$M$与$N$的 阿达马乘积。如果 $M,N>0$，那么 $M\circ N > 0$。如果 $M,N$ 为实系数矩阵，则以下不等式成立： $\det(M\circ N) \geq (\det N) \prod_{i} m_{ii}$。

7.｜设 $M > 0$，$N$ 为埃尔米特矩阵。如果 $MN+NM \geq 0$（相应地，$MN+NM > 0$），那么 $N\geq 0$（相应地，$N > 0$）。

8.｜如果 $M,N\geq 0$ 为实系数矩阵，则 $\text{tr}(MN)\geq 0$。

9.｜如果 $M>0$ 为实系数矩阵，那么存在 $\delta>0$ 使得 $M\geq \delta I$，其中 $I$ 为单位矩阵。

## 非埃尔米特矩阵的情况

一个实矩阵 $M$ 可能满足对于所有的非零实向量 $\mathbf{x}$，$\mathbf{x}^T M\mathbf{x} >0$，却不是对称矩阵。举例来说，矩阵

$\begin{bmatrix} 1 & 1 \\ -1 & 1 \end{bmatrix}$就满足这个条件。对于 $\mathbf{x}=\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$ 并且 $\mathbf{x}\neq\mathbf{0}$，$\begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = x_1^2 + x_2^2 > 0$。

一般来说，一个实系数矩阵 $M$ 满足对所有非零实向量 $\mathbf{x}$，$\mathbf{x}^T M\mathbf{x} >0$，当且仅当对称矩阵 $(M+M^T)/2$ 是正定矩阵。

对于复系数矩阵，情况可能会不太一样。主要考虑如何扩展 $\mathbf{z}^* M\mathbf{z} >0$ 这一性质。要使得 $\mathbf{z}^* M\mathbf{z}$ 总为实数，矩阵 $M$ 必须是埃尔米特矩阵。因此，若 $\mathbf{z}^* M\mathbf{z}$ 总是正实数，$M$ 必然是正定的埃尔米特矩阵。如果将 $\mathbf{z}^* M\mathbf{z} >0$ 扩展为 $\Re(\mathbf{z}^* M\mathbf{z}) >0$，则等价于 $(M+M^*)/2$ 为正定矩阵。