正定矩陣

在線性代數裡，正定矩陣（positive-definite matrix）是埃爾米特矩陣的一種，有時會簡稱為正定陣。在線性代數中，正定矩陣的性質類似複數中的正實數。與正定矩陣相對應的線性算子是對稱正定雙線性形式（複域中則對應埃爾米特正定雙線性形式）。

## 定義

一個 $n\times n$ 的實對稱矩陣 $M$ 是正定的，若且唯若對於所有的非零實係數向量 $\mathbf{z}$，都有 $\mathbf{z}^T M\mathbf{z} >0$。其中 $\mathbf{z}^T$表示 $\mathbf{z}$ 的轉置。對於複數的情況，定義則為：一個 $n\times n$ 的埃爾米特矩陣 $M$ 是正定的若且唯若對於每個非零的複向量 $\mathbf{z}$，都有 $\mathbf{z}^* M\mathbf{z} >0$。其中 $\mathbf{z}^*$表示 $\mathbf{z}$ 的共軛轉置。

這樣的定義仰賴一個事實：對於任意的埃爾米特矩陣 $M$ 及複向量 $\mathbf{z}$，$\mathbf{z}^* M\mathbf{z}$ 必定是實數。

首先，因為 $M$ 是埃爾米特矩陣，所以我們有 $M^* = M$。接下來我們計算所求的共軛轉置：$(\mathbf{z}^* M \mathbf{z})^* = \mathbf{z}^* M^* (\mathbf{z}^*)^* = \mathbf{z}^* M \mathbf{z}$。因為 $\mathbf{z}^* M\mathbf{z}$ 是純量且其共軛複數等於自身，所以根據複數的性質，我們得出 $\mathbf{z}^* M\mathbf{z}$ 是實數。

## 正定矩陣

對於 $n\times n$ 的埃爾米特矩陣 $M$，下列性質與「$M$ 為正定矩陣」等價：

- $M$ 的所有的特徵值 $\lambda_i$ 都是正的。根據譜定理，$M$ 與一個實對角矩陣 $D$ 相似（也就是說 $M = U^{-1}DU$，其中 $U$ 是酉矩陣，或者說 $M$ 在某個正交基可以表示為一個實對角矩陣）。因此，$M$是正定陣若且唯若相應的 $D$ 的對角線上元素都是正的。另外，也可以假設 $\lambda_i$ 和 $\mathbf{v}_i$ 是 $M$ 的一組特徵值與特徵向量，根據定義 $M\mathbf{v}_i = \lambda_i \mathbf{v}_i$，從左側同乘以 $\mathbf{v}_i^*$ 得到：$\mathbf{v}_i^* M\mathbf{v}_i = \lambda_i \mathbf{v}_i^* \mathbf{v}_i = \lambda_i \Vert \mathbf{v}_i \Vert ^2$。因為 $M$ 是正定矩陣，根據定義我們有 $\mathbf{v}_i^* M\mathbf{v} >0$。移項整理後可以得到 $\lambda_i = \frac{\mathbf{v}^* M\mathbf{v}}{\Vert\mathbf{v}_i\Vert^2} >0$。注意因為特徵向量 $\mathbf{v}_i \neq \mathbf{0}$，所以前述 $\lambda_i$ 不會有無解的情形。
- 半雙線性形式 $\langle \textbf{x},\textbf{y}\rangle = \textbf{x}^{*} M \textbf{y}$ 定義了一個 $\mathbb{C}^n$上的內積。實際上，所有 $\mathbb{C}^n$上的內積都可視為由某個正定矩陣通過此種方式得到。
- $M$ 是向量 $\textbf{x}_1,\ldots,\textbf{x}_n \in \mathbb{C}^k$ 構成的格拉姆矩陣，其中 $k\in\mathbb{Z}^+$。更精確地說，$M=[m_{ij}]$ 定義為：$m_{ij} = \langle \textbf{x}_i, \textbf{x}_j\rangle = \textbf{x}_i^{*} \textbf{x}_j$。換句話說，$M$ 具有 $A^*A$ 的形式，其中 $A$ 不一定是方陣，但必須是單射的。
- $M$ 的所有順序主子式，也就是順序主子陣的行列式都是正的（西爾維斯特準則）。明確地說，就是考察 $M$ 左上角大小 $1\times 1,\ldots,n\times n$ 的子矩陣的行列式。對於半正定矩陣而言，相應的條件應改為所有的主子式非負。但順序主子式非負並不能推出矩陣是半正定的。比如以下例子： $$\begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 0 \end{bmatrix}$$
- 存在唯一的下三角矩陣 $L$，其主對角線上的元素全是正的，使得 $M=L L^*$。其中 $L^*$是 $L$ 的共軛轉置。這一分解被稱為科列斯基分解。

對於實對稱矩陣，只需將上述性質中的 $\mathbb{C}^n$改為 $\mathbb{R}^n$，並將「共軛轉置」改為「轉置」即可。

### 二次型

由以上的第二個等價條件，可以得到二次型形式下正定矩陣的等價條件：用 $\mathbb{K}$ 代表 $\mathbb{C}$ 或 $\mathbb{R}$，設 $\mathbb{V}$ 是 $\mathbb{K}$ 上的一個向量空間。一個埃爾米特型：

$$B : V \times V \rightarrow K$$

是一個雙線性映射，使得 $B(\mathbf{x},\mathbf{y})$ 總是 $B(\mathbf{y},\mathbf{x})$ 的共軛。這樣的一個映射 $B$ 是正定的若且唯若對於 $\mathbb{V}$ 中所有的非零向量 $\mathbf{x}$，都有 $B(\mathbf{x},\mathbf{x}) >0$。

## 負定、半定及不定矩陣

與正定矩陣對應，一個 $n\times n$ 的埃爾米特矩陣 $M$ 是負定矩陣（negative-definite matrix）若且唯若對所有非零向量 $\mathbf{z} \in \mathbb{R}^n$（或 $\mathbf{z} \in \mathbb{C}^n$），都有 $z^{*} M z < 0\,$。

$M$是半正定矩陣（positive semi-definite matrix）若且唯若對於所有非零向量 $\mathbf{z} \in \mathbb{R}^n$（或 $\mathbf{z} \in \mathbb{C}^n$），都有 $z^{*} M z \geq 0$。

$M$是半負定矩陣（negative semi-definite matrix）若且唯若對於所有非零向量 $\mathbf{z} \in \mathbb{R}^n$（或 $\mathbf{z} \in \mathbb{C}^n$），都有 $z^{*} M z \leq 0$。

如果一個埃爾米特矩陣既不是半正定也不是半負定的，那麼稱其為不定矩陣（indefinite matrix）。

可以看出，上一節中正定矩陣的第一個等價性質只需作出相應改動，就可以變為判別負定矩陣、半正定矩陣和半負定矩陣的準則。注意當 $M$ 是半正定時，相應的格拉姆矩陣不必由線性獨立的向量組成。對於任意矩陣 $A$，$A^*A$必是半正定的，並有 $\mathrm{rank}(A)=\mathrm{rank}(A^*A)$（兩者的秩相等）。反過來，任意的半正定矩陣都可以寫作 $M=A^*A$，這就是科列斯基分解。

對於任意矩陣 $A$，因為 $(A^*A)^*=A^*(A^*)^*=A^*A$，因此 $A^*A$ 是埃爾米特矩陣。令 $\mathbf{v}\in\mathbb{C}^n$，則 $\mathbf{v}^* (A^*A) \mathbf{v} = (\mathbf{v}^*A^*)(A\mathbf{v})=(A\mathbf{v})^*(A\mathbf{v})=\Vert A\mathbf{v}\Vert^2 \geq 0$，因此 $A^*A$ 是半正定的。另外，我們很容易證明 $A$ 與 $A^*A$ 有相同的零空間，根據秩 – 零化度定理，我們可以得到它們有相同的秩。

一個埃爾米特矩陣 $M$ 是負定矩陣若且唯若 $M$ 的所有奇數階順序主子式小於 $0$，所有偶數階順序主子式大於 $0$。當 $M$ 是負定矩陣時，$M$ 的逆矩陣也是負定的。

## 相關性質

若 $M$ 為半正定矩陣，可以記作 $M \geq 0$。如果$M$是正定矩陣，可以記作 $M > 0$。這個記法來自泛函分析，其中的正定矩陣定義了正算子。

對於一般的埃爾米特矩陣，$M$、$N$，$M\geq N$ 若且唯若 $M-N \geq 0$。這樣可以定義一個在埃爾米特矩陣集合上的偏序關係。類似地，可以定義$M>N$。

1.｜每個正定陣都是可逆的，它的逆也是正定陣。如果 $M \geq N > 0$ 那麼 $N^{-1} \geq M^{-1} > 0$。

2.｜如果 $M$ 是正定陣，$r > 0$ 為正實數，那麼 $r M$ 也是正定陣。如果 $M$、$N$ 是正定陣，那麼 $M + N$、$MNM$ 與 $NMN$ 都是正定的。如果 $M N = N M$，那麼 $M N$ 仍是正定陣。

3.｜如果 $M=(m_{ij}) > 0$ 那麼主對角線上的元素 $m_{ii}$ 為正實數。於是有 $\text{tr}(M)>0$。此外還有 :$| m_{ij} | \leq \sqrt{m_{ii} m_{jj}} \leq \frac{m_{ii}+m_{jj}}{2}$。

4.｜矩陣 $M$ 是正定陣若且唯若存在唯一的正定陣 $B>0$ 使得 $B^2 = M$。根據其唯一性可以記作 $B = M^{1/2}$，稱 $B$ 為 $M$ 的平方根。對半正定陣也有類似結論。同時，如果 $M > N > 0$ 那麼 $M^{1/2} > N^{1/2}>0$。

5.｜如果 $M,N > 0$ 那麼 $M\otimes N > 0$，其中 $\otimes$ 表示克羅內克積。

6.｜對矩陣 $M=(m_{ij}),\ N=(n_{ij})$，將兩者同一位置上的係數相乘所得的矩陣記為 $M\circ N$，即 $(M\circ N)_{i,j}=m_{ij} n_{ij}$，稱為$M$與$N$的 阿達馬乘積。如果 $M,N>0$，那麼 $M\circ N > 0$。如果 $M,N$ 為實係數矩陣，則以下不等式成立： $\det(M\circ N) \geq (\det N) \prod_{i} m_{ii}$。

7.｜設 $M > 0$，$N$ 為埃爾米特矩陣。如果 $MN+NM \geq 0$（相應地，$MN+NM > 0$），那麼 $N\geq 0$（相應地，$N > 0$）。

8.｜如果 $M,N\geq 0$ 為實係數矩陣，則 $\text{tr}(MN)\geq 0$。

9.｜如果 $M>0$ 為實係數矩陣，那麼存在 $\delta>0$ 使得 $M\geq \delta I$，其中 $I$ 為單位矩陣。

## 非埃爾米特矩陣的情況

一個實矩陣 $M$ 可能滿足對於所有的非零實向量 $\mathbf{x}$，$\mathbf{x}^T M\mathbf{x} >0$，卻不是對稱矩陣。舉例來說，矩陣

$\begin{bmatrix} 1 & 1 \\ -1 & 1 \end{bmatrix}$就滿足這個條件。對於 $\mathbf{x}=\begin{bmatrix} x_1 \\ x_2 \end{bmatrix}$ 並且 $\mathbf{x}\neq\mathbf{0}$，$\begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ -1 & 1 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = x_1^2 + x_2^2 > 0$。

一般來說，一個實係數矩陣 $M$ 滿足對所有非零實向量 $\mathbf{x}$，$\mathbf{x}^T M\mathbf{x} >0$，若且唯若對稱矩陣 $(M+M^T)/2$ 是正定矩陣。

對於復係數矩陣，情況可能會不太一樣。主要考慮如何擴展 $\mathbf{z}^* M\mathbf{z} >0$ 這一性質。要使得 $\mathbf{z}^* M\mathbf{z}$ 總為實數，矩陣 $M$ 必須是埃爾米特矩陣。因此，若 $\mathbf{z}^* M\mathbf{z}$ 總是正實數，$M$ 必然是正定的埃爾米特矩陣。如果將 $\mathbf{z}^* M\mathbf{z} >0$ 擴展為 $\Re(\mathbf{z}^* M\mathbf{z}) >0$，則等價於 $(M+M^*)/2$ 為正定矩陣。