協方差矩陣

<image>

在統計學與機率論中，協方差矩陣（covariance matrix）是一個方陣，代表著任兩列多維隨機變量間的協方差，是協方差的直接推廣。

## 定義

設 $(\Omega,\,\Sigma,\, P)$ 是機率空間， $X = \{x_i\}^{m}_{i=1}$ 與 $Y = \{y_i\}^{n}_{j=1}$ 是定義在 $\Omega$ 上的兩列實數隨機變量序列

若二者對應的期望值分別為：

$$E(x_i) = \int_{\Omega} x_i \,dP = \mu_i$$

$$E(y_j) = \int_{\Omega} y_j \,dP = \nu_j$$

則這兩列隨機變量間的協方差矩陣為：

$$\operatorname{\mathbf{cov}}(X, Y) := {\left[\,\operatorname{cov}(x_i, y_j)\,\right]}_{m \times n} = {\bigg[\,\operatorname{E}[(x_i-\mu_i)(y_j-\nu_j)]\,\bigg]}_{m \times n}$$

將之以矩形表示的話就是：

$$\operatorname{\mathbf{cov}}(X, Y) =\begin{bmatrix} <pre> \operatorname{cov}(x_1, y_1) & \operatorname{cov}(x_1, y_2) & \cdots & \operatorname{cov}(x_1, y_n) \\ \operatorname{cov}(x_2, y_1) & \operatorname{cov}(x_2, y_2) & \cdots & \operatorname{cov}(x_2, y_n) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{cov}(x_m, y_1) & \operatorname{cov}(x_m, y_2) & \cdots & \operatorname{cov}(x_m, y_n) </pre> \end{bmatrix}$$

$$= \begin{bmatrix} <pre> \mathrm{E}[(x_1 - \mu_1)(y_1 - \nu_1)] & \mathrm{E}[(x_1 - \mu_1)(y_2 - \nu_2)] & \cdots & \mathrm{E}[(x_1 - \mu_1)(y_n - \nu_n)] \\ \mathrm{E}[(x_2 - \mu_2)(y_1 - \nu_1)] & \mathrm{E}[(x_2 - \mu_2)(y_2 - \nu_2)] & \cdots & \mathrm{E}[(x_2 - \mu_2)(y_n - \nu_n)] \\ \vdots & \vdots & \ddots & \vdots \\ \mathrm{E}[(x_m - \mu_m)(y_1 - \nu_1)] & \mathrm{E}[(x_m - \mu_m)(y_2 - \nu_2)] & \cdots & \mathrm{E}[(x_m - \mu_m)(y_n - \nu_n)] </pre> \end{bmatrix}$$

根據測度積分的線性性質，協方差矩陣還可以進一步化簡為：

$$\operatorname{\mathbf{cov}}(X, Y) = {\left[\,\operatorname{E}(x_i y_j) - \mu_i \nu_j\,\right]}_{n \times n}$$

### 矩陣表示法

以上定義所述的隨機變數序列 $X$ 和 $Y$，也可分別以用行向量 $\mathbf{X} := {\left[x_i\right]}_{m}$ 與 $\mathbf{Y} := {\left[y_j\right]}_{n}$ 表示，換句話說：

$\mathbf{X} := \begin{bmatrix} <pre> x_1 \\ x_2 \\ \vdots \\ x_m </pre> \end{bmatrix}$ $\mathbf{Y} := \begin{bmatrix} <pre> y_1 \\ y_2 \\ \vdots \\ y_n </pre> \end{bmatrix}$

這樣的話，對於 $m \times n$ 個定義在 $\Omega$ 上的隨機變數 $a_{ij}$ 所組成的矩陣 $\mathbf{A} = {\left[\,a_{ij}\,\right]}_{m \times n}$，定義：

$$\mathrm{E}[\mathbf{A}] := {\left[\,\operatorname{E}(a_{ij})\,\right]}_{m \times n}$$

也就是說

$$\mathrm{E}[\mathbf{A}] := \begin{bmatrix} <pre> \operatorname{E}(a_{11}) & \operatorname{E}(a_{12}) & \cdots & \operatorname{E}(a_{1n}) \\ \operatorname{E}(a_{21}) & \operatorname{E}(a_{22}) & \cdots & \operatorname{E}(a_{2n}) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{E}(a_{m1}) & \operatorname{E}(a_{m2}) & \cdots & \operatorname{E}(a_{mn}) </pre> \end{bmatrix}$$

那上小節定義的協方差矩陣就可以記為：

$$\operatorname{\mathbf{cov}}(X, Y) =\mathrm{E} \left[ <pre> \left( \mathbf{X} - \mathrm{E}[\mathbf{X}] \right) \left( \mathbf{Y} - \mathrm{E}[\mathbf{Y}] \right)^{\rm T} </pre> \right]$$

所以協方差矩陣也可對 $\mathbf{X}$ 與 $\mathbf{Y}$ 來定義：

$$\operatorname{\mathbf{cov}}(\mathbf{X}, \mathbf{Y}) :=\mathrm{E} \left[ <pre> \left( \mathbf{X} - \mathrm{E}[\mathbf{X}] \right) \left( \mathbf{Y} - \mathrm{E}[\mathbf{Y}] \right)^{\rm T} </pre> \right]$$

### 術語與符號分歧

也有人把以下的 $\mathbf{\Sigma}_{X}$ 稱為協方差矩陣：

$$\begin{align} \mathbf{\Sigma}_{X} & := {\left[\operatorname{cov}(x_i, x_j)\right]}_{m \times m} \\ & = \operatorname{\mathbf{cov}}(X, X) \end{align}$$

但本頁面沿用威廉·費勒的說法，把 $\mathbf{\Sigma}_{X}$ 稱為 $X$ 的方差（variance of random vector），來跟 $\operatorname{\mathbf{cov}}(X, Y)$ 作區別。這是因為：

$$\operatorname{cov}(x_i, x_i) = \operatorname{E}[{(x_i-\mu_i)}^2] = \operatorname{var}(x_i)$$

換句話說， $\mathbf{\Sigma}_{X}$ 的對角線由隨機變數 $x_i$ 的方差所組成。據此，也有人也把 $\operatorname{\mathbf{cov}}(X, Y)$ 稱為方差-協方差矩陣（variance–covariance matrix）。

更有人因為方差和離差的相關性，含混的將 $\operatorname{\mathbf{cov}}(X, Y)$ 稱為離差矩陣。

## 性質

$\mathbf{\Sigma} = \operatorname{\mathbf{cov}}(X, X)$ 有以下的基本性質：

- $$\mathbf{\Sigma} = \mathrm{E}(\mathbf{X}\mathbf{X}^T) - \mathrm{E}(\mathbf{X}){[\mathrm{E}(\mathbf{X})]}^T$$
- $\mathbf{\Sigma}$是半正定的和對稱的矩陣。
- $$\operatorname{var}(\mathbf{a^T}\mathbf{X}) = \mathbf{a^T} \operatorname{var}(\mathbf{X}) \mathbf{a}$$
- $$\mathbf{\Sigma} \geq 0$$
- $$\operatorname{var}(\mathbf{A X} + \mathbf{a}) = \mathbf{A} \operatorname{var}(\mathbf{X}) \mathbf{A^T}$$
- $$\operatorname{cov}(\mathbf{X},\mathbf{Y}) = \operatorname{cov}(\mathbf{Y},\mathbf{X})^T$$
- $$\operatorname{cov}(\mathbf{X_1} + \mathbf{X_2},\mathbf{Y}) = \operatorname{cov}(\mathbf{X_1},\mathbf{Y}) + \operatorname{cov}(\mathbf{X_2}, \mathbf{Y})$$
- 若 $p = q$，則有$\operatorname{var}(\mathbf{X} + \mathbf{Y}) = \operatorname{var}(\mathbf{X}) + \operatorname{cov}(\mathbf{X},\mathbf{Y}) + \operatorname{cov}(\mathbf{Y}, \mathbf{X}) + \operatorname{var}(\mathbf{Y})$
- $$\operatorname{cov}(\mathbf{AX}, \mathbf{BX}) = \mathbf{A} \operatorname{cov}(\mathbf{X}, \mathbf{X}) \mathbf{B}^T$$
- 若$\mathbf{X}$ 與$\mathbf{Y}$ 是獨立的，則有$\operatorname{cov}(\mathbf{X}, \mathbf{Y}) = 0$
- $$\mathbf{\Sigma} = \mathbf{\Sigma}^T$$

儘管共變異數矩陣很簡單，可它卻是很多領域裡的非常有力的工具。它能導出一個變換矩陣，這個矩陣能使數據完全去相關(decorrelation)。從不同的角度看，也就是說能夠找出一組最佳的基以緊湊的方式來表達數據。(完整的證明請參考瑞利商)。

這個方法在統計學中被稱為主成分分析(principal components analysis)，在圖像處理中稱為Karhunen-Loève 變換(KL-變換)。

## 複隨機向量

均值為$\mu$的複隨機標量變量的方差定義如下（使用共軛複數）：

$$\operatorname{var}(z) = \operatorname{E} \left[ <pre> (z-\mu)(z-\mu)^{*} </pre> \right]$$

其中複數$z$的共軛記為$z^{*}$。

如果$Z$ 是一個複列向量,則取其共軛轉置，得到一個方陣:

$$\operatorname{E} \left[ <pre> (Z-\mu)(Z-\mu)^{*} </pre> \right]$$

其中$Z^{*}$為共軛轉置, 它對於標量也成立，因為標量的轉置還是標量。

## 估計

多元正態分布的共變異數矩陣的估計的推導非常精緻. 它需要用到譜定義以及為什麼把標量看做$1 \times 1$矩陣的跡更好的原因。參見共變異數矩陣的估計。

## 外部連結

- Covariance Matrix at Mathworld