协方差矩阵

在統計學與機率論中，**共變異數矩陣**（也稱**離差矩陣**、**變異數 - 共變異數矩陣**）是一個矩陣，其 _i_, _j_ 位置的元素是第 _i_ 個與第 _j_ 個隨機變數之間的共變異數。這是從純量隨機變數到高維度隨機向量的自然推廣。

## 定義

假設 $X$ 是以 $n$ 個隨機變數組成的行向量，

　
: $\mathbf {X} ={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{bmatrix}}$

並且 $\mu _{i}$ 是 $X_{i}$ 的期望值，即， $\mu _{i}=\mathrm {E} (X_{i})$ 。共變異數矩陣的第 $(i,j)$ 項（第 $(i,j)$ 項是一個共變異數）被定義為如下形式：

　
: $\Sigma _{ij}=\mathrm {cov} (X_{i},X_{j})=\mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}$

而共變異數矩陣為：

　
: $\Sigma =\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)^{\rm {T}}\right]$

　
: : $={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}$

矩陣中的第 $(i,j)$ 個元素是 $X_{i}$ 與 $X_{j}$ 的共變異數。這個概念是對於純量隨機變數變異數的一般化推廣。

## 術語與符號分歧

共變異數矩陣有不同的術語。有些統計學家，沿用了機率學家威廉・費勒的說法，把這個矩陣稱之為隨機向量 $X$ 的**變異數**（Variance of random vector X），這是從一維隨機變數變異數到高維隨機向量的自然推廣。另外一些則把它稱為**共變異數矩陣**（Covariance matrix），因為它是隨機向量裡頭每個純量元素的共變異數的矩陣（或者說它是多維隨機變數各維度兩兩之間的共變異數組合而成的矩陣）。不幸的是，這兩種術語帶來了一定程度上的衝突：

隨機向量 $X$ 的變異數（Variance of random vector X）定義有如下兩種形式：

　
: $\operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\mathrm {E} \left[(\mathbf {X} -\mathrm {E} [\mathbf {X} ])(\mathbf {X} -\mathrm {E} [\mathbf {X} ])^{\rm {T}}\right].$

共變異數矩陣 **（Covariance matrix）定義如下：**

　
: $\operatorname {cov} ({\textbf {X}},{\textbf {Y}})=\mathrm {E} \left[({\textbf {X}}-\mathrm {E} [{\textbf {X}}])({\textbf {Y}}-\mathrm {E} [{\textbf {Y}}])^{\top }\right]$

第一個記號可以在威廉・費勒的廣受推崇的兩冊機率論及其應用的書中找到。兩個術語除了記法之外並沒有不同。

## 性質

 $\Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]$ 與 $\mu =\mathrm {E} ({\textbf {X}})$ 滿足下邊的基本性質：

 1. $\Sigma =\mathrm {E} (\mathbf {XX^{\top }} )-\mathbf {\mu } \mathbf {\mu ^{\top }} $
2. $\Sigma $ 是半正定的和對稱的矩陣。
3. $\operatorname {var} (\mathbf {a^{\top }} \mathbf {X} )=\mathbf {a^{\top }} \operatorname {var} (\mathbf {X} )\mathbf {a} $
4. $\mathbf {\Sigma } \geq 0$
5. $\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \operatorname {var} (\mathbf {X} )\mathbf {A^{\top }} $
6. $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }$
7. $\operatorname {cov} (\mathbf {X_{1}} +\mathbf {X_{2}} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2}} ,\mathbf {Y} )$
8. 若 $p=q$ ，則有 $\operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )$
9. $\operatorname {cov} (\mathbf {AX} ,\mathbf {BX} )=\mathbf {A} \operatorname {cov} (\mathbf {X} ,\mathbf {X} )\mathbf {B} ^{\top }$
10. 若 $\mathbf {X} $ 與 $\mathbf {Y} $ 是獨立的，則有 $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0$
11. $\Sigma =\Sigma ^{\top }$

其中 $\mathbf {X} ,\mathbf {X_{1}} $ 與 $\mathbf {X_{2}} $ 是隨機 $\mathbf {(p\times 1)} $ 向量， $\mathbf {Y} $ 是隨機 $\mathbf {(q\times 1)} $ 向量， $\mathbf {a} $ 是 $\mathbf {(p\times 1)} $ 向量， $\mathbf {A} $ 與 $\mathbf {B} $ 是 $\mathbf {(q\times p)} $ 矩陣。

儘管共變異數矩陣很簡單，可它卻是很多領域裡的非常有力的工具。它能導出一個轉換矩陣，這個矩陣能使數據完全去相關 (decorrelation)。從不同的角度看，也就是說能夠找出一組最佳的基以緊湊的方式來表達數據。(完整的證明請參考瑞利商)。
這個方法在統計學中被稱為主成分分析 (principal components analysis)，在圖像處理中稱為 Karhunen-Loève 轉換 (KL - 轉換)。

## 複隨機向量

均值為 $\mu $ 的複隨機純量變數的變異數定義如下（使用共軛複數）：

　
: $\operatorname {var} (z)=\operatorname {E} \left[(z-\mu )(z-\mu )^{*}\right]$

其中複數 $z$ 的共軛記為 $z^{*}$ 。

如果 $Z$ 是一個複列向量，則取其共軛轉置，得到一個方陣:

　
: $\operatorname {E} \left[(Z-\mu )(Z-\mu )^{*}\right]$

其中 $Z^{*}$ 為共軛轉置，它對於純量也成立，因為純量的轉置還是純量。

## 估計

多元常態分布的共變異數矩陣的估計的推導非常精緻。它需要用到譜定義以及為什麼把純量看做 $1\times 1$ 矩陣的跡更好的原因。參見共變異數矩陣的估計。

## 外部連結

* Covariance Matrix（頁面存檔備份，存於網際網路檔案館） at Mathworld