协方差矩阵

在统计学与概率论中，协方差矩阵（covariance matrix）是一个方阵，代表著任兩列随机变量（英语：Multivariate random variable）间的协方差，是协方差的直接推广。 定義 —  設 ( Ω , Σ , P ) {\displaystyle (\Omega ,\,\Sigma ,\,P)} 是機率空間， X = { x i } i = 1 m {\displaystyle X=\{x_{i}\}_{i=1}^{m}} 与 Y = { y i } j = 1 n {\displaystyle Y=\{y_{i}\}_{j=1}^{n}} 是定義在 Ω {\displaystyle \Omega } 上的兩列实数随机变量序列 若二者对应的期望值分别为： E ( x i ) = ∫ Ω x i d P = μ i {\displaystyle E(x_{i})=\int _{\Omega }x_{i}\,dP=\mu _{i}} E ( y j ) = ∫ Ω y j d P = ν j {\displaystyle E(y_{j})=\int _{\Omega }y_{j}\,dP=\nu _{j}} 則这两列隨機变量间的协方差矩阵为： c o v ⁡ ( X , Y ) := [ cov ⁡ ( x i , y j ) ] m × n = [ E ⁡ [ ( x i − μ i ) ( y j − ν j ) ] ] m × n {\displaystyle \operatorname {\mathbf {cov} } (X,Y):={\left[\,\operatorname {cov} (x_{i},y_{j})\,\right]}_{m\times n}={{\bigg [}\,\operatorname {E} [(x_{i}-\mu _{i})(y_{j}-\nu _{j})]\,{\bigg ]}}_{m\times n}} 將之以矩形表示的話就是： c o v ⁡ ( X , Y ) = [ cov ⁡ ( x 1 , y 1 ) cov ⁡ ( x 1 , y 2 ) ⋯ cov ⁡ ( x 1 , y n ) cov ⁡ ( x 2 , y 1 ) cov ⁡ ( x 2 , y 2 ) ⋯ cov ⁡ ( x 2 , y n ) ⋮ ⋮ ⋱ ⋮ cov ⁡ ( x m , y 1 ) cov ⁡ ( x m , y 2 ) ⋯ cov ⁡ ( x m , y n ) ] {\displaystyle \operatorname {\mathbf {cov} } (X,Y)={\begin{bmatrix}\operatorname {cov} (x_{1},y_{1})&\operatorname {cov} (x_{1},y_{2})&\cdots &\operatorname {cov} (x_{1},y_{n})\\\operatorname {cov} (x_{2},y_{1})&\operatorname {cov} (x_{2},y_{2})&\cdots &\operatorname {cov} (x_{2},y_{n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {cov} (x_{m},y_{1})&\operatorname {cov} (x_{m},y_{2})&\cdots &\operatorname {cov} (x_{m},y_{n})\end{bmatrix}}} = [ E [ ( x 1 − μ 1 ) ( y 1 − ν 1 ) ] E [ ( x 1 − μ 1 ) ( y 2 − ν 2 ) ] ⋯ E [ ( x 1 − μ 1 ) ( y n − ν n ) ] E [ ( x 2 − μ 2 ) ( y 1 − ν 1 ) ] E [ ( x 2 − μ 2 ) ( y 2 − ν 2 ) ] ⋯ E [ ( x 2 − μ 2 ) ( y n − ν n ) ] ⋮ ⋮ ⋱ ⋮ E [ ( x m − μ m ) ( y 1 − ν 1 ) ] E [ ( x m − μ m ) ( y 2 − ν 2 ) ] ⋯ E [ ( x m − μ m ) ( y n − ν n ) ] ] {\displaystyle ={\begin{bmatrix}\mathrm {E} [(x_{1}-\mu _{1})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{1}-\mu _{1})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{1}-\mu _{1})(y_{n}-\nu _{n})]\\\mathrm {E} [(x_{2}-\mu _{2})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{2}-\mu _{2})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{2}-\mu _{2})(y_{n}-\nu _{n})]\\\vdots &\vdots &\ddots &\vdots \\\mathrm {E} [(x_{m}-\mu _{m})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{m}-\mu _{m})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{m}-\mu _{m})(y_{n}-\nu _{n})]\end{bmatrix}}} 根據測度積分的線性性質，协方差矩阵還可以進一步化簡為： c o v ⁡ ( X , Y ) = [ E ⁡ ( x i y j ) − μ i ν j ] n × n {\displaystyle \operatorname {\mathbf {cov} } (X,Y)={\left[\,\operatorname {E} (x_{i}y_{j})-\mu _{i}\nu _{j}\,\right]}_{n\times n}} 以上定義所述的隨機變數序列 X {\displaystyle X} 和 Y {\displaystyle Y} ，也可分別以用行向量 X := [ x i ] m {\displaystyle \mathbf {X} :={\left[x_{i}\right]}_{m}} 與 Y := [ y j ] n {\displaystyle \mathbf {Y} :={\left[y_{j}\right]}_{n}} 表示，換句話說： X := [ x 1 x 2 ⋮ x m ] {\displaystyle \mathbf {X} :={\begin{bmatrix}x_{1}\\x_{2}\\\vdots \\x_{m}\end{bmatrix}}} Y := [ y 1 y 2 ⋮ y n ] {\displaystyle \mathbf {Y} :={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}} 這樣的話，對於 m × n {\displaystyle m\times n} 個定義在 Ω {\displaystyle \Omega } 上的隨機變數 a i j {\displaystyle a_{ij}} 所組成的矩陣 A = [ a i j ] m × n {\displaystyle \mathbf {A} ={\left[\,a_{ij}\,\right]}_{m\times n}} ， 定義： E [ A ] := [ E ⁡ ( a i j ) ] m × n {\displaystyle \mathrm {E} [\mathbf {A} ]:={\left[\,\operatorname {E} (a_{ij})\,\right]}_{m\times n}} 也就是說 E [ A ] := [ E ⁡ ( a 11 ) E ⁡ ( a 12 ) ⋯ E ⁡ ( a 1 n ) E ⁡ ( a 21 ) E ⁡ ( a 22 ) ⋯ E ⁡ ( a 2 n ) ⋮ ⋮ ⋱ ⋮ E ⁡ ( a m 1 ) E ⁡ ( a m 2 ) ⋯ E ⁡ ( a m n ) ] {\displaystyle \mathrm {E} [\mathbf {A} ]:={\begin{bmatrix}\operatorname {E} (a_{11})&\operatorname {E} (a_{12})&\cdots &\operatorname {E} (a_{1n})\\\operatorname {E} (a_{21})&\operatorname {E} (a_{22})&\cdots &\operatorname {E} (a_{2n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {E} (a_{m1})&\operatorname {E} (a_{m2})&\cdots &\operatorname {E} (a_{mn})\end{bmatrix}}} 那上小節定義的协方差矩阵就可以記为： c o v ⁡ ( X , Y ) = E [ ( X − E [ X ] ) ( Y − E [ Y ] ) T ] {\displaystyle \operatorname {\mathbf {cov} } (X,Y)=\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {Y} -\mathrm {E} [\mathbf {Y} ]\right)^{\rm {T}}\right]} 所以协方差矩阵也可對 X {\displaystyle \mathbf {X} } 與 Y {\displaystyle \mathbf {Y} } 來定義： c o v ⁡ ( X , Y ) := E [ ( X − E [ X ] ) ( Y − E [ Y ] ) T ] {\displaystyle \operatorname {\mathbf {cov} } (\mathbf {X} ,\mathbf {Y} ):=\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {Y} -\mathrm {E} [\mathbf {Y} ]\right)^{\rm {T}}\right]} 也有人把以下的 Σ X {\displaystyle \mathbf {\Sigma } _{X}} 稱為协方差矩阵： Σ X := [ cov ⁡ ( x i , x j ) ] m × m = c o v ⁡ ( X , X ) {\displaystyle {\begin{aligned}\mathbf {\Sigma } _{X}&:={\left[\operatorname {cov} (x_{i},x_{j})\right]}_{m\times m}\\&=\operatorname {\mathbf {cov} } (X,X)\end{aligned}}} 但本頁面沿用威廉·费勒的说法，把 Σ X {\displaystyle \mathbf {\Sigma } _{X}} 稱為 X {\displaystyle X} 的方差（variance of random vector），來跟 c o v ⁡ ( X , Y ) {\displaystyle \operatorname {\mathbf {cov} } (X,Y)} 作區別。這是因為： cov ⁡ ( x i , x i ) = E ⁡ [ ( x i − μ i ) 2 ] = var ⁡ ( x i ) {\displaystyle \operatorname {cov} (x_{i},x_{i})=\operatorname {E} [{(x_{i}-\mu _{i})}^{2}]=\operatorname {var} (x_{i})} 換句話說， Σ X {\displaystyle \mathbf {\Sigma } _{X}} 的對角線由隨機變數 x i {\displaystyle x_{i}} 的方差所組成。據此，也有人也把 c o v ⁡ ( X , Y ) {\displaystyle \operatorname {\mathbf {cov} } (X,Y)} 稱為方差-协方差矩阵（variance–covariance matrix）。 更有人因為方差和离差的相關性，含混的將 c o v ⁡ ( X , Y ) {\displaystyle \operatorname {\mathbf {cov} } (X,Y)} 稱為离差矩阵。 Σ = c o v ⁡ ( X , X ) {\displaystyle \mathbf {\Sigma } =\operatorname {\mathbf {cov} } (X,X)} 有以下的基本性质： Σ = E ( X X T ) − E ( X ) [ E ( X ) ] T {\displaystyle \mathbf {\Sigma } =\mathrm {E} (\mathbf {X} \mathbf {X} ^{T})-\mathrm {E} (\mathbf {X} ){[\mathrm {E} (\mathbf {X} )]}^{T}} Σ {\displaystyle \mathbf {\Sigma } } 是半正定的和对称的矩阵。 var ⁡ ( a T X ) = a T var ⁡ ( X ) a {\displaystyle \operatorname {var} (\mathbf {a^{T}} \mathbf {X} )=\mathbf {a^{T}} \operatorname {var} (\mathbf {X} )\mathbf {a} } Σ ≥ 0 {\displaystyle \mathbf {\Sigma } \geq 0} var ⁡ ( A X + a ) = A var ⁡ ( X ) A T {\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \operatorname {var} (\mathbf {X} )\mathbf {A^{T}} } cov ⁡ ( X , Y ) = cov ⁡ ( Y , X ) T {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{T}} cov ⁡ ( X 1 + X 2 , Y ) = cov ⁡ ( X 1 , Y ) + cov ⁡ ( X 2 , Y ) {\displaystyle \operatorname {cov} (\mathbf {X_{1}} +\mathbf {X_{2}} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2}} ,\mathbf {Y} )} 若 p = q {\displaystyle p=q} ，則有 var ⁡ ( X + Y ) = var ⁡ ( X ) + cov ⁡ ( X , Y ) + cov ⁡ ( Y , X ) + var ⁡ ( Y ) {\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )} cov ⁡ ( A X , B X ) = A cov ⁡ ( X , X ) B T {\displaystyle \operatorname {cov} (\mathbf {AX} ,\mathbf {BX} )=\mathbf {A} \operatorname {cov} (\mathbf {X} ,\mathbf {X} )\mathbf {B} ^{T}} 若 X {\displaystyle \mathbf {X} } 与 Y {\displaystyle \mathbf {Y} } 是独立的，則有 cov ⁡ ( X , Y ) = 0 {\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0} Σ = Σ T {\displaystyle \mathbf {\Sigma } =\mathbf {\Sigma } ^{T}} 尽管共變異數矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。 均值为 μ {\displaystyle \mu } 的複随机标量变量的方差定义如下（使用共轭複数）： var ⁡ ( z ) = E ⁡ [ ( z − μ ) ( z − μ ) ∗ ] {\displaystyle \operatorname {var} (z)=\operatorname {E} \left[(z-\mu )(z-\mu )^{*}\right]} 其中复数 z {\displaystyle z} 的共轭记为 z ∗ {\displaystyle z^{*}} 。 如果 Z {\displaystyle Z} 是一个复列向量,则取其共轭转置，得到一个方阵: E ⁡ [ ( Z − μ ) ( Z − μ ) ∗ ] {\displaystyle \operatorname {E} \left[(Z-\mu )(Z-\mu )^{*}\right]} 其中 Z ∗ {\displaystyle Z^{*}} 为共轭转置, 它对于标量也成立，因为标量的转置还是标量。 多元正态分布的共變異數矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做 1 × 1 {\displaystyle 1\times 1} 矩阵的迹更好的原因。参见共變異數矩阵的估计。 Covariance Matrix（页面存档备份，存于互联网档案馆） at Mathworld