分散共分散行列
次のような列ベクトルを考える。
X = [ X 1 X 2 ⋮ X n ] {\displaystyle {\textbf {X}}={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{bmatrix}}}
このベクトルの要素が各々分散が有限である確率変数であるとき、( i, j ) の要素が次のような行列 Σ を分散共分散行列という。
Σ i j = E [ ( X i − μ i ) ( X j − μ j ) ] = E ( X i X j ) − E ( X i ) E ( X j ) {\displaystyle \Sigma _{ij}=\mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}=\mathrm {E} (X_{i}X_{j})-\mathrm {E} (X_{i})\mathrm {E} (X_{j})}
ただし、
μ i = E ( X i ) {\displaystyle \mu _{i}=\mathrm {E} (X_{i})\,}
上記の定義は、下記の等式と同値である。
Σ = E [ ( X − E [ X ] ) ( X − E [ X ] ) ⊤ ] {\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{\top }\right]}
この形は、スカラー値における分散を高次元に拡張したものと捉えられる。 スカラー値を取る確率変数 X について、次が成り立つことに注意する。
σ 2 = v a r ( X ) = E [ ( X − μ ) 2 ] {\displaystyle \sigma ^{2}=\mathrm {var} (X)=\mathrm {E} [(X-\mu )^{2}]\ }
ただし、
μ = E ( X ) {\displaystyle \mu =\mathrm {E} (X)\ }
Σ {\displaystyle \Sigma } が、分散共分散行列と呼ばれるのは、対角要素は分散だからである。