多変量正規分布
平均ベクトル μ、分散共分散行列 Σ の N 次元正規分布に従う乱数ベクトルを生成する方法として、以下に述べるような手法が広く用いられている。
A A = Σ となるような実行列 A をどれか1つ見つける。Σ が正定値の場合はコレスキー分解が典型的に用いられるが、(平方根演算を避けた)拡張法は Σ が半正定値であれば必ず通用し、いずれの方法でも適当な行列 A が得られる。別の方法として、Σ のスペクトル分解 Σ = UΛU を用いて A = UΛ としてもよい。前者は計算論的に率直な手法だが、分布の基となる確率変数の並べ替え(Σ の行・列交換)によって行列 A は異なったものに変化する。一方後者は、このような変換をしても A の成分が並べ直されるだけである。理論上はどちらの手法を使っても行列が同程度に良く求まるが、計算時間には違いが出る。
z = (z1, ..., zN) を、標準正規分布に従う N 個の独立な確率変数から成るベクトルとする(このような乱数は例えばボックス=ミュラー法によって得られる)。
x を μ + Az とする。アフィン変換の性質より、このベクトルは所望の分布に従っている。
X ∼ N ( μ , Σ ) {\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})} で Y = c + BX がそのアフィン変換であるとき(c は M × 1 {\displaystyle M\times 1} 定ベクトル、B は M × N {\displaystyle M\times N} 定行列)、Y も多変量正規分布に従い、平均ベクトルは c + Bμ、分散共分散行列は BΣB である(つまり Y ∼ N ( c + B μ , B Σ B T ) {\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)} )。
特に、成分 Xi たちの任意の部分集合が従う周辺分布は再び多変量正規分布になる。例えば、部分集合 (X1, X2, X4) を直接抜き出してくるには、行列
B = [ 1 0 0 0 0 ... 0 0 1 0 0 0 ... 0 0 0 0 1 0 ...
0 ] {\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}}
を使えばよい。
別の系として、多変量正規分布に従う X と定ベクトル b のドット積をとった Z = b · X は、1変量正規分布に従う( Z ∼ N ( b ⋅ μ , b T Σ b ) {\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)} )。
B = [ b 1 b 2 ... b n ] = b T {\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}}
と考えればよい。Σ の正定値性(半正定値性)から、ドット積をとった確率変数の分散は正(非負)になる。
X のアフィン変換 2X は、X と同一の分布に従う2個の独立な確率変数の和とは別物である。
確率密度関数が
f ( x ) = 1 ( 2 π ) k | Σ | exp  ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) {\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)}
である多変量正規分布に従う大きさ n の標本から、共分散行列を推定することを考える。この場合の最尤推定量は
Σ ^ = 1 n ∑ i = 1 n ( x i − x ̄ ) ( x i − x ̄ ) T {\displaystyle {\widehat {\boldsymbol {\Sigma }}}={1 \over n}\sum _{i=1}^{n}({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})({\mathbf {x} }_{i}-{\overline {\mathbf {x} }})^{\rm {T}}}