多変量正規分布

確率論と統計学において、多変量正規分布（たへんりょうせいきぶんぷ、英: multivariate normal distribution）または多次元正規分布、あるいは結合正規分布（英: joint normal distribution）、もしくはこれらの語で「正規分布」を「ガウス分布」に換えたもの、は1次元の正規分布を高次元へと一般化した確率分布である。ベクトル値確率変数（英語版）が k 変量正規分布に従うとは、それらの k 個の成分（実数値確率変数）の任意の（実係数）線型結合が1変量正規分布に従うことを言う。この分布の重要性は主として、多変数の場合の中心極限定理の分布収束先として現れることによる。多変量正規分布はしばしば、少なくとも近似的に、互いに相関を持ち、平均ベクトルの周辺に値が集中するような確率変数の組を記述するのに用いられる。 k 次元ベクトル値確率変数 X = ( X 1 , … , X k ) {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})} が多変量正規分布に従っていることを、次のように記す： X   ∼   N ( μ , Σ ) {\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})} もしくは X が k 次元であることを明示して X   ∼   N k ( μ , Σ ) {\displaystyle \mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})} と書くこともある。 ここで k 次元平均ベクトルは μ = E ⁡ [ X ] = ( E ⁡ [ X 1 ] , E ⁡ [ X 2 ] , … , E ⁡ [ X k ] ) , {\displaystyle {\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),} であり、 k × k {\displaystyle k\times k} 分散共分散行列は Σ i , j := E ⁡ [ ( X i − μ i ) ( X j − μ j ) ] = Cov ⁡ [ X i , X j ] {\displaystyle \Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]} （ただし 1 ≤ i , j ≤ k {\displaystyle 1\leq i,j\leq k} ）である。分散共分散行列の逆行列は精度行列（precision matrix）と呼ばれ、 Q = Σ − 1 {\displaystyle {\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}} と記す。 実数値確率変数から成るベクトル X = ( X 1 , … , X k ) T {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }} が標準正規確率変数ベクトル（standard normal random vector）であるとは、それらの成分 X n {\displaystyle X_{n}} が独立であって、いずれも平均 0、分散 1 の正規分布に従っている（全ての n {\displaystyle n} に対し、 X n ∼   N ( 0 , 1 ) {\displaystyle X_{n}\sim \ {\mathcal {N}}(0,1)} ）ことを言う。 実数値確率変数から成るベクトル X = ( X 1 , … , X k ) T {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }} が中心化正規確率変数ベクトル（centered normal random vector）であるとは、 k × ℓ {\displaystyle k\times \ell } 実成分定行列 A {\displaystyle {\boldsymbol {A}}} が存在して、 A Z {\displaystyle {\boldsymbol {A}}\mathbf {Z} } が X {\displaystyle \mathbf {X} } と同一の確率分布に従うことを言う。ここで Z {\displaystyle \mathbf {Z} } は ℓ {\displaystyle \ell } 次元標準正規確率変数ベクトルである。 確率変数ベクトル X = ( X 1 , … , X k ) T {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }} が正規確率変数ベクトルであるとは、 ℓ {\displaystyle \ell } 成分の標準正規確率変数ベクトル Z {\displaystyle \mathbf {Z} } 、 k {\displaystyle k} 次元平均ベクトル μ {\displaystyle \mathbf {\mu } } 、および k × ℓ {\displaystyle k\times \ell } 行列 A {\displaystyle {\boldsymbol {A}}} があって、 X = A Z + μ {\displaystyle \mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } } と書けることを言う。 形式的に表すと： このとき共分散行列は Σ = A A T {\displaystyle {\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }} となる。 共分散行列が非正則である（退化している）場合、対応する多変量正規分布は（連続であるような）確率密度関数を持たない。このような事態は統計学ではしばしば起こり、例えば、最小二乗法における残差ベクトルがそうした分布に従うことがある。 また、ここでの成分 X i {\displaystyle X_{i}} の集まりは一般的には独立な確率変数ではないことに注意する。これらは独立な正規確率変数の集まり Z {\displaystyle \mathbf {Z} } に行列 A {\displaystyle {\boldsymbol {A}}} を作用させたものである。 上記の定義で用いた条件は、以下のいずれの条件とも同値である。ベクトル値確率変数 X = ( X 1 , … , X k ) T {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{k})^{T}} はこれらのいずれかが成り立つとき、多変量正規分布に従うと言う。 任意の線型結合 Y = a 1 X 1 + ⋯ + a k X k {\displaystyle Y=a_{1}X_{1}+\cdots +a_{k}X_{k}} （ a ∈ R k {\displaystyle \mathbf {a} \in \mathbb {R} ^{k}} を定ベクトルとして Y = a T X {\displaystyle Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X} } ）が（1変量）正規分布に従う。ただし分散が 0 の正規分布とは、その平均の位置に確率 1 の確率質量を持つような確率分布を意味することとする。 k 成分ベクトル μ {\displaystyle \mathbf {\mu } } と k × k {\displaystyle k\times k} 対称半正定値行列 Σ {\displaystyle {\boldsymbol {\Sigma }}} が存在して、 X {\displaystyle \mathbf {X} } の特性関数が φ X ( u ) = exp ⁡ ( i u T μ − 1 2 u T Σ u ) {\displaystyle \varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}} と書ける。 球面正規分布（spherical normal distribution）とは、どんな直交座標系で表示しても確率変数ベクトルの各成分が独立となるような分布、と特徴付けられる。 多変量正規分布が非退化であるとは、共分散行列 Σ {\displaystyle {\boldsymbol {\Sigma }}} が正定値であることである。この場合、分布は次の形の確率密度関数を持つ。 ここで x {\displaystyle {\mathbf {x} }} は実 k 次元列ベクトルで、 | Σ | ≡ det Σ {\displaystyle |{\boldsymbol {\Sigma }}|\equiv \det {\boldsymbol {\Sigma }}} は Σ {\displaystyle {\boldsymbol {\Sigma }}} の行列式である。 Σ {\displaystyle {\boldsymbol {\Sigma }}} が 1 × 1 {\displaystyle 1\times 1} 行列（つまり単一の実数）である場合、この式は1変量正規分布の確率密度関数に帰着する。 複素正規分布（英語版）の場合はこれとはわずかに違った形のものになる。 k+1 次元空間内の任意の「等高線」、つまり確率密度関数の値が等しくなるような点の集合は、楕円またはその高次元対応物となる。よって多変量正規分布は楕円分布（英語版）の特別な場合である。 記述統計量 ( x − μ ) T Σ − 1 ( x − μ ) {\displaystyle {\sqrt {({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})}}} はマハラノビス距離として知られ、試験ベクトル x {\displaystyle {\mathbf {x} }} と平均ベクトル μ {\displaystyle {\boldsymbol {\mu }}} との一種の距離を表す。 k = 1 {\displaystyle k=1} の場合、これは標準得点の絶対値に帰着する。 2次元で非退化の場合（k = rank(Σ) = 2）、ベクトル [X Y]′（右肩のダッシュは転置を表す）の確率密度関数は、 f ( x , y ) = 1 2 π σ X σ Y 1 − ρ 2 exp ⁡ ( − 1 2 ( 1 − ρ 2 ) [ ( x − μ X ) 2 σ X 2 + ( y − μ Y ) 2 σ Y 2 − 2 ρ ( x − μ X ) ( y − μ Y ) σ X σ Y ] ) {\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x-\mu _{X})^{2}}{\sigma _{X}^{2}}}+{\frac {(y-\mu _{Y})^{2}}{\sigma _{Y}^{2}}}-{\frac {2\rho (x-\mu _{X})(y-\mu _{Y})}{\sigma _{X}\sigma _{Y}}}\right]\right)} となる。ここで ρ は X と Y の相関係数であり、 σ X > 0 {\displaystyle \sigma _{X}>0} かつ σ Y > 0 {\displaystyle \sigma _{Y}>0} である。このとき、 μ = ( μ X μ Y ) , Σ = ( σ X 2 ρ σ X σ Y ρ σ X σ Y σ Y 2 ) {\displaystyle {\boldsymbol {\mu }}={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix}},\quad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix}}} 2次元のときは、多変量正規分布であるための同値な条件として挙げた最初の方は、やや緩められる： 可算無限通りの X と Y の線型結合がどれも正規分布に従うならば、ベクトル [X Y]′ は2変量正規分布に従う。 2変数の場合の等高線を x,y-平面にプロットすると楕円になる。相関係数 ρ が大きくなっていくとき、楕円は次の直線： y ( x ) = sgn ⁡ ( ρ ) σ Y σ X ( x − μ X ) + μ Y . {\displaystyle y(x)=\operatorname {sgn}(\rho ){\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X})+\mu _{Y}.} の方向に向かって押しつぶされていく。この背景として、この式の sgn(ρ) （"sgn" は符号関数）を ρ に取り換えたものは、X の値が与えられたときの Y の最良線形不偏予測量（英語版）（best linear unbiased prediction）になっているという性質がある。 確率変数 X {\displaystyle X} と Y {\displaystyle Y} が正規分布に従い、独立であるならば、これらの結合分布は結合正規分布である。つまり、対 ( X , Y ) {\displaystyle (X,Y)} は2変量正規分布に従う。しかしながら、多変量正規分布に従う確率変数ベクトルの相異なる2成分は独立であるとは限らない。それらが独立であるのは無相関（ ρ = 0 {\displaystyle \rho =0} ）の場合に限られる。 2個の確率変数 X {\displaystyle X} と Y {\displaystyle Y} がいずれも正規分布に従っているとしても、それらの対 ( X , Y ) {\displaystyle (X,Y)} は必ずしも2変量正規分布には従わない。次のように簡単な例（反例）が構成できる。 X は標準正規分布（平均 0、分散 1）に従う。 ある定数 c > 0 {\displaystyle c>0} があって、 | X | > c {\displaystyle |X|>c} ならば Y = X {\displaystyle Y=X} 、 | X | < c {\displaystyle |X|<c} ならば Y = − X {\displaystyle Y=-X} 3変数以上の場合も同様に反例が構成できる。一般に、こうした確率変数の和によって混合分布モデル（英語版）が作られる。 一般に、2個の確率変数が無相関であっても独立であるとは限らない。しかし、確率変数ベクトルが多変量正規分布に従っている場合、その2個以上の成分が互いに無相関であれば、それらは独立である。特に、これらが組ごとに独立（英語版）であれば、独立である。 しかしながら、すぐ上で指摘した例からわかるように、2個の確率変数が正規分布に従い、かつ無相関であるからといって、それらが独立であるとは限らない（X と Y の相関係数が 0 となるよう定数 c を選べばよい）。 多変量正規分布に従う確率変数ベクトルから、その中のいくつかの成分を抜き出した確率変数の組が従う周辺分布を得るには、単に平均ベクトル、分散共分散行列から無関係な成分を除けばよい。これが成り立つことは、多変量正規分布の定義と線形代数によって証明できる。 X = [X1, X2, X3] が多変量正規分布に従うとし、平均ベクトルを μ = [μ1, μ2, μ3]、分散共分散行列を Σ とする。 このとき X′ = [X1, X3] の周辺分布は再び多変量正規分布であり、その平均ベクトルは μ′ = [μ1, μ3]、分散共分散行列は Σ ′ = [ Σ 11 Σ 13 Σ 31 Σ 33 ] {\displaystyle {\boldsymbol {\Sigma }}'={\begin{bmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{13}\\{\boldsymbol {\Sigma }}_{31}&{\boldsymbol {\Sigma }}_{33}\end{bmatrix}}} である。 X   ∼ N ( μ , Σ ) {\displaystyle \mathbf {X} \ \sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})} で Y = c + BX がそのアフィン変換であるとき（c は M × 1 {\displaystyle M\times 1} 定ベクトル、B は M × N {\displaystyle M\times N} 定行列）、Y も多変量正規分布に従い、平均ベクトルは c + Bμ、分散共分散行列は BΣBT である（つまり Y ∼ N ( c + B μ , B Σ B T ) {\displaystyle \mathbf {Y} \sim {\mathcal {N}}\left(\mathbf {c} +\mathbf {B} {\boldsymbol {\mu }},\mathbf {B} {\boldsymbol {\Sigma }}\mathbf {B} ^{\rm {T}}\right)} ）。 特に、成分 Xi たちの任意の部分集合が従う周辺分布は再び多変量正規分布になる。例えば、部分集合 (X1, X2, X4)T を直接抜き出してくるには、行列 B = [ 1 0 0 0 0 … 0 0 1 0 0 0 … 0 0 0 0 1 0 … 0 ] {\displaystyle \mathbf {B} ={\begin{bmatrix}1&0&0&0&0&\ldots &0\\0&1&0&0&0&\ldots &0\\0&0&0&1&0&\ldots &0\end{bmatrix}}} を使えばよい。 別の系として、多変量正規分布に従う X と定ベクトル b のドット積をとった Z = b · X は、1変量正規分布に従う（ Z ∼ N ( b ⋅ μ , b T Σ b ) {\displaystyle Z\sim {\mathcal {N}}\left(\mathbf {b} \cdot {\boldsymbol {\mu }},\mathbf {b} ^{\rm {T}}{\boldsymbol {\Sigma }}\mathbf {b} \right)} ）。 B = [ b 1 b 2 … b n ] = b T {\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1}&b_{2}&\ldots &b_{n}\end{bmatrix}}=\mathbf {b} ^{\rm {T}}} と考えればよい。Σ の正定値性（半正定値性）から、ドット積をとった確率変数の分散は正（非負）になる。 X のアフィン変換 2X は、X と同一の分布に従う2個の独立な確率変数の和とは別物である。 確率密度関数が f ( x ) = 1 ( 2 π ) k | Σ | exp ⁡ ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) {\displaystyle f(\mathbf {x} )={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\exp \left(-{1 \over 2}(\mathbf {x} -{\boldsymbol {\mu }})^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})\right)} である多変量正規分布に従う大きさ n の標本から、共分散行列を推定することを考える。この場合の最尤推定量は Σ