EMアルゴリズム
応用数学 > 統計学 > EMアルゴリズム
データサイエンス > 機械学習 > EMアルゴリズム
EMアルゴリズム(英: expectation–maximization algorithm)とは、統計学において、確率モデルのパラメータを最尤推定する手法の一つであり、観測不可能な潜在変数に確率モデルが依存する場合に用いられる。EM法、期待値最大化法(きたいちさいだいかほう)とも呼ばれる。その一般性の高さから、機械学習、音声認識、因子分析など、広汎な応用がある。
EMアルゴリズムは反復法の一種であり、期待値(英: expectation, E) ステップと最大化 (英: maximization, M)ステップを交互に繰り返すことで計算が進行する。Eステップでは、現在推定されている潜在変数の分布に基づいて、モデルの尤度の期待値を計算する。Mステップでは、E ステップで求まった尤度の期待値を最大化するようなパラメータを求める。M ステップで求まったパラメータは、次の E ステップで使われる潜在変数の分布を決定するために用いられる。
K L ( q | | p X , θ ) = − ∑ Z q ( Z ) log  p ( Z | X , θ ) q ( Z ) {\displaystyle \mathrm {KL} (q||p_{X,\theta })=-\sum _{Z}q(Z)\log {p(Z|X,\theta ) \over q(Z)}}
を使って
L ( q , θ ) = l ( θ | X ) − K L ( q | | p X , θ ) {\displaystyle {\mathcal {L}}(q,\theta )=\ell (\theta |X)-\mathrm {KL} (q||p_{X,\theta })} ...(Eq.2)
と書ける事が分かる。カルバック・ライブラー情報量が常に非負である事(ギブスの不等式)から、
l ( θ | X ) ≥ L ( q , θ ) {\displaystyle \ell (\theta |X)\geq {\mathcal {L}}(q,\theta )}
であるので、 L ( q , θ ) {\displaystyle {\mathcal {L}}(q,\theta )} は l ( θ | X ) {\displaystyle \ell (\theta |X)} の下限になっている。