EMアルゴリズム
EステップとMステップの切れ目は書籍により異なるので注意が必要である。本項では次節の議論と整合性をとる為に文献の切れ目に従ったが、文献では Q ( θ | θ ^ ( t ) ) {\displaystyle Q(\theta |{\hat {\theta }}^{(t)})} を計算する所までがEステップであり、 Q ( θ | θ ^ ( t ) ) {\displaystyle Q(\theta |{\hat {\theta }}^{(t)})} の a r g m a x {\displaystyle \operatorname {arg\,max} } を取るところだけがMステップである。
ステップの名称「E」と「M」はそれぞれExpectation(期待値)、Maximization(最大化)の略であり、文献のようにEステップで Q ( θ | θ ^ ( t ) ) {\displaystyle Q(\theta |{\hat {\theta }}^{(t)})} を求める為に期待値を計算し、Mステップで Q ( θ | θ ^ ( t ) ) {\displaystyle Q(\theta |{\hat {\theta }}^{(t)})} の a r g m a x {\displaystyle \operatorname {arg\,max} } を取るところに名称の由来がある。
EMアルゴリズムで我々が求めたいのは、 X = ( x 1 , ... , x n ) {\displaystyle X=(x_{1},\ldots ,x_{n})} を観測した際における対数尤度
l ( θ | X ) := log  p ( X | θ ) {\displaystyle \ell (\theta |X):=\log p(X|\theta )}
を最大化する母数 θ {\displaystyle \theta } であった。EMアルゴリズムの動作原理を説明する為、以下のような汎関数を考える:
L ( q , θ ) := ∑ Z q ( Z ) log  p ( X , Z | θ ) q ( Z ) {\displaystyle {\mathcal {L}}(q,\theta ):=\sum _{Z}q(Z)\log {p(X,Z|\theta ) \over q(Z)}} ...(Eq.1)
ここで q ( Z ) {\displaystyle q(Z)} は任意の確率密度関数である。 p X , θ ( Z ) := p ( Z | X , θ ) {\displaystyle p_{X,\theta }(Z):=p(Z|X,\theta )} とすると、 p ( Z | X , θ ) p ( X | θ ) = p ( X , Z | θ ) {\displaystyle p(Z|X,\theta )p(X|\theta )=p(X,Z|\theta )} より、カルバック・ライブラー情報量