EMアルゴリズム
が成立し(ここで H X , θ ( t ) ( Z ) = ∑ Z p ( Z | X , θ ( t ) ) log  p ( Z | X , θ ( t ) ) {\displaystyle H_{X,\theta ^{(t)}}(Z)=\textstyle \sum _{Z}p(Z|X,\theta ^{(t)})\log p(Z|X,\theta ^{(t)})} は条件付きエントロピー)、上式右辺第二項はθに依存しないので、
θ ^ ( t + 1 ) = a r g m a x θ Q ( θ | θ ^ ( t ) ) = a r g m a x θ L ( p X , θ ^ ( t ) , θ ) {\displaystyle {\hat {\theta }}^{(t+1)}={\underset {\theta }{\operatorname {arg\,max} }}Q(\theta |{\hat {\theta }}^{(t)})={\underset {\theta }{\operatorname {arg\,max} }}{\mathcal {L}}(p_{X,{\hat {\theta }}^{(t)}},\theta )}
が成立する。
L ( q , θ ) {\displaystyle {\mathcal {L}}(q,\theta )} の定義式(Eq.1)に q ^ ( t ) = p X , θ ^ ( t ) {\displaystyle {\hat {q}}^{(t)}=p_{X,{\hat {\theta }}^{(t)}}} を代入すると、
L ( q ^ ( t ) , θ ) = ∑ Z p ( Z | X , θ ( t ) ) log  p ( X , Z | θ ) p ( Z | X , θ ( t ) ) = Q ( θ | θ ( t ) ) − H X , θ ( t ) ( Z ) {\displaystyle {\mathcal {L}}({\hat {q}}^{(t)},\theta )=\sum _{Z}p(Z|X,\theta ^{(t)})\log {p(X,Z|\theta ) \over p(Z|X,\theta ^{(t)})}=Q(\theta |\theta ^{(t)})-H_{X,\theta ^{(t)}}(Z)}
本節ではEステップ、Mステップが上述のように書き換えられることを示す。本節の証明は文献を参考にした。