EMアルゴリズム
EMアルゴリズムはこの下限 L ( q , θ ) {\displaystyle {\mathcal {L}}(q,\theta )} を逐次的に改善していくことで、 l ( θ | X ) {\displaystyle \ell (\theta |X)} を可能な限り最大化するアルゴリズムである。すなわち、EステップとMステップは以下のように書き換えられる事を示す事ができる:
E ステップ: q ^ ( t ) = a r g m a x q L ( q , θ ^ ( t ) ) {\displaystyle {\hat {q}}^{(t)}={\underset {q}{\operatorname {arg\,max} }}{\mathcal {L}}(q,{\hat {\theta }}^{(t)})} を求める。
M ステップ: θ ^ ( t + 1 ) = a r g m a x θ L ( q ^ ( t ) , θ ) {\displaystyle {\hat {\theta }}^{(t+1)}={\underset {\theta }{\operatorname {arg\,max} }}{\mathcal {L}}({\hat {q}}^{(t)},\theta )} を求める。
この事実から対数尤度 l ( θ ^ ( t ) | X ) {\displaystyle \ell ({\hat {\theta }}^{(t)}|X)} の単調非減少性が明らかに従う。 (但し反復法の常として、初期値しだいでは尤度の最大点ではない極大点に到達してそこで停止する可能性がある。)