EMアルゴリズム
実応用上は例えば、 θ = ( θ 1 , θ 2 ) {\displaystyle \theta =(\theta _{1},\theta _{2})} という形をしており、まず観測不能な z i ∼ p 1 ( z | θ 1 ) {\displaystyle z_{i}\sim p_{1}(z|\theta _{1})} が選ばれた後、 z i {\displaystyle z_{i}} に依存して観測可能な x i ∼ p 2 ( x | θ 2 , z i ) {\displaystyle x_{i}\sim p_{2}(x|\theta _{2},z_{i})} が選ばれる、といったケースにEMアルゴリズムが使われる事が多いが、必ずしもこのケースにあてはまらなくてもよい。
簡単の為、記号を混用してX、Zの同時確率分布の確率密度関数も p ( X , Z | θ ) {\displaystyle p(X,Z|\theta )} と書く。以下ではZが離散変数の場合について説明するが、Zが連続変数の場合も総和を積分に置き換える以外は同様である。
このような状況において母数θを最尤推定する事が我々の目標である。しかしZを知らない場合の X = ( x 1 , ... , x n ) {\displaystyle X=(x_{1},\ldots ,x_{n})} に関する対数尤度
l ( θ | X ) := log  p ( X | θ ) = log  ∑ Z p ( X , Z | θ ) {\displaystyle \ell (\theta |X):=\log p(X|\theta )=\log \sum _{Z}p(X,Z|\theta )}