変分メッセージパッシング
隠れ変数 H {\displaystyle H} と観測データ V {\displaystyle V} の集合が与えられた場合、 V {\displaystyle V} のデータのみで構成されたグラフィカルモデルの対数尤度の下限を近似的に求める問題について考える。(後に定義する)確率分布 Q {\displaystyle Q} を導入すると、 V {\displaystyle V} の対数尤度は
ln  P ( V ) = ∑ H Q ( H ) ln  P ( H , V ) P ( H | V ) = ∑ H Q ( H ) [ ln  P ( H , V ) Q ( H ) − ln  P ( H | V ) Q ( H ) ] {\displaystyle \ln P(V)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{P(H|V)}}=\sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{Q(H)}}{\Bigg ]}}
となる。よって、下限 L {\displaystyle L} は以下のように定めることができる:
L ( Q ) = ∑ H Q ( H ) ln  P ( H , V ) Q ( H ) {\displaystyle L(Q)=\sum _{H}Q(H)\ln {\frac {P(H,V)}{Q(H)}}}