変分メッセージパッシング
ゆえに、対象の対数尤度は上式の L {\displaystyle L} と、 P Q {\displaystyle PQ} 間の相対エントロピーの和によって表現できる。相対エントロピーは非負であるため、上で定義した関数 L {\displaystyle L} は観測データの対数尤度の下限を表す。ここで、 P {\displaystyle P} の周辺分布を厳密に計算しようとした場合に計算量が爆発してしまうような問題について考える。この場合、 P {\displaystyle P} の周辺分布を直接求めるのではなく、まず分布 Q {\displaystyle Q} に対して周辺分布を計算しやすくなるような単純な性質を仮定する。次に下限である L {\displaystyle L} を最大化するような分布 Q {\displaystyle Q} を求める。最後に分布 Q {\displaystyle Q} から、周辺分布を近似的に求める。特に、VMPでは Q {\displaystyle Q} に以下の独立の仮定を用いる:
Q ( H ) = ∏ i Q i ( H i ) {\displaystyle Q(H)=\prod _{i}Q_{i}(H_{i})}
ここで、 H i {\displaystyle H_{i}} はグラフィカルモデルの一部を表す。