変分メッセージパッシング
上式で得られた下限はできるだけ大きくなることが望ましい。なぜならこれは下限であるので、下限を本来の尤度 log  P {\displaystyle \log P} に近づけることは近似精度の向上に繋がるためである。先の独立の仮定を付与した分布 Q {\displaystyle Q} を代入することによって、隠れノード H i {\displaystyle H_{i}} でパラメータ化された L ( Q ) {\displaystyle L(Q)} は単純に、 Q j {\displaystyle Q_{j}} と下式によって定義された Q j ∗ {\displaystyle Q_{j}^{*}} 間の相対エントロピーと、 Q j {\displaystyle Q_{j}} に関与しない他の項の和によって表現される:
Q j ∗ ( H j ) = 1 Z e E − j { ln  P ( H , V ) } {\displaystyle Q_{j}^{*}(H_{j})={\frac {1}{Z}}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}}
ここで、 E − j { ln  P ( H , V ) } {\displaystyle \mathbb {E} _{-j}\{\ln P(H,V)\}} は Q j {\displaystyle Q_{j}} を除くすべての分布 Q i {\displaystyle Q_{i}} 上での期待値を表す。ゆえに、 Q j {\displaystyle Q_{j}} を Q j ∗ {\displaystyle Q_{j}^{*}} に設定した場合において、下限 L {\displaystyle L} は最大化される。