変分オートエンコーダー
右辺の第1項は変分下界 L θ , φ ( x ) {\displaystyle {\mathcal {L}}_{\theta ,\phi }(\mathbf {x} )} あるいはELBOと呼ばれ、第2項は事後分布-近似事後分布間のカルバック・ライブラー情報量に相当する。すなわち次の式が成立している:
L θ , φ ( x ) = log  p θ ( x ) − K L ( q φ ( z | x ) ‖ p θ ( z | x ) ) {\displaystyle {\mathcal {L}}_{\theta ,\phi }(\mathbf {x} )=\log p_{\theta }(\mathbf {x} )-\mathrm {KL} (q_{\phi }(\mathbf {z} |\mathbf {x} )\|p_{\theta }(\mathbf {z} |\mathbf {x} ))}
ここで K L ≥ 0 {\displaystyle \mathrm {KL} \geq 0} (ギブスの不等式)より、変分下界最大化は次の2つの意味を持つ:
近似事後分布の近似精度最大化( K L ≈ 0 {\displaystyle \mathrm {KL} \approx 0} )
生成モデルの尤度最大化( argmax θ log  p θ ( x ) {\displaystyle {\underset {\theta }{\operatorname {argmax} }}\log p_{\theta }(\mathbf {x} )} )
ゆえに変分下界最大化は最尤推定の代替として利用できる。