変分オートエンコーダー
ここで φ {\displaystyle \phi } はパラメーターである。
近似事後分布を用いると周辺対数尤度 log  p θ ( x ) {\displaystyle \log p_{\theta }(\mathbf {x} )} は次のように変形できる:
log  p θ ( x ) = E q φ ( z | x ) [ log  p θ ( x , z ) q φ ( z | x ) ] + E q φ ( z | x ) [ log  q φ ( z | x ) p θ ( z | x ) ] {\displaystyle \log p_{\theta }(\mathbf {x} )=\mathbb {E} _{q_{\phi }(\mathbf {z} |\mathbf {x} )}\left[\log {\frac {p_{\theta }(\mathbf {x} ,\mathbf {z} )}{q_{\phi }(\mathbf {z} |\mathbf {x} )}}\right]+\mathbb {E} _{q_{\phi }(\mathbf {z} |\mathbf {x} )}\left[\log {\frac {q_{\phi }(\mathbf {z} |\mathbf {x} )}{p_{\theta }(\mathbf {z} |\mathbf {x} )}}\right]}
, L ) ) := 1 L ∑ l = 1 L log  p θ ( x | g φ ( x , ε ( l ) ) ) − K L ( q φ ( z | x ) ‖ p ( z ) ) {\displaystyle {\tilde {\mathcal {L}}}(\theta ,\phi ,\mathbf {x} ,({\boldsymbol {\varepsilon }}^{(\ell )})_{\ell =1,\ldots ,L})):={1 \over L}\sum _{\ell =1}^{L}\log p_{\theta }(\mathbf {x} |g_{\phi }(\mathbf {x} ,{\boldsymbol {\varepsilon }}^{(\ell )}))-\mathrm {KL} (q_{\phi }(\mathbf {z} |\mathbf {x} )\|p(\mathbf {z} ))} ...(L1)
により定義する。ここで ε ( l ) {\displaystyle {\boldsymbol {\varepsilon }}^{(\ell )}} ( l = 1 , ... , L {\displaystyle \ell =1,\ldots ,L} )は E {\displaystyle {\mathcal {E}}} から独立に抽出した乱数であり、Lはハイパーパラメーターである。
SGVB推定量を計算するにはカルバック・ライブラー情報量 K L ( q φ ( z | x ) ‖ p ( z ) ) {\displaystyle \mathrm {KL} (q_{\phi }(\mathbf {z} |\mathbf {x} )\|p(\mathbf {z} ))} を計算できる必要がある。原論文ではこの値が計算できないときの為の推定量も提案しているが、本項では割愛する。
オートエンコーディング変分ベイズアルゴリズム(英: Auto-Encoding Variational Bayes algorithm; AEVB)は勾配推定値を用いた有向潜在変数モデルと推論モデルの同時最適化アルゴリズムである。
AEVBでは有向潜在変数モデル p θ ( x , z ) = p θ ( x | z ) p θ ( z ) {\displaystyle p_{\theta }(\mathbf {x} ,\mathbf {z} )=p_{\theta }(\mathbf {x} |\mathbf {z} )p_{\theta }(\mathbf {z} )} を推論モデル q φ ( z | x ) {\displaystyle q_{\phi }(\mathbf {z} |\mathbf {x} )} の導入による変分下界 L θ , φ ( x ) {\displaystyle {\mathcal {L}}_{\theta ,\phi }(\mathbf {x} )} 最大化により最適化する。
( μ E , σ E 2 ) = E φ ( x ) {\displaystyle ({\boldsymbol {\mu }}_{E},{\boldsymbol {\sigma }}_{E}^{2})=E_{\phi }(\mathbf {x} )} 、 ( μ D ( l ) , ( σ D ( l ) ) 2 ) = D θ ( μ E + σ E 2 ⊙ ε ( l ) ) {\displaystyle ({\boldsymbol {\mu }}_{D}^{(\ell )},({\boldsymbol {\sigma }}_{D}^{(\ell )})^{2})=D_{\theta }({\boldsymbol {\mu }}_{E}+{\boldsymbol {\sigma }}_{E}^{2}\odot {\boldsymbol {\varepsilon }}^{(\ell )})}
とすると、 p θ ( x | g φ ( x , ε ( l ) ) ) {\displaystyle p_{\theta }(\mathbf {x} |g_{\phi }(\mathbf {x} ,{\boldsymbol {\varepsilon }}^{(\ell )}))} が正規分布 N ( μ D ( l ) , ( σ D ( l ) ) 2 I ) {\displaystyle {\mathcal {N}}({\boldsymbol {\mu }}_{D}^{(\ell )},({\boldsymbol {\sigma }}_{D}^{(\ell )})^{2}I)} の確率密度関数であることから、