変分オートエンコーダー
変分オートエンコーダーとは、オートエンコーディング変分ベイズアルゴリズムを使って学習するニューラルネットワーク(原論文では1層もしくは2層のパーセプトロン)ベースの生成モデルである。
簡単な計算により変分下界は
L θ , φ ( x ) = E q φ ( z | x ) [ log  p θ ( x | z ) ) ] − K L ( q φ ( z | x ) ‖ p ( z ) ) {\displaystyle {\mathcal {L}}_{\theta ,\phi }(\mathbf {x} )=\mathbb {E} _{q_{\phi }(\mathbf {z} |\mathbf {x} )}[\log p_{\theta }(\mathbf {x} |\mathbf {z} ))]-\mathrm {KL} (q_{\phi }(\mathbf {z} |\mathbf {x} )\|p(\mathbf {z} ))}
と書き換えられる事が示せる(ここで E [ ⋅ ] {\displaystyle \mathbb {E} [\cdot ]} は期待値である)ので、仮定(P1)を用いる事で変分下界を推定するSGVB推定量を
L ~ ( θ , φ , x , ( ε ( l ) ) l = 1 , ...
標本 X = { x ( 1 ) , ... , x ( N ) } {\displaystyle X=\{\mathbf {x} ^{(1)},\ldots ,\mathbf {x} ^{(N)}\}} が各i=1,...,Nに対し、以下で生成されると仮定する:
まず潜在変数zが何らかの確率密度関数 p θ ( z ) {\displaystyle p_{\theta }(\mathbf {z} )} に従って選ばれ、
xがzに依存した何らかの確率密度関数 p θ ( x | z ) {\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )} に従って選ばれる。
ここでθは何らかのパラメーターであり、θの真の値θは未知である。また p θ ( z ) {\displaystyle p_{\theta }(\mathbf {z} )} 、 p θ ( x | z ) {\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )} に従って値を選ぶのは計算量的に容易であるものとする。
一方、潜在変数の事後分布 p θ ( z | x ) {\displaystyle p_{\theta }(\mathbf {z} |\mathbf {x} )} は容易には計算できず、(容易に計算できる)確率密度関数 q φ ( z | x ) {\displaystyle q_{\phi }(\mathbf {z} |\mathbf {x} )} により、近似する事を考える(近似事後分布)。