変分オートエンコーダー
すでに述べたように、変分オートエンコーダーの学習アルゴリズムは、 p θ ( z ) {\displaystyle p_{\theta }(\mathbf {z} )} 、 p θ ( x | z ) {\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )} 、 q φ ( x | z ) {\displaystyle q_{\phi }(\mathbf {x} |\mathbf {z} )} からのサンプリングが(D1)、(D2)、(E1)に従ってできるケースにおいてオートエンコーディング変分ベイズアルゴリズムを実行するというものである。
従って変分オートエンコーダーの学習アルゴリズムを書きくだす上で必要となる作業は、(D1)、(D2)、(E1)に従っているケースにおいてオートエンコーディング変分ベイズアルゴリズムにおけるSGVB推定量が具体的にどのような形になるのかを調べるだけである。
∑ x ∈ X ′ ∇ θ , φ L ~ ( θ , φ , x , ( ε x ( l ) ) l = 1 , ... , L ) {\displaystyle \sum _{\mathbf {x} \in X'}\nabla _{\theta ,\phi }{\tilde {\mathcal {L}}}(\theta ,\phi ,\mathbf {x} ,({\boldsymbol {\varepsilon }}_{\mathbf {x} }^{(\ell )})_{\ell =1,\ldots ,L})} を使ってθ、 φ {\displaystyle \phi } を更新
θ、 φ {\displaystyle \phi } を出力
変分下界は一般には計算が簡単ではない。そこで q φ ( z | x ) {\displaystyle q_{\phi }(\mathbf {z} |\mathbf {x} )} が適切な仮定を満たすという条件下で変分下界の推定量を導入する。標本 X {\displaystyle X} に対し確率勾配法を用いてSGVB推定量を極大化しモデルの最適化をおこなう。