変分オートエンコーダー
標本 X {\displaystyle X} に対する変分下界を最大化する ( θ , φ ) {\displaystyle (\theta ,\phi )} を目標とする。すなわち次の式で表される:
argmax θ , φ E X [ L θ , φ ( X ) ] = argmax θ , φ ∑ x ∈ X L θ , φ ( x ) {\displaystyle {\underset {\theta ,\phi }{\operatorname {argmax} }}\ \mathbb {E} _{X}[{\mathcal {L}}_{\theta ,\phi }(X)]={\underset {\theta ,\phi }{\operatorname {argmax} }}\sum _{x\in X}{\mathcal {L}}_{\theta ,\phi }(\mathbf {x} )}
以上の結果から、変分オートエンコーダーは以下のようになる:
学習:
オートエンコーディング変分ベイズアルゴリズムを実行。ただし E = N ( 0 , I ) {\displaystyle {\mathcal {E}}={\mathcal {N}}(\mathbf {0} ,I)} とし、 L ~ {\displaystyle {\tilde {\mathcal {L}}}} は(L2)のものを使う。
生成:
学習済みの φ {\displaystyle \phi } を入力として受けとる
N ( 0 , I ) {\displaystyle {\mathcal {N}}(\mathbf {0} ,I)} に従ってzを選ぶ
( μ D , σ D 2 ) = D φ ( z ) {\displaystyle ({\boldsymbol {\mu }}_{D},{\boldsymbol {\sigma }}_{D}^{2})=D_{\phi }(\mathbf {z} )} を計算する。
N ( μ D , σ D 2 I ) {\displaystyle {\mathcal {N}}({\boldsymbol {\mu }}_{D},{\boldsymbol {\sigma }}_{D}^{2}I)} に従ってxを選び、xを出力する。