変分オートエンコーダー
log  p θ ( x | g φ ( x , ε ( l ) ) ) = − K 2 log  2 π − 1 2 ∑ k = 1 K ( ( x k − μ D , k ( l ) ) 2 ( σ D , k ( l ) ) 2 − log  σ D , k ( l ) ) {\displaystyle \log p_{\theta }(\mathbf {x} |g_{\phi }(\mathbf {x} ,{\boldsymbol {\varepsilon }}^{(\ell )}))=-{\frac {K}{2}}\log 2\pi -{\frac {1}{2}}\sum _{k=1}^{K}\left({(x_{k}-\mu _{D,k}^{(\ell )})^{2} \over (\sigma _{D,k}^{(\ell )})^{2}}-\log \sigma _{D,k}^{(\ell )}\right)}
である。ここでKはxのデータ長であり、xk、μD,k、σD,kはそれぞれx、μD、σDの第k成分である。
一方、(L1)の第2項を具体的に計算すると以下のようになる:
K L ( q φ ( x | z ) ‖ p ( z ) ) = 1 2 ∑ j = 1 J ( 1 − μ E , j 2 − σ E , j 2 + log  σ E , j 2 ) {\displaystyle \mathrm {KL} (q_{\phi }(\mathbf {x} |\mathbf {z} )\|p(\mathbf {z} ))={1 \over 2}\sum _{j=1}^{J}\left(1-\mu _{E,j}{}^{2}-\sigma _{E,j}{}^{2}+\log \sigma _{E,j}{}^{2}\right)}
ここでJはzのデータ長であり、μE,j、σE,jはそれぞれμE、σEの第j成分である。
( μ E , σ E 2 ) = ( ( μ E , j ) j = 1 , ... , J , ( ( σ E , j ) j = 1 , ... , J ) = E φ ( x ) {\displaystyle ({\boldsymbol {\mu }}_{E},{\boldsymbol {\sigma }}_{E}^{2})=((\mu _{E,j})_{j=1,\ldots ,J},((\sigma _{E,j})_{j=1,\ldots ,J})=E_{\phi }(\mathbf {x} )}
( μ D ( l ) , ( σ D ( l ) ) 2 ) = ( ( μ D , j ( l ) ) j = 1 , ... , K , ( ( σ D , j ( l ) ) j = 1 , ... , K ) = D θ ( μ E + σ E 2 ⊙ ε ( l ) ) {\displaystyle ({\boldsymbol {\mu }}_{D}^{(\ell )},({\boldsymbol {\sigma }}_{D}^{(\ell )})^{2})=((\mu _{D,j}^{(\ell )})_{j=1,\ldots ,K},((\sigma _{D,j}^{(\ell )})_{j=1,\ldots ,K})=D_{\theta }({\boldsymbol {\mu }}_{E}+{\boldsymbol {\sigma }}_{E}^{2}\odot {\boldsymbol {\varepsilon }}^{(\ell )})}