オートエンコーダ
AEではエンコーダが決定論的に振舞うため、写像の条件付き確率分布(デルタ関数 δ {\displaystyle \delta } )で表現される。 δ {\displaystyle \delta } の決定論的性質より N N φ ( x ) , N N θ ( x ) {\displaystyle NN_{\phi }(x),NN_{\theta }(x)} を集約して表現するとAEは次の確率論的表現で表される:
x ^ | x ∼ p ( X ^ | μ = A E φ , θ ( X ) ) {\displaystyle {\hat {x}}_{|x}\sim p({\hat {X}}|\mu =AE_{\phi ,\theta }(X))}
AEの学習には平均二乗誤差(MSE, L2)をはじめ様々な損失関数が(決定論的な視点から)経験的に使われている。これは経験的なものであって学習収束保証があるとは限らない。理論的な研究により、いくつかの損失関数では p θ ( X ^ | Z ) {\displaystyle p_{\theta }({\hat {X}}|Z)} に特定の分布を設定したinfomax学習として定式化できることがわかっている。
ディープビリーフネットワーク
ディープボルツマンマシン