オートエンコーダ
AEは確率モデルの観点から深層潜在変数モデルの一種とみなせ、次のように定式化できる:
z | x ∼ p φ ( Z | X ) = p ( Z | λ = N N φ ( X ) ) = δ ( Z − N N φ ( X ) ) x ^ | z ∼ p θ ( X ^ | Z ) = p ( X ^ | μ = N N θ ( Z ) ) {\displaystyle {\begin{aligned}z_{|x}\sim p_{\phi }(Z|X)&=p(Z|\lambda =NN_{\phi }(X))=\delta (Z-NN_{\phi }(X))\\{\hat {x}}_{|z}\sim p_{\theta }({\hat {X}}|Z)&=p({\hat {X}}|\mu =NN_{\theta }(Z))\end{aligned}}}
すなわち N N φ ( x ) , N N θ ( x ) {\displaystyle NN_{\phi }(x),NN_{\theta }(x)} は分布パラメータ λ , μ {\displaystyle \lambda ,\mu } を出力し分布を介して z , x ^ {\displaystyle z,{\hat {x}}} が得られると解釈できる。
AEが再構成および次元圧縮を学習できる理由が理論的に解析されている。
オートエンコーダネットワーク A E φ , θ ( x ) {\displaystyle AE_{\phi ,\theta }(x)} はエンコーダネットワーク N N φ ( x ) {\displaystyle NN_{\phi }(x)} とデコーダネットワーク N N θ ( x ) {\displaystyle NN_{\theta }(x)} からなる。決定論的な解釈においてAEは「再構成された入力」を直接出力する。すなわち x ^ = A E φ , θ ( x ) = N N θ ( N N φ ( x ) ) {\displaystyle {\hat {x}}=AE_{\phi ,\theta }(x)=NN_{\theta }(NN_{\phi }(x))} である。