変分オートエンコーダー
オートエンコーディング変分ベイズアルゴリズムは確率的勾配降下法によりSGVB推定量を極大化するθ、 φ {\displaystyle \phi } を求めるものである。以下でL、Mはハイパーパラメーターである。
標本 X {\displaystyle X} を入力として受け取る。
θ、 φ {\displaystyle \phi } を初期化する。
θ、 φ {\displaystyle \phi } が事前に定められた収束条件を満たすまで以下を繰り返す XのサイズMの部分集合X'をランダムに選ぶ 各 x ∈ X ′ {\displaystyle \mathbf {x} \in X'} に対し ε x ( 1 ) , ... , ε x ( L ) {\displaystyle {\boldsymbol {\varepsilon }}_{\mathbf {x} }^{(1)},\ldots ,{\boldsymbol {\varepsilon }}_{\mathbf {x} }^{(L)}} を E {\displaystyle {\mathcal {E}}} に従って選ぶ。
本章で想定しているセッティングにおいて、既知の手法の有用性は限定的である:
最尤法は本章のセッティングでは p θ ( x ) = ∫ p θ ( x | z ) p θ ( z ) d z {\displaystyle p_{\theta }(\mathbf {x} )=\int p_{\theta }(\mathbf {x} |\mathbf {z} )p_{\theta }(\mathbf {z} )\mathrm {d} \mathbf {z} } が容易に計算できるケースでないと使えない。
EMアルゴリズムは p θ ( z | x ) {\displaystyle p_{\theta }(\mathbf {z} |\mathbf {x} )} の計算が容易であるケースでないと使えない。
変分ベイズ法は p θ ( z | x ) {\displaystyle p_{\theta }(\mathbf {z} |\mathbf {x} )} が平均場近似できる場合にしか使えない。
モンテカルロEMアルゴリズムは実行速度が遅い為大きなデータ集合に対しては使えない。
例えば p θ ( x | z ) {\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )} がニューラルネットワークにより定義されているケースでは、上述した既知の手法は使えないが、本手法であれば適用できる。後述する変分オートエンコーダーはまさにこのケースであり、 p θ ( x | z ) {\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )} をニューラルネットワークにより定義している。