潜在変数
深層潜在変数モデル(英: Deep Latent Variable Models、DLVM)はベイジアンネットワークの条件付け入力をニューラルネットワークで変換する潜在変数モデルの一種である。その同時分布は以下の式で表現される:
p θ ( z 0 = x , z 1 , . . . , z N ) = ∏ i = 0 N p θ ( z i | p a ( z i ) ) = ∏ i = 0 N p θ ( z i ; η = N e u r a l N e t θ ( p a ( z i ) ) ) {\displaystyle p_{\theta }(z_{0}=x,z_{1},...,z_{N})=\prod _{i=0}^{N}p_{\theta }(z_{i}|pa(z_{i}))=\prod _{i=0}^{N}p_{\theta }(z_{i};\ \eta =NeuralNet_{\theta }(pa(z_{i})))}
DLVMでは万能近似能力をもつニューラルネットワークを用いて潜在変数を変換するため、各条件付き確率モデル p θ ( z i | p a ( z i ) ) {\displaystyle p_{\theta }(z_{i}|pa(z_{i}))} に単純な分布を用いても複雑な周辺分布 p θ ( x ) {\displaystyle p_{\theta }(x)} を表現できる。
DLVMは潜在変数モデルであるため、パラメータ推定に単純な最尤推定を適用できない。DLVMの学習を可能にする手法の1つに変分オートエンコーダーが存在する。
潜在変数モデル(英語版)(英: latent variable models)は観測変数と潜在変数の同時分布で表現された確率モデルの総称である。
潜在変数モデルでは観測変数 x {\displaystyle x} の分布 p ∗ ( x ) {\displaystyle p^{*}(x)} を潜在変数 z {\displaystyle z} とモデルパラメータ θ {\displaystyle \theta } を用いた同時分布 p θ ( x , z ) {\displaystyle p_{\theta }(x,z)} で表現する。このとき同時分布を周辺化すると以下が成立している:
p θ ( x ) = ∫ p θ ( x , z ) d z {\displaystyle p_{\theta }(x)=\int p_{\theta }(x,z)dz}
潜在変数に関して周辺化された尤度 p ( x | θ ) {\displaystyle p(x|\theta )} と見做せるため、これは θ {\displaystyle \theta } の関数として周辺尤度(英: marginal likelihood)あるいはエビデンス(英: model evidence)と呼ばれる。
モデルの例には潜在変数を含んだベイジアンネットワークがある。すなわち同時分布の因数分解により条件付き確率モデルの積 p θ ( x , z ) = p θ ( x | z ) p θ ( z ) {\displaystyle p_{\theta }(x,z)=p_{\theta }(x|z)p_{\theta }(z)} としてモデル化する。