統計モデル
第1のモデルのパラメータに制約を加えることで、第1のモデルを第2のモデルに変換できる場合、2つの統計モデルは入れ子(nested)になっている。 例えば、すべてのガウス分布の集合は、その中にゼロ平均ガウス分布の集合を入れ子にしている。 ゼロ平均分布を得るために、全てのガウス分布の集合の平均を制約する。
次の例として、2次モデル
y = b 0 + b 1 x + b 2 x 2 + ε , ε ∼ N ( 0 , σ 2 ) {\displaystyle y=b_{0}+b_{1}x+b_{2}x^{2}+\varepsilon ,\,\varepsilon \sim N(0,\sigma ^{2})}
は、その中に線形モデルが入れ子になっている。
y = b 0 + b 1 x + ε , ε ∼ N ( 0 , σ 2 ) {\displaystyle y=b_{0}+b_{1}x+\varepsilon ,\,\varepsilon \sim N(0,\sigma ^{2})}
ここで、 b 2 = 0 {\displaystyle b_{2}=0} となるようにパラメータ b 2 {\displaystyle b_{2}} に制約を加えた。
これらの例では、最初のモデルは2番目のモデルよりも高い次元を持っている(最初の例では、ゼロ平均モデルは次元1を持つ)。これはよくあることだが、常にそうだとは限らない。次元2の正平均ガウス分布の集合は、すべてのガウス分布の集合に入れ子になっている。
モデルの入力を分布に結びつける(parameterizeする)方法は様々存在する。例として分布にカテゴリカル分布 C a t e g o r i c a l ( x ; p ) {\displaystyle Categorical(x;{\boldsymbol {p}})} を採用し、そのパラメータ p {\displaystyle {\boldsymbol {p}}} を入力のニューラルネットワークによる変換で表現する条件付き確率モデルを考える。これは以下で定式化される:
p θ ( x | y ) = C a t e g o r i c a l ( x ; p = N e u r a l N e t θ ( y ) ) {\displaystyle p_{\theta }(x|y)=Categorical(x;{\boldsymbol {p}}=NeuralNet_{\theta }(y))}