統計モデル
P = { P θ : θ ∈ Θ } {\displaystyle {\mathcal {P}}=\{P_{\theta }:\theta \in \Theta \}} の統計モデル ( S , P ) {\displaystyle (S,{\mathcal {P}})} があるとする。 Θ {\displaystyle \Theta } が有限の次元を持つとき、モデルは「パラメトリック(英語版)」であるという。 自然数 k {\displaystyle k} を用いて、 Θ ⊆ R k {\displaystyle \Theta \subseteq \mathbb {R} ^{k}} と表記する。 R {\displaystyle \mathbb {R} } は実数を表し、原理的には他の集合を用いてもよい。ここで、 k {\displaystyle k} はモデルの次元と呼ばれる。
たとえば、データが単変量ガウス分布から生じると仮定すると、次のように仮定することになる。