統計モデル
統計モデルは、パラメータ集合 Θ {\displaystyle \Theta } が無限次元である場合、ノンパラメトリックである。 有限次元と無限次元の両方のパラメータを持つ場合、その統計モデルはセミパラメトリック・モデル(英語版)である。 形式的には、 k {\displaystyle k} が Θ {\displaystyle \Theta } の次元数、 n {\displaystyle n} を標本数とすると、セミパラメトリックモデルでもノンパラメトリックモデルでも lim n → ∞ k = ∞ {\displaystyle \lim _{n\to \infty }k=\infty } である。 また、 lim n → ∞ k / n = 0 {\displaystyle \lim _{n\to \infty }k/n=0} ならセミパラメトリックであり、そうでなければノンパラメトリックである。
パラメトリックモデルは、最も一般的に使用されている統計モデルである。 セミパラメトリックモデルとノンパラメトリックモデルについて、デイヴィッド・コックスは、「これらは一般的に、構造や分布形式の仮定が少ないが、通常は独立性に関する強い仮定を含む」と述べている。
P = { P μ , σ ( x ) ≡ 1 2 π σ exp  ( − ( x − μ ) 2 2 σ 2 ) : μ ∈ R , σ > 0 } {\displaystyle {\mathcal {P}}=\left\{P_{\mu ,\sigma }(x)\equiv {\frac {1}{{\sqrt {2\pi }}\sigma }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right):\mu \in \mathbb {R} ,\sigma >0\right\}}
この例では、次元 k {\displaystyle k} は2に等しい。
別の例として、データが点 ( x , y ) {\displaystyle (x,y)} で構成されて直線に沿って分布し、残差が独立同分布のガウス分布(平均ゼロ)に従うと仮定する。こうすることで子供の身長の例で使用したものと同じ統計モデルになる。 統計モデルの次元は3で、直線の切片、直線の傾き、残差の分布の分散である(幾何学では、直線の次元は1であることに注意)。
形式的には θ ∈ Θ {\displaystyle \theta \in \Theta } は k {\displaystyle k} 次元の単一パラメータだが、 k {\displaystyle k} 個の独立なパラメータと見なすこともある。 例えば、たとえば、単変量ガウス分布では、 θ {\displaystyle \theta } は形式的には2次元の単一パラメータである、平均と標準偏差の2つのパラメータと見なすこともある。