統計モデル
したがって、直線 h e i g h t i = b 0 + b 1 a g e i {\displaystyle \mathrm {height} _{i}=b_{0}+b_{1}\mathrm {age} _{i}} は、すべてのデータポイントに正確に合う、つまりすべてのデータポイントが直線上に完全に位置するのでなければ、データのモデルを表す式にはなりえない。誤差項 ε i {\displaystyle \varepsilon _{i}} は、モデルがすべてのデータポイントと適合するように、モデルに含めなければならない。
統計的推論を行うためには、はじめに ε i {\displaystyle \varepsilon _{i}} に何らかの確率分布を仮定する必要がある。例えば、 ε i {\displaystyle \varepsilon _{i}} が平均がゼロの独立同分布(i.i.d.)ガウス分布であると仮定できる。この場合、モデルは 3 つのパラメータがある。すなわち、 b 0 {\displaystyle b_{0}} 、 b 1 {\displaystyle b_{1}} 、ガウス分布の分散である。
このモデルは、次のように ( S , P ) {\displaystyle (S,{\mathcal {P}})} の形で形式的に規定することができる。モデルの標本空間 S {\displaystyle S} は、すべての可能な組(年齢、身長)の集合である。
集合 P {\displaystyle {\mathcal {P}}} は多くの場合パラメータ化され、 P = { P θ : θ ∈ Θ } {\displaystyle {\mathcal {P}}=\{P_{\theta }:\theta \in \Theta \}} と表される。 ここで、集合 Θ {\displaystyle \Theta } はモデルのパラメータ(英語版)を定義する。 一般に、パラメータ化は、異なるパラメータ値が異なる分布を生じることが要求される。すなわち、 P θ 1 = P θ 2 ⇒ θ 1 = θ 2 {\displaystyle P_{\theta _{1}}=P_{\theta _{2}}\Rightarrow \theta _{1}=\theta _{2}} が成立する(単射である)必要がある。 この要件を満たすパラメータ化は、識別可能(英語版)であると言う。