統計モデル
統計モデルは、数理モデルの特殊なクラスである。統計モデルが他の数学モデルと異なるのは、非決定論的であるという点である。
したがって、数式で規定された統計モデルでは、変数の一部が特定の値を持たず、確率分布を持つ。つまり確率的である。前述の子供の身長の例では ε i {\displaystyle \varepsilon _{i}} が確率変数であり、この確率変数がなければ、モデルは決定論的なものとなる。
統計モデルは、モデル化されるデータ生成過程が決定論的であっても、しばしば使用される。たとえば、コイントスは原理的には決定論的な過程だが、一般的には確率論的モデルとして(ベルヌーイ過程による)扱われる。
所与のデータ生成過程を表現するために適切な統計モデルを選択することは、時として非常に困難であり、データ生成過程と統計分析の両方の知識が必要になる場合がある。 これに関連して、統計学者のデイヴィッド・コックス (en:英語版) は、「対象となる問題から統計モデルへの変換をどのように行うかは、しばしば分析の最も重要な部分となる」と述べている。
Konishi と Kitagawa によると、統計モデルには3つの目的がある。
予測
情報の抽出
確率的構造の記述
この3つの目的は、Friendly と Meyer が示した予測、推定、説明と本質的に同じであり、それぞれ論理的推論の3つの種類、演繹的推論、帰納的推論、仮説的推論 に対応するものである。
数学の用語を用いると、統計モデルは通常、組 ( S , P ) {\displaystyle (S,{\mathcal {P}})} として考えられる。ここで、 S {\displaystyle S} は可能な観測値の集合、つまり標本空間、 P {\displaystyle {\mathcal {P}}} は S {\displaystyle S} 上の確率分布の集合である。
この定義の背後には、次のような直感がある。観測データを生成する過程によって帰納される「真」の確率分布があると仮定する。 P {\displaystyle {\mathcal {P}}} を用いて、真の分布を適切に近似する分布を含む集合を表す。
P {\displaystyle {\mathcal {P}}} に真の分布が含まれている必要はなく、実際にはそうであることはほとんどないことに注意されたい。実際、Burnham と Anderson が述べているように、「モデルは現実の単純化または近似であり、したがって現実のすべてを反映することはない」 —それゆえ 「すべてのモデルは間違っている(英語版)」ということわざがある。