統計モデル

統計モデル（とうけいモデル、statistical model）は、標本データ（およびより大きな統計的母集団からの類似データ）の生成に関する一連の統計的仮定を具体化した数理モデルである。統計モデルは、データの生成過程をかなり理想化して表現していることが多い。
統計モデルは通常、1つまたは複数の確率変数と他の非確率変数との間の数学的関係として規定される。統計モデルは「理論の形式的表現」（によるの引用）である。
すべての統計的仮説検定とすべての統計的推定量は、統計モデルを介して導出される。より一般的には、統計モデルは統計的推論の基礎の一部である。
導入.
簡単にいうと、統計モデルとは「ある事象の確率を計算できる」という特別な特徴をもつ（または統計的仮定の集合）と考えることができる。例として、2つの普通のサイコロ（6面体）を考える。このサイコロについて、2つの異なる統計的仮定を検討することにする。
最初の統計的仮定：各サイコロにおいて、サイコロの各面（1、2、3、4、5、および6）が現れる確率はいずれも formula_1 である。この仮定から、両方のサイコロの目が 5 になる確率は次のように計算される。
より一般的には、たとえば（1 と 2）、（3 と 3）、（5 と 6）など、あらゆる事象の確率を計算することができる。
もう一つの統計的仮定：各サイコロにおいて、サイコロの目が 5 になる確率は formula_3 である（サイコロに細工が施されているため）。この仮定から、両方のサイコロの目が 5 になる確率は次のように計算される。
しかし、他の面が出る確率は不明であり、自明でない事象の確率を計算することはできない。
最初の統計的仮定は統計モデルと見なされる。この仮定だけで、あらゆる事象の確率を計算できるからである。もう一つの統計的仮定は統計モデルと見なされない。その仮定だけでは、あらゆる事象の確率を計算できないからである。
上記の例では、最初の仮定があれば、ある事象の確率を簡単に計算することができる。しかし、別のいくつかの例では、計算が困難であったり現実的でない場合もある（たとえば、数百万年の計算が必要になる）。統計モデルと見なせる過程であれば、そのような困難は許容される。計算が実用的である必要は無く、理論的に可能であればよい。
形式的定義.
数学の用語を用いると、統計モデルは通常、組 formula_5 として考えられる。ここで、formula_6 は可能な観測値の集合、つまり標本空間、 formula_7 は formula_6 上の確率分布の集合である。
この定義の背後には、次のような直感がある。観測データを生成する過程によって帰納される「真」の確率分布があると仮定する。formula_7 を用いて、真の分布を適切に近似する分布を含む集合を表す。
formula_7 に真の分布が含まれている必要はなく、実際にはそうであることはほとんどないことに注意されたい。実際、Burnham と Anderson が述べているように、「モデルは現実の単純化または近似であり、したがって現実のすべてを反映することはない」 —それゆえ 「」ということわざがある。
集合 formula_7 は多くの場合パラメータ化され、formula_12 と表される。
ここで、集合 formula_13 はモデルのを定義する。
一般に、パラメータ化は、異なるパラメータ値が異なる分布を生じることが要求される。すなわち、formula_14 が成立する（単射である）必要がある。
この要件を満たすパラメータ化は、であると言う。
例.
子供の集団があり、その集団の中で子供の年齢が一様に分布しているとする。子供の身長は、年齢とに関係する。たとえば、子供が 7歳であることがわかれば、その子供の身長が 1.5m である確率に影響する。
この関係を次のような線形回帰モデルで定式化することができる。formula_15。ここで、 formula_16 は切片、formula_17は伸長を予測するために年齢に乗じるパラメータ、formula_18は誤差項、formula_19 は子供を識別する添字。この式は、身長が年齢によって予測され、多少の誤差があることを意味している。
許容されるモデルは、すべてのデータポイントと整合していなければならない。したがって、直線 formula_20 は、すべてのデータポイントに正確に合う、つまりすべてのデータポイントが直線上に完全に位置するのでなければ、データのモデルを表す式にはなりえない。誤差項 formula_18 は、モデルがすべてのデータポイントと適合するように、モデルに含めなければならない。
統計的推論を行うためには、はじめに formula_18 に何らかの確率分布を仮定する必要がある。例えば、formula_18 が平均がゼロの独立同分布（i.i.d.）ガウス分布であると仮定できる。この場合、モデルは 3 つのパラメータがある。すなわち、formula_16、formula_17 、ガウス分布の分散である。
このモデルは、次のように formula_5 の形で形式的に規定することができる。モデルの標本空間 formula_6 は、すべての可能な組（年齢、身長）の集合である。formula_28 の可能な値のそれぞれが formula_6 上の分布を決定し、その分布を formula_30 とする。formula_13 を formula_32 の全ての可能な値の集合とすると、formula_12 となる。このパラメータ化は識別可能であり、簡単に確認できる。
この例では、（1）formula_6 を指定し、（2）formula_7 に関連するいくつかの仮定を立てることでモデルが決定される。 仮定は2つであり、身長は年齢の線形関数で近似できることと、近似の誤差が独立同分布のガウス分布に従うことである。これらの仮定は、formula_7 を要求どおり指定するのに十分である。
総論.
統計モデルは、数理モデルの特殊なクラスである。統計モデルが他の数学モデルと異なるのは、非決定論的であるという点である。
したがって、数式で規定された統計モデルでは、変数の一部が特定の値を持たず、確率分布を持つ。つまり確率的である。前述の子供の身長の例では formula_18 が確率変数であり、この確率変数がなければ、モデルは決定論的なものとなる。
統計モデルは、モデル化されるデータ生成過程が決定論的であっても、しばしば使用される。たとえば、コイントスは原理的には決定論的な過程だが、一般的には確率論的モデルとして（ベルヌーイ過程による）扱われる。
所与のデータ生成過程を表現するために適切な統計モデルを選択することは、時として非常に困難であり、データ生成過程と統計分析の両方の知識が必要になる場合がある。
これに関連して、統計学者のデイヴィッド・コックスは、「対象となる問題から統計モデルへの変換をどのように行うかは、しばしば分析の最も重要な部分となる」と述べている。
Konishi と Kitagawa によると、統計モデルには3つの目的がある。
この3つの目的は、Friendly と Meyer が示した予測、推定、説明と本質的に同じであり、それぞれ論理的推論の3つの種類、演繹的推論、帰納的推論、仮説的推論 に対応するものである。
モデルの次元.
formula_12 の統計モデル formula_5 があるとする。formula_13 が有限の次元を持つとき、モデルは「」であるという。
自然数 formula_41 を用いて、formula_42 と表記する。formula_43 は実数を表し、原理的には他の集合を用いてもよい。ここで、formula_41 はモデルの次元と呼ばれる。
たとえば、データが単変量ガウス分布から生じると仮定すると、次のように仮定することになる。
この例では、次元 formula_41 は2に等しい。
別の例として、データが点 formula_47 で構成されて直線に沿って分布し、残差が独立同分布のガウス分布（平均ゼロ）に従うと仮定する。こうすることで子供の身長の例で使用したものと同じ統計モデルになる。
統計モデルの次元は3で、直線の切片、直線の傾き、残差の分布の分散である（幾何学では、直線の次元は1であることに注意）。 
形式的には formula_48 はformula_41 次元の単一パラメータだが、formula_41 個の独立なパラメータと見なすこともある。
例えば、たとえば、単変量ガウス分布では、 formula_32 は形式的には2次元の単一パラメータである、平均と標準偏差の2つのパラメータと見なすこともある。
統計モデルは、パラメータ集合 formula_13 が無限次元である場合、ノンパラメトリックである。
有限次元と無限次元の両方のパラメータを持つ場合、その統計モデルはである。
形式的には、formula_41 が formula_13 の次元数、formula_55 を標本数とすると、セミパラメトリックモデルでもノンパラメトリックモデルでもformula_56 である。
また、formula_57 ならセミパラメトリックであり、そうでなければノンパラメトリックである。
パラメトリックモデルは、最も一般的に使用されている統計モデルである。
セミパラメトリックモデルとノンパラメトリックモデルについて、デイヴィッド・コックスは、「これらは一般的に、構造や分布形式の仮定が少ないが、通常は独立性に関する強い仮定を含む」と述べている。
ネスティッドモデル.
第1のモデルのパラメータに制約を加えることで、第1のモデルを第2のモデルに変換できる場合、2つの統計モデルは入れ子（nested）になっている。
例えば、すべてのガウス分布の集合は、その中にゼロ平均ガウス分布の集合を入れ子にしている。
ゼロ平均分布を得るために、全てのガウス分布の集合の平均を制約する。
次の例として、2次モデル
は、その中に線形モデルが入れ子になっている。
ここで、formula_60 となるようにパラメータ formula_61 に制約を加えた。
これらの例では、最初のモデルは2番目のモデルよりも高い次元を持っている（最初の例では、ゼロ平均モデルは次元1を持つ）。これはよくあることだが、常にそうだとは限らない。次元2の正平均ガウス分布の集合は、すべてのガウス分布の集合に入れ子になっている。
モデルの比較.
統計モデルを比較することは、多くの統計的推論において基本的なことである。
実際、(p. 75) は「統計的推論における問題の大部分は、統計的モデリングに関連する問題であると考えることができ、それらは通常、いくつかの統計モデルの比較として定式化される」と述べている。
モデルを比較するための一般的な基準としては、"R2"（決定係数）、ベイズ因子、赤池情報量規準、尤度比検定とその一般化であるなどがある。
条件付き確率モデル.
条件付き確率モデル（）は条件付き確率を表現する確率モデルである。
条件付き確率モデルの確率分布は formula_62 で表現され、formula_63 はモデルの入力（）とも呼ばれる。
様々な事象が条件付き確率モデルを用いてモデル化できる。例えば以下が挙げられる：
モデルの入力を分布に結びつける（parameterizeする）方法は様々存在する。例として分布にカテゴリカル分布 formula_66 を採用し、そのパラメータ formula_67 を入力のニューラルネットワークによる変換で表現する条件付き確率モデルを考える。これは以下で定式化される：