頻度主義における統計学的推論は、母集団を規定する量=パラメータ(母数)を既定の固定値としてそれを推定するという方法(パラメトリック推定)に基いて発展してきた。基礎的なパラメトリック推定における統計学的推測は、以下のように細分される。最近は、不確実性を確率分布として表現するベイズ統計学が注目されている。統計モデル.統計モデルとは、対象を統計(母集団と標本)の側面から抽象化したものである。(推測)統計学では母集団が確率的に標本を生み出すと考えるため、統計モデルは確率分布を内包したモデルとなる。例えばコイン振りの統計モデルはベルヌーイ分布でモデル化しうるし、ほかの分布でもモデル化できるかもしれない。統計的機械学習の文脈では、母集団が標本を生成するモデルという面に着目して生成モデルと呼ばれることもある(詳しくは)。統計的推測.統計的推測とは、「データが与えられたとき、そのデータを発生している確率分布を推測すること」である。すなわち、真なる母集団から標本(データ)が得られたとき、その(一般には観測できない)真なる母集団確率分布を推測する過程が統計的推測である。一般的な真なる推測の流れは、となる。統計的推論は個別・具体的事象(標本)から一般・普遍的な規則や原理(母集団モデル)を求める方法論であり、帰納的推論の一種である。区間推定.点推定で推定したパラメータのバラツキや信頼区間を示すこと。仮説検定.区間推定値から、母集団が特定の分布に従っているかどうかを検証すること。仮説検定には様々な手法があり、帰無仮説により使い分ける必要がある。統計学的検定手法は、データが特定の確率分布に従うことを仮定する「パラメトリックな手法」と、それを仮定しない「ノンパラメトリック手法」に分けられる。統計的推測の正しさと汎化誤差.例えば尤度に着目したとき、尤度を最大化すること(最尤推定)が汎化誤差の期待値を最小化するかは明らかではない。尤度の最大値ではなく、尤度の周辺平均値の最大値が汎化誤差期待値を最小化するかもしれない。汎化誤差の振る舞いを解析することで、この疑問に答えることができる。数学的道具立て.統計的推測においてどの統計モデル(確率分布とそのパラメータ)を選ぶべきか(統計的モデル選択)の基準には以下のような数学的道具が用いられる。方法論とそれらの比較.