最尤推定
最尤推定の統計的推論としての最終目標は、手元の限られたデータ(標本)から真の母集団分布を得ることである。しかし一般に真の母集団分布は観測できず、ゆえに最尤推定された統計モデルが「正しいか」(真の母集団分布と一致するか)は検証が不可能である。人間にできることは推定されたモデルと真の分布のずれ(誤差)がどのように統計的に振る舞うかを検証することだけである(詳しくは汎化誤差)。
最尤推定そのものはあくまで、仮定された分布と観測されたデータから得られる尤度を最大化するパラメータを求める方法論である。最尤推定の枠組みは「常に真の分布と一致した分布を得られる」とは主張していないし「最尤推定を用いることが真の分布へ近い分布を得る唯一最良の方法である」とも主張していない。
これらの疑問点は汎化誤差をはじめとする研究によって検証される。