推計統計学
すなわち存在するデータで学習された統計モデルの汎化誤差は計算できないが、汎化誤差の振る舞いは研究することができる。これを利用し、
どのような分布 pmodel(X|θ)が
どのようなデータ x を与えられたとき
どのような推測法で θ ^ {\displaystyle {\hat {\theta }}} を得ると
汎化誤差がいかに振る舞うか(例: ガウス分布に十分な量のデータを与え最尤推定をおこなうと汎化誤差はxxxのようにふるまう)を知ることができる。この研究が進展すれば、観測された目の前のデータに基づいて学習された pmodel(x|θ)の正しさには答えられなくても、その統計的振る舞いを答えることができる。
例えば尤度に着目したとき、尤度を最大化すること(最尤推定)が汎化誤差の期待値を最小化するかは明らかではない。尤度の最大値ではなく、尤度の周辺平均値の最大値が汎化誤差期待値を最小化するかもしれない。汎化誤差の振る舞いを解析することで、この疑問に答えることができる。
推計統計学(すいけいとうけいがく、英: inferential statistics, inductive statistics)あるいは統計的推論(英: statistical inferenece)とは、母集団全体を知ることができない場合に、母集団から抽出された部分集団(抽出集団、標本集団)をもとに、確率論を用いて母集団の様子を推定する統計学の分野を言う。推計という語は、推定、推論、推測などと訳されることもある。