推計統計学
汎化誤差を議論するにあたって、その基礎にあるのは分布間の差異・距離である。カルバック・ライブラー情報量(KLダイバージェンス)やワッサースタイン計量はその一例である。KLダイバージェンスを用いれば、最尤推定はDKL最小化手法とみることができる。
統計的推測においてどの統計モデル(確率分布とそのパラメータ)を選ぶべきか(統計的モデル選択)の基準には以下のような数学的道具が用いられる。
フィッシャー情報量
赤池情報量規準(AIC)
広く使える情報量規準(WAIC)
区間推定値から、母集団が特定の分布に従っているかどうかを検証すること。 具体的には、データが特定の分布に従う母集団から抽出されたとする仮説を立て、この仮説の検定を行う。この仮説を帰無仮説(きむかせつ)という。たとえば、「抽出集団は、平均値50、標準偏差○の母集団から抽出されたものである。」、「抽出集団Aと抽出集団Bはともに平均値、標準偏差が99%同じ母集団から抽出されたものである。」といった仮説が帰無仮説となる。こうした帰無仮説から予想される統計量と、実際に抽出集団のデータから計算された統計量が一致する確率(p値という)を求め、その確率が予め決めた基準(有意水準、5%または1%が使用されることが多い)よりも小さい(つまり「起こりそうもない」)場合には「有意差がある」として、上の仮説は棄却される。
仮説検定には様々な手法があり、帰無仮説により使い分ける必要がある。統計学的検定手法は、データが特定の確率分布に従うことを仮定する「パラメトリックな手法」と、それを仮定しない「ノンパラメトリック手法」に分けられる。
得られたデータ(標本)に基づいて母集団分布を推定する様々な方法論があり、それらはそれぞれの特徴がある。
それぞれを評価する特徴としては、汎化誤差の振る舞いなどが挙げられる。
統計的推論では観測されたデータを基に真の分布 ptrue(x)を統計モデル pmodel(x|θ)で近似しようとする、言い換えれば2分布の誤差を最小化しようとする。観測されたデータ=「真の分布の部分集合」から真の分布全体の推測をした際の誤差という意味で、これは汎化誤差と呼ばれる。すなわち統計的推測の目的は汎化誤差を最小化する統計モデルの構築にある。
しかし実際の統計的推測をおこなう際には ptrue(x) が不明な場合が多い。ptrue(x) が明らかならばそもそも推論をおこなう必要がほぼないからである。つまり一般には汎化誤差は直接計算できない。汎化誤差が計算できないということは、統計モデルが正しいか否かには答えられない、ということである。
だからといって汎化誤差が無意味なわけではない。データ(標本)は真の分布 ptrue(x) からランダムサンプリングされる確率変数である。そして統計モデルは確率変数たるデータによって学習されるため、汎化誤差もまた確率変数である。確率変数であるということは統計的な性質を見出すことが可能である(分布など)。