最大事後確率

最大事後確率（さいだいじごかくりつ、）推定は、統計学において、実測データに基づいて未知の量の点推定を行う手法である。ロナルド・フィッシャーの最尤推定 (MLE) に密接に関連するが、推定したい量の事前分布を利用して最適化問題を解き確率が最大の結果を得る。したがってMAP推定は、最尤推定に正則化をつけた物と見ることもできる。 
概要.
formula_1 の観測に基づいて、未知の母集団パラメータ formula_2 を推定したいとする。formula_1 の標本分布を formula_4 とすると、母集団パラメータを formula_2 としたときの formula_1 の確率は formula_7 となる。すると
という関数は尤度関数であり、
は formula_2 の最尤推定である。
ここで、formula_2 の事前分布を formula_12 とする。すると、formula_2 をベイズ推定における確率変数として扱える。formula_2 の事後確率は次のようになる。
ここで formula_12 は formula_2 の密度関数、formula_18 は formula_12 の定義域である。これはベイズの定理の直接的な応用である。
最大事後確率推定の手法では、次に formula_2 をこの確率変数の事後分布の最頻値として推定する。
事後分布の分母は formula_2 に依存していないので、最適化には何の役割も果たさない。formula_2 のMAP推定で事前分布 formula_12 が一様分布の場合の結果は、最尤推定に一致する。MAP推定は、一様損失関数におけるベイズ推定関数である。
MAP推定の計算は解析的に解くか数値的に計算できる。
正規分布での例.
ある並び formula_25 の独立な確率変数 formula_26 があり、formula_27 の事前分布は formula_28 で与えられるとする。ここで formula_27 のMAP推定値を求める。
最大化すべき関数は次のようになる。
これの対数を取る。
これは、formula_27 を動かし次の式を最小化することと等価である。
従って formula_27 のMAP推定値は以下のようになる。
formula_36 の場合を無情報事前分布（）と呼び、この例では formula_37 である。
formula_38 の場合は、formula_27 の事前分布の付与はL2正則化と同じ式になる。