最尤推定
最尤推定(さいゆうすいてい、英: maximum likelihood estimationという)や最尤法(さいゆうほう、英: method of maximum likelihood)とは、統計学において、与えられたデータからそれが従う確率分布の母数を点推定する方法である。
X ∼ f ( X ∣ θ 0 ) θ ^ = arg  max θ L ( θ ∣ X = x ) = arg  max θ f ( X = x ∣ θ ) {\displaystyle {\begin{array}{lcl}X&\thicksim &f(X\mid \theta _{0})\\{\hat {\theta }}&=&\arg \max \limits _{\theta }L(\theta \mid X=x)=\arg \max \limits _{\theta }f(X=x\mid \theta )\end{array}}}
この方法はロナルド・フィッシャーが1912年から1922年にかけて開発した。
観測されたデータからそれを生んだ母集団を説明しようとする際に広く用いられる。生物学では塩基やアミノ酸配列のような分子データの置換に関する確率モデルに基づいて系統樹を作成する際に、一番尤もらしくデータを説明する樹形を選択するための有力な方法としても利用される。機械学習ではニューラルネットワーク(特に生成モデル)を学習する際に最尤推定(負の対数尤度最小化として定式化)が用いられる。
尤度 P ( x ∣ θ ) {\displaystyle \mathbb {P} (x\mid \theta )} は条件付確率の定義から「 θ {\displaystyle \theta } を仮定したときに今回サンプリングされた標本が得られる確率」である。「観測データから求まる、パラメータが θ {\displaystyle \theta } である確率」では決してない。それは事後確率 P ( θ ∣ x ) {\displaystyle \mathbb {P} (\theta \mid x)} である。
よって尤度最大の θ {\displaystyle \theta } を求める最尤推定は「パラメータが θ {\displaystyle \theta } である確率をデータから最大化する統計的推論手法」ではない。起きやすい現象が起きた場合が最も尤もらしいという考えに基づいて、尤度を最大化する θ {\displaystyle \theta } を母集団の推定値とする手法が最尤推定である。