最尤推定
以下、コインを投げて表・裏(あるいは成功・失敗:その確率は0.5とは限らない)のいずれが出るかを見る場合(ベルヌーイ試行)を例にとる。
箱の中に3つのコインがあるとしよう。見た目では全く区別がつかないが、表の出る確率 p {\displaystyle p} が、それぞれ p = 1 / 3 {\displaystyle p=1/3} 、 p = 1 / 2 {\displaystyle p=1/2} 、 p = 2 / 3 {\displaystyle p=2/3} である。( p {\displaystyle p} が、上で θ {\displaystyle \theta } と書いた母数にあたる)。箱の中から適当に1つ選んだコインを80回投げ、 x 1 = H {\displaystyle x_{1}={\mbox{H}}} 、 x 2 = T {\displaystyle x_{2}={\mbox{T}}} 、 ... {\displaystyle \ldots } 、 x 80 = T {\displaystyle x_{80}={\mbox{T}}} のようにサンプリングし、表(H)の観察された回数を数えたところ、表(H)が49回、裏が31回であった。さて、投げたコインがどのコインであったと考えるのが一番尤もらしいか? 一番尤もらしいコイン(すなわち、一番尤もらしい p {\displaystyle p} の値)を推定するためには、次のように尤度を計算する:
..9} 、 P ( x ∣ θ = 0.5 ) = 0.03125 {\displaystyle \mathbb {P} (x\mid \theta =0.5)=0.03125} ( P θ a << P θ b {\displaystyle P_{\theta _{a}}<<P_{\theta _{b}}} )だった場合、これは何を意味するか?
直感的には「 θ b = 0.5 {\displaystyle \theta _{b}=0.5} の方がそれっぽい」と考えられる。すなわち2つの θ {\displaystyle \theta } を仮定したとき、片方ではほぼあり得ない現象が起きたことになり、もう片方ではまぁありうる確率の現象が起きたと考えられるので、より P ( x ∣ θ ) {\displaystyle \mathbb {P} (x\mid \theta )} が大きい方が尤もらしいと推定しているのである。もちろん奇跡的に稀な表が続いた( θ a = 0.01 {\displaystyle \theta _{a}=0.01} である)可能性もありうるが、より尤もらしいのはより起きやすい現象であろう、という論理が最尤推定の根底にある論理である(「起きやすい現象が起きた」と「起きづらい現象が起きた」なら前者と考えるのが合理的、という論理)。
このような論理に基づき、母数 θ {\displaystyle \theta } の一番尤もらしい値を探す( θ {\displaystyle \theta } のすべての可能な値の中から、観察された標本の尤度 P ( x ∣ θ ) {\displaystyle \mathbb {P} (x\mid \theta )} を最大にするものを探す)方法が最尤推定である。