最尤推定
これを解くと μ ^ = x ̄ = ∑ i = 1 n x i / n {\displaystyle {\hat {\mu }}={\bar {x}}=\sum _{i=1}^{n}x_{i}/n} となる。これはまさに関数の最大値、すなわち μ {\displaystyle \mu } の唯一の極値で、2次微分は負となる。 同様に、 σ {\displaystyle \sigma } に関して微分し0とおけば尤度の最大値 σ ^ 2 = ∑ i = 1 n ( x i − μ ^ ) 2 / n {\displaystyle {\hat {\sigma }}^{2}=\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}/n} が得られる。 つまり、正規分布の母数 θ = ( μ , σ 2 ) {\displaystyle \theta =(\mu ,\sigma ^{2})} に対する最尤推定量は
θ ^ = ( μ ^ , σ ^ 2 ) = ( x ̄ , ∑ i = 1 n ( x i − x ̄ ) 2 / n ) {\displaystyle {\hat {\theta }}=({\hat {\mu }},{\hat {\sigma }}^{2})=({\bar {x}},\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}/n)}
となる。
利用できる情報はこの母集団から得られた n {\displaystyle n} 個の標本 X 1 , X 2 , . . . X n {\displaystyle X_{1},X_{2},...X_{n}} である。
最尤法では 、 θ {\displaystyle \theta } を仮定したときに今回サンプリングされた標本が得られる確率に着目する。すなわち上記にある、母数 θ {\displaystyle \theta } で条件付けられた確率Pに着目する。異なる θ {\displaystyle \theta } ( θ a {\displaystyle \theta _{a}} と θ b {\displaystyle \theta _{b}} )を仮定して P θ a < P θ b {\displaystyle P_{\theta _{a}}<P_{\theta _{b}}} だった場合、これは何を意味するか? 例えばコイン振りの表確率 θ {\displaystyle \theta } を θ a = 0.01 {\displaystyle \theta _{a}=0.01} と θ b = 0.5 {\displaystyle \theta _{b}=0.5} と仮定し、実際の標本が(表・表・表・表・裏)となって P ( x ∣ θ = 0.01 ) = 0.000...9 {\displaystyle \mathbb {P} (x\mid \theta =0.01)=0.000.
これを解けば p = 0 {\displaystyle p=0} 、 p = 1 {\displaystyle p=1} 、 p = 49 / 80 {\displaystyle p=49/80} の3つの解が得られるが、そのうち尤度を最大化するのは明らかに p = 49 / 80 {\displaystyle p=49/80} である( p = 0 {\displaystyle p=0} と p = 1 {\displaystyle p=1} では尤度は0になってしまう)。こうして p {\displaystyle p} に対する最尤推定量は p ^ = 49 / 80 {\displaystyle {\hat {p}}=49/80} と求められる。 この結果で、ベルヌーイ試行の成功数49を t {\displaystyle t} と置き、全回数80を n {\displaystyle n} と置けば一般化できる。 n {\displaystyle n} 回のベルヌーイ試行で t {\displaystyle t} 回成功した場合に対する母数 p {\displaystyle p} の最尤推定量は
p ^ = t n {\displaystyle {\hat {p}}={\frac {t}{n}}}
となる。