最尤推定
, x n ∣ μ , σ 2 ) = ( 1 2 π σ 2 ) n 2 e − ∑ i = 1 n ( x i − x ̄ ) 2 + n ( x ̄ − μ ) 2 2 σ 2 {\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{\frac {n}{2}}e^{-{\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+n({\bar {x}}-\mu )^{2}}{2\sigma ^{2}}}}}
この分布には平均 μ {\displaystyle \mu } と分散 σ 2 {\displaystyle \sigma ^{2}} の2つの母数がある。上では1つの母数に対する最大化だけを議論したが、この場合も各母数に対して尤度 L ( μ , σ ) = f ( x 1 , , ... , x n ∣ μ , σ 2 ) {\displaystyle L(\mu ,\sigma )=f(x_{1},,\ldots ,x_{n}\mid \mu ,\sigma ^{2})} を最大化すればよい。上の書き方なら θ = ( μ , σ 2 ) {\displaystyle \theta =(\mu ,\sigma ^{2})} とする(このように母数が複数の場合は母数ベクトルとして扱う)。 尤度を最大にするのは、尤度の自然対数を最大にするのと同じである(自然対数は単調増加関数であるから)。このような計算法はいろいろな分野でよく利用され、対数尤度は情報のエントロピーやフィッシャー情報と密接な関係がある。
最尤推定は最大事後確率推定(MAP推定)の特殊例とみなせる。ベイズの定理より P ( θ ∣ x ) ∼ L ( θ ∣ x ) ⋅ P ( θ ) {\displaystyle \mathbb {P} (\theta \mid x)\sim \mathbb {L} (\theta \mid x)\cdot \mathbb {P} (\theta )} は常に成り立ちここで P ( θ ) {\displaystyle \mathbb {P} (\theta )} を一様分布と仮定すると、 P ( θ ∣ x ) ∼ L ( θ ∣ x ) {\displaystyle \mathbb {P} (\theta \mid x)\sim \mathbb {L} (\theta \mid x)} となってこの最大値推定量はMLEと一致する(c.f. 計量経済学)。