尤度方程式
Xi (i=1,..,n)が形状パラメータをβ、尺度パラメータをηとするワイブル分布に従うとする。このとき、対数尤度関数は
l ( η , β , x ) = n ln  β − n β ln  η + ( β − 1 ) ∑ i = 1 n ln  x i − 1 η β ∑ i = 1 n x i β {\displaystyle l(\eta ,\beta ,\mathbf {x} )=n\ln {\beta }-n\beta \ln {\eta }+(\beta -1)\sum _{i=1}^{n}\ln {x_{i}}-{\frac {1}{\eta ^{\beta }}}\sum _{i=1}^{n}x_{i}^{\beta }}
であり、尤度方程式は
∂ l ( η , β , x ) ∂ η = − n β η − β η ( β + 1 ) ∑ i = 1 n x i β = 0 {\displaystyle {\frac {\partial l(\eta ,\beta ,\mathbf {x} )}{\partial \eta }}=-{\frac {n\beta }{\eta }}-{\frac {\beta }{\eta ^{(\beta +1)}}}\sum _{i=1}^{n}x_{i}^{\beta }=0}
独立同分布を満たす n {\displaystyle n} 個の確率変数 D = { D i ∣ i ∈ { 1 , . . , n } } {\displaystyle {\boldsymbol {D}}=\{D_{i}\mid i\in \{1,..,n\}\}} とその観測値 d = { d i ∣ i ∈ { 1 , . . , n } } {\displaystyle {\boldsymbol {d}}=\{d_{i}\mid i\in \{1,..,n\}\}} を定義する。すなわち真の分布から n {\displaystyle n} 個の観測値(データ)が無作為抽出された状況を考える。
ここで確率密度関数 f ( X | θ ) {\displaystyle f(X|{\boldsymbol {\theta }})} に従う確率モデルを導入する。ここで θ = ( θ 1 , . . , θ p ) {\displaystyle {\boldsymbol {\theta }}={(\theta _{1},..,\theta _{p})}} は分布パラメータ群であり、パラメータ空間Θ ⊂ Rに値を持つ。この確率モデルが d {\displaystyle {\boldsymbol {d}}} を最も良く説明する θ {\displaystyle {\boldsymbol {\theta }}} を求めたい。ゆえに最尤推定をおこなう。
Xi (i=1,..,n)が平均をμ、分散をσとする正規分布に従うとする(X ∼ N(μ, σ))。このとき、対数尤度関数は
l ( μ , σ 2 , x ) = − n 2 ln  2 π − n 2 ln  σ 2 − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 {\displaystyle l(\mu ,\sigma ^{2},\mathbf {x} )=-{\frac {n}{2}}\ln {2\pi }-{\frac {n}{2}}\ln {\sigma ^{2}}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}
であり、尤度方程式は
∂ l ( μ , σ 2 , x ) ∂ μ = 1 σ 2 ∑ i = 1 n ( x i − μ ) = 0 {\displaystyle {\frac {\partial l(\mu ,\sigma ^{2},\mathbf {x} )}{\partial \mu }}={\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )=0}
∂ l ( μ , σ 2 , x ) ∂ σ 2 = − n 2 σ 2 + 1 2 ( σ 2 ) 2 ∑ i = 1 n ( x i − μ ) 2 = 0 {\displaystyle {\frac {\partial l(\mu ,\sigma ^{2},\mathbf {x} )}{\partial \sigma ^{2}}}=-{\frac {n}{2\sigma ^{2}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}=0}
となる。これらを整理すると最尤推定値として
μ ^ = 1 n ∑ i = 1 n x i {\displaystyle {\hat {\mu }}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}
σ 2 ^ = 1 n ∑ i = 1 n ( x i − μ ) 2 {\displaystyle {\hat {\sigma ^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}
を得る。