尤度方程式
θ ( k + 1 ) = θ ( k ) + I ( θ ( k ) ) − 1 S ( x , θ ( k ) ) {\displaystyle {\boldsymbol {\theta }}^{(k+1)}={\boldsymbol {\theta }}^{(k)}+I({\boldsymbol {\theta }}^{(k)})^{-1}\mathbf {S} (\mathbf {x} ,{\boldsymbol {\theta }}^{(k)})}
を定める。
ニュートン=ラフソン法は、最適解θ*の近傍で二次収束するため、収束が早い。すなわち、θ*の十分近くの適切な初期値を与えれば、
| | θ ( k ) − θ ∗ | | ≤ K | | θ ( k ) − θ ∗ | | 2 {\displaystyle ||{\boldsymbol {\theta }}^{(k)}-{\boldsymbol {\theta }}^{\ast }||\leq K||{\boldsymbol {\theta }}^{(k)}-{\boldsymbol {\theta }}^{\ast }||^{2}}
を満たす正の定数Kが存在する。
一方で、ニュートン=ラフソン法は各ステップで、対数尤度関数のヘッセ行列から定まるI(θ)の逆行列を計算する、もしくは、p次の連立方程式を解くことが必要となる。これらの計算量はO(p)のオーダーであり、パラメータ数pが増えると、計算負荷が急激に増える。また、初期値の設定によっては、I(θ)は正定値とはならず、最適解θ*に収束しない場合がある。
最尤法では対数尤度関数を最大化する θ {\displaystyle {\boldsymbol {\theta }}} が最尤推定値 θ ^ {\displaystyle {\hat {\boldsymbol {\theta }}}} として定まる。このとき θ ^ {\displaystyle {\hat {\boldsymbol {\theta }}}} は次の極値条件を満たす。
∂ ∂ θ l ( θ | d ) = 0 {\displaystyle {\frac {\partial }{\partial {\boldsymbol {\theta }}}}l({\boldsymbol {\theta }}|{\boldsymbol {d}})=\mathbf {0} }
この方程式を尤度方程式という。左辺の勾配ベクトル:
S ( d , θ ) := ∂ ∂ θ l ( θ | d ) {\displaystyle \mathbf {S} ({\boldsymbol {d}},{\boldsymbol {\theta }}):={\frac {\partial }{\partial {\boldsymbol {\theta }}}}l({\boldsymbol {\theta }}|{\boldsymbol {d}})}
は、スコア関数、もしくは単にスコアと呼ばれる。多くの場合、最尤推定値の推定は、尤度方程式を解く問題、すなわち、スコアをゼロとするパラメータθ∈ Θを求める問題に帰着する。