レーベンバーグ・マルカート法
偏差の二乗和S(β)は、この勾配がゼロのとき局所最小となる。上式の一次近似を用いると、f(xi, β + δ)の偏差二乗和は以下のように近似される。
S ( β + δ ) ≈ ∑ i = 1 m [ y i − f ( x i , β ) − J i δ ] 2 {\displaystyle S\left({\boldsymbol {\beta }}+{\boldsymbol {\delta }}\right)\approx \sum _{i=1}^{m}\left[y_{i}-f\left(x_{i},{\boldsymbol {\beta }}\right)-{\boldsymbol {J}}_{i}{\boldsymbol {\delta }}\right]^{2}}
ベクトル表記すると、以下のように書ける。