レーベンバーグ・マルカート法
( J T J ) δ = J T [ y − f ( β ) ] {\displaystyle \left({\boldsymbol {J}}^{\mathrm {T} }{\boldsymbol {J}}\right){\boldsymbol {\delta }}={\boldsymbol {J}}^{\mathrm {T} }\left[{\boldsymbol {y}}-{\boldsymbol {f}}\left({\boldsymbol {\beta }}\right)\right]}
ここで、Jはヤコビ行列であり、そのi行目はJi に等しい。また、f(β), yはそれぞれ、i行目成分をf(xi), yiとするベクトルである。ヤコビ行列は一般的には正方行列ではなく、mをデータ点数、nをベクトルβのサイズとしてm × n長方形行列である。行列積JJはn × n正方行列となり、上式はn連立線形方程式であるからこれを解いてδを得ることができる。これをそのまま解くのがガウス・ニュートン法である。
LM法では、この方程式を次のように「減衰」させたものに置き換える。
LM法の主な適用対象は、最小二乗曲線回帰問題である。 m対の独立変数と従属変数のペア ( x i , y i ) {\displaystyle \left(x_{i},y_{i}\right)} が与えられたとき、βをパラメータとする曲線f(x, β)と所与のペアとの偏差の二乗和S(β)を最小化することを考える。
β ^ ∈ argmin β  S ( β ) ≡ argmin β  ∑ i = 1 m [ y i − f ( x i , β ) ] 2 {\displaystyle {\hat {\boldsymbol {\beta }}}\in \operatorname {argmin} \limits _{\boldsymbol {\beta }}S\left({\boldsymbol {\beta }}\right)\equiv \operatorname {argmin} \limits _{\boldsymbol {\beta }}\sum _{i=1}^{m}\left[y_{i}-f\left(x_{i},{\boldsymbol {\beta }}\right)\right]^{2}}