レーベンバーグ・マルカート法
S(β + δ)をδに関して微分した結果を0とすると、以下の式を得る。
( J T J + λ I ) δ = J T [ y − f ( β ) ] ( λ ≥ 0 ) {\displaystyle \left({\boldsymbol {J}}^{\mathrm {T} }{\boldsymbol {J}}+\lambda \mathbf {I} \right){\boldsymbol {\delta }}={\boldsymbol {J}}^{\mathrm {T} }\left[{\boldsymbol {y}}-{\boldsymbol {f}}\left({\boldsymbol {\beta }}\right)\right]\quad (\lambda \geq 0)}
ここで、Iは単位行列である。これを解いて得られるδを用いてパラメータベクトルβの推定値を更新する。
非負の減衰係数λは各反復ごとに調整される。Sが急速に減少する際には小さい値が用いられ、LM法はGN法に近づく。対して、残差が十分に減少しない場合は大きい値のλが用いられ、Sのβについての勾配は−2 (J[y-f(β)])であることに注意すると、λが大きいときδは勾配の逆向きに近付きLM法は最急降下法に近づくことがわかる。計算されたδが十分小さくなったとき、もしくは得られたパラメータ推定値β + δに置き換えた際の偏差二乗和の減少が十分に小さくなったときのどちらかの場合に反復は打ち切られ、解βを得る。
減衰係数λが‖ JJ ‖に比べて大きいときは、JJ+λIの逆行列を求める必要はなく、更新ステップδは λ − 1 J T [ y − f ( β ) ] {\displaystyle \lambda ^{-1}{\boldsymbol {J}}^{\mathrm {T} }\left[{\boldsymbol {y}}-{\boldsymbol {f}}\left({\boldsymbol {\beta }}\right)\right]} で十分に近似される。
LM法は、λが大きい値のときJJの情報がほとんど使われないという欠点を持つ。Fletcherは1971年、勾配が小さい方向への収束が遅いという問題を避けるため、勾配を曲率に応じてスケールするという考えから、単位行列IをJJの対角要素で置き換え、解をスケール不変にする手法が提案された。
[ J T J + λ diag  ( J T J ) ] δ = J T [ y − f ( β ) ] {\displaystyle \left[{\boldsymbol {J}}^{\mathrm {T} }{\boldsymbol {J}}+\lambda \operatorname {diag} \left({\boldsymbol {J}}^{\mathrm {T} }{\boldsymbol {J}}\right)\right]{\boldsymbol {\delta }}={\boldsymbol {J}}^{\mathrm {T} }\left[{\boldsymbol {y}}-{\boldsymbol {f}}\left({\boldsymbol {\beta }}\right)\right]}
同様の減衰因子は、線形不良設定問題を解くために用いられるティホノフ正則化(英語版)や、リッジ回帰と呼ばれる推計法にも現れる。
Moré, Jorge J.; Sorensen, Daniel C. (1983). “Computing a Trust-Region Step”. SIAM J. Sci. Stat. Comput. 4 (3): 553–572. doi:10.1137/0904038. https://digital.library.unt.edu/ark:/67531/metadc283525/m2/1/high_res_d/metadc283525.pdf.
Gill, Philip E.; Murray, Walter (1978). “Algorithms for the solution of the nonlinear least-squares problem”. SIAM Journal on Numerical Analysis 15 (5): 977–992.