ガウス・ニュートン法
{\displaystyle {\boldsymbol {\beta }}^{(s+1)}={\boldsymbol {\beta }}^{(s)}+{\boldsymbol {\Delta }};\quad {\boldsymbol {\Delta }}=-({J_{r}}^{\mathrm {T} }J_{r})^{-1}{J_{r}}^{\mathrm {T} }{\boldsymbol {r}}.}
ガウス・ニュートン法の収束は常に保証されているわけではない。2階微分項を無視するという近似、すなわち
| r i ∂ 2 r i ∂ β j ∂ β k | ≪ | ∂ r i ∂ β j ∂ r i ∂ β k | {\displaystyle \left|r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}\right|\ll \left|{\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}\right|}
に正当性があるのは次の2つの条件の下であり、これらが成り立つ場合には収束が期待される:
ri は十分小さい。少なくとも最小値付近。
関数の非線形性は穏やかであり、 ∂ 2 r i / ∂ β j ∂ β k {\displaystyle {\partial ^{2}r_{i}}/{\partial \beta _{j}\partial \beta _{k}}} が比較的小さくなる。
{\displaystyle H_{jk}=2\sum _{i=1}^{m}\left({\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}+r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \beta _{k}}}\right).}
2階微分項(右辺第2項)を無視することでガウス・ニュートン法を得る。つまり、ヘッシアンは
H ≈ 2 J r T J r , or, H j k ≈ 2 ∑ i = 1 m ∂ r i ∂ β j ∂ r i ∂ β k = 2 ∑ i = 1 m J i j J i k {\displaystyle H\approx 2{J_{r}}^{\mathrm {T} }J_{r},\quad {\text{or,}}\quad H_{jk}\approx 2\sum _{i=1}^{m}{\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}=2\sum _{i=1}^{m}J_{ij}J_{ik}}
と近似される。ここで
J i j = ∂ r i ∂ β j {\displaystyle J_{ij}={\frac {\partial r_{i}}{\partial \beta _{j}}}}
はヤコビアンJr の成分である。
これらの表現を上述の漸化式に代入して、次式を得る:
β ( s + 1 ) = β ( s ) + Δ ; Δ = − ( J r T J r ) − 1 J r T r .