ガウス・ニュートン法
増分ΔがS の減少方向を向いていることは証明されている。もしこのアルゴリズムが収束すれば、その極限はS の停留点である。しかし収束については、ニュートン法では保証されている局所収束さえも保証されていない。
ガウス・ニュートン法の収束の速さ(英語版)は2次である。もし初期推測値が最小値から遠いか、または行列Jr Jr が悪条件であれば収束は遅いか、全くしなくなる。例えば、m = 2本の方程式とn = 1個の変数のある次の問題を考える:
r 1 ( β ) = β + 1 r 2 ( β ) = λ β 2 + β − 1. {\displaystyle {\begin{aligned}r_{1}(\beta )&=\beta +1\\r_{2}(\beta )&=\lambda \beta ^{2}+\beta -1.\end{aligned}}}
この問題の最適値はβ = 0 である。もしλ = 0 なら実質的に線形問題であり、最適値は一回の計算で見つかる。もし|λ| < 1 なら、この手法は線形に収束し残差は係数|λ|で反復ごとに漸近的に減少する。しかし|λ| > 1 なら、この方法はもはや局所的にも収束しない。