ガウス・ニュートン法
DFP法やBFGS法のような準ニュートン法では、ヘッシアン ∂ 2 S / ∂ β j ∂ β k {\displaystyle {\partial ^{2}S}/{\partial \beta _{j}\partial \beta _{k}}} の推定は1階微分 ∂ r i / ∂ β j {\displaystyle {\partial r_{i}}/{\partial \beta _{j}}} のみを用いて数値的になされる。したがってn 回の反復計算による修正の後、この方法はパフォーマンスにおいてニュートン法を近似する。ガウス・ニュートン法やレーベンバーグ・マルカート法などは非線形最小二乗問題にのみ適用できるのに対して、準ニュートン法は一般的な実数値関数を最小化できることに注意する。
1階微分のみを使って最小化問題を解く他の方法は、最急降下法である。しかし、その方法は近似に2階微分を考慮していないので、多くの関数に対して、特にパラメータが強い相互作用を持っている場合には、計算効率が非常に悪い。