ニュートン法
やBFGS法のような準ニュートン法では、ヘッシアンformula_25の推定は1階微分formula_26のみを用いて数値的になされる。したがって"n" 回の反復計算による修正の後、この方法はパフォーマンスにおいてニュートン法を近似する。ガウス・ニュートン法やLevenberg-Marquardt法などは非線形最小二乗問題にのみ適用できるのに対して、準ニュートン法は一般的な実数値関数を最小化できることに注意する。