最小二乗法
n {\displaystyle n} 回の測定における誤差があらかじめ分かっている場合を考える。異なる測定方法で測定した複数のデータ列を結合する場合などでは、測定ごとに誤差が異なることはしばしばある。誤差が正規分布していると考え、その標準偏差 σ i ( i = 1 , 2 , ... , n ) {\displaystyle \sigma _{i}(i=1,2,\ldots ,n)} で、誤差の大きさを表す。すると、誤差が大きい測定より、誤差が小さい測定の結果により重みをつけて近似関数を与えるべきであるから、
J ′ = ∑ i = 1 n ( y i − f ( x i ) ) 2 σ i 2 {\displaystyle J'=\sum _{i=1}^{n}{\frac {(y_{i}-f(x_{i}))^{2}}{\sigma _{i}^{2}}}}
もし、 f {\displaystyle f} が、 a k {\displaystyle a_{k}} の線型結合で表されないときは、正規方程式を用いた解法は使えず、反復解法を用いて数値的に a k {\displaystyle a_{k}} の近似値を求める必要がある。例えば、ガウス・ニュートン法やレーベンバーグ・マーカート法が用いられる。とくにレーベンバーグ・マーカート法(英: Levenberg-Marquardt Method)は多くの多次元非線形関数でパラメータを発散させずに効率よく収束させる(探索する)方法として知られている。