非線形回帰
最良適合曲線はしばしば、残差二乗和を最小化するものであると想定される。これは普通最小二乗(英語版)(OLS)アプローチである。しかしながら、従属変数が一定の分散を持たない場合は、加重残差二乗和が最小化されるだろう(加重最小二乗法(英語版)を見よ)。それぞれの重みは理想的には観測値の分散の逆数と等しくなるべきであるが、反復加重最小二乗アルゴリズムでは、重みは繰り返し毎に再計算することができる。
一部の非線形回帰問題は、モデル定式化の適切な変換によって線形領域へと移すことができる。
例えば、パラメータaおよびbと乗法誤差項Uを持つ非線形問題
y = a e b x U {\displaystyle y=ae^{bx}U\,\!}
を考える。両辺の対数を取ると、この式は
ln  ( y ) = ln  ( a ) + b x + u , {\displaystyle \ln {(y)}=\ln {(a)}+bx+u,\,\!}
となる。上式において、u = ln(U)である。この式はxに関するln(y) の線形回帰によって未知のパラメータの推定ができることを示唆している。この線形回帰の計算は反復的最適化を必要としない。しかしながら、非線形変換の使用には注意が必要である。データ値の影響は変化し、モデルの誤差構造と全ての推論結果の解釈も同様に変化する。これらは望ましくない効果である。