非線形最小二乗法
線形の最小二乗法では、式(3-2)は未知パラメータ β {\displaystyle {\boldsymbol {\beta }}} についての連立一次方程式になるため、行列を用いて容易に解くことができるが、非線形最小二乗法では反復解法を用いる必要がある。解法には以下のような方法が知られている。
最急降下法
ニュートン法
ガウス・ニュートン法
Marquardt法、修正Marquardt法
パウエル(Powell)の最小二乗法、パウエルのハイブリッド法
最小二乗法は、正規分布に対応したフィッティングパラメータの最尤推定法である。ここでは最小二乗法の尤もらしさについて、確率論を援用して検討する。すなわち、残差 r i {\displaystyle {\boldsymbol {r_{i}}}} それぞれが、期待値 0 {\displaystyle {\boldsymbol {0}}} 、標準偏差 σ i {\displaystyle {\boldsymbol {\sigma _{i}}}} の正規分布に従う確率変数であり、かつ、 r i {\displaystyle r_{i}} からなる確率変数の族は、独立試行と考え、確率論を援用する。
仮定より、残差 r i {\displaystyle r_{i}} それぞれは、いずれも、期待値 0 {\displaystyle 0} 、標準偏差 σ i {\displaystyle \sigma _{i}} の正規分布に従うため、あるデータセット ( x i , y i ) {\displaystyle (x_{i},y_{i})} において、その測定値が y i {\displaystyle y_{i}} となる確率 P ( y i ) {\displaystyle P(y_{i})} は、
P ( y i ) = 1 σ 2 π exp  ( − r i 2 2 σ 2 ) {\displaystyle {P}({y}_{i})={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {{r}_{i}^{2}}{2\sigma ^{2}}}\right)} (2-1)