非線形最小二乗法
を最小とするような β {\displaystyle {\boldsymbol {\beta }}} が、もっとも当てはまりの良い f {\displaystyle f} を与えるフィッティングパラメータと考える。
この考え方は、数多ある考え方の一つに過ぎない。他の考え方としては、例えば
∑ i = 1 n | r i | {\displaystyle {\sum }_{i=1}^{n}|{r}_{i}|} を最小にする考え方
∑ i = 1 m ( y i − f ( x i , β ) ) 2 {\displaystyle \sum _{i=1}^{m}(y_{i}-f(x_{i},{\boldsymbol {\beta }}))^{2}} を最小とする考え方(単に各データのバラつきが同じと勝手に仮定しただけ)。
データ、モデル関数共に何らかの変換(例えば対数変換)を加えたうえで、最小二乗法をする考え方。
カイ二乗値を最小にする考え方。
等があり得る。これらの考え方で”最適”となったフッティングパラメータは、最小二乗法では”最適”とは限らない。
ただし、最小二乗法の考え方は、確率論的に尤もらしさが裏付けられている。このことについては、次節にて論じる。
また、以下で定まる残差
r i = y i − f ( x i , β ) ( i = 1 , 2 , ... , m ) {\displaystyle r_{i}=y_{i}-f(x_{i},{\boldsymbol {\beta }})\qquad (i=1,2,\dots ,m)} (1-2)
のそれぞれは、それぞれ、期待値 0 {\displaystyle 0} 、標準偏差 σ i {\displaystyle \sigma _{i}} の正規分布に従うとする。また、話を簡単にするため、 x i {\displaystyle x_{i}} それぞれは、いずれも誤差を持たないとする。
このとき、考えるべき問題は、もっとも当てはまりのよい β {\displaystyle {\boldsymbol {\beta }}} を見つけ出すことである。
非線形最小二乗法では、以下の残差平方和(より正確に言えば、標準化された残差平方和)
S ( β ) = ∑ i = 1 m r i 2 2 σ i 2 = ∑ i = 1 m ( y i − f ( x i , β ) ) 2 2 σ i 2 {\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}{\frac {r_{i}^{2}}{2{\sigma }_{i}^{2}}}=\sum _{i=1}^{m}{\frac {({y}_{i}-f({x}_{i},{\boldsymbol {\beta }}))^{2}}{2{\sigma }_{i}^{2}}}} (1-3)