最小二乗法
最小二乗法では測定データ y {\displaystyle y} はモデル関数 f ( x ) {\displaystyle f(x)} と誤差 ε {\displaystyle \varepsilon } の和で
y = f ( x ) + ε {\displaystyle y=f(x)+\varepsilon }
と表せるとする。物理現象の測定データには、誤差が含まれ、それは系統誤差と偶然誤差を含んでいる。この内、偶然誤差は、測定における信号経路の微視的現象に由来するならば、正規分布であると期待されることが多い。また、社会調査などの誤差理由の特定が困難な場合でも誤差が正規分布になると期待する考え方もある。
誤差が正規分布に従わない場合、最小二乗法によって得られたモデル関数はもっともらしくないことに注意する必要がある。偶然誤差が正規分布していない場合、系統誤差が無視できない位大きくそれをモデル関数に含めていない場合、測定データに正規分布から大きく外れた外れ値を含む場合などが該当する。
上記を含め、最小二乗法の理論的基盤には次のような前提が設けられている。
測定値の誤差には偏りがない。すなわち誤差の平均値は 0 である。
測定値の誤差の分散は既知である。ただし測定データごとに異なる値でも良い。
各測定は互いに独立であり、誤差の共分散は 0 である。
誤差は正規分布する。
m {\displaystyle m} 個のパラメータ(フィッティングパラメータ)を含むモデル関数 f {\displaystyle f} が知られていて、測定量の真の値を近似誤差なく再現することのできるパラメータが存在する。
話を簡単にするため、測定値は x , y {\displaystyle x,y} の二次元の平面に分布するものとし、想定される分布(モデル関数)が y = f ( x ) {\displaystyle y=f(x)} の形である場合を述べる。想定している関数 f {\displaystyle f} は、既知の関数 g ( x ) {\displaystyle g(x)} の線型結合で表されていると仮定する。すなわち、
f ( x ) = ∑ k = 1 m a k g k ( x ) {\displaystyle f(x)=\sum _{k=1}^{m}a_{k}g_{k}(x)}
例えば、 g k ( x ) = x k − 1 {\displaystyle g_{k}(x)=x^{k-1}} は、多項式近似であり、特に m = 2 {\displaystyle m=2} の時は f ( x ) = a 1 + a 2 x {\displaystyle f(x)=a_{1}+a_{2}x} という直線による近似(線形回帰)になる。
今、測定で得られた、次のような数値の組の集合があるとする。
{ ( x 1 , y 1 ) , ( x 2 , y 2 ) , .