最小二乗法
.. , ( x n , y n ) } {\displaystyle \{(x_{1},y_{1}),\ (x_{2},y_{2}),\ \ldots ,\ (x_{n},y_{n})\}}
これら ( x , y ) {\displaystyle (x,y)} の分布が、 y = f ( x ) {\displaystyle y=f(x)} というモデル関数に従うと仮定した時、想定される理論値は
( x 1 , f ( x 1 ) ) , ( x 2 , f ( x 2 ) ) , . . . , ( x n , f ( x n ) ) {\displaystyle (x_{1},f(x_{1})),(x_{2},f(x_{2})),...,(x_{n},f(x_{n}))}
ということになり、実際の測定値との残差は、各 i {\displaystyle i} につき | y i − f ( x i ) | {\displaystyle |y_{i}-f(x_{i})|} ということになる。
当てはめたい関数 f {\displaystyle f} は、
f ( x ) = ( g 1 ( x ) , g 2 ( x ) , ... , g m ( x ) ) ( a 1 , a 2 , ... , a m ) T {\displaystyle f(x)=(g_{1}(x),g_{2}(x),\ldots ,g_{m}(x))(a_{1},a_{2},\ldots ,a_{m})^{\textrm {T}}}
と表すことができる。上付き添字 T は転置行列を表す。最小にすべき関数 J {\displaystyle J} は
J ( a ) = ( G a − y ) T ( G a − y ) = ( [ G y ] [ a − 1 ] ) T ( [ G y ] [ a − 1 ] ) {\displaystyle {\begin{aligned}J({\boldsymbol {a}})&=(G{\boldsymbol {a}}-{\boldsymbol {y}})^{\textrm {T}}\,(G{\boldsymbol {a}}-{\boldsymbol {y}})\\&=\left({\begin{bmatrix}G&{\boldsymbol {y}}\end{bmatrix}}{\begin{bmatrix}{\boldsymbol {a}}\\-1\end{bmatrix}}\right)^{\textrm {T}}\,\left({\begin{bmatrix}G&{\boldsymbol {y}}\end{bmatrix}}{\begin{bmatrix}{\boldsymbol {a}}\\-1\end{bmatrix}}\right)\end{aligned}}}
∑ i = 1 n { ( x i − f ( t i ) ) 2 + ( y i − g ( t i ) ) 2 } {\displaystyle \sum _{i=1}^{n}\left\{(x_{i}-f(t_{i}))^{2}+(y_{i}-g(t_{i}))^{2}\right\}}
となるから、この値が最小であるように、 f , g {\displaystyle f,g} を決定するのである。
このように、 n {\displaystyle n} 組の ( x , y ) {\displaystyle (x,y)} の測定値 ( x i , y i ) ( i = 1 , 2 , . . . , n ) {\displaystyle (x_{i},y_{i})(i=1,2,...,n)} を n {\displaystyle n} 組の ( x 1 , x 2 , . . . , x m ) {\displaystyle (x_{1},x_{2},...,x_{m})} の測定値 ( x 1 i , x 2 i , . . . , x m i ) ( i = 1 , 2 , . . . , n ) {\displaystyle (x_{1i},x_{2i},...,x_{mi})(i=1,2,...,n)} に拡張したものも考察することができる。
想定される分布が媒介変数 t を用いて ( x , y ) = ( f ( t ) , g ( t ) ) {\displaystyle (x,y)=(f(t),g(t))} の形(あるいは f , g {\displaystyle f,g} は複数の媒介変数によって決まるとしても同様)であっても考察される。
すなわち、測定値 ( x i , y i ) {\displaystyle (x_{i},y_{i})} がパラメータ t i {\displaystyle t_{i}} に対する ( f ( t i ) , g ( t i ) ) {\displaystyle (f(t_{i}),g(t_{i}))} を理論値として近似されているものと考えるのである。
この場合、各点の理論値 ( f ( t i ) , g ( t i ) ) {\displaystyle (f(t_{i}),g(t_{i}))} と測定値 ( x i , y i ) {\displaystyle (x_{i},y_{i})} の間に生じる残差は
( x i − f ( t i ) ) 2 + ( y i − g ( t i ) ) 2 {\displaystyle {\sqrt {(x_{i}-f(t_{i}))^{2}+(y_{i}-g(t_{i}))^{2}}}}
である。故に、残差平方和は
この残差の大きさは、 x y {\displaystyle xy} 平面上での ( x i , y i ) {\displaystyle (x_{i},y_{i})} と ( x i , f ( x i ) ) {\displaystyle (x_{i},f(x_{i}))} との距離でもある。
ここで、理論値からの誤差の分散の推定値は残差の平方和
J = ∑ i = 1 n ( y i − f ( x i ) ) 2 {\displaystyle J=\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}
で与えられるから、 J {\displaystyle J} が最小になるように想定分布 f {\displaystyle f} を(すなわち a k {\displaystyle a_{k}} を)、定めればよいということになる。
それには、上式は a k {\displaystyle a_{k}} を変数とする関数と見なすことができるので、 J {\displaystyle J} を a k {\displaystyle a_{k}} について偏微分したものを 0 と置く。こうして得られた m {\displaystyle m} 個の連立方程式(正規方程式)を解き、 a k {\displaystyle a_{k}} を決定すればよい。