残差平方和
単一の説明変数を持つモデルでは、RSSは以下の式で与えられる。
R S S = ∑ i = 1 n ( y i − f ( x i ) ) 2 {\displaystyle \mathrm {RSS} =\sum _{i=1}^{n}(y_{i}-f(x_{i}))^{2}}
この時 yi は i 番目の変数の値、xi は i 番目の説明変数の値、 f ( x i ) {\displaystyle f(x_{i})} ( y i ^ {\displaystyle {\hat {y_{i}}}} とも)はyiの予測値である。標準線形単純回帰モデルでは、 y i = a + b x i + ε i {\displaystyle y_{i}=a+bx_{i}+\varepsilon _{i}\,} (a および b は係数、y および x はそれぞれ従属変数および独立変数、εは誤差項)である。残差平方和は εi の推定量の平方の和であり以下の式で表わされる。
R S S = ∑ i = 1 n ε i 2 = ∑ i = 1 n ( y i − ( α + β x i ) ) 2 , {\displaystyle \mathrm {RSS} =\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}(y_{i}-(\alpha +\beta x_{i}))^{2},}
この時、α は定数項 a {\displaystyle a} の推定値、β は回帰係数 b の推定値である。