線形回帰
以下では擾乱項εiが互いに独立な平均 0 {\displaystyle 0} , 分散 σ 2 {\displaystyle \sigma ^{2}} の正規分布に従うと仮定する。
残差は、観測値とモデルによる予測値の差を表し、以下のように決定される。
ε → ^ = y → − X β ^ {\displaystyle {\hat {\vec {\varepsilon }}}={\vec {y}}-\mathbf {X} {\hat {\beta }}\ }
この時、統計量 S 2 = ε → ^ ⊤ ε → ^ n − p − 1 {\displaystyle S^{2}={\frac {{\hat {\vec {\varepsilon }}}{\;}^{\top }{\hat {\vec {\varepsilon }}}}{n-p-1}}} は分散 σ 2 {\displaystyle \sigma ^{2}} の不偏推定量( E [ S 2 ] = σ 2 {\displaystyle E[S^{2}]=\sigma ^{2}} )になる。また、最小二乗推定量 β ^ {\displaystyle {\widehat {\beta }}} と統計量 S 2 {\displaystyle S^{2}} について以下が成立することが知られている。