スチューデント化残差
誤差と残差の違いを理解することは非常に重要である。簡単な線形回帰モデル
Y i = α 0 + α 1 x i + ε i , {\displaystyle Y_{i}=\alpha _{0}+\alpha _{1}x_{i}+\varepsilon _{i},}
を考えよう。ここで「誤差」 εi , i = 1, ... , n は統計的に独立 ですべて同じ分散 σ をもつものとする。
残差は真でなく観測もできない誤差ではなく、観測可能なデータに基く誤差の推定値である。最小二乗法で α0 と α1を推定したとき、(誤差と異なり)残差は、独立ではありえない。なぜなら残差は以下の 2 つの拘束条件を満たすからである。
∑ i = 1 n ε ^ i = 0 , ∑ i = 1 n ε ^ i x i = 0 {\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}=0,\qquad \sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}x_{i}=0}