線形回帰
Y = X β + ε {\displaystyle Y=\mathbf {X} \beta +\varepsilon }
n = p の場合、回帰パラメタの標準誤差は算出できない。n が p より小さい場合、パラメタは算出できない。
回帰パラメタの推定量は、
β ^ = ( X ⊤ X ) − 1 X ⊤ y → {\displaystyle {\widehat {\beta }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\vec {y}}}
で与えられ、ガウス=マルコフの定理より推定量 β ^ {\displaystyle {\widehat {\beta }}} は最良線形不偏推定量になる。つまり、任意の線形不偏推定量 β {\displaystyle \beta } に対して
V [ β ] ≥ V [ β ^ ] {\displaystyle V[\beta ]\geq V[{\widehat {\beta }}]}
が成立する。
回帰の二乗和 SSR は下式で与えられる。