多重共線性
ここで、 λ k {\displaystyle \lambda _{k}} は定数であり、 X k i {\displaystyle X_{ki}} は k番目の説明変数に関する i番目の観測値である。重回帰方程式
Y i = β 0 + β 1 X 1 i + ⋯ + β k X k i + ε i {\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\cdots +\beta _{k}X_{ki}+\varepsilon _{i}}
のパラメータの推定値を得ようとする過程を調べることで、多重共線性に起因する一つの問題を探ることができる。
最小二乗法(OLS)による推定では、行列 X T X {\displaystyle X^{T}X} を反転させることになる。
ここで
X = [ 1 X 11 ⋯ X k 1 ⋮ ⋮ ⋮ 1 X 1 N ⋯ X k N ] {\displaystyle X={\begin{bmatrix}1&X_{11}&\cdots &X_{k1}\\\vdots &\vdots &&\vdots \\1&X_{1N}&\cdots &X_{kN}\end{bmatrix}}}
は、N×(k+1) 行列で、N は観測値の数、k は説明変数の数である(N は k+1 以上であることが必要)。独立変数の間に厳密な線形関係(完全な多重共線性)がある場合、X の列の少なくとも1つは他の列の線形結合であり、したがって、X の(つまり XX の)ランクは k+1 より小さくなり、行列 XX は反転可能ではない。