多重共線性
高度な多重共線性の結果として、たとえ行列 X ⊤ X {\displaystyle X^{\top }X} が逆行列であっても、コンピュータ・アルゴリズムで近似逆行列を得られないかもしれない。また、逆行列を得たとしても数値的には不正確かもしれない。しかし、正確な X ⊤ X {\displaystyle X^{\top }X} 行列がある場合でも、次のような結果が生じる。
多重共線性がある場合、他の変数をコントロールしながら、ある変数の従属変数 Y {\displaystyle Y} への影響を推定することは、予測変数が互いに無相関の場合よりも精度が低くなる傾向がある。回帰係数の通常の解釈は、他の変数を一定に保ったまま、独立変数 X 1 {\displaystyle X_{1}} を 1単位変化させたときの効果の推定値を提供するというものである。与えられたデータセットにおいて、 X 1 {\displaystyle X_{1}} が別の独立変数 X 2 {\displaystyle X_{2}} と高い相関がある場合、 X 1 {\displaystyle X_{1}} と X 2 {\displaystyle X_{2}} が特定の線形確率的関係を持つ観測値の組を持っている。 X 1 {\displaystyle X_{1}} のすべての変化が X 2 {\displaystyle X_{2}} の変化と独立であるような観測値の組はないので、 X 1 {\displaystyle X_{1}} の独立した変化の効果の不正確な推定値を持っていることになる。
ある意味、共線的な変数は、従属変数に関する同じ情報を含んでいる。