多重共線性
完全な多重共線性は、不要な情報を含む生のデータセットを扱う際によく見られる。しかし、いったん冗長性(重複や余分さ)を特定して除去しても、研究対象のシステムに固有である相関関係が原因で、近似的な多重共線性を持つ変数が残ることがしばしばある。このような場合には、上の式が成り立つ代わりに、誤差項 v i {\displaystyle v_{i}} を加えた形で式が成り立つ。
λ 0 + λ 1 X 1 i + λ 2 X 2 i + ⋯ + λ k X k i + v i = 0 {\displaystyle \lambda _{0}+\lambda _{1}X_{1i}+\lambda _{2}X_{2i}+\cdots +\lambda _{k}X_{ki}+v_{i}=0}
この場合、変数の間に正確な線形関係はないが、 v i {\displaystyle v_{i}} の分散が λ {\displaystyle \lambda } の値のいくつかのセットに対して小さい場合は、変数 X j {\displaystyle X_{j}} はほぼ完全な多重共線性を持っている。この場合、行列 XX には逆行列があるものの、条件が悪いため、コンピュータのアルゴリズムが近似的な逆行列を計算できるかどうかは不明である。また、計算できたとしても、計算された逆行列は、データのわずかな変化(丸め誤差やサンプルされたデータポイントのわずかな変化の影響が大きくなるため)に非常に敏感で、非常に不正確であったり、サンプルに依存したりする可能性がある。
Robert Wichers は、Farrar-Glauber偏相関検定は、与えられた偏相関が異なる多重共線性パターンに対応する可能性があるという点で、効果がないと主張している。Farrar-Glauber検定は、他の研究者からも批判されている。
条件数検定: 行列における悪条件の標準的な尺度が条件数である。これは、行列の逆行列が有限精度の数値(標準的なコンピュータの単精度浮動小数点数や倍精度浮動小数点数)では数値的に不安定であることを示すものである。 元の行列の小さな変化に対して、計算された逆行列がどの程度敏感に反応するかを示す。条件数は、最大の固有値を設計行列の最小の固有値で割った値の平方根を求めることで計算される。条件数が30以上の場合、その回帰は深刻な多重共線性を持つ可能性がある。多重共線性はさらに、高い条件数に関連する2つ以上の変数が説明される分散の割合が高い場合に存在する。この方法の利点は、どの変数が問題の原因となっているかを示せることである。
データ摂動処理多重共線性は、データにランダムなノイズを加えて何度も回帰を繰り返し、係数がどれだけ変化するかを見ることで検出できる。
説明変数間の相関行列を作成すると、右辺の変数の組み合わせが多重共線性の問題を引き起こしている可能性を示すことができる。 相関値(非対角要素)が 0.4 以上であれば、多重共線性の問題があると解釈されることがある。しかしこの方法は非常に問題が多く、推奨されない。直感的に表現するなら、相関は二変数の関係を表すのに対し、共線性は多変数の現象である。