多重共線性
名目上「異なる」測定値が実際に同じ現象を定量化している場合、それらは冗長であると言える。あるいは、変数に異なる名前が付けられ、おそらく異なる数値測定尺度を使用しているが、互いに高い相関がある場合、それらは冗長性を持つことになる。
多重共線性の特徴の一つに、影響を受ける係数の標準誤差が大きくなる傾向がある。この場合、係数がゼロであるという仮説の検定では、説明変数の効果がないという誤った帰無仮説を棄却できず、第二種の過誤となることがある。
多重共線性の別の問題は、入力データの小さな変化がモデルの大きな変化につながり、パラメータ推定値の符号が変わることもあるということである。
このようなデータの冗長性の主な危険性は、回帰分析モデルにおけるオーバーフィッティングである。最良の回帰モデルは、予測変数がそれぞれ従属(結果)変数と高い相関を持つが、せいぜい互いに最小の相関しか持たないものである。このようなモデルは、しばしば「低ノイズ」と呼ばれ、統計的にロバストである(つまり、同じ統計的母集団から抽出された変数セットの多数のサンプルにわたって信頼性の高い予測を行う)。
基本的な仕様が正しい限り、多重共線性は実際には結果を歪めることはなく、関連する独立変数に大きな標準誤差が生じるだけである。さらに重要なことは、回帰の通常の使用法は、モデルから係数を取り出して、それを他のデータに適用することである。多重共線性によって係数値の推定値が不正確になるため、結果として得られるサンプル外の予測値も不正確になる。また、新しいデータの多重共線性のパターンが、当てはめられたデータのパターンと異なる場合、このような外挿は予測に大きな誤差をもたらす可能性がある。