多重共線性
例えば春夏秋冬などのダミー変数をすべてのカテゴリーに入れ、回帰に定数項を入れることで、完璧な多重共線性が保証される。
データの独立したサブセットを使って推定し、その推定値をデータセット全体に適用するとどうなるか試してみる。 理論的には、小さいデータセットを使って推定した方が、多少高い分散が得られるはずだが、係数値の期待値は同じになるはずである。 当然、観測された係数値は変化するが、その変化の大きさを見てみる。
多重共線性があってもモデルをそのままにしておく。予測変数が回帰モデルの基になったデータと同じ多重共線性のパターンを新しいデータでも取ることができれば、多重共線性の存在は、適合したモデルを新しいデータに外挿する効率に影響しない。
変数の一つを削除する。説明変数を削除することで、有意な係数を持つモデルを作成することができる。しかし、変数を落としたために情報は失われる。関連する変数を省略すると、脱落した変数と相関のある残りの説明変数の係数推定値に偏りが生じてしまう。
より多くのデータを取得する。可能であれば、これが望ましい解決策である。より多くのデータがあれば、より正確なパラメータ推定値(より低い標準誤差)を生み出すことができる。これは、回帰係数の推定値の分散をサンプルサイズと多重共線性の度合いで表す分散拡大係数の式からも分かる。
予測変数を平均化する。