除外変数バイアス

除外変数バイアス（じょがいへんすうばいあす、omitted-variable bias, OVB）は、統計学において、統計モデルから関連する変数を除外することで発生するバイアス。このバイアスの結果、除外された変数の効果を、モデルに含まれた変数の効果に帰してしまう。
より具体的には、回帰分析において、従属変数の決定要因であり、含まれている独立変数と相関するような変数が省略されているなど、仮定した仕様が正しくない場合に、パラメータの推定値にあらわれるバイアスのこと。
線形回帰の例.
直感.
真の因果関係が次の式で与えられると仮定する。
ここで、formula_2 はパラメータ、formula_3 は従属変数、formula_4 は独立変数、formula_5 は誤差項であり、formula_6 が formula_3 に与える影響（formula_8 の推定値）を検討する。
除外変数バイアスが線形回帰に存在するには、2つの条件が当てはまる必要がある。
回帰から formula_10 を省略し、formula_6 と formula_10 の関係が次のようになるとする。
ここで、formula_14 はパラメータ、formula_15 は誤差項である。2番目の方程式を最初の方程式に代入すると、
"formula_3" を formula_6 のみで回帰する場合、この最後の方程式が推定され、formula_6 の回帰係数は実際には formula_20 の推定値ということになる。formula_6 の "formula_3" への直接効果 formula_8 ではなく、間接効果（formula_6 の "formula_10" への効果 formula_26 と formula_10 の "formula_3" への効果 formula_29 との積）との和になる。したがって、回帰から変数 formula_10 を省略することにより、 偏微分ではなく全微分を推定したことになる。formula_29 も formula_26 も非ゼロであれば、両者は異なる。
バイアスの向きは formula_33 の正負、バイアスの大きさは formula_33 の絶対値によって求められる。
詳細な分析.
例として、次の形式の線形モデルを考える。
ここで、
formula_56 と添え字のついた全ての変数の観測値を集め、それらを積み重ねて、行列 X とベクトル y、z、u を得る。
と
独立変数 z が回帰から省略されている場合、他の独立変数の応答係数の推定値は、通常の最小二乗計算によって与えられる。
ここで、formula_60 記号は行列の転置を意味し、-1の上付き文字は逆行列を表す。
仮定された線形モデルに基づいて y を代入すると、
formula_62 は formula_63 とは相関しないので、期待最終項は期待値には影響しない。残りの項を整理すると
右辺第2項が除外変数バイアスであり、除外変数 z が行列 X に含まれる変数のいずれかと相関している場合（formula_65 の場合）非ゼロである。
通常の最小二乗法での効果.
ガウス-マルコフの定理は、古典的な線形回帰モデルの仮定を満たす回帰モデルが、最も効率的で線形で不偏な推定量を提供すると述べている。通常の最小二乗法では、古典的な線形回帰モデルの関連する仮定は、誤差項が回帰子と無相関であるということである。
除外変数バイアスの存在は、この仮定に反するので、通常の最小二乗法による推定値にバイアスがかかり、一貫性が失われる。バイアスの方向は、推定量や、回帰子と除外された変数の間の共分散に依存する。除外変数が回帰変数や従属変数と共分散が正の時、係数の推定値は真の値よりも大きくなる。