除外変数バイアス
β ^ = ( X ⊤ X ) − 1 X ⊤ ( X β + z δ + u ) = ( X ⊤ X ) − 1 X ⊤ X β + ( X ⊤ X ) − 1 X ⊤ z δ + ( X ⊤ X ) − 1 X ⊤ u = β + ( X ⊤ X ) − 1 X ⊤ z δ + ( X ⊤ X ) − 1 X ⊤ u {\displaystyle {\begin{aligned}{\widehat {\boldsymbol {\beta }}}&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+\mathbf {z} \delta +\mathbf {u} )\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {z} \delta +(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {u} \\&={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {z} \delta +(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {u} \end{aligned}}}
y = ( a + c d ) + ( b + c f ) x + ( u + c e ) {\displaystyle y=(a+cd)+(b+cf)x+(u+ce)}
y {\displaystyle y} を x {\displaystyle x} のみで回帰する場合、この最後の方程式が推定され、 x {\displaystyle x} の回帰係数は実際には b + c f {\displaystyle b+cf} の推定値ということになる。 x {\displaystyle x} の y {\displaystyle y} への直接効果 b {\displaystyle b} ではなく、間接効果( x {\displaystyle x} の z {\displaystyle z} への効果 f {\displaystyle f} と z {\displaystyle z} の y {\displaystyle y} への効果 c {\displaystyle c} との積)との和になる。したがって、回帰から変数 z {\displaystyle z} を省略することにより、 偏微分ではなく全微分を推定したことになる。 c {\displaystyle c} も f {\displaystyle f} も非ゼロであれば、両者は異なる。
バイアスの向きは c f {\displaystyle cf} の正負、バイアスの大きさは c f {\displaystyle cf} の絶対値によって求められる。