操作変数法
X {\displaystyle X} と e {\displaystyle e} に含まれる測定されない因果変数が相関すると、しかしながら、最小二乗法による推定量は一般的に β {\displaystyle \beta } についてバイアスを持ち、一致性もない。この場合、 X {\displaystyle X} の値が与えられた場合の y {\displaystyle y} の値を予測するための推定量としては妥当であるが、 X {\displaystyle X} の y {\displaystyle y} に対する因果効果はこの推定量では分からない。
パラメータ β {\displaystyle \beta } を正しく推定するために、それぞれの内生的な X {\displaystyle X} と強く相関するが、 y {\displaystyle y} とは相関しない(言い換えれば、 e {\displaystyle e} とは相関しない)変数 Z {\displaystyle Z} を導入する。簡単化のために、 X {\displaystyle X} は 定数と内生変数の列からなる T {\displaystyle T} 行2列の行列であるとし、 Z {\displaystyle Z} は 定数と操作変数の列からなる T {\displaystyle T} 行2列の行列であるとする。しかしながら、この方法は X {\displaystyle X} が定数と、例えば、5つの内生変数からなる行列であり、 Z {\displaystyle Z} が定数と5つの操作変数からなる場合といった時にも拡張できる。
過剰識別の操作変数法はそれゆえに、適切に識別された場合の操作変数法の一般化の一つである。
β ^ G M M {\displaystyle {\widehat {\beta }}_{\mathrm {GMM} }} を以下のように展開する。
β ^ G M M = ( X ′ Z ( Z ′ Z ) − 1 Z ′ X ) − 1 X ′ Z ( Z ′ Z ) − 1 Z ′ y {\displaystyle {\widehat {\beta }}_{\mathrm {GMM} }=(X'Z(Z'Z)^{-1}Z'X)^{-1}X'Z(Z'Z)^{-1}Z'y}
適切に識別されている時、操作変数の数と共変数の数は同じである。つまり X {\displaystyle X} の次元と Z {\displaystyle Z} の次元は同じである。ゆえに、 X ′ Z , Z ′ Z {\displaystyle X'Z,Z'Z} と Z ′ X {\displaystyle Z'X} は同じ次元の正方行列である。任意の n {\displaystyle n} 行 n {\displaystyle n} 列の行列 A {\displaystyle A} と B {\displaystyle B} について ( A B ) − 1 = B − 1 A − 1 {\displaystyle (AB)^{-1}=B^{-1}A^{-1}} であるという事実(逆行列を参照のこと。)を用いて、( β ^ G M M {\displaystyle {\widehat {\beta }}_{\mathrm {GMM} }} の中の)逆行列を展開すると、
操作変数が興味のある方程式の誤差項と相関していると、操作変数推定量は一般的には一致推定量ではない。Bound, Jaeger, and Baker (1995) が記すように、"弱"操作変数の選択によりまた別の問題が起こる。弱操作変数とは、第一段階の方程式において内生的な説明変数の予測値としては不十分であるような操作変数のことである。この場合、弱操作変数による内生変数の予測は不十分で、予測値はほとんど変動しない。結果として第二段階の方程式において内生変数を置き換えるために弱操作変数を使ったとき、最終的な値を予測することが難しくなる。
上で議論した喫煙と健康の例における文脈では、喫煙状態がタバコ税の変動にほとんど反応しないのであれば、タバコ税は喫煙についての弱操作変数となる。もし高い税率によって人々がタバコをやめる(もしくは喫煙を始めない)ことがないのであれば、タバコ税の変動は健康に対する喫煙の影響について何も情報を持たない。もしタバコ税が喫煙に与える影響というより他の経路を通して健康に影響を与えるのであれば、タバコ税は操作変数としては不適格であるし、操作変数法は間違った結果を生みかねない。例えば、相対的に健康志向な人々がいる時と場所においては、高い税率のタバコ税の実施と、たとえタバコ税が低率のままであったとしても健康であろうする行動の両方がなされるだろう。そして、仮にもし喫煙が健康に何の影響も与えないとしても、健康とタバコ税の間に相関が見られるだろう。この場合、タバコ税と健康の間に観測された相関から健康に対するタバコの因果効果を推測するのは過ちであろう。
第二段階では、内生変数をすべて第一段階での予測値に置き換える以外は、興味のある回帰は通常通り推定される。
第二段階: Y {\displaystyle Y} を第一段階における予測値で回帰する。
Y = X ^ β + n o i s e . {\displaystyle Y={\widehat {X}}\beta +\mathrm {noise} .\,}
ここから以下が得られる。
β 2 S L S = ( X ′ P Z X ) − 1 X ′ P Z Y {\displaystyle \beta _{2SLS}=\left(X'P_{Z}X\right)^{-1}X'P_{Z}Y}
通常の最小二乗法推定量は ( X ^ ′ X ^ ) − 1 X ^ ′ Y {\displaystyle ({\widehat {X}}'{\widehat {X}})^{-1}{\widehat {X}}'Y} である。 X ^ = P Z X {\displaystyle {\widehat {X}}=P_{Z}X} と置き換え、 P Z {\displaystyle P_{Z}} は対称なべき等行列とする。
Balke and Pearl (1997) はACEの狭い境界を導出し、その境界はACEの符号と大きさについて価値ある情報を提供しうることを示した。
線形分析では、 Z {\displaystyle Z} が ( X , Y ) {\displaystyle (X,Y)} の操作変数であるという仮定が正しいかどうか調べる検定はない。ただし X {\displaystyle X} が離散変数ならばそうではない。Pearl (2000) は全ての f {\displaystyle f} と g {\displaystyle g} について、 Z {\displaystyle Z} が上に上げた二つの方程式を満たすときはいつでも、以下の制約("操作不等式"、英: instrumental inequality)を満たさなくてはいけないことを示した。
max x ∑ y [ max z Pr ( y , x ∣ z ) ] ≤ 1. {\displaystyle \max _{x}\sum _{y}[\max _{z}\Pr(y,x\mid z)]\leq 1.}
以下の議論においては X {\displaystyle X} は T {\displaystyle T} 行 K {\displaystyle K} 列の行列であり、 K {\displaystyle K} は未定のままであると仮定する。 X {\displaystyle X} と Z {\displaystyle Z} が共に T {\displaystyle T} 行 K {\displaystyle K} 列の行列である時の推定量は適切に識別されている(英語版)と言われる。
それぞれの内生的要素 x i {\displaystyle x_{i}} と操作変数の間の関係が以下のように与えられると仮定する。
x i = Z i γ + v i , {\displaystyle x_{i}=Z_{i}\gamma +v_{i},}
最も一般的な操作変数による特定化は以下の推定量を用いる。
β ^ I V = ( Z ′ X ) − 1 Z ′ y {\displaystyle {\widehat {\beta }}_{\mathrm {IV} }=(Z'X)^{-1}Z'y}
この特定化は、真のモデルにおいて Z ′ e = 0 {\displaystyle Z'e=0} が満たされる限り、サンプルサイズが大きくなれば真のパラメータへと近づいていく。
β ^ I V = ( Z ′ X ) − 1 Z ′ y = ( Z ′ X ) − 1 Z ′ X β + ( Z ′ X ) − 1 Z ′ e → β {\displaystyle {\widehat {\beta }}_{\mathrm {IV} }=(Z'X)^{-1}Z'y=(Z'X)^{-1}Z'X\beta +(Z'X)^{-1}Z'e\rightarrow \beta }