計量経済学
推定量の導出
実証分析は、多くの場合回帰分析を通じて行われる。回帰式の推定方法には様々なものがあり、最も基本的なものがOLS (Ordinary Least Squares)、最小二乗法である。被説明変数  を説明変数  で表す回帰方程式、
を設定して、被説明変数の測定値と（説明変数の測定値および回帰式を用いて求めた）被説明変数の推定値の差（これを残差と呼ぶ）の二乗和を最小にする係数を求める。
実績値  および推定値  との残差  の二乗和
が最小になるように  と  で一次微分する。
⇒
⇒
すると正規方程式
が得られる。
⇒
⇒
最後に得られるのが最小二乗推定量  と  である。
単係数の有意性
最後に、単回帰分析によって得られた最小二乗推定量の棄却可否は、最小二乗推定量が定数項と説明変数の数の和を自由度とするt分布に従うことから、t検定によって検定される。帰無仮説で係数を0とするt値が高いほど有意である確率、つまりモデルが棄却される確率であるP値が低くなる。
統計的仮説検定の論理を厳密に辿るなれば、この検定では係数が0か否かを検定しているに過ぎず、たとえ帰無仮説を採択できなくなったとしても、それが係数が他の特定の値であることを支持している訳ではない。対立仮説の設定いかんにより、片側検定・両側検定の違いはあっても、検定していることは0かどうかということだけである。
多重回帰
説明変数を2つ以上にする場合を多重回帰または重回帰という。
推定量の導出
重回帰ではスカラー表示だと式が複雑になるので、生産的ではない。行列表示で理解できれば必要十分である。
真のモデルを行列表示で
としたとき、OLS推定量は
となる。
複数係数の有意性
多重回帰分析によって得られた複数の最小二乗推定量、すなわち係数の複数線形制約の棄却可否は、（分散不均一の場合でも）Wald検定・LM検定・尤度比検定によって検定可能である。これら3つの検定統計量は、全て  分布するものであり、漸近的に全く同じものである。分散均一性の仮定が満たされた下では、F分布上におけるF統計量の値によって可否を定めるF検定によって検定可能である。この場合のF統計量は、Wald検定統計量と1対1に対応する。
個別係数の有意性は、単回帰と同様にt検定で見ることができる。
多重共線性
重回帰分析では多重共線性（multi-colinearity）が生じるため、係数の検定ができなくなる。ただし、係数や共分散行列の推定量の一致性を損ねないため、漸近理論を重視する最近の計量では問題視されない。
定式化に関する問題
定式化に関しては、様々な検定方法が提唱されている。なかでもHausman検定は有名である。
入れ子型仮説と非入れ子型仮説
入れ子型とは、次のような式を指していう。
もし下の式において  であれば、両方の式は同一になる。このように、一方の式が他方の式の特殊形として表される場合、入れ子型という。この場合、 をt検定することによって、いずれの定式化が正しいかを判断することができる。
しかしながら、以下のような場合は通常のt検定を用いることはできない。
この場合、互いに特殊形となっていない。これを非入れ子型という。非入れ子型の検定方法としては、古くはCox (1961)による分布族の比較による検定が提唱され、後にPesaran (1974)によって回帰分析への応用が可能となった。しかし、いずれも計算方法が煩雑であるという問題点があった。
そこでDavidson and MacKinnon (1981) がJ検定と呼ばれる検定統計量を開発し、現在では広く一般的に用いられている。これは通常のt検定を用いることが可能であるが、検定力が低いという欠点を持っている点は注意に値する。
ロジットモデル (Logit model)
2値系列を階級別に、階級が高くなるほど一定の漸近線に近づいていく累積密度曲線 (logit curve) を推定したモデルである。例えば年収に対する車所有割合といった二値系列をこのモデルで推計するため、アンケート分析に用いられることが多い。
プロビットモデル (Probit model)
ロジットモデル (Logit model) では誤差項（撹乱項）にロジスティック分布を仮定するのに対して、プロビットモデル (Probit model) では誤差項（撹乱項）に標準正規分布を仮定する。両者の違いはこれだけである。
トービットモデル (Tobit model)
系列が切断されている場合に、切断された系列を復元して求めた回帰モデルである。
一般化モーメント法 (Generalized Method of Moments)
母集団に関するモーメント条件に対応する標本モーメント条件が、成立するように推定する計量手法。モーメント条件の数が推定すべきパラメータ数と同じ場合が、モーメント法 (Method of Moments) である。しかし、モーメント条件の数のほうが推定すべきパラメータ数よりも多い場合でも推定可能であり、この意味でモーメント法を一般化した推定方法であることから、一般化モーメント法 (Generalized Method of Moments) と呼ばれる。しばしばGMMと略記される。OLS推定量やIV推定量なども、GMM推定量の特殊ケースとして解釈することが可能である。
GMMはかなり一般的な仮定の下で一致性をもって推定を行える上に、GMMが登場する前にあった多くの推定量をその特殊ケースとして解釈できることから、非常に有用な広範なクラスの推定量と言える。GMMが登場することによって、それまでは実証が困難と考えられていた複雑な非線形モデルも、直接実証することが可能となった。
一般化経験尤度法 (Generalized Empirical Likelihood)
ポストGMMとして、計量経済学の理論研究者の間で盛んに研究が行われている推定量。
最尤法
以下に最尤法の基本的な考え方を説明する。
通常の古典的計量経済分析においては、パラメーターは未知の固定された値であり、データが確率変数であると解釈する。すなわち、我々が手にするデータは背後にある（観測できない）母集団から確率を伴って発生された数値である、と解釈する（厳密には確率変数とは実数値関数であるが、ここでは説明の便宜上このように記しておく）。
例えば最小二乗法では、残差平方和を計算し、それを未知パラメーターで偏微分して推定量を求める。ここでは、あくまでもデータが確率変数であることに注意しておこう。一方、最尤法ではデータは固定された値であり、未知パラメーターが確率変数であると解釈する。
このように解釈する背後には、次のような考え方が存在しているとされる。われわれが観測できたデータは、母集団にある（とされる）データ発生メカニズムから最大の確率を伴って発生されたものである。尤度とは確率の言い換えに過ぎないとすれば、その尤度が最大の状態で未知パラメーターを求めることができれば、それが最尤推定量になる。
実際の計算方法としては、まず尤度関数を導出する。簡単化のために関数の対数をとり、対数尤度関数を導く（対数関数は単調増加関数であるので、尤度関数の最大化と対数尤度関数のそれとは同値である）。ここでは簡単に単純回帰を例に説明しよう。
まず以下の式を考える：
ここで古典的計量分析では  と  は本来、確率変数であるが、最尤法ではこれらを定数と見なす。したがって、この式では  のみが確率変数である。そこで、この式を  の式と読み替えるために、以下のように書き換える：
ここで  が正規分布に従っていると仮定すれば、変数変換を用いることにより右辺も正規分布の確率密度関数の中に組み込むことができる。密度関数は確率を与える関数であるので、それを最大にするようなパラメーター  と  とが最尤推定量となる。
定常系列と非定常系列
時系列分析では単時系列と復時（パネル）系列を用いる。系列には定常データと非定常データがある。系列が単位根や共和分を持つかどうかが問題となる。
単位根と共和分
1960年代まで、古典的計量分析において時系列データを用いた回帰分析では、データそのものに対する考察はほとんどなく、そのまま最小二乗法などが適用されていた。主にマクロ計量分析では、高い決定係数を示す分析結果が多く、それは結果の妥当性を示すものと認識されていた。
これに対し1970年代に入ると、Grangerが無関係なランダム・ウォークに従う変数同士を回帰させた場合、無関係にもかかわらず、回帰係数の値が統計的に0でない値になり、高い決定係数を示し、同時に低いDurbin-Watson統計量を示すことをモンテカルロ分析から明らかにした。この結果の意味することは、1970年代以前に計量経済学で検証されてきた様々な経済モデルが統計的には全く意味がない可能性があるということである。この画期的な論文を発表する前は、計量経済学者および統計学者からはあまり評判がよくなかったが、彼らも実際に分析したところ、同様の結果を得たことから次第にデータそのものに対する考察が進められてきた。
1970年代から急速に研究が進み、1980年代に入るとP.C.B.Phillipsが金字塔とも言えるべき論文をEconometricaに掲載する。同じ号の次の論文が、Grangerがノーベル賞を取る理由の1つとなった共和分に関する論文であった。これらの論文により、単位根および共和分の検定が普及することとなる。
単位根検定
先にランダム・ウォークどうしの変数を回帰した場合の話をしたが、単位根検定とは基本的に変数がランダム・ウォークであるか否かを検定する方法である。
ランダム・ウォークとは次のように定式化される確率変数列のことをいう：
この式は次式において、パラメーターを1にしたものと同様である：
したがって、この式においての仮説検定を行えばよいことになる。しかしながらこの式で検定統計量を導出すると、それは通常のt分布に従わないことが分かっている。
ベイジアン計量経済学
ベイジアンが古典的計量経済学および時系列分析と一線を画するのは、確率を主観的に扱う点にある。ベイジアン計量経済学では例外なくベイズの定理が用いられる。ベイズの定理は条件付き確率の定義より直接導かれるものである。
データを , 関心のあるパラメーターを  とおく。ベイジアンではデータを固定した値、パラメーターを確率変数と解釈するので、データを所与としたパラメーター推定を行うことになる。これは古典的計量経済分析における最尤法と基本的には同じ考え方である。
ベイズの定理
パラメーターは以下のようにして求められる。まず条件付確率の定義より
を得る。右辺の分子に再度、条件付確率の定義を適用して
ここで右辺の分母は所与のデータの確率を表しているので、定数と見なして差し支えない。したがってベイズの定理として以下の式を得ることができる。
ここでは比例関係を表している。
最後の式は次のように解釈する。左辺はデータが与えられた下でのパラメーターの従う確率、すなわち事後確率を表しており、右辺はデータが与えられる前の事前確率にパラメーターに関する尤度をかけたものに比例している。つまり何も情報が与えられていない事前確率に尤度を掛けることによって、事後確率を得るという情報のアップデートを、このベイズの定理は表していることになる。
自然共役事前分布
共役とは、共役複素数という言葉からも分かるように、基本的に同じ構造を持ち合わせていることを意味する。ベイズの定理における共役とは、事前確率と事後確率とが同じような分布に従うことをいう。
統計学においては分布族 (distribution family) という概念がある。数理的構造が同じである場合、同じ分布族に従うという。例として指数型分布族が挙げられる。
先のベイズの定理において、尤度と事前確率とが共に正規分布に従っている場合、事後確率も正規分布に従うことが簡単に分かる（分布の再生性による）。ほかにも事前分布が逆ガンマ分布に、尤度が正規分布に従っている場合も、事後分布は逆ガンマ分布に従うことが導出される。
分析の容易性という観点からは、自然共役事前確率を用いることが望ましい。しかしながらいつでも（都合のよい）事前確率を想定することはできない。この場合、次の無条件事前分布を用いることになる。
無情報事前分布
自然共役事前分布と違い、こちらは事前分布にまつわる情報が何もない、いわば白旗を揚げている状態をさす。こういう場合には、例えばパラメーターの事前分布としてパラメーター空間において全ての値が均一の確率を有していると仮定するのが自然であろう。したがって、無条件事前分布の候補の一つとして一様分布が挙げられる。
また、ジェフリーズによる無条件事前分布というものがある。これはフィッシャーの情報行列の平方根を事前分布として用いるものである。
ところで、一様分布を事前分布に用いる場合、結果として古典的計量分析における最尤法と同じ結果を得ることができる。古典的計量分析における最尤法をベイジアンで解釈すれば、事前分布に一様分布を仮定し、事後分布のモード（最頻値）を求めていることと同じになる。
パラメーターの推定および検定
古典的計量分析においては、パラメーターがt分布に従うと仮定して、信頼区間を計算する。また有意水準を設定することにより、仮説検定を行うことになる。通常、有意水準は5%に設定されることが多い（これは経験則のようなものであり、合理的根拠は全く存在しない）。
このことは、検定力の計算可能性と関係がある。統計的仮説検定には第一種の過誤 (type I error) と第二種の過誤 (type II error) とがあるが、分析者がコントロールできるのは後者だけである。5%という値が意味しているのは、100回のうち5回は間違った判断をすることを許容していることになる。
ところでベイジアンでは、検定力という概念は存在しない。これは検定方法に理由がある。古典的計量分析におけるネイマン＝ピアソン型の仮説検定では、上に述べたように有意水準（何%の間違いを許容するか）を設定する必要がある。すなわち、第二種の過誤をコントロールして仮説検定を行っている。
これに対しベイジアンでは、ベイズの定理から事後分布を得ているので、分布の密度が高い部分の95%の範囲を選ぶことができる。古典的計量分析では信頼区間 (confidence interval) と言われているものが、ベイジアンでは信用区間 (credible interval) と呼ばれている。中でも密度の高い部分の信用区間を選ぶことが多く、これを最高事後密度区間 (HPDI: Highest Posterior Density Interval) という。
古典的計量分析における信頼区間では、パラメーターの従う分布を例えばt分布と仮定した上で仮説検定を行っている。しかし、いつでもそのような分布に従うとは限らない。これに対してベイジアンでは事後の分布を特定化できるために、常に密度の高い信用区間を得ることが可能となる。言い換えれば、ベイジアンの仮説検定は極めて直接的であるといえよう。
問題点とその解決策：MCMCの導入
ベイジアン計量経済学は、常にベイズの定理を適用し、条件付確率を用いた議論を行うという点で一貫性を有している。しかしながら、少しでも分布が複雑になってしまうと、事後分布を解析的に導出することが不可能になるケースが多い。また、仮に導出できたとしても、今度は数値計算が難しくなってしまうという問題がある。このため、これまで計量経済学においてベイズ分析は少なかった。
ところが1990年代に入り、主に統計物理学の分野で発展してきたマルコフ連鎖モンテカルロ法 (MCMC method: Markov Chain Monte Carlo method) が導入されたことにより、統計分析におけるベイズ分析の適用が爆発的に普及することとなった。また、Zellner,A. (1971)以来、テキストブックも出てこなかったが、ここ数年で次々とベイジアン計量経済学の教科書が出版されるようになった。また、マクロ経済学の実証分析におけるベイズ分析の需要も相俟って、計量経済学において必要不可欠な分析装置となりつつある。
以下ではMCMCの基本的な考え方を述べることとしたい。以下では、マルコフ連鎖の基本的内容については既知のものとする。