計量経済学
ベイジアンが古典的計量経済学および時系列分析と一線を画するのは、確率を主観的に扱う点にある。ベイジアン計量経済学では例外なくベイズの定理が用いられる。ベイズの定理は条件付き確率の定義より直接導かれるものである。
データを y {\displaystyle y} , 関心のあるパラメーターを θ {\displaystyle \theta } とおく。ベイジアンではデータを固定した値、パラメーターを確率変数と解釈するので、データを所与としたパラメーター推定を行うことになる。これは古典的計量経済分析における最尤法と基本的には同じ考え方である。
以下に最尤法の基本的な考え方を説明する。
通常の古典的計量経済分析においては、パラメーターは未知の固定された値であり、データが確率変数であると解釈する。すなわち、我々が手にするデータは背後にある(観測できない)母集団から確率を伴って発生された数値である、と解釈する(厳密には確率変数とは実数値関数であるが、ここでは説明の便宜上このように記しておく)。
例えば最小二乗法では、残差平方和を計算し、それを未知パラメーターで偏微分して推定量を求める。ここでは、あくまでもデータが確率変数であることに注意しておこう。一方、最尤法ではデータは固定された値であり、未知パラメーターが確率変数であると解釈する。
このように解釈する背後には、次のような考え方が存在しているとされる。われわれが観測できたデータは、母集団にある(とされる)データ発生メカニズムから最大の確率を伴って発生されたものである。尤度とは確率の言い換えに過ぎないとすれば、その尤度が最大の状態で未知パラメーターを求めることができれば、それが最尤推定量になる。
実際の計算方法としては、まず尤度関数を導出する。簡単化のために関数の対数をとり、対数尤度関数を導く(対数関数は単調増加関数であるので、尤度関数の最大化と対数尤度関数のそれとは同値である)。ここでは簡単に単純回帰を例に説明しよう。
まず以下の式を考える:
Σ U i 2 = Σ ( Y i − Y ^ i ) 2 {\displaystyle \Sigma \ {U_{i}}^{2}=\Sigma \ (Y_{i}-{\hat {Y}}_{i})^{2}} = Σ ( Y i − b ^ X i − a ^ ) 2 {\displaystyle =\Sigma \ (Y_{i}-{\hat {b}}X_{i}-{\hat {a}})^{2}} = Σ ( Y i 2 + ( b ^ X i ) 2 + a ^ 2 − 2 ( b ^ Y i X i + a ^ Y i − a ^ b ^ X i ) ) {\displaystyle =\Sigma \ ({Y_{i}}^{2}+({\hat {b}}X_{i})^{2}+{\hat {a}}^{2}-2({\hat {b}}Y_{i}X_{i}+{\hat {a}}Y_{i}-{\hat {a}}{\hat {b}}X_{i}))}
が最小になるように b ^ {\displaystyle {\hat {b}}} と a ^ {\displaystyle {\hat {a}}} で一次微分する。
{ Σ X i ( Y i − b ^ X i − a ^ ) = 0 Σ ( Y i − b ^ X i − a ^ ) = 0 {\displaystyle {\begin{cases}\Sigma \ X_{i}(Y_{i}-{\hat {b}}X_{i}-{\hat {a}})=0\\\Sigma \ (Y_{i}-{\hat {b}}X_{i}-{\hat {a}})=0\end{cases}}}
⇔
{ Σ X i Y i = b ^ Σ X i 2 + a ^ Σ X i Σ Y i = b ^ Σ X i + n a ^ {\displaystyle {\begin{cases}\Sigma \ X_{i}Y_{i}={\hat {b}}\Sigma \ {X_{i}}^{2}+{\hat {a}}\Sigma \ X_{i}\\\Sigma \ Y_{i}={\hat {b}}\Sigma \ X_{i}+n{\hat {a}}\end{cases}}}