ガウス＝マルコフの定理

ガウス=マルコフの定理（ガウス＝マルコフのていり）とは、あるパラメタを観測値の線形結合で推定するとき残差を最小にするように最小二乗法で求めた推定量が、最良線形不偏推定量になることを保証する定理である。カール・フリードリヒ・ガウスとアンドレイ・マルコフによって示された。
線形回帰モデルと最小二乗推定量.
線形回帰モデルとして目的変数 と 個の説明変数 および誤差項 formula_1 の関係を以下のようにモデル化したものを考える。
目的変数と説明変数の測定結果の組 を1つのデータとし、 個のデータを用いて残差の平方和
が最小になるformula_4を最小二乗推定量と呼ぶ。ここで
と置くと線形回帰モデルは
とかけ、最小二乗推定量formula_7は
で与えられる。なお、上付き添字formula_9は転置行列を表す。
ガウス・マルコフの定理.
仮定.
誤差項 formula_10 について
を仮定する。ここでformula_13は単位行列を表す。
無相関性は独立性よりも弱い仮定であり、また正規分布など特定の分布に従うことを仮定していない。
定理の内容.
最小二乗推定量formula_7は最良線形不偏推定量になる。つまり任意の線形不偏推定量formula_15に対して
が成立する。
証明.
formula_15は線形推定量なのでformula_18行formula_19列の行列formula_20を用いてformula_21とかける。formula_15が不偏性を持つための条件を求めると
formula_23が恒等的に成立することからformula_24である。
次にformula_15の分散共分散行列を整理すると
になる。ここでformula_27とした時の推定量が最小二乗推定量formula_7になるので
formula_29を示せばよい。不偏性よりformula_24なので
に注意すると
が成立する。したがって
が成立し、最小二乗推定量formula_7は最良線形不偏推定量になる。