ガウス＝マルコフの定理

ガウス=マルコフの定理（ガウス＝マルコフのていり）とは、あるパラメタを観測値の線形結合で推定するとき残差を最小にするように最小二乗法で求めた推定量が、最良線形不偏推定量になることを保証する定理である。カール・フリードリヒ・ガウスとアンドレイ・マルコフによって示された。

線形回帰モデルと最小二乗推定量
線形回帰モデルとして目的変数  と 個の説明変数  および誤差項  の関係を以下のようにモデル化したものを考える。

目的変数と説明変数の測定結果の組  を1つのデータとし、 個のデータを用いて残差の平方和

が最小になるを最小二乗推定量と呼ぶ。ここで

と置くと線形回帰モデルは

とかけ、最小二乗推定量は

で与えられる。なお、上付き添字は転置行列を表す。

ガウス・マルコフの定理

仮定
誤差項  について
  （不偏性）
  （等分散性・無相関性）
を仮定する。ここでは単位行列を表す。

無相関性は独立性よりも弱い仮定であり、また正規分布など特定の分布に従うことを仮定していない。

定理の内容
最小二乗推定量は最良線形不偏推定量になる。つまり任意の線形不偏推定量に対して

が成立する。

証明
は線形推定量なので行列の行列を用いてとかける。が不偏性を持つための条件を求めると
が恒等的に成立することからである。

次にの分散共分散行列を整理すると

になる。ここでとした時の推定量が最小二乗推定量になるので
を示せばよい。不偏性よりなので

に注意すると

が成立する。したがって

が成立し、最小二乗推定量は最良線形不偏推定量になる。

関連項目 
 最小二乗法

参考文献

外部リンク 

統計学の定理
カール・フリードリヒ・ガウス
アンドレイ・マルコフ
数学に関する記事
数学のエポニム