ガウス＝マルコフの定理
ガウス=マルコフの定理(ガウス=マルコフのていり)とは、あるパラメタを観測値の線形結合で推定するとき残差を最小にするように最小二乗法で求めた推定量が、最良線形不偏推定量になることを保証する定理である。カール・フリードリヒ・ガウスとアンドレイ・マルコフによって示された。
線形回帰モデルとして目的変数 Y とp 個の説明変数 Xi, i = 1, ..., p および誤差項 \varepsilon_k の関係を以下のようにモデル化したものを考える。
Y_k = \beta_0  + \beta_1 X_1 + \beta_2 X_2 +  \cdots +\beta_p X_p + \varepsilon_k,\ k=1,\dots,n.
目的変数と説明変数の測定結果の組 (yk; xk,1,...,xk,p) を1つのデータとし、n( ≥ p) 個のデータを用いて残差の平方和
\sum_{k=1}^n \left\{y_i - (\beta_0  + \beta_1 x_{i,1} + \beta_2 x_{i,2} +  \cdots +\beta_p x_{i,p})\right\}^2
が最小になる(\beta_0, \beta_1, \cdots, \beta_p)を最小二乗推定量と呼ぶ。ここで
\mathbf{Y} = \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix},\ \mathbf{X} = \begin{bmatrix}
1 & x_{11} & x_{12} & \dots & x_{1p} \\
1 & x_{21} & x_{22} & \dots & x_{2p} \\
\vdots & \vdots & \vdots & & \vdots \\
1 & x_{n1} & x_{n2} & \dots & x_{np}
\end{bmatrix},\ \boldsymbol{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{bmatrix},\ \boldsymbol{\varepsilon} = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}
\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}
とかけ、最小二乗推定量\widehat{\boldsymbol{\beta}は
\widehat{\boldsymbol{\beta}  =(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top \mathbf{Y}
で与えられる。なお、上付き添字\topは転置行列を表す。
誤差項 \boldsymbol{\varepsilon} について
E[\boldsymbol{\varepsilon}]=0 (不偏性)
\operatorname{Cov}[\boldsymbol{\varepsilon}] = \sigma^2 \boldsymbol{I} (等分散性・無相関性)
を仮定する。ここで\boldsymbol{I}は単位行列を表す。
無相関性は独立性よりも弱い仮定であり、また正規分布など特定の分布に従うことを仮定していない。
最小二乗推定量\widehat{\boldsymbol{\beta}は最良線形不偏推定量になる。つまり任意の線形不偏推定量\widetilde{\boldsymbol{\beta}に対して
\operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}\right]
が成立する。
\widetilde{\boldsymbol{\beta}は線形推定量なので(p+1)行n列の行列\mathbf{C}を用いて\widetilde{\boldsymbol{\beta}=\mathbf{C}\mathbf{Y}とかける。\widetilde{\boldsymbol{\beta}が不偏性を持つための条件を求めると
E[\widetilde{\boldsymbol{\beta}]=\mathbf{C}\mathbf{X}\boldsymbol{\beta}=\boldsymbol{\beta}が恒等的に成立することから\mathbf{C}\mathbf{X}=\mathbf{I}である。
次に\widetilde{\boldsymbol{\beta}の分散共分散行列を整理すると
\begin{alignat}{2}
\operatorname{Cov}\left[ \widetilde{\boldsymbol{\beta} \right] & = E\left[(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})^\top\right] \\
& = E\left[\mathbf{C}\boldsymbol{\varepsilon}(\mathbf{C}\boldsymbol{\varepsilon})^\top\right] \\
& = \mathbf{C}E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\top]\mathbf{C}^T \\
& = \sigma^2\mathbf{C}\mathbf{C}^\top
\end{alignat}
になる。ここで\hat{\mathbf{C}=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\topとした時の推定量が最小二乗推定量\widehat{\boldsymbol{\beta}になるので
\mathbf{C}\mathbf{C}^\top \succeq \hat{\mathbf{C}\hat{\mathbf{C}^\topを示せばよい。不偏性より\mathbf{C}\mathbf{X}=\mathbf{I}なので
\begin{alignat}{2}
(\mathbf{C} - \hat{\mathbf{C})\hat{\mathbf{C}^\top & = (\mathbf{C} - \hat{\mathbf{C})\mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = (\mathbf{C}\mathbf{X} - \hat{\mathbf{C}\mathbf{X})(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = \mathbf{O}
\end{alignat}
\begin{alignat}{2}
\mathbf{C}\mathbf{C}^\top & = (\mathbf{C}-\hat{\mathbf{C}+\hat{\mathbf{C})(\mathbf{C}-\hat{\mathbf{C}+\hat{\mathbf{C})^\top \\
& = (\mathbf{C}-\hat{\mathbf{C})(\mathbf{C}-\hat{\mathbf{C})^\top + \hat{\mathbf{C}\hat{\mathbf{C}^\top \\
& \succeq \hat{\mathbf{C}\hat{\mathbf{C}^\top
\end{alignat}
が成立する。したがって
\operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}\right]
が成立し、最小二乗推定量\widehat{\boldsymbol{\beta}は最良線形不偏推定量になる。