高斯-馬爾可夫定理

高斯-馬可夫定理（Gauss-Markov Theorem），在統計學中陳述的是在線性回歸模型中，如果線性模型滿足高斯馬爾可夫假定，則回歸係數的「最佳線性無偏估計」（BLUE，Best Linear unbiased estimator）就是普通最小二乘法估計。最佳估計是指相較於其他估計量有更小方差的估計量，同時把對估計量的尋找限制在所有可能的線性無偏估計量中。此外，誤差也不一定需要滿足獨立同分布或正態分布。

本定理主要以卡爾·弗里德里希·高斯和安德烈·馬爾可夫命名，雖然高斯的貢獻要遠比馬爾可夫的重要。高斯以獨立正態分布的假設推導出了結果，而馬爾可夫將假設放寬到了上述的形式。

## 表述

### 簡單（一元）線性回歸模型

對於簡單（一元）線性回歸模型。

$$y=\beta_0+\beta_1 x+\varepsilon$$

其中$\beta_0$和$\beta_1$是非隨機但不能觀測到的參數，$x_i$是非隨機且可觀測到的一般變量，$\varepsilon_i$是不可觀測的隨機變量，或稱為隨機誤差或噪音，$y_i$是可觀測的隨機變量。

高斯-馬爾可夫定理的假設條件是：

- 在總體模型中，各變量關係為$y=\beta_0+\beta_1 x+\varepsilon$(線性於參數)
- 我們具有服從於上述模型的隨機樣本，樣本容量為n（隨機抽樣）。
- x的樣本結果為非完全相同的數值（解釋變量的樣本有波動）。
- 對於給定的解釋變量，誤差的期望為零，換言之${\rm E}\left(\varepsilon | x \right)=0$ （零條件均值）。
- 對於給定的解釋變量，誤差具有相同的方差，換言之 ${\rm Var}\left(\varepsilon | x\right)=\sigma^2$（同方差性）。

則對$\beta_0$和$\beta_1$的最佳線性無偏估計為。

$$<pre> \hat\beta_1 = \frac{ \sum{x_iy_i} - \frac{1}{n}\sum{x_i}\sum{y_i} } { \sum{x_i^2} - \frac{1}{n}(\sum{x_i})^2 } = \frac{\widehat{\text{Cov}\left(x,y\right)}}{ \hat {\sigma_x}^2 } =\hat{\rho} _{xy} \frac{\hat {\sigma_x}}{\hat {\sigma_y}},\quad \hat\beta_0 = \overline{y} - \hat\beta_1\,\overline{x}\ . </pre>$$

### 多元線性回歸模型

對於多元線性回歸模型。

$y_i=\sum_{j=0}^p \beta_j x_{ij}+\varepsilon_i$, $x_{i0}=1; \quad i = 1, \dots n.$

使用矩陣形式，線性回歸模型可簡化記為$\mathbf{Y}=\mathbf{X}\boldsymbol{\beta}+\boldsymbol{\varepsilon}$，其中採用了以下記號：

$\mathbf{Y}=(y_1, y_2, \dots, y_n)^T$ (觀測值向量，Vector of Responses),

$\mathbf{X}=(x_{ij})= <pre> \begin{bmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1p} \\ 1 & x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{np} \end{bmatrix} </pre>$ (設計矩陣，Design Matrix),

$\boldsymbol{\beta}=(\beta_0, \beta_1, \dots, \beta_p)^T$ (參數向量，Vector of Parameters),

$\boldsymbol{\varepsilon}=(\varepsilon_1, \varepsilon_2, \dots, \varepsilon_n)^T$ (隨機誤差向量，Vectors of Error)。

高斯-馬爾可夫定理的假設條件是：

- ${\rm E}\left(\boldsymbol{\varepsilon}\mid\mathbf{X}\right)=0$，$\forall \mathbf{X}$（零均值）。
- ${\rm Var}\left(\boldsymbol{\varepsilon}\mid\mathbf{X}\right)={\rm E}\left(\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^T\mid\mathbf{X}\right)=\sigma^2_\varepsilon\mathbf{I_n}$，（同方差且不相關），其中$\mathbf{I_n}$為n階單位矩陣(Identity Matrix)。

則對$\boldsymbol{\beta}$的最佳線性無偏估計為

$$<pre> \hat\boldsymbol{\beta} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{Y} </pre>$$

## 證明

首先，注意的是這裡數據是$\mathbf{Y}$而非$\mathbf{X}$，我們希望找到$\boldsymbol{\beta}$對於$\mathbf{Y}$的線性估計量，記作

$$\hat\boldsymbol{\beta} = \mathbf{M}+\mathbf{N}\mathbf{Y}$$

其中$\hat\boldsymbol{\beta}$，$\mathbf{M}$，$\mathbf{N}$和$\mathbf{Y}$分別是$(p+1)\times1$，$(p+1)\times1$，$(p+1)\times n$和$n\times1$矩陣。

根據零均值假設所得。

$${\rm E}\left(\hat\boldsymbol{\beta}\mid\mathbf{X}\right) = \mathbf{M}+\mathbf{N}{\rm E}\left(\mathbf{Y}\mid\mathbf{X}\right)=\mathbf{M}+\mathbf{N}\mathbf{X}\boldsymbol{\beta}$$

其次，我們同時限制尋找的估計量為無偏的估計量，即要求${\rm E}\left(\hat\boldsymbol{\beta}\right) = \boldsymbol{\beta}$，因此有

$\mathbf{M}=\mathbf{0}$（零矩陣），$\mathbf{N}\mathbf{X}=\mathbf{I_{p+1}}$

## 外部連結

- Earliest Known Uses of Some of the Words of Mathematics: G (brief history and explanation of its name)
- Proof of the Gauss Markov theorem for multiple linear regression (makes use of matrix algebra)
- A Proof of the Gauss Markov theorem using geometry