高斯-马尔可夫定理

高斯-馬可夫定理（），在統計學中陳述的是在线性回归模型中，如果线性模型满足高斯马尔可夫假定，则回归系数的“最佳线性无偏估计”（BLUE，）就是普通最小二乘法估计。最佳估计是指相较于其他估计量有更小方差的估计量，同时把对估计量的寻找限制在所有可能的线性无偏估计量中。此外，误差也不一定需要满足独立同分布或正态分布。

本定理主要以卡爾·弗里德里希·高斯和安德烈·马尔可夫命名，虽然高斯的贡献要远比马尔可夫的重要。高斯以独立正态分布的假设推导出了结果，而马尔可夫将假设放宽到了上述的形式。

表述

简单（一元）线性回归模型 

对于简单（一元）线性回归模型，

其中和是非随机但不能观测到的参数，是非随机且可观测到的一般变量，是不可观测的随机变量，或称为随机误差或噪音，是可观测的随机变量。

高斯-马尔可夫定理的假设条件是：

 在总体模型中，各变量关系为(线性于参数)
 我们具有服从于上述模型的随机样本，样本容量为n（随机抽样），
 x的样本结果为非完全相同的数值（解释变量的样本有波动），
 对于给定的解释变量，误差的期望为零，换言之 （零条件均值），
 对于给定的解释变量，误差具有相同的方差，换言之 （同方差性）。

则对和的最佳线性无偏估计为，

多元线性回归模型 

对于多元线性回归模型，

, 

使用矩阵形式，线性回归模型可简化记为，其中采用了以下记号：

 (观测值向量，Vector of Responses), 

 (设计矩阵，Design Matrix),

 (参数向量，Vector of Parameters), 

 (随机误差向量，Vectors of Error)。

高斯-马尔可夫定理的假设条件是：

  ，（零均值），
 ，（同方差且不相关），其中为n阶单位矩阵(Identity Matrix)。

则对的最佳线性无偏估计为

证明 

首先，注意的是这里数据是而非，我们希望找到对于的线性估计量，记作

其中，，和分别是，，和矩阵。

根据零均值假设所得，

其次，我们同时限制寻找的估计量为无偏的估计量，即要求，因此有

（零矩阵），

参见 

 方差分析
 安斯库姆四重奏
 横截面回归
 曲线拟合
 经验贝叶斯方法
 邏輯斯諦迴歸
 M估计
 非线性回归
 非参数回归
 多元自适应回归样条
 Lack-of-fit sum of squares
 截断回归模型
 删失回归模型
 简单线性回归
 分段线性回归

参考资料

外部連結 
Earliest Known Uses of Some of the Words of Mathematics: G (brief history and explanation of its name)
Proof of the Gauss Markov theorem for multiple linear regression  (makes use of matrix algebra)
A Proof of the Gauss Markov theorem using geometry

统计定理