高斯-马尔可夫定理

高斯-馬可夫定理（英語：Gauss-Markov Theorem），在統計學中陳述的是在线性回归模型中，如果线性模型满足高斯马尔可夫假定，则回归系数的“最佳线性无偏估计”（BLUE，英語：Best Linear unbiased estimator）就是普通最小二乘法估计。最佳估计是指相较于其他估计量有更小方差的估计量，同时把对估计量的寻找限制在所有可能的线性无偏估计量中。此外，误差也不一定需要满足独立同分布或正态分布。 本定理主要以卡爾·弗里德里希·高斯和安德烈·马尔可夫命名，虽然高斯的贡献要远比马尔可夫的重要。高斯以独立正态分布的假设推导出了结果，而马尔可夫将假设放宽到了上述的形式。 对于简单（一元）线性回归模型， y = β 0 + β 1 x + ε {\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon } 其中 β 0 {\displaystyle \beta _{0}} 和 β 1 {\displaystyle \beta _{1}} 是非随机但不能观测到的参数， x i {\displaystyle x_{i}} 是非随机且可观测到的一般变量， ε i {\displaystyle \varepsilon _{i}} 是不可观测的随机变量，或称为随机误差或噪音， y i {\displaystyle y_{i}} 是可观测的随机变量。 高斯-马尔可夫定理的假设条件是： 在总体模型中，各变量关系为 y = β 0 + β 1 x + ε {\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon } (线性于参数) 我们具有服从于上述模型的随机样本，样本容量为n（随机抽样）， x的样本结果为非完全相同的数值（解释变量的样本有波动）， 对于给定的解释变量，误差的期望为零，换言之 E ( ε | x ) = 0 {\displaystyle {\rm {E}}\left(\varepsilon |x\right)=0} （零条件均值）， 对于给定的解释变量，误差具有相同的方差，换言之 V a r ( ε | x ) = σ 2 {\displaystyle {\rm {Var}}\left(\varepsilon |x\right)=\sigma ^{2}} （同方差性）。 则对 β 0 {\displaystyle \beta _{0}} 和 β 1 {\displaystyle \beta _{1}} 的最佳线性无偏估计为， β ^ 1 = ∑ x i y i − 1 n ∑ x i ∑ y i ∑ x i 2 − 1 n ( ∑ x i ) 2 = Cov ( x , y ) ^ σ x ^ 2 = ρ ^ x y σ x ^ σ y ^ , β ^ 0 = y ¯ − β ^ 1 x ¯   . {\displaystyle {\hat {\beta }}_{1}={\frac {\sum {x_{i}y_{i}}-{\frac {1}{n}}\sum {x_{i}}\sum {y_{i}}}{\sum {x_{i}^{2}}-{\frac {1}{n}}(\sum {x_{i}})^{2}}}={\frac {\widehat {{\text{Cov}}\left(x,y\right)}}{{\hat {\sigma _{x}}}^{2}}}={\hat {\rho }}_{xy}{\frac {\hat {\sigma _{x}}}{\hat {\sigma _{y}}}},\quad {\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}\,{\overline {x}}\ .} 对于多元线性回归模型， y i = ∑ j = 0 p β j x i j + ε i {\displaystyle y_{i}=\sum _{j=0}^{p}\beta _{j}x_{ij}+\varepsilon _{i}} , x i 0 = 1 ; i = 1 , … n . {\displaystyle x_{i0}=1;\quad i=1,\dots n.} 使用矩阵形式，线性回归模型可简化记为 Y = X β + ε {\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}} ，其中采用了以下记号： Y = ( y 1 , y 2 , … , y n ) T {\displaystyle \mathbf {Y} =(y_{1},y_{2},\dots ,y_{n})^{T}} (观测值向量，Vector of Responses), X = ( x i j ) = [ 1 x 11 x 12 ⋯ x 1 p 1 x 21 x 22 ⋯ x 2 p ⋮ ⋮ ⋮ ⋱ ⋮ 1 x n 1 x n 2 ⋯ x n p ] {\displaystyle \mathbf {X} =(x_{ij})={\begin{bmatrix}1&x_{11}&x_{12}&\cdots &x_{1p}\\1&x_{21}&x_{22}&\cdots &x_{2p}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&x_{n2}&\cdots &x_{np}\end{bmatrix}}} (设计矩阵，Design Matrix), β = ( β 0 , β 1 , … , β p ) T {\displaystyle {\boldsymbol {\beta }}=(\beta _{0},\beta _{1},\dots ,\beta _{p})^{T}} (参数向量，Vector of Parameters), ε = ( ε 1 , ε 2 , … , ε n ) T {\displaystyle {\boldsymbol {\varepsilon }}=(\varepsilon _{1},\varepsilon _{2},\dots ,\varepsilon _{n})^{T}} (随机误差向量，Vectors of Error)。 高斯-马尔可夫定理的假设条件是： E ( ε ∣ X ) = 0 {\displaystyle {\rm {E}}\left({\boldsymbol {\varepsilon }}\mid \mathbf {X} \right)=0} ， ∀ X {\displaystyle \forall \mathbf {X} } （零均值）， V a r ( ε ∣ X ) = E ( ε ε T ∣ X ) = σ ε 2 I n {\displaystyle {\rm {Var}}\left({\boldsymbol {\varepsilon }}\mid \mathbf {X} \right)={\rm {E}}\left({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T}\mid \mathbf {X} \right)=\sigma _{\varepsilon }^{2}\mathbf {I_{n}} } ，（同方差且不相关），其中 I n {\displaystyle \mathbf {I_{n}} } 为n阶单位矩阵(Identity Matrix)。 则对 β {\displaystyle {\boldsymbol {\beta }}} 的最佳线性无偏估计为 β ^ = ( X T X ) − 1 X T Y {\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} } 首先，注意的是这里数据是 Y {\displaystyle \mathbf {Y} } 而非 X {\displaystyle \mathbf {X} } ，我们希望找到 β {\displaystyle {\boldsymbol {\beta }}} 对于 Y {\displaystyle \mathbf {Y} } 的线性估计量，记作 β ^ = M + N Y {\displaystyle {\hat {\boldsymbol {\beta }}}=\mathbf {M} +\mathbf {N} \mathbf {Y} } 其中 β ^ {\displaystyle {\hat {\boldsymbol {\beta }}}} ， M {\displaystyle \mathbf {M} } ， N {\displaystyle \mathbf {N} } 和 Y {\displaystyle \mathbf {Y} } 分别是 ( p + 1 ) × 1 {\displaystyle (p+1)\times 1} ， ( p + 1 ) × 1 {\displaystyle (p+1)\times 1} ， ( p + 1 ) × n {\displaystyle (p+1)\times n} 和 n × 1 {\displaystyle n\times 1} 矩阵。 根据零均值假设所得， E ( β ^ ∣ X ) = M + N E ( Y ∣ X ) = M + N X β {\displaystyle {\rm {E}}\left({\hat {\boldsymbol {\beta }}}\mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} {\rm {E}}\left(\mathbf {Y} \mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} \mathbf {X} {\boldsymbol {\beta }}} 其次，我们同时限制寻找的估计量为无偏的估计量，即要求 E ( β ^ ) = β {\displaystyle {\rm {E}}\left({\hat {\boldsymbol {\beta }}}\right)={\boldsymbol {\beta }}} ，因此有 M = 0 {\displaystyle \mathbf {M} =\mathbf {0} } （零矩阵）， N X = I p + 1 {\displaystyle \mathbf {N} \mathbf {X} =\mathbf {I_{p+1}} } 方差分析 安斯库姆四重奏 横截面回归 曲线拟合 经验贝叶斯方法 邏輯斯諦迴歸 M估计 非线性回归 非参数回归 多元自适应回归样条 Lack-of-fit sum of squares 截断回归模型 删失回归模型 简单线性回归 分段线性回归 Theil, Henri. Best Linear Unbiased Estimation and Prediction. Principles of Econometrics. New York: John Wiley & Sons. 1971: 119–124. ISBN 0-471-85845-5.  含有內容需登入查看的頁面 (link) Earliest Known Uses of Some of the Words of Mathematics: G (brief history and explanation of its name) Proof of the Gauss Markov theorem for multiple linear regression （页面存档备份，存于互联网档案馆） (makes use of matrix algebra) A Proof of the Gauss Markov theorem using geometry