통계학에서 **가우스-마르코프 정리**(영어: Gauss–Markov theorem, 또는 일부 저자는 **가우스 정리**라고 표기)는 선형 회귀 모형의 오차가 상관관계가 없고, 오차의 분산이 일정하며, 오차의 기대값이 0이며 설명변수가 외생변수일 때 보통 최소제곱 추정량(OLS)은 다른 선형 불편 추정량에 비하여 표본 분산이 가장 낮다고 명시한다. 오차항이 정규분포를 따를 필요는 없다.

이 정리는 비록 가우스의 작품이 마르코프의 작품보다 현저히 앞섰지만 칼 프리드리히 가우스와 안드레이 마르코프의 이름을 따서 명명되었다. 그러나 가우스가 독립성과 정규성을 가정하여 그 결과를 도출하는 동안 마르코프는 위에서 언급한 형식으로 가정들을 줄였다. 비구형 오류에 대한 추가 일반화는 알렉산더 에이트켄에 의해 이루어졌다.

선형 회귀 모델과 최소 제곱 추정
------------------

선형 회귀 모델로서 목적 변수 Y와 p개의 설명 변수 *X**i*, *i* = 1, ... *p* 및 오차항 {\displaystyle \varepsilon \_{k}} 의 관계를 다음과 같이 모델화한 것을 생각한다.

{\displaystyle Y\_{k}=\beta \_{0}+\beta \_{1}X\_{1}+\beta \_{2}X\_{2}+\cdots +\beta \_{p}X\_{p}+\varepsilon \_{k},\ k=1,\dots ,n.}

목적 변수 및 설명 변수 측정 결과의 조(*yk*; *x**k,*1,...*xk,p*)를 하나의 데이터로 하여 n( ≧ p)개의 데이터를 이용하여 잔차의 제곱합

{\displaystyle \sum \_{k=1}^{n}\left\{y\_{i}-(\beta \_{0}+\beta \_{1}x\_{i,1}+\beta \_{2}x\_{i,2}+\cdots +\beta \_{p}x\_{i,p})\right\}^{2}}

가 최소가 되다{\displaystyle (\beta \_{0},\beta \_{1},\cdots ,\beta \_{p})}를 최소 제곱 추정량이라고 부른다.여기서

{\displaystyle \mathbf {Y} ={\begin{bmatrix}Y\_{1}\\Y\_{2}\\\vdots \\Y\_{n}\end{bmatrix}},\ \mathbf {X} ={\begin{bmatrix}1&x\_{11}&x\_{12}&\dots &x\_{1p}\\1&x\_{21}&x\_{22}&\dots &x\_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x\_{n1}&x\_{n2}&\dots &x\_{np}\end{bmatrix}},\ {\boldsymbol {\beta }}={\begin{bmatrix}\beta \_{0}\\\beta \_{1}\\\vdots \\\beta \_{p}\end{bmatrix}},\ {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon \_{1}\\\varepsilon \_{2}\\\vdots \\\varepsilon \_{n}\end{bmatrix}}}

라고 놓으면 선형 회귀 모델은

{\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}

라며, 최소 제곱 추정량{\displaystyle {\widehat {\boldsymbol {\beta }}}}

{\displaystyle {\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} }

으로 주어진다. 또한, 상부 첨자은 전치 행렬을 나타낸다.

가우스 마르코프의 정리
------------

### 가정

오차항 {\displaystyle {\boldsymbol {\varepsilon }}} 에 대해서

1. {\displaystyle E[{\boldsymbol {\varepsilon }}]=0} （불편성）
2. {\displaystyle \operatorname {Cov} [{\boldsymbol {\varepsilon }}]=\sigma ^{2}{\boldsymbol {I}}} （등분산성·무상관성）

를 가정한다. 여기서{\displaystyle {\boldsymbol {I}}}는 단위 행렬을 나타낸다.

무상관성은 독립성보다도 약한 가정이며, 또 정규 분포 등 특정 분포를 따르는 것을 가정하고 있지 않다.

### 정리의 내용

최소 제곱 추정량 {\displaystyle {\widehat {\boldsymbol {\beta }}}}는 최우수 선형 불편 추정량(best linear unbiased estimator, **BLUE**)이다. 즉 임의의 선형 불편 추정량 {\displaystyle {\widetilde {\boldsymbol {\beta }}}}에 대해서

{\displaystyle \operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]}
가 성립한다.

### 증명

{\displaystyle {\widetilde {\boldsymbol {\beta }}}}는 선형 추정량이므로(p+1)n행렬의 행렬{\mathbf {C}}를 이용하여{\displaystyle {\widetilde {\boldsymbol {\beta }}}=\mathbf {C} \mathbf {Y} }고 하다. {\displaystyle {\widetilde {\boldsymbol {\beta }}}}가 불편성을 갖기 위한 조건을 요구하면 {\displaystyle E[{\widetilde {\boldsymbol {\beta }}}]=\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}={\boldsymbol {\beta }}}가 항등적으로 성립되기 때문에{\displaystyle \mathbf {C} \mathbf {X} =\mathbf {I} }이다.

다음에{\displaystyle {\widetilde {\boldsymbol {\beta }}}}의 분산 공분산 행렬을 정리하면

{\displaystyle {\begin{alignedat}{2}\operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]&=E\left[(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})(\mathbf {C} \mathbf {Y} -{\boldsymbol {\beta }})^{\top }\right]\\&=E\left[\mathbf {C} {\boldsymbol {\varepsilon }}(\mathbf {C} {\boldsymbol {\varepsilon }})^{\top }\right]\\&=\mathbf {C} E[{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }]\mathbf {C} ^{T}\\&=\sigma ^{2}\mathbf {C} \mathbf {C} ^{\top }\end{alignedat}}}
가 된다 여기서{\displaystyle {\hat {\mathbf {C} }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }}라고 했을 때의 추정량이 최소 제곱 추정량{\displaystyle {\widehat {\boldsymbol {\beta }}}}이 되기 때문에 {\displaystyle \mathbf {C} \mathbf {C} ^{\top }\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }}을 나타내면 된다. 불편성보다{\displaystyle \mathbf {C} \mathbf {X} =\mathbf {I} }그래서

{\displaystyle {\begin{alignedat}{2}(\mathbf {C} -{\hat {\mathbf {C} }}){\hat {\mathbf {C} }}^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }})\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=(\mathbf {C} \mathbf {X} -{\hat {\mathbf {C} }}\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=\mathbf {O} \end{alignedat}}}
에 주의하면

{\displaystyle {\begin{alignedat}{2}\mathbf {C} \mathbf {C} ^{\top }&=(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }}+{\hat {\mathbf {C} }})^{\top }\\&=(\mathbf {C} -{\hat {\mathbf {C} }})(\mathbf {C} -{\hat {\mathbf {C} }})^{\top }+{\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\\&\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }\end{alignedat}}}
가 성립한다. 따라서

{\displaystyle \operatorname {Cov} \left[{\widetilde {\boldsymbol {\beta }}}\right]\succeq \operatorname {Cov} \left[{\widehat {\boldsymbol {\beta }}}\right]}
가 성립하며, 최소 제곱 추정량{\displaystyle {\widehat {\boldsymbol {\beta }}}}는 최우수 선형 불편 추정량이 된다.