가우스-마르코프 정리

통계학에서 **가우스-마르코프 정리**(, 또는 일부 저자는 **가우스 정리**라고 표기)는 선형 회귀 모형의 오차가 상관관계가 없고, 오차의 분산이 일정하며, 오차의 기대값이 0이며 설명변수가 외생변수일 때 보통 최소제곱 추정량(OLS)은 다른 선형 불편 추정량에 비하여 표본 분산이 가장 낮다고 명시한다. 오차항이 정규분포를 따를 필요는 없다.

이 정리는 비록 가우스의 작품이 마르코프의 작품보다 현저히 앞섰지만 칼 프리드리히 가우스와 안드레이 마르코프의 이름을 따서 명명되었다. 그러나 가우스가 독립성과 정규성을 가정하여 그 결과를 도출하는 동안 마르코프는 위에서 언급한 형식으로 가정들을 줄였다. 비구형 오류에 대한 추가 일반화는 알렉산더 에이트켄에 의해 이루어졌다.

## 선형 회귀 모델과 최소 제곱 추정
선형 회귀 모델로서 목적 변수 Y와 p개의 설명 변수  및 오차항 \varepsilon_k 의 관계를 다음과 같이 모델화한 것을 생각한다.

Y_k = \beta_0  + \beta_1 X_1 + \beta_2 X_2 +  \cdots +\beta_p X_p + \varepsilon_k,\ k=1,\dots,n.

목적 변수 및 설명 변수 측정 결과의 조를 하나의 데이터로 하여 n( ≧ p)개의 데이터를 이용하여 잔차의 제곱합

\sum_{k=1}^n \left\{y_i - (\beta_0  + \beta_1 x_{i,1} + \beta_2 x_{i,2} +  \cdots +\beta_p x_{i,p})\right\}^2

가 최소가 되다(\beta_0, \beta_1, \cdots, \beta_p)를 최소 제곱 추정량이라고 부른다.여기서

\mathbf{Y} = \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix},\ \mathbf{X} = \begin{bmatrix}
  1 & x_{11} & x_{12} & \dots & x_{1p} \\
  1 & x_{21} & x_{22} & \dots & x_{2p} \\
  \vdots & \vdots & \vdots & & \vdots \\
  1 & x_{n1} & x_{n2} & \dots & x_{np}
\end{bmatrix},\ \boldsymbol{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{bmatrix},\ \boldsymbol{\varepsilon} = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}

라고 놓으면 선형 회귀 모델은

\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}

라며, 최소 제곱 추정량\widehat{\boldsymbol{\beta}}

\widehat{\boldsymbol{\beta}}  =(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top \mathbf{Y}

으로 주어진다. 또한, 상부 첨자은 전치 행렬을 나타낸다.

## 가우스 마르코프의 정리
### 가정

오차항 \boldsymbol{\varepsilon} 에 대해서

# E[\boldsymbol{\varepsilon}]=0 （불편성）
# \operatorname{Cov}[\boldsymbol{\varepsilon}] = \sigma^2 \boldsymbol{I} （등분산성·무상관성）

를 가정한다. 여기서\boldsymbol{I}는 단위 행렬을 나타낸다.

무상관성은 독립성보다도 약한 가정이며, 또 정규 분포 등 특정 분포를 따르는 것을 가정하고 있지 않다.

### 정리의 내용
최소 제곱 추정량 \widehat{\boldsymbol{\beta}}는 최우수 선형 불편 추정량(best linear unbiased estimator, **BLUE**)이다. 즉 임의의 선형 불편 추정량 \widetilde{\boldsymbol{\beta}}에 대해서

: \operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}}\right]

가 성립한다.

### 증명
\widetilde{\boldsymbol{\beta}}는 선형 추정량이므로(p+1)n행렬의 행렬\mathbf{C}를 이용하여\widetilde{\boldsymbol{\beta}}=\mathbf{C}\mathbf{Y}고 하다. \widetilde{\boldsymbol{\beta}}가 불편성을 갖기 위한 조건을 요구하면 E[\widetilde{\boldsymbol{\beta}}]=\mathbf{C}\mathbf{X}\boldsymbol{\beta}=\boldsymbol{\beta}가 항등적으로 성립되기 때문에\mathbf{C}\mathbf{X}=\mathbf{I}이다.

다음에\widetilde{\boldsymbol{\beta}}의 분산 공분산 행렬을 정리하면

: 
\begin{alignat}{2}
\operatorname{Cov}\left[ \widetilde{\boldsymbol{\beta}} \right] & = E\left[(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})(\mathbf{C}\mathbf{Y}-\boldsymbol{\beta})^\top\right] \\
& = E\left[\mathbf{C}\boldsymbol{\varepsilon}(\mathbf{C}\boldsymbol{\varepsilon})^\top\right] \\
& = \mathbf{C}E[\boldsymbol{\varepsilon}\boldsymbol{\varepsilon}^\top]\mathbf{C}^T \\
& = \sigma^2\mathbf{C}\mathbf{C}^\top
\end{alignat}


가 된다 여기서\hat{\mathbf{C}}=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top라고 했을 때의 추정량이 최소 제곱 추정량\widehat{\boldsymbol{\beta}}이 되기 때문에 \mathbf{C}\mathbf{C}^\top \succeq \hat{\mathbf{C}}\hat{\mathbf{C}}^\top을 나타내면 된다. 불편성보다\mathbf{C}\mathbf{X}=\mathbf{I}그래서

: 
\begin{alignat}{2}
(\mathbf{C} - \hat{\mathbf{C}})\hat{\mathbf{C}}^\top & = (\mathbf{C} - \hat{\mathbf{C}})\mathbf{X}(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = (\mathbf{C}\mathbf{X} - \hat{\mathbf{C}}\mathbf{X})(\mathbf{X}^\top\mathbf{X})^{-1} \\
& = \mathbf{O}
\end{alignat}


에 주의하면

: 
\begin{alignat}{2}
\mathbf{C}\mathbf{C}^\top & = (\mathbf{C}-\hat{\mathbf{C}}+\hat{\mathbf{C}})(\mathbf{C}-\hat{\mathbf{C}}+\hat{\mathbf{C}})^\top \\
& = (\mathbf{C}-\hat{\mathbf{C}})(\mathbf{C}-\hat{\mathbf{C}})^\top + \hat{\mathbf{C}}\hat{\mathbf{C}}^\top \\
& \succeq \hat{\mathbf{C}}\hat{\mathbf{C}}^\top
\end{alignat}


가 성립한다. 따라서

: \operatorname{Cov}\left[\widetilde{\boldsymbol{\beta}}\right] \succeq \operatorname{Cov}\left[\widehat{\boldsymbol{\beta}}\right]

가 성립하며, 최소 제곱 추정량\widehat{\boldsymbol{\beta}}는 최우수 선형 불편 추정량이 된다.

## 같이 보기
* 선형 회귀
## 각주


분류:통계학 정리