가우스-마르코프 정리

통계학에서가우스-마르코프 정리(영어:Gauss–Markov theorem, 또는 일부 저자는가우스 정리라고 표기)는선형 회귀모형의 오차가 상관관계가 없고, 오차의 분산이 일정하며, 오차의 기대값이 0이며 설명변수가 외생변수일 때 보통 최소제곱 추정량(OLS)은 다른 선형 불편 추정량에 비하여 표본 분산이 가장 낮다고 명시한다.오차항이 정규분포를 따를 필요는 없다.
이 정리는 비록 가우스의 작품이 마르코프의 작품보다 현저히 앞섰지만 칼 프리드리히 가우스와 안드레이 마르코프의 이름을 따서 명명되었다.그러나 가우스가 독립성과 정규성을 가정하여 그 결과를 도출하는 동안 마르코프는 위에서 언급한 형식으로 가정들을 줄였다.비구형 오류에 대한 추가 일반화는 알렉산더 에이트켄에 의해 이루어졌다.
선형 회귀 모델로서 목적 변수 Y와 p개의 설명 변수Xi,i= 1, ...,p및 오차항εk{\displaystyle \varepsilon _{k}}의 관계를 다음과 같이 모델화한 것을 생각한다.
Yk=β0+β1X1+β2X2+⋯+βpXp+εk,k=1,…,n.{\displaystyle Y_{k}=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{p}X_{p}+\varepsilon _{k},\ k=1,\dots ,n.}
목적 변수 및 설명 변수 측정 결과의 조(yk;xk,1,...,xk,p)를 하나의 데이터로 하여 n( ≧ p)개의 데이터를 이용하여 잔차의 제곱합
∑k=1n{yi−(β0+β1xi,1+β2xi,2+⋯+βpxi,p)}2{\displaystyle \sum _{k=1}^{n}\left\{y_{i}-(\beta _{0}+\beta _{1}x_{i,1}+\beta _{2}x_{i,2}+\cdots +\beta _{p}x_{i,p})\right\}^{2}}
가 최소가 되다(β0,β1,⋯,βp){\displaystyle (\beta _{0},\beta _{1},\cdots ,\beta _{p})}를 최소 제곱 추정량이라고 부른다.여기서
Y=[Y1Y2⋮Yn],X=[1x11x12…x1p1x21x22…x2p⋮⋮⋮⋮1xn1xn2…xnp],β=[β0β1⋮βp],ε=[ε1ε2⋮εn]{\displaystyle \mathbf {Y} ={\begin{bmatrix}Y_{1}\\Y_{2}\\\vdots \\Y_{n}\end{bmatrix}},\ \mathbf {X} ={\begin{bmatrix}1&x_{11}&x_{12}&\dots &x_{1p}\\1&x_{21}&x_{22}&\dots &x_{2p}\\\vdots &\vdots &\vdots &&\vdots \\1&x_{n1}&x_{n2}&\dots &x_{np}\end{bmatrix}},\ {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{p}\end{bmatrix}},\ {\boldsymbol {\varepsilon }}={\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}}
라고 놓으면 선형 회귀 모델은
Y=Xβ+ε{\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}
라며, 최소 제곱 추정량β^{\displaystyle {\widehat {\boldsymbol {\beta }}}}
β^=(X⊤X)−1X⊤Y{\displaystyle {\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {Y} }
으로 주어진다. 또한, 상부 첨자은 전치 행렬을 나타낸다.
오차항ε{\displaystyle {\boldsymbol {\varepsilon }}}에 대해서
를 가정한다. 여기서I{\displaystyle {\boldsymbol {I}}}는 단위 행렬을 나타낸다.
무상관성은 독립성보다도 약한 가정이며, 또정규 분포등 특정 분포를 따르는 것을 가정하고 있지 않다.
최소 제곱 추정량β^{\displaystyle {\widehat {\boldsymbol {\beta }}}}는 최우수 선형불편 추정량(best linear unbiased estimator,BLUE)이다. 즉 임의의 선형 불편 추정량β~{\displaystyle {\widetilde {\boldsymbol {\beta }}}}에 대해서
가 성립한다.
β~{\displaystyle {\widetilde {\boldsymbol {\beta }}}}는 선형 추정량이므로(p+1){\displaystyle (p+1)}n{\displaystyle n}행렬의 행렬C{\displaystyle \mathbf {C} }를 이용하여β~=CY{\displaystyle {\widetilde {\boldsymbol {\beta }}}=\mathbf {C} \mathbf {Y} }고 하다.β~{\displaystyle {\widetilde {\boldsymbol {\beta }}}}가 불편성을 갖기 위한 조건을 요구하면E[β~]=CXβ=β{\displaystyle E[{\widetilde {\boldsymbol {\beta }}}]=\mathbf {C} \mathbf {X} {\boldsymbol {\beta }}={\boldsymbol {\beta }}}가 항등적으로 성립되기 때문에CX=I{\displaystyle \mathbf {C} \mathbf {X} =\mathbf {I} }이다.
다음에β~{\displaystyle {\widetilde {\boldsymbol {\beta }}}}의 분산 공분산 행렬을 정리하면
가 된다 여기서C^=(X⊤X)−1X⊤{\displaystyle {\hat {\mathbf {C} }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }}라고 했을 때의 추정량이 최소 제곱 추정량β^{\displaystyle {\widehat {\boldsymbol {\beta }}}}이 되기 때문에CC⊤⪰C^C^⊤{\displaystyle \mathbf {C} \mathbf {C} ^{\top }\succeq {\hat {\mathbf {C} }}{\hat {\mathbf {C} }}^{\top }}을 나타내면 된다. 불편성보다CX=I{\displaystyle \mathbf {C} \mathbf {X} =\mathbf {I} }그래서
에 주의하면
가 성립한다. 따라서
가 성립하며, 최소 제곱 추정량β^{\displaystyle {\widehat {\boldsymbol {\beta }}}}는 최우수 선형 불편 추정량이 된다.