قضیه گوس-مارکوف

در علم آمار، **قضیه گوس-مارکف**  بیان می‌کند که در یک مدل خطی که خطاهای آن امید ریاضی صفر داشته، ناهمبسته بوده، و واریانسهای مساوی دارند، بهترین برآوردگر خطی نااریب برای ضرایب سیستم برابر برآوردگر کمترین مربعات می‌باشد. شرح مدل خطی به صورت دقیقتر اینگونه‌است که

\ E(ee')=\sigma^2 I. 
\ E(e)=0, 
\ Y= X\beta+e, 

بطوری که \ X ماتریس مدل بوده که معلوم و ثابت است، \ \beta برداری نامعلوم با ابعاد p \times 1 در فضای \ R^p است. بردار \ e نیز بردار خطا می‌باشد. در اینجا بهترین به معنای آن است که برآوردگر مورد نظر کمترین واریانس را در مقایسه با سایر برآوردگرهای خطی، داشته باشد. لازم نیست جمله‌های خطا توزیع طبیعی داشته باشند یا توزیع مستقل و یکسان داشته باشند و فرض ضروری ناهمبسته بودن و واریانس همسانی جمله‌های خطا می‌باشد. این قضیه به افتخار کارل فریدریش گاوس و آندری مارکوف نام‌گذاری شده‌است.

## صورت قضیه
تساوی زیر را که به شکل ماتریسی نوشته شده‌است، در نظر بگیرید:

y = X\beta + \varepsilon , \quad (y, \varepsilon \in \mathbb{R}^n , \beta \in \mathbb{R}^K \text { and } X \in \mathbb{R}^{n \times K})



که فرم باز شدهٔ آن به شکل زیر در می‌آید:

y_i = \sum_{j=1}^{K}\beta_j X_{ij}+\varepsilon_i \quad \forall i=1,2,\ldots,n


در اینجا \beta_j  پارامترهای غیر تصادفی و **غیر**قابل مشاهده می‌باشند، X_{ij} متغیرهای توضیحی خوانده می‌شوند که غیرتصادفی و قابل مشاهده می‌باشند،y_i و \varepsilon_i تصادفی می‌باشند. متغیرهای تصادفی \varepsilon_i «خطا» یا «اغتشاش» نامیده می‌شوند و باید بین آن‌ها و جمله‌های باقی‌مانده تمایز قائل شد. توجه کنید معمولاً با معرفی متغیر X_{i(K+1)}=1 در مدل رگرسیون خطی، جملهٔ ثابت \beta_{K+1} را به مدل اضافه می‌کنند.
قضیهٔ گاوس-مارکوف سه فرض اساسی در مورد متغیرهای تصادفی \varepsilon_i دارد:
* همهٔ آن‌ها دارای میانگین صفر می‌باشند:
 \operatorname{E}[\varepsilon_i] = 0
* جمله‌های خطا، واریانس همسانی دارند بدین معنی که واریانس آن‌ها محدود است:

\operatorname{Var}(\varepsilon_i)=\sigma^2

* جمله‌های خطای متمایز ناهمبسته می‌باشند:

\text {Cov}(\varepsilon_i,\varepsilon_j)=0, \forall i \neq j

**برآوردگر خطی** \beta_j یک ترکیب خطی به شکل زیر می‌باشد:

\widehat\beta_j = c_{1j}y_1+\cdots+c_{nj}y_n


ضرایب c_{ij} در معادلهٔ بالا مستقل از ضرایب \beta_j می‌باشند زیرا همان‌طور که گفته شد \beta_j قابل مشاهده نیستند ولی می‌توانند تابعی از مقادیر X_{ij} باشند زیرا این داده‌ها قابل مشاهده می‌باشند. یک برآوردگر، **نااریب** می‌باشد اگر و تنها اگر

\operatorname{E}(\widehat\beta_j) = \beta_j

عبارت \sum_{j=1}^{K}\lambda_j\beta_jرا که یک ترکیب خطی از ضرایب می‌باشد، در نظر بگیرید، میانگین مربعات خطا به شکل زیر تعریف می‌شود:

\operatorname{E}[(\sum_{j=1}^{K}\lambda_j(\widehat\beta_j - \beta_j))^2]

توجه کنید چون در اینجا برآوردگر تمام پارامترها نااریب می‌باشند در نتیجه عبارت بالا معادل واریانس ترکیب خطی مذکور می‌باشد.
***بهترین برآوردگر خطی نااریب*** بردار پارامترهای \beta_j بدین معناست که ترکیب خطی پارامترها به ازای هر بردار
\lambda، دارای کمترین میانگین مربعات خطا می‌باشد. این شرط معادل این است که عبارت زیر یک ماتریس مثبت نیمه معین باشد:

\operatorname{Var}(\tilde\beta_j)-\operatorname{Var}(\beta_j)

که در آن \tilde\beta_j یک برآوردگر خطی نااریب می‌باشد.
**برآوردگر حداقل مربعات معمولی** تابعی از X، y و X'(ترانهادهٔ ماتریس X) به فرم زیر می‌باشد:

\widehat\beta_j = (X'X)^{-1}X'y

ایدهٔ اصلی اثبات این است که برآوردگر حداقل مربعات معمولی با هر برآوردگر خطی نااریب دیگر ناهمسبته می‌باشد. در ادامه به اثبات قضیه می‌پردازیم.
## اثبات
\tilde\beta = Cy به عنوان برآوردگر خطی \beta در نظر بگیرید، ماتریس C را می‌توان اینگونه C = (X'X)^{-1}X + D نوشت، که در آنD یک ماتریس K{\times}n و غیر صفر می‌باشد. در ادامهٔ اثبات نشان می‌دهیم واریانس این برآوردگر نمی‌تواند کمتر از واریانس برآوردگر حداقل مربعات معمولی \widehat\beta باشد.

:
\begin{align}
\operatorname{E} \left[\tilde\beta \right] &= \operatorname{E}[Cy] \\
&= \operatorname{E} \left [\left ((X'X)^{-1}X' + D \right )(X\beta + \varepsilon) \right]\\
&= \left ((X'X)^{-1}X' + D \right )X\beta + \left ((X'X)^{-1}X' + D \right ) \operatorname{E}[\varepsilon] \\
&= \left ((X'X)^{-1}X' + D \right )X\beta  && \operatorname{E}[\varepsilon] =0 \\
&= (X'X)^{-1}X'X\beta + DX\beta  \\
&= (I_K + DX)\beta. \\
\end{align}


شرط نااریب بودن برآوردگر بالا تنها در صورتی برقرار است که DX = 0  باشد؛ بنابراین:
:
\begin{align}
 \operatorname{Var}\left(\tilde\beta\right) &=  \operatorname{Var}(Cy) \\
&= C \text{ Var}(y)C' \\
&= \sigma^2 CC' \\
&= \sigma^2 \left ((X'X)^{-1}X' + D \right ) \left (X(X'X)^{-1} + D' \right ) \\
&= \sigma^2 \left ((X'X)^{-1}X'X(X'X)^{-1} + (X'X)^{-1}X'D' + DX(X'X)^{-1} + DD' \right) \\
&= \sigma^2(X'X)^{-1} + \sigma^2(X'X)^{-1} (DX)' + \sigma^2 DX  (X'X)^{-1} + \sigma^2DD' \\
&= \sigma^2(X'X)^{-1}+ \sigma^2DD' && DX =0 \\
&=  \operatorname{Var}\left(\widehat\beta\right)  + \sigma^2DD'  && \sigma^2(X'X)^{-1} =   \operatorname{Var}\left(\widehat\beta\right)
\end{align}

چون  DD'  یک ماتریس مثبت نیمه معین می‌باشد بنابراین \operatorname{Var}(\tilde\beta)  نمی‌تواند کمتر از \operatorname{Var}(\widehat\beta)  باشد و اثبات کامل می‌شود.

## جستارهای وابسته
* رگرسیون خطی
* متغیرهای تصادفی مستقل با توزیع یکسان
* واریانس ناهمسانی

## پانویس

# Davison, Russell, MacKinnon, David. Econometric Theory And Methods Canada: Oxford university press, 2004.
# ویکی‌پدیای انگلیسی
# 
عرفان کریمی
http://qed.econ.queensu.ca/ETM/data/

رده:آمار
رده:اقتصاد
رده:اقتصادسنجی
رده:برآوردگر
رده:جبر خطی
رده:قضایا در آمار
رده:قضیه‌های اقتصادی
رده:نظریه‌های اقتصاد