قضیه ی گاوس-مارکوف

در آمار، قضیه‌ی گاوس-مارکوف بیان می‌کند که در یک مدل رگرسیون خطی که در آن جمله‌های خطا، امید ریاضی صفر دارند، ناهمبسته هستند و واریانس برابر دارند بهترین برآوردگر نااریب خطی ضرایب، با استفاده از برآوردگر حداقل مربعات معمولی به دست می‌آید. در اینجا بهترین به معنای آن است که برآوردگر مورد نظر کمترین واریانس را در مقایسه با سایر برآوردگرهای خطی، داشته باشد. (لازم نیست جمله‌های خطا توزیع طبیعی داشته باشند و یا توزیع مستقل و یکسان داشته باشند و فرض ضروری ناهمبسته بودن و واریانس همسانی جمله‌های خطا می‌باشد.) این قضیه به افتخار کارل فردریش گاوس (به انگلیسی:Carl Friedrich Gauss) و آندری مارکوف (به انگلیسی: Andrey Markov) نام گذاری شده است.
صورت قضیه
تساوی زیر را که به شکل ماتریسی نوشته شده است، در نظر بگیرید:
y = X\beta + \varepsilon , \quad (y, \varepsilon \in \mathbb{R^n , \beta \in \mathbb{R^K \text { and X \in \mathbb{R^{n \times K)
که فرم باز شده‌ی آن به شکل زیر در می‌آید:
y_i = \sum_{j=1^{K\beta_j X_{ij+\varepsilon_i \quad \forall i=1,2,\ldots,n
در اینجا پارامترهای غیر تصادفی و غیر قابل مشاهده می‌باشند، متغیرهای توضیحی خوانده می‌شوند که غیرتصادفی و قابل مشاهده می‌باشند، و تصادفی می‌باشند.متغیرهای تصادفی "خطا" یا "اغتشاش" نامیده می‌شوند و باید بین آن‌ها و جمله‌های باقیمانده تمایز قائل شد. توجه کنید معمولا با معرفی متغیر در مدل رگرسیون خطی، جمله‌ی ثابت را به مدل اضافه می‌کنند.
قضیه‌ی گاوس-مارکوف سه فرض اساسی در مورد متغیرهای تصادفی دارد:
همه‌ی آن‌ها دارای میانگین صفر می‌باشند:
جمله‌های خطا، واریانس همسانی دارند بدین معنی که واریانس آن‌ها محدود است:
جمله‌های خطای متمایز ناهمبسته می‌باشند:
برآوردگر خطی یک ترکیب خطی به شکل زیر می‌باشد:
\widehat\beta_j = c_{1jy_1+\cdots+c_{njy_n
ضرایب در معادله‌ی بالا مستقل از ضرائب می‌باشند زیرا همانطور که گفته شد قابل مشاهده نیستند ولی می‌توانند تابعی از مقادیر باشند زیرا این داده‌ها قابل مشاهده می‌باشند.یک برآوردگر، نااریب می‌باشد اگر و تنها اگر
عبارت را که یک ترکیب خطی از ضرائب می‌باشد، در نظر بگیرید، میانگین مربعات خطا به شکل زیر تعریف می‌شود:
توجه کنید چون در اینجا برآوردگر تمام پارامترها نااریب می‌باشند در نتیجه عبارت بالا معادل واریانس ترکیب خطی مذکور می‌باشد.
بهترین برآوردگر خطی نااریب بردار پارامترهای بدین معناست که ترکیب خطی پارامترها به ازای هر بردار
، دارای کمترین میانگین مربعات خطا می‌باشد. این شرط معادل این است که عبارت زیر یک ماتریس مثبت نیمه معین باشد:
که در آن یک برآوردگر خطی نااریب می‌باشد.
برآوردگر حداقل مربعات معمولی تابعی از ، و (ترانهاده‌ی ماتریس ) به فرم زیر می‌باشد:
ایده‌ی اصلی اثبات این است که برآوردگر حداقل مربعات معمولی با هر برآوردگر خطی نااریب دیگر ناهمسبته می‌باشد. در ادامه به اثبات قضیه می‌پردازیم.
اثبات
به عنوان برآوردگر خطی در نظر بگیرید، ماتریس را می‌توان اینگونه نوشت، که در آن یک ماتریس و غیر صفر می‌باشد.در ادامه‌ی اثبات نشان می‌دهیم واریانس این برآوردگر نمی‌تواند کمتر از واریانس برآوردگر حداقل مربعات معمولی باشد.
\begin{align
\operatorname{E \left \tilde\beta \right -= \operatorname{ECy \\
-= \operatorname{E \left \left ((XX)^{-1X + D \right )(X\beta + \varepsilon) \right \\
-= \left ((XX)^{-1X + D \right )X\beta + \left ((XX)^{-1X + D \right ) \operatorname{E\varepsilon \\
-= \left ((XX)^{-1X + D \right )X\beta -- \operatorname{E\varepsilon =0 \\
-= (XX)^{-1XX\beta + DX\beta \\
-= (I_K + DX)\beta. \\
\end{align
شرط نااریب بودن برآوردگر بالا تنها در صورتی برقرار است که باشد.بنابراین:
\begin{align
\operatorname{Var\left(\tilde\beta\right) -= \operatorname{Var(Cy) \\
-= C \text{ Var(y)C \\
-= \sigma^2 CC \\
-= \sigma^2 \left ((XX)^{-1X + D \right ) \left (X(XX)^{-1 + D \right ) \\
-= \sigma^2 \left ((XX)^{-1XX(XX)^{-1 + (XX)^{-1XD + DX(XX)^{-1 + DD \right) \\
-= \sigma^2(XX)^{-1 + \sigma^2(XX)^{-1 (DX) + \sigma^2 DX (XX)^{-1 + \sigma^2DD \\
-= \sigma^2(XX)^{-1+ \sigma^2DD -- DX =0 \\
-= \operatorname{Var\left(\widehat\beta\right) + \sigma^2DD -- \sigma^2(XX)^{-1 = \operatorname{Var\left(\widehat\beta\right)
\end{align
چون یک ماتریس مثبت نیمه معین می‌باشد بنابراین نمی‌تواند کمتر از باشد و اثبات کامل می‌شود.
رگرسیون خطی
متغیرهای تصادفی مستقل با توزیع یکسان
واریانس ناهمسانی