משפט גאוס-מרקוב

בסטטיסטיקה, **משפט [[קרל פרידריך גאוס|גאוס]]-[[אנדריי מרקוב|מרקוב]]** מספק את ההצדקה המתמטית לשימוש באומד הריבועים הפחותים במסגרת מודל של רגרסיה ליניארית. משפט זה קובע כי תחת הנחות המודל — שגיאות בעלות תוחלת אפס, שונות קבועה ובלתי מתואמות — האומד חסר ההטיה הליניארי הטוב ביותר הוא האומד של שיטת הריבועים הפחותים, במובן זה שהשונות שלו היא הנמוכה ביותר מבין שאר האומדים הליניאריים חסרי ההטיה. למשל אומד ג'יימס-שטיין הוא אומד מוטה ששונותו נמוכה יותר.

ידוע כי המתמטיקאי הגרמני קרל פרידריך גאוס עשה שימוש בשיטת הריבועים הפחותים כבר בשנת 1795, והיא פורסמה על ידו רק בשנת 1809. הוכחה למשפט זה סיפק גאוס בשנת 1823. המתמטיקאי הרוסי אנדריי מרקוב פרסם בשנת 1912 ספר בו תיאר בפירוט ובדיוק רב יותר את השיטה ותיאר את ההוכחה שלה, ועל כן היא קרויה גם על שמו.

## נוסח פורמלי

### תיאור המודל

נניח מודל מהצורה \mathbf{y} = X \mathbf{\beta} + \varepsilon בכתיב וקטורי. כלומר, \mathbf{y}, \varepsilon \in \mathbb{R}^n, \beta \in \mathbb{R}^K, X \in \mathbb{R}^{n \times K}, ואז בכתיב מלא המודל הוא,
y_i = \sum_{j=1}^{K} \beta_j X_{ij} + \varepsilon_i
עבור i = 1, \dots, n.

\beta_j הוא פרמטר קבוע לא ידוע שאותו מחפשים; X_{ij} הוא ערך קבוע ידוע; \varepsilon_i הוא משתנה מקרי המתאר את השגיאה או את ה"רעש", וכתוצאה מכך גם y_i הוא משתנה מקרי.

### אומד ליניארי

אומד ליניארי לפרמטר \beta_j הוא ליניארי במשתנים y_1, \dots, y_n, כלומר הוא מהצורה,
\widehat\beta_j = c_{1j}y_1 + \cdots + c_{nj}y_n
כאשר המקדמים c_{1j}, \dots, c_{nj} אינם יכולים להיות תלויים בפרמטר \beta_j, אלא רק בערכים הנצפים X_{1j}, \dots, X_{nj} (אך התלות של המקדמים בערכים הנצפים אינה בהכרח ליניארית).

### סכום ריבועי השגיאות

אם \widehat\beta הוא אומד כלשהו, ונסמן בהתאמה \widehat\mathbf{y}_i = \sum_{j=1}^{K} \widehat\beta_j X_{ij} + \varepsilon_i

טבעי לרצות אומד שממזער את סכום ריבועי השגיאות. כלומר, אומד \widehat\beta כזה שממזער את הביטוי,
\sum_{i=1}^{n} \left( y_i - \widehat y_i \right)^2

### המשפט

**משפט גאוס-מרקוב:** אם מתקיימים שלושת התנאים הבאים:
# \mathbf{E} \left[ \varepsilon_i \right] = 0 עבור i = 1, \dots, n.
# \mathbf{Var} \left( \varepsilon_i \right) = \sigma^2  עבור i = 1, \dots, n.
# \mathbf{Cov} \left( \varepsilon_i, \varepsilon_j \right) = 0 עבור i,j = 1, \dots, n; i \neq j.
אז האומד שממזער את סכום ריבועי השגיאות הוא אומד הריבועים הפחותים הליניארי,
\widehat\beta = \left( X^TX \right)^{-1} X^T \mathbf{y}
כאשר X^T היא המטריצה המשוחלפת של X.

## הוכחה

יהי \tilde\beta = C \mathbf{y} אומד ליניארי וחסר הטיה כלשהו. היות שאנו עוסקים באומדים חסרי הטיה, מזעור של סכום ריבועי השגיאות שקול למזעור השונות. אם כך נרצה להראות כי המטריצה \mathbf{Var} \left( \tilde\beta \right) - \mathbf{Var} \left( \widehat\beta \right) היא מטריצה חיובית.

נכתוב לצורך הפשטות C = \left( X^TX \right)^{-1} X^T + D, עבור מטריצה D מגודל K \times n, ונחשב,
:
\begin{align}
\mathbf{E} \left[ \tilde\beta \right] &= \mathbf{E} \left[ C y \right] \\
&= \mathbf{E} \left[ \left( (X^TX)^{-1}X^T + D \right) \left( X \beta + \varepsilon \right) \right] \\
&= \left( (X^TX)^{-1} X^T + D \right) X \beta + \left( (X^TX)^{-1} X^T + D \right) \mathbf{E} \left[ \varepsilon \right] \\
&= \left( (X^TX)^{-1} X^T + D \right) X \beta \\
&= (X^TX)^{-1} X^TX \beta + DX \beta  \\
&= \left( I_K + DX \right) \beta \\
\end{align}


אם כך, כדי שהאומד \tilde\beta יהיה חסר הטיה, בהכרח מתקיים DX = 0. מכך נובע,

:
\begin{align}
 \mathbf{Var} \left( \tilde\beta \right) &=  \mathbf{Var} \left( C \mathbf{y} \right) \\
&= C \mathbf{Var} (y) C^T \\
&= \sigma^2 CC^T \\
&= \sigma^2 \left( (X^TX)^{-1} X^T + D \right) \left( X (X^TX)^{-1} + D^T \right) \\
&= \sigma^2 \left( (X^TX)^{-1} X^TX (X^TX)^{-1} + (X^TX)^{-1} X^TD^T + DX (X^TX)^{-1} + DD^T \right) \\
&= \sigma^2 (X^TX)^{-1} + \sigma^2 (X^TX)^{-1} \left( DX \right)^T + \sigma^2 DX  (X^TX)^{-1} + \sigma^2 DD^T \\
&= \sigma^2 (X^TX)^{-1} + \sigma^2 DD^T \\
&=  \mathbf{Var} \left( \widehat\beta \right) + \sigma^2 DD^T
\end{align}


כאשר המעבר בשורה השביעית הוא כי DX = 0, והמעבר בשורה השמינית הוא כי \sigma^2 \left( X^TX \right)^{-1} = \mathbf{Var} \left( \widehat\beta \right) .

לפיכך, היות ש-DD^T היא מטריצה חיובית, נובע כי אכן \mathbf{Var} \left( \tilde\beta \right) - \mathbf{Var} \left( \widehat\beta \right) היא מטריצה חיובית, כנדרש.

## ראו גם

* רגרסיה ליניארית
* שיטת הריבועים הפחותים

## הערות שוליים

גאוס-מרקוב