Θεώρημα Γκάους-Μάρκοφ

Στη στατιστική και στην οικονομετρία, το **θεώρημα Γκάους-Μάρκοφ** αναφέρεται στην αποτελεσματικότητα του εκτιμητή ελαχίστων τετραγώνων του γραμμικού μοντέλου παλινδρόμησης. Η ονομασία του θεωρήματος οφείλεται στους μαθηματικούς Καρλ Φρίντριχ Γκάους και Αντρέι Μάρκοφ. Το θεώρημα διατυπώνει το εξής: Δεδομένων συγκεκριμένων υποθέσεων, ο εκτιμητής ελαχίστων τετραγώνων είναι αμερόληπτος και ο πιο αποτελεσματικός γραμμικός εκτιμητής των συντελεστών του μοντέλου γραμμικής παλινδρόμησης.

## Παρουσίαση
Έστω το μοντέλο γραμμικής παλινδρόμησης σε μορφή πινάκων,

Y=X\beta+\epsilon όπου:

* \beta=(\beta_{i})_{k\times 1} το διάνυσμα με τις πληθυσμιακές παραμέτρους που εκτιμώνται
* X=(X_{ij})_{n\times k} ένας στοχαστικός πίνακας με τις παρατηρήσεις των ανεξάρτητων μεταβλητών
* Y=(Y_i)_{n\times 1} το διάνυσμα με τις παρατηρήσεις της εξαρτημένης μεταβλητής
* \epsilon=(\epsilon_i)_{n\times 1} το διάνυσμα με τα μη παρατηρήσιμα σφάλματα

Αν ισχύουν και οι παρακάτω υποθέσεις:

* E(\epsilon_i|X)=0,\forall i (αυστηρή εξωγένεια)
* Var(\epsilon_i|X)=\sigma^2,\forall i (Δεσμευμένη ομοσκεδαστικότητα)
* Cov(\epsilon_i,\epsilon_j|X)=0,i\neq j (Ασυσχέτιστα σφάλματα)
* Ο πίνακας Xείναι πλήρους βαθμού.

Τότε ο εκτιμητής \hat{\beta}=(X'X)^{-1}X'Y είναι ο πιο αποτελεσματικός γραμμικός αμερόληπτος εκτιμητής του \beta. Δηλαδή θα ισχύει ότι E(\hat{\beta})=\beta και θα έχει την μικρότερη διακύμανση στην κλάση των γραμμικών εκτιμητών. Στη βιβλιογραφία λέγεται και **BLU** (**B**est **L**inear **U**nbiased).

## Απόδειξη
Καταρχάς, ο εκτιμητής είναι γραμμικός ως προς το Y καθώς αν A=(X'X)^{-1}X' τότε \hat{\beta}=AY και από τις υποθέσεις της ομοσκεδαστικότητας και των ασυσχέτιστων σφαλμάτων προκύπτει Var(Y|X)=\sigma^2I_k, όπου I_k ο ταυτοτικός πίνακας πλευράς k.

Επομένως η διακύμανση του εκτιμητή είναι Var(\hat{\beta}|X)=\sigma^2(X'X)^{-1}.

Από την υπόθεση της αυστηρής εξωγένειας θα ισχύει ότι E(Y|X)=X\beta οπότε E(\hat{\beta}|X)=\beta και από το θεώρημα της διπλής μέσης τιμής προκύπτει ότι E(\hat{\beta})=\beta το οποίο σημαίνει ότι είναι και αμερόληπτος. Συνεπώς αρκεί να δειχθεί ότι έχει τη μικρότερη διακύμανση μεταξύ των γραμμικών εκτιμητών.

Έστω ο γραμμικός αμερόληπτος εκτιμητής b=CY και D=C-A \iff C=D+A .

Αντικαθιστώντας το C και επιβάλλοντας τη συνθήκη E(b|X)=\beta πρέπει να ισχύει ότι DX=0 προκειμένου να είναι αμερόληπτος ο b.

Η διακύμανση του bθα δίνεται ως Var(b|X)=\sigma^2CC'=\sigma^2(X'X)^{-1}+\sigma^2DD'=Var(\hat{\beta}|X)+\sigma^2DD'ή ισοδύναμα

Var(b|X)-Var(\hat{\beta}|X)=\sigma^2DD'.

Ισχύει ότι \sigma^2>0 και για οποιοδήποτε c\in\mathbb{R}^{1\times k} μη μηδενικού μέτρου θα ισχύει ότι cDD'c'=GG'=\sum_{i=1}^ng_i^{2}\geq0 όπου G=cD=(g_i)_{1\times n}.

Δηλαδή ο πίνακας \sigma^2DD' είναι θετικά ημιορισμένος και το θεώρημα έχει αποδειχθεί καθώς κάθε στοιχείο του πίνακα Var(b|X) είναι μεγαλύτερο ή ίσο από το αντίστοιχο στοιχείο του πίνακα Var(\hat{\beta}|X)

## Σχόλια
Εάν προστεθεί και η υπόθεση της κανονικότητας \epsilon|X\sim N(0,\sigma^2I_n) η αποτελεσματικότητα του εκτιμητή επεκτείνεται και για την ακρίβεια γίνεται ο καλύτερος αμερόληπτος εκτιμητής του \beta καθώς αποδεικνύεται ότι η διακύμανση του σε αυτήν την περίπτωση είναι ίση με αυτήν που θεσπίζεται από το κάτω φράγμα Κραμέρ–Ράο.

## Βιβλιογραφία
* Hayashi, Fumio (2000): Econometrics, Princeton University Press
* Greene, William H. (2002): Econometric Analysis, Prentice Hall, 5th Edition

Κατηγορία:Μαθηματικά θεωρήματα
Κατηγορία:Στατιστική θεωρία