Στη στατιστική και στην οικονομετρία, το **θεώρημα Γκάους-Μάρκοφ** αναφέρεται στην αποτελεσματικότητα του εκτιμητή ελαχίστων τετραγώνων του γραμμικού μοντέλου παλινδρόμησης. Η ονομασία του θεωρήματος οφείλεται στους μαθηματικούς Καρλ Φρίντριχ Γκάους και Αντρέι Μάρκοφ. Το θεώρημα διατυπώνει το εξής: Δεδομένων συγκεκριμένων υποθέσεων, ο εκτιμητής ελαχίστων τετραγώνων είναι αμερόληπτος και ο πιο αποτελεσματικός γραμμικός εκτιμητής των συντελεστών του μοντέλου γραμμικής παλινδρόμησης.

Παρουσίαση
----------

Έστω το μοντέλο γραμμικής παλινδρόμησης σε μορφή πινάκων,

{\displaystyle Y=X\beta +\epsilon } όπου:

* {\displaystyle \beta =(\beta \_{i})\_{k\times 1}}το διάνυσμα με τις πληθυσμιακές παραμέτρους που εκτιμώνται
* {\displaystyle X=(X\_{ij})\_{n\times k}}ένας στοχαστικός πίνακας με τις παρατηρήσεις των ανεξάρτητων μεταβλητών
* {\displaystyle Y=(Y\_{i})\_{n\times 1}}το διάνυσμα με τις παρατηρήσεις της εξαρτημένης μεταβλητής
* {\displaystyle \epsilon =(\epsilon \_{i})\_{n\times 1}}το διάνυσμα με τα μη παρατηρήσιμα σφάλματα

Αν ισχύουν και οι παρακάτω υποθέσεις:

* {\displaystyle E(\epsilon \_{i}|X)=0,\forall i} (αυστηρή εξωγένεια)
* {\displaystyle Var(\epsilon \_{i}|X)=\sigma ^{2},\forall i}(Δεσμευμένη ομοσκεδαστικότητα)
* {\displaystyle Cov(\epsilon \_{i},\epsilon \_{j}|X)=0,i\neq j}(Ασυσχέτιστα σφάλματα)
* Ο πίνακας Xείναι πλήρους βαθμού.

Τότε ο εκτιμητής {\displaystyle {\hat {\beta }}=(X'X)^{-1}X'Y}είναι ο πιο αποτελεσματικός γραμμικός αμερόληπτος εκτιμητής του \beta. Δηλαδή θα ισχύει ότι {\displaystyle E({\hat {\beta }})=\beta }και θα έχει την μικρότερη διακύμανση στην κλάση των γραμμικών εκτιμητών. Στη βιβλιογραφία λέγεται και **BLU** (**B**est **L**inear **U**nbiased).

Απόδειξη
--------

Καταρχάς, ο εκτιμητής είναι γραμμικός ως προς το Y καθώς αν {\displaystyle A=(X'X)^{-1}X'} τότε {\displaystyle {\hat {\beta }}=AY} και από τις υποθέσεις της ομοσκεδαστικότητας και των ασυσχέτιστων σφαλμάτων προκύπτει {\displaystyle Var(Y|X)=\sigma ^{2}I\_{k}}, όπου {\displaystyle I\_{k}}ο ταυτοτικός πίνακας πλευράς k.

Επομένως η διακύμανση του εκτιμητή είναι {\displaystyle Var({\hat {\beta }}|X)=\sigma ^{2}(X'X)^{-1}}.

Από την υπόθεση της αυστηρής εξωγένειας θα ισχύει ότι {\displaystyle E(Y|X)=X\beta } οπότε {\displaystyle E({\hat {\beta }}|X)=\beta } και από το θεώρημα της διπλής μέσης τιμής προκύπτει ότι {\displaystyle E({\hat {\beta }})=\beta } το οποίο σημαίνει ότι είναι και αμερόληπτος. Συνεπώς αρκεί να δειχθεί ότι έχει τη μικρότερη διακύμανση μεταξύ των γραμμικών εκτιμητών.

Έστω ο γραμμικός αμερόληπτος εκτιμητής {\displaystyle b=CY} και {\displaystyle D=C-A\iff C=D+A}

Αντικαθιστώντας το C και επιβάλλοντας τη συνθήκη {\displaystyle E(b|X)=\beta } πρέπει να ισχύει ότι {\displaystyle DX=0} προκειμένου να είναι αμερόληπτος ο b

Η διακύμανση του bθα δίνεται ως {\displaystyle Var(b|X)=\sigma ^{2}CC'=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'=Var({\hat {\beta }}|X)+\sigma ^{2}DD'}ή ισοδύναμα

{\displaystyle Var(b|X)-Var({\hat {\beta }}|X)=\sigma ^{2}DD'}

Ισχύει ότι {\displaystyle \sigma ^{2}>0}και για οποιοδήποτε {\displaystyle c\in \mathbb {R} ^{1\times k}}μη μηδενικού μέτρου θα ισχύει ότι {\displaystyle cDD'c'=GG'=\sum \_{i=1}^{n}g\_{i}^{2}\geq 0} όπου {\displaystyle G=cD=(g\_{i})\_{1\times n}}.

Δηλαδή ο πίνακας {\displaystyle \sigma ^{2}DD'}είναι θετικά ημιορισμένος και το θεώρημα έχει αποδειχθεί καθώς κάθε στοιχείο του πίνακα {\displaystyle Var(b|X)} είναι μεγαλύτερο ή ίσο απ΄το αντίστοιχο στοιχείο του πίνακα {\displaystyle Var({\hat {\beta }}|X)}

Σχόλια
------

Εάν προστεθεί και η υπόθεση της κανονικότητας {\displaystyle \epsilon |X\sim N(0,\sigma ^{2}I\_{n})}η αποτελεσματικότητα του εκτιμητή επεκτείνεται και για την ακρίβεια γίνεται ο καλύτερος αμερόληπτος εκτιμητής του \beta  καθώς αποδεικνύεται ότι η διακύμανση του σε αυτήν την περίπτωση είναι ίση με αυτήν που θεσπίζεται από το κάτω φράγμα Κραμέρ–Ράο.

Βιβλιογραφία
------------

* Hayashi, Fumio (2000): Econometrics, Princeton University Press
* Greene, William H. (2002): Econometric Analysis, Prentice Hall, 5th Edition