Θεώρημα Γκάους-Μάρκοφ

Στη στατιστική και στην οικονομετρία, το θεώρημα Γκάους-Μάρκοφ αναφέρεται στην αποτελεσματικότητα του εκτιμητή ελαχίστων τετραγώνων του γραμμικού μοντέλου παλινδρόμησης. Η ονομασία του θεωρήματος οφείλεται στους μαθηματικούς Καρλ Φρίντριχ Γκάους και Αντρέι Μάρκοφ. Το θεώρημα διατυπώνει το εξής: Δεδομένων συγκεκριμένων υποθέσεων, ο εκτιμητής ελαχίστων τετραγώνων είναι αμερόληπτος και ο πιο αποτελεσματικός γραμμικός εκτιμητής των συντελεστών του μοντέλου γραμμικής παλινδρόμησης.

Παρουσίαση 
Έστω το μοντέλο γραμμικής παλινδρόμησης σε μορφή πινάκων,

 όπου:

 το διάνυσμα με τις πληθυσμιακές παραμέτρους που εκτιμώνται
 ένας στοχαστικός πίνακας με τις παρατηρήσεις των ανεξάρτητων μεταβλητών
 το διάνυσμα με τις παρατηρήσεις της εξαρτημένης μεταβλητής
 το διάνυσμα με τα μη παρατηρήσιμα σφάλματα

Αν ισχύουν και οι παρακάτω υποθέσεις:

  (αυστηρή εξωγένεια)
 (Δεσμευμένη ομοσκεδαστικότητα)
 (Ασυσχέτιστα σφάλματα)
 Ο πίνακας είναι πλήρους βαθμού.

Τότε ο εκτιμητής είναι ο πιο αποτελεσματικός γραμμικός αμερόληπτος εκτιμητής του . Δηλαδή θα ισχύει ότι και θα έχει την μικρότερη διακύμανση στην κλάση των γραμμικών εκτιμητών. Στη βιβλιογραφία λέγεται και BLU (Best Linear Unbiased).

Απόδειξη 
Καταρχάς, ο εκτιμητής είναι γραμμικός ως προς το  καθώς αν  τότε  και από τις υποθέσεις της ομοσκεδαστικότητας και των ασυσχέτιστων σφαλμάτων προκύπτει , όπου ο ταυτοτικός πίνακας πλευράς .

Επομένως η διακύμανση του εκτιμητή είναι .

Από την υπόθεση της αυστηρής εξωγένειας θα ισχύει ότι  οπότε  και από το θεώρημα της διπλής μέσης τιμής προκύπτει ότι  το οποίο σημαίνει ότι είναι και αμερόληπτος. Συνεπώς αρκεί να δειχθεί ότι έχει τη μικρότερη διακύμανση μεταξύ των γραμμικών εκτιμητών.

Έστω ο γραμμικός αμερόληπτος εκτιμητής  και 

Αντικαθιστώντας το  και επιβάλλοντας τη συνθήκη  πρέπει να ισχύει ότι  προκειμένου να είναι αμερόληπτος ο 

Η διακύμανση του θα δίνεται ως ή ισοδύναμα

Ισχύει ότι και για οποιοδήποτε μη μηδενικού μέτρου θα ισχύει ότι  όπου .

Δηλαδή ο πίνακας είναι θετικά ημιορισμένος και το θεώρημα έχει αποδειχθεί καθώς κάθε στοιχείο του πίνακα  είναι μεγαλύτερο ή ίσο απ΄το αντίστοιχο στοιχείο του πίνακα

Σχόλια 
Εάν προστεθεί και η υπόθεση της κανονικότητας η αποτελεσματικότητα του εκτιμητή επεκτείνεται και για την ακρίβεια γίνεται ο καλύτερος αμερόληπτος εκτιμητής του  καθώς αποδεικνύεται ότι η διακύμανση του σε αυτήν την περίπτωση είναι ίση με αυτήν που θεσπίζεται από το κάτω φράγμα Κραμέρ–Ράο.

Βιβλιογραφία 
 Hayashi, Fumio (2000): Econometrics, Princeton University Press
 Greene, William H. (2002): Econometric Analysis, Prentice Hall, 5th Edition

Μαθηματικά θεωρήματα
Στατιστική θεωρία