Μέγιστη πιθανοφάνεια

Στις στατιστικές, η εκτίμηση μέγιστης πιθανοφάνειας (ΕΜΠ) είναι μια μέθοδος για την εκτίμηση των παραμέτρων από ένα στατιστικό μοντέλο δεδομένων.
Η μέθοδος της μέγιστης πιθανοφάνειας αντιστοιχεί σε πολλές γνωστές μεθόδους εκτίμησης της στατιστικής. Για παράδειγμα,μία από αυτές μπορεί να ενδιαφέρεται για τα ύψη των ενήλικων θηλυκών πιγκουίνων, αλλά δεν είναι σε θέση να μετρήσει το ύψος του κάθε πιγκουίνου σε ένα πληθυσμό λόγω των περιορισμών του κόστους ή του χρόνου. Αν υποτεθεί ότι τα ύψη ανήκουν στην Κανονική κατανομή με κάποιο άγνωστο, μέση τιμή και Διακύμανση, η μέση τιμή και η διακύμανση μπορεί να εκτιμηθεί με ΕΜΠ ενώ μόνο γνωρίζοντας τα ύψη από κάποιο δείγμα του συνολικού πληθυσμού. Η ΕΜΠ θα το πετύχει αυτό, λαμβάνοντας την μέση τιμή και η διακύμανση ως παραμέτρους και βρίσκοντας ειδικότερες παραμετρικές τιμές που κάνουν τα παρατηρούμενα αποτελέσματα το πιο πιθανό δεδομένου του μοντέλου.
Σε γενικές γραμμές, για ένα σταθερό σύνολο των δεδομένων και των υποκείμενων στατιστικών μοντέλων, η μέθοδος της μέγιστης πιθανοφάνειας επιλέγει το σύνολο των τιμών των παραμέτρων του μοντέλου που μεγιστοποιεί την συνάρτηση πιθανότητας. Διαισθητικά, αυτό μεγιστοποιεί την "συμφωνία" από το επιλεγμένο μοντέλο με τα παρατηρούμενα δεδομένα, και για διακριτές τυχαίες μεταβλητές πραγματικά μεγιστοποιεί την πιθανότητα των παρατηρούμενων δεδομένων σύμφωνα με την τελική κατανομή. Η εκτίμηση μέγιστης πιθανοφάνειας δίνει μια ενιαία προσέγγιση για την εκτίμηση, η οποία είναι καλά ορισμένη  στην περίπτωση της κανονικής κατανομής και πολλά άλλα προβλήματα.

Ιστορία

Η εκτίμηση μέγιστης πιθανοφάνειας είχε προταθεί, αναλυθεί (με άκαρπες προσπάθειες αποδείξεις) και ευρέως διαδωθεί από τον Ρόναλντ Φίσερ μεταξύ 1912 και 1922 (αν και είχε χρησιμοποιηθεί νωρίτερα από τους Καρλ Φρίντριχ Γκάους, Πιερ Σιμόν Λαπλάς, Thorvald N Εσένα,Φράνσις Ισίντρο Έτζγουορθ). Περιλήψεις για την ανάπτυξη της μέγιστης πιθανοφάνειας έχουν παρασχεθεί από έναν αριθμό συγγραφέων.
Μερικά τμήματα από τη θεωρία εκτίμηση μέγιστης πιθανοφάνειας αναπτύχθηκαν για Στατιστική Baynes.

Ασυμπτωτική κανονικότητα

Σε ένα ευρύ φάσμα καταστάσεων, η παράμετρος του εκτιμητή της μέγιστης πιθανοφάνειας παρουσιάζει ασυμπτωτική κανονικότητα, δηλαδή είναι ίση με την πραγματική παράμετρο συν ένα τυχαίο σφάλμα, το οποίο είναι περίπου κανονικό (δίνονται επαρκή στοιχεία), και η απόκλιση του σφάλματος διασπάται ως 1/n. Για αυτό το ακίνητο σε αναμονή, είναι απαραίτητο ότι ο εκτιμητής δεν υποφέρει από τα ακόλουθα ζητήματα:

Εκτίμηση όριο

Μερικές φορές ο εκτιμητής μέγιστης πιθανοφάνειας βρίσκεται στο όριο από το σύνολο των πιθανών παραμέτρων, ή (αν το όριο δεν , για να κυριολεκτήσουμε, επιτρέπεται) η πιθανότητα γίνεται όλο και μεγαλύτερο καθώς η παράμετρος πλησιάζει το όριο. Η κλασσική ασυμπτωτική θεωρία χρειάζεται την υπόθεση ότι η πραγματική τιμή της παραμέτρου βρίσκεται μακριά από το όριο. Αν έχουμε αρκετά δεδομένα, ο εκτιμητής μέγιστης πιθανοφάνειας θα αποκλίνει από το όριο. Αλλά με μικρότερα δείγματα, η εκτίμηση μπορεί να βρίσκετε στο όριο. Σε τέτοιες περιπτώσεις, η ασυμπτωτική θεωρία σαφώς δεν δίνει μια πρακτικά χρήσιμη προσέγγιση. Παραδείγματα εδώ θα είναι 
διακύμανση-συστατικά μοντέλα, όπου κάθε συστατικό της διακύμανσης, σ², πρέπει να πληροί τον περιορισμό σ² ≥ 0.

Τα δεδομένα όρια παράμετρος-εξάρτηση 

Για να εφαρμοστεί η θεωρία με απλό τρόπο, το σύνολο των δεδομένων αξιών, το οποίο έχει θετική πιθανότητα (ή θετική πιθανότητα  πυκνότητας) δεν θα πρέπει να εξαρτάται από την άγνωστη παράμετρος. Ένα απλό παράδειγμα όπου μια τέτοια παράμετρος-εξάρτηση 
δεν κατέχει είναι η περίπτωση, από την εκτίμηση του θ από ένα σύνολο από ανεξάρτητες και ισόνομα κατανεμημένες όταν η κοινή κατανομή είναι ομοιόμορφη για το εύρος (0,θ). Για εκτιμητικούς σκοπούς, η σχετική σειρά της θ είναι τέτοια που θ δεν μπορεί να είναι μικρότερη από τη μεγαλύτερη παρατήρηση. Επειδή το διάστημα (0,θ) δεν είναι συμπαγές, υπάρχει ανώτατο όριο για την συνάρτηση πιθανοφάνειας: Για κάθε εκτίμηση του θήτα, υπάρχει μια μεγαλύτερη εκτίμηση ότι, επίσης, έχει μεγαλύτερη πιθανότητα. Σε αντίθεση, το διάστημα [0,θ], περιλαμβάνει το τελικό σημείο θ και είναι συμπαγής, στην οποία περίπτωση ο εκτιμητής μέγιστης πιθανοφάνειας υπάρχει. Ωστόσο, στην περίπτωση αυτή,  ο εκτιμητής μέγιστης πιθανοφάνειας είναι προκατειλημμένος. Ασυμπτωτικά, αυτός  ο εκτιμητής μέγιστης πιθανοφάνειας δεν είναι κανονικά κατανεμημένος.

Ενόχληση παράμετρών

Για τον εκτιμητή μέγιστης πιθανοφάνειας, ένα μοντέλο μπορεί να έχει μια σειρά από ενόχληση παραμέτρους. Για την ασυμπτωτική συμπεριφορά που περιγράφεται σε αναμονή, ο αριθμός των ενοχλητικών παραμέτρων δεν θα πρέπει να αυξηθεί με τον αριθμό των παρατηρήσεων (το μέγεθος του δείγματος). Ένα πολύ γνωστό παράδειγμα αυτής της περίπτωσης είναι εκεί όπου οι παρατηρήσεις εμφανίζονται ως ζεύγη, όπου οι παρατηρήσεις σε κάθε ζευγάρι έχουν διαφορετικά (άγνωστα) μέσα, αλλά κατά τα άλλα οι παρατηρήσεις είναι ανεξάρτητες και κανονικά κατανεμημένες με κοινή διακύμανση. Εδώ για 2N παρατηρήσεις, υπάρχουν N + 1 παράμετροι. Είναι γνωστό ότι οι εκτιμητές μέγιστης πιθανοφάνειας της διακύμανσης δεν συγκλίνουν προς την πραγματική τιμή της διακύμανσης.

Διακριτή ομοιόμορφη κατανομή

Σκεφτείτε την περίπτωση όπου n εισιτήρια αριθμημένα από το 1 έως το n , τοποθετούνται σε ένα κουτί και επιλέγεται ένα τυχαία (βλ ομοιόμορφη κατανομή)· έτσι, το μέγεθος του δείγματος είναι 1. Αν n είναι άγνωστο, τότε ο εκτιμητής μέγιστης πιθανοφάνειας   του n είναι ο αριθμός m για το επιλεχθέν εισιτήριο. (Η πιθανοφάνεια είναι 0 για n < m, 1/n για n ≥ m, και αυτή είναι μεγαλύτερη όταν n = m. Σημειώστε ότι ο εκτιμητής μέγιστης πιθανοφάνειας  του n παρουσιάζεται στα κάτω άκρα των πιθανών τιμών {m, m + 1, ...}, και όχι κάπου στη "μέση" του εύρους των πιθανών τιμών, η οποία θα οδηγήσει σε λιγότερο σφάλμα.) Η αναμενόμενη τιμή του αριθμού m για το επιλεχθέν εισιτήριο, και ως εκ τούτου, η αναμενόμενη τιμή του , είναι (n + 1)/2. Ως αποτέλεσμα, με ένα δείγμα μεγέθους 1, η μέγιστη πιθανότητα εκτιμητής για το n συστηματικά υποτιμούν n (n − 1)/2.