Έλεγχος Λόγου Πιθανοφανειών

Στη στατιστική, ένας έλεγχος λόγου πιθανοφανειών είναι ένα στατιστικό τεστ που χρησιμοποιείται για να τη σύγκριση  της καλής προσαρμογής δύο μοντέλων, ένα εκ των οποίων (το μηδενικό μοντέλο) είναι μια ειδική περίπτωση του άλλου (το εναλλακτικό μοντέλο). Το τεστ βασίζεται στον λόγο πιθανοφανειών, που εκφράζει πόσες φορές είναι πιο πιθανό τα δεδομένα να βρίσκονται κάτω από το ένα μοντέλο παρά στο άλλο. Αυτός ο λόγος πιθανοφανειών, ή αντίστοιχα ο λογάριθμος του, μπορεί στη συνέχεια να χρησιμοποιηθεί για τον υπολογισμό της p-τιμής (τιμή σημαντικότητας), ή σε σύγκριση με μια κρίσιμη τιμή  (σημείο αποκοπής) να αποφασισθεί εάν  θα απορριφθεί τo μηδενικό μοντέλο υπέρ του εναλλακτικού. Όταν χρησιμοποιείται ο λογάριθμος του λόγου των  πιθανοφανειών, το στατιστικό αυτό είναι γνωστό και ως λογαριθμικός λόγος πιθανοφανειών , και η κατανομή της πιθανότητας του ελέγχου αυτού του στατιστικού, με την αποδοχή του μηδενικού μοντέλου, μπορεί να προσεγγιστεί χρησιμοποιώντας του θεώρημα του Wilks.

Στην περίπτωση  διάκρισης μεταξύ των δύο μοντέλων, καθένα από το οποίο δεν έχει άγνωστους παραμέτρους, η χρήση του ελέγχου του λόγου πιθανοφανειών μπορεί να προσδιοριστεί από το λήμμα των Neyman–Pearson, το οποίο αποδεικνύει ότι ο εν λόγω έλεγχος έχει τη μεγαλύτερη ισχύ (ισχυρότατος έλεγχος) ανάμεσα σε όλους τους "ανταγωνιστές" .

Έλεγχος Απλών Υποθέσεων 
Ένα στατιστικό μοντέλο είναι συχνά μια παραμετρική οικογένεια από συναρτήσεις πυκνότητας πιθανότητας ή συναρτήσεις μάζας πιθανότητας .

Ένας έλεγχος απλών υποθέσεων έχει εντελώς συγκεκριμένα μοντέλα κάτω από τις μηδενικές και εναλλακτικές υποθέσεις, το οποίο για ευκολία είναι γραμμένο σε όρους σταθερών τιμών μιας πλασματικής παραμέτρου  :
 
 
Να σημειωθεί ότι κάτω από κάθε υπόθεση, η κατανομή των δεδομένων είναι πλήρως καθορισμένη; δεν υπάρχουν άγνωστοι παράμετροι για την εκτίμηση. Ο έλεγχος λόγου πιθανοφανειών βασίζεται στον λόγο πιθανοφανειών, ο οποίος συχνά συμβολίζεται με  (το κεφαλαίο ελληνικό γράμμα λάμδα).

Ο λόγος πιθανοφανειών ορίζεται ως εξής: :

 
ή
 
όπου  είναι η συνάρτηση πιθανοφάνειας, και  είναι η συνάρτηση supremum. 

Να σημειωθεί ότι ορισμένες αναφορές μπορεί να το χρησιμοποιούν αμοιβαία, ως τον ορισμό.

Με τη μορφή που αναφέρεται εδώ, ο λόγος πιθανοφανειών είναι μικρός αν το εναλλακτικό μοντέλο είναι "καλύτερο" από το μηδενικό και ο  έλεγχος λόγου πιθανοφανειών  παρέχει ως κανόνα απόφασης τον εξής:
 Αν , δεν  απορρίπτεται η  ,

 Αν , απορρίπτεται η  ,
 
 Απορρίπτεται με πιθανότητα   αν  
 
Οι τιμές  συνήθως επιλέγονται για να εξασφαλισθεί  μια  καθορισμένη στάθμη σημαντικότητας  , μέσα από τη σχέση . 

Το λήμμα των Neyman-Pearson αναφέρει ότι αυτός ο έλεγχος λόγου πιθανοφανειών είναι ο πιο ισχυρός ανάμεσα σε όλους τους ελέγχους μεγέθους (με επίπεδο σημαντικότητας)  για αυτό το πρόβλημα..

Ορισμός (Έλεγχος λόγου πιθανοφανειών για σύνθετες υποθέσεις) 
Μια μηδενική υπόθεση, συχνά αναφέρεται λέγοντας ότι η  παράμετρος   ανήκει σε ένα συγκεκριμένο υποσύνολο  του παραμετρικού χώρου .
 
Η συνάρτηση πιθανοφάνειας είναι η   (με  να είναι η συνάρτηση πυκνότητας πιθανότητας ή συνάρτηση μάζας πιθανότητας), η οποία είναι συνάρτηση της παραμέτρου  με το  να διατηρείται σταθερό στην τιμή που πράγματι παρατηρήθηκε, δηλαδή, τα δεδομένα.

Το στατιστικό του ελέγχου λόγου πιθανοφανειών είναι : : 

Εδώ, ο συμβολισμός  αναφέρεται στη συνάρτηση supremum.

Ένας έλεγχος λόγου πιθανοφανειών είναι κάθε έλεγχος με κρίσιμη περιοχή (ή  περιοχή απόρριψης ) της μορφής  , όπου   είναι κάθε αριθμός ο οποίος  ικανοποιεί τη συνθήκη .

Πολλοί κοινοί στατιστικοί έλεγχοι, όπως το Z-τεστ, το  F-τεστ, τo  -τεστ του Pearson   και το G-τεστ είναι έλεγχοι για φωλιασμένα μοντέλα και μπορεί να διατυπωθούν ως λογαριθμικοί λόγοι πιθανοφανειών  ή ως προσεγγίσεις τους.

Ερμηνεία 
Ως συνάρτηση των δεδομένων  , ο λόγος πιθανοφάνειων είναι συνεπώς ένα στατιστικό. Ο έλεγχος λόγου πιθανοφανειών απορρίπτει τη μηδενική υπόθεση αν η αξία αυτού του στατιστικού είναι πάρα πολύ μικρή. Το πόσο μικρή θα είναι,  εξαρτάται από το επίπεδο σημαντικότητας του ελέγχου, δηλαδή, μέχρι ποια τιμή της πιθανότητας για το σφάλμα Τύπου Ι θεωρείται ανεκτή (Τα σφάλματα "Τύπου Ι"  αποτελούνται από την απόρριψη της μηδενικής υπόθεσης ενώ αυτή είναι αληθής).

Ο αριθμητής αντιστοιχεί στην μέγιστη πιθανοφάνεια που παρατηρήθηκε ως αποτέλεσμα κάτω από την μηδενική υπόθεση. Ο παρονομαστής αντιστοιχεί στην μέγιστη πιθανοφάνεια που παρατηρήθηκε ως αποτέλεσμα από διάφορες παραμέτρους σε όλο τον παραμετρικό χώρο. Ο αριθμητής αυτού του λόγου είναι μικρότερος από τον παρονομαστή. Ο λόγος πιθανοφανειών ως εκ τούτου, βρίσκεται μεταξύ 0 και 1. Οι χαμηλές τιμές του λόγου πιθανοφανειών σημαίνουν ότι το παρατηρούμενο αποτέλεσμα ήταν λιγότερο πιθανό να συμβεί κάτω από την μηδενική υπόθεση, σε σύγκριση με την εναλλακτική. Οι υψηλές τιμές του στατιστικού σημαίνουν ότι το παρατηρούμενο αποτέλεσμα ήταν σχεδόν το ίδιο πιθανό να πραγματοποιηθεί κάτω από την μηδενική όπως και την εναλλακτική. Συνεπώς, η μηδενική υπόθεση δεν μπορεί να απορριφθεί.

Κατανομή: Το θεώρημα του Wilks 
Αν η κατανομή του λόγου πιθανοφανειών που αντιστοιχεί σε μια συγκεκριμένη μηδενική και εναλλακτική υπόθεση μπορεί να είναι καθορίζεται επακριβώς, τότε μπορεί άμεσα να χρησιμοποιηθεί για να σχηματιστούν οι περιοχές απόφασης (για την αποδοχή/απόρριψη της μηδενικής υπόθεσης). Στις περισσότερες περιπτώσεις, ωστόσο, η ακριβής κατανομή του λόγου  πιθανοφανειών που αντιστοιχεί σε συγκεκριμένες υποθέσεις είναι πολύ δύσκολο να προσδιοριστεί. Ένα βολικό αποτέλεσμα από τον Samuel S. Wilks, λέει ότι καθώς το μέγεθος του δείγματος  προσεγγίζει το  (άπειρο), ο στατιστικός έλεγχος   για ένα φωλιασμένο μοντέλο θα προσεγγίζει ασυμπτωτικά  την - κατανομή με βαθμούς ελευθερίας ίσους με τη διαφορά των διαστάσεων των  και . Αυτό σημαίνει ότι για μια μεγάλη ποικιλία υποθέσεων, ένας ειδικός μπορεί να υπολογίσει τον λόγο  πιθανοφανειών  για τα δεδομένα και να συγκρίνει την ποσότητα   στην  τιμή της  ,όπου αντιστοιχεί σε μια επιθυμητή στατιστική σημαντικότητα ( αυτός είναι ένας προσεγγιστικός έλεγχος).

Το θεώρημα του Wilks υποθέτει  ότι οι αληθείς αλλά άγνωστες τιμές των εκτιμώμενων παραμέτρων ανήκουν στο εσωτερικό του παραμετρικού  χώρου. Αυτό συχνά παραβιάζεται, για παράδειγμα, σε μοντέλα με τυχαία ή με μικτά αποτελέσματα όταν μια από τις συνιστώσες διακύμανσης, είναι αμελητέα σε σχέση με τις υπόλοιπες. Σε ορισμένες τέτοιες περιπτώσεις, με τη μία συνιστώσα διακύμανσης του να έχει ουσιαστικά μηδενική σε σχέση με τις υπόλοιπες ή όταν  τα μοντέλα δεν είναι σωστά εγκιβωτισμένα, οι Pinheiro και Bates, έδειξαν ότι η πραγματική κατανομή αυτού του  λόγου πιθανοφανειών  στατιστικού  θα μπορούσε να είναι σημαντικά διαφορετική από το απλό   στατιστικό, συχνά ακόμη και σε σημαντικό βαθμό. Οι απλές υποθέσεις θα μπορούσαν  να δώσουν στατιστικές πιθανότητες (p-τιμές)  οι οποίες θα ήταν , κατά μέσο όρο, αρκετά πιο μεγάλες σε ορισμένες περιπτώσεις και αρκετά πιο μικρές σε άλλες.

Σε γενικές γραμμές, για τον έλεγχο τυχαίων αποτελεσμάτων, συνιστάται η χρήση της μεθόδου  Περιορισμένης μέγιστης πιθανοφάνειας. Για ελέγχους  σταθερών  αποτελεσμάτων, αναφέρεται ότι, "δεν είναι εφικτή η προσαρμογή  ενός ελέγχου  λόγου πιθανοφανειών στη μέθοδο Περιορισμένης μέγιστης πιθανοφάνειας , επειδή  μεταβάλλοντας  τον προσδιορισμό των σταθερών  αποτελεσμάτων αλλάζει το νόημα των μεικτών , και το περιορισμένο μοντέλο, συνεπώς, δεν είναι φωλιασμένο μέσα στο μεγαλύτερο."

Προσομοιώθηκαν  έλεγχοι  θέτοντας μία και δύο τυχαίες συνιστώσες διακύμανσης με μηδέν. Σε αυτά τα συγκεκριμένα παραδείγματα, οι προσομοιωμένες  p-τιμές με k περιορισμούς αντιστοιχούν, αρκετά κοντά, σε ένα 50-50 μείγμα τιμών από    και  .

(Για k = 1, η τιμή   είναι 0 με πιθανότητα1. Αυτό σημαίνει ότι μια καλή προσέγγιση θα ήταν η .)

Οι Pinheiro και Bates, επίσης, προσομοίωσαν ελέγχους για διαφορετικά σταθερά αποτελέσματα. Σε μια δοκιμή ενός παράγοντα με 4 επίπεδα (οι βαθμοί ελευθερίας = 3), βρήκαν ότι ένα 50-50 μείγμα τιμών από   και  ήταν μια καλή αντιστοιχία  για πραγματικές  p-τιμές που προκύπτουν από την προσομοίωση – και το σφάλμα χρησιμοποιώντας το απλό  "να μην είναι πάρα πολύ ανησυχητικό". Ωστόσο, σε μια άλλη δοκιμή ενός παράγοντα με 15 επίπεδα, βρήκαν μια λογική αντιστοιχία απο   – 4 περισσότερους βαθμούς ελευθερίας από τους 14 που κάποιος θα έπαιρνε από μία απλή(ακατάλληλη) εφαρμογή του θεωρήματος  Wilks , και  η προσομοιωμένη  p-τιμή ήταν πολλές φορές η απλή τιμή της ." Κατέληξαν στο συμπέρασμα ότι για τον έλεγχο σταθερών αποτελεσμάτων, είναι σοφό να χρησιμοποιηθεί η προσομοίωση". (Οι ίδιοι έχουν εμπλουτίσει με την συνάρτηση "simulate.lme"  το πακέτο τους "nlme" για τα λογισμικά S-PLUS και R ώστε να υποστηρίζουν αυτή την προσομοίωση.)

Για να είμαστε σαφείς, οι παραπάνω περιορισμοί σχετικά με το θεώρημα του Wilks δεν αναιρούν οποιεσδήποτε ισχυρές ιδιότητες του συγκεκριμένου ελέγχου λόγου πιθανοφανειών , μόνο τη χρήση της - κατανομής για την εκτίμηση της στατιστικής σημαντικότητας.

Χρήση 
Κάθε ένα από τα δύο "ανταγωνιζόμενα" μοντέλα, το μηδενικό και το εναλλακτικό μοντέλο, είναι ξεχωριστά προσαρμοσμένο στα δεδομένα και ο πιθανολογάριθμος   καταγράφεται.

Το στατιστικό αποτέλεσμα της δοκιμής (που συχνά συμβολίζεται με D) είναι δύο φορές ο λογάριθμος του λόγου των πιθανοφανειών, δηλαδή, είναι δύο φορές η διαφορά των πιθανολογαρίθμων:

 
 
Το μοντέλο με τις περισσότερες παραμέτρους ( εδώ είναι το εναλλακτικό) θα ταιριάζει πάντα τουλάχιστον εξίσου καλά. Αυτό συμβαίνει, γιατί έχει  μεγαλύτερο ή ίσο πιθανολογάριθμο  από το μοντέλο με τις  λιγότερες παραμέτρους ( εδώ είναι το μηδενικό). Αν ταιριάζει σημαντικά πιο καλά, και ως εκ τούτου θα πρέπει να προτιμάται, θα πρέπει να  καθορίζεται από την παραγώγιση της πιθανότητας ή από την  p-τιμή της διαφοράς D.

Όπου η μηδενική υπόθεση αποτελεί μια ειδική περίπτωση της εναλλακτικής , η κατανομή της πιθανότητας του στατιστικού ελέγχου είναι περίπου μια - κατανομή με βαθμούς ελευθερίας ίσους με .   .Τα σύμβολα     και     αντιπροσωπεύουν τον αριθμό των ελεύθερων παραμέτρων των μοντέλων εναλλακτικό και μηδενικό, αντίστοιχα.

Εδώ, ακολουθεί ένα παράδειγμα της χρήσης όσων αναφέρθηκαν παραπάνω:

Αν το μηδενικό μοντέλο έχει 1 παράμετρο και έναν πιθανολογάριθμο ίσο με -8024 και το εναλλακτικό μοντέλο έχει 3 παραμέτρους και έναν πιθανολογάριθμο ίσο με -8012, τότε η πιθανότητα αυτής της διαφοράς είναι η αξία εκείνης της    με   βαθμούς ελευθερίας, και είναι ίση με  .

Ορισμένες παραδοχές πρέπει να πληρούνται για το στατιστικό , ώστε αυτό να ακολουθήσει μια  κατανομή, και συχνά οι εμπειρικές p-τιμές πρέπει να υπολογίζονται.

Ο έλεγχος λόγου πιθανοφανειών απαιτεί φωλιασμένα μοντέλα – μοντέλα στα οποία το πιο πολύπλοκο απο αυτά, μπορεί να μετατραπεί στο πιο απλούστερο μοντέλο, επιβάλλοντας ένα σύνολο περιορισμών σχετικά με τις παραμέτρους. Αν τα μοντέλα δεν είναι φωλιασμένα, τότε μια γενίκευση του ελέγχου λόγου πιθανοφανειών μπορεί συνήθως να χρησιμοποιηθεί στη θέση του : η σχετική πιθανοφάνεια.

Παραδείγματα

Ρίψη νομισμάτων 
Ένα παράδειγμα, στην περίπτωση της δοκιμασίας του Pearson είναι το εξής:  

Μπορούμε να προσπαθήσουμε να συγκρίνουμε δύο νομίσματα για να προσδιορίσουμε αν έχουν την ίδια πιθανότητα να έρθει κορώνα. Η παρατήρησή μας μπορεί να τεθεί σε έναν  πίνακα ενδεχομένων με τις σειρές να αντιστοιχούν στο νόμισμα και τις στήλες να αντιστοιχούν στις κορώνες  ή τα γράμματα . Τα στοιχεία του πίνακα ενδεχομένων θα είναι ο αριθμός των φορών που το νόμισμα για τη συγκεκριμένη ρίψη ήρθε κορώνα ή γράμματα. Τα στοιχεία αυτού του πίνακα είναι η παρατήρηση μας  .

 
 
 
Εδώ το Θ αποτελείται από όλους τους δυνατούς συνδυασμούς των τιμών των παραμέτρων , , , και , οι οποίες είναι η πιθανότητα  τα κέρματα 1 και 2 να φέρουν κορώνα ή γράμματα. Σε ό,τι ακολουθεί, ορίζεται ως   και . Ο χώρος των υποθέσεων Η περιορίζεται από τους συνήθεις περιορισμούς σχετικά με μια κατανομή πιθανότητας, , και .

Ο χώρος της μηδενικής υπόθεσης  είναι το υποδιάστημα όπου .

Γράφοντας   για τις "καλύτερες " τιμές των  κάτω από την υπόθεση H, η εκτίμηση της μέγιστης πιθανοφάνειας δίνεται από τη σχέση:
 
Ομοίως, οι εκτιμήσεις της μέγιστης πιθανοφάνειας των  κάτω από την μηδενική υπόθεση  δίνονται από τη σχέση:
 
οι οποίες  δεν εξαρτώνται  από το νόμισμα  .

Η υπόθεση και η μηδενική υπόθεση μπορούν  να ξαναγραφτούν  ελαφρώς διαφορετικά ώστε να ικανοποιούν τους περιορισμούς του λογαρίθμου του λόγου της πιθανοφάνειας ώστε να έχουν την επιθυμητή "καλή" κατανομή. Δεδομένου ότι ο περιορισμός αναγκάζει  το δισδιάστατο χώρο  Η να μειωθεί στο  μονοδιάστατο χώρο , η ασυμπτωτική κατανομή για τη δοκιμασία  θα είναι η  , δηλαδή η  κατανομή με έναν  βαθμό ελευθερίας.

Για τον γενικό πίνακα ενδεχομένων , μπορούμε να γράψουμε το στατιστικό του  λογαριθμικού λόγου πιθανοφανειών ως εξής:

Παραπομπές

Πηγές

Εξωτερικοί σύνδεσμοι 
 Practical application of likelihood ratio test described
 R Package: Wald's Sequential Probability Ratio Test 
 Richard Lowry's Predictive Values and Likelihood Ratios Online Clinical Calculator

Στατιστικοί Έλεγχοι
Στατιστική Συμπερασματολογία