# Συμπέρασμα του Μπέυζ

**Η συμπερασματολογία του Μπέυζ** είναι μια μέθοδος στη στατιστική συμπερασματολογία στην οποία ο κανόνας του Μπέυζ χρησιμοποιείται **για να επικαιροποιήσει την πιθανότητα** για την υπόθεση αφού η απόδειξη αποκτιέται. Το συμπέρασμα του Μπέυζ είναι αρκετά σημαντικό για τη Στατιστική, και συγκεκριμένα για τη μαθηματική στατιστική. Η αναβάθμιση του Μπέυζ είναι αρκετά σημαντική στην Δυναμική Ανάλυση Ακολουθίας Δεδομένων. Το συμπέρασμα του Μπέυζ εφαρμόζεται σε ένα μεγάλο εύρος δραστηριοτήτων, συμπεριλαμβανομένου της επιστήμης,της μηχανικής, της φιλοσοφίας, της φαρμακευτικής, και της νομικής. Στη Θεωρία αποφάσεων στη φιλοσοφία, το συμπέρασμα του Μπέυζ σχετίζεται αρκετά με την αντικειμενική πιθανότητα, και συχνά αποκαλούμενη πιθανότητα κατά Μπέυζ. Η Πιθανότητα κατά Μπέυζ παρέχει μια λογική μέθοδο για αναβάθμιση του διαστήματος εμπιστοσύνης.

## Εισαγωγή του Μπεϋζιανού Κανόνα

Παρόμοια συλλογιστική μπορεί να χρησιμοποιηθεί για να δείξουμε ότι WIKINIUM\_MATH\_PH\_0 κλπ.
## Επίσημα

Το συμπέρασμα του Μπέυζ προέρχεται από την εκ των υστέρων πιθανότητα ως μια συνέπεια δύο προηγούμενων παραγόντων, έναν αυτού της προηγούμενης πιθανότητας και έναν αυτού της συνάρτησης πιθανότητας" που προέρχονται από ένα στατιστικό μοντέλο για τα στοιχεία που παρατηρούμε. Το συμπέρασμα που Μπέυζ υπολογίζει την προηγούμενη πιθανότητα σύμφωνα με το θεώρημα του Μπέυζ:

 WIKINIUM\_MATH\_PH\_2
όπου:

* WIKINIUM\_MATH\_PH\_4 δηλώνει δεσμευμένη πιθανότητα; πιο συγκεκριμένα, δοθείσα.
* Η WIKINIUM\_MATH\_PH\_6 χαρακτηρίζεται ως *υπόθεση* του οποίου η πιθανότητα μπορεί να είναι επηρεασμένη από στοιχεία. Συχνά υπάρχουν και άλλες "ανταγωνιστικές" πιθανότητες, από τις οποίες κάποιος πρέπει να επιλέξει την πιο πιθανή.
* Το *στοιχείο* WIKINIUM\_MATH\_PH\_8 είναι ένα νέο στοιχείο το οποίο δεν είχε χρησιμοποιηθεί στον υπολογισμό της προηγούμενης πιθανότητας.
* WIKINIUM\_MATH\_PH\_10 , η *πρωταρχική πιθανότητα*, είναι η πιθανότητα του WIKINIUM\_MATH\_PH\_12 πριν την παρατήρηση του WIKINIUM\_MATH\_PH\_14 . Αυτό μας δείχνει ότι οι προηγούμενοι υπολογισμοί για τις πιθανότητες της υπόθεσης είναι σωστοί, πριν καταχωρίσουμε τα συγκεκριμένα στοιχεία.
* WIKINIUM\_MATH\_PH\_16 , η μεταγενέστερη πιθανότητα, είναι η πιθανότητα του WIKINIUM\_MATH\_PH\_18 *δεδομένου* του WIKINIUM\_MATH\_PH\_20 , δηλαδή, αφού έχει γίνει η παρατήρηση του WIKINIUM\_MATH\_PH\_22 . Αυτό μας δίνει τι ακριβώς θέλουμε να ξέρουμε: η πιθανότητα της υπόθεσης είναι *δοσμένη* από τα παρατηρούμενα στοιχεία.
* WIKINIUM\_MATH\_PH\_24 η πιθανότητα από την παρατήρηση του WIKINIUM\_MATH\_PH\_26 *δεδομένου* του WIKINIUM\_MATH\_PH\_28 . Ως συνάρτηση του WIKINIUM\_MATH\_PH\_30 με το WIKINIUM\_MATH\_PH\_32 να είναι σταθερό, ορίζεται να είναι η συνάρτηση πιθανότητας. Η συνάρτηση πιθανότητας **δεν** πρέπει να συγχέεται με την WIKINIUM\_MATH\_PH\_34 ως συνάρτηση του WIKINIUM\_MATH\_PH\_36 παρά του  WIKINIUM\_MATH\_PH\_38 καθώς αυτή δείχνει την συμβατότητα των στοιχείων της δοσμένης πιθανότητας.
* WIKINIUM\_MATH\_PH\_40 μερικές φορές συναντάται ως περιθωριακή συνάρτηση ή μοντελικά στοιχεία. Αυτός ο παράγοντας είναι ο ίδιος για κάθε θετική υπόθεση η οποία έχει θεωρηθεί. (Μπορεί να παρατηρηθεί από τον παράγοντα ότι η υπόθεση WIKINIUM\_MATH\_PH\_42 δεν εμφανίζεται πουθενά ως σύμβολο, σε αντίθεση με τους υπολοίπους παράγοντες.) Αυτό σημαίνει ότι ο παράγοντας δεν τίθεται σε καθορισμό των σχετικών πιθανοτήτων των διαφόρων υποθέσεων.

Να σημειωθεί ότι, για διαφορετικές τιμές του WIKINIUM\_MATH\_PH\_44 , μόνο οι παράγοντες WIKINIUM\_MATH\_PH\_46 και WIKINIUM\_MATH\_PH\_48 επηρεάζουν τις τιμές του WIKINIUM\_MATH\_PH\_50 . Αφού και οι δύο αυτοί παράγοντες εμφανίζονται στον αριθμητή, η μεταγενέστερη πιθανότητα είναι εξίσου αναλογική. Με άλλα λόγια:

* (πιο συγκεκριμένα) *Η μεταγενέστερη πιθανότητα μια υπόθεσης καθορίζεται από έναν συνδυασμό της εγγενούς πιθανότητας μιας υπόθεσης (πρωταρχικής) και η συμβατότητα των παρατηρούμενων αποδεικτικά στοιχείων με την υπόθεση (η συνάρτηση).*
* (πιο γενικά) *Η λέξη μεταγενέστερα είναι αναλογική στην δεδομένη πιθανότητα επί την πρωταρχική πιθανότητα.*

Σημειώστε επίσης ότι ο κανόνας του Μπέυς μπορεί επίσης να γραφεί ως ακολούθως:

 WIKINIUM\_MATH\_PH\_52
όπου η μεταβλητή WIKINIUM\_MATH\_PH\_54 παρουσιάζει το αντίκτυπο του WIKINIUM\_MATH\_PH\_56 στην πιθανότητα του WIKINIUM\_MATH\_PH\_58 .

## Ανεπίσημα

Εάν η απόδειξη δεν ταιριάζει με την υπόθεση, τότε απορρίπτεται η υπόθεση. Ωστόσο αν η υπόθεση είναι εξαιρετικά απίθανη, απορρίπτεται, ακόμα και αν τα στοιχεία δείχνουν να ταιριάζουν.

Για παράδειγμα, έστω ότι υπάρχει ποικιλία υποθέσεων για την φύση ενός νεογέννητου μωρού ενός φίλου, η οποία περιέχει:

* WIKINIUM\_MATH\_PH\_60 : το μωρό είναι καστανό αγόρι.
* WIKINIUM\_MATH\_PH\_62 : το μωρό είναι ξανθό κορίτσι.
* WIKINIUM\_MATH\_PH\_64 :το μωρό είναι σκύλος.

Έστω ότι υπάρχουν 2 πιθανά σενάρια:

1. Παρουσιάζονται αποδείξεις με την μορφή φωτογραφίας ενός ξανθού κοριτσιού μωρού. Αυτή τα στοιχεία υποστηρίζει την WIKINIUM\_MATH\_PH\_66 και έρχονται σε αντίθεση με τις WIKINIUM\_MATH\_PH\_68 και WIKINIUM\_MATH\_PH\_70 .
2. Παρουσιάζονται στοιχεία με την μορφή φωτογραφίας ενός μωρού σκυλιού. Ωστόσο αυτά τα στοιχεία όταν αντιμετωπίζονται μεμονωμένα, υποστηρίζουν την WIKINIUM\_MATH\_PH\_72 , όμως επειδή η WIKINIUM\_MATH\_PH\_74 ως υπόθεση είναι απίστευτα μικρή, η μεταγενέστερη πιθανότητα είναι μικρή.

Το κρίσιμο σημείο του Συμπεράσματος του Μπέυζ, λοιπόν είναι ότι παρέχει συγκεκριμένο τρόπο να συνδυάζονται νέα στοιχεία με προηγούμενα δεδομένα μέσω της εφαρμογής του κανόνα του Μπέυζ. (Σε αντίθεση με το συμπέρασμα της συχνότητας, το οποίο βασίζεται μόνο στα στοιχεία που δίνονται ως ολότητα, χωρίς αναφορά στα ήδη υπάρχοντα δεδομένα). Επιπλέον το θεώρημα του Μπέυζ μπορεί να εφαρμοστεί επαναληπτικά: μετά τη παρατήρηση μερικών στοιχείων η μεταγενέστερη πιθανότητα που προκύπτει να μπορεί να χρησιμοποιηθεί ως μια προηγούμενη πιθανότητα και η νέα μεταγενέστερη πιθανότητα υπολογίζεται από τα νέα στοιχεία. Αυτό επιτρέπει τις αρχές του Μπέυζ να εφαρμοστούν σε πληθώρα διαφορετικών στοιχείων, είτε βλέποντας τα όλα μαζί είτε χώρια. Αυτή η διαδικασία ορίζεται ως ανανέωση του Μπέυζ.

## Αναβάθμιση του Μπέυζ

Η ανανέωση του Μπέυζ χρησιμοποιείται ευρέως και είναι υπολογιστικά βολική. Ωστόσο, δεν είναι ο μόνος ανανεωτικός κανόνας που μπορεί να θεωρηθεί ως "λογικός"

Ο Ian Hacking επισήμανε ότι τα παραδοσιακά επιχειρήματα του δεν καθόρισαν την αναβάθμιση του Μπέυζ: άφησαν ανοιχτή την πιθανότητα ότι οι μη-αναβαθμισμένοι κανόνες του Μπέυζ μπορούσαν να αποφύγουν τo Dutch Book. Ο Ian Hacking έγραψε "Ούτε τα επιχειρήματα του Dutch book, ούτε κανένα άλλο αξίωμα πιθανοτήτων στην περσοναλιστική "αποθήκη" των στοιχείων συνεπάγεται την δυναμική υπόθεση. Κανένα δε συνεπάγεται τον Μπευζιανισμό. Ο περσοναλισμός προϋποθέτει τη δυναμική υπόθεση για να γίνει Μπευζιστικός.

Όντως υπάρχουν μη-Μπευζιανοί κανόνες ανανέωσης του οι οποίοι επίσης αποφεύγουν το Dutch Book, όπως αναφέρεται στα βιβλία που ασχολούνται με την κινηματική πιθανότητα και στη δημοσίευση των κανόνων του Richard C. Jeffrey που προσαρμόζει τους κανόνες του Μπέυζ στην περίπτωση όπου τα στοιχεία αυτά καθ'αυτά έχουν εκχωρηθεί ως πιθανότητα.

## Επίσημη περιγραφή του συμπεράσματος του Μπέυζ

### Ορισμοί

* WIKINIUM\_MATH\_PH\_76 , ένα σημείο. Στην ουσία αυτό μπορεί να είναι διάνυσμα τιμών.
* WIKINIUM\_MATH\_PH\_78 , η παράμετρος της κατανομής τοθ σημείου i.e., WIKINIUM\_MATH\_PH\_80 το οποίο μπορεί στην πραγματικότητα να είναι ένα διάνυσμα δεδομένων.
* WIKINIUM\_MATH\_PH\_82 , η υπερπαράμετρος της παραμέτρου, WIKINIUM\_MATH\_PH\_84 αυτό μπορεί να είναι διάνυσμα υπερπαραμέτρων.
* WIKINIUM\_MATH\_PH\_86 , ένα σύνολο WIKINIUM\_MATH\_PH\_88 παρατηρήσιμων στοιχείων, WIKINIUM\_MATH\_PH\_90 .
* WIKINIUM\_MATH\_PH\_92 , ένα καινούργιο σημείο του οποίου η κατανομή μέλλεται να προβλεφθεί.

### Συμπέρασμα του Μπέυζ

* Η προηγούμενη κατανομή είναι η κατανομή των παραμέτρων πριν παρατηρηθούν τα στοιχεία WIKINIUM\_MATH\_PH\_94 .
* Η προηγούμενη κατανομή μπορεί να μην καθορίζεται εύκολα. Σε αυτή την περίπτωση, μπορούμε να χρησιμοποιήσουμε το πρωταρχικό του Jeffrey για να αποκτήσουμε τη μεταγενέστερη κατανομή πριν να ανανεώσουμε τα στοιχεία με νεώτερες παρατηρήσεις.
* Η Δειγματική Κατανομή είναι η κατανομή από τα παρατηρημένα στοιχεία εξαρτώμενα από τις παραμέτρους τους WIKINIUM\_MATH\_PH\_96 . Αυτό επίσης καθορίζει μια συνάρτηση (likelihood), ειδικότερα όταν παρουσιάζεται ως συνάρτηση παραμέτρων, μερικές φορές γραμμένη WIKINIUM\_MATH\_PH\_98 .
* Η περιθωριακή συνάρτηση είναι η κατανομή των παρατηρούμενων στοιχείων τα οποία περιθωριοποιούνται από τις παραμέτρους WIKINIUM\_MATH\_PH\_100 .
* Η μεταγενέστερη κατανομή είναι η κατανομή των παραμέτρων, αφού ληφθούν τα παρατηρούμενα στοιχεία. Αυτό έχει καθοριστεί από τον κανόνα του Μπέυζ, ο οποίος είναι η βάση του συμπεράσματος του Μπέυζ:

 WIKINIUM\_MATH\_PH\_102 .

### Πρόβλεψη κατά Μπέυζ

* Η μεταγενέστερη προβλεπόμενη κατανομή είναι η κατανομή των καινούργιων στοιχείων περιθωριοποιημένα πάνω από την προγενέστερη:

 WIKINIUM\_MATH\_PH\_104

* Η πρωταρχική προβλεπόμενη κατανομή είναι η κατανομή των καινούργιων στοιχείων περιθωριοποιημένα πάνω από την πρωταρχική WIKINIUM\_MATH\_PH\_106 .

Το θεώρημα του Μπέυζ χρησιμοποιείται από την μεταγενέστερη προβλεπόμενη κατανομή για να κάνει προβλεπόμενη συμπερασματολογία δηλαδή για να προβλέπει την κατανομή νέων στοιχείων που δεν έχουν παρατηρηθεί. Αυτή είναι όχι μια πρόβλεψη σταθερών σημείων αλλά μια κατανομή πιθανών σημείων. Μόνο με αυτόν τον τρόπο μπορεί να χρησιμοποιηθεί η πρωταρχική κατανομή παραμέτρων. Αν την συγκρίνουμε με τη στατιστική συχνότητα η πρόβλεψη στην στατιστική συχνότητα, συχνά περιλαμβάνει την εύρεση ενός βέλτιστου σημείου εκτίμησης παραμέτρων -Για παράδειγμα Μέγιστη Συνάρτηση ή από την μέγιστη πρωταρχική εκτίμηση- συνδέοντας αυτή την εκτίμηση στην φόρμουλα για την κατανόηση των σημείων. Αυτό έχει ένα μειονέκτημα, ότι δεν υπολογίζει κάθε αβέβαιη τιμή της παραμέτρου και ως εκ τούτου θα υποτιμήσει τη διακύμανση της προβλεπόμενης κατανομής.

(Σε κάποιες περιπτώσεις η στατιστική συχνοτήτων μπορεί να λύσει αυτό το πρόβλημα. Για παράδειγμα τα διαστήματα εμπιστοσύνης και διαστήματα πρόβλεψης, στη στατιστική συχνοτήτων, όταν κατασκευάζονται από μία κανονική κατανομή με άγνωστες τη μέση τιμή και τη διακύμανση κατασκευάζονται χρησιμοποιώντας κατανομή Student's t. Αυτή εκτιμά σωστά η διακύμανση εξαιτίας του γεγονότος ότι (1) ο μέσος όρος των κανονικά κατανεμημένων τυχαίων μεταβλητών είναι επίσης κανονικά κατανεμημένος και (2) η προβλεπόμενη κατανομή των κανονικά κατανεμημένων στοιχείων, με άγνωστη μέση τιμή και διακύμανση, έχει κατανομή Student's t. Στη στατιστική του Μπέυζ, ωστόσο η μεταγενέστερη προβλεπόμενη κατανομή, μπορεί πάντα να καθοριστεί επ' ακριβώς-ή τουλάχιστον σε ένα ικανοποιητικό επίπεδο ακρίβειας, όταν χρησιμοποιούνται αριθμητικές μέθοδοι.)

Ας σημειωθεί ότι και οι δύο τύποι προβλεπόμενων κατανομών έχουν τη μορφή μίας κατανομής πιθανοτήτων ένωσης. Στην πραγματικότητα εάν η πρωταρχική κατανομή είναι πρωταρχικό συζυγές, τότε οι πρωταρχικές και οι μεταγενέστερες κατανομές είναι από την ίδια οικογένεια. Μπορεί εύκολα να διαπιστωθεί ότι και οι πρωταρχικές και οι μεταγενέστερες προβλεπόμενες κατανομές είναι από την ίδια οικογένεια ένωσης κατανομών. Η μόνη διαφορά είναι ότι η μεταγενέστερη προβλεπόμενη κατανομή χρησιμοποιεί τις ανανεωμένες τιμές από τις υπερπαραμέτρους, ενώ η πρωταρχική προβλεπόμενη κατανομή χρησιμοποιεί τιμές από τις υπερπαραμέτρους που εμφανίζονται στην πρωταρχική κατανομή.

## Συμπερασματολογία σε αποκλειστικές και αναλυτικές πιθανότητες

Εάν τα στοιχεία χρησιμοποιούνται συνεχώς για την αναβάθμιση των γεγονότων πάνω σε ένα σύνολο αναλυμένων προτάσεων το συμπέρασμα του Μπέυζ μπορεί να θεωρηθεί ως πράξη στα δεδομένα αυτά σαν ολότητα.

### Γενική Μορφοποίηση

Diagram illustrating event space WIKINIUM\_MATH\_PH\_108 in general formulation of Bayesian inference. Although this diagram shows discrete models and events, the continuous case may be visualized similarly using probability densities.
Έστω μια διαδικασία, η οποία παράγει ανεξάρτητα και όμοια γεγονότα WIKINIUM\_MATH\_PH\_110 ,αλλά η κατανομή πιθανότητας είναι άγνωστη. Έστω δειγματοχώρος WIKINIUM\_MATH\_PH\_112 , ο οποίος αντιπροσωπεύει την υπάρχουσα κατάσταση των γεγονότων γι αυτή τη διαδικασία. Κάθε μοντέλο παρουσιάζεται από το γεγονός WIKINIUM\_MATH\_PH\_114 . Οι δεσμευμένες πιθανότητες WIKINIUM\_MATH\_PH\_116 καθορίζονται για να ορίσουν τα μοντέλα WIKINIUM\_MATH\_PH\_118 . Πριν από το πρώτο βήμα συμπεράσματος, WIKINIUM\_MATH\_PH\_120 είναι το σύνολο των *αρχικών πρωταρχικών πιθανοτήτων*. Αυτά πρέπει να αθροίζουνε στο 1, αλλιώς είναι αυθαίρετα.

Έστω αυτή η διαδικασία παρατηρείται για να κατασκευάσει WIKINIUM\_MATH\_PH\_122 . Για κάθε WIKINIUM\_MATH\_PH\_124 , το πρωταρχικό WIKINIUM\_MATH\_PH\_126 είναι ανανεωμένο στο μεταγενέστερο WIKINIUM\_MATH\_PH\_128 . Από το θεώρημα του Μπέυζ:

 WIKINIUM\_MATH\_PH\_130
Για να γίνει παρατήρηση περισσοτέρων στοιχείων μπορεί να επαναληφθεί.

### Πολλαπλές Παρατηρήσεις

Για ένα σύνολο ανεξάρτητων και όμοια κατανεμημένων παρατηρήσεων WIKINIUM\_MATH\_PH\_132 , μπορεί να δειχθεί ότι η επανειλημμένη εφαρμογή των παραπάνω είναι ίση με

 WIKINIUM\_MATH\_PH\_134
Όπου

 WIKINIUM\_MATH\_PH\_136
Αυτό μπορεί να χρησιμοποιηθεί για την βελτιστοποίηση πρακτικών υπολογισμών.

### Παραμετρική Μορφοποίηση

Παραμετρικοποιώντας το χώρο των μοντέλων , τα δεδομένα σε όλα τα μοντέλα μπορούν να ανανεωθούν σε ένα και μόνο βήμα. Η κατανομή των δεδομένων πάνω στο χώρο των μοντέλων μπορεί να θεωρηθεί, τότε, ως κατανομή των δεδομένων πάνω στο χώρο των παραμέτρων. Οι κατανομές σ' αυτό το κεφάλαιο θεωρούνται συνεχείς κι ότι εκπροσωπούνται από πυκνότητες πιθανότητας σαν να ήταν μία συνήθης περίπτωση. Αυτή η τεχνική όμως εφαρμόζεται εξίσου σε διακριτές κατανομές.

Έστω ότι το δίανυσμα WIKINIUM\_MATH\_PH\_138 καλύπτει το χώρο των παραμέτρων. Έστω η αρχική πρωταρχική κατανομή πάνω στο WIKINIUM\_MATH\_PH\_140 είναι WIKINIUM\_MATH\_PH\_142 , όπου WIKINIUM\_MATH\_PH\_144 είναι ένα σύνολο παραμέτρων στο πρωταρχικό αυτό καθ' αυτό, ή στις υπερπαραμέτρους. Έστω WIKINIUM\_MATH\_PH\_146 είναι ένα σύνολο ανεξάρτητων και όμοια κατανεμημένων γεγονότων παρατήρησης, όπου όλα WIKINIUM\_MATH\_PH\_148 είναι κατανεμημένα σύμφωνα με WIKINIUM\_MATH\_PH\_150 για κάποιο WIKINIUM\_MATH\_PH\_152 . θεώρημα του Μπέυζ εφαρμόζεται για να βρούμε τη μεταγενέστερη κατανομή πάνω στο WIKINIUM\_MATH\_PH\_154 :

 WIKINIUM\_MATH\_PH\_156

Όπου

 WIKINIUM\_MATH\_PH\_158
## Παραπομπές