הסתברות פוסטריורית

הסתברות פוסטריורית היא מושג מרכזי בסטטיסטיקה בייסיאנית. המייצגת את ההסתברות, או ההתפלגות, שמתקבלת מעדכנים את ההסתברות הפריורית על סמך מידע המתקבל מתצפיות. העדכון נעשה על ידי שימוש בכלל בייס. הההסתברות הפוסטריורית עשויה לשמש כהסתברות פריורית במהלך נוסף של עדכון בייסיאני. בסטטיסטיקה בייסיאנית, הפרמטרים של המודל, שיסומנו ב- θ {\displaystyle \theta } , הם בעצמם משתנים מקריים. ההתפלגות הפריורית שלהם, כלומר ההתפלגות שלהם בהיעדר כל מידע מוקדם, תסומן ב p ( θ ) {\displaystyle p(\theta )} . ההסתברות הפוסטריורית היא ההסתברות של הפרמטרים θ {\displaystyle \theta } בהינתן תצפיות x {\displaystyle x} , ומסומנת p ( θ | x ) {\displaystyle p(\theta |x)} . לעומת זאת, פונקציית הנראות היא ההסתברות של התצפיות בהינתן הפרמטרים של המודל, כלומר p ( x | θ ) {\displaystyle p(x|\theta )} . בהינתן הסתברות פריורית p ( θ ) {\displaystyle p(\theta )} וכי ההסתברות לתצפיות x {\displaystyle x} היא p ( x | θ ) {\displaystyle p(x|\theta )} , אז ההסתברות הפוסטריורית מוגדרת באמצעות כלל בייס p ( θ | x ) = p ( x | θ ) p ( x ) p ( θ ) {\displaystyle p(\theta |x)={\frac {p(x|\theta )}{p(x)}}p(\theta )} . כלומר, ההסתברות הפוסטריורית פרופורציונית לפונקציית הנראות המוכפלת בהסתברות הפריורית. p ( x ) {\displaystyle p(x)} הוא קבוע הנירמול המחושב על ידי p ( x ) = ∫ p ( x | θ ) p ( θ ) d θ {\displaystyle p(x)=\int p(x|\theta )p(\theta )d\theta } אם θ {\displaystyle \theta } היא פרמטר רציף, או על ידי סיכום של p ( x | θ ) p ( θ ) {\displaystyle p(x|\theta )p(\theta )} על כל הערכים האפשריים של θ {\displaystyle \theta } , אם θ {\displaystyle \theta } הוא פרמטר בדיד. נניח שרוצים למצוא מהו הסיכוי θ {\displaystyle \theta } שבהטלת מטבע מסוים, לא בהכרח מטבע הוגן, הוא ייפול על עץ. כדי לאמוד את הערך של θ {\displaystyle \theta } מבצעים סדרה של הטלות, ונניח ש-m פעמים הוא נפל על עץ, ו-n פעמים על פלי. נסמן ב X את סדרת התוצאות הללו. בהנחה שההטלות בלתי תלויות זו בזה, אז בהינתן מודל שבו ההסתברות לנפילה על עץ בהטלה בודדת היא θ {\displaystyle \theta } , ההסתברות לסדרת התוצאות X היא P ( X | θ ) = θ m ( 1 − θ ) n {\displaystyle P(X|\theta )=\theta ^{m}(1-\theta )^{n}} את האמונה הראשונית שלנו, שמטבעות הם בדרך כלל הוגנים, ניתן לנסח באמצעות פונקציית צפיפות הסתברות פריורית על הפרמטר θ {\displaystyle \theta } . למען ההמחשה אפשר לבחור בהתפלגות הפריורית בפונקציה P ( θ ) = 1 6 θ ( 1 − θ ) . {\displaystyle P(\theta )={\frac {1}{6}}\theta (1-\theta ).} להתפלגות פריורית זו מקסימום ב θ = 1 2 {\displaystyle \theta ={\frac {1}{2}}} והיא סימטרית סביב נקודה זו. כעת ההתפלגות הפוסטריורית של θ {\displaystyle \theta } היא p ( θ | X ) = p ( X | θ ) p ( θ ) p ( X ) = θ m ( 1 − θ ) n θ ( 1 − θ ) ∫ 0 1 θ m ( 1 − θ ) n θ ( 1 − θ ) d θ = θ m + 1 ( 1 − θ ) n + 1 B ( m + 1 , n + 1 ) {\displaystyle {\begin{aligned}p(\theta |X)=&{\frac {p(X|\theta )p(\theta )}{p(X)}}\\=&{\frac {\theta ^{m}(1-\theta )^{n}\theta (1-\theta )}{\int _{0}^{1}\theta ^{m}(1-\theta )^{n}\theta (1-\theta )\,d\theta }}\\=&{\frac {\theta ^{m+1}(1-\theta )^{n+1}}{B(m+1,n+1)}}\end{aligned}}} כאשר B {\displaystyle B} היא פונקציית בטא. ניח X 1 , . . . … , X n {\displaystyle X_{1},...\ldots ,X_{n}} הם משתנים מקריים בלתי תלויים שווי התפלגות בעלי התפלגות נורמלית N ( θ , σ 2 ) {\displaystyle N(\theta ,\sigma ^{2})} , כאשר התוחלת θ {\displaystyle \theta } אינה ידועה והשונות σ 2 {\displaystyle \sigma ^{2}} נתונה. נניח גם כי צפיפות ההתפלגות הפריורית של θ {\displaystyle \theta } היא N ( μ 0 , σ 0 2 ) {\displaystyle N(\mu _{0},\sigma _{0}^{2})} כאשר μ 0 {\displaystyle \mu _{0}} ו σ 0 2 {\displaystyle \sigma _{0}^{2}} נתונים. נסמן ב X {\displaystyle X} את ווקטור המשתנים המקריים ( X 1 , . . . … , X n ) {\displaystyle (X_{1},...\ldots ,X_{n})} ונסמן ב x = ( x 1 , … , x n ) {\displaystyle x=(x_{1},\ldots ,x_{n})} את ערכי התצפית שלהם. אם נתעלם מכל הגורמים שאינם תלויים ב θ {\displaystyle \theta } , ההסתברות הפריורית המוכפלת בנראות היא מהצורה p ( θ ) p ( x | θ ) ∝ exp ⁡ [ − ( θ − μ 0 ) 2 2 σ 0 2 − ∑ i = 0 n ( x i − θ ) 2 2 σ 2 ] {\displaystyle p(\theta )p(x|\theta )\propto \exp \left[-{\frac {(\theta -\mu _{0})^{2}}{2\sigma _{0}^{2}}}-\sum _{i=0}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right]} באמצעות השלמה לריבוע נקבל ( θ − μ 0 ) 2 2 σ 0 2 − ∑ i = 0 n ( x i − θ ) 2 2 σ 2 = θ 2 ( 1 σ 0 2 + n σ 2 ) − 2 θ ( μ 0 2 σ 0 2 + n x ¯ 2 σ 2 ) + C 1 = 1 σ 1 2 ( θ − μ 1 ) 2 + C 2 {\displaystyle {\begin{aligned}{\frac {(\theta -\mu _{0})^{2}}{2\sigma _{0}^{2}}}-\sum _{i=0}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}=&\theta ^{2}\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right)-2\theta \left({\frac {\mu _{0}}{2\sigma _{0}^{2}}}+{\frac {n{\bar {x}}}{2\sigma ^{2}}}\right)+C_{1}\\=&{\frac {1}{\sigma _{1}^{2}}}(\theta -\mu _{1})^{2}+C_{2}\end{aligned}}} כאשר x ¯ = ∑ x i / n {\displaystyle {\bar {x}}=\sum x_{i}/n} וכאשר C 1 {\displaystyle C_{1}} ו C 2 {\displaystyle C_{2}} הם קבועים שאינם תלויים ב θ {\displaystyle \theta } (אך תלויים ב x 1 , … , x n {\displaystyle x_{1},\ldots ,x_{n}} ), ו μ 1 {\displaystyle \mu _{1}} ו σ 1 2 {\displaystyle \sigma _{1}^{2}} הם 1 σ 1 2 = 1 σ 0 2 + n σ 2   , μ 1 = σ 1 2 ( μ 0 σ 0 2 + n x ¯ σ 2 ) {\displaystyle {\frac {1}{\sigma _{1}^{2}}}={\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\ ,\qquad \mu _{1}=\sigma _{1}^{2}\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {n{\bar {x}}}{\sigma ^{2}}}\right)} ולסיכום ההתפלגות הפוסטריורית היא התפלגות נורמלית עם תוחלת μ 1 {\displaystyle \mu _{1}} ועם שונות σ 1 2 {\displaystyle \sigma _{1}^{2}} p ( θ | x ) ∝ exp ⁡ [ − ( θ − μ 1 ) 2 2 σ 1 2 ] {\displaystyle p(\theta |x)\propto \exp \left[-{\frac {(\theta -\mu _{1})^{2}}{2\sigma _{1}^{2}}}\right]} ניתן לראות כי בגבול n → ∞ {\displaystyle n\rightarrow \infty } מתקבלות התוצאות המצופות ממדגם גדול, μ 1 ≈ x ¯ {\displaystyle \mu _{1}\approx {\bar {x}}} ו σ 1 2 ≈ σ 2 / n {\displaystyle \sigma _{1}^{2}\approx \sigma ^{2}/n} . ניתן לחשב את התפלגות ההסתברות הפוסטריורית של משתנה מקרי אחד בהינתן ערכו של אחר באמצעות משפט בייס על ידי הכפלת התפלגות ההסתברות הפריורית בפונקציית הנראות, ולאחר מכן חלוקה בקבוע הנירמול, באופן הבא: f X ∣ Y = y ( x ) = f X ( x ) L X ∣ Y = y ( x ) ∫ − ∞ ∞ f X ( u ) L X ∣ Y = y ( u ) d u {\displaystyle f_{X\mid Y=y}(x)={f_{X}(x){\mathcal {L}}_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}} נותן את פונקציית צפיפות ההסתברות הפוסטריורית עבור משתנה מקרי X {\displaystyle X} , בהינתן שהמשתנה המקרי Y {\displaystyle Y} מקבל ערך ספציפי Y = y {\displaystyle Y=y} , כאשר f X ( x ) {\displaystyle f_{X}(x)} היא הצפיפות הפריורית של X {\displaystyle X} , L X ∣ Y = y ( x ) = f Y ∣ X = x ( y ) {\displaystyle {\mathcal {L}}_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)} היא פונקציית הנראות של Y {\displaystyle Y} כפונקציה של x {\displaystyle x} , ∫ − ∞ ∞ f X ( u ) L X ∣ Y = y ( u ) d u {\displaystyle \int _{-\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du} הוא קבוע הנירמול, ו f X ∣ Y = y ( x ) {\displaystyle f_{X\mid Y=y}(x)} היא הצפיפות הפוסטריורית של X {\displaystyle X} בהינתן Y = y {\displaystyle Y=y} . בסיווג, הסתברות פוסטריורית משקפת את חוסר הוודאות של הערכת תצפית למחלקה מסוימת. בעוד שהפלט של שיטות סיווג סטטיסטיות הוא בהגדרה הסתברות פוסטריורית, שיטות של למידת מכונה לעיתים קרובות אינן מספקת הערכות הסתברותיות אמינות. Press, S. James (1989). "Approximations, Numerical Methods, and Computer Programs". Bayesian Statistics : Principles, Models, and Applications. New York: John Wiley & Sons. pp. 69–102. ISBN 0-471-63729-7. Lambert, Ben (2018). "The posterior – the goal of Bayesian inference". A Student's Guide to Bayesian Statistics. Sage. pp. 121–140. ISBN 978-1-4739-1636-4. Etz, Alex (2015-07-25). "Understanding Bayes: Updating priors via the likelihood". The Etz-Files (באנגלית). נבדק ב-2022-08-18. Christopher M. Bishop (2006). Pattern Recognition and Machine Learning. Springer. pp. 21–24. ISBN 978-0-387-31073-2. Ross, Kevin. Chapter 8 Introduction to Continuous Prior and Posterior Distributions | An Introduction to Bayesian Reasoning and Methods. Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari and Donald B. Rubin (2014). Bayesian Data Analysis. CRC Press. p. 7. ISBN 978-1-4398-4095-5.{{cite book}}: תחזוקה - ציטוט: multiple names: authors list (link) G. A. Young , R. L. Smith, Essentials of Statistical Inference, US: Cambridge University Press, 2005 "Posterior probability - formulasearchengine". formulasearchengine.com. נבדק ב-2022-08-19. Boedeker, Peter; Kearns, Nathan T. (2019-07-09). "Linear Discriminant Analysis for Prediction of Group Membership: A User-Friendly Primer". Advances in Methods and Practices in Psychological Science (באנגלית). 2 (3): 250–263. doi:10.1177/2515245919849378. ISSN 2515-2459.