הסתברות פוסטריורית

**הסתברות פוסטריורית** היא מושג מרכזי בסטטיסטיקה בייסיאנית. המייצגת את ההסתברות, או ההתפלגות, שמתקבלת  מעדכונים של ההסתברות הפריורית על סמך מידע המתקבל מתצפיות. 

העדכון נעשה על ידי שימוש בכלל בייס. הההסתברות הפוסטריורית עשויה לשמש כהסתברות פריורית במהלך נוסף של עדכון בייסיאני. 

## הגדרה בהקשר של התפלגות
בסטטיסטיקה בייסיאנית, הפרמטרים של המודל, שיסומנו ב- \theta, הם בעצמם משתנים מקריים. ההתפלגות הפריורית שלהם, כלומר ההתפלגות שלהם בהיעדר כל מידע מוקדם, תסומן ב p(\theta) .

ההסתברות הפוסטריורית היא ההסתברות של הפרמטרים  \theta בהינתן תצפיות x, ומסומנת p(\theta |x) . 

לעומת זאת, פונקציית הנראות היא ההסתברות של התצפיות בהינתן הפרמטרים של המודל, כלומר p(x|\theta) .

בהינתן הסתברות פריורית  p(\theta) וכי ההסתברות לתצפיות x היא p(x|\theta), אז ההסתברות הפוסטריורית מוגדרת באמצעות כלל בייס

: p(\theta|x) = \frac{p(x|\theta)}{p(x)}p(\theta) .

כלומר, ההסתברות הפוסטריורית פרופורציונית לפונקציית הנראות *המוכפלת בהסתברות הפריורית*.p(x) הוא קבוע הנירמול המחושב על ידי 

:  p(x) = \int p(x|\theta)p(\theta)d\theta

אם \theta היא פרמטר רציף, או על ידי סיכום של p(x|\theta)p(\theta) על כל הערכים האפשריים של \theta, אם \theta הוא פרמטר בדיד.

### דוגמה 1 - התפלגות פוסטריורית של פרמטר במודל בינומי
נניח שרוצים למצוא מהו הסיכוי \theta שבהטלת מטבע מסוים, לא בהכרח מטבע הוגן, הוא ייפול על **עץ**. כדי לאמוד את הערך של  \theta מבצעים סדרה של הטלות, ונניח ש-*m* פעמים הוא נפל על **עץ**, ו-*n* פעמים על **פלי**. נסמן ב *X* את סדרת התוצאות הללו. בהנחה שההטלות בלתי תלויות זו בזה, אז בהינתן מודל שבו ההסתברות לנפילה על עץ בהטלה בודדת היא \theta, ההסתברות לסדרת התוצאות *X* היא P(X |\theta) = \theta^m (1-\theta)^nאת האמונה הראשונית שלנו, שמטבעות הם בדרך כלל הוגנים, ניתן לנסח באמצעות פונקציית צפיפות הסתברות פריורית על הפרמטר \theta. למען ההמחשה אפשר לבחור כהתפלגות הפריורית בפונקציה P(\theta) = \frac{1}{6} \theta (1-\theta)  .להתפלגות פריורית זו מקסימום ב \theta  =\frac{1}{2} והיא סימטרית סביב נקודה זו. כעת ההתפלגות הפוסטריורית של \theta היא\begin{align}
p(\theta|X)  = & \frac{p(X|\theta)p(\theta)}{p(X)}\\
              = & \frac{\theta^m (1-\theta)^n  \theta (1-\theta)} {\int_0^1 \theta^m (1-\theta)^n  \theta (1-\theta)\, d \theta} \\
              = & \frac{\theta^{m+1} (1-\theta)^{n+1}} {B(m+1, n+1)}
\end{align} כאשר B  היא פונקציית בטא. 

### דוגמה 2 - התפלגות פוסטריורית של פרמטר בהתפלגות נורמלית
ניח X_1,...\ldots, X_n הם משתנים מקריים בלתי תלויים שווי התפלגות בעלי התפלגות נורמלית N(\theta, \sigma^2), כאשר התוחלת \theta אינה ידועה והשונות \sigma^2 נתונה. נניח גם כי צפיפות ההתפלגות הפריורית של \theta היא N(\mu_0, \sigma_0^2) כאשר \mu_0 ו-\sigma_0^2 נתונים. נסמן ב-X את וקטור המשתנים המקריים (X_1, ...\ldots, X_n) ונסמן ב-x = (x_1,\ldots, x_n) את ערכי התצפית שלהם. אם נתעלם מכל הגורמים שאינם תלויים ב-\theta, ההסתברות הפריורית המוכפלת בנראות היא מהצורה:
p(\theta) p(x | \theta) \propto \exp \left [ -\frac{(\theta - \mu_0)^2}{2\sigma_0^2} -\sum_{i=0}^n \frac{(x_i - \theta)^2}{2\sigma^2} \right ] 
באמצעות השלמה לריבוע נקבל:
 \begin{align}
\frac{(\theta - \mu_0)^2}{2\sigma_0^2} -\sum_{i=0}^n \frac{(x_i - \theta)^2}{2\sigma^2} = & \theta^2 \left ( \frac{1}{\sigma_0^2} +
\frac{n}{\sigma^2} \right ) - 2\theta\left (\frac{\mu_0}{2\sigma_0^2} + \frac{n \bar{x}}{2\sigma^2} \right ) + C_1\\
 = & \frac{1}{\sigma_1^2} (\theta - \mu_1)^2 + C_2
\end{align} 
כאשר  \bar{x} = \sum x_i/n  וכאשר C_1 ו-C_2 הם קבועים שאינם תלויים ב-\theta (אך תלויים ב-x_1,\ldots, x_n), ו-\mu_1 ו-\sigma_1^2 הם:
\frac{1}{\sigma_1^2} = \frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\ , \qquad \mu_1 = \sigma_1^2\left (\frac{\mu_0} {\sigma_0^2} + \frac{n\bar{x}}{\sigma^2} \right )
ולסיכום ההתפלגות הפוסטריורית היא התפלגות נורמלית עם תוחלת \mu_1 ועם שונות \sigma_1^2p(\theta | x) \propto \exp\left [-\frac{(\theta - \mu_1)^2}{2\sigma_1^2} \right ]

ניתן לראות כי בגבול n\rightarrow \infty מתקבלות התוצאות המצופות ממדגם גדול, \mu_1 \approx \bar{x} ו \sigma_1^2 \approx \sigma^2/n .

## חישוב
ניתן לחשב את התפלגות ההסתברות הפוסטריורית של משתנה מקרי אחד בהינתן ערכו של אחר באמצעות משפט בייס על ידי הכפלת התפלגות ההסתברות הפריורית בפונקציית הנראות, ולאחר מכן חלוקה בקבוע הנירמול, באופן הבא:

: f_{X\mid Y=y}(x)={f_X(x) \mathcal L_{X\mid Y=y}(x) \over {\int_{-\infty}^\infty f_X(u) \mathcal L_{X\mid Y=y}(u)\,du}}

נותן את פונקציית צפיפות ההסתברות הפוסטריורית עבור משתנה מקרי X, בהינתן שהמשתנה המקרי Y מקבל ערך ספציפי Y=y, כאשר

* f_X(x) היא הצפיפות הפריורית של X ,
* \mathcal L_{X\mid Y=y}(x) = f_{Y\mid X=x}(y) היא פונקציית הנראות של Y כפונקציה של x ,
* \int_{-\infty}^\infty f_X(u) \mathcal L_{X\mid Y=y}(u)\,du הוא קבוע הנירמול, ו
* f_{X\mid Y=y}(x) היא הצפיפות הפוסטריורית של X בהינתן Y=y.

## סיווג (קלסיפיקציה)
בסיווג, הסתברות פוסטריורית משקפת את חוסר הוודאות של הערכת תצפית למחלקה מסוימת. בעוד שהפלט של שיטות סיווג סטטיסטיות הוא בהגדרה הסתברות פוסטריורית, שיטות של למידת מכונה לעיתים קרובות אינן מספקת הערכות הסתברותיות אמינות. אחת הדוגמאות הבולטות בהקשר זה הוא מסווג בייסיאני נאיבי, שנוטה להערכות הסתברות פוסטריורית מוטות בשל הנחת האי-תלות בין משתני הקלט.

## הערות שוליים

קטגוריה:סטטיסטיקה בייסיאנית