הסתברות בייסיאנית

הסתברות בייסיאנית (באנגלית: Bayesian probability) היא גישה להסתברות על פיה מכמתים את ההסתברות של מאורע על פי הידע הנוכחי לגביו או על פי הערכה סובייקטיבית לגבי ערכו. הסתברות בייסיאנית היא פרשנות של הסתברות, המכמתת הסתברות על פי מצב הידע הנוכחי. שינוי במצב הידע משנה גם את ההסתברות ואת התפלגות ההסתברויות. הסתברות בייסיאנית קרויה על שמו של הסטטיסטיקאי האנגלי תומאס בייס.
בהסתברות בייסיאנית מיוחסת הסתברות פריורית להשערה. הסתברות זו מתעדכנת בכל פעם שמתווסף מידע רלוונטי. לפי תפיסה זו, בבדיקת השערות מייחסים לאירוע הסתברות ספציפית ומעדכנים אותה בהתאם לנתונים ולמידע הקיים. זאת בשונה מבדיקת השערות קלאסית, אשר משמשת כדי להחליט אם לקבל או לדחות השערה נתונה (בבדיקת השערות קלאסית בודקים האם הערך הסטטיסטי נופל בטווח התומך בהשערת האפס או מחוץ לטווח ולכן שולל את השערת האפס).

היסטוריה

המונח הסתברות בייסיאנית נגזר משמו של תומאס בייס (1761-1702), שהיה זה שהגה את הפרשנות של המושג הסתברות, כהסתברות המשתנה על פי המידע הידוע בזמן מסוים ומתעדכנת כשנצבר מידע נוסף. בייס הוכיח מקרה פרטי של הטענה שלו הנקרא היום חוק בייס. המאמר הראשון על חוק בייס נקרא: An Essay towards solving a Problem in the Doctrine of Chances. הוא פורסם שנתיים אחרי מותו על בסיס מה שבייס כתב ולא פרסם.
המקרה הספציפי הנדון במאמר זה, הוא מקרה המתייחס להתפלגות בטא ולנתונים המתפלגים בהתפלגות בינומית.
המתמטיקאי הצרפתי פייר סימון לפלס (1827-1749) היה הראשון שהציג גרסה כוללנית של הגישה הבייסיאנית. לפלס התייחס לנושא בהקשר של היסקים סטטיסטיים בתחום הפיזיקה, הנוגעת למכניקה ולאסטרונומיה וגם לתחומים אחרים, כגון: רפואה, משפטים ומהימנות.
היסקים מבוססי הסתברות בייסיאנית בתקופתו של לפלס התבססו על הסתברויות פריוריות קבועות, בהתאם לעיקרון האדישות של לפלס. על פי העיקרון, אין מספיק מידע על מנת לייחס הסתברויות פריוריות שונות לאפשרויות שונות ולכן אם יש n אפשרויות, ההסתברות הפריורית של כל אחת מהן היא: . העיקרון של לפלס כונה: "הסתברות הפוכה", משום שהוא מסיק מסקנות בכיוון ההפוך, כלומר: מערכי תצפיות לערכי פרמטרים או ממסובב לסיבה.
אחרי שנת 1920 השלימו את "ההסתברות ההפוכה" אוסף שיטות שנקראו: היסקים שכיחותיים (באנגלית: Frequentist inference).
הרעיונות של לפלס התפתחו במאה ה-20 לשני זרמים בייסיאנים שונים: סובייקטיבי ואובייקטיבי. תפקיד חשוב במיוחד מילא הרולד ג'פרי. ג'פרי פרסם בשנת 1939 את ספרו Theory of Probability. ספר זה מילא תפקיד חשוב בחזרה להסתברות בייסיאנית כתפיסה מרכזית בסטטיסטיקה. בעקבות העבודה של הרולד ג'פרי, פורסמו עבודות חשובות נוספות של אברהם ולד ב-1950 ושל לאונרד סאוואג' בשנת 1954. 
המונח בייסיאני נוצר בשנת 1950. השימוש במונחים בייסיאניזם ונאו-בייסיאניזם, שנגזרו ממנו נעשה לראשונה בשנת 1960.
בשנות ה-80 של המאה ה-20 התרחבו המחקר של ההסתברות הבייסיאנית והשימוש בהסתברות הבייסיאנית באופן דרמטי. הגידול מיוחס לגילוי של שיטת אלגוריתמים הקרויה Markov chain Monte Carlo או בראשי תיבות MCMC. אלגוריתמים של MCMC מבוססים על שילוב של רעיונות של שרשרת מרקוב ושל שיטת מונטה קרלו. שיטות מבוסות MCMC חסכו חישובים מורכבים ומסובכים והגדילו את העניין ביישומים מורכבים ולא סטנדרטיים.
למרות הפופולריות הגדולה של מחקר של הסתברות בייסיאנית, עדיין לומדים לרוב את השיטות ההסתברויות הקלאסיות. למרות זאת, נעשה שימוש נרחב בשיטות בייסיאניות בתחומים כמו למידה חישובית.

הסתברות אובייקטיבית והסתברות סובייקטיבית

קיימות שתי גישות של הסתברות בייסיאנית: הסתברות אובייקטיבית והסתברות סובייקטיבית.
ההבדל בין שתי הגישות מתייחס להסתברות הפריורית.

הסתברות אובייקטיבית

בגישה האובייקטיבית, ההסתברות הפריורית היא אובייקטיבית, כלומר: האמונה שזו ההסתברות הפריורית היא סבירה בהנחה שלאדם או אפילו לתוכנת מחשב יש את אותו מידע. ההסתברות הפריורית במקרה זה מבוססת על שיקולים רציונליים. עקרונות הכימות של הסתברות פריורית אובייקטיבית מבוססים על דרישות לרציונליות ועקביות הבאות לידי ביטוי במשפט קוקס.

הסתברות סובייקטיבית

בגישה הסובייקטיבית מבוסס החישוב על שיקולים סובייקטיביים. לאנשים שלהם אותו מידע עשויות להיות הערכות סבירות שונות של ההסתברות הפריורית.
חוקרי תורת המשחקים עסקו באופן בו ניתן לייחס הסתברות פריורית סובייקטיבית. הם ניסו למצוא גישה רציונלית בקבלת החלטות. הם הסתמכו על משפט פון נוימן-מורגנשטרן, המסביר את יחס ההעדפות בעזרת פונקציית תועלת ליניארית. בגישה זו נבנתה התפלגות הסתברויות של סוכן רציונלי. 
יוהאן פאנזגל (בגרמנית: Johann Pfanzagl) הוסיף לתאוריה של פון ניומן ושל אוסקר מורגנשטרן את האלמנט של ייחוס הסתברויות פריוריות סובייקטיביות שונות לסוכנים שונים.
מורגנשטרן עצמו מייחס לפאנזגל את השלמת החסר בנושא זה בתאוריה של פון ניומן ושלו.
פרנק רמזי ולאונרד סאוואג' הראו שניתן ללמוד על ההסתברות הסובייקטיבית האישית של סוכנים באמצעות ניסויים. ההבדלים בהסתברויות הסובייקטיביות הניתנות לאירועים על ידי סוכנים שונים, עשויות לבטא הבדל בהערכות הנובע ממניעים פסיכולוגיים אבל גם משימוש בתהליכים שונים וכפי שהראה צ'ארלס פירס בעיקר משימוש בשיטות סטיסטיות שונות.
הביטוי המעשי של הטענה שלהם הוא מבחן רמזי, שבו עסקו פסיכולוגים מחקריים במשך יותר מחמישים שנה. מבחן רמזי הראה שטיעונים של הסתברות בייסיאנית ניתנים להפרכה ולכן עומדים בקריטריון המדעי שהציב צ'ארלס פירס. אותה יכולת להפריך תאוריה כמבחן להיותה מדעית הוא נושא שקרל פופר עסק בו בהרחבה בהקשר של פילוסופיה של המדע.

הצדקות לשימוש בהסתברות בייסיאנית

השימוש בהסתברות בייסיאנית כבסיס להיסקים סטטיסטיים נתמך על ידי נימוקים שונים: האקסיומות של משפט קוקס, הספר ההולנדי (באנגלית: Dutch book) ותאוריית קבלת החלטות.

גישת קבלת החלטות

אברהם ולד הצדיק את ההיסק הבייסיאני, וכתוצאה מכך גם את ההסתברות הבייסיאנית, באמצעות תאוריה של קבלת החלטות. ולד הוכיח שכל תהליך סטטיסטי קביל הוא תהליך בייסיאני או מקרה קיצון של תהליך בייסיאני. הוא הסיק מכך שכל תהליך בייסיאני הוא קביל.