היסטוריה של תורת ההסתברות

ההיסטוריה של תורת ההסתברות היא השתלשלות התפתחותה של תורת ההסתברות כתורה מדעית נחקרת, החל משלביה המוקדמים במאות ה-16 וה-17, כשחישובי ההסתברות נעשו באופן נאיבי ואינטואיטיבי, ועד ביסוסה המתמטי במאות ה-19 וה-20, בהן היא הפכה לתורה מתמטית העומדת על בסיס אקסיומטי איתן.
משחר ההיסטוריה האנושית עסקו בני-אדם בתרבויות שונות בפעילויות הנקבעות באופן אקראי, כמו הימורים ומשחקי מזל. במקרים רבים גרסה האמונה כי הגורל נקבע על ידי האלים, וכי הסתמכות על רכיב הכרעה אקראי היא התגרות באלים ומעשה שטן. האקראיות נותרה עלומה בתפיסתם של בני האדם בתרבויות השונות, עד לאמצע המאה ה-16 בה מתמטיקאים החלו בתהליך שהוביל להתפתחותה של תורת ההסתברות התאורטית המטפלת באקראיות באופן מתמטי.
לכל אורך ההיסטוריה של תורת ההסתברות היא הייתה בעלת השפעה גדולה על ענפי מדע שונים. בתחילה היא השפיעה על ענפים כמו דמוגרפיה, אפידמיולוגיה ואסטרונומיה, בהמשך התרחבה השפעתה גם על מתמטיקה וסטטיסטיקה, במידה ניכרת גם על אלגוריתמיקה ומדעי המחשב, וכן על ענפי מדעי הטבע, כמו פיזיקה ובפרט פיזיקה סטטיסטית ומכניקת הקוונטים. להתפתחות תורת ההסתברות הייתה השפעה מכריעה על התפתחותם של תחומים יסודיים בתוך כל ענפי המדע הללו, ותמצית השפעתה הייתה המסגרת הפורמלית שהיא סיפקה כדי לכמת גדלים שאינם ידועים; גדלים נצפים, גדלים חישוביים וגדלים תאורטיים. במקרים רבים גם לענפי המדע הללו הייתה השפעה על התפתחותה של תורת ההסתברות.
המחקר על אודות ההיסטוריה של תורת ההסתברות ידוע עוד מאמצע המאה ה-19. כך בשנת 1865 פרסם המתמטיקאי וההיסטוריון של המתמטיקה אייזיק טודהאנטר את הספר "היסטוריה של התאוריה המתמטית של הסתברות מזמנו של פסקל ועד זמנו של לפלס".

עבודות מוקדמות

ניסיון להתייחס לבעיה הכוללת רכיב אקראי כאל בעיה מתמטית, נעשה בשנת 1494 על ידי המתמטיקאי האיטלקי לוקה פאצ'ולי בספרו שכונה בקיצור "סיכום". פאצ'ולי טיפל בבעיה שכונתה בעיית הניקוד: שתי קבוצות משחקות זו נגד זו. כדי שקבוצה תנצח עליה לצבור 60 נקודות, ואז היא זוכה ב-22 דוקטים. מסיבה בלתי צפויה המשחק נפסק לפני שאף אחת משתי הקבוצות הצליחה לצבור 60 נקודות, והמצב היה שקבוצה  זכתה ב-50 נקודות וקבוצה  זכתה ב-30 נקודות. פתרונו של פאצ'ולי היה לחלק את הכסף ביחס של  בין הקבוצות, בהתאם למספר הנקודות שצברו. פתרון זה מניח כי היחס בין הסיכוי לניצחון של קבוצה  לבין הסיכוי לניצחון של קבוצה  נקבע על ידי ההיסטוריה של הניצחונות, בה היחס עמד על . אך פתרון זה שגוי, שכן בהנחה כי יש אי-תלות בין המשחקים, הרי שהיחס בין סיכויי הניצחונות של הקבוצות נקבע על ידי מספר המשחקים העתידיים שנדרשים כדי לנצח. כך לפי ההיגיון של פאצ'ולי, אם לקבוצה  הייתה נקודה אחת ולקבוצה  לא היו נקודות כלל, קבוצה  הייתה צריכה לזכות בכל הדוקטים, אך בוודאי קיימת הסתברות חיובית כלשהי לניצחון של קבוצה .
תובנה פילוסופית-תאולוגית הנוגעת להבחנה הסתברותית, פורסמה בשנת 1577 על ידי ברתולומיאו דה-מדינה, תאולוג ספרדי. דה-מדינה קבע כי ניתן לבצע בחירה מוסרית שלתוצאותיה הטובות יש הסתברות חיובית כלשהי (במובן האינטואיטיבי של הסתברות), אפילו אם ההסתברות של האלטרנטיבה גבוהה יותר. כך למשל אם אדם מחזיק בדעה המנוגדת לדעתה של הכנסייה הקתולית, מותר לו לבחור לפעול בהתאם לדעתו שלו, על אף שלדעת דה-מדינה ההסתברות לכך שהצדק עם הכנסייה גבוהה מההסתברות שהצדק עמו.
המתמטיקאי ג'ירולמו קרדנו היה הראשון שהגדיר באופן פורמלי את ערך ההסתברות להתרחשות של מאורע מסוים, בספרו "ספר על משחקי מזל". הספר נכתב בשנות ה-60 של המאה ה-16 ונועד להיות מדריך למהמר, ובו הוצג לראשונה טיפול שיטתי בבעיות של הסתברות. בספר הובאו טבלאות להדגמת האפשרויות השונות בזריקת שתיים או שלוש קוביות יחד ואת ההסתברות לקבל צירופים שונים. למשל, בשלוש קוביות יש 6 אפשרויות לשלושה מספרים זהים, 30 אפשרויות לשני מספרים זהים ואחד שונה, בשלושה סידורים שונים - ובסך הכל 90 אפשרויות. 20 אפשרויות לשלושה מספרים שונים זה מזה בשישה סידורים שונים, ובסך הכל 120 אפשרויות. סך האפשרויות הכללי הוא . קרדנו הציג הגדרה כללית להסתברות להתרחשות תוצאה אחת מבין תוצאות שונות שלכולן סיכויים שווים, וקבע כי היא מספר האפשרויות לקבל את התוצאה, לחלק למספר האפשרויות לקבל את כל התוצאות. כדוגמה הוא מביא זריקת קוביית משחק הוגנת ובעלת שש פאות, וכותב כי ההסתברות להתרחשות קבלת מספר מסוים (למשל 2), היא .
קרדנו אף ערך חישוב מורכב בעזרת ממצאיו. תחילה חישב את ההסתברות לקבל 6 לפחות באחת מהקוביות, שהיא: , ואחר כך חישב את הסיכויים בהימור שייצא 6 בכל אחת משלוש זריקות של שלוש קוביות. קרדנו הראה שיחס הסיכויים הוא:
קרדנו, אשר בעבודותיו חישב מספר אפשרויות נפרדות לקבלת מספרן המשולב, קבע בעצם את כלל החיבור (אם כי לא ניסח את הכלל האמור במפורש): אם ההסתברות למאורע  היא  וההסתברות למאורע  היא , אזי ההסתברות להתרחשות המאורע  היא  (כלל זה תקף רק כאשר המאורעות  זרים). למען השלמות ניתן בספרו ניתוח של משחקים בקוביות דמיוניות שלהן פחות משש פאות. בנוסף, קרדנו ניתח בספרו את המושג "סיכוי", ומגדירו כיחס שבין מספר האפשרויות לזכות ומספר האפשרויות להפסיד. בהיקף קטן הוא עסק גם במשחקי קלפים.
קרדנו טיפל אף הוא בבעיית הניקוד, ונמנע מהטעות שביצע לפניו פאצ'ולי. הוא היה הראשון שהבין שצריך להתייחס למספר המשחקים שנותרו לכל קבוצה כדי לנצח כמפתח לחלוקה, ולא למשחקים שכל קבוצה כבר ניצחה. עם זאת קרדנו לא הגיע לנוסחה כללית לפתרון בעיית הניקוד.
ספר זה נדפס רק ב-1663, באיחור של כמעט 100 שנים, מה שמנע מקרדנו את הבכורה בייסוד תורת ההסתברות. אך גם כך הגיעו תוצאות עבודתו בדרכים אחרות לידיעת המתמטיקאים של הדורות הבאים.

פסקל ופרמה

ידוע כי עבודות של האסטרונומים יוהאנס קפלר וגלילאו גליליי שילבו אלמנטים הסתברותיים, אולם למרות זאת בקרב היסטוריונים של המתמטיקה מקובל לתארך את לידתה של תורת ההסתברות הנאיבית לשנת 1654. בשנה זו פנה אציל צרפתי בשם שבליה דה מרה למתמטיקאי הצרפתי בלז פסקל בנוגע למשחק קוביות שנקרא "נקודות" ובו עלתה "בעיית הניקוד". בעקבות פנייה זו החלה להתנהל תכתובת בין פייר דה פרמה לבין בלז פסקל, ובה עסקו שני המתמטיקאים בבעיות הקשורות למשחקי מזל, כאשר פסקל פתר את הבעיות ושלח את הפתרונות לאישורו של פרמה. לבסוף פסקל הצליח לפתור את בעיית הניקוד, כפי שיתואר להלן. ההתכתבות בין פסקל לפרמה פורסמה רק ב-1679 (לאחרי פרסומו של הויגנס, ראו להלן).
חלק מהבעיות כבר נפתרו על ידי קרדנו, ללא ידיעתם של פרמה ופסקל. באשר למשחקי קובייה, פסקל ופרמה דנו בבעיות כמו מה ההסתברות שיופיע המספר  בארבע זריקות של קובייה אחת, או שיופיע רצף של  בשמונה זריקות לכל היותר (כלומר בזריקה אחת, או בשתי זריקות וכן הלאה עד שמונה) של שתי קוביות, וכדומה. במהלך ההתכתבות נעשה שימוש שיטתי בכללי החיבור והמכפלה, כלומר: אם ההסתברות למאורע  היא  וההסתברות למאורע  היא , אזי ההסתברות להתרחשות המאורע  היא  (כלל זה תקף רק כאשר המאורעות  זרים), וההסתברות להתרחשות המאורע  היא  (כלל זה תקף רק כאשר המאורעות  בלתי-תלויים). כמו כן נעשה שימוש ראשון במושג תוחלת – ערך, בלשונם – אותו הם הגדירו כמכפלת ההסתברות לזכייה בערך הזכייה. כן הם עשו שימוש במונח קומבינציה — צירוף בו אין חשיבות לסדר האיברים.
בנוסף התייחסו פרמה ופסקל בהתכתבותם למאורעות שאת היחסים ביניהם ניתן לתאר במונחים מאוחרים יותר כתלות, אולם הם לא הציגו תיאור כללי של תלות ואי-תלות.
פסקל סיפק לראשונה את הפתרון הנכון לבעיית הניקוד: נניח כי  הוא מספר הניצחונות הנדרש. נניח כי לשחקן  חסרים  משחקים כדי לנצח, וכי לשחקן  חסרים  משחקים כדי לנצח. במצב זה ישנן  אפשרויות שונות להמשך המשחק, ובהתאם לספירה של האפשרויות בהן כל שחקן מנצח (ואפשר גם להיעזר במשולש פסקל), נקבע היחס שקובע את החלוקה ההוגנת.
פסקל נתן גם פתרון רקורסיבי לבעיה, דבר שהיווה שימוש ראשון ברקורסיה לפתרון בעיות בהסתברות: נסמן ב- את ההסתברות לניצחון של שחקן  כאשר חסרים לו  משחקים כדי לנצח, וכאשר לשחקן  חסרים  משחקים כדי לנצח. ברור שמתקיים  ושמתקיים . מתוך כך ניתן לקבוע באופן רקורסיבי כי:
פסקל ופרמה דנו באותה בעיה גם עם שלושה שחקנים. הפתרון הרקורסיבי פעל גם במקרה זה באופן דומה, אך בשיטה של מניית האפשרויות שמספרן הוא . ישנם מקרים בהם שני שחקנים משיגים את מספר הניצחונות הדרוש להם, ואז יש להתחשב בסדר בו השיגו השחקנים את הניצחונות.

הויגנס

הצעדים הבאים נעשו על ידי כריסטיאן הויגנס, שפרסם ב-1657 את חיבורו "על חישובים במשחקי מזל". חיבור זה היה הפרסום הפומבי הראשון בענייני הסתברות (ספרו של קרדנו יצא לאור כאמור רק ב-1663). בחיבור זה ישנם כללים שאת כולם הציג הויגנס ברקורסיה, ועל ידי דוגמאות מספריות מסוימות ולא בצורה כללית. חיבורו של הויגנס היווה אבן יסוד בנושא ההסתברות והביא להתעניינות בתחום מצד מתמטיקאים חשובים, כדוגמת יאקוב ברנולי. הוא הקנה לתחום גישה מסודרת ואנליטית, לא מעט גם בגלל השעשוע שבפתרון הבעיות שהוצגו בו.
בנפרד מהבעיות ההסתברותיות בהן דן הויגנס, הוא התייחס לטבלאות חיים — טבלאות בהן מוצגים נתונים על ילודים, מתחילה מגיל אפס ועם השנים חלקם מתים, עד שכולם מסיימים את חייהם. הויגנס התייחס לטבלה כזאת כמין הגרלה בה כל משתתף (ילוד) מגריל כרטיס ובו מספר השנים שנועדו לו, ובכך הציג לראשונה את הקשר העמוק בין סטטיסטיקה לבין תורת ההסתברות.
כמו פרמה ופסקל, גם הויגנס נגע במושג התלות, אך לא הגדיר אותו באופן כללי ומדויק דיו.
הויגנס הציג הכללה של מושג התוחלת, אותה גם הגדיר לראשונה: אם נמצאים במצב בו ישנם שני מאורעות אפשריים, נאמר מאורע  (למשל זכייה בהגרלה) שערכו הוא  (למשל מספר שלם וחיובי של מטבעות), ומספר האפשרויות בהן מתרחש המאורע  הוא , וכמו כן מאורע  (למשל הפסד בהגרלה) שערכו הוא  (למשל מספר שלם ושלילי של מטבעות), ומספר האפשרויות בהן מתרחש המאורע  הוא , אז התוחלת של המצב בו אנו נמצאים היא:
בהמשך דן הויגנס בווריאציות שונות של בעיית הניקוד עם שניים או שלושה שחקנים, וכן בווריאציות שונות של אפשרויות במשחקי קובייה. הכלל האחרון שהוצג בחיבורו, ייחודי בכך שמדובר במשחק בו אין מגבלה לאורכו, ובמסגרתו פיתח הויגנס שיטת אנליזה הקרויה על שמו: שחקן  זוכה אם בהטלת שתי קוביות סכום התוצאות הוא , שחקן , שגם זורק ראשון, צריך להשיג בהטלה של שתי קוביות סכום תוצאות של . הויגנס סימן את ההסתברות ש- יזכה על ידי , אם תורו של שחקן , והוא סימן אותה ב-, אם תורו של . כעת הוא השתמש בבנייה הבאה כדי למצוא במפורש את . תחילה יש לשים לב כי ההסתברות ל- בזריקה אחת של שתי קוביות היא , וההסתברות ל- בזריקה אחת של שתי קוביות היא . כעת, בניתוח של תור בודד, נניח של שחקן , ההסתברות ששחקן זה יזכה היא , וההסתברות שלא יזכה היא , ואז ההסתברות לניצחון של  היא . אם כך, ההסתברות ש- יזכה אם כעת תורו של  היא . כעת נניח שתורו של  לשחק. ההסתברות שיזכה מיד היא  וההסתברות שלא יזכה מיד היא . ההסתברות ש- ינצח אם כעת תורו היא לפיכך . התקבלו אם כך שתי משוואות בשני הנעלמים .
בעיה נוספת שהויגנס מציג דומה לבעיה הקודמת, אלא שבה  זורק ראשון,  זורק פעמיים,  פעמיים וכן הלאה. בעיה אחרת היא משחק בו שלושה שחקנים מוציאים ומחזירים מיד כדור מתוך כד בו יש ארבעה כדורים אדומים ועוד שמונה כדורים כחולים, והמנצח הוא מי שמוציא כדור אדום ראשון. בעיה נוספת היא מצב בו יש 40 קלפים, 10 מכל סוג, וצריך להוציא ארבעה, כל אחד מסוג אחר וללא החזרה של הקלפים.

ברנולי

המתמטיקאי השווייצרי יאקוב ברנולי כתב ספר רב השפעה בשם "אמנות הניחוש", שפורסם רק ב-1713, כשמונה שנים לאחר מותו. היה זה ספר היסוד המוקדם ביותר לתורת ההסתברות שהיה מוגדר ככזה, וכחיבור מחקרי מתמטי של ממש. לספר היו ארבעה חלקים: הערות מקיפות על ספרו של הויגנס; טיפול יסודי בקומבינטוריקה ובתמורות; משחקי מזל מנקודת מבט מתמטית; ויישומים לכלכלה ולפוליטיקה. חלקו האחרון כלל הוכחה של החוק החלש של המספרים הגדולים עבור משתני ברנולי, שניסח לראשונה באופן מתמטי את הקשר העמוק שבין מושג הממוצע לבין מושג התוחלת.
בחלקו הראשון של הספר סיכם ברנולי את עבודתו של הויגנס, והכליל אותה לכדי נוסחאות (הויגנס נתן פתרונות מספריים, כאמור), וכן סיכם את עבודתו של פסקל. ברנולי הציג תאוריה שלמה של צירופים ותמורות. כמו כן הוא ציין את כלל המכפלה להסתברות של קיום שניים או יותר מאורעות בלתי תלויים, בכמה וריאציות: אם ישנם  מאורעות, ולכל מאורע הסתברות , ההסתברות שיתקיימו כולם היא . במקרה זה ההסתברות לאי-קיום המאורע היא , ולכן עבור כל , ההסתברות למאורע בו מתקיימים בדיוק  מאורעות ולא מתקיימים בדיוק  מאורעות, היא: , אם נודעת חשיבות לסדר המאורעות. אם אין חשיבות לסדר, יש להכפיל את התוצאה האמורה במספר האפשרויות ללקיחת  איברים מתוך , כלומר ב-.
ברנולי עמד על ההבדל בין מאורעות זרים לבין מאורעות שאינם זרים. מאורעות זרים הם למשל שתי התוצאות האפשריות בהטלת מטבע — עץ או פלי. מאורעות שאינם זרים הם למשל שני נידונים למוות שמקבלים רשות לשחק משחק בו כל אחד מטיל שתי קוביות בתורו, ומי שסכום קוביותיו גבוה יותר ישוחרר, אך אם התוצאה זהה — ישוחררו שניהם. כלומר המאורע שאסיר אחד ישוחרר והמאורע שהאסיר האחר ישוחרר אינם זרים, לכל נידון הסתברות  להשתחרר.
בחלקו השני של הספר הציג ברנולי לראשונה את הקומבינטוריקה בצורה שיטתית. תחילה הוכיח ברנולי באינדוקציה שמספר התמורות של  איברים הוא , ושמספר התמורות של  איברים בהם יש  איברים מסוג אחד,  איברים מסוג שני, וכן הלאה, עד  איברים מסוג , היא  (נוסחת מרסן). בהמשך הספר, קבע ברנולי את מספר האפשרויות לחלק n איברים לשתי קבוצות בגודל , כך שמאחת התת-קבוצות לוקחים  איברים ומהשנייה לוקחים  איברים, כמכפלה של מספר האפשרויות של תת-קבוצה אחת במספר האפשרויות של תת-הקבוצה האחרת.
ברנולי גם דן במאורעות של "הוצאה עם החזרה". אם ישנם  איברים בכד ומוציאים  מתוכם, כאשר כל איבר יכול להילקח עם כפילויות (כלומר הצירוף של  האיברים יכול לכלול את אותו איבר כמה פעמים. למשל, כד מלא בכדורים בצבעים שונים. כאשר כל כדור מוצא מן הכד, נספר, ומיד אחר מוחזר לכד), אז מספר הקומבינציות הוא , כיוון שכל אחד מ- האיברים נספר הן כאחד מ- המקוריים והן כאחד מ- האיברים שהוצאו. לקיחת  איברים מתוך , אם כן, שקולה להשמת  מחיצות ב- מיקומים אפשריים, כאשר ישנן  אפשרויות לסידורם.
כמו כן הראה ברנולי כי מספר הפרמוטציות האפשריות ללקיחת  איברים מתוך  כאשר מאפשרים כפילויות הוא , וזאת אם ישנה חשיבות לסדר (אחרת, אם אין חשיבות, יש לחלק את הביטוי במספר האפשרויות לסידורים השונים). בהמשך הדגים ברנולי בעזרת טבלאות שיטה אלגוריתמית למציאת מספר הצירופים האפשריים לכל תוצאה במספר קוביות נתון.
כמו פסקל, גם ברנולי חקר את משולש פסקל, וחזר על הוכחות באופן דומה. מחקריו במשולש פסקל הובילו אותו גם למספר תוצאות חשובות בחשבון דיפרנציאלי ואינטגרלי. כן פיתח ברנולי פתרון לבעיית המשחק המופסק עבור משחקים התלויים במיומנות כמו טניס, כלומר בעיה בה ההסתברות לניצחון כל אחד מן הצדדים אינה . פתרונו לבעיה זו היווה הכללה של נוסחת הרקורסיה של פסקל (ראו לעיל).
בהמשך מצא ברנולי נוסחאות לסכומים של פרמוטציות, קישר בין הנוסחאות בהסתברות לביטויים רב-איבריים ועוד. בכך סיכם ברנולי את תורת ההסתברות הנאיבית, שעסקה במאורעות שווי-הסתברות בהם סכום ההסתברויות שווה ל-1, ושבכל שלב יש מספר סופי של אפשרויות בדידות. כך סוכמה עבודתם של פסקל, פרמה והויגנס.
ברנולי מצא את הנוסחה לבעיית המשחק בעל אורך בלתי מוגבל שהציג הויגנס, ופתר מספר מקרים פרטיים שלה. למשל, אם שני שחקנים  משחקים משחק, בו המנצח צריך להשיג תוצאה של  בקובייה בודדת. הזריקות מתבצעות בסדר הבא: בשלב הראשון  זורק פעם אחת ואחריו  זורק פעם אחת, בשלב השני  זורק פעמיים ואחריו  זורק פעמיים, בשלב הבא הם זורקים שלוש פעמים בזה אחר זה, וכן הלאה עד אינסוף. נסמן  ונסמן .
ההסתברות שהמשחק יסתיים בשלב הראשון היא ההסתברות ששחקן  ינצח, , ועוד ההסתברות ששחקן  ינצח,  (שכן צריך ששחקן  לא ינצח, וזה מתרחש בהסתברות ). באופן דומה, ההסתברות שהמשחק יסתיים בשלב השני היא ההסתברות ששחקן  ינצח בשלב השני, , ועוד ההסתברות ששחקן  ינצח . וכן הלאה, ההסתברות שהמשחק יסתיים בשלב ה- היא ההסתברות ששחקן  ינצח, , ועוד ההסתברות ששחקן  ינצח, . בסך הכל נקבל כי ההסתברות למאורע שהמשחק יסתיים בשלב כלשהו, היא הטור האינסופי: . אם נסמן בקיצור , נקבל כי ההסתברות שהמשחק יסתיים בשלב כלשהו היא , והיות ש- נובע כי טור זה אכן מתכנס, כפי שנוסח באופן פורמלי שנים רבות לאחר עבודתו של ברנולי. הייתה זו הפעם הראשונה בה בעיה בהסתברות נפתרה באמצעות סכום אינסופי.

דה-מואבר

המתמטיקאי הצרפתי אברהם דה-מואבר הרחיב את עבודתם של הויגנס וברנולי, וספרו "תורת הסיכויים: מתודה לחישוב הסתברויות של מאורעות במשחק", הוא הספר השני המשמעותי אודות תורת ההסתברות לאחר ספרו של ברנולי. ספר זה פורסם בארבע מהדורות; הראשונה בלטינית בשנת 1711, ושלוש מהדורות נוספות באנגלית בשנים 1718, 1738 ו-1756. תרומתו הכוללת של דה-מואבר לתורת ההסתברות הייתה כה חשובה, עד שבמאה ה-19 כתב עליו ההיסטוריון של המתמטיקה אייזיק טודהאנטר כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס". אמירה זו כבר אינה תקפה באשר לתורת ההסתברות בימינו אנו, אך שיקפה את מצבה של תורת ההסתברות במאה ה-19.
במהדורה משנת 1738 הגדיר דה-מואבר את המושג היסודי של תלות בין מאורעות, וניסח במפורש את התובנה שההסתברות להתרחשות זוג מאורעות תלויים אינה מכפלת ההסתברויות להתרחשות כל אחד מהמאורעות. עם זאת הוא לא כתב במפורש את הנוסחה הידועה .
במהדורות המאוחרות של ספרו כלל דה-מואבר תוצאה שגילה בשנת 1733, לפיה ההתנהגות האסימפטוטית של ההתפלגות הבינומית מקורבת על ידי מה שכונה מאוחר יותר התפלגות נורמלית או התפלגות גאוסיאנית, כלומר גרסה של משפט הגבול המרכזי עבור ההתפלגות הבינומית. דה-מואבר גילה זאת על ידי כך שמצא כי אם מבצעים סדרות גדולות של הטלות מטבע פעמים רבות בזו אחר זו, מספר ה"עצים" שמתקבל על ידי סדרות ההטלות מתואר על ידי גרף הפעמון המפורסם של ההתפלגות הנורמלית. הייתה זו הפעם הראשונה בה שגיאת קירוב תוארה במונחים של התפלגות, ונעשה ניתוח של השגיאה באמצעים הסתברותיים. דה-מואבר עשה צעד נוסף לעבר גילוי ההתפלגות הנורמלית, בכך שפרסם ניתוח סטטיסטי של טבלאות של התפלגות התמותה של בני אדם לפי גיל, ששימשו ליישומים אקטואריים. יש שייחסו לפיכך לדה-מואבר את גילוי ההתפלגות הנורמלית, אך עם זאת ברור כי דה-מואבר לא הבין את חשיבותה של ההתפלגות הנורמלית כשלעצמה וגם לא ידע כיצד לתאר אותה במונחים של פונקציית צפיפות, אלא ראה בה רק קירוב אסימפטוטי של ההתפלגות הבינומית.
דה-מואבר הכליל את נוסחת הבינום של אייזק ניוטון, והציג את נוסחת המולטינום. כמו כן בשנת 1733 גילה דה-מואבר נוסחה לחישוב מקורב של פונקציית העצרת, דבר ששימש רבות בחישובים הסתברותיים. הקירוב שהציג דה-מואבר היה  כאשר  היה קבוע שדה-מואבר ידע רק לקרב. מאוחר יותר גילה ג'יימס סטירלינג כי , ומכאן השם "נוסחת סטירלינג".
הישג מוקדם נוסף של דה-מואבר היו כמה תוצאות אודות התפלגות פואסון, עד שהיו שטענו שההתפלגות צריכה לשאת את שמו של דה-מואבר. עם זאת המתמטיקאי הצרפתי סימאון דני פואסון הוא זה שפרסם לראשונה תיאור מלא של ההתפלגות, בשנת 1837 בספרו "מחקר על תורת ההסתברות של פסקי-דין פליליים ואזרחיים". בספרו זה תיאר פואסון באופן מלא את התפלגות פואסון, המתארת את ההסתברות למאורעות נדירים ובלתי-תלויים המתרחשים בממוצע בקצב קבוע. פואסון השתמש בהתפלגות זו כדי לתאר את "תהליך פואסון", שהוא תהליך מקרי בו התפלגות מספר המאורעות בפרק זמן נתון היא התפלגות פואסון. בנוסף, פואסון פרסם בספרו זה גרסה של החוק החלש של המספרים הגדולים.

גאוס

בשנת 1807 פרסם המתמטיקאי הגרמני קרל פרידריך גאוס את ספרו "תאוריית התנועה של גופים שמימיים בחתכים חרוטיים סביב השמש", ובו תיאר לראשונה באופן מלא את ההתפלגות הנורמלית. גאוס בספרו תיאר את שיטת הריבועים הפחותים ואת שיטת אמידת נראות מרבית, שתיהן שיטות יסודיות ביותר המשמשת רבות בסטטיסטיקה, ועשה בהן שימוש על מנת לנתח נתוני מדידות אסטרונומיות שלעיתים סתרו זו את זו.
כדי לאמוד את השגיאה של המדידות, גאוס בחר להניח כי הממוצע החשבוני הוא הערך שממזער את שגיאת המדידה. כלומר, המדידה שמרחקה מן הממוצע החשבוני הוא המזערי, היא בהסתברות גבוהה הקרובה ביותר לערכים האמיתיים. תחת הנחה זו הוא חישב ומצא כי ההתפלגות הנורמלית מתארת את שגיאת המדידה, וסיפק נוסחה של ההתפלגות הנורמלית הסטנדרטית.

לפלס

בשנת 1812 פרסם המתמטיקאי הצרפתי פייר סימון לפלס את ספרו "התאוריה האנליטית של ההסתברות", שנכתב בעיקר כדי לבסס את "תורת השגיאות" — התפלגות שגיאות המדידה אותה חקר גאוס. אף על פי שגאוס תיאר לראשונה את התפלגות שגיאות המדידה כהתפלגות נורמלית, הוא לא סיפק תיאור מלא של התפלגות זו. לפלס היה זה שחישב לראשונה את הנוסחה המלאה לפונקציית ההתפלגות המצטברת של ההתפלגות הנורמלית, על ידי חישוב האינטגרל  שסיפק את הקבוע החשוב של ההתפלגות הנורמלית. בבואו לחקור את התפלגות השגיאות, גישתו של לפלס הייתה הפוכה מזו של גאוס, בייסיאנית במהותה: לפלס בחר להניח כי לשגיאות המדידה ישנה התפלגות משותפת מסוימת, התפלגות אפריורית, וטען כי גם כאשר התפלגות זו אינה ההתפלגות הנורמלית — היא בכל אופן מתכנסת להתפלגות הנורמלית, כפי שקובע משפט הגבול המרכזי. לפלס לא סיפק ניסוח מלא והוכחה של משפט הגבול המרכזי, אך הוא הציג גרסה ראשונה שלו עבור התפלגות בינומית, כפי שכבר חזה דה-מואבר, ובשנים 1810–1811 הוא פיתח את התורה של פונקציות אופייניות שסיפקה הוכחה לגרסה זו. בכך תרם לפלס לביסוס חשיבותה התאורטית העליונה של ההתפלגות הנורמלית.
בשנת 1814 לפלס אף ניסה לתאר באופן אקסיומטי את תורת ההסתברות, כפי שיפורט בפרק על הנושא, אולם היה זה ניסיון בוסרי שלא היה פורמלי דיו במונחים מודרניים.
הערכות מוקדמות העניקו ללפלס מקום של כבוד, וכך במאה ה-19 כתב ההיסטוריון של המתמטיקה אייזיק טודהאנטר כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס". הסטטיסטיקאי הנודע רונלד פישר טען כי השקפותיו של לפלס על הסתברות היו ברובן "שטויות חסרות בסיס", מתוך עמדה המתנגדת לסטטיסטיקה בייסיאנית. אולם מנגד — ואולי אף מבלי לסתור זאת — חוקרים חשובים אחרים תיארו את עבודותיו המוקדמות של לפלס כחשובות כל-כך, עד כי הסטטיסטיקה המודרנית היא "סדרת הערות שוליים ללפלס".

צ'בישב

בחלקה השני של המאה ה-19 חלה התפתחות עצומה בחקר תורת ההסתברות, בעיקר ברוסיה. התפתחות זו תרמה לגיבושו הפורמלי של חוק המספרים הגדולים על שלל גרסאותיו, ועד לגולת הכותרת של תורת ההסתברות אז — הוכחת משפט הגבול המרכזי. התפתחות זו השפיעה רבות על המחקר בתורת ההסתברות במאה ה-20.
בשנת 1863 ניסח המתמטיקאי הצרפתי אירנה-ז'ול ביינאמה (בְּיָאנְאֶמֶה) (Irénée-Jules Bienaymé) לראשונה את מה שמכונה היום אי-שוויון צ'בישב, לפיו עבור משתנה מקרי  בעל שונות  ובעל תוחלת סופית, לכל  מתקיים כי ההסתברות למאורע  חסומה מלעיל על ידי . תוצאה זו מהווה תוצאה בעל חשיבות יסודית, והיא נקראת לעיתים גם על שמו של ביינאמה.
בשנת 1867 סיפק המתמטיקאי הרוסי פפנוטי צ'בישב הוכחה לאי-שוויון זה, ועל בסיסו הוא הצליח להוכיח את החוק החלש של המספרים הגדולים בגרסתו עבור סדרת משתנים מקריים בלתי-תלויים בעלי שונות סופית, החסומה במידה שווה.
עשרים שנה לאחר מכן, פרסם צ'בישב מאמר בשם "על אודות שני משפטים בנוגע להסתברות", שהיווה צעד ראשון בדרך להוכחת משפט הגבול המרכזי. לצ'בישב היו תוצאות חשובות נוספות בתורת ההסתברות, כדוגמת חקירתה של פונקציית בטא החשובה להתפלגות בטא, ולעבודתו הפורמלית נודעה חשיבות בפיתוחה של תורת ההסתברות. כך למשל כתב אודותיו אנדריי קולמוגורוב, כי "העיקרון המרכזי בעבודתו של צ'בישב התמקד בכך שהוא ניסה להעריך במדויק את תקפותם של אי-שוויונים תחת בדיקות רבות על מנת לאמוד את השגיאה מהחסם. יתרה מזאת, צ'בישב היה הראשון שהגדיר במדויק והשתמש ברעיונות יסוד כמו "אי-שוויון מקרי" וה"תוחלת" שלו."

ליאפונוב

בשנת 1901 סיפק המתמטיקאי הרוסי אלכסנדר ליאפונוב, תלמידו של צ'בישב ועמיתו של מרקוב, נוסח כללי של משפט הגבול המרכזי, והוכיח אותו באמצעות פונקציות אופייניות. אמנם גרסה ראשונית של משפט הגבול המרכזי עבור ההתפלגות הבינומית כבר ניסח דה-מואבר, ולפלס הוכיח אותה באמצעות פונקציות אופייניות, אך עם זאת תוצאה זו נשכחה וחשיבותה לא הובנה עד לעבודתו של ליאפונוב, שסיפק נוסח כללי למשפט יסודי זה. הנוסח של ליאפונוב עסק בסדרה  של משתנים מקריים בלתי-תלויים, שלמשתנה המקרי  תוחלת סופית  ושונות , והם מקיימים את מה שמכונה תנאי ליאפונוב: כלומר, נסמן , וקיים איזשהו  שעבורו קיים הגבול הבא:
בתנאי זה, קובע משפט הגבול המרכזי בגרסת ליאפונוב, מתקיימת ההתכנסות בהתפלגות הבאה:
למרות חשיבותו העליונה של משפט הגבול המרכזי, שאר עבודתו המתמטית של ליאפונוב התמקדה בפיזיקה מתמטית ופחות בתורת ההסתברות. גרסאות נוספות של משפט הגבול המרכזי סיפקו בהמשך המתמטיקאי הפיני יַארְל וַלְדֵמַר לִינְדֵבֶּרְג  והמתמטיקאי הצרפתי פול לוי. כמו כן הושגה גם הכללה של המשפט למשתנים מקריים רב-ממדיים, שם ההתכנסות היא להתפלגות רב-נורמלית.

מרקוב

פיתוחה של תורת ההסתברות במהלך המאה ה-20 התרחש בעקבות דחיפה עצומה שחלה במחקר בחלקה השני של המאה ה-19. כך בשנת 1907 הצליח המתמטיקאי הרוסי אנדריי מרקוב להכליל את התוצאה של צ'בישב מ-1867, ולקבוע כי חוק המספרים הגדולים תקף גם במקרה בו השונות אינה סופית, תחת תנאי חלש יותר לפיו  לאיזה  עבור קבוע . הוא עשה זאת באמצעות פיתוח התורה של שרשראות מרקוב, ועבודתו הכללית על הוכחת חוק המספרים הגדולים היא אבן יסוד בתורה של תהליכים מקריים, שתרמה רבות גם לתורה הארגודית. בשנת 1929 הכליל המתמטיקאי הרוסי אלכסנדר חינצ'ין את התוצאה של צ'בישב בכיוון אחר, והראה כי חוק המספרים הגדולים בגרסתו החלשה תקף בכל מקרה בו התוחלת סופית, בתנאי שהמשתנים המקריים הם גם שווי-התפלגות.

קולמוגורוב ועמיתיו

המתמטיקאי הרוסי אנדריי קולמוגורוב תרם רבות לכלים היסודיים ביותר בחקר תורת ההסתברות. תרומתו הבסיסית ביותר היא ביסוס המערכת האקסיומטית של תורת ההסתברות (ראו להלן), אך גם משפטים יסודיים ביותר המשמשים בתורה זו הם פרי עבודתו, כדוגמת אי-שוויון קולמוגורוב, חוק האפס-אחד של קולמוגורוב, משפט שני הטורים ומשפט שלושת הטורים. עוד היו לו תרומות כלליות אותן ניתן להחשיבן כחלק מתורת המידה, כדוגמת משפט האן-קולמוגורוב. לקולמוגורוב תרומה גם לתורה של תהליכים סטוכסטיים, כדוגמת משפט ההרחבה ומשפט הרציפות, שני משפטים שיחדיו מספקים את אחת הדרכים לבנות תנועה בראונית.
בסוף שנות ה-30 הקימו מספר מתמטיקאים חשובים מאוניברסיטת מוסקבה, בהם ישראל גלפנד, אלכסנדר חינצ'ין ופאבל אלכסנדרוב, קבוצת מחקר להסתברות ולסטטיסטיקה במכון סטקלוב למתמטיקה של האקדמיה הרוסית למדעים. בראש קבוצת מחקר זו הועמד קולמוגורוב. במסגרת זו נחקרו תופעות פיזיקליות כדוגמת תנועתם של כוכבי לכת וזרימה טורבולנטית של אוויר ממנוע סילון, ובשנת 1941 פורסמו שני מאמרים יסודיים בנושאים אלה, המטפלים בהם מנקודת מבט הסתברותית של מערכות דינמיות. מחקר זה יצר השפעה עמוקה של תורת ההסתברות על תחום הפיזיקה.
השפעה זו המשיכה בשנות ה-50, אז פורסמו עבודות של קולמוגורוב המטפלות גם במכניקה המילטוניאנית מנקודת מבט של מערכות דינמיות, שבהמשך התפתחו לכדי תורת "KAM" הקרויה על שם קולמוגורוב-ארנולד-מוזר.

ניסיונות מוקדמים

הצורך בגיבוש בסיס אקסיומטי מוצק לתורת ההסתברות גבר בסוף המאה ה-19. כך בשנת 1889 פרסם המתמטיקאי הצרפתי ז'וזף ברטראן, בספרו "חשבון ההסתברות", את הפרדוקס שמאוחר יותר קיבל את שמו "הפרדוקס של ברטראן". הפרדוקס עסק בשאלה הבאה: "בהינתן מעגל במישור ומשולש שווה-צלעות החסום בו, מהי ההסתברות שמיתר אקראי יהיה ארוך יותר מצלעו של המשולש?" ברטרנד תיאר כמה צורות שונות לחשב הסתברות זאת, והגיע לתוצאות שונות. הפתרון לפרדוקס נבע מכך שמרחב ההסתברות בפרדוקס אינו מוגדר היטב, היות שלא ברור האם מה ש"אקראי" הוא נקודות הקצה של המיתר, נקודת האמצע שלו או הרדיוס. כוונתו של ברטאן הייתה לערער על האפשרות להעמיד את תורת ההסתברות על יסודות אקסיומטיים, מתוך תפיסה שרכיב האקראיות סותר את העקרונות המדעיים המקובלים, וכך הוא כתב בספרו זה: "כיצד נעז לדבר על אודות חוקי ההסתברות? האם "הסתברות" אינה האנטיתזה לכל חוק?!" למרות כוונתו של ברטראן, הפרדוקס שהציג השפיע על הבנת הצורך בהגדרה מדויקת של ההתפלגות האחידה, וממנה על הבנת החשיבות של בניית מערכת אקסיומות עקבית לתורת ההסתברות.
ניסיון לטפל בצורה אקסיומטית בתורת ההסתברות בוצע בעשור השני של המאה ה-20 על ידי המתמטיקאי האיטלקי פרנצ'סקו פאולו קנטלי. קנטלי יצר מסגרת אקסיומטית כדי לטפל בחוקי גבול, אך המסגרת שהציע הייתה חלקית בלבד ולא טיפלה במושגים יסודיים כמו משתנה מקרי. עם זאת היא הייתה טובה דיה כדי להוכיח תוצאות עקרוניות, וכך למשל אחת התוצאות היסודיות בתורה של חוקי גבול העוסקת בהתכנסות בהסתברות היא הלמה של בורל-קנטלי.
ניסיון נוסף לתאר אקסיומטית את תורת ההסתברות נעשה על ידי ריכרד פון מיזס בשנת 1919. ניסיון זה לא צלח, אך קולמוגורוב העיד כי הוא שאב מניסיון זה השראה. באותה השנה, המתמטיקאי הצרפתי פול לוי מסר שלוש הרצאות מפורסמות באקול פוליטקניק על אודות המושגים היסודיים של תורת ההסתברות, וכן על התפלגות השגיאות לפי עבודתו של גאוס. לעבודתו של לוי הייתה תרומה גדולה לגיבוש תורת ההסתברות לכדי תורה מתמטית, בפרט בספרו "תורת החשבון של הסתברות", שפורסם בשנת 1925.

השפעת תורת המידה

בסוף המאה ה-19 התפתחה תורת המידה — תורה מתמטית שנועדה לטפל במושגים כמו אורך, שטח ונפח, מנקודת מבט גאומטרית. אחד ממניחי היסודות של תורה זו, המתמטיקאי הצרפתי אמיל בורל, הציע עוד בסוף המאה ה-19 לבחון את תורת ההסתברות מנקודת מבט זו של תורת המידה, אם כי הוא לא טיפל במקרה הכללי של מרחב הסתברות אלא במרחב הסתברות של קטע ממשי. הסתכלות זאת התבררה כמוצלחת במיוחד, ובהמשך הפכה לגישה השלטת בתורת ההסתברות. בראשית שנות ה-20 של המאה ה-20, הרחיב המתמטיקאי האמריקאי נורברט וינר גישה זו, והגדיר מידה על מרחב המסילות הרציפות על-מנת לתאר את תנועתם של חלקיקים הצפים בנוזל, מה שמכונה כיום תנועה בראונית. גישה זו סיפקה פרספקטיבה חדשה לחלוטין הן על תורת המידה הן על תורת ההסתברות; מעתה תורת המידה הכללית לא טיפלה רק בגודל של קבוצות במובן הגאומטרי, אלא אפשרה מדידה של קבוצות במגוון הקשרים — כדוגמת הסתברות של מאורע. לפי גישה זו, מאורע הוא תת-קבוצה של מרחב המדגם, והסתברותו של המאורע היא מידת הגודל היחסי של תת-קבוצה זו. פרספקטיבה זו הפכה למסגרת האקסיומטית המקובלת עד ימינו, כפי שהתגבשה על ידי קולמוגורוב.
עוד קודם לקולמוגורוב, בשנת 1923, סיפק המתמטיקאי הפולני הוגו שטיינהאוס לראשונה תיאור פורמלי של מרחב ההסתברות של הטלות מטבע, שהושפע מתיאורו המוקדם של בורל. בנוסף, שטיינהאוס גם היה הראשון שסיפק תיאור פורמלי של ההתפלגות האחידה הרציפה, וכן למושג התלות בין שני משתנים מקריים.

השפעות על התפתחות ענפי מדע אחרים

להתפתחותה של תורת ההסתברות נודעה חשיבות רבה בתחומי מדע רבים; הן באופן ישיר הן באמצעות השפעתה על התפתחותה של הסטטיסטיקה. באופן כללי, תורת ההסתברות אפשרה לבצע פעולה יסודית ביותר בכל תחומי המדע: כימות של גדלים לא ידועים. לפעולה זו שימוש בכל תחומי המדע כולם ולכל סוגי הגדלים: הן גדלים נצפים, הן גדלים חישוביים והן גדלים תאורטיים.

אלגוריתמיקה ומדעי המחשב

במהלך המאה ה-20, במקביל להתפתחותם של מדעי המחשב, הוכנסו לשימוש אלגוריתמים אקראיים וכן ניתוח הסתברותי של אלגוריתמים . במהלך מלחמת העולם השנייה הזמין המתמטיקאי האמריקאי ג'ון פון נוימן את חברו המתמטיקאי הפולני סטניסלב אולם להשתתף בפרויקט סודי בניו מקסיקו. אולם הצטרף לתוכנית מנהטן במעבדה הלאומית לוס אלמוס, ובמסגרת עבודתו הציע להשתמש בשיטת מונטה קרלו להערכה של אינטגרלים סבוכים המופיעים בתורה של תגובות שרשרת גרעיניות. הצעתו זו הביאה לפיתוח שיטתי יותר של שיטת מונטה קרלו על ידי פון נוימן, ניקולס מטרופוליס ואחרים. שיטת מונטה קרלו הייתה מרכיב חשוב בסימולציות שנערכו במסגרת תוכנית הגרעין. עוד קודם לכן, באופן בלתי-תלוי, הפיזיקאי האיטלקי אנריקו פרמי עשה שימוש בשיטות אקראיות לביצוע חישובים. כך בשנת 1930 השתמש פרמי בשיטה כזו לחישוב תכונותיו של הנייטרון, שהתגלה באותה עת. עם זאת, המצאת המחשב, שאיפשרה ביצוע סימולציות בקלות רבה, נתנה דחיפה עיקרית לחקירתן של שיטות אלה ולהתפתחותן.
במהלך שנות ה-70 של המאה ה-20 פותחו אלגוריתמים אקראיים כדי לפתור ביעילות רבה בעיות שימושיות. ב-1976 הציג המתמטיקאי הישראלי מיכאל רבין אלגוריתם אקראי לפתרון בעיה מתחום הגאומטריה החישובית, בעיית זוג הנקודות הקרובות ביותר . אחת הבעיות הראשונות שבהן הודגמו חוזקם של אלגוריתמים הסתברותיים והייתה זרז לפיתוח האלגוריתמים האקראיים הייתה בעיית בדיקת ראשוניות. באותה עת לא הייתה ידועה דרך יעילה לבדוק האם מספר הוא ראשוני בזמן ריצה פולינומי (כיום ידוע בשם מבחן AKS לראשוניות). אלגוריתם הסתברותי יעיל לפתרון בעיה זו הוצג ב-1977 על ידי המתמטיקאי האמריקאי רוברט סולוביי והמתמטיקאי הגרמני פולקר שטרסן, ושנודע בעקבות ממציאיו בשם מבחן סולוביי-שטרסן. ב-1980 פורסם על ידי מיכאל רבין אלגוריתם חזק יותר לבדיקת ראשוניות, אלגוריתם מילר-רבין . לאלגוריתמים אלו לבדיקת ראשוניות הייתה חשיבות רבה במדעי המחשב, שכן הם היוו את הבסיס לפיתוחן של שיטות הצפנה נפוצות כדוגמת RSA.
ב-1977 פרסם המתמטיקאי האמריקאי ג'ון גיל את מודל מכונת טיורינג הסתברותית, ובכך הניח את היסודות לניתוח אלגוריתמים הסתברותיים במסגרת תורת הסיבוכיות.