הצורך בגיבוש בסיס אקסיומטי מוצק לתורת ההסתברות גבר בסוף המאה ה-19. כך בשנת 1889 פרסם המתמטיקאי הצרפתי ז'וזף ברטראן, בספרו "חשבון ההסתברות", את הפרדוקס שמאוחר יותר קיבל את שמו "הפרדוקס של ברטראן". הפרדוקס עסק בשאלה הבאה: ברטרנד תיאר כמה צורות שונות לחשב הסתברות זאת, והגיע לתוצאות שונות. הפתרון לפרדוקס נבע מכך שמרחב ההסתברות בפרדוקס אינו מוגדר היטב, היות שלא ברור האם מה ש"אקראי" הוא נקודות הקצה של המיתר, נקודת האמצע שלו או הרדיוס. כוונתו של ברטאן הייתה לערער על האפשרות להעמיד את תורת ההסתברות על יסודות אקסיומטיים, מתוך תפיסה שרכיב האקראיות סותר את העקרונות המדעיים המקובלים, וכך הוא כתב בספרו זה: למרות כוונתו של ברטראן, הפרדוקס שהציג השפיע על הבנת הצורך בהגדרה מדויקת של ההתפלגות האחידה, וממנה על הבנת החשיבות של בניית מערכת אקסיומות עקבית לתורת ההסתברות.
ניסיון לטפל בצורה אקסיומטית בתורת ההסתברות בוצע בעשור השני של המאה ה-20 על ידי המתמטיקאי האיטלקי פרנצ'סקו פאולו קנטלי. קנטלי יצר מסגרת אקסיומטית כדי לטפל בחוקי גבול, אך המסגרת שהציע הייתה חלקית בלבד ולא טיפלה במושגים יסודיים כמו משתנה מקרי. עם זאת היא הייתה טובה דיה כדי להוכיח תוצאות עקרוניות, וכך למשל אחת התוצאות היסודיות בתורה של חוקי גבול העוסקת בהתכנסות בהסתברות היא הלמה של בורל-קנטלי.
ניסיון נוסף לתאר אקסיומטית את תורת ההסתברות נעשה על ידי ריכרד פון מיזס בשנת 1919. ניסיון זה לא צלח, אך קולמוגורוב העיד כי הוא שאב מניסיון זה השראה. באותה השנה, המתמטיקאי הצרפתי פול לוי מסר שלוש הרצאות מפורסמות באקול פוליטקניק על אודות המושגים היסודיים של תורת ההסתברות, וכן על התפלגות השגיאות לפי עבודתו של גאוס. לעבודתו של לוי הייתה תרומה גדולה לגיבוש תורת ההסתברות לכדי תורה מתמטית, בפרט בספרו "תורת החשבון של הסתברות", שפורסם בשנת 1925.
השפעת תורת המידה.
בסוף המאה ה-19 התפתחה תורת המידה — תורה מתמטית שנועדה לטפל במושגים כמו אורך, שטח ונפח, מנקודת מבט גאומטרית. אחד ממניחי היסודות של תורה זו, המתמטיקאי הצרפתי אמיל בורל, הציע עוד בסוף המאה ה-19 לבחון את תורת ההסתברות מנקודת מבט זו של תורת המידה, אם כי הוא לא טיפל במקרה הכללי של מרחב הסתברות אלא במרחב הסתברות של קטע ממשי. הסתכלות זאת התבררה כמוצלחת במיוחד, ובהמשך הפכה לגישה השלטת בתורת ההסתברות. בראשית שנות ה-20 של המאה ה-20, הרחיב המתמטיקאי האמריקאי נורברט וינר גישה זו, והגדיר מידה על מרחב המסילות הרציפות על-מנת לתאר את תנועתם של חלקיקים הצפים בנוזל, מה שמכונה כיום תנועה בראונית. גישה זו סיפקה פרספקטיבה חדשה לחלוטין הן על תורת המידה הן על תורת ההסתברות; מעתה תורת המידה הכללית לא טיפלה רק בגודל של קבוצות במובן הגאומטרי, אלא אפשרה מדידה של קבוצות במגוון הקשרים — כדוגמת הסתברות של מאורע. לפי גישה זו, מאורע הוא תת-קבוצה של מרחב המדגם, והסתברותו של המאורע היא מידת הגודל היחסי של תת-קבוצה זו. פרספקטיבה זו הפכה למסגרת האקסיומטית המקובלת עד ימינו, כפי שהתגבשה על ידי קולמוגורוב.
עוד קודם לקולמוגורוב, בשנת 1923, סיפק המתמטיקאי הפולני הוגו שטיינהאוס לראשונה תיאור פורמלי של מרחב ההסתברות של הטלות מטבע, שהושפע מתיאורו המוקדם של בורל. בנוסף, שטיינהאוס גם היה הראשון שסיפק תיאור פורמלי של ההתפלגות האחידה הרציפה, וכן למושג התלות בין שני משתנים מקריים.
אקסיומות קולמוגורוב.
ביסוס אקסיומטי סופי לתורת ההסתברות ניתן בשנת 1933 על ידי המתמטיקאי הרוסי אנדריי קולמוגורוב, בספרו "יסודות תורת ההסתברות". ספר זה מהווה ציון דרך בתולדות תורת ההסתברות, והוא נחשב לספר החשוב ביותר בהתפתחותה. האקסיומות שהציג קולמוגורוב מכונות "אקסיומות קולמוגורוב" או "אקסיומות ההסתברות", והן מהוות תיאור כללי למרחב הסתברות עד ימינו — תיאור המעמיד את תורת ההסתברות בהקשר של תורת המידה, בהמשך לעבודתו פורצת הדרך של בורל. המתמטיקאי הצרפתי מוריס פרוכטה, בנאומו בסמינר הבינלאומי של אוניברסיטת ז'נבה בשנת 1937, תיאר את עבודתם של בורל וקולמוגורוב לגיבוש אקסיומות תורת ההסתברות:
בנוסף לאקסיומות, קולמוגורוב סיפק בספרו הגדרות פורמליות למונחים החשובים והיסודיים ביותר של תורת ההסתברות: סיגמא-אלגברת בורל, תלות והסתברות מותנית, משתנה מקרי, תוחלת ותוחלת מותנית.
קולמוגורוב מציג תחילה תיאור כללי של אקסיומות מרחב הסתברות בעל אוסף מאורעות סופי, באופן הבא:
בהמשך ספרו קולמוגורוב מציג מערכת אקסיומות מוכללת עבור מרחב הסתברות בעל מספר מאורעות אינסופי, שהיא הבסיס של ראיית תורת ההסתברות בתוך ההקשר הרחב יותר של תורת המידה. במערכת זו, formula_257 היא סיגמא-אלגברה, כלומר סגורה גם לאיחוד בן-מניה, וכן אקסיומה 5 מוחלפת באקסיומה המתאימה עבור איחוד בן-מניה. כלומר, מתקיים עבור מאורעות formula_258 זרים בזוגות, כי:
formula_259
אקסיומות קוקס.
תיאור פורמלי אחר לתורת ההסתברות ניתן בשנת 1946 על ידי הפיזיקאי האמריקאי ריצ'רד קוקס. המשפט של קוקס קבע כי ניתן לקבל מרחב הסתברות במובן של אקסיומות קולמוגורוב, מתוך כל מערכת המקיימת את שלוש הדרישות הבאות:
כפי שניכר מתיאור זה, הדרישות שתיאר קוקס לא היו פורמליות דיין מבחינה מתמטית, אולם בהמשך נעשו עבודות שאפשרו להפוך אותן לפורמליות.
תיאור זה זניח יותר ומשמש פחות במחקר, אך עם זאת משפט קוקס נתפס כאחד הצידוקים הפורמליים לשימוש בהסתברות בייסיאנית, לפיו מרחב הסתברות מתפרש כתורה לוגית. ישנם דיונים שונים בנוגע למשמעות הפילוסופית של גישה אקסיומטית שונה זו.
השפעות על התפתחות ענפי מדע אחרים.
להתפתחותה של תורת ההסתברות נודעה חשיבות רבה בתחומי מדע רבים; הן באופן ישיר הן באמצעות השפעתה על התפתחותה של הסטטיסטיקה. באופן כללי, תורת ההסתברות אפשרה לבצע פעולה יסודית ביותר בכל תחומי המדע: כימות של גדלים לא ידועים. לפעולה זו שימוש בכל תחומי המדע כולם ולכל סוגי הגדלים: הן גדלים נצפים, הן גדלים חישוביים והן גדלים תאורטיים.
סטטיסטיקה ומתמטיקה סטטיסטית.
שימוש נאיבי בסטטיסטיקה ידוע עוד אפילו מהמאה ה-9, אולם הסטטיסטיקה החלה את התפתחותה הפורמלית במהלך המאה ה-18, והשתכללה לכדי תורה פורמלית ומבוססת מבחינה מתמטית רק על בסיסה של תורת ההסתברות, כפי שתיאר המתמטיקאי הצרפתי אמיל בורל:
בראשית המאה ה-18, אברהם דה-מואבר פרסם ספר בשם "קצבאות לנפשות", ובו ניתוח של טבלאות תמותה וחישובים כיצד לחלק קצבאות מחיה, ענף של הסטטיסטיקה המכונה כיום אקטואריה. בהמשך אותה מאה, לפלס היה הראשון שביצע קישור ישיר בין מתודולוגיה מתורת ההסתברות לבין סטטיסטיקה, ועבודותיו של לפלס, יחד עם עבודותיו של גאוס, הביאו לקשר ראשוני ויסודי בין תורת ההסתברות לסטטיסטיקה על ידי ניתוח הנתונים שהגיעו מאסטרונומיה, לשם כך הם פיתחו את שיטת הריבועים הפחותים ואמידת נראות מרבית, והשתמשו בהתפלגות הנורמלית כדי לאמוד את השגיאות של המדידות. לפלס פרסם עוד עבודות סטטיסטיות רבות שעשו שימוש בתורת ההסתברות, כדוגמת אמידת גודלה של אוכלוסיית צרפת על בסיס טבלאות לידה ומידע דמוגרפי מוקדם.
עבודות רבות בסטטיסטיקה נעשו על בסיס תורת ההסתברות הנאיבית בחלקה הראשון של המאה ה-19, כדוגמת עבודותיה של פלורנס נייטינגייל באפידמיולוגיה. בתקופה זו גם הוקם הגוף הראשון העוסק במחקר סטטיסטי, האגודה הסטטיסטית המלכותית. אולם רק בחציה השני של המאה ה-19, פרנסיס גלטון וממשיכו קרל פירסון הפכו את הסטטיסטיקה לתורה העושה שימוש בכלים מתמטיים, ופיתחו את התאוריה הסטטיסטית המבוססת על תורת ההסתברות. גלטון התעניין בניתוח נתונים גנטיים, ובמסגרת זאת הוא פיתח מושגים סטטיסטיים יסודיים כמו מתאם ורגרסיה ליניארית, ובאמצעותם ביצע הסקה סטטיסטית פורמלית. גלטון הקים קתדרה בקולג' האוניברסיטאי של לונדון שם מונה קרל פירסון שהמשיך את מחקריו, והעמיד את הסטטיסטיקה על יסודות המתמטיקה הסטטיסטית. גלטון ופירסון, יחד עם רפאל וולדון, ייסדו את כתב העת "Biometrika" (ביומטריקה (כתב עת)), שהיה כתב העת המדעי הראשון שעסק במתמטיקה סטטיסטית. פירסון גם הוא פיתח מושגים חשובים כדוגמת סטיית תקן, מקדם המתאם וערך-p, כמו גם מתודולוגיות סטטיסטיות חשובות כדוגמת שיטת המומנטים ובדיקת השערות. בשנת 1911 הוא הקים את המחלקה לסטטיסטיקה הראשונה בעולם, בקולג' האוניברסיטאי של לונדון.
ממשיכו הבולט של פירסון היה רונלד פישר שפעל בשנות ה-20 וה-30, ונחשב למייסד הסטטיסטיקה המודרנית וזה שהפך אותה לכלי שימושי בכל תחומי המדע כולם, בכך שפיתח את הענף של תכנון ניסויים. הוא פיתח מתודולוגיות כמו שיטת נראות מרבית, והיה אחראי לגילוי של התפלגויות סטטיסטיות חשובות כמו התפלגות F והתפלגות t, בהן נעשה שימוש יסודי בבדיקת השערות. מתקופתו של פישר והלאה הסטטיסטיקה הפכה לענף מדעי עצמאי. מאז, בנוסף למחלקה לסטטיסטיקה של הקולג' האוניברסיטאי של לונדון, באוניברסיטאות רבות בעולם המחלקות לסטטיסטיקה ולמתמטיקה הן נפרדות.
מתמטיקה טהורה.