בחלקה השני של המאה ה-19 חלה התפתחות עצומה בחקר תורת ההסתברות, בעיקר ברוסיה. התפתחות זו תרמה לגיבושו הפורמלי של חוק המספרים הגדולים על שלל גרסאותיו, ועד לגולת הכותרת של תורת ההסתברות אז — הוכחת משפט הגבול המרכזי. התפתחות זו השפיעה רבות על המחקר בתורת ההסתברות במאה ה-20.
בשנת 1863 ניסח המתמטיקאי הצרפתי אירנה-ז'ול ביינאמה (בְּיָאנְאֶמֶה) (Irénée-Jules Bienaymé) לראשונה את מה שמכונה היום אי-שוויון צ'בישב, לפיו עבור משתנה מקרי formula_198 בעל שונות formula_199 ובעל תוחלת סופית, לכל formula_200 מתקיים כי ההסתברות למאורע formula_201 חסומה מלעיל על ידי formula_202. תוצאה זו מהווה תוצאה בעל חשיבות יסודית, והיא נקראת לעיתים גם על שמו של ביינאמה.
בשנת 1867 סיפק המתמטיקאי הרוסי פפנוטי צ'בישב הוכחה לאי-שוויון זה, ועל בסיסו הוא הצליח להוכיח את החוק החלש של המספרים הגדולים בגרסתו עבור סדרת משתנים מקריים בלתי-תלויים בעלי שונות סופית, החסומה במידה שווה.
עשרים שנה לאחר מכן, פרסם צ'בישב מאמר בשם "על אודות שני משפטים בנוגע להסתברות", שהיווה צעד ראשון בדרך להוכחת משפט הגבול המרכזי. לצ'בישב היו תוצאות חשובות נוספות בתורת ההסתברות, כדוגמת חקירתה של פונקציית בטא החשובה להתפלגות בטא, ולעבודתו הפורמלית נודעה חשיבות בפיתוחה של תורת ההסתברות. כך למשל כתב אודותיו אנדריי קולמוגורוב, כי
ליאפונוב.
בשנת 1901 סיפק המתמטיקאי הרוסי אלכסנדר ליאפונוב, תלמידו של צ'בישב ועמיתו של מרקוב, נוסח כללי של משפט הגבול המרכזי, והוכיח אותו באמצעות פונקציות אופייניות. אמנם גרסה ראשונית של משפט הגבול המרכזי עבור ההתפלגות הבינומית כבר ניסח דה-מואבר, ולפלס הוכיח אותה באמצעות פונקציות אופייניות, אך עם זאת תוצאה זו נשכחה וחשיבותה לא הובנה עד לעבודתו של ליאפונוב, שסיפק נוסח כללי למשפט יסודי זה. הנוסח של ליאפונוב עסק בסדרה formula_203 של משתנים מקריים בלתי-תלויים, שלמשתנה המקרי formula_204 תוחלת סופית formula_205 ושונות formula_206, והם מקיימים את מה שמכונה "תנאי ליאפונוב": כלומר, נסמן formula_207, וקיים איזשהו formula_208 שעבורו קיים הגבול הבא:
formula_209
בתנאי זה, קובע משפט הגבול המרכזי בגרסת ליאפונוב, מתקיימת ההתכנסות בהתפלגות הבאה:
formula_210
למרות חשיבותו העליונה של משפט הגבול המרכזי, שאר עבודתו המתמטית של ליאפונוב התמקדה בפיזיקה מתמטית ופחות בתורת ההסתברות. גרסאות נוספות של משפט הגבול המרכזי סיפקו בהמשך המתמטיקאי הפיני יַארְל וַלְדֵמַר לִינְדֵבֶּרְג והמתמטיקאי הצרפתי פול לוי. כמו כן הושגה גם הכללה של המשפט למשתנים מקריים רב-ממדיים, שם ההתכנסות היא להתפלגות רב-נורמלית.
התפתחות במאה ה-20.
מרקוב.
פיתוחה של תורת ההסתברות במהלך המאה ה-20 התרחש בעקבות דחיפה עצומה שחלה במחקר בחלקה השני של המאה ה-19. כך בשנת 1907 הצליח המתמטיקאי הרוסי אנדריי מרקוב להכליל את התוצאה של צ'בישב מ-1867, ולקבוע כי חוק המספרים הגדולים תקף גם במקרה בו השונות אינה סופית, תחת תנאי חלש יותר לפיו formula_211 לאיזה formula_208 עבור קבוע formula_213. הוא עשה זאת באמצעות פיתוח התורה של שרשראות מרקוב, ועבודתו הכללית על הוכחת חוק המספרים הגדולים היא אבן יסוד בתורה של תהליכים מקריים, שתרמה רבות גם לתורה הארגודית. בשנת 1929 הכליל המתמטיקאי הרוסי אלכסנדר חינצ'ין את התוצאה של צ'בישב בכיוון אחר, והראה כי חוק המספרים הגדולים בגרסתו החלשה תקף בכל מקרה בו התוחלת סופית, בתנאי שהמשתנים המקריים הם גם שווי-התפלגות.
קולמוגורוב ועמיתיו.
המתמטיקאי הרוסי אנדריי קולמוגורוב תרם רבות לכלים היסודיים ביותר בחקר תורת ההסתברות. תרומתו הבסיסית ביותר היא ביסוס המערכת האקסיומטית של תורת ההסתברות (ראו להלן), אך גם משפטים יסודיים ביותר המשמשים בתורה זו הם פרי עבודתו, כדוגמת אי-שוויון קולמוגורוב, חוק האפס-אחד של קולמוגורוב, משפט שני הטורים ומשפט שלושת הטורים. עוד היו לו תרומות כלליות אותן ניתן להחשיבן כחלק מתורת המידה, כדוגמת משפט האן-קולמוגורוב. לקולמוגורוב תרומה גם לתורה של תהליכים סטוכסטיים, כדוגמת משפט ההרחבה ומשפט הרציפות, שני משפטים שיחדיו מספקים את אחת הדרכים לבנות תנועה בראונית.
בסוף שנות ה-30 הקימו מספר מתמטיקאים חשובים מאוניברסיטת מוסקבה, בהם ישראל גלפנד, אלכסנדר חינצ'ין ופאבל אלכסנדרוב, קבוצת מחקר להסתברות ולסטטיסטיקה במכון סטקלוב למתמטיקה של האקדמיה הרוסית למדעים. בראש קבוצת מחקר זו הועמד קולמוגורוב. במסגרת זו נחקרו תופעות פיזיקליות כדוגמת תנועתם של כוכבי לכת וזרימה טורבולנטית של אוויר ממנוע סילון, ובשנת 1941 פורסמו שני מאמרים יסודיים בנושאים אלה, המטפלים בהם מנקודת מבט הסתברותית של מערכות דינמיות. מחקר זה יצר השפעה עמוקה של תורת ההסתברות על תחום הפיזיקה.
השפעה זו המשיכה בשנות ה-50, אז פורסמו עבודות של קולמוגורוב המטפלות גם במכניקה המילטוניאנית מנקודת מבט של מערכות דינמיות, שבהמשך התפתחו לכדי תורת "KAM" הקרויה על שם קולמוגורוב-ארנולד-מוזר.
תורת התהליכים המקריים.
עבודותיהם של מרקוב וקולמוגורוב על התורה של תהליכים מקריים פתחה ענף חדש בתורת ההסתברות. בהמשך לעבודות אלה, תרומה חשובה לתורת ההסתברות פורסמה על ידי המתמטיקאי ההונגרי ג'ורג' פוליה. פוליה הראה בשנת 1921 תוצאה מפתיעה לגבי הילוך מקרי פשוט על הסריג formula_214, לפיה ההילוך נשנה (היינו, יש הסתברות 1 לחזור לנקודת המקור) אם formula_215 או formula_216, וחולף (היינו, יש הסתברות שאינה 1 לחזור לנקודת המקור) עבור כל formula_217 שלם חיובי אחר. כלומר, אם מתחילים בנקודה אקראית על הסריג formula_214 ומבצעים בכל שלב צעד אחד בכיוון כלשהו בהתפלגות אחידה, אז בהסתברות formula_219 נחזור לנקודת ההתחלה אינסוף פעמים אם ורק אם formula_215 או formula_216. תרומה נוספת של פוליה הייתה בתחום של פונקציות אופייניות, שם הראה את הקשר לתורה של התמרת פורייה של מידות הסתברות.
התהליך המקרי הרציף המכונה תנועה בראונית היה מפורסם עוד מראשית המאה ה-19. ב"שנת הפלאות" של הפיזיקאי זוכה פרס נובל אלברט איינשטיין, באחד מארבעת מאמריו הנודעים עשה איינשטיין שימוש בתנועה בראונית במחקרו על מכניקה סטטיסטית, במקביל לעבודתו של הפיזיקאי הפולני . בהמשך לעבודות אלה, הפיזיקאי הצרפתי ז'אן-בטיסט פרן, גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את מספר אבוגדרו. השלכות אלה על תחום הפיזיקה חיזקו את העניין המתמטי בתנועה בראונית שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה, ובשנת 1923 סיפק המתמטיקאי האמריקאי נורברט וינר ביסוס מתמטי למושג מורכב זה, עד שבהקשר של תורת התהליכים המקריים תהליך זה מכונה "תהליך וינר". לפי תיאור זה, משפחה של משתנים מקריים formula_222 היא "תהליך וינר", אם היא מקיימת את כל התנאים הבאים:
ההוכחה שאכן קיימת סדרה משתנים מקריים שהיא תהליך וינר לא הייתה מובנת מאליה בזמנו.
בהמשך המאה ה-20 בלט המחקר בתורה של תהליכים מקריים. לפיתוח תחום זה תרם רבות המתמטיקאי הצרפתי פול לוי, בפרט לתורה של תהליכים אדיטיביים, והספר החשוב הראשון בתורה זו הוא ספרו משנת 1948, "תהליכים סטוכסטיים ותנועה בראונית". תורם מרכזי נוסף לתורה של תהליכים מקריים היה המתמטיקאי האמריקאי ג'וזף דוב, שפיתח בשנות ה-50 את יסודות התורה של מרטינגלים. תורה זו עסקה בהילוכים מקריים המתארים משחק הוגן, בהם התוחלת של הרווח בכל שלב נקבעת על ידי השלב הקודם. התפתחות מושג התנועה הבראונית קודם לכן הולידה גם את חקר המרטינגלים בזמן רציף, וכך למשל אחת מתרומותיו הבולטות של קודמו של דוב, לוי, היה מה שכונה "קריטריון לוי", לפיו משפחת משתנים מקריים formula_222 היא תהליך וינר אם ורק אם היא מרטינגל רציף כמעט תמיד עם התנאי formula_223, המקיים כי formula_235 גם הוא מרטינגל. עבודתו של לוי עסקה גם בתורה של חוקי גבול כלליים יותר, וכך למשל אחת הגרסאות הנודעות של משפט הגבול המרכזי פותחה על ידי לוי.
בשנות ה-50 פיתח המתמטיקאי היפני קיושי איטו את האנליזה הסטוכסטית, תוך שימוש בתנועה בראונית. תחום זה איפשר לבצע חשבון דיפרנציאלי ואינטגרלי עבור תהליכים מקריים, ולפיכך גם פתרון משוואות דיפרנציאליות סטוכסטיות. לתחום זה יישומים חשובים בעיקר במתמטיקה פיננסית, למשל במודל בלק-שולס.
הביסוס האקסיומטי והמושָׂגִי של תורת ההסתברות.
אקסיומות לפלס.
בשנת 1814 פרסם לפלס את חיבורו "מסה פילוסופית על ההסתברות", ובחיבור זה הציג לפלס לראשונה ניסיון להגדיר באופן מתמטי מהי הסתברות. עקרונות אלה של לפלס היו ניסיון ראשון לתאר את תורת ההסתברות בצורה אקסיומטית, אך הם לא היו מספיק חמורים במונחים מודרניים.
ספרו של לפלס נפתח בסדרת העקרונות הבאים:
formula_249
עקרון שביעי שמופיע בספרו של לפלס הוא "כלל העקיבה", הקובע כך: אם בניסוי כלשהו יש רק שתי תוצאות אפשריות המסומנות ב-formula_250 וב-formula_251, תחת ההנחה כי לא ידוע דבר אפריורי על ההסתברויות של תוצאות אלה, אז ההסתברות ל-formula_250 בצעד הבא (הצעד ה-n+1) היא formula_253, כאשר formula_254 היא מספר ה-formula_250-ים שהופיעו עד הצעד ה-formula_23.
ניסיונות מוקדמים.