tomron87/hebrew-wikipedia-sentences-corpus huggingface dataset:
הויגנס התייחס לטבלה כזאת כמין הגרלה בה כל משתתף (ילוד) מגריל כרטיס ובו מספר השנים שנועדו לו, ובכך הציג לראשונה את הקשר העמוק בין סטטיסטיקה לבין תורת ההסתברות.
כמו פרמה ופסקל, גם הויגנס נגע במושג התלות, אך לא הגדיר אותו באופן כללי ומדויק דיו.
בהמשך דן הויגנס בווריאציות שונות של בעיית הניקוד עם שניים או שלושה שחקנים, וכן בווריאציות שונות של אפשרויות במשחקי קובייה.
הכלל האחרון שהוצג בחיבורו, ייחודי בכך שמדובר במשחק בו אין מגבלה לאורכו, ובמסגרתו פיתח הויגנס שיטת אנליזה הקרויה על שמו: שחקן זוכה אם בהטלת שתי קוביות סכום התוצאות הוא , שחקן , שגם זורק ראשון, צריך להשיג בהטלה של שתי קוביות סכום תוצאות של .
הויגנס סימן את ההסתברות ש- יזכה על ידי , אם תורו של שחקן , והוא סימן אותה ב-, אם תורו של .
כעת הוא השתמש בבנייה הבאה כדי למצוא במפורש את .
תחילה יש לשים לב כי ההסתברות ל- בזריקה אחת של שתי קוביות היא , וההסתברות ל- בזריקה אחת של שתי קוביות היא .
כעת, בניתוח של תור בודד, נניח של שחקן , ההסתברות ששחקן זה יזכה היא , וההסתברות שלא יזכה היא , ואז ההסתברות לניצחון של היא .
אם כך, ההסתברות ש- יזכה אם כעת תורו של היא .
כעת נניח שתורו של לשחק.
ההסתברות שיזכה מיד היא וההסתברות שלא יזכה מיד היא .
ההסתברות ש- ינצח אם כעת תורו היא לפיכך .
התקבלו אם כך שתי משוואות בשני הנעלמים .
בעיה נוספת שהויגנס מציג דומה לבעיה הקודמת, אלא שבה זורק ראשון, זורק פעמיים, פעמיים וכן הלאה.
בעיה אחרת היא משחק בו שלושה שחקנים מוציאים ומחזירים מיד כדור מתוך כד בו יש ארבעה כדורים אדומים ועוד שמונה כדורים כחולים, והמנצח הוא מי שמוציא כדור אדום ראשון.
בעיה נוספת היא מצב בו יש 40 קלפים, 10 מכל סוג, וצריך להוציא ארבעה, כל אחד מסוג אחר וללא החזרה של הקלפים.
המתמטיקאי השווייצרי יאקוב ברנולי כתב ספר רב השפעה בשם "אמנות הניחוש", שפורסם רק ב-1713, כשמונה שנים לאחר מותו.
היה זה ספר היסוד המוקדם ביותר לתורת ההסתברות שהיה מוגדר ככזה, וכחיבור מחקרי מתמטי של ממש.
לספר היו ארבעה חלקים: הערות מקיפות על ספרו של הויגנס; טיפול יסודי בקומבינטוריקה ובתמורות; משחקי מזל מנקודת מבט מתמטית; ויישומים לכלכלה ולפוליטיקה.
חלקו האחרון כלל הוכחה של החוק החלש של המספרים הגדולים עבור משתני ברנולי, שניסח לראשונה באופן מתמטי את הקשר העמוק שבין מושג הממוצע לבין מושג התוחלת.
בחלקו הראשון של הספר סיכם ברנולי את עבודתו של הויגנס, והכליל אותה לכדי נוסחאות (הויגנס נתן פתרונות מספריים, כאמור), וכן סיכם את עבודתו של פסקל.
ברנולי הציג תאוריה שלמה של צירופים ותמורות.
כמו כן הוא ציין את כלל המכפלה להסתברות של קיום שניים או יותר מאורעות בלתי תלויים, בכמה וריאציות: אם ישנם מאורעות, ולכל מאורע הסתברות , ההסתברות שיתקיימו כולם היא .
במקרה זה ההסתברות לאי-קיום המאורע היא , ולכן עבור כל , ההסתברות למאורע בו מתקיימים בדיוק מאורעות ולא מתקיימים בדיוק מאורעות, היא: , אם נודעת חשיבות לסדר המאורעות.
אם אין חשיבות לסדר, יש להכפיל את התוצאה האמורה במספר האפשרויות ללקיחת איברים מתוך , כלומר ב-.
ברנולי עמד על ההבדל בין מאורעות זרים לבין מאורעות שאינם זרים.
מאורעות זרים הם למשל שתי התוצאות האפשריות בהטלת מטבע — עץ או פלי.
מאורעות שאינם זרים הם למשל שני נידונים למוות שמקבלים רשות לשחק משחק בו כל אחד מטיל שתי קוביות בתורו, ומי שסכום קוביותיו גבוה יותר ישוחרר, אך אם התוצאה זהה — ישוחררו שניהם.
כלומר המאורע שאסיר אחד ישוחרר והמאורע שהאסיר האחר ישוחרר אינם זרים, לכל נידון הסתברות גבוהה יותר מ-50% להשתחרר.
בחלקו השני של הספר הציג ברנולי לראשונה את הקומבינטוריקה בצורה שיטתית.
תחילה הוכיח ברנולי באינדוקציה שמספר התמורות של איברים הוא , ושמספר התמורות של איברים בהם יש איברים מסוג אחד, איברים מסוג שני, וכן הלאה, עד איברים מסוג , היא (נוסחת מרסן).
בהמשך הספר, קבע ברנולי את מספר האפשרויות לחלק n איברים לשתי קבוצות בגודל , כך שמאחת התת-קבוצות לוקחים איברים ומהשנייה לוקחים איברים, כמכפלה של מספר האפשרויות של תת-קבוצה אחת במספר האפשרויות של תת-הקבוצה האחרת.
ברנולי גם דן במאורעות של "הוצאה עם החזרה".
אם ישנם איברים בכד ומוציאים מתוכם, כאשר כל איבר יכול להילקח עם כפילויות (כלומר הצירוף של האיברים יכול לכלול את אותו איבר כמה פעמים.
למשל, כד מלא בכדורים בצבעים שונים.
כאשר כל כדור מוצא מן הכד, נספר, ומיד אחר מוחזר לכד), אז מספר הקומבינציות הוא , כיוון שכל אחד מ- האיברים נספר הן כאחד מ- המקוריים והן כאחד מ- האיברים שהוצאו.
לקיחת איברים מתוך , אם כן, שקולה להשמת מחיצות ב- מיקומים אפשריים, כאשר ישנן אפשרויות לסידורם.
כמו כן הראה ברנולי כי מספר הפרמוטציות האפשריות ללקיחת איברים מתוך כאשר מאפשרים כפילויות הוא , וזאת אם ישנה חשיבות לסדר (אחרת, אם אין חשיבות, יש לחלק את הביטוי במספר האפשרויות לסידורים השונים).
בהמשך הדגים ברנולי בעזרת טבלאות שיטה אלגוריתמית למציאת מספר הצירופים האפשריים לכל תוצאה במספר קוביות נתון.
כמו פסקל, גם ברנולי חקר את משולש פסקל, וחזר על הוכחות באופן דומה.
מחקריו במשולש פסקל הובילו אותו גם למספר תוצאות חשובות בחשבון דיפרנציאלי ואינטגרלי.
כן פיתח ברנולי פתרון לבעיית המשחק המופסק עבור משחקים התלויים במיומנות כמו טניס, כלומר בעיה בה ההסתברות לניצחון כל אחד מן הצדדים אינה .
פתרונו לבעיה זו היווה הכללה של נוסחת הרקורסיה של פסקל .
בהמשך מצא ברנולי נוסחאות לסכומים של פרמוטציות, קישר בין הנוסחאות בהסתברות לביטויים רב-איבריים ועוד.
בכך סיכם ברנולי את תורת ההסתברות הנאיבית, שעסקה במאורעות שווי-הסתברות בהם סכום ההסתברויות שווה ל-1, ושבכל שלב יש מספר סופי של אפשרויות בדידות.
כך סוכמה עבודתם של פסקל, פרמה והויגנס.
ברנולי מצא את הנוסחה לבעיית המשחק בעל אורך בלתי מוגבל שהציג הויגנס, ופתר מספר מקרים פרטיים שלה.
למשל, אם שני שחקנים משחקים משחק, בו המנצח צריך להשיג תוצאה של בקובייה בודדת.
הזריקות מתבצעות בסדר הבא: בשלב הראשון זורק פעם אחת ואחריו זורק פעם אחת, בשלב השני זורק פעמיים ואחריו זורק פעמיים, בשלב הבא הם זורקים שלוש פעמים בזה אחר זה, וכן הלאה עד אינסוף.
ההסתברות שהמשחק יסתיים בשלב הראשון היא ההסתברות ששחקן ינצח, , ועוד ההסתברות ששחקן ינצח, (שכן צריך ששחקן לא ינצח, וזה מתרחש בהסתברות ).
באופן דומה, ההסתברות שהמשחק יסתיים בשלב השני היא ההסתברות ששחקן ינצח בשלב השני, , ועוד ההסתברות ששחקן ינצח .
וכן הלאה, ההסתברות שהמשחק יסתיים בשלב ה- היא ההסתברות ששחקן ינצח, , ועוד ההסתברות ששחקן ינצח, .
בסך הכל נקבל כי ההסתברות למאורע שהמשחק יסתיים בשלב כלשהו, היא הטור האינסופי: .
אם נסמן בקיצור , נקבל כי ההסתברות שהמשחק יסתיים בשלב כלשהו היא , והיות ש- נובע כי טור זה אכן מתכנס, כפי שנוסח באופן פורמלי שנים רבות לאחר עבודתו של ברנולי.
הייתה זו הפעם הראשונה בה בעיה בהסתברות נפתרה באמצעות סכום אינסופי.
המשך התפתחותה של תורת ההסתברות
המתמטיקאי הצרפתי אברהם דה-מואבר הרחיב את עבודתם של הויגנס וברנולי, וספרו "תורת הסיכויים: מתודה לחישוב הסתברויות של מאורעות במשחק", הוא הספר השני המשמעותי אודות תורת ההסתברות לאחר ספרו של ברנולי.
ספר זה פורסם בארבע מהדורות; הראשונה בלטינית בשנת 1711, ושלוש מהדורות נוספות באנגלית בשנים 1718, 1738 ו-1756. תרומתו הכוללת של דה-מואבר לתורת ההסתברות הייתה כה חשובה, עד שבמאה ה-19 כתב עליו ההיסטוריון של המתמטיקה אייזיק טודהאנטר כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס".
אמירה זו כבר אינה תקפה באשר לתורת ההסתברות בימינו אנו, אך שיקפה את מצבה של תורת ההסתברות במאה ה-19.
במהדורה משנת 1738 הגדיר דה-מואבר את המושג היסודי של תלות בין מאורעות, וניסח במפורש את התובנה שההסתברות להתרחשות זוג מאורעות תלויים אינה מכפלת ההסתברויות להתרחשות כל אחד מהמאורעות.
עם זאת הוא לא כתב במפורש את הנוסחה הידועה .
במהדורות המאוחרות של ספרו כלל דה-מואבר תוצאה שגילה בשנת 1733, לפיה ההתנהגות האסימפטוטית של ההתפלגות הבינומית מקורבת על ידי מה שכונה מאוחר יותר התפלגות נורמלית או התפלגות גאוסיאנית, כלומר גרסה של משפט הגבול המרכזי עבור ההתפלגות הבינומית.
דה-מואבר גילה זאת על ידי כך שמצא כי אם מבצעים סדרות גדולות של הטלות מטבע פעמים רבות בזו אחר זו, מספר ה"עצים" שמתקבל על ידי סדרות ההטלות מתואר על ידי גרף הפעמון המפורסם של ההתפלגות הנורמלית.
הייתה זו הפעם הראשונה בה שגיאת קירוב תוארה במונחים של התפלגות, ונעשה ניתוח של השגיאה באמצעים הסתברותיים.
דה-מואבר עשה צעד נוסף לעבר גילוי ההתפלגות הנורמלית, בכך שפרסם ניתוח סטטיסטי של טבלאות של התפלגות התמותה של בני אדם לפי גיל, ששימשו ליישומים אקטואריים.
יש שייחסו לפיכך לדה-מואבר את גילוי ההתפלגות הנורמלית, אך עם זאת ברור כי דה-מואבר לא הבין את חשיבותה של ההתפלגות הנורמלית כשלעצמה וגם לא ידע כיצד לתאר אותה במונחים של פונקציית צפיפות, אלא ראה בה רק קירוב אסימפטוטי של ההתפלגות הבינומית.
דה-מואבר הכליל את נוסחת הבינום של אייזק ניוטון, והציג את נוסחת המולטינום.
כמו כן בשנת 1733 גילה דה-מואבר נוסחה לחישוב מקורב של פונקציית העצרת, דבר ששימש רבות בחישובים הסתברותיים.
הקירוב שהציג דה-מואבר היה כאשר היה קבוע שדה-מואבר ידע רק לקרב.
מאוחר יותר גילה ג'יימס סטרלינג כי , ומכאן השם "נוסחת סטרלינג".
הישג מוקדם נוסף של דה-מואבר היו כמה תוצאות אודות התפלגות פואסון, עד שהיו שטענו שההתפלגות צריכה לשאת את שמו של דה-מואבר.
עם זאת המתמטיקאי הצרפתי סימאון דני פואסון הוא זה שפרסם לראשונה תיאור מלא של ההתפלגות, בשנת 1837 בספרו "מחקר על תורת ההסתברות של פסקי-דין פליליים ואזרחיים".
בספרו זה תיאר פואסון באופן מלא את התפלגות פואסון, המתארת את ההסתברות למאורעות נדירים ובלתי-תלויים המתרחשים בממוצע בקצב קבוע.
פואסון השתמש בהתפלגות זו כדי לתאר את "תהליך פואסון", שהוא תהליך מקרי בו התפלגות מספר המאורעות בפרק זמן נתון היא התפלגות פואסון.
בנוסף, פואסון פרסם בספרו זה גרסה של החוק החלש של המספרים הגדולים.
בשנת 1807 פרסם המתמטיקאי הגרמני קרל פרידריך גאוס את ספרו "תאוריית התנועה של גופים שמימיים בחתכים חרוטיים סביב השמש", ובו תיאר לראשונה באופן מלא את ההתפלגות הנורמלית.
גאוס בספרו תיאר את שיטת הריבועים הפחותים ואת שיטת אמידת נראות מרבית, שתיהן שיטות יסודיות ביותר המשמשת רבות בסטטיסטיקה, ועשה בהן שימוש על מנת לנתח נתוני מדידות אסטרונומיות שלעיתים סתרו זו את זו.
כדי לאמוד את השגיאה של המדידות, גאוס בחר להניח כי הממוצע החשבוני הוא הערך שממזער את שגיאת המדידה.
כלומר, המדידה שמרחקה מן הממוצע החשבוני הוא המזערי, היא בהסתברות גבוהה הקרובה ביותר לערכים האמיתיים.
תחת הנחה זו הוא חישב ומצא כי ההתפלגות הנורמלית מתארת את שגיאת המדידה, וסיפק נוסחה של ההתפלגות הנורמלית הסטנדרטית.
בשנת 1812 פרסם המתמטיקאי הצרפתי פייר-סימון לפלס את ספרו "התאוריה האנליטית של ההסתברות", שנכתב בעיקר כדי לבסס את "תורת השגיאות" — התפלגות שגיאות המדידה אותה חקר גאוס.
אף על פי שגאוס תיאר לראשונה את התפלגות שגיאות המדידה כהתפלגות נורמלית, הוא לא סיפק תיאור מלא של התפלגות זו.
לפלס היה זה שחישב לראשונה את הנוסחה המלאה לפונקציית ההתפלגות המצטברת של ההתפלגות הנורמלית, על ידי חישוב האינטגרל שסיפק את הקבוע החשוב של ההתפלגות הנורמלית.
בבואו לחקור את התפלגות השגיאות, גישתו של לפלס הייתה הפוכה מזו של גאוס, בייסיאנית במהותה: לפלס בחר להניח כי לשגיאות המדידה ישנה התפלגות משותפת מסוימת, התפלגות אפריורית, וטען כי גם כאשר התפלגות זו אינה ההתפלגות הנורמלית — היא בכל אופן מתכנסת להתפלגות הנורמלית, כפי שקובע משפט הגבול המרכזי.
לפלס לא סיפק ניסוח מלא והוכחה של משפט הגבול המרכזי, אך הוא הציג גרסה ראשונה שלו עבור התפלגות בינומית, כפי שכבר חזה דה-מואבר, ובשנים 1810–1811 הוא פיתח את התורה של פונקציות אופייניות שסיפקה הוכחה לגרסה זו.
בכך תרם לפלס לביסוס חשיבותה התאורטית העליונה של ההתפלגות הנורמלית.
בשנת 1814 לפלס אף ניסה לתאר באופן אקסיומטי את תורת ההסתברות, כפי שיפורט בפרק על הנושא, אולם היה זה ניסיון בוסרי שלא היה פורמלי דיו במונחים מודרניים.
הערכות מוקדמות העניקו ללפלס מקום של כבוד, וכך במאה ה-19 כתב ההיסטוריון של המתמטיקה אייזיק טודהאנטר כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס".
הסטטיסטיקאי הנודע רונלד פישר טען כי השקפותיו של לפלס על הסתברות היו ברובן "שטויות חסרות בסיס", מתוך עמדה המתנגדת לסטטיסטיקה בייסיאנית.
אולם מנגד — ואולי אף מבלי לסתור זאת — חוקרים חשובים אחרים תיארו את עבודותיו המוקדמות של לפלס כחשובות כל-כך, עד כי הסטטיסטיקה המודרנית היא "סדרת הערות שוליים ללפלס".
בחלקה השני של המאה ה-19 חלה התפתחות עצומה בחקר תורת ההסתברות, בעיקר ברוסיה.
התפתחות זו תרמה לגיבושו הפורמלי של חוק המספרים הגדולים על שלל גרסאותיו, ועד לגולת הכותרת של תורת ההסתברות אז — הוכחת משפט הגבול המרכזי.
התפתחות זו השפיעה רבות על המחקר בתורת ההסתברות במאה ה-20.
בשנת 1863 ניסח המתמטיקאי הצרפתי אירנה-ז'ול ביינאמה (בְּיָאנְאֶמֶה) (Irénée-Jules Bienaymé) לראשונה את מה שמכונה היום אי-שוויון צ'בישב, לפיו עבור משתנה מקרי בעל שונות ובעל תוחלת סופית, לכל מתקיים כי ההסתברות למאורע חסומה מלעיל על ידי .
תוצאה זו מהווה תוצאה בעל חשיבות יסודית, והיא נקראת לעיתים גם על שמו של ביינאמה.
בשנת 1867 סיפק המתמטיקאי הרוסי פפנוטי צ'בישב הוכחה לאי-שוויון זה, ועל בסיסו הוא הצליח להוכיח את החוק החלש של המספרים הגדולים בגרסתו עבור סדרת משתנים מקריים בלתי-תלויים בעלי שונות סופית, החסומה במידה שווה.
עשרים שנה לאחר מכן, פרסם צ'בישב מאמר בשם "על אודות שני משפטים בנוגע להסתברות", שהיווה צעד ראשון בדרך להוכחת משפט הגבול המרכזי.
לצ'בישב היו תוצאות חשובות נוספות בתורת ההסתברות, כדוגמת חקירתה של פונקציית בטא החשובה להתפלגות בטא, ולעבודתו הפורמלית נודעה חשיבות בפיתוחה של תורת ההסתברות.
כך למשל כתב אודותיו אנדריי קולמוגורוב, כי
בשנת 1901 סיפק המתמטיקאי הרוסי אלכסנדר ליאפונוב, תלמידו של צ'בישב ועמיתו של מרקוב, נוסח כללי של משפט הגבול המרכזי, והוכיח אותו באמצעות פונקציות אופייניות.
אמנם גרסה ראשונית של משפט הגבול המרכזי עבור ההתפלגות הבינומית כבר ניסח דה-מואבר, ולפלס הוכיח אותה באמצעות פונקציות אופייניות, אך עם זאת תוצאה זו נשכחה וחשיבותה לא הובנה עד לעבודתו של ליאפונוב, שסיפק נוסח כללי למשפט יסודי זה.
הנוסח של ליאפונוב עסק בסדרה של משתנים מקריים בלתי-תלויים, שלמשתנה המקרי תוחלת סופית ושונות , והם מקיימים את מה שמכונה תנאי ליאפונוב: כלומר, נסמן , וקיים איזשהו שעבורו קיים הגבול הבא:
בתנאי זה, קובע משפט הגבול המרכזי בגרסת ליאפונוב, מתקיימת ההתכנסות בהתפלגות הבאה:
למרות חשיבותו העליונה של משפט הגבול המרכזי, שאר עבודתו המתמטית של ליאפונוב התמקדה בפיזיקה מתמטית ופחות בתורת ההסתברות.
גרסאות נוספות של משפט הגבול המרכזי סיפקו בהמשך המתמטיקאי הפיני יַארְל וַלְדֵמַר לִינְדֵבֶּרְג והמתמטיקאי הצרפתי פול לוי.
כמו כן הושגה גם הכללה של המשפט למשתנים מקריים רב-ממדיים, שם ההתכנסות היא להתפלגות רב-נורמלית.
הוא עשה זאת באמצעות פיתוח התורה של שרשראות מרקוב, ועבודתו הכללית על הוכחת חוק המספרים הגדולים היא אבן יסוד בתורה של תהליכים מקריים, שתרמה רבות גם לתורה הארגודית.
בשנת 1929 הכליל המתמטיקאי הרוסי אלכסנדר חינצ'ין את התוצאה של צ'בישב בכיוון אחר, והראה כי חוק המספרים הגדולים בגרסתו החלשה תקף בכל מקרה בו התוחלת סופית, בתנאי שהמשתנים המקריים הם גם שווי-התפלגות.
המתמטיקאי הרוסי אנדריי קולמוגורוב תרם רבות לכלים היסודיים ביותר בחקר תורת ההסתברות.
תרומתו הבסיסית ביותר היא ביסוס המערכת האקסיומטית של תורת ההסתברות , אך גם משפטים יסודיים ביותר המשמשים בתורה זו הם פרי עבודתו, כדוגמת אי-שוויון קולמוגורוב, חוק האפס-אחד של קולמוגורוב, משפט שני הטורים ומשפט שלושת הטורים.
עוד היו לו תרומות כלליות אותן ניתן להחשיבן כחלק מתורת המידה, כדוגמת משפט האן-קולמוגורוב.
לקולמוגורוב תרומה גם לתורה של תהליכים סטוכסטיים, כדוגמת משפט ההרחבה ומשפט הרציפות, שני משפטים שיחדיו מספקים את אחת הדרכים לבנות תנועה בראונית.
בסוף שנות ה-30 הקימו מספר מתמטיקאים חשובים מאוניברסיטת מוסקבה, בהם ישראל גלפנד, אלכסנדר חינצ'ין ופאבל אלכסנדרוב, קבוצת מחקר להסתברות ולסטטיסטיקה במכון סטקלוב למתמטיקה של האקדמיה הרוסית למדעים.
בראש קבוצת מחקר זו הועמד קולמוגורוב.
במסגרת זו נחקרו תופעות פיזיקליות כדוגמת תנועתם של כוכבי לכת וזרימה טורבולנטית של אוויר ממנוע סילון, ובשנת 1941 פורסמו שני מאמרים יסודיים בנושאים אלה, המטפלים בהם מנקודת מבט הסתברותית של מערכות דינמיות.
מחקר זה יצר השפעה עמוקה של תורת ההסתברות על תחום הפיזיקה.
השפעה זו המשיכה בשנות ה-50, אז פורסמו עבודות של קולמוגורוב המטפלות גם במכניקה המילטוניאנית מנקודת מבט של מערכות דינמיות, שבהמשך התפתחו לכדי תורת "KAM" הקרויה על שם קולמוגורוב-ארנולד-מוזר.
עבודותיהם של מרקוב וקולמוגורוב על התורה של תהליכים מקריים פתחה ענף חדש בתורת ההסתברות.
בהמשך לעבודות אלה, תרומה חשובה לתורת ההסתברות פורסמה על ידי המתמטיקאי ההונגרי ג'ורג' פוליה.
פוליה הראה בשנת 1921 תוצאה מפתיעה לגבי הילוך מקרי פשוט על הסריג , לפיה ההילוך נשנה (היינו, יש הסתברות 1 לחזור לנקודת המקור) אם או , וחולף (היינו, יש הסתברות שאינה 1 לחזור לנקודת המקור) עבור כל שלם חיובי אחר.
כלומר, אם מתחילים בנקודה אקראית על הסריג ומבצעים בכל שלב צעד אחד בכיוון כלשהו בהתפלגות אחידה, אז בהסתברות נחזור לנקודת ההתחלה אינסוף פעמים אם ורק אם או .
תרומה נוספת של פוליה הייתה בתחום של פונקציות אופייניות, שם הראה את הקשר לתורה של התמרת פורייה של מידות הסתברות.
התהליך המקרי הרציף המכונה תנועה בראונית היה מפורסם עוד מראשית המאה ה-19. ב"שנת הפלאות" של הפיזיקאי זוכה פרס נובל אלברט איינשטיין, באחד מארבעת מאמריו הנודעים עשה איינשטיין שימוש בתנועה בראונית במחקרו על מכניקה סטטיסטית, במקביל לעבודתו של הפיזיקאי הפולני .
בהמשך לעבודות אלה, הפיזיקאי הצרפתי ז'אן-בטיסט פרן, גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את מספר אבוגדרו.
השלכות אלה על תחום הפיזיקה חיזקו את העניין המתמטי בתנועה בראונית שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה, ובשנת 1923 סיפק המתמטיקאי האמריקאי נורברט וינר ביסוס מתמטי למושג מורכב זה, עד שבהקשר של תורת התהליכים המקריים תהליך זה מכונה "תהליך וינר".
לפי תיאור זה, משפחה של משתנים מקריים היא "תהליך וינר", אם היא מקיימת את כל התנאים הבאים:
עבור כל , הוא משתנה מקרי בלתי-תלוי ב-.
עבור כל , הוא משתנה מקרי בעל התפלגות נורמלית מהצורה .
ההוכחה שאכן קיימת סדרה משתנים מקריים שהיא תהליך וינר לא הייתה מובנת מאליה בזמנו.
בהמשך המאה ה-20 בלט המחקר בתורה של תהליכים מקריים.
לפיתוח תחום זה תרם רבות המתמטיקאי הצרפתי פול לוי, בפרט לתורה של תהליכים אדיטיביים, והספר החשוב הראשון בתורה זו הוא ספרו משנת 1948, "תהליכים סטוכסטיים ותנועה בראונית".
תורם מרכזי נוסף לתורה של תהליכים מקריים היה המתמטיקאי האמריקאי ג'וזף דוב, שפיתח בשנות ה-50 את יסודות התורה של מרטינגלים.
תורה זו עסקה בהילוכים מקריים המתארים משחק הוגן, בהם התוחלת של הרווח בכל שלב נקבעת על ידי השלב הקודם.
עבודתו של לוי עסקה גם בתורה של חוקי גבול כלליים יותר, וכך למשל אחת הגרסאות הנודעות של משפט הגבול המרכזי פותחה על ידי לוי.
בשנות ה-50 פיתח המתמטיקאי היפני קיושי איטו את האנליזה הסטוכסטית, תוך שימוש בתנועה בראונית.
תחום זה איפשר לבצע חשבון דיפרנציאלי ואינטגרלי עבור תהליכים מקריים, ולפיכך גם פתרון משוואות דיפרנציאליות סטוכסטיות.
לתחום זה יישומים חשובים בעיקר במתמטיקה פיננסית, למשל במודל בלק-שולס.
הביסוס האקסיומטי והמושָׂגִי של תורת ההסתברות
בשנת 1814 פרסם לפלס את חיבורו "מסה פילוסופית על ההסתברות", ובחיבור זה הציג לפלס לראשונה ניסיון להגדיר באופן מתמטי מהי הסתברות.
עקרונות אלה של לפלס היו ניסיון ראשון לתאר את תורת ההסתברות בצורה אקסיומטית, אך הם לא היו מספיק חמורים במונחים מודרניים.
ספרו של לפלס נפתח בסדרת העקרונות הבאים:
הסתברות היא היחס בין מאורע המטרה לבין כל המאורעות האפשריים.
הנחת היסוד הראשונה היא שיש הסתברות שווה לכל המאורעות.
כאשר זה לא מתקיים, עלינו להגדיר הסתברויות לכל המאורעות, ואז ההסתברות של כל המאורעות האפשריים היא סכום ההסתברויות של כל המאורעות.
עבור מאורעות בלתי-תלויים, ההסתברות של התרחשות של כולם היא מכפלת ההסתברויות של כולם.
עבור מאורעות תלויים, ההסתברות שמאורע יתרחש לאחר המאורע , היא ההסתברות שיתרחש מאורע כפול ההסתברות שיתרחש המאורע .
ההסתברות שיתרחש מאורע בהינתן שהתרחש מאורע , היא ההסתברות שיתרחש המאורע לחלק להסתברות שיתרחש המאורע .
אם הוא מאורע אחד מתוך המאורעות , והוא ממצה את רשימת כל האפשרויות שיתרחש מאורע , וגם ההסתברות להתרחשות המאורע שווה להסתברות להתרחשות המאורעות , אז מתקיימת הנוסחה:
הצורך בגיבוש בסיס אקסיומטי מוצק לתורת ההסתברות גבר בסוף המאה ה-19. כך בשנת 1889 פרסם המתמטיקאי הצרפתי ז'וזף ברטראן, בספרו "חשבון ההסתברות", את הפרדוקס שמאוחר יותר קיבל את שמו "הפרדוקס של ברטראן".
הפרדוקס עסק בשאלה הבאה: ברטרנד תיאר כמה צורות שונות לחשב הסתברות זאת, והגיע לתוצאות שונות.
הפתרון לפרדוקס נבע מכך שמרחב ההסתברות בפרדוקס אינו מוגדר היטב, היות שלא ברור האם מה ש"אקראי" הוא נקודות הקצה של המיתר, נקודת האמצע שלו או הרדיוס.
ניסיון לטפל בצורה אקסיומטית בתורת ההסתברות בוצע בעשור השני של המאה ה-20 על ידי המתמטיקאי האיטלקי פרנצ'סקו פאולו קנטלי.
קנטלי יצר מסגרת אקסיומטית כדי לטפל בחוקי גבול, אך המסגרת שהציע הייתה חלקית בלבד ולא טיפלה במושגים יסודיים כמו משתנה מקרי.
עם זאת היא הייתה טובה דיה כדי להוכיח תוצאות עקרוניות, וכך למשל אחת התוצאות היסודיות בתורה של חוקי גבול העוסקת בהתכנסות בהסתברות היא הלמה של בורל-קנטלי.
ניסיון נוסף לתאר אקסיומטית את תורת ההסתברות נעשה על ידי ריכרד פון מיזס בשנת 1919. ניסיון זה לא צלח, אך קולמוגורוב העיד כי הוא שאב מניסיון זה השראה.
באותה השנה, המתמטיקאי הצרפתי פול לוי מסר שלוש הרצאות מפורסמות באקול פוליטקניק על אודות המושגים היסודיים של תורת ההסתברות, וכן על התפלגות השגיאות לפי עבודתו של גאוס.
לעבודתו של לוי הייתה תרומה גדולה לגיבוש תורת ההסתברות לכדי תורה מתמטית, בפרט בספרו "תורת החשבון של הסתברות", שפורסם בשנת 1925.
בסוף המאה ה-19 התפתחה תורת המידה — תורה מתמטית שנועדה לטפל במושגים כמו אורך, שטח ונפח, מנקודת מבט גאומטרית.
אחד ממניחי היסודות של תורה זו, המתמטיקאי הצרפתי אמיל בורל, הציע עוד בסוף המאה ה-19 לבחון את תורת ההסתברות מנקודת מבט זו של תורת המידה, אם כי הוא לא טיפל במקרה הכללי של מרחב הסתברות אלא במרחב הסתברות של קטע ממשי.
הסתכלות זאת התבררה כמוצלחת במיוחד, ובהמשך הפכה לגישה השלטת בתורת ההסתברות.
בראשית שנות ה-20 של המאה ה-20, הרחיב המתמטיקאי האמריקאי נורברט וינר גישה זו, והגדיר מידה על מרחב המסילות הרציפות על-מנת לתאר את תנועתם של חלקיקים הצפים בנוזל, מה שמכונה כיום תנועה בראונית.
גישה זו סיפקה פרספקטיבה חדשה לחלוטין הן על תורת המידה הן על תורת ההסתברות; מעתה תורת המידה הכללית לא טיפלה רק בגודל של קבוצות במובן הגאומטרי, אלא אפשרה מדידה של קבוצות במגוון הקשרים — כדוגמת הסתברות של מאורע.
לפי גישה זו, מאורע הוא תת-קבוצה של מרחב המדגם, והסתברותו של המאורע היא מידת הגודל היחסי של תת-קבוצה זו.
פרספקטיבה זו הפכה למסגרת האקסיומטית המקובלת עד ימינו, כפי שהתגבשה על ידי קולמוגורוב.
עוד קודם לקולמוגורוב, בשנת 1923, סיפק המתמטיקאי הפולני הוגו שטיינהאוס לראשונה תיאור פורמלי של מרחב ההסתברות של הטלות מטבע, שהושפע מתיאורו המוקדם של בורל.
בנוסף, שטיינהאוס גם היה הראשון שסיפק תיאור פורמלי של ההתפלגות האחידה הרציפה, וכן למושג התלות בין שני משתנים מקריים.
ביסוס אקסיומטי סופי לתורת ההסתברות ניתן בשנת 1933 על ידי המתמטיקאי הרוסי אנדריי קולמוגורוב, בספרו "יסודות תורת ההסתברות".
ספר זה מהווה ציון דרך בתולדות תורת ההסתברות, והוא נחשב לספר החשוב ביותר בהתפתחותה.
האקסיומות שהציג קולמוגורוב מכונות "אקסיומות קולמוגורוב" או "אקסיומות ההסתברות", והן מהוות תיאור כללי למרחב הסתברות עד ימינו — תיאור המעמיד את תורת ההסתברות בהקשר של תורת המידה, בהמשך לעבודתו פורצת הדרך של בורל.
המתמטיקאי הצרפתי מוריס פרוכטה, בנאומו בסמינר הבינלאומי של אוניברסיטת ז'נבה בשנת 1937, תיאר את עבודתם של בורל וקולמוגורוב לגיבוש אקסיומות תורת ההסתברות:
בנוסף לאקסיומות, קולמוגורוב סיפק בספרו הגדרות פורמליות למונחים החשובים והיסודיים ביותר של תורת ההסתברות: סיגמא-אלגברת בורל, תלות והסתברות מותנית, משתנה מקרי, תוחלת ותוחלת מותנית.
קולמוגורוב מציג תחילה תיאור כללי של אקסיומות מרחב הסתברות בעל אוסף מאורעות סופי, באופן הבא:
בהמשך ספרו קולמוגורוב מציג מערכת אקסיומות מוכללת עבור מרחב הסתברות בעל מספר מאורעות אינסופי, שהיא הבסיס של ראיית תורת ההסתברות בתוך ההקשר הרחב יותר של תורת המידה.
במערכת זו, היא סיגמא-אלגברה, כלומר סגורה גם לאיחוד בן-מנייה, וכן אקסיומה 5 מוחלפת באקסיומה המתאימה עבור איחוד בן-מנייה.
כלומר, מתקיים עבור מאורעות זרים בזוגות, כי:
תיאור פורמלי אחר לתורת ההסתברות ניתן בשנת 1946 על ידי הפיזיקאי האמריקאי ריצ'רד קוקס.
המשפט של קוקס קבע כי ניתן לקבל מרחב הסתברות במובן של אקסיומות קולמוגורוב, מתוך כל מערכת המקיימת את שלוש הדרישות הבאות:
התחלקות והשוואתיות — ההסתברות של קביעה היא מספר ממשי התלוי במידע המיוחס לקביעה עצמה.
שכל ישר — ההסתברויות המיוחסות לקביעות משתנות בהתאם לסבירות של הקביעה במודל.
עקביות — אם ניתן לחשב את ההסתברויות בצורות שונות, כל התוצאות צריכות להיות שוות.
כפי שניכר מתיאור זה, הדרישות שתיאר קוקס לא היו פורמליות דיין מבחינה מתמטית, אולם בהמשך נעשו עבודות שאפשרו להפוך אותן לפורמליות.
תיאור זה זניח יותר ומשמש פחות במחקר, אך עם זאת משפט קוקס נתפס כאחד הצידוקים הפורמליים לשימוש בהסתברות בייסיאנית, לפיו מרחב הסתברות מתפרש כתורה לוגית.
ישנם דיונים שונים בנוגע למשמעות הפילוסופית של גישה אקסיומטית שונה זו.
השפעות על התפתחות ענפי מדע אחרים
להתפתחותה של תורת ההסתברות נודעה חשיבות רבה בתחומי מדע רבים; הן באופן ישיר הן באמצעות השפעתה על התפתחותה של הסטטיסטיקה.
באופן כללי, תורת ההסתברות אפשרה לבצע פעולה יסודית ביותר בכל תחומי המדע: כימות של גדלים לא ידועים.
לפעולה זו שימוש בכל תחומי המדע כולם ולכל סוגי הגדלים: הן גדלים נצפים, הן גדלים חישוביים והן גדלים תאורטיים.
שימוש נאיבי בסטטיסטיקה ידוע עוד אפילו מהמאה ה-9, אולם הסטטיסטיקה החלה את התפתחותה הפורמלית במהלך המאה ה-18, והשתכללה לכדי תורה פורמלית ומבוססת מבחינה מתמטית רק על בסיסה של תורת ההסתברות, כפי שתיאר המתמטיקאי הצרפתי אמיל בורל:
בראשית המאה ה-18, אברהם דה-מואבר פרסם ספר בשם "קצבאות לנפשות", ובו ניתוח של טבלאות תמותה וחישובים כיצד לחלק קצבאות מחיה, ענף של הסטטיסטיקה המכונה כיום אקטואריה.
לפלס פרסם עוד עבודות סטטיסטיות רבות שעשו שימוש בתורת ההסתברות, כדוגמת אמידת גודלה של אוכלוסיית צרפת על בסיס טבלאות לידה ומידע דמוגרפי מוקדם.
עבודות רבות בסטטיסטיקה נעשו על בסיס תורת ההסתברות הנאיבית בחלקה הראשון של המאה ה-19, כדוגמת עבודותיה של פלורנס נייטינגייל באפידמיולוגיה.
בתקופה זו גם הוקם הגוף הראשון העוסק במחקר סטטיסטי, האגודה הסטטיסטית המלכותית.
אולם רק בחציה השני של המאה ה-19, פרנסיס גלטון וממשיכו קרל פירסון הפכו את הסטטיסטיקה לתורה העושה שימוש בכלים מתמטיים, ופיתחו את התאוריה הסטטיסטית המבוססת על תורת ההסתברות.
גלטון התעניין בניתוח נתונים גנטיים, ובמסגרת זאת הוא פיתח מושגים סטטיסטיים יסודיים כמו מתאם ורגרסיה ליניארית, ובאמצעותם ביצע הסקה סטטיסטית פורמלית.
גלטון הקים קתדרה בקולג' האוניברסיטאי של לונדון שם מונה קרל פירסון שהמשיך את מחקריו, והעמיד את הסטטיסטיקה על יסודות המתמטיקה הסטטיסטית.
גלטון ופירסון, יחד עם רפאל וולדון, ייסדו את כתב העת "Biometrika" (ביומטריקה (כתב עת)), שהיה כתב העת המדעי הראשון שעסק במתמטיקה סטטיסטית.
פירסון גם הוא פיתח מושגים חשובים כדוגמת סטיית תקן, מקדם המתאם וערך-p, כמו גם מתודולוגיות סטטיסטיות חשובות כדוגמת שיטת המומנטים ובדיקת השערות.
בשנת 1911 הוא הקים את המחלקה לסטטיסטיקה הראשונה בעולם, בקולג' האוניברסיטאי של לונדון.
ממשיכו הבולט של פירסון היה רונלד פישר שפעל בשנות ה-20 וה-30, ונחשב למייסד הסטטיסטיקה המודרנית וזה שהפך אותה לכלי שימושי בכל תחומי המדע כולם, בכך שפיתח את הענף של תכנון ניסויים.
הוא פיתח מתודולוגיות כמו שיטת נראות מרבית, והיה אחראי לגילוי של התפלגויות סטטיסטיות חשובות כמו התפלגות F והתפלגות t, בהן נעשה שימוש יסודי בבדיקת השערות.
מתקופתו של פישר והלאה הסטטיסטיקה הפכה לענף מדעי עצמאי.
מאז, בנוסף למחלקה לסטטיסטיקה של הקולג' האוניברסיטאי של לונדון, באוניברסיטאות רבות בעולם המחלקות לסטטיסטיקה ולמתמטיקה הן נפרדות.
בסוף המאה ה-19 וראשית המאה ה-20, עבודתם של מתמטיקאים כמו אמיל בורל ואנרי לבג הביאה לכדי פיתוח תורת המידה.
כפי שנכתב לעיל, המודל המתמטי של תורת ההסתברות הוא במסגרת תורת המידה, לאחר התפתחות תורת המידה כתורה עצמאית.
כאמור, היה זה בורל הראשון שקישר בין תורת המידה לתורת ההסתברות, ושהתובנה הראשונה שלו גובשה על ידי קולמוגורוב לתובנה בימינו כי תורת ההסתברות עוסקת במרחבי מידה מהצורה כאשר פשוט מתקיים כי (בתורת המידה, מרחב מידה כללי יכול גם לקיים ).
כך למשל יש היגיון להתבונן בישר הממשי כמרחב בו מידתו של כל קטע היא , והמידה היחידה המקיימת תכונה זאת לכל קטע, מידת לבג (או בגרסתה המצומצמת, מידת בורל), אינה יכולה לתת מידה סופית לישר הממשי כולו.
ראייתה המחודשת של תורת ההסתברות בהקשר הכללי יותר של תורת המידה הביאה לכדי תורת אינטגרציה חדשה וכללית לחלוטין, והשפעתה ניכרה בתחומים רבים במחקר המתמטי שנדמו כרחוקים מתורת ההסתברות, כדוגמת פיתוח של גישות הסתברותיות במחקר של גאומטריה ותורת המספרים.
מאידך, התפתחויות מתמטיות בתורת המידה, כדוגמת משפט ההתכנסות המונוטונית ומשפט ההתכנסות הנשלטת, הביאו לתובנות חשובות בתורת ההסתברות.
השפעה בכיוון אחר ומפתיע שהייתה לתורת ההסתברות על המחקר המתמטי, הייתה פיתוח התורה של גרפים מקריים.
דוגמה יסודית לבנייה כזאת שהציג פאול ארדש יחד עם אלפרד רניי, היא של גרף רדו: זהו גרף המבוסס על מספר בן מנייה ולא סופי של קודקודים, שבו כל זוג קודקודים מחובר בהסתברות (ולמעשה ניתן לבחור כל הסתברות ).
מתברר כי תהליך זה מוביל בהסתברות לאותו גרף, עד כדי איזומורפיזם.
לגרף זה תכונות אוניברסליות חשובות, וכך למשל כל גרף בן מנייה משתכן בו.
במהלך המאה ה-20, במקביל להתפתחותם של מדעי המחשב, הוכנסו לשימוש אלגוריתמים אקראיים וכן .
במהלך מלחמת העולם השנייה הזמין המתמטיקאי האמריקאי ג'ון פון נוימן את חברו המתמטיקאי הפולני סטניסלב אולם להשתתף בפרויקט סודי בניו מקסיקו.
אולם הצטרף לתוכנית מנהטן במעבדה הלאומית לוס אלמוס, ובמסגרת עבודתו הציע להשתמש בשיטת מונטה קרלו להערכה של אינטגרלים סבוכים המופיעים בתורה של תגובות שרשרת גרעיניות.
הצעתו זו הביאה לפיתוח שיטתי יותר של שיטת מונטה קרלו על ידי פון נוימן, ניקולס מטרופוליס ואחרים.
שיטת מונטה קרלו הייתה מרכיב חשוב בסימולציות שנערכו במסגרת תוכנית הגרעין.
עוד קודם לכן, באופן בלתי-תלוי, הפיזיקאי האיטלקי אנריקו פרמי עשה שימוש בשיטות אקראיות לביצוע חישובים.
כך בשנת 1930 השתמש פרמי בשיטה כזו לחישוב תכונותיו של הנייטרון, שהתגלה באותה עת.
עם זאת, המצאת המחשב, שאיפשרה ביצוע סימולציות בקלות רבה, נתנה דחיפה עיקרית לחקירתן של שיטות אלה ולהתפתחותן.
במהלך שנות ה-70 של המאה ה-20 פותחו אלגוריתמים אקראיים כדי לפתור ביעילות רבה בעיות שימושיות.
ב-1976 הציג המתמטיקאי הישראלי מיכאל רבין אלגוריתם אקראי לפתרון בעיה מתחום הגאומטריה החישובית, .
אחת הבעיות הראשונות שבהן הודגמו חוזקם של אלגוריתמים הסתברותיים והייתה זרז לפיתוח האלגוריתמים האקראיים הייתה בעיית בדיקת ראשוניות.
באותה עת לא הייתה ידועה דרך יעילה לבדוק האם מספר הוא ראשוני בזמן ריצה פולינומי (כיום ידוע בשם מבחן AKS לראשוניות).
אלגוריתם הסתברותי יעיל לפתרון בעיה זו הוצג ב-1977 על ידי המתמטיקאי האמריקאי רוברט סולוביי והמתמטיקאי הגרמני פולקר שטרסן, ושנודע בעקבות ממציאיו בשם מבחן סולוביי-שטרסן.
ב-1980 פורסם על ידי מיכאל רבין אלגוריתם חזק יותר לבדיקת ראשוניות, אלגוריתם מילר-רבין .
לאלגוריתמים אלו לבדיקת ראשוניות הייתה חשיבות רבה במדעי המחשב, שכן הם היוו את הבסיס לפיתוחן של שיטות הצפנה נפוצות כדוגמת RSA.
ב-1977 פרסם המתמטיקאי האמריקאי ג'ון גיל את מודל מכונת טיורינג הסתברותית, ובכך הניח את היסודות לניתוח אלגוריתמים הסתברותיים במסגרת תורת הסיבוכיות.
בשנת 1738 פרסם המתמטיקאי ההולנדי-שווייצרי דניאל ברנולי את מאמרו "הידרודינמיקה", ובו הציע להתייחס לגז כאל אוסף של חלקיקים הנעים באקראי, על סמך מודל של כדורי ביליארד.
בכך תרם ברנולי לייסוד התאוריה הקינטית של הגזים.
בשנת 1856 פרסם אוגוסט קארל קרניג מאמר בהשפעת זה של ברנולי, שבו נעשה לראשונה שימוש בהסתברות כדרך לתמוך בתאוריה הקינטית.
קרניג לא התייחס במאמרו לסטטיסטיקה, אבל ההצדקה שלו למודל שהציע, לפיו ניתן להניח שמולקולות הגז בתוך מכל עם דפנות חלקות נעות במקביל אחת לשנייה, תאמה את השפה שבה השתמשו כותבים שעסקו בתחום.
הוא כתב, "המסלול של כל אטום גז חייב להיות כה בלתי-רגיל, שהוא בלתי ניתן לחישוב.
עם זאת, בהתאם לחוקי ההסתברות ניתן להניח סדר מוחלט במקום אי-סדירות מוחלטת".
באותה שנה, וככל הנראה ללא היכרות עם המאמר של קרניג, הביע רודולף קלאוזיוס את אותו הרעיון.
בהמשך, תרם לפיתוח תורה זו ג'יימס קלארק מקסוול.
הוא פרסם בשנת 1866 את התפלגות מקסוול (אשר נקראה לימים "התפלגות מקסוול-בולצמן"), המתארת את ההסתברות של מולקולת גז להימצא במהירות מסוימת.
בשנת 1867 עמד מקסוול על אופיו הסטטיסטי של החוק השני של התרמודינמיקה, והציע את הקשר בין אנטרופיה לאינפורמציה, אותו חידד באמצעות ניסוי מחשבתי, הידוע בשם "השד של מקסוול".
בשנת 1878 הציע מקסוול את שם התחום "מכניקה סטטיסטית".
ברבות הימים, עם הכללת השימוש בכלים שסיפק ענף זה לפתרון בעיות שונות בפיזיקה החורגות מהתחום המכני גרידא, התקבל גם השם "פיזיקה סטטיסטית".
בשנת 1871, ניסח הפיזיקאי האוסטרי לודוויג בולצמן את הנחת הארגודיות, אשר לה חשיבות רבה בניסוח המודרני של המכניקה הסטטיסטית.
שנה לאחר מכן, בשנת 1872, פרסם בולצמן את משפט ה-H.
בולצמן הוא זה אשר זיהה את האנטרופיה, במילים פשוטות, כמידת "חוסר הסדר" במערכת.
המשפט, אשר סתר לכאורה את המכניקה הקלאסית בה תהליכים הם הפיכים בזמן, עורר הדים רבים.
כמו כן, ניסח בולצמן את התפלגות בולצמן המתארת את ההסתברות של מערכת סטטיסטית להימצא במצב אנרגטי מסוים.
במקביל לבולצמן, פיתח הפיזיקאי ג'וסיה וילארד גיבס את גישת הצברים, לה תפקיד מרכזי בפיזיקה הסטטיסטית המודרנית.
הנחה נוספת בה משתמשים בפיזיקה סטטיסטית היא כי ערכים מקרוסקופיים של מערכות סטטיסטיות מתפלגים נורמלית בקירוב סביב ערך תוחלת עם סטיית תקן נמוכה יחסית.
הנחה זו נתמכת על ידי ידע אמפירי, ומבוססת מבחינה מתמטית על משפט הגבול המרכזי, לפיו סכומם של משתנים מקריים בלתי תלויים ושווי-התפלגות מתפלג נורמלית עם סטיית תקן הפרופורציונית לשורש ריבועי של מספר המשתנים.
ניסוח הנחת הארגודיות העומדת בבסיס גישת הצברים בפיזיקה הסטטיסטית הצריך פיתוח כלים מתמטיים חדשים, והוליד את התורה הארגודית.
תיאורים מאוחרים יותר של התורה משתמשים בכלים מתמטיים מתחום תורת האינפורמציה .
השפעה נוספת הייתה ב"שנת הפלאות" של הפיזיקאי זוכה פרס נובל אלברט איינשטיין.
באחד מארבעת מאמריו הנודעים שפורסמו בשנה זו, עשה איינשטיין שימוש בתנועה בראונית במחקרו על מכניקה סטטיסטית, במקביל לעבודתו של הפיזיקאי הפולני מריאן סמולוכובסקי ().
עבודות אלה חיזקו את העמדה המדעית בדבר הממשות של אטומים, ובמקביל חיזקו את העניין המתמטי בתנועה בראונית, שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה.
בשנת 1948 פרסם המתמטיקאי האמריקאי קלוד שאנון את מאמרו "תאוריה מתמטית של תקשורת", בו הוא הציג מודל מתמטי של מערכת תקשורת.
במאמר זה הגדיר שאנון את הסיבית כיחידת מידע ואת האנטרופיה של מקור מידע, אותה ניתן לתאר ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע.
כמו כן סיפק שאנון הגדרה מתמטית כללית של ערוץ תקשורת כקשר סטטיסטי, ותיאר את המעבר של מידע דרך ערוץ "רועש", כלומר שיש בו הפרעות אקראיות שאת התפלגותן ניתן לנתח ובכך לנסות לשחזר את המידע המקורי.
מתוך עבודה זו צמחה תורת האינפורמציה שנחקרת עד ימינו בתחומים מדעיים שונים.
מאמרו של שאנון הוא אחד המאמרים המשפיעים ביותר על המדע במאה ה-20, ונכון ל-2016 הוא מצוטט מעל 100 אלף פעמים.
בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, וחסמים על קצבי שגיאות בשיטות קידוד ופענוח שונות.
לעבודתו של שאנון יש גם השלכות תאורטיות, וכך למשל מושג האנטרופיה הסטטיסטית שפיתח שאנון השפיע על תחומים מתמטיים אחרים, כדוגמת מערכות דינמיות והתורה הארגודית.
שיטות הסתברותיות שימשו גם במתמטיקה פיננסית, שהדוגמה הבולטת ביותר היא מודל בלק-שולס לתמחור נגזרים.
בעיה זו של תמחור טופלה כבר בשנת 1900 על ידי המתמטיקאי הצרפתי לואי בשלייה במאמרו "תאוריית הספקולציה", בו הוא ניסה לנתח התנהגות של מחירי אופציות בבורסת פריז באמצעות תנועה בראונית.
העבודה של בשליה לא השפיעה רבות, אולם היא הייתה רמז ראשון להשפעות של תורת ההסתברות על מתמטיקה פיננסית.
בראשית שנות ה-70 החלו הכלכלנים מיירון שולס ופישר בלק מאוניברסיטת שיקגו לעבוד על פיתוח מודל שייתן פתרון לבעיה של תמחור מניות, שהפכה רלוונטית יותר ככל שהתפתחו שוקי ההון.
בשנת 1973 הם פרסמו את המאמר "תמחור אופציות והתחייבויות תאגידיות", כאשר עמיתם הכלכלן האמריקאי רוברט קרהרט מרטון פרסם בסמוך מאמר אחר, "התאוריה של תמחור רציונלי של אופציות", ובו התייחס למאמרם של השניים ופיתח את המודל.
מודל זה נשען בצורה מהותית על תורת ההסתברות, בכך שהוא מבוסס על ההנחה כי השינויים בשער הם תנועה בראונית גאומטרית המתוארת על ידי התפלגות לוג-נורמלית.
מרטון הוא שנתן לנוסחה את שמה "בלק-שולס", על אף שגם הוא תרם למודל.
עבודה זו היוותה פריצת דרך חשובה בתחום המתמטיקה הפיננסית, ושולס ומרטון זכו עבורה בפרס נובל לכלכלה בשנת 1997 (בלק נפטר קודם לכן).
היסטוריה תרבותית היא תחום המשלב בין גישות האנתרופולוגיה וההיסטוריה, כדי לבחון מסורות תרבות פופולריות ופרשנויות תרבותיות של חוויה היסטורית.
היא בוחנת את התיעודים והתיאורים הנרטיביים של אירועים מהעבר, הכוללים את מכלול האירועים (המתרחשים ברצף ומובילים מהעבר להווה ואף לעתיד) הנוגעים לתרבות.
ההיסטוריה התרבותית מתעדת ומפרשת אירועי עבר בהם מעורבים בני אדם דרך הסביבה החברתית, התרבותית והפוליטית של האמנויות והמנהגים הקשורים לקבוצה חברתית.
ההיסטוריון השווייצרי יעקב בורקהרדט (1818–1897) סייע לייסד את ההיסטוריה התרבותית כדיסציפלינה.
ההיסטוריה התרבותית חוקרת ומפרשת את תיעוד החברות האנושיות על ידי ציון דרכי החיים השונות הייחודיות שנבנו על ידי קבוצת אנשים הנמצאים בבחינה.
ההיסטוריה התרבותית מערבת את מקבץ הפעילות התרבותית מהעבר, כדוגמת טקסים, הדרכות במנהגים והאינטראקציה בין התושבים המקומיים.
היסטוריוני תרבות רבים בהווה טוענים שזו גישה חדשה, אך היסטוריונים של המאה התשע עשרה, כמו המלומד השווייצרי להיסטוריה של הרנסאנס, יעקב בורקהרדט, התייחסו להיסטוריה תרבותית.
ההיסטוריה התרבותית חופפת בגישותיה עם התנועות הצרפתיות של (histoire des mentalités; פיליפ פויירה, 2004) ועם מה שמכונה היסטוריה חדשה (new history), ובארצות הברית היא קשורה קשר הדוק לתחום ה.
כפי שהגה במקור ההיסטוריון השווייצרי יעקב בורקהרדט ביחס לרנסאנס האיטלקי, הייתה היסטוריה תרבותית מכוונת לחקר תקופה היסטורית מסוימת במלואה, לא רק לגבי ציור, פיסול ואדריכלות, אלא גם את הבסיס הכלכלי העומד בבסיס החברה, והמוסדות החברתיים בחיי היומיום שלה.
הדים לגישתו של בורקהרדט במאה ה-20 ניתן לראות בספרו של יוהאן הויזינחה "סתיו ימי הביניים" (1919).
לרוב ההתמקדות היא בתופעות המשותפות לקבוצות שאינן העילית שבחברה, כגון: קרנבל, פסטיבל ופולחנים ציבוריים; מסורות הופעות של מספרי סיפורים, שירה אפית וצורות מילוליות אחרות; התפתחויות תרבותיות ביחסי אנוש (רעיונות, מדעים, אומנויות, טכניקות); וביטויים תרבותיים של תנועות חברתיות כגון לאומיות.
כמו כן נבחנים מושגים היסטוריים עיקריים ככוח, אידאולוגיה, מעמד חברתי, תרבות, , עמדה, גזע, תפיסה ושיטות היסטוריות חדשות.
מחקרים רבים שוקלים התאמות של התרבות המסורתית לתקשורת המונים (טלוויזיה, רדיו, עיתונים, כתבי עת, פוסטרים וכו'), מהדפוס לסרט הקולנוע וכיום לאינטרנט (תרבות הקפיטליזם).
הגישות המודרניות שלה מגיעות מתולדות האמנות, אסכולת האנאל, האסכולה המרקסיסטית, המיקרו היסטוריה והיסטוריה תרבותית חדשה.
אבני בוחן תאורטיות נפוצות להיסטוריה תרבותית עדכנית כוללים את: ניסוחו של יורגן הברמאס את הספרה הציבורית בספרו "ההשתנות המבנית של המרחב הציבורי הבורגני".
המושג "תיאור גדוש" של קליפורד גירץ (הובא למשל בפרשנות של תרבויות); ורעיון של הזיכרון כקטגוריה תרבותית-היסטורית, כפי שנדון בספר של פול קונרטון (Paul Connerton) "כיצד חברות זוכרות" (How Societies Remember).
התחום שבו ההיסטוריה התרבותית מהסגנון החדש מתייחסת לעיתים קרובות כאל כמעט פרדיגמה היא הרוויזיוניזם ההיסטורי של המהפכה הצרפתית, שתוארך לספרו רב ההשפעה של פרנסואה פירה משנת 1978, "לסיים את המהפכה הצרפתית" (Penser la Révolution française).
"הפרשנות הרוויזיוניסטית" מאופיינת לעיתים קרובות כמחליפה את "הפרשנות החברתית" לכאורה הדומיננטית, המרקסיסטית לכאורה, שמאתרת את הסיבות למהפכה בדינמיקה בין המעמדות.
הגישה הרוויזיוניסטית נטתה לשים יותר דגש על תרבות פוליטית.
היסטוריונים של המהפכה בעשרות השנים האחרונות בחנו את תפקידם ועמדתם של נושאים תרבותיים כמו מגדר, פולחן ואידאולוגיה בהקשר של התרבות הפוליטית הצרפתית הפרה-מהפכנית, דרך קריאת רעיונות של תרבות פוליטית באמצעות תפיסתו של הברמאס את המרחב הציבורי.
היסטוריונים שעשויים להיות מקובצים תחת מטרייה זו הם , רוברט דרנטון, , לין האנט, קית' בייקר (Keith Baker), ג'ואן לנדס (Joan Landes), מונה אוזוף (Mona Ozouf) ושרה מאזה (Sarah Maza).
כל החוקרים הללו עוסקים בתחומי עניין מגוונים למדי, ואולי הושם דגש רב מדי על האופי הפרדיגמטי של ההיסטוריה החדשה של המהפכה הצרפתית.
קולין ג'ונס (Colin Jones), למשל, אינו זר להיסטוריה תרבותית, להברמאס או למרקסיזם, וטען בעקביות כי הפרשנות המרקסיסטית אינה מתה, וניתן להחיותה מחדש; ככלות הכול, ללוגיקה של הברמאס יש חוב גדול מאוד להבנה המרקסיסטית.
רבקה ספנג (Rebecca Spang) טענה לאחרונה כי על אף כל הדגש שלה על הבדל וחדשנות, הגישה ה"רוויזיוניסטית" שומרת על רעיון המהפכה הצרפתית כקו פרשת מים בתולדות המודרניות (כביכול), וכי הרעיון הבעייתי של "המודרניות" עצמו משך תשומת לב מועטה.
לימודי תרבות הם תחום אקדמי הפופולרי בקרב קבוצה מגוונת של חוקרים.
הם משלבים כלכלה פוליטית, גאוגרפיה, סוציולוגיה, , תורת הספרות, לימודי קולנוע / וידאו, אנתרופולוגיה תרבותית, פילוסופיה, ותולדות האמנות / על מנת לחקור תופעות תרבות בחברות שונות.
חוקרי לימודי תרבות מתרכזים לעיתים קרובות באופן שבו תופעה מסוימת קשורה לענייני אידאולוגיה, לאומיות, אתניות, מעמד חברתי או מגדר.
את המונח טבע בשנת 1964 כשהקים את "מרכז בירמינגהם ללימודי תרבות עכשווית".
הנושא נקשר מאז מאוד לסטיוארט הול, שהחליף את הוגארט כמנהל.
היסטורִיּוּת היא האמיתות ההיסטורית של אנשים ואירועים, כלומר באיזה מידה הם יכולים להיות חלק מההיסטוריה האנושית ולא מיתוס היסטורי, סיפור עם, מעשייה, סיפור פולקלור או בדיה.
ההיסטוריות של טענה על העבר היא מעמדה העובדתי.
היסטוריות מתייחסת לאמת ההיסטורית, האותנטיות, והעובדות, ומתמקדת בערך האמיתי של טענות על ידע של העבר.
יש תאורטיקנים המאפיינים את ההיסטוריות כממד של כל תופעות הטבע המתרחשות במרחב ובזמן.
חוקרים אחרים מאפיינים אותו כתכונה השמורה להתרחשויות אנושיות מסוימות, בהתאם לפרקטיקה של ההיסטוריוגרפיה.
הרברט מרקוזה הסביר את ההיסטוריות כזו ש"מגדירה את ההיסטוריה ובכך מבדילה אותה מ'טבע' או 'כלכלה'" ו"מסמנת את המשמעות שאנו מתכוונים כשאנו אומרים על משהו שהוא 'היסטורי'".
מילון בלקוול של הפילוסופיה המערבית מגדיר את ההיסטוריות כ"מציינת את התכונה של מצבנו האנושי, שלפיה אנו נמצאים בנסיבות זמניות והיסטוריות קונקרטיות וספציפיות".
עבור וילהלם דילתיי, ההיסטוריות מזהה את בני האדם כיצורים היסטוריים ייחודיים וקונקרטיים.
שאלות הנוגעות להיסטוריות נוגעות לא רק לסוגיית "מה באמת קרה", אלא גם איך צופים מודרניים יכולים לדעת "מה באמת קרה".
סוגיה שנייה זו קשורה קשר הדוק לפרקטיקות מחקר היסטוריות, ומתודולוגיות לניתוח המהימנות של מקורות ראשוניים וראיות אחרות.
כיוון שמתודולוגיות שונות מתייחסות לתמות היסטוריות בצורה שונה, לא ניתן לצמצם את ההיסטוריות למבנה אחד שיוכל להיות מיוצג בצורה חד-משמעית.
מתודולוגיות מסוימות כמו היסטוריציזם יכולות להפוך את ההיסטוריות לכפופה להבניות של היסטוריה המבוססות על ערכיות.
ההיסטוריוגרף פרנסואה הרטוג הציג את הרעיון של משטרים היסטוריים, כדי לתאר חברה שמתחשבת בעברה, ומנסה להתמודד עמו, תהליך המוגדר גם כ"שיטה למודעות עצמית בקהילה אנושית".
ההיסטוריות של אירוע מדווח עשויה להיות שונה מההיסטוריות של אנשים המעורבים באירוע.
לדוגמה, סיפור פופולרי אומר שכילד, ג'ורג' וושינגטון כרת עץ דובדבן, וכאשר התעמתו אתו על כך, הוא לקח בכנות אחריות על המעשה.
אף על פי שאין ספק שוושינגטון התקיימה כדמות היסטורית, ההיסטוריות של האירוע הספציפי הזה נמצאה לוקה בחסר.
שאלות היסטוריות רלוונטיות במיוחד לתיאורים פוליטיים או פיוטיים של אירועי עבר.
לדוגמה, ההיסטוריות של האיליאדה הפכה לנושא לוויכוח, מכיוון שממצאים ארכאולוגיים מאוחרים יותר מראים שהיצירה התבססה על אירוע אמיתי כלשהו.
שאלות של היסטוריות עולות לעיתים קרובות ביחס למחקרים על ההיסטוריה של הדתות.
במקרים אלה, מחויבויות ערכיות יכולות להשפיע על בחירת מתודולוגיית המחקר.
ההיסטוריה של שפות התכנות משתרעת מתיעוד של מחשבים מכניים מוקדמים ועד לכלים מודרניים לפיתוח תוכנה.
שפות התכנות המוקדמות היו מיוחדות מאוד, והסתמכו על סימונים מתמטיים ותחביר לא ברור.
לאורך המאה ה-20, מחקרים בתאוריית המהדר הובילו ליצירת שפות תכנות עיליות, המשתמשות בתחביר נגיש יותר כדי להעביר הוראות.
שפת התכנות העילית הראשונה הייתה פלנקלקול, שנוצרה על ידי קונרד זוסה בין 1942 ל-1945. השפה העילית הראשונה שהיה לה מהדר נוצרה על ידי קוראדו בוהם בשנת 1951, עבור התזה שלו.
השפה המסחרית הראשונה הייתה FORTRAN, שפותחה ב-1956 (המדריך הראשון הופיע ב-1956, אך פותח לראשונה ב-1954) על ידי צוות בראשותו של ג'ון בקאוס ב-IBM.
במהלך השנים 1842–1849, עדה לאבלייס תרגמה את ספר הזיכרונות של המתמטיקאי האיטלקי לואיג'י מנברה על המכונה המוצעת החדשה ביותר של צ'ארלס בבג': המנוע האנליטי.
היא הוסיפה לספר הזיכרונות הערות שציינו בפירוט שיטה לחישוב מספרי ברנולי באמצעות המנוע, המוכרת על ידי רוב ההיסטוריונים כתוכנת המחשב הראשונה בעולם שפורסמה.
קודי המחשב הראשונים היו מיוחדים ליישומים שלהם.
לדוגמה, אלונזו צ'רץ' הצליח לבטא את תחשיב הלמבדה בצורה נוסחתית ומכונת טיורינג הייתה הפשטה של פעולתה של מכונת סימון סרטים.
למנועי הפרשים של צ'ארלס באבג' ושל ג'קארד לומס היו שפות פשוטות לתיאור הפעולות שהמכונות הללו צריכות לבצע ולכן, כיום, הם נחשבים ליוצרים של שפת התכנות הראשונה.
בשנות הארבעים של המאה ה-20, נוצרו המחשבים המודרניים הראשונים המופעלים באמצעות חשמל.
המהירות ויכולת הזיכרון המוגבלת אילצו מתכנתים לכתוב תוכניות שפת אסמבלי מכווננות ביד.
בסופו של דבר התברר שתכנות בשפת אסמבלי דורש מאמץ אינטלקטואלי רב.
הצעה מוקדמת לשפת תכנות עילית הייתה פלנקלקול, שפותחה על ידי קונראד צוזה עבור מחשב הZ1 בין השנים 1942 ל-1945 אך לא יושמה באותה עת.
שפות התכנות המתפקדות הראשונות שנועדו להעביר הוראות למחשב נכתבו בתחילת שנות החמישים.
Short Code של ג'ון מאוצ'לי, שהוצעה ב-1949, הייתה אחת השפות הראשונות אי פעם שפותחו עבור מחשב אלקטרוני.
בשונה מקוד מכונה, הצהרות Short Code ייצגו ביטויים מתמטיים בצורה מובנת.
עם זאת, היה צורך לפרש את התוכנית לקוד מכונה בכל פעם שהיא רצה, מה שהופך את התהליך לאיטי בהרבה מהפעלת קוד המכונה המקביל.
בשנת 1954, FORTRAN הומצאה ב-IBM על ידי צוות בראשות ג'ון באקוס.
FORTRAN הייתה השפה הראשונה בשימוש נרחב למטרות כלליות עם מימוש פונקציונלי.
כאשר FORTRAN הוצגה לראשונה, היא נתפסה בספקנות עקב באגים, עיכובים בפיתוח והיעילות בהשוואה לתוכנות "מקודדות ביד" שנכתבו באסמבלי.
עם זאת, בשוק החומרה שהתפתח במהירות בתקופה, השפה נודעה בסופו של דבר ביעילותה.
היא עדיין שפה פופולרית עבור מחשוב בעל ביצועים גבוהים והיא משמשת עבור תוכניות כמו "טופ500" שבודקות ומדרגות את מחשבי העל החזקים ביותר בעולם.
שפת תכנות מוקדמת נוספת הומצאה על ידי גרייס הופר בארצות הברית, בשם FLOW-MATIC.
היא פותחה עבור UNIVAC I ברמינגטון ראנד במהלך התקופה מ-1955 עד 1959. הופר גילתה שלקוחות עיבוד נתונים עסקיים לא חשו בנוח עם סימון מתמטי, ובתחילת 1955, היא והצוות שלה כתבו מפרט לשפת תכנות מבוססת אנגלית ויישמו אב טיפוס.
המהדר FLOW-MATIC הפך זמין לציבור בתחילת 1958 והושלם ב-1959. ל-Flow-Matic הייתה השפעה מרכזית בעיצוב של קובול, מכיוון שרק הוא והצאצא הישיר שלו AIMACO היו בשימוש באותה תקופה.
שפות נוספות שעדיין נמצאות בשימוש כיום כוללות את LISP, שהומצאה על ידי ג'ון מקארתי ו-קובול, שנוצרה על ידי ה-Short Range Committee.
ציון דרך נוסף בסוף שנות ה-50 היה פרסום של ועדה של מדעני מחשב אמריקאים ואירופים, של "שפה חדשה לאלגוריתמים".
דו"ח זה איחד רעיונות רבים שהסתובבו באותה תקופה והציג שלושה חידושים מרכזיים:
מבנה בלוקים מקוננים: ניתן לקבץ רצפים דומים של קוד לבלוקים מבלי שיהיה צורך להפוך אותם לשיטות נפרדות בעלי שם מפורש.
תחום הכרזה: לבלוק יכול להיות משתנים פרטיים ופונקציות משלו, הלא נגישים לקוד מחוץ לבלוק זה.
חידוש נוסף הקשור לכך היה באופן שתוארה השפה:
סימון מדויק מבחינה מתמטית, שיטת בקוס-נאור (BNF), שימש לתיאור תחביר השפה.
כמעט כל שפות התכנות הבאות השתמשו בגרסה של BNF כדי לתאר את החלק חסר ההקשר של התחביר שלהן.
ALGOL 60 השפיע במיוחד על עיצובן של שפות מאוחרות יותר, שחלקן הפכו במהרה לפופולריות.
הרעיונות המרכזיים של ALGOL המשיכו, ויצרו את ALGOL 68:
תחביר וסמנטיקה נעשו אפילו יותר אורתוגונליים, עם שגרות אנונימיות, מערכת הקלדה רקורסיבית עם פונקציות מסדר גבוה וכו'.
לא רק החלק חסר ההקשר, אלא תחביר השפה המלא והסמנטיקה הוגדרו פורמלית, במונחים של דקדוק ואן ויגארדן, פורמליזם שתוכנן במיוחד למטרה זו.
תכונות השפה הרבות של ALGOL 68 שאינן בשימוש, המערכת המורכבת של קיצורי דרך תחביריים והכפייה האוטומטית של טיפוסים הפכו אותה לשפה לא פופולרית בקרב מיישמים והשיגה את התדמית של היותה קשה.
ניקלאוס וירת למעשה עזב את ועדת העיצוב כדי ליצור את שפת פסקל הפשוטה יותר.
כמה שפות בולטות שפותחו בתקופה זו כוללות:
1957 – FORTRAN (המהדר הראשון)
1967 – לוגו (שפה חינוכית שהשפיעה על Smalltalk ו-Scratch).
התקופה מסוף שנות ה-60 ועד סוף שנות ה-70 הביאה פריחה גדולה של שפות תכנות.
רוב פרדיגמות השפה העיקריות שנמצאות כיום בשימוש הומצאו בתקופה זו:
Speakeasy, שפותחה ב-1964 במעבדה הלאומית של Argonne על ידי סטנלי כהן, היא מערכת תכנות מונחה עצמים (OOPS), בדומה לחבילות המתמטיות המאוחרת של MATLAB, IDL ו-Mathematica.
ל-Speakeasy יש תחביר ברור על בסיס Fortran.
המערכת נועדה תחילה למחשוב יעיל של פיזיקה באופן פנימי במעבדה הלאומית של Argonne, שונתה לשימוש מחקרי (כ-"Modeleasy") עבור מועצת הפדרל ריזרב בתחילת שנות ה-70 ולאחר מכן נהפכה לזמינה מסחרית.
Simula, שהומצאה בסוף שנות ה-60 על ידי קריסטן ניגארד ואולה יוהאן דאל כהרחבה של ALGOL 60, הייתה השפה הראשונה שנועדה לתמוך בתכנות מונחה עצמים.
C, שפת תכנות מערכות מוקדמת, פותחה על ידי דניס ריצ'י וקן תומפסון ב-מעבדות נוקיה בל בין השנים 1969 ו-1973.
Smalltalk (אמצע שנות ה-70) סיפקה עיצוב יסודי שלם של שפה מונחה עצמים.
פרולוג, שתוכננה ב-1972 על ידי אלן קולמר, פיליפ רוסל ורוברט קובלסקי, הייתה שפת התכנות הלוגית הראשונה.
ML בנתה מערכת מסוג פולימורפי (הומצאה על ידי רובין מילנר ב-1973) על Lisp, שהניחה את אבני היסוד של שפות תכנות פונקציונליות עם הקלדה סטטית.
כל אחת מהשפות הללו הולידה משפחה שלמה של צאצאים, ורוב השפות המודרניות סופרות לפחות אחת מהן במוצאן.
גם בשנות השישים והשבעים של המאה ה-20 היה ויכוח רב על היתרונות של "תכנות מובנה", שפירושו בעצם תכנות ללא שימוש בפקודת ה-goto.
חלק ניכר מהמתכנתים האמינו שאפילו בשפות המספקות goto, זה סגנון תכנות גרוע להשתמש בו למעט בנסיבות נדירות.
הוויכוח הזה היה קשור קשר הדוק לעיצוב שפות: לחלק מהשפות לא היה goto, מה שאילץ את השימוש בתכנות מובנה.
1978 – SQL (שפת שאילתות, הורחבה מאוחר יותר)
שנות ה-80: איחוד, מודולים, ביצועים
שנות ה-80 היו שנים של גיבוש יחסי בשפות אימפרטיביות.
במקום להמציא פרדיגמות חדשות, כל התנועות הללו פיתחו את הרעיונות שהומצאו בעשור הקודם.
++C שילבה תכנות מונחה עצמים ותכנות מערכות.
ממשלת ארצות הברית תיקנה את עדה, שפת תכנות מערכות המיועדת לשימוש על ידי קבלני ביטחון.
ביפן ובמקומות אחרים, הוצאו סכומים אדירים בחקירת שפות תכנות מהדור החמישי ששילבו מבני תכנות לוגיים.
קהילת השפות הפונקציונליות החלה להפוך את ML ו-Lisp לסטנדרט.
המחקר במירנדה, שפה פונקציונלית עם הערכה עצלנית, החל לתפוס אחיזה בעשור הזה.
מגמה חדשה וחשובה אחת בעיצוב שפה הייתה התמקדות מוגברת בתכנות עבור מערכות בקנה מידה גדול באמצעות שימוש במודולים.
עדה, מודולה ו-ML פיתחו כולם מערכות מודול בולטות בשנות ה-80. מערכות מודולים הוצמדו לעיתים קרובות למבני תכנות גנריים: גנריות היא, במהותה, מודולים עם פרמטרים .
אף על פי שלא הופיעו פרדיגמות חדשות מרכזיות לשפות תכנות אימפרטיביות, חוקרים רבים הרחיבו את הרעיונות של שפות קודמות והתאימו אותם להקשרים חדשים.
לדוגמה, השפות של מערכות Argus ו-Emerald התאימו תכנות מונחה עצמים למערכות מחשוב מבוזרות.
שנות ה-80 הביאו גם התקדמות ביישום שפות תכנות.
תנועת המחשוב עם סט פקודות מצומצם (RISC) בארכיטקטורת המחשב הניחה כי יש לתכנן את החומרה עבור מהדרים ולא עבור מתכנתי שפת הסף אנושיים.
בסיוע שיפורי מהירות המעבד (CPU) שאפשרו שיטות קומפילציה אגרסיביות יותר ויותר, תנועת RISC עוררה עניין רב יותר בטכנולוגיית מהדר לשפות עיליות.
טכנולוגיית השפה המשיכה בקו הזה גם בשנות ה-90.
1986 – LabVIEW (שפת תכנות חזותית)
הצמיחה המהירה של האינטרנט באמצע שנות ה-90 הייתה האירוע ההיסטורי הגדול הבא בשפות התכנות.
באמצעות פתיחת פלטפורמה חדשה לחלוטין למערכות מחשב, האינטרנט יצר הזדמנות לאימוץ שפות חדשות.
במיוחד, שפת התכנות JavaScript עלתה לפופולריות בגלל השילוב המוקדם שלה עם דפדפן האינטרנט Netscape Navigator.
שפות תסריט שונות אחרות השיגו שימוש נרחב בפיתוח יישומים מותאמים אישית עבור שרתי אינטרנט כגון PHP.
שנות ה-90 לא ראו שום חידוש מהותי בשפות אימפרטיביות, אלא הרבה שילוב מחדש והבשלה של רעיונות ישנים.
עידן זה החל את התפשטותן של שפות פונקציונליות.
היבט נוסף שהשפיע באופן מהותי היה פרודוקטיביות המתכנת.
שפות רבות לפיתוח מהיר של יישומים (RAD) צצו, שבדרך כלל הגיעו עם סביבת פיתוח משולבת (IDE), איסוף זבל והיו צאצאים של שפות ישנות יותר.
כל השפות הללו היו מונחות עצמים.
אלה כללו את ויז'ואל בייסיק, ג'אווה, Object Pascal ו-OCaml.
ג'אווה במיוחד זכתה לתשומת לב רבה.
רדיקליות וחדשניות יותר משפות ה-RAD היו שפות התסריט החדשות.
השפות האלו לא נבעו ישירות משפות אחרות והציגו תחבירים חדשים ושילוב ליברלי יותר של תכונות.
רבים מחשיבים את שפות התסריט הללו כפרודוקטיביות יותר אפילו משפות ה-RAD, אך לעיתים קרובות בגלל בחירות שהופכות תוכניות קטנות לפשוטות יותר אך תוכניות גדולות לקשות יותר לכתיבה ולתחזוקה.
עם זאת, שפות סקריפטים הפכו להיות הבולטות שבהן נעשה שימוש בתחום האינטרנט.
התפתחות שפות התכנות נמשכת, הן בתעשייה והן במחקר.
תחביר לשיפור תמיכה בתכנות מקבילי ובתכנות מבוזר.
מנגנונים חלופיים לשילוביות ומודולריות: Mixins, מחלקות טיפוסים, היבטים.
אינטגרציה עם מסדי נתונים, כולל XML ומסדי נתונים יחסיים .
קוד פתוח כפילוסופיית פיתוח לשפות, כולל אוסף המהדרים של GNU ושפות כגון PHP, Python, Ruby ו-Scala .
עניין רב יותר בשפות תכנות חזותיות כמו Scratch, LabVIEW ו-PWCT
שפות מקבילות ביותר עבור יחידות עיבוד גרפיות (GPU) ומערכי מחשבי-על, כולל OpenCL.
מחקר מוקדם על שפות תכנות במחשוב קוונטי.
מחקר מוקדם ביישום שיטות בינה מלאכותית (AI) ליצירת קוד באמצעות AI כמו שימוש ב-GPT-3.
היסטוריית חקר האבולוציה מלמדת על ההתפתחות של התאוריות הפילוסופיות והמחקר המדעי מימי קדם ועד ימינו על המקורות הפריהיסטוריים של בעלי החיים והאנושות בכדור הארץ והתפתחותם לאורך ההיסטוריה.