היסטוריה של תורת ההסתברות
השפעות על התפתחות ענפי מדע אחרים > פיזיקה סטטיסטית

בשנת 1738 פרסם המתמטיקאי ההולנדי-שווייצרי דניאל ברנולי את מאמרו "הידרודינמיקה", ובו הציע להתייחס לגז כאל אוסף של חלקיקים הנעים באקראי, על סמך מודל של כדורי ביליארד. בכך תרם ברנולי לייסוד התאוריה הקינטית של הגזים. בשנת 1856 פרסם אוגוסט קארל קרניג (אנ') מאמר בהשפעת זה של ברנולי, שבו נעשה לראשונה שימוש בהסתברות כדרך לתמוך בתאוריה הקינטית. קרניג לא התייחס במאמרו לסטטיסטיקה, אבל ההצדקה שלו למודל שהציע, לפיו ניתן להניח שמולקולות הגז בתוך מכל עם דפנות חלקות נעות במקביל אחת לשנייה, תאמה את השפה שבה השתמשו כותבים שעסקו בתחום. הוא כתב, "המסלול של כל אטום גז חייב להיות כה בלתי-רגיל, שהוא בלתי ניתן לחישוב. עם זאת, בהתאם לחוקי ההסתברות ניתן להניח סדר מוחלט במקום אי-סדירות מוחלטת". באותה שנה, וככל הנראה ללא היכרות עם המאמר של קרניג, הביע רודולף קלאוזיוס את אותו הרעיון.
בהמשך, תרם לפיתוח תורה זו ג'יימס קלארק מקסוול. הוא פרסם בשנת 1866 את התפלגות מקסוול (אשר נקראה לימים "התפלגות מקסוול-בולצמן"), המתארת את ההסתברות של מולקולת גז להימצא במהירות מסוימת. בשנת 1867 עמד מקסוול על אופיו הסטטיסטי של החוק השני של התרמודינמיקה, והציע את הקשר בין אנטרופיה לאינפורמציה, אותו חידד באמצעות ניסוי מחשבתי, הידוע בשם "השד של מקסוול". בשנת 1878 הציע מקסוול את שם התחום "מכניקה סטטיסטית". ברבות הימים, עם הכללת השימוש בכלים שסיפק ענף זה לפתרון בעיות שונות בפיזיקה החורגות מהתחום המכני גרידא, התקבל גם השם "פיזיקה סטטיסטית".
בשנת 1871, ניסח הפיזיקאי האוסטרי לודוויג בולצמן את הנחת הארגודיות, אשר לה חשיבות רבה בניסוח המודרני של המכניקה הסטטיסטית. שנה לאחר מכן, בשנת 1872, פרסם בולצמן את משפט ה-H. בולצמן הוא זה אשר זיהה את האנטרופיה, במילים פשוטות, כמידת "חוסר הסדר" במערכת. המשפט, אשר סתר לכאורה את המכניקה הקלאסית בה תהליכים הם הפיכים בזמן, עורר הדים רבים. כמו כן, ניסח בולצמן את התפלגות בולצמן המתארת את ההסתברות של מערכת סטטיסטית להימצא במצב אנרגטי מסוים. במקביל לבולצמן, פיתח הפיזיקאי ג'וסיה וילארד גיבס את גישת הצברים, לה תפקיד מרכזי בפיזיקה הסטטיסטית המודרנית.
בהמשך, התגבשה הפיזיקה הסטטיסטית על יסודות מתמטיים של תורת ההסתברות, בין השאר על בסיס ההנחה כי במערכות גדולות מתנהגים מאפיינים הסתברותיים של המערכת בדומה למאפיינים סטטיסטיים: כך למשל, בהתאם לחוק המספרים הגדולים, אם במערכת מסוימת ההסתברות להימצא במצב מקרוסקופי מסוים היא  p, כאשר כמות העצמים במערכת שמצביהם המיקרוסקופיים תואמים את המצב המקרוסקופי המתואר היא בשיעור של כ- p מכמות העצמים הכוללת במערכת.
הנחה נוספת בה משתמשים בפיזיקה סטטיסטית היא כי ערכים מקרוסקופיים של מערכות סטטיסטיות מתפלגים נורמלית בקירוב סביב ערך תוחלת עם סטיית תקן נמוכה יחסית. הנחה זו נתמכת על ידי ידע אמפירי, ומבוססת מבחינה מתמטית על משפט הגבול המרכזי, לפיו סכומם של משתנים מקריים בלתי תלויים ושווי-התפלגות מתפלג נורמלית עם סטיית תקן הפרופורציונית לשורש ריבועי של מספר המשתנים. ניסוח הנחת הארגודיות העומדת בבסיס גישת הצברים בפיזיקה הסטטיסטית הצריך פיתוח כלים מתמטיים חדשים, והוליד את התורה הארגודית. תיאורים מאוחרים יותר של התורה משתמשים בכלים מתמטיים מתחום תורת האינפורמציה (ראו בפרק הבא).
השפעה נוספת הייתה ב"שנת הפלאות" של הפיזיקאי זוכה פרס נובל אלברט איינשטיין. באחד מארבעת מאמריו הנודעים שפורסמו בשנה זו, עשה איינשטיין שימוש בתנועה בראונית במחקרו על מכניקה סטטיסטית, במקביל לעבודתו של הפיזיקאי הפולני מריאן סמולוכובסקי (Marian Smoluchowski). בהמשך לעבודות אלה, הפיזיקאי הצרפתי ז'אן-בטיסט פרן, גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את מספר אבוגדרו. עבודות אלה חיזקו את העמדה המדעית בדבר הממשות של אטומים, ובמקביל חיזקו את העניין המתמטי בתנועה בראונית, שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה.