היסטוריה של תורת ההסתברות
הולדת הקומבינטוריקה ותורת ההסתברות הנאיבית > ברנולי

המתמטיקאי השווייצרי יאקוב ברנולי כתב ספר רב השפעה בשם "אמנות הניחוש", שפורסם רק ב-1713, כשמונה שנים לאחר מותו. היה זה ספר היסוד המוקדם ביותר לתורת ההסתברות שהיה מוגדר ככזה, וכחיבור מחקרי מתמטי של ממש. לספר היו ארבעה חלקים: הערות מקיפות על ספרו של הויגנס; טיפול יסודי בקומבינטוריקה ובתמורות; משחקי מזל מנקודת מבט מתמטית; ויישומים לכלכלה ולפוליטיקה. חלקו האחרון כלל הוכחה של החוק החלש של המספרים הגדולים עבור משתני ברנולי, שניסח לראשונה באופן מתמטי את הקשר העמוק שבין מושג הממוצע לבין מושג התוחלת.
בחלקו הראשון של הספר סיכם ברנולי את עבודתו של הויגנס, והכליל אותה לכדי נוסחאות (הויגנס נתן פתרונות מספריים, כאמור), וכן סיכם את עבודתו של פסקל. ברנולי הציג תאוריה שלמה של צירופים ותמורות. כמו כן הוא ציין את כלל המכפלה להסתברות של קיום שניים או יותר מאורעות בלתי תלויים, בכמה וריאציות: אם ישנם  n מאורעות, ולכל מאורע הסתברות  p, ההסתברות שיתקיימו כולם היא  \ p^{n}. במקרה זה ההסתברות לאי-קיום המאורע היא  1-p, ולכן עבור כל  0\leq m\leq n, ההסתברות למאורע בו מתקיימים בדיוק  m מאורעות ולא מתקיימים בדיוק  n-m מאורעות, היא:  \ p^{m}\cdot \left(1-p\right)^{n-m}, אם נודעת חשיבות לסדר המאורעות. אם אין חשיבות לסדר, יש להכפיל את התוצאה האמורה במספר האפשרויות ללקיחת  m איברים מתוך  n, כלומר ב- {\binom {n}{m}}.
ברנולי עמד על ההבדל בין מאורעות זרים לבין מאורעות שאינם זרים. מאורעות זרים הם למשל שתי התוצאות האפשריות בהטלת מטבע — עץ או פלי. מאורעות שאינם זרים הם למשל שני נידונים למוות שמקבלים רשות לשחק משחק בו כל אחד מטיל שתי קוביות בתורו, ומי שסכום קוביותיו גבוה יותר ישוחרר, אך אם התוצאה זהה — ישוחררו שניהם. כלומר המאורע שאסיר אחד ישוחרר והמאורע שהאסיר האחר ישוחרר אינם זרים, לכל נידון הסתברות גבוהה יותר מ-50% להשתחרר.
בחלקו השני של הספר הציג ברנולי לראשונה את הקומבינטוריקה בצורה שיטתית. תחילה הוכיח ברנולי באינדוקציה שמספר התמורות של  n איברים הוא  n!=1\cdot 2\cdot \dots \cdot n, ושמספר התמורות של  n איברים בהם יש  k_{1} איברים מסוג אחד,  k_{2} איברים מסוג שני, וכן הלאה, עד  k_{j} איברים מסוג  j, היא  {\frac {n!}{k_{1}!\cdot k_{2}!\cdot \dots \cdot k_{j}!}} (נוסחת מרסן). בהמשך הספר, קבע ברנולי את מספר האפשרויות לחלק n איברים לשתי קבוצות בגודל  m,n-m, כך שמאחת התת-קבוצות לוקחים  a-b איברים ומהשנייה לוקחים  b איברים, כמכפלה של מספר האפשרויות של תת-קבוצה אחת במספר האפשרויות של תת-הקבוצה האחרת.
ברנולי גם דן במאורעות של "הוצאה עם החזרה". אם ישנם  n איברים בכד ומוציאים  m מתוכם, כאשר כל איבר יכול להילקח עם כפילויות (כלומר הצירוף של  m האיברים יכול לכלול את אותו איבר כמה פעמים. למשל, כד מלא בכדורים בצבעים שונים. כאשר כל כדור מוצא מן הכד, נספר, ומיד אחר מוחזר לכד), אז מספר הקומבינציות הוא  {\frac {\left(n+m-1\right)!}{m!\cdot \left(n-1\right)!}}, כיוון שכל אחד מ- m האיברים נספר הן כאחד מ- n המקוריים והן כאחד מ- m האיברים שהוצאו. לקיחת  m איברים מתוך  n, אם כן, שקולה להשמת  n-1 מחיצות ב- n+m-1 מיקומים אפשריים, כאשר ישנן  m! אפשרויות לסידורם.
כמו כן הראה ברנולי כי מספר הפרמוטציות האפשריות ללקיחת  m איברים מתוך  n כאשר מאפשרים כפילויות הוא  n^{m}, וזאת אם ישנה חשיבות לסדר (אחרת, אם אין חשיבות, יש לחלק את הביטוי במספר האפשרויות לסידורים השונים). בהמשך הדגים ברנולי בעזרת טבלאות שיטה אלגוריתמית למציאת מספר הצירופים האפשריים לכל תוצאה במספר קוביות נתון.
כמו פסקל, גם ברנולי חקר את משולש פסקל, וחזר על הוכחות באופן דומה. מחקריו במשולש פסקל הובילו אותו גם למספר תוצאות חשובות בחשבון דיפרנציאלי ואינטגרלי. כן פיתח ברנולי פתרון לבעיית המשחק המופסק עבור משחקים התלויים במיומנות כמו טניס, כלומר בעיה בה ההסתברות לניצחון כל אחד מן הצדדים אינה  {\frac {1}{2}}. פתרונו לבעיה זו היווה הכללה של נוסחת הרקורסיה של פסקל (ראו לעיל).
בהמשך מצא ברנולי נוסחאות לסכומים של פרמוטציות, קישר בין הנוסחאות בהסתברות לביטויים רב-איבריים ועוד. בכך סיכם ברנולי את תורת ההסתברות הנאיבית, שעסקה במאורעות שווי-הסתברות בהם סכום ההסתברויות שווה ל-1, ושבכל שלב יש מספר סופי של אפשרויות בדידות. כך סוכמה עבודתם של פסקל, פרמה והויגנס.
ברנולי מצא את הנוסחה לבעיית המשחק בעל אורך בלתי מוגבל שהציג הויגנס, ופתר מספר מקרים פרטיים שלה. למשל, אם שני שחקנים  A,B משחקים משחק, בו המנצח צריך להשיג תוצאה של  6 בקובייה בודדת. הזריקות מתבצעות בסדר הבא: בשלב הראשון  A זורק פעם אחת ואחריו  B זורק פעם אחת, בשלב השני  A זורק פעמיים ואחריו  B זורק פעמיים, בשלב הבא הם זורקים שלוש פעמים בזה אחר זה, וכן הלאה עד אינסוף. נסמן  q={\frac {5}{6}} ונסמן  p=1-q={\frac {1}{6}}.
ההסתברות שהמשחק יסתיים בשלב הראשון היא ההסתברות ששחקן  A ינצח,  p, ועוד ההסתברות ששחקן  B ינצח,  q\cdot p (שכן צריך ששחקן  A לא ינצח, וזה מתרחש בהסתברות  q). באופן דומה, ההסתברות שהמשחק יסתיים בשלב השני היא ההסתברות ששחקן  A ינצח בשלב השני,  q^{2}\cdot p, ועוד ההסתברות ששחקן  B ינצח  q^{3}\cdot p=q^{2}\cdot q\cdot p. וכן הלאה, ההסתברות שהמשחק יסתיים בשלב ה- k היא ההסתברות ששחקן  A ינצח,  q^{2(k-1)}\cdot p, ועוד ההסתברות ששחקן  B ינצח,  q^{2(k-1)+1}\cdot p. בסך הכל נקבל כי ההסתברות למאורע שהמשחק יסתיים בשלב כלשהו, היא הטור האינסופי:  \left[p+q\cdot p\right]+q^{2}\cdot \left[p+q\cdot p\right]+q^{4}\cdot \left[p+q\cdot p\right]+\dots . אם נסמן בקיצור  r:=p+q\cdot p, נקבל כי ההסתברות שהמשחק יסתיים בשלב כלשהו היא  r\cdot \sum _{k=0}^{\infty }q^{2k}, והיות ש- 0<q<1 נובע כי טור זה אכן מתכנס, כפי שנוסח באופן פורמלי שנים רבות לאחר עבודתו של ברנולי. הייתה זו הפעם הראשונה בה בעיה בהסתברות נפתרה באמצעות סכום אינסופי.