כלל השרשרת (הסתברות)

בתורת ההסתברות, כלל השרשרת (נקרא גם כלל המכפלה הכללי) מתאר כיצד לחשב את ההסתברות של חיתוך מאורעות, לא בהכרח בלתי תלויים, או את ההתפלגות המשותפת של משתנים מקריים בהתאמה, באמצעות הסתברויות מותנות. כלל השרשרת משמש במיוחד בהקשר של תהליכים סטוכסטיים בדידים וביישומים, למשל בחקר של רשתות בייסיאניות, המתארות התפלגות הסתברות במונחים של הסתברויות מותנות. לשני מאורעות A {\displaystyle A} ו B {\displaystyle B} , קובע כלל השרשרת P ( A ∩ B ) = P ( B ∣ A ) P ( A ) {\displaystyle \mathbb {P} (A\cap B)=\mathbb {P} (B\mid A)\mathbb {P} (A)} , כאשר P ( B ∣ A ) {\displaystyle \mathbb {P} (B\mid A)} מציין את ההסתברות המותנית של B {\displaystyle B} בהינתן A {\displaystyle A} . בכד א' יש כדור שחור אחד ו-2 כדורים לבנים, ובכד אחר ב' יש כדור שחור אחד ו-3 כדורים לבנים. נניח שבוחרים כד באקראי ואז מוציאים באקראי כדור מאותו הכד. יהי אירוע A {\displaystyle A} הבחירה בכד א', כלומר P ( A ) = P ( A ¯ ) = 1 / 2 {\displaystyle \mathbb {P} (A)=\mathbb {P} ({\overline {A}})=1/2} , כאשר A ¯ {\displaystyle {\overline {A}}} הוא המאורע המשלים ל A {\displaystyle A} (במקרה זה, המאורע של בחירת כד ב'). יהי אירוע B {\displaystyle B} האפשרות שנוציא כדור לבן. ההסתברות להוצאת כדור לבן, בהינתן שכד א' נבחר, היא P ( B | A ) = 2 / 3 {\displaystyle \mathbb {P} (B|A)=2/3} . חיתוך המאורעות, A ∩ B {\displaystyle A\cap B} , מתאר אם כן את בחירת א' והוצאת כדור לבן מתוכו. ניתן לחשב את ההסתברות למאורע זה על ידי כלל השרשרת באופן הבא: P ( A ∩ B ) = P ( B ∣ A ) P ( A ) = 2 3 ⋅ 1 2 = 1 3 . {\displaystyle \mathbb {P} (A\cap B)=\mathbb {P} (B\mid A)\mathbb {P} (A)={\frac {2}{3}}\cdot {\frac {1}{2}}={\frac {1}{3}}.} למאורעות A 1 , … , A n {\displaystyle A_{1},\ldots ,A_{n}} , שהסתברות החיתוך שלהם אינו אפס, יהיה כלל השרשרת P ( A 1 ∩ A 2 ∩ … ∩ A n ) = P ( A n ∣ A 1 ∩ … ∩ A n − 1 ) P ( A 1 ∩ … ∩ A n − 1 ) = P ( A n ∣ A 1 ∩ … ∩ A n − 1 ) P ( A n − 1 ∣ A 1 ∩ … ∩ A n − 2 ) P ( A 1 ∩ … ∩ A n − 2 ) = P ( A n ∣ A 1 ∩ … ∩ A n − 1 ) P ( A n − 1 ∣ A 1 ∩ … ∩ A n − 2 ) ⋅ … ⋅ P ( A 3 ∣ A 1 ∩ A 2 ) P ( A 2 ∣ A 1 ) P ( A 1 ) = P ( A 1 ) P ( A 2 ∣ A 1 ) P ( A 3 ∣ A 1 ∩ A 2 ) ⋅ … ⋅ P ( A n ∣ A 1 ∩ ⋯ ∩ A n − 1 ) = ∏ k = 1 n P ( A k ∣ A 1 ∩ ⋯ ∩ A k − 1 ) = ∏ k = 1 n P ( A k | ⋂ j = 1 k − 1 A j ) . {\displaystyle {\begin{aligned}\mathbb {P} \left(A_{1}\cap A_{2}\cap \ldots \cap A_{n}\right)&=\mathbb {P} \left(A_{n}\mid A_{1}\cap \ldots \cap A_{n-1}\right)\mathbb {P} \left(A_{1}\cap \ldots \cap A_{n-1}\right)\\&=\mathbb {P} \left(A_{n}\mid A_{1}\cap \ldots \cap A_{n-1}\right)\mathbb {P} \left(A_{n-1}\mid A_{1}\cap \ldots \cap A_{n-2}\right)\mathbb {P} \left(A_{1}\cap \ldots \cap A_{n-2}\right)\\&=\mathbb {P} \left(A_{n}\mid A_{1}\cap \ldots \cap A_{n-1}\right)\mathbb {P} \left(A_{n-1}\mid A_{1}\cap \ldots \cap A_{n-2}\right)\cdot \ldots \cdot \mathbb {P} (A_{3}\mid A_{1}\cap A_{2})\mathbb {P} (A_{2}\mid A_{1})\mathbb {P} (A_{1})\\&=\mathbb {P} (A_{1})\mathbb {P} (A_{2}\mid A_{1})\mathbb {P} (A_{3}\mid A_{1}\cap A_{2})\cdot \ldots \cdot \mathbb {P} (A_{n}\mid A_{1}\cap \dots \cap A_{n-1})\\&=\prod _{k=1}^{n}\mathbb {P} (A_{k}\mid A_{1}\cap \dots \cap A_{k-1})\\&=\prod _{k=1}^{n}\mathbb {P} \left(A_{k}\,{\Bigg |}\,\bigcap _{j=1}^{k-1}A_{j}\right).\end{aligned}}} עבור n = 4 {\displaystyle n=4} , כלומר ארבעה מאורעות, כלל השרשרת יהיה P ( A 1 ∩ A 2 ∩ A 3 ∩ A 4 ) = P ( A 4 ∣ A 3 ∩ A 2 ∩ A 1 ) P ( A 3 ∩ A 2 ∩ A 1 ) = P ( A 4 ∣ A 3 ∩ A 2 ∩ A 1 ) P ( A 3 ∣ A 2 ∩ A 1 ) P ( A 2 ∩ A 1 ) = P ( A 4 ∣ A 3 ∩ A 2 ∩ A 1 ) P ( A 3 ∣ A 2 ∩ A 1 ) P ( A 2 ∣ A 1 ) P ( A 1 ) {\displaystyle {\begin{aligned}\mathbb {P} (A_{1}\cap A_{2}\cap A_{3}\cap A_{4})&=\mathbb {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\mathbb {P} (A_{3}\cap A_{2}\cap A_{1})\\&=\mathbb {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\mathbb {P} (A_{3}\mid A_{2}\cap A_{1})\mathbb {P} (A_{2}\cap A_{1})\\&=\mathbb {P} (A_{4}\mid A_{3}\cap A_{2}\cap A_{1})\mathbb {P} (A_{3}\mid A_{2}\cap A_{1})\mathbb {P} (A_{2}\mid A_{1})\mathbb {P} (A_{1})\end{aligned}}} . שולפים באקראי ארבעה קלפים זה אחר זה ללא החזרה מחפיסה סטנדרטית של 52 קלפים. מה ההסתברות שייבחרו 4 אסים? ראשית, נסמן ב A n {\textstyle A_{n}} את המאורע "קבלת אס בשליפה ה n {\textstyle n} ". ההסתברויות למאורעות A 1 , A 2 , A 3 , A 4 {\textstyle A_{1},A_{2},A_{3},A_{4}} תהינה P ( A 1 ) = 4 52 , P ( A 2 ∣ A 1 ) = 3 51 , P ( A 3 ∣ A 1 ∩ A 2 ) = 2 50 , P ( A 4 ∣ A 1 ∩ A 2 ∩ A 3 ) = 1 49 {\displaystyle \mathbb {P} (A_{1})={\frac {4}{52}},\qquad \mathbb {P} (A_{2}\mid A_{1})={\frac {3}{51}},\qquad \mathbb {P} (A_{3}\mid A_{1}\cap A_{2})={\frac {2}{50}},\qquad \mathbb {P} (A_{4}\mid A_{1}\cap A_{2}\cap A_{3})={\frac {1}{49}}} . וביישום של כלל השרשרת P ( A 1 ∩ A 2 ∩ A 3 ∩ A 4 ) = 4 52 ⋅ 3 51 ⋅ 2 50 ⋅ 1 49 {\displaystyle \mathbb {P} (A_{1}\cap A_{2}\cap A_{3}\cap A_{4})={\frac {4}{52}}\cdot {\frac {3}{51}}\cdot {\frac {2}{50}}\cdot {\frac {1}{49}}} . יהי ( Ω , A , P ) {\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )} מרחב הסתברות. נזכיר כי ההסתברות המותנית של A ∈ A {\displaystyle A\in {\mathcal {A}}} בהינתן B ∈ A {\displaystyle B\in {\mathcal {A}}} מוגדר כ P ( A ∣ B ) := { P ( A ∩ B ) P ( B ) , P ( B ) > 0 , 0 P ( B ) = 0. {\displaystyle {\begin{aligned}\mathbb {P} (A\mid B):={\begin{cases}{\frac {\mathbb {P} (A\cap B)}{\mathbb {P} (B)}},&\mathbb {P} (B)>0,\\0&\mathbb {P} (B)=0.\end{cases}}\end{aligned}}} יש לנו את המשפט הבא: משפט: כלל השרשרת יהי ( Ω , A , P ) {\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )} מרחב הסתברות. ויהיו A 1 , . . . , A n ∈ A {\displaystyle A_{1},...,A_{n}\in {\mathcal {A}}} אזי P ( A 1 ∩ A 2 ∩ … ∩ A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) P ( A 3 ∣ A 1 ∩ A 2 ) ⋅ … ⋅ P ( A n ∣ A 1 ∩ ⋯ ∩ A n − 1 ) = P ( A 1 ) ∏ j = 2 n P ( A j ∣ A 1 ∩ ⋯ ∩ A j − 1 ) . {\displaystyle {\begin{aligned}\mathbb {P} \left(A_{1}\cap A_{2}\cap \ldots \cap A_{n}\right)&=\mathbb {P} (A_{1})\mathbb {P} (A_{2}\mid A_{1})\mathbb {P} (A_{3}\mid A_{1}\cap A_{2})\cdot \ldots \cdot \mathbb {P} (A_{n}\mid A_{1}\cap \dots \cap A_{n-1})\\&=\mathbb {P} (A_{1})\prod _{j=2}^{n}\mathbb {P} (A_{j}\mid A_{1}\cap \dots \cap A_{j-1}).\end{aligned}}} הוכחה: ההוכחה היא באמצעות שימוש ברקורסיה הבאה ( 1 ) P ( A 1 ) P ( A 2 ∣ A 1 ) = P ( A 1 ∩ A 2 ) ( 2 ) P ( A 1 ) P ( A 2 ∣ A 1 ) P ( A 3 ∣ A 1 ∩ A 2 ) = P ( A 1 ∩ A 2 ) P ( A 3 ∣ A 1 ∩ A 2 ) = P ( A 1 ∩ A 2 ∩ A 3 ) , {\displaystyle {\begin{aligned}(1)&&&\mathbb {P} (A_{1})\mathbb {P} (A_{2}\mid A_{1})&=&\qquad \mathbb {P} (A_{1}\cap A_{2})\\(2)&&&\mathbb {P} (A_{1})\mathbb {P} (A_{2}\mid A_{1})\mathbb {P} (A_{3}\mid A_{1}\cap A_{2})&=&\qquad \mathbb {P} (A_{1}\cap A_{2})\mathbb {P} (A_{3}\mid A_{1}\cap A_{2})\\&&&&=&\qquad \mathbb {P} (A_{1}\cap A_{2}\cap A_{3}),\end{aligned}}} כאשר בצעד הראשון השתמשנו בהגדרה של הסתברות מותנית. עבור שני משתנים מקריים בדידים X , Y {\displaystyle X,Y} , נעזר במאורעות A := { X = x } {\displaystyle A:=\{X=x\}} ו B := { Y = y } {\displaystyle B:=\{Y=y\}} ובהגדרה לעיל, למציאת ההתפלגות המשותפת P ( X = x , Y = y ) = P ( X = x ∣ Y = y ) P ( Y = y ) , {\displaystyle \mathbb {P} (X=x,Y=y)=\mathbb {P} (X=x\mid Y=y)\mathbb {P} (Y=y),} P ( X , Y ) ( x , y ) = P X ∣ Y ( x ∣ y ) P Y ( y ) , {\displaystyle \mathbb {P} _{(X,Y)}(x,y)=\mathbb {P} _{X\mid Y}(x\mid y)\mathbb {P} _{Y}(y),} כאשר P X ( x ) := P ( X = x ) {\displaystyle \mathbb {P} _{X}(x):=\mathbb {P} (X=x)} היא התפלגות ההסתברות של X {\displaystyle X} ו P X ∣ Y ( x ∣ y ) {\displaystyle \mathbb {P} _{X\mid Y}(x\mid y)} התפלגות ההסתברות המותנית של X {\displaystyle X} בהינתן Y {\displaystyle Y} . יהיו X 1 , … , X n {\displaystyle X_{1},\ldots ,X_{n}} משתנים מקריים ו x 1 , … , x n ∈ R {\displaystyle x_{1},\dots ,x_{n}\in \mathbb {R} } . לפי הגדרת ההסתברות המותנית, P ( X n = x n , … , X 1 = x 1 ) = P ( X n = x n | X n − 1 = x n − 1 , … , X 1 = x 1 ) P ( X n − 1 = x n − 1 , … , X 1 = x 1 ) {\displaystyle \mathbb {P} \left(X_{n}=x_{n},\ldots ,X_{1}=x_{1}\right)=\mathbb {P} \left(X_{n}=x_{n}|X_{n-1}=x_{n-1},\ldots ,X_{1}=x_{1}\right)\mathbb {P} \left(X_{n-1}=x_{n-1},\ldots ,X_{1}=x_{1}\right)} ובאמצעות כלל השרשרת, שבו סימנו A k := { X k = x k } {\displaystyle A_{k}:=\{X_{k}=x_{k}\}} , נוכל למצוא את ההתפלגות המשותפת כ P ( X 1 = x 1 , … X n = x n ) = P ( X 1 = x 1 ∣ X 2 = x 2 , … , X n = x n ) P ( X 2 = x 2 , … , X n = x n ) = P ( X 1 = x 1 ) P ( X 2 = x 2 ∣ X 1 = x 1 ) P ( X 3 = x 3 ∣ X 1 = x 1 , X 2 = x 2 ) ⋅ … ⋅ P ( X n = x n ∣ X 1 = x 1 , … , X n − 1 = x n − 1 ) {\displaystyle {\begin{aligned}\mathbb {P} \left(X_{1}=x_{1},\ldots X_{n}=x_{n}\right)&=\mathbb {P} \left(X_{1}=x_{1}\mid X_{2}=x_{2},\ldots ,X_{n}=x_{n}\right)\mathbb {P} \left(X_{2}=x_{2},\ldots ,X_{n}=x_{n}\right)\\&=\mathbb {P} (X_{1}=x_{1})\mathbb {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\mathbb {P} (X_{3}=x_{3}\mid X_{1}=x_{1},X_{2}=x_{2})\cdot \ldots \\&\qquad \cdot \mathbb {P} (X_{n}=x_{n}\mid X_{1}=x_{1},\dots ,X_{n-1}=x_{n-1})\\\end{aligned}}} עבור n = 3 {\displaystyle n=3} , כלומר עבור שלושה משתנים אקראיים שנסמן ב X 1 , X 2 , X 3 {\displaystyle X_{1},X_{2},X_{3}} , יהיה כלל השרשרת P ( X 1 , X 2 , X 3 ) ( x 1 , x 2 , x 3 ) = P ( X 1 = x 1 , X 2 = x 2 , X 3 = x 3 ) = P ( X 3 = x 3 ∣ X 2 = x 2 , X 1 = x 1 ) P ( X 2 = x 2 , X 1 = x 1 ) = P ( X 3 = x 3 ∣ X 2 = x 2 , X 1 = x 1 ) P ( X 2 = x 2 ∣ X 1 = x 1 ) P ( X 1 = x 1 ) = P X 3 ∣ X 2 , X 1 ( x 3 ∣ x 2 , x 1 ) P X 2 ∣ X 1 ( x 2 ∣ x 1 ) P X 1 ( x 1 ) . {\displaystyle {\begin{aligned}\mathbb {P} _{(X_{1},X_{2},X_{3})}(x_{1},x_{2},x_{3})&=\mathbb {P} (X_{1}=x_{1},X_{2}=x_{2},X_{3}=x_{3})\\&=\mathbb {P} (X_{3}=x_{3}\mid X_{2}=x_{2},X_{1}=x_{1})\mathbb {P} (X_{2}=x_{2},X_{1}=x_{1})\\&=\mathbb {P} (X_{3}=x_{3}\mid X_{2}=x_{2},X_{1}=x_{1})\mathbb {P} (X_{2}=x_{2}\mid X_{1}=x_{1})\mathbb {P} (X_{1}=x_{1})\\&=\mathbb {P} _{X_{3}\mid X_{2},X_{1}}(x_{3}\mid x_{2},x_{1})\mathbb {P} _{X_{2}\mid X_{1}}(x_{2}\mid x_{1})\mathbb {P} _{X_{1}}(x_{1}).\end{aligned}}} René L. Schilling (2021), Measure, Integral, Probability & Processes - Probab(ilistical)ly the Theoretical Minimum (1 ed.), Technische Universität Dresden, Germany, ISBN 979-8-5991-0488-9 William Feller (1968), An Introduction to Probability Theory and Its Applications, vol. I (3 ed.), New York / London / Sydney: Wiley, ISBN 978-0-471-25708-0, p. 496. Schilling, René L. (2021). Measure, Integral, Probability & Processes - Probab(ilistical)ly the Theoretical Minimum. Technische Universität Dresden, Germany. p. 136ff. ISBN 979-8-5991-0488-9. Schum, David A. (1994). The Evidential Foundations of Probabilistic Reasoning. Northwestern University Press. p. 49. ISBN 978-0-8101-1821-8. Klugh, Henry E. (2013). Statistics: The Essentials for Research (3rd ed.). Psychology Press. p. 149. ISBN 978-1-134-92862-0.