משפט שלושת הטורים של קולמוגורוב

בתורת ההסתברות ובפרט בתהליכים מקריים, משפט שלושת הטורים של קולמוגורוב מתאר קריטריון המאפיין התכנסות בהסתברות של תהליך מקרי. אחת ההוכחות של החוק החזק של המספרים הגדולים עושה שימוש במשפט זה יחד עם הלמה של קרונקר. המשפט קרוי על שמו של המתמטיקאי הרוסי אנדריי קולמוגורוב. תהי ( X n ) n = 1 ∞ {\displaystyle \left(X_{n}\right)_{n=1}^{\infty }} סדרה של משתנים מקריים בלתי-תלויים במרחב הסתברות ( Ω , F , P ) {\displaystyle \left(\Omega ,{\mathcal {F}},\mathbb {P} \right)} . מתקיים כי הטור ∑ n = 1 ∞ X n {\displaystyle \sum _{n=1}^{\infty }X_{n}} מתכנס כמעט בוודאות, אם ורק אם קיים קבוע A > 0 {\displaystyle A>0} , כך שמתקיימים שלושת התנאים הבאים גם יחד: הטור ∑ n = 1 ∞ P ( | X n | ≥ A ) {\displaystyle \sum _{n=1}^{\infty }\mathbb {P} \left(\left|X_{n}\right|\geq A\right)} מתכנס. נסמן Y n = X n ⋅ 1 { | X n | ≤ A } {\displaystyle Y_{n}=X_{n}\cdot 1_{\left\{\left|X_{n}\right|\leq A\right\}}} . הטור ∑ n = 1 ∞ E [ Y n ] {\displaystyle \sum _{n=1}^{\infty }\mathbf {E} \left[Y_{n}\right]} מתכנס. הטור ∑ n = 1 ∞ V a r ( Y n ) {\displaystyle \sum _{n=1}^{\infty }\mathbf {Var} \left(Y_{n}\right)} מתכנס. בכיוון ראשון, נראה כי אם שלושת התנאים מתקיימים אז הטור ∑ n = 1 ∞ X n {\displaystyle \sum _{n=1}^{\infty }X_{n}} מתכנס. מתנאי 1 יחד עם הלמה של בורל-קנטלי נובע כי X n = Y n {\displaystyle X_{n}=Y_{n}} בהסתברות 1 עבור כל n ∈ N {\displaystyle n\in \mathbb {N} } גדול מספיק. מתנאים 3-2 יחד עם משפט שני הטורים של קולמוגורוב נובע כי הטור ∑ n = 1 ∞ Y n {\displaystyle \sum _{n=1}^{\infty }Y_{n}} מתכנס בהסתברות. בכיוון השני, נראה כי אם הטור ∑ n = 1 ∞ X n {\displaystyle \sum _{n=1}^{\infty }X_{n}} מתכנס בהסתברות אז שלושת התנאים שבמשפט מתקיימים: נשים לב כי במקרה זה הטור ∑ n = 1 ∞ P ( | X n | ≥ A ) {\displaystyle \sum _{n=1}^{\infty }\mathbb {P} \left(\left|X_{n}\right|\geq A\right)} מתכנס עבור כל A > 0 {\displaystyle A>0} , שכן אם היה איזשהו A > 0 {\displaystyle A>0} שעבורו טור זה לא היה מתכנס, אז היינו מקבלים מהלמה של בורל-קנטלי כי המאורע { X n ≥ A } {\displaystyle \left\{X_{n}\geq A\right\}} מתרחש עבור אינסוף אינדקסים, ולכן היה נובע כי הטור ∑ n = 1 ∞ X n {\displaystyle \sum _{n=1}^{\infty }X_{n}} מתבדר בהסתברות, בסתירה להנחה. נראה כי תנאי 3 גורר את תנאי 2. מתנאי 1 המופעל למשל עבור A = 1 {\displaystyle A=1} , ואם נניח שמתקיים תנאי 3, אז ממשפט שני הטורים של קולמוגורוב נובע כי הטור ∑ n = 1 ∞ ( Y n − E [ Y n ] ) {\displaystyle \sum _{n=1}^{\infty }\left(Y_{n}-\mathbf {E} \left[Y_{n}\right]\right)} מתכנס בהסתברות. אבל מתנאי 1 יחד עם התכנסות בהסתברות הטור ∑ n = 1 ∞ X n {\displaystyle \sum _{n=1}^{\infty }X_{n}} נובע כי ∑ n = 1 ∞ Y n {\displaystyle \sum _{n=1}^{\infty }Y_{n}} מתכנס בהסתברות (מנימוק דומה לזה שבכיוון הראשון של ההוכחה), ולכן בהכרח גם ∑ n = 1 ∞ E [ Y n ] {\displaystyle \sum _{n=1}^{\infty }\mathbf {E} \left[Y_{n}\right]} מתכנס. תחילה נראה כי ניתן להניח ללא הגבלת הכלליות כי E [ Y n ] = 0 {\displaystyle \mathbf {E} \left[Y_{n}\right]=0} . נסמן Y n ′ {\displaystyle Y_{n}'} משתנה מקרי בלתי-תלוי ב- Y n {\displaystyle Y_{n}} ובעל אותה ההתפלגות. אזי אם נסמן Z n = Y n − Y n ′ {\displaystyle Z_{n}=Y_{n}-Y_{n}'} , נקבל סדרה של משתנים מקריים בלתי-תלויים וחסומים על ידי 2 {\displaystyle 2} (שכן Y n , Y n ′ {\displaystyle Y_{n},Y_{n}'} שניהם חסומים על ידי 1 {\displaystyle 1} ). כמו כן מתקיים V a r ( Z n ) = 2 V a r ( Y n ) {\displaystyle \mathbf {Var} \left(Z_{n}\right)=2\mathbf {Var} \left(Y_{n}\right)} , וכן גם הטור ∑ n = 1 ∞ Z n = ∑ n = 1 ∞ Y n − ∑ n = 1 ∞ Y n ′ {\displaystyle \sum _{n=1}^{\infty }Z_{n}=\sum _{n=1}^{\infty }Y_{n}-\sum _{n=1}^{\infty }Y_{n}'} מתכנס בהסתברות. אם כך נראה כי תנאי 3 מתקיים עבור ( Z n ) n = 1 ∞ {\displaystyle \left(Z_{n}\right)_{n=1}^{\infty }} , כלומר שהטור ∑ n = 1 ∞ V a r ( Z n ) {\displaystyle \sum _{n=1}^{\infty }\mathbf {Var} \left(Z_{n}\right)} מתכנס. דבר זה נראה באופן כללי בלמה הבאה. למה: תהי ( Z n ) n = 1 ∞ {\displaystyle \left(Z_{n}\right)_{n=1}^{\infty }} סדרה של משתנים מקריים בלתי-תלויים, בעלי תוחלת אפס ובעלי שונויות שנסמן V a r ( Z n ) = σ n 2 {\displaystyle \mathbf {Var} \left(Z_{n}\right)=\sigma _{n}^{2}} , החסומה בהסתברות על ידי קבוע C > 0 {\displaystyle C>0} כלשהו. אם הטור ∑ n = 1 ∞ Z n {\displaystyle \sum _{n=1}^{\infty }Z_{n}} מתכנס (בהסתברות) אזי הטור ∑ n = 1 ∞ σ n 2 {\displaystyle \sum _{n=1}^{\infty }\sigma _{n}^{2}} מתכנס. הוכחה: נסמן S i = Z 1 + Z 2 + ⋯ + Z i {\displaystyle S_{i}=Z_{1}+Z_{2}+\dots +Z_{i}} . עבור כל L > 0 {\displaystyle L>0} נגדיר τ L = min { i ≥ 0 ∣ | S i | ≥ L } {\displaystyle \tau _{L}=\min \left\{i\geq 0\mid \left|S_{i}\right|\geq L\right\}} . מההנחה בלמה לגבי החסימות, נובע כי P ( τ L = ∞ ) → 1 {\displaystyle \mathbb {P} \left(\tau _{L}=\infty \right)\to 1} כאשר L → ∞ {\displaystyle L\to \infty } . כמו כן אם τ L < ∞ {\displaystyle \tau _{L}<\infty } אז | S τ L | ≤ L + C {\displaystyle \left|S_{\tau _{L}}\right|\leq L+C} . היות שהנחנו כי התוחלות הן אפס וכי יש אי-תלות, נובע כי, E [ S n 2 ] = ∑ i = 1 n E [ Z i 2 ] + 2 ∑ 1 ≤ i < j ≤ n E [ Z i ⋅ Z j ] = ∑ i = 1 n σ i 2 {\displaystyle \mathbf {E} \left[S_{n}^{2}\right]=\sum _{i=1}^{n}\mathbf {E} \left[Z_{i}^{2}\right]+2\sum _{1\leq i<j\leq n}\mathbf {E} \left[Z_{i}\cdot Z_{j}\right]=\sum _{i=1}^{n}\sigma _{i}^{2}} נסמן n ∧ τ L = min { n , τ L } {\displaystyle n\wedge \tau _{L}=\min \left\{n,\tau _{L}\right\}} , ואם נחליף את n {\displaystyle n} ב- n ∧ τ L {\displaystyle n\wedge \tau _{L}} , נקבל כי, E [ S n ∧ τ L 2 ] = E [ ( ∑ j = 1 n Z j ⋅ 1 { j ≤ τ L } ) 2 ] = ∑ j = 1 n E [ Z j 2 ⋅ 1 { j ≤ τ L } ] + 2 ∑ 1 ≤ i < j ≤ n E [ Z i ⋅ Z j ⋅ 1 { j ≤ τ L } ] {\displaystyle \mathbf {E} \left[S_{n\wedge \tau _{L}}^{2}\right]=\mathbf {E} \left[\left(\sum _{j=1}^{n}Z_{j}\cdot 1_{\left\{j\leq \tau _{L}\right\}}\right)^{2}\right]=\sum _{j=1}^{n}\mathbf {E} \left[Z_{j}^{2}\cdot 1_{\left\{j\leq \tau _{L}\right\}}\right]+2\sum _{1\leq i<j\leq n}\mathbf {E} \left[Z_{i}\cdot Z_{j}\cdot 1_{\left\{j\leq \tau _{L}\right\}}\right]} נשים לב כי המאורע { j ≤ τ L } = { τ L < j − 1 } c {\displaystyle \left\{j\leq \tau _{L}\right\}=\left\{\tau _{L}<j-1\right\}^{c}} נקבע על ידי Z 1 , Z 2 , … , Z j − 1 {\displaystyle Z_{1},Z_{2},\dots ,Z_{j-1}} , ולכן הוא בלתי-תלוי ב- Z j {\displaystyle Z_{j}} . אם כך נקבל, ( L + C ) 2 ≥ E [ S n ∧ τ L 2 ] = ∑ j = 1 n σ j 2 ⋅ P ( j ≤ τ L ) + 2 ∑ 1 ≤ i < j ≤ n E [ Z i ⋅ 1 { j ≤ τ L } ] ⋅ E [ Z j ] ≥ P ( τ L = ∞ ) ⋅ ∑ j = 1 n σ j 2 {\displaystyle \left(L+C\right)^{2}\geq \mathbf {E} \left[S_{n\wedge \tau _{L}}^{2}\right]=\sum _{j=1}^{n}\sigma _{j}^{2}\cdot \mathbb {P} \left(j\leq \tau _{L}\right)+2\sum _{1\leq i<j\leq n}\mathbf {E} \left[Z_{i}\cdot 1_{\left\{j\leq \tau _{L}\right\}}\right]\cdot \mathbf {E} \left[Z_{j}\right]\geq \mathbb {P} \left(\tau _{L}=\infty \right)\cdot \sum _{j=1}^{n}\sigma _{j}^{2}} אם כך נבחר L > 0 {\displaystyle L>0} גדול דיו כך שיתקיים P ( τ L = ∞ ) > 0 {\displaystyle \mathbb {P} \left(\tau _{L}=\infty \right)>0} , ואם נשאיף n → ∞ {\displaystyle n\to \infty } נקבל כי הטור ∑ n = 1 ∞ σ n 2 {\displaystyle \sum _{n=1}^{\infty }\sigma _{n}^{2}} מתכנס, כנדרש. באמצעות משפט זה ניתן למצוא התנהגות מפתיעה של הגרסה האקראית של הטור ההרמוני המתחלף, השונה מההתנהגות המוכרת של הטור ההרמוני המתחלף. ממבחן לייבניץ להתכנסות טורים אנו יודעים כי הטור ∑ n = 1 ∞ ( − 1 ) n 1 n {\displaystyle \sum _{n=1}^{\infty }\left(-1\right)^{n}{\frac {1}{n}}} מתכנס וכמותו גם הטור ∑ n = 1 ∞ ( − 1 ) n 1 n {\displaystyle \sum _{n=1}^{\infty }\left(-1\right)^{n}{\frac {1}{\sqrt {n}}}} מתכנס. עם זאת נראה כי אם הסימנים אינם מתחלפים באופן דטרמיניסטי אלא מוגרלים אקראית, אפילו אם הם מוגרלים בהסתברות שווה — מתגלה התנהגות שונה. נתבונן בטור שבו הסימן של כל איבר נקבע בצורה אקראית. כלומר, תהי ( s n ) n = 1 ∞ {\displaystyle \left(\mathbf {s} _{n}\right)_{n=1}^{\infty }} סדרה של משתנים מקריים בלתי-תלויים, בעלי ההתפלגות P ( s n = + 1 ) = P ( s n = − 1 ) = 1 2 {\displaystyle \mathbb {P} \left(\mathbf {s} _{n}=+1\right)=\mathbb {P} \left(\mathbf {s} _{n}=-1\right)={\frac {1}{2}}} . נקבע איזושהי סדרה של מספרים חיוביים ( a n ) n = 1 ∞ {\displaystyle \left(a_{n}\right)_{n=1}^{\infty }} המתכנסת מונוטונית לאפס. לא קשה לראות ששני התנאים הראשונים מתקיימים תמיד (עבור כל בחירת קבוע A > 0 {\displaystyle A>0} ), וכי התנאי השלישי הוא שהטור ∑ n = 1 ∞ a n 2 {\displaystyle \sum _{n=1}^{\infty }a_{n}^{2}} יתכנס. אם כך עבור הטור ההרמוני האקראי המתקבל מהסדרה a n = 1 n {\displaystyle a_{n}={\frac {1}{n}}} תנאי זה מתקיים ולכן הוא מתכנס, בעוד שעבור הטור האקראי המתקבל מהסדרה a n = 1 n {\displaystyle a_{n}={\frac {1}{\sqrt {n}}}} תנאי זה אינו מתקיים ולכן הוא מתבדר. באופן כללי יותר, הטור האקראי המתקבל מהסדרה a n = 1 n α {\displaystyle a_{n}={\frac {1}{n^{\alpha }}}} מתכנס אם ורק אם α ≥ 1 / 2 {\displaystyle \alpha \geq 1/2} . Rongfeng Sun, Lacture notes on Probability Theory, Lacture 4 Durrett, Rick. "Probability: Theory and Examples." Duxbury advanced series, Third Edition, Thomson Brooks/Cole, 2005, Section 1.8, pp. 60–69.