חוק המספרים הגדולים

בתורת ההסתברות ובסטטיסטיקה, חוק המספרים הגדולים הוא שמם המשותף של שני משפטים העוסקים בהתנהגות הממוצע במדגמים גדולים, הנקראים החוק החלש והחוק החזק. משפט הגבול המרכזי מספק תיאור מדויק יותר של התנהגות הממוצע, אבל חוקי המספרים הגדולים חלים במקרים כלליים יותר. החוק החלש של המספרים הגדולים קובע כי סדרת הממוצעים מתכנסת בהסתברות אל התוחלת, כלומר, הסיכוי של הממוצע להיות רחוק מן התוחלת שואף לאפס כאשר גודל המדגם שואף לאינסוף. תהי X 1 , X 2 , … {\displaystyle X_{1},X_{2},\dots } סדרה של משתנים מקריים בלתי מתואמים, בעלי אותה תוחלת סופית μ {\displaystyle \mu } ואותה שונות סופית σ 2 {\displaystyle \sigma ^{2}} . נסמן X ¯ n = X 1 + ⋯ + X n n {\displaystyle {\bar {X}}_{n}={\frac {X_{1}+\dots +X_{n}}{n}}} . החוק החלש של המספרים הגדולים קובע שלכל ε > 0 {\displaystyle \varepsilon >0} מתקיים lim n → ∞ P ( | X ¯ n − μ | < ε ) = 1 {\displaystyle \lim _{n\rightarrow \infty }{P(|{\bar {X}}_{n}-\mu |<\varepsilon )}=1} . ניתן להוכיח גרסה זו מאי-שוויון צ'בישב: [ Var ⁡ ( x ¯ ) = Var ⁡ ( 1 n ∑ k = 1 N x k ) ) = 1 n 2 Var ⁡ ( ∑ k = 1 N x k ) ) = 1 n 2 ⋅ n σ 2 = σ 2 n ] {\textstyle [\operatorname {Var} ({\bar {x}})=\operatorname {Var} ({\tfrac {1}{n}}\sum _{k=1}^{N}x_{k}))={\tfrac {1}{n^{2}}}\operatorname {Var} (\sum _{k=1}^{N}x_{k}))={\tfrac {1}{n^{2}}}\cdot n\sigma ^{2}={\tfrac {\sigma ^{2}}{n}}]} P ( | X ¯ n − μ | > ε ) ≤ Var ( X ¯ n ) ε 2 = σ 2 / n ε 2 = σ 2 n ε 2 → 0 {\displaystyle P(|{\bar {X}}_{n}-\mu |>\varepsilon )\leq {\frac {{\operatorname {Var} }({\bar {X}}_{n})}{\varepsilon ^{2}}}={\frac {\sigma ^{2}/n}{\varepsilon ^{2}}}={\frac {\sigma ^{2}}{n\varepsilon ^{2}}}\to 0} ניתן להחליש את תנאי המשפט – אין צורך להניח כי למשתנים המקריים יש שונות סופית, אם כי במקרה זה לא מספיק להניח שהמשתנים המקריים בלתי מתואמים, אלא צריך להניח אי תלות מלאה, וכן שהם שווי התפלגות. הוכחת גרסה זו מסובכת יותר. ראשית נוכיח כי יש התכנסות של הממוצע אל התוחלת בהתפלגות. ידוע כי טענה זו שקולה לכך שיש התכנסות של הפונקציה האופיינית: φ X ¯ n → φ μ {\displaystyle \varphi _{{\bar {X}}_{n}}\to \varphi _{\mu }} . בנוסף, ידוע ש- φ X i ( t ) = 1 + i t μ + o ( t ) , t → 0 {\displaystyle \varphi _{X_{i}}(t)=1+it\mu +o(t),t\to 0} , ולכן: φ X ¯ n ( t ) = E [ e i t X ¯ n ] = E [ e i t n ( X 1 + ⋯ + X n ) ] = ∏ j = 1 n E [ e i t n X j ] = ( φ X 1 ( t n ) ) n = ( 1 + i t μ n + o ( t n ) ) n = e n ln ⁡ ( 1 + i t μ n + o ( t n ) → e i t μ {\displaystyle \varphi _{{\bar {X}}_{n}}(t)=E[e^{it{\bar {X}}_{n}}]=E[e^{{\frac {it}{n}}(X_{1}+\dots +X_{n})}]=\prod _{j=1}^{n}{E[e^{{\frac {it}{n}}X_{j}}]}=(\varphi _{X_{1}}({\frac {t}{n}}))^{n}=(1+{\frac {it\mu }{n}}+o({\frac {t}{n}}))^{n}=e^{n\ln {(1+{\frac {it\mu }{n}}+o({\frac {t}{n}})}}\to e^{it\mu }} וזו אכן הפונקציה האופיינית של המ"מ הקבוע μ {\displaystyle \mu } . כעת, ניתן להוכיח את טענת המשפט. מתקיים: P ( | X ¯ n − μ | > ε ) = P ( X ¯ n − μ > ε ) + P ( X ¯ n − μ < − ε ) ≤ P ( X ¯ n − μ > ε 2 ) + F X ¯ n ( μ − ε ) = {\displaystyle P(|{\bar {X}}_{n}-\mu |>\varepsilon )=P({\bar {X}}_{n}-\mu >\varepsilon )+P({\bar {X}}_{n}-\mu <-\varepsilon )\leq P({\bar {X}}_{n}-\mu >{\frac {\varepsilon }{2}})+F_{{\bar {X}}_{n}}(\mu -\varepsilon )=} = 1 − P ( X ¯ n − μ < ε 2 ) + F X ¯ n ( μ − ε ) = 1 − F X ¯ n ( μ + ε 2 ) + F X ¯ n ( μ − ε ) {\displaystyle =1-P({\bar {X}}_{n}-\mu <{\frac {\varepsilon }{2}})+F_{{\bar {X}}_{n}}(\mu -\varepsilon )=1-F_{{\bar {X}}_{n}}(\mu +{\frac {\varepsilon }{2}})+F_{{\bar {X}}_{n}}(\mu -\varepsilon )} כעת, לפי החלק הראשון, מתקיים F X ¯ n ( x ) → F μ ( x ) = { 1 x ≥ μ 0 x < μ {\displaystyle F_{{\bar {X}}_{n}}(x)\to {F}_{\mu }(x)={\begin{cases}1\quad \quad x\geq \mu \\0\quad \quad x<\mu \end{cases}}} , ולכן P ( | X ¯ n − μ | > ε ) ≤ 1 − F X ¯ n ( μ + ε 2 ) + F X ¯ n ( μ − ε ) → 1 − 1 + 0 = 0 {\displaystyle P(|{\bar {X}}_{n}-\mu |>\varepsilon )\leq 1-F_{{\bar {X}}_{n}}(\mu +{\frac {\varepsilon }{2}})+F_{{\bar {X}}_{n}}(\mu -\varepsilon )\to 1-1+0=0} כפי שנטען במשפט. החוק החזק של המספרים הגדולים קובע שסדרת הממוצעים מתכנסת כמעט בוודאות, ושגבולה הוא התוחלת. מהתכנסות כמעט בוודאות הנובעת מהחוק החזק אפשר להסיק את החוק החלש; מצד שני, ההתכנסות בהתפלגות של 1 n ( X 1 + ⋯ + X n ) {\displaystyle {\frac {1}{\sqrt {n}}}(X_{1}+\cdots +X_{n})} שאותה מבטיח משפט הגבול המרכזי, גוררת התכנסות כמעט בוודאות של הממוצעים. תהי X 1 , X 2 , … , X n {\displaystyle X_{1},X_{2},\dots ,X_{n}} סדרה של משתנים מקריים בלתי תלויים בעלי אותה התפלגות, שיש לה תוחלת μ {\displaystyle \mu } סופית ואינטגרבילית לבג (שונות סופית אינה נדרשת). נסמן X ¯ n = ( X 1 + ⋯ + X n ) / n {\displaystyle {\bar {X}}_{n}=(X_{1}+\dots +X_{n})/n} . החוק החזק של המספרים הגדולים קובע שבהסתברות 1, מתקיים lim n → ∞ X ¯ n = μ {\displaystyle \lim _{n\rightarrow \infty }{\bar {X}}_{n}=\mu } . המתמטיקאי אנדריי קולמוגורוב הראה שהמשפט מתקיים גם אם המשתנים אינם שווי התפלגות, ובלבד שיש להם אותה תוחלת, ושסדרת השונויות מקיימת את תנאי קולמוגורוב: הטור ∑ V ( X n ) n 2 {\displaystyle \sum {\frac {V(X_{n})}{n^{2}}}} מתכנס. ייתכנו מקרים בהם החוק החזק אינו תקף מכיוון שערך התוחלת של המשתנה המקרי בערך מוחלט אינו סופי - כלומר מתקיים E X + = E X − = ∞ {\displaystyle EX^{+}=EX^{-}=\infty } , ואילו החוק החלש כן תקף. בתורת ההסתברות מנסים למצוא תנאים אחרים או חלשים יותר בהם מתקיימים משפטי גבול שונים. שני החוקים שונים מהותית ואין חוק שמכליל את שניהם. התנאים עבור כל אחד מהחוקים נותר שונה; החוק החלש חל במקרים יותר כלליים מהחוק החזק. מתמטיקאים חלוקים בדעתם לגבי האפשרות למצוא חוק אחד שיכליל את שני החוקים, ולגבי חשיבות החוק החלש לעומת החזק להלן מספר דוגמאות בהם תנאי החוק החזק אינם תקפים אך החוק החלש תקף: טרנספורמציה של מ"מ X {\displaystyle X} המתפלג מעריכית עם פרמטר 1, בעל התוחלת: E ( sin ⁡ ( x ) e x x ) =   ∫ 0 ∞ sin ⁡ ( x ) e x x e − x d x = π 2 {\displaystyle E\left({\frac {\sin(x)e^{x}}{x}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}} . טרנספורמציה של מ"מ בדיד X {\displaystyle X} המתפלג גאומטרית עם הסתברות 0.5 בעלת התוחלת : E ( 2 x ( − 1 ) x x ) =   ∑ 1 ∞ 2 x ( − 1 ) x x 2 − x = − l n ( 2 ) {\displaystyle E\left({\frac {2^{x}(-1)^{x}}{x}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-ln(2)} . עבור ההתפלגות F ( x ) = { 1 − e 2 x ln ⁡ ( x ) x ≥ e e − 2 x ln ⁡ ( − x ) x ≤ − e {\displaystyle F(x)={\begin{cases}1-{\frac {e}{2x\ln(x)}}&x\geq e\\{\frac {e}{-2x\ln(-x)}}&x\leq -e\end{cases}}} (להרחבה ראו גם כאן (אורכב 26.08.2014 בארכיון Wayback Machine)) חוק המספרים הגדולים הוא משפט חשוב בתורת ההסתברות, לו יישומים בתורה עצמה ומחוצה לה. חוק המספרים הגדולים בעצם מפרמל את העובדה הפשוטה, שכשממצעים מספיק דגימות, ההתפלגות תהיה בערך כמו התוחלת. עובדה זו משמעותית בסטטיסטיקה, כי היא אומרת שגם אם לעיתים עלולות להיות שגיאות ב"ניסוי", לאורך זמן הן תהיינה זניחות (באופן מעשי משתמשים במשפט הגבול המרכזי, שגם מעריך את השגיאה בכל שלב; אבל בשביל האינטואיציה גם חוק המספרים הגדולים מספיק). בעזרת החוק החלש ניתן לחשב גבולות של אינטגרלים. למשל, נציג דרך לחישוב הגבול L = lim n → ∞ ∫ 0 1 … ∫ 0 1 sin ⁡ ( x 1 + ⋯ + x n n ) d x 1 … d x n {\displaystyle L=\lim _{n\to \infty }\int _{0}^{1}\dots \int _{0}^{1}\sin \left({\frac {x_{1}+\dots +x_{n}}{n}}\right)dx_{1}\dots dx_{n}} . כדי לעשות זאת, ניקח משתנים מקריים בלתי תלויים X 1 , … , X n {\displaystyle X_{1},\dots ,X_{n}} מתפלגים אחיד על [ 0 , 1 ] {\displaystyle [0,1]} (עם מידת לבג). למשתנים אלו תוחלת 1 2 {\displaystyle {\frac {1}{2}}} , ובפרט סופית. כעת, המשתנים x 1 , … , x n {\displaystyle x_{1},\dots ,x_{n}} במרחב האוקלידי הם בלתי תלויים, ולכן האינטגרל הוא E [ sin ⁡ ( X 1 + … X n n ) ] {\displaystyle E\left[\sin \left({\frac {X_{1}+\dots X_{n}}{n}}\right)\right]} . כעת, לפי חוק המספרים החלש יש התכנסות X 1 + ⋯ + X n n → d μ {\displaystyle {\frac {X_{1}+\dots +X_{n}}{n}}{\overset {d}{\to }}\mu } ; התכנסות בהתפלגות שקולה להתכנסות חלשה, ולכן מתקיים L = E [ sin ⁡ ( 1 2 ) ] = sin ⁡ ( 1 2 ) {\displaystyle L=E\left[\sin \left({\frac {1}{2}}\right)\right]=\sin \left({\frac {1}{2}}\right)} . ערך מורחב – מספר נורמלי בעזרת החוק החזק אפשר להוכיח שכמעט כל המספרים הממשיים הם מספרים נורמליים, כלומר הספרות בפיתוח העשרוני שלהם מופיעות כאילו נבחרו באקראי תחת התפלגות שווה. עם זאת, קשה להצביע על מספרים קונקרטיים המקיימים את התכונה. התורה הארגודית מכלילה את חוק המספרים הגדולים. ביתר פירוט, משפט הארגודיות של בירקהוף מוכיח את החוק החזק של המספרים הגדולים, ומאפשר גם להכליל אותו למקרים רבים נוספים (כגון מקרים מסוימים בהם יש תלות בין משתנים שונים). משפט הגבול המרכזי חוק המספרים הקטנים משפט ברי-אסן מדיה וקבצים בנושא חוק המספרים הגדולים בוויקישיתוף חוק המספרים הגדולים, באתר MathWorld (באנגלית) חוק המספרים הגדולים, באתר אנציקלופדיה בריטניקה (באנגלית) יוסי לוי, חוק המספרים הגדולים, באתר "נסיכת המדעים" Robert Matthews, ‏Not cricket, The Telegraph, 18 October 2001 ראו גם כאן