שיטת המומנטים

בסטטיסטיקה, שיטת המומנטים היא שיטה שבאמצעותה אומדים פרמטרים המאפיינים התפלגות של אוכלוסייה מסוימת. בשיטה זו, נאמוד את המומנט ה- k {\displaystyle k} , באמצעות הממוצע של החזקה ה- k {\displaystyle k} . באומדים אלו נשתמש כדי לחלץ אומדים לפרמטרים הלא ידועים. נניח שההתפלגות שמתארת את האוכלוסייה מורכבת מ- k {\displaystyle k} פרמטרים בלתי ידועים: θ 1 , θ 2 , . . . , θ k {\displaystyle \theta _{1},\theta _{2},...,\theta _{k}} . פרמטרים אלו מרכיבים את פונקציית הצפיפות f W ( w ; θ ) {\displaystyle f_{W}(w;\theta )} של ההתפלגות של משתנה מקרי W {\displaystyle W} . נניח שניתן לבטא את k {\displaystyle k} המומנטים של ההתפלגות האמיתית כפונקציות של θ 1 , . . . , θ k {\displaystyle \theta _{1},...,\theta _{k}} . μ 1 ≡ E [ W ] = g 1 ( θ 1 , θ 2 , … , θ k ) , {\displaystyle \mu _{1}\equiv E[W]=g_{1}(\theta _{1},\theta _{2},\dots ,\theta _{k}),} μ 2 ≡ E [ W 2 ] = g 2 ( θ 1 , θ 2 , … , θ k ) , {\displaystyle \mu _{2}\equiv E[W^{2}]=g_{2}(\theta _{1},\theta _{2},\dots ,\theta _{k}),} ⋮ {\displaystyle \vdots } μ k ≡ E [ W k ] = g k ( θ 1 , θ 2 , … , θ k ) . {\displaystyle \mu _{k}\equiv E[W^{k}]=g_{k}(\theta _{1},\theta _{2},\dots ,\theta _{k}).} נבחר מדגם בגודל n {\displaystyle n} אשר את תוצאותיו נסמן w 1 , . . . , w n {\displaystyle w_{1},...,w_{n}} . עבור j = 1 , . . . , k {\displaystyle j=1,...,k} נסמן: μ ^ j = 1 n ∑ i = 1 n w i j {\displaystyle {\hat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}} להיות המומנט המדגמי ה- j {\displaystyle j} , אומד ל- μ j {\displaystyle \mu _{j}} . האומדים בשיטת המומנטים לפרמטרים θ 1 , θ 2 , … , θ k {\displaystyle \theta _{1},\theta _{2},\dots ,\theta _{k}} , אשר מסומנים θ ^ 1 , θ ^ 2 , … , θ ^ k {\displaystyle {\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}} , מוגדרים להיות הפתרון של מערכת המשוואות הבאה: μ ^ 1 = g 1 ( θ ^ 1 , θ ^ 2 , … , θ ^ k ) , {\displaystyle {\hat {\mu }}_{1}=g_{1}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),} μ ^ 2 = g 2 ( θ ^ 1 , θ ^ 2 , … , θ ^ k ) , {\displaystyle {\hat {\mu }}_{2}=g_{2}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),} ⋮ {\displaystyle \vdots } μ ^ k = g k ( θ ^ 1 , θ ^ 2 , … , θ ^ k ) . {\displaystyle {\hat {\mu }}_{k}=g_{k}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}).} יהיו X 1 , . . . , X n ∼ e x p ( θ ) {\displaystyle X_{1},...,X_{n}\sim exp(\theta )} משתנים מקריים המתפלגים מעריכית עם פרמטר θ {\displaystyle \theta } . נסמן: μ 1 = E [ X ] = 1 θ {\displaystyle \mu _{1}=E[X]={\frac {1}{\theta }}} , אזי μ ^ 1 = 1 θ ^ {\displaystyle {\hat {\mu }}_{1}={\frac {1}{\hat {\theta }}}} , כאשר μ ^ 1 = x ¯ = 1 n ∑ i = 1 n x i {\displaystyle {\hat {\mu }}_{1}={\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}} . לכן, האומד ל- θ {\displaystyle \theta } בשיטת המומנטים מקיים θ ^ = 1 x ¯ {\displaystyle {\hat {\theta }}={\frac {1}{\bar {x}}}} יהיו y 1 , . . . , y n ∼ Γ ( α , β ) {\displaystyle y_{1},...,y_{n}\sim \Gamma (\alpha ,\beta )} משתנים מקריים המתפלגים בהתפלגות גמא. אזי, ידוע כי התוחלת והשונות של ההתפלגות מקיימות: E [ y ] = α β , V a r [ y ] = α β 2 {\displaystyle E[y]={\frac {\alpha }{\beta }},Var[y]={\frac {\alpha }{\beta ^{2}}}} נסמן: m 1 = y ¯ = 1 n ∑ i = 1 n y i , m 2 = 1 n ∑ i = 1 n y i 2 {\displaystyle m_{1}={\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i},m_{2}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}^{2}} באמצעות התוחלת והשונות נחשב את המומנט הראשון והשני: μ 1 = α β , μ 2 = ( α β ) 2 + α β 2 = α ( α + 1 ) β 2 {\displaystyle \mu _{1}={\frac {\alpha }{\beta }},\mu _{2}=({\frac {\alpha }{\beta }})^{2}+{\frac {\alpha }{\beta ^{2}}}={\frac {\alpha (\alpha +1)}{\beta ^{2}}}} , (זאת מאחר ש- μ 2 = E [ y 2 ] = V a r [ y ] + E 2 [ y ] {\displaystyle \mu _{2}=E[y^{2}]=Var[y]+E^{2}[y]} ) . אזי, לפי שיטת המומנטים m 1 , m 2 {\displaystyle m_{1},m_{2}} הם אומדים למומנטים μ 1 , μ 2 {\displaystyle \mu _{1},\mu _{2}} . כעת נפתור את מערכת המשוואות: { m 1 = α β m 2 = α ( α + 1 ) β 2 {\displaystyle \left\{{\begin{matrix}\displaystyle m_{1}={\frac {\alpha }{\beta }}\\m_{2}={\frac {\alpha (\alpha +1)}{\beta ^{2}}}\end{matrix}}\right.} ומכאן נקבל: α ^ = y ¯ 2 1 n ∑ i = 1 n ( y i − y ¯ ) 2 {\displaystyle {\hat {\alpha }}={\frac {{\bar {y}}^{2}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}} , β ^ = y ¯ 1 n ∑ i = 1 n ( y i − y ¯ ) 2 {\displaystyle {\hat {\beta }}={\frac {\bar {y}}{{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}} אלו האומדים לפרמטרים ( α , β ) {\displaystyle (\alpha ,\beta )} של ההתפלגות, בשיטת המומנטים. שיטת המומנטים היא פשוטה באופן יחסי ומפיקה אומדים עקיבים (תחת הנחות חלשות), אם כי אומדים אלה הם לרוב בעלי הטיה. במקרים רבים, בעת אמידת פרמטרים ממשפחה מוכרת של התפלגויות, קיימת עדיפות לשימוש באומד נראות מרבית. עם זאת, ישנם מקרים בהם לא ניתן לחשב אומד בשיטת הנראות המרבית ללא שימוש בכוח מחשוב. לעומת זאת ניתן לחשב אומד בשיטת המומנטים בקלות בצורה ידנית, ואף להשתמש בהם כנקודת התחילה לשיטות היוריסטיות למציאת אומד הנראות המרבית.