הלמה של ניימן-פירסון

בבדיקת השערות סטטיסטית, **הלמה של ניימן-פירסון** היא למה שפותחה על ידי הסטטיסטיקאים יז'י ניימן ואגון פירסון, והיא מצביעה על מבחן בין השערות פשוטות, אשר לו העוצמה הגדולה ביותר מבין כל המבחנים בעלי אותה רמת המובהקות \alpha (או נמוכה יותר). במילים אחרות, היא מבטיחה את קיומו של מבחן שהוא טוב יותר מכל ה"מתחרים" שלו, ומציעה דרך לבנות אותו.

## ניסוח
נתונים מדגם \mathbf{X}=(X_1,\dots,X_n), פונקציית נראות L(\mathbf{X};\theta) התלויה בפרמטר \theta, ושתי השערות פשוטות: השערת האפס, H_0\,: \theta =\theta_0 וההשערה החלופית, H_1\,: \theta =\theta_1. תחת תנאים אלה, מבחן יחס הנראות, שאזור הדחייה שלו הוא:\mathcal{R}_k=\left\{\mathbf{X}: \frac{L(\mathbf{X};\theta_1)}{L(\mathbf{X};\theta_0)} > k_\alpha\right\}
הוא המבחן בעל העוצמה הגדולה ביותר (Uniformly Most Powerful; UMP) מבין כל המבחנים ברמת מובהקות \alpha (כלומר, מתקיים \operatorname{Pr}(\mathbf{X} \in \mathcal{R}_k)=\alpha, אם H_0 נכונה).

למעשה, פעמים רבות ניתן למצוא מבחן שקול (כלומר, בעל אותו אזור דחייה), שסטטיסטי המבחן שלו פשוט יותר – ראו דוגמה להלן.

## דוגמה
נניח מודל סטטיסטי שבו הנתונים מתפלגים נורמלית עם שונות ידועה \sigma^2 ותוחלת לא ידועה  \mu. נניח גם כי קיימות שתי השערות חלופיות פשוטות באשר לתוחלת:\begin{array}{lcl} H_0 : & \mu=0 \\ H_1: & \mu=1 \end{array}הנראות לפי השערת האפס היא L(\mathbf{X};\theta_0) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n {X_i}^2\right)ובאופן דומה, הנראות לפי ההשערה החלופית היא L(\mathbf{X};\theta_1) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n \left(X_i-1\right)^2\right)ויחס הנראות הוא 
 
 \begin{alignat}{2}
 \frac{L(\mathbf{X};\theta_1)}{L(\mathbf{X};\theta_0)}  & = \frac{\cancel{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n \left(X_i-1\right)^2\right)}{\cancel{\frac{1}{\sqrt{2\pi\sigma^2}}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n {X_i}^2\right)} \\
 & = \frac{\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n \left({X_i}^2-2X_i+1\right)\right)}{\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n {X_i}^2\right)} \\
 & = \exp\left[-\frac{1}{2\sigma^2}\sum_{i=1}^n \left( \cancel{{X_i}^2} -2X_i + 1 -\cancel{=} \frac{1}{n}\sum_{i=1}^n X_i > k_\alpha

עבור ערך קריטי k_\alpha מתאים.

במילים אחרות, מבחן יחס הנראות שקול למבחן שבודק האם ממוצע המדגם \bar{X}_n גדול מערך קריטי, ולמבחן כזה יש עוצמה מקסימלית. היתרון בהצגה זו היא שממוצע המדגם הוא סטטיסטי מבחן פשוט יותר לניתוח מאשר יחס הנראות עצמו. בפרט, ניתן לחשב ממנו (בעזרת מעט טרנספורציות פשוטות) מבחן Z.

## הוכחה
[ממוזער|350px|[דיאגרמת ון הממחישה את ההוכחה ללמה של ניימן ופירסון: אזורי הדחייה אם מתקיימת השערת האפס]]
ממוזער|350px|אזורי הדחייה אם מתקיימת ההשערה האלטרנטיבית

יהי \mathcal{R}_{NP} אזור הדחייה אשר מוגדר על פי הלמה, כלומר:
:\mathcal{R}_{NP}=\left\{\mathbf{X}: \frac{L(\mathbf{X};\theta_1)}{L(\mathbf{X};\theta_0)} > k_\alpha\right\}
ויהי מבחן אחר בעל אותה רמת מובהקות, שאזור הדחייה שלו, \mathcal{R}_A, שונה מ-\mathcal{R}_{NP},
ומתקיים \operatorname{Pr}\left(\mathbf{X} \in \mathcal{R}_{NP}\right) = \operatorname{Pr}\left(\mathbf{X} \in \mathcal{R}_{A}\right) = \alpha, אם ההשערה H_0 נכונה.

נוסחת ההסתברות השלמה קובע כי לכל \theta,
\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\right)=\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right)+\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\cap \mathcal{R}_{A}\right)
\ \ \operatorname{Pr}_\theta\left(\mathcal{R}_{A}\right)=\operatorname{Pr}_\theta\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)+\operatorname{Pr}_\theta\left(\mathcal{R}_{NP}\cap \mathcal{R}_{A}\right)

ולכן,

ובפרט, אם \theta = \theta_0, למבחנים רמת מובהקות זהה, ולכן,

\begin{align}
\operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) - \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right) & 
= \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\right) - \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\right) \\
& = \ \alpha - \alpha \\
& = 0
\end{align}

כלומר:

המשפט מבקש להוכיח כי \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\right) > \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\right), אך מטענה **(1)** נובע כי לשם כך מספיק להוכיח כי
\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) > \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)

לשם הוכחת הטענה האחרונה, ניתן לשים לב כי מההנחה, בתוך \mathcal{R}_{NP} \backslash \mathcal{R}_A מתקיים L(\mathbf{X};\theta_1) > k_\alpha\ L(\mathbf{X};\theta_0), ובפרט,

באופן דומה, בתוך \mathcal{R}_{A} \backslash \mathcal{R}_{NP},

ועל כן,
\begin{align}
\operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) & \overset{(3)}{>} \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{NP}\backslash \mathcal{R}_{A}\right) \\
& \overset{(2)}{=} \operatorname{Pr}_{\theta_0}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right) \\
& \overset{(4)}{>} \operatorname{Pr}_{\theta_1}\left(\mathcal{R}_{A}\backslash \mathcal{R}_{NP}\right)
\end{align}
כנדרש.

## ראו גם
* מבחן יחס הנראות
* מבחן יחס הנראות המוכלל (GLRT)

## לקריאה נוספת

* 

## קישורים חיצוניים
* 
* 

קטגוריה:בדיקת השערות
ניימן-פירסון