סטטיסטי מספיק

בסטטיסטיקה, סטטיסטי הוא **מספיק** ביחס למודל סטטיסטי ולפרמטר הבלתי ידוע, אם אין סטטיסטי אחר שיכול להיות מחושב מאותו מדגם, שיוסיף מידע ביחס לערך הפרמטר. במילים אחרות, סטטיסטי הוא מספיק עבור משפחה של התפלגויות, אם כל המידע לגבי ההתפלגות שממנה נלקח המדגם, נמצא בערך של הסטטיסטי.

## הגדרה מתמטית
סטטיסטי T(X) הוא מספיק לפרמטר \theta, אם ההתפלגות המותנית של המדגם בהינתן הערך של T(X) אינה תלויה ב-\theta. במילים אחרות, הפונקציה Pr_{\theta}(X=x | T(X)=t) תלויה אולי ב-x ו-t, אבל לא ב-\theta.

## משפט הפירוק של פישר וניימן
משפט הפירוק של פישר וניימן (באנגלית: Fisher–Neyman factorization theorem) מספק אפיון נוח לכך שסטטיסטי הוא מספיק: אם פונקציית הצפיפות היא f_\theta (x), אזי לפי המשפט T הוא מספיק עבור \theta אם ורק אם קיימות פונקציות אי-שליליות g ו-h כך ש:

f_\theta (x) = g_\theta(T(x))h(x)

כלומר, ניתן לפרק את פונקציית הצפיפות למכפלה של שני גורמים, כך שגורם אחד, h, אינו תלוי ב-\theta והגורם השני, g, אשר כן תלוי ב-\theta, תלוי ב-x רק דרך T(x).

קל לראות שאם f(t) היא פונקציה חד-חד-ערכית ו-T הוא סטטיסטי מספיק, אזי f(T) הוא סטטיסטי מספיק גם כן. בפרט, ניתן לכפול סטטיסטי מספיק בקבוע שאינו אפס, ולקבל סטטיסטי מספיק.

### משמעות לגבי הסקה סטטיסטית
אחת ההשלכות של משפט הפירוק היא שכשמשתמשים בהסקה סטטיסטית על סמך נראות, שני מאגרי נתונים בגודל זהה אשר להם בדיוק אותו ערך עבור הסטטיסטי המספיק T(x), תמיד יספקו את אותה מסקנה לגבי \theta (למשל: רווח סמך ל-\theta, דחיית/אי-דחיית השערה לגבי \theta). לפי קריטריון הפירוק התלות של הנראות ב-\theta היא רק ביחד עם T(x). מכיוון שזה נכון לגבי שני מאגרי הנתונים שלהם אותו ערך T(x), התלות של הנראות ב-\theta תהיה זהה גם כן, מה שיוביל להסקה סטטיסטית זהה.

### ניסוח מדויק
יהיו X_1, X_2, \ldots, X_n תצפיות של מדגם מקרי מהתפלגות עם פונקציית צפיפות f(x, \theta) עבור \theta \in \Theta, ויהי Y_1 = u_1(X_1, X_2, \ldots, X_n) סטטיסטי שפונקציית הצפיפות שלו היא g_1(y_1 ; \theta). אז Y_1 = u_1(X_1, X_2, \ldots, X_n) הוא סטטיסטי מספיק עבור \theta אם ורק אם קיימת פונקציה H כך ש:

 \prod_{i=1}^n f(x_i; \theta) = g_1 \left[u_1 (x_1, x_2, \dots, x_n); \theta \right] H(x_1, x_2, \dots, x_n)\,

### הוכחה
ההוכחה להלן ניתנה על ידי רוברט הוג ואלן קרייג.

#### כיוון אחד
נניח ש:
: \prod_{i=1}^n f(x_i; \theta) = g_1 \left[u_1 (x_1, x_2, \dots, x_n); \theta \right] \cdot H(x_1, x_2, \dots, x_n)

ונוכיח ש-Y_1 הוא סטטיסטי מספיק.

יהיו Y_i = u_i(X_1, X_2, \ldots, X_n),  i = 2, 3, \ldots, n סטטיסטים כלשהם שפונקציות הצפיפות שלהם הן g_i(y_i ; \theta) בהתאמה.

נבצע את הטרנספורמציה: y_i = u_i(x_1, x_2, \ldots, x_n) לכל i = 1, 2, \ldots, n, כשהפונקציות ההפוכות הן: x_j = w_j(y_1, y_2, \ldots, y_n) לכל j = 1, 2, \ldots, n, ויעקוביאן J = [w_j / y_i]. אז:
:
 \prod_{j=1}^n f \left[ w_j(y_1, y_2, \dots, y_n); \theta \right] =
 |J| \cdot g_1 (y_1; \theta) H \left[ w_1(y_1, y_2, \dots, y_n), \dots, w_n(y_1, y_2, \dots, y_n) \right]


הביטוי בצד שמאל של המשוואה הוא הצפיפות המשותפת: g(y_1, y_2, \dots, y_n; \theta) של המשתנים (הסטטיסטים): Y_1, Y_2, \ldots, Y_n.

בצד ימין של המשוואה, הביטוי g_1(y_1;\theta) הוא פונקציית הצפיפות של Y_1, וכך יוצא שהביטוי: H[ w_1, \dots , w_n] \cdot |J| שווה ל-g(y_1,\dots,y_n;\theta) חלקי g_1(y_1;\theta), כלומר, הוא שווה לפונקציית הצפיפות המותנה h(y_2, \dots, y_n \mid y_1; \theta) של Y_2,\dots,Y_n בהינתן Y_1 = y_1.

אבל לפי ההנחה, H(x_1,x_2,\dots,x_n), וממילא גם H\left[w_1(y_1,\dots,y_n), \dots, w_n(y_1, \dots, y_n))\right] אינו תלוי ב-\theta. מכיוון ש-\theta לא הוכנס בתוך הטרנספורמציה שביצענו, וכן לא בא לידי ביטוי ביעקוביאן J, יוצא ש-h(y_2, \dots, y_n \mid y_1; \theta) אינו תלוי ב-\theta (אלא רק ב-y_1, וזאת לכל סטטיסטים Y_2, Y_3, \ldots, Y_n אפשריים), ולכן Y_1 הוא סטטיסטי מספיק עבור \theta.

#### כיוון שני
נניח ש-Y_1 הוא סטטיסטי מספיק, ונוכיח ש:

: \prod_{i=1}^n f(x_i; \theta) = g_1 \left[u_1 (x_1, x_2, \dots, x_n); \theta \right] \cdot H(x_1, x_2, \dots, x_n)\,

כיוון ש-ש-Y_1 הוא סטטיסטי מספיק, ניתן לרשום:

:g(y_1,\dots,y_n;\theta)=g_1(y_1; \theta) h(y_2, \dots, y_n \mid y_1)\,

כש-h(y_2, \dots, y_n \mid y_1) אינו תלוי ב-\theta כיוון ש-Y_2 ... Y_n תלוי רק ב-X_1 ... X_n, אשר הם בלתי תלויים ב-\theta בהינתן שידוע Y_1 שהוא סטטיסטי מספיק.

באמצעות חלוקת שני צידי המשוואה בערך המוחלט של היעקוביאן J, והחלפת y_1, \dots, y_n בפונקציות: u_1(x_1, \dots, x_n), \dots, u_n(x_1,\dots, x_n), מתקבלת המשוואה:

:\frac{g\left[ u_1(x_1, \dots, x_n), \dots, u_n(x_1, \dots, x_n); \theta \right]}=g_1\left[u_1(x_1,\dots,x_n); \theta\right] \frac{h(u_2, \dots, u_n \mid u_1)}

כש-J* הוא היעקוביאן עם y_1,\dots,y_n שהוחלפו על ידי: x_1, \dots, x_n.

הצד הימני הוא בהכרח הצפיפות המשותפת  \prod_{i=1}^n f(x_i; \theta) של X_1,\dots,X_n. נסמן: G_1\left[u_1(x_1,\dots,x_n); \theta\right] = \frac{g_1\left[u_1(x_1,\dots,x_n); \theta\right]}, ונקבל:

: \prod_{i=1}^n f(x_i; \theta) = G_1 \left[u_1 (x_1, x_2, \dots, x_n); \theta \right] \cdot h(u_2,\dots,u_n\mid u_1)

כיוון ש-h(y_2,\dots,y_n\mid y_1) (ולכן גם h(u_2,\dots,u_n\mid u_1)) אינו תלוי ב-\theta (לפי ההנחה), מתקבל ש:

:H(x_1,\dots,x_2)=\frac{h(u_2,\dots,u_n\mid u_1)}

היא פונקציה שאינה תלויה ב-\theta, כלומר:

: \prod_{i=1}^n f(x_i; \theta) = G_1 \left[u_1 (x_1, x_2, \dots, x_n); \theta \right] \cdot H(x_1, x_2, \dots, x_n)

כנדרש.

## סטטיסטי מספיק מינימלי
סטטיסטי מספיק הוא **מינימלי** אם הוא יכול להיות מוצג כפונקציה של כל סטטיסטי מספיק אחר. במילים אחרות, S(X) הוא סטטיסטי מספיק מינימלי אם ורק אם:
# S(X) הוא סטטיסטי מספיק
# לכל סטטיסטי מספיק T(X), קיימת פונקציה f כך ש-S(X) = f(T(X))
באופן אינטואיטיבי, סטטיסטי מספיק מינימלי תופס באופן היעיל ביותר את כל המידע בנוגע לפרמטר \theta.

מאפיין שימושי של סטטיסטי מספיק מינימלי הוא שכאשר פונקציית הצפיפות f_\theta קיימת, S(X) הוא סטטיסטי מספיק מינימלי אם ורק אם:

\frac{f_\theta(x)}{f_\theta(y)} בלתי תלוי ב-\theta \Longleftrightarrow S(x) = S(y)

זה נובע באופן ישיר ממשפט הפירוק של פישר-נימן.

מצב בו לא קיים סטטיסטי מספיק מינימלי הוצג על ידי הסטטיסטיקאי ההודי Raghu Raj Bahadur, בשנת 1954. אולם, תחת תנאים מתונים למדי, סטטיסטי מספיק מינימלי תמיד קיים.

בפרט, במרחב אוקלידי, התנאים הללו תמיד מתקיימים אם המשתנים המקריים (הקשורים ל-P_\theta) הם כולם בדידים או כולם רציפים.

אם קיים סטטיסטי מספיק מינימלי, אזי סטטיסטי מספיק שלם  הוא בהכרח מינימלי. בעוד שקשה למצוא מקרים בהם סטטיסטי מספיק מינימלי אינו קיים, לא קשה למצוא מצבים בהם לא קיים סטטיסטי מספיק שלם.

אוסף היחסים של פונקציות נראות \left\{\frac{L(\theta_1|X)}{L(\theta_2|X)}\right\} הוא סטטיסטי מספיק מינימלי אם P(X|\theta) הוא בדיד או בעל פונקציית צפיפות.

## דוגמאות
### התפלגות ברנולי
אם X_1,...,X_n משתנים מקריים בלתי תלויים בעלי התפלגות ברנולי עם פרמטר p, אזי הסכום T(X) = X_1+...+X_n הוא סטטיסטי מספיק עבור p.

מאחר שהמשתנים המקריים הם בלתי תלויים, פונקציית הצפיפות המשותפת מקיימת:

:f_p(X) = p^{x_1}(1-p)^{1-x_1} p^{x_2}(1-p)^{1-x_2}\cdots p^{x_n}(1-p)^{1-x_n} \,\!

ועל ידי קיבוץ חזקות של p ושל 1-p, מתקבל:
:f_p(X) = p^{\sum x_i}(1-p)^{n-\sum x_i} = p^{T(x)}(1-p)^{n-T(x)}\,\!

הצגה זו מקיימת את תנאי משפט הפירוק כאשר:

h(X) = 1 ; \quad g(T(x),p) = p^{\sum x_i}(1-p)^{n-\sum x_i}) 

הפרמטר הבלתי ידוע, \ p, תלוי בנתונים (X_1,...,X_n) רק דרך הסטטיסטי שלהם T(x) = {\sum_i x_i}

### התפלגות אחידה
אם X_1,...,X_n משתנים מקריים בלתי תלויים המתפלגים באופן אחיד בטווח [0,\theta] אזי T(X) = \max(X_1,...,X_n) הוא סטטיסטי מספיק ל-\theta.

מאחר שהמשתנים המקריים הם בלתי תלויים, פונקציית הצפיפות המשותפת מקיימת:

:\begin{align}
f_\theta(x_1,\ldots,x_n)
 &= \frac{1}{\theta}\mathbf{1}_{\{0\leq x_1\leq\theta\}} \cdots
 \frac{1}{\theta}\mathbf{1}_{\{0\leq x_n\leq\theta\}} \\
 &= \frac{1}{\theta^n}\mathbf{1}_{\{0\leq\min\{x_i\}\}}\mathbf{1}_{\{\max\{x_i\}\leq\theta\}}
\end{align}

כאשר \mathbf{1}_{\{\cdots\}} היא פונקציית האינדיקטור. לכן, אם נסמן: g(T(x),\theta) = \frac{1}{\theta^n} \cdot \mathbf{1}_{\{\max\{x_i\}\leq \theta\}} = \frac{1}{\theta^n} \cdot \mathbf{1}_{\{T(x)\leq \theta\}}

וכן h(X) = \mathbf{1}_{\{0\leq \min(X_i)\}},

נקבל את תנאי משפט הפירוק, ושאכן T(X) = \max(X_i) הוא סטטיסטי מספיק.

### התפלגות פואסון
אם X_1,...,X_n משתנים מקריים בלתי תלויים בעלי התפלגות פואסון עם פרמטר \lambda, אזי הסכום T(X) = X_1+...+X_n הוא סטטיסטי מספיק עבור \lambda.

על מנת להיווכח בכך, נתבונן בפונקציית ההסתברות המשותפת:
:
\Pr(X=x)=P(X_1=x_1,X_2=x_2\ldots,X_n=x_n)\,


ומכיוון שהתצפיות בלתי תלויות:
:
P(X_1=x_1,X_2=x_2,\ldots,X_n=x_n) =
P(X_1=x_1) P(X_2=x_2) \ldots P(X_n=x_n)


לכן:
:
P(X=x) =
{e^{-\lambda} \lambda^{x_1} \over x_1 !} \cdot
{e^{-\lambda} \lambda^{x_2} \over x_2 !} \cdots
{e^{-\lambda} \lambda^{x_n} \over x_n !} \, =
e^{-n\lambda} \lambda^{(x_1+x_2+\cdots+x_n)} \cdot
{1 \over x_1 ! x_2 !\cdots x_n ! } \, =
e^{-n\lambda} \lambda^{T(x)} \cdot
{1 \over x_1 ! x_2 !\cdots x_n ! } \,


אם נסמן: g(T(x),\lambda) = e^{-n\lambda} \lambda^{T(x)} \,, וכן: h(X) = {1 \over x_1 ! x_2 !\cdots x_n ! } \,,

נקבל את תנאי משפט הפירוק, ושאכן T(X) = X_1+...+X_n הוא סטטיסטי מספיק.

## הערות שוליים

קטגוריה:סטטיסטיקה