פונקציית הניקוד

בסטטיסטיקה, פונקציית הניקוד (באנגלית: Score function) של פרמטר θ {\displaystyle \theta } היא הגרדיאנט של לוג פונקציית הנראות L ( θ ; X ) {\displaystyle L(\theta ;X)} בכיוון של הפרמטר. הפונקציה מציינת עד כמה רגישה פונקציית הנראות לשינויים ב- θ {\displaystyle \theta } . פונקציית הנראות ממלאת תפקיד חשוב במספר היבטים של הסקה סטטיסטית, כגון: מציאת סטטיסטי מבחן (אנ') בעל עוצמה מקסימלית מקומית הערכת גודל השגיאה של אומד נראות מקסימלית מציאת רווחי סמך הוכחה של חסם קרמר-ראו פונקציית הניקוד ממלאת גם תפקיד חשוב בסטטיסטיקה חישובית (אנ'), שכן היא יכולה לקחת חלק בחישוב של אומדי נראות מקסימלית. הערך של פונקציית הניקוד (או בקיצור: "הניקוד") הוא הגרדיאנט (וקטור של נגזרות חלקיות), בהתייחס לפרמטר מסוים θ {\displaystyle \theta } , של הלוגריתם (בדרך כלל הלוגריתם הטבעי) של פונקציית הנראות. אם התצפית היא X {\displaystyle X} והנראות שלה היא L ( θ ; X ) {\displaystyle L(\theta ;X)} , אז הניקוד V {\displaystyle V} ניתן לחישוב לפי כלל השרשרת באופן הבא: V ≡ V ( θ , X ) = ∂ ∂ θ log ⁡ L ( θ ; X ) = 1 L ( θ ; X ) ∂ L ( θ ; X ) ∂ θ . {\displaystyle V\equiv V(\theta ,X)={\frac {\partial }{\partial \theta }}\log L(\theta ;X)={\frac {1}{L(\theta ;X)}}{\frac {\partial L(\theta ;X)}{\partial \theta }}.} לכן הניקוד V {\displaystyle V} מציין את הרגישות (אנ') של L ( θ ; X ) {\displaystyle L(\theta ;X)} (הנגזרת כשהיא מנורמלת על ידי ערך הפונקציה). יש לשים לב ש- V {\displaystyle V} היא פונקציה גם של התצפית X {\displaystyle X} אך גם של הפרמטר θ {\displaystyle \theta } , לכן זהו לא סטטיסטי. אף על פי כן ניתן להשתמש בו ביישומים מסוימים, על ידי חישוב ערך הפונקציה עבור ערך θ {\displaystyle \theta } ספציפי (כמו ערך ה- θ {\displaystyle \theta } של השערת האפס, או אומד הנראות המקסימלית של θ {\displaystyle \theta } ), והתוצאות של חישובים אלו הן סטטיסטים. תחת תנאי רגולריות מסוימים, התוחלת של פונקציית הניקוד V {\displaystyle V} בהתייחס לתצפית x {\displaystyle x} , בהינתן הפרמטר האמיתי θ {\displaystyle \theta } , כלומר E ( V ∣ θ ) {\displaystyle \mathbb {E} (V\mid \theta )} , שווה ל-0. על מנת לראות זאת נכתוב מחדש את פונקציית הנראות L כפונקציית צפיפות: L ( θ ; x ) = f ( x ; θ ) {\displaystyle L(\theta ;x)=f(x;\theta )} , ואז: E ( V ∣ θ ) = ∫ − ∞ + ∞ ∂ ∂ θ ( log ⁡ L ( θ ; X ) ) f ( x ; θ ) d x = ∫ − ∞ + ∞ ∂ ∂ θ ( log ⁡ f ( θ ; X ) ) f ( x ; θ ) d x = ∫ − ∞ + ∞ ( 1 f ( x ; θ ) ⋅ ∂ f ( x ; θ ) ∂ θ ) f ( x ; θ ) d x = ∫ − ∞ + ∞ ∂ f ( x ; θ ) ∂ θ d x {\displaystyle {\begin{aligned}\mathbb {E} (V\mid \theta )&=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}(\log L(\theta ;X))f(x;\theta )\,dx\\&=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}(\log f(\theta ;X))f(x;\theta )\,dx\\&=\int _{-\infty }^{+\infty }\left({\frac {1}{f(x;\theta )}}\cdot {\frac {\partial f(x;\theta )}{\partial \theta }}\right)f(x;\theta )\,dx\\&=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}} אם תנאי גזירות מסוימים מתקיימים, אינטגרל זה שווה ל: ∂ ∂ θ ∫ − ∞ + ∞ f ( x ; θ ) d x = ∂ ∂ θ 1 = 0. {\displaystyle {\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.} מכיוון שהתוחלת של פונקציית הניקוד היא 0 כאמור לעיל, אם נדגום פעם אחר פעם מהתפלגות מסוימת, ובכל פעם נחשב את הניקוד, אז ממוצע ערכי הניקוד ישאף ל-0 כשמספר הדגימות ישאף לאינסוף. ערך מורחב – האינפורמציה של פישר השונות של פונקציית הניקוד ידועה בשם אינפורמציה של פישר, ומסומנת: I ( θ ) {\displaystyle {\mathcal {I}}(\theta )} . מכיוון שהתוחלת של פונקציית הניקוד היא 0, ניתן לנסח את השונות בצורה הבאה: I ( θ ) = E { [ ∂ ∂ θ log ⁡ L ( θ ; X ) ] 2 | θ } = E { [ ∂ ∂ θ L ( θ ; X ) L ( θ ; X ) ] 2 | θ } {\displaystyle {\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}=\mathbb {E} \left\{\left.\left[{\frac {{\frac {\partial }{\partial \theta }}L(\theta ;X)}{L(\theta ;X)}}\right]^{2}\right|\theta \right\}} יש לשים לב שהאינפורמציה של פישר כפי שהוגדרה לעיל, איננה פונקציה של תצפית מסוימת (אלא רק של הפרמטר θ {\displaystyle \theta } ), שכן המשתנה המקרי X {\displaystyle X} מתקזז בנוסחה. מושג זה של אינפורמציה שימושי כשמבצעים השוואה בין שתי שיטות תצפית מתהליך סטוכסטי כלשהו. פונקציית הניקוד, באתר MathWorld (באנגלית)