ערך-p

ערך-p ‏(p-value, או מובהקות התוצאה) הוא פונקציה בסטטיסטיקה של תוצאות מדגם (סטטיסטי), שמיועד לביצוע בדיקת השערות.
ערך P מוגדר כהסתברות לקבל תוצאה זהה לזו שהתקבלה מסטטיסטי המדגם או תוצאה "קיצונית" ממנה, תחת ההנחה שהמדגם התקבל מהתפלגות מסוימת, הנחה זו מכונה השערת האפס. טרם ביצוע המבחן נקבעת רמת המובהקות (או רמת הסמך) של המבחן, אשר מסומנת באות α. רמה זו בדרך כלל נקבעת להיות ברמה של 1% או 5%.
אם הערך P קטן או שווה ל-α (רמת מובהקות המבחן שנקבעה), זה מרמז כי התוצאות שקיבלנו מהמדגם אינן מתיישבות עם ההנחה כי השערת האפס היא נכונה ולכן יש לדחות את אותה ההשערה (אך זה לא אומר שהשערה זו בהכרח איננה נכונה, או שצריך בהכרח לקבל את ההשערה האלטרנטיבית). כאשר הערך P מחושב באופן נכון, וההנחות לגבי התפלגות הנתונים אכן מתקיימות, ביצוע מבחן כזה יבטיח לנו שהסיכוי לטעות מסוג ראשון לא יעלה על אותו ערך של α.
מאחר שבערך P משתמשים בסטטיסטיקה שכיחותנית (ולא בייזיאנית), הערך P איננו בעל אמירה לגבי ההסתברויות של ההשערות הנבדקות אלא הוא רק משמש ככלי כדי להחליט אם לדחות או לא את השערת האפס תוך שמירה על רמת מובהקות קבועה מראש.
בדיקת השערות אשר מסתמכת על הערך P נפוצה במגוון רחב של תחומים מדעיים כמו: אקונומטריקה, פסיכולוגיה, ביולוגיה, קרימינולוגיה, סוציולוגיה ועוד. יתר על כן, שימוש שגוי בערך P ממשיך להיות נושא לביקורת. 

רעיון כללי

ערך P נועד לכמת את רעיון המובהקות הסטטיסטית של תוצאות נצפות מנתוני מדגם. הרעיון המרכזי הוא להראות את מידת סבירות תוצאות המדגם תחת השערת האפס.
לפיכך, ההשערה היחידה שיש צורך לציין בעת ביצוע מבחן ההשערות היא השערת האפס, מאחר שעל סמך השערה זו מכמתים את המובהקות הסטטיסטית. לכן, כאשר דוחים את השערת האפס, אלא אם כן ישנה השערה אלטרנטיבית בודדה, לא ניתן לטעון שההשערה האלטרנטיבית בהכרח נכונה.
לדוגמה, אם נניח שהשערת האפס היא שהנתונים נדגמים מהתפלגות נורמלית סטנדרטית (N(0,1, דחייה של השערת האפס תיתכן במקרים הבאים: 1. תוחלת התפלגות הנתונים היא לא אפס 2. השונות איננה 1 או לחלופין 3. שההתפלגות שממנה דגמנו איננה נורמלית. כמו כן, התוצאות שיתקבלו בבחינת ההשערה תלויות גם בסוג המבחן שיבוצע על הנתונים. יתר על כן, אם נבצע מבחן של בדיקת ההשערה שתוחלת התפלגות הנתונים היא 0 ונדחה אותה, לא נקבל מכך מידע לאיזה ערך אכן שווה התוחלת.
בבדיקת השערות סטטיסטית, ההשערה הסטטיסטית מתייחסת להתפלגות ההסתברותית ממנה מניחים כי הגיעו התצפיות. אם  הוא משתנה מקרי אשר מייצג את התפלגות התצפיות, ו-  היא ההשערה הסטטיסטית שמיוחסת לנתונים, אז הרעיון של המובהקות הסטטיסטית יכול להיות מוצג כהתפלגות המותנה  ,אשר תיתן את פונקציית הנראות של התצפיות אם ההשערה שנבחרה, , היא נכונה. אמנם ישנה בעייתיות בהצגה זו, מאחר שההסתברות שמשתנה מקרי רציף יהיה שווה לערך מסוים היא תמיד 0, . לכן הגדרה זו נאיבית ולא מספקת, ויש לשנותה על מנת שתוכל להתמודד עם ערכים רציפים. מצד שני, הצגה זו מאפשרת להבין את ההבדל בין הערך P לבין הסתברויות שמוערכות בדיקת השערות בייזיאנית כגון ההסתברות שההשערה נכונה בהינתן התצפיות , ההסתברות שההשערה נכונה  וההסתברות לקבלת התצפיות . 

חישוב

בדרך כלל,  איננו מייצג את התצפיות, אלא את המבחן הסטטיסטי. המבחן הסטטיסטי ("סטטיסטיקות מבחן") הוא פונקציה של כלל התצפיות, כמו ממוצע או קורלציה, אשר מסכם את התכונות של התצפיות לכדי מספר אחד הרלוונטי לשאלה הספציפית. ככזה, למבחן הסטטיסטי יש התפלגות הנקבעת על פי הפונקציה המגדירה אותו ולפי ההתפלגות של התצפיות.
עבור המקרה החשוב בו משערים שהתצפיות הגיעו מהתפלגות נורמלית, פותחו מבחנים שונים עבור ההשערות השונות שנבדקות וטבע הנתונים השונה. מספר מבחנים כאלו הם: מבחן Z להתפלגות נורמלית, מבחן t עבור התפלגות t ומבחן f עבור התפלגות f. כאשר התצפיות לא מגיעות מהתפלגות נורמלית, עדיין ניתן להעריך את ההתפלגויות של סטטיסטי המבחן על ידי שימוש במשפט הגבול המרכזי עבור מדגמים גדולים מספיק, כגון במקרה של מבחן חי בריבוע.
חישוב ערך ה-P דורש השערת אפס, מבחן סטטיסטי (יחד עם ההחלטה אם המבחן מבוצע עבור מאורע שנמצא בזנב הימני, בזנב השמאלי או שייתכן המאורע בכל אחד מהזנבות) וכמובן נתונים. אפילו אם ייתכן שחישוב המבחן הסטטיסטי הוא קל, חישוב של ההתפלגות תחת השערת האפס, וחישוב פונקציית ההסתברות המצטברת שלה היא לעיתים רבות מטלה קשה חישובית. כיום החישוב מתבצע בדרך כלל באמצעות תוכנות סטטיסטיות, ופעמים רבות על ידי שימוש באמצעים נומריים (ולא תוך פתירת פונקציות בצורה מדויקת), אך בתחילת ואמצע המאה ה-20, החישובים הללו נעשו באמצעות טבלאות, ועל מנת להגיע לערך המתאים היה צורך לבצע אינטרפולציה או אקסטרפולציה מתוך אותם ערכים בדידים בטבלה. לכן במקום להשתמש בטבלאות של ערכי P, פישר הפך את פונקציית ההסתברות המצטברת, ופרסם את ערכי המבחן הסטטיסטי עבור ערכי P מסוימים.

הטלה אחת של זוג קוביות

נניח שחוקר מטיל זוג קוביות פעם אחת, והשערת האפס היא שהן הוגנות. המבחן הסטטיסטי הוא "סכום תוצאות ההטלה" והוא חד צדדי. החוקר מטיל את הקוביות ומבחין ששתיהן מראות 6 ולכן מניב מבחן סטטיסטי של 12. ערך ה-p של תוצאה זו הוא 1/36 (מכיוון שתחת השערת האפס, המבחן הסטטיסטי מתפלג אחיד), או בערך 0.028 (המבחן הסטטיסטי הגבוה ביותר מתוך 6×6 = 36 אפשרויות). אם החוקר מניח רמת מובהקות של 0.05, הוא יקבע שתוצאה זו היא משמעותית ולכן ידחה את ההשערה שהקוביות הן הוגנות.
במקרה זה, הטלה אחת מניבה בסיס חלש מאוד (זאת אומרת חסר מידע) כדי להסיק מסקנה משמעותית לגבי הקוביות. זה מדגים את ה"סיכון" שביישום ערך-P ללא התחשבות בתכנון הניסוי.

חמישה "עץ" ברצף

נניח שחוקר מטיל מטבע חמש פעמים ברצף והשערת האפס היא שהמטבע הוגן. מבחן סטטיסטי של "המספר הכולל של עץ" יכול להיות חד-צדדי או דו-צדדי: מבחן חד-צדדי מקביל לכך שנראה אם המטבע מוטה לטובת "עץ", לעומת זאת מבחן דו-צדדי מקביל לכך שנראה האם המטבע מוטה לצד כלשהו. החוקר מטיל את המטבע חמש פעמים ורואה "עץ" בכל פעם, מה שמניב מבחן סטטיסטי של 5. במבחן חד-צדדי זהו הערך הקיצוני ביותר האפשרי, ומניב ערך-P של (1/2)⁵ = 1/32 ≈ 0.03. אם החוקר הניח רמת מובהקות של 0.05, הוא יקבע שתוצאה זו משמעותית וידחה את ההשערה שהמטבע הוגן. במבחן דו-צדדי, סטטיסטי מבחן של "0 פעמים "עץ"" קיצוני באותה מידה, ולכן המידע של 5 פעמים "עץ" יניב ערך-P של 22×(1/2)⁵ = 1/16 ≈ 0.06, וזה לא משמעותי מספיק עבור רמת מובהקות 0.05.
זה מדגים שציון כיוון (על סטטיסטי מבחן סימטרי) חוצה את ערך P (מגדיל את המשמעותיות) ויכול להוות את ההבדל בין החשבת הנתונים למשמעותיים או לא.

היסטוריה

חישוב הערך P החל עוד במאה ה-18 כאשר פייר סימון לפלס חישב אותו:
'במהלך העשור של 1770 לפלס התייחס לסטטיסטיקה לגבי חצי מיליון לידות. הסטטיסטיקה הראתה כמות לידות גדולה יותר של זכרים לעומת נקבות. הוא הגיע למסקנה על ידי חישוב הערך P כי עודף לידות הזכרים הוא אמיתי, אם כי בלתי מוסבר'.
הערך P הוצג באופן פורמלי על ידי קרל פירסון, במבחן פירסון שפיתח, כאשר במבחן זה הוא השתמש בהתפלגות חי בריבוע וסימן את הערך P עם P גדולה. ערכי ה- P עבור התפלגות חי בריבוע (עבור ערכי חי בריבוע שונים ועם כמות דרגות חופש שונה), ידועים כיום כ-P.
השימוש בערך P בסטטיסטיקה הפך לפופולרי בזכות רונלד פישר, ומשחק תפקיד מרכזי בהתייחסות שלו לנושא. בספרו המשפיע Statistical Methods for Research Workers פישר הציע את קביעת ערך P להיות P=0.05, או כסיכוי של 1 מתוך עשרים לקבל תוצאה קיצונית יותר באופן מקרי, כגבול למובהקות סטטיסטית. הוא יישם את הרעיון של הערך P להתפלגות הנורמלית (בתור מבחן דו-צדדי), ובכך יצר את הכלל של שתי סטיות התקן (עבור התפלגות נורמלית) כמובהקות סטטיסטית.
לאחר מכן פישר חישב טבלה של ערכים, בה חישב את ערכי החי בריבוע השונים אשר יניבו ערכי P מסוימים, הוא חישב את ערכי החי עבור ערכי ה- P הבאים: 0.99, 0.98 ,0.95 ,0.9 ,0.8 ,0.7 ,0.5, 0.3 ,0.2 ,0.1 ,0.005 ,0.02 ו- 0.01. דבר זה אפשר להשוות ערכי חי בריבוע שונים כנגד ערכי סף שונים ועודד את השימוש בערך P (בעיקר 0.05, 0.02 ו-0.01) כערכי סף במקום לחשב ולדווח את הערך P על ידי עורך המחקר עצמו. טבלאות דומות חושבו במאמר של פישר וייטס מ-1938 אשר ביצר את הגישה של התייחסות לערך P כערך סף.
כדוגמה לשימוש בערך P בתכנון וניתוח ניסויים בספרו The Design of Experiments (1935)‎, פישר הציג את ניסוי טעימת התה, שנחשב היום כדוגמה הארכיטיפית לשימוש בערך P.
ניסוי טעימת התה: על מנת לבדוק את הטענה של גברת (Murie Bristol) שהיא יכולה להבחין באופן בו הוכן התה (הוספה של חלב לכוס ולאחריה תה, או בסדר הפוך), הוצגו בפניה 8 כוסות תה, כאשר ארבעה הוכנו בצורה הראשונה, וארבעה בצורה השנייה. היא נשאלה איזו כוס תה הוכנה באיזו צורה (כאשר ידעה שישנם ארבע כוסות תה מכל סוג). במקרה זה, המבחן המתאים הוא מבחן פישר המדויק כאשר השערת האפס שאין לגברת כל יכולת מיוחדת להבחין בין סוגי התה. ערך ה-P היה 0.014 מאחר שהצליחה לזהות את כל ארבע כוסות התה.
לכן פישר היה מוכן לדחות את השערת האפס, מפני שהסיכוי שהיא הצליחה לסווג את כל כוסות התה באופן מקרי היא לא סבירה.
פישר הסביר שוב את ההיגיון מאחורי בחירת ערך סף של הערך P כשווה ל-0.05:
'זו דרך שכיחה ונוחה לחוקרים לקחת 5 אחוז כרמה הסטנדרטית למובהקות, במובן שהחוקרים מוכנים להתעלם מכל התוצאות שכושלות להגיע לסטנדרט הנ"ל, ובכך לחסל את הדיון לגבי חלק גדול מהתנודתיות שנגרמת באופן מקרי במהלך הניסוי.'
פישר יישם את הגישה של ערך הסף גם עבור תכנון ניסויים, כאשר ציין שאם היו שש כוסות בלבד (3 מכל סוג), סיווג מושלם של הכוסות היה נותן ערך P של 0.05, אשר לא היה עונה על רמת המובהקות. פישר הדגיש את הפרשנות השכיחותנית של P, כאשר פירש אותו כפרופורציה בטווח הארוך של ערכים שהם לפחות קיצוניים כמו אלה של המידע תחת השערת האפס.
במהדורות מאוחרות, פישר ציין במפורש את ההבדל בין שימוש בערך P בהסקה סטטיסטית במדע, לבין שיטת ניימן-פירסון, אותה כינה בתור "תהליכי קבלה".
פישר הדגיש שאף על פי שהשימוש בערכים קבועים של 5%, 2% ו-1% הם נוחים, ערך ה-P המדויק ניתן לשימוש, וחוזק העדויות ישפיעו עליו עם ביצוע ניסויים נוספים. בניגוד לכך, תהליכי החלטה דורשים החלטה חד משמעית, אשר יוצרים פעולה בלתי הפיכה, והפרוצדורה מבוססת על מחיר הטעות, פרוצדורות אשר פישר טען שאינן ניתנות ליישום במחקר מדעי.

ביקורת

המבקרים של הערך P מציינים כי הקריטריון (ערך הסף) נועד על מנת לקבוע מובהקות סטטיסטית והסף שלפיו נקבעת המובהקות נקבע באופן שרירותי, ועובדה זו מובילה לכמות גדולה של תוצאות חיוביות שגויות.
אם נגדיר את שיעור התוצאות המובהקות השגויות כאחוז של מתוך המבחנים שנמצאו מובהקים סטטיסטית בהם השערת האפס היא למעשה כן נכונה, יש הטוענים כי לפחות שלושים אחוז מערכי ה-P הם קרובים ל-0.05. כדי להגיע למספר הנ"ל צריך להניח משהו לגבי ההסתברות האפריורית כי אפקט אמיתי אכן קיים. למרות זאת, המסקנה הזו חסינה במובן שללא קשר למה היא ההתפלגות האפריורית שהונחה, השערת האפס נדחתה שלא בצדק, הרבה יותר מ-5% מהמקרים.
סימולציות של מבחני t מראים כי אם אנו מקבלים p = 0.047 במבחן בודד, וטוענים כי ישנה תגלית (דהיינו דחייה של השערת האפס), הטענה הזו תהיה שגויה לפחות 26% מהפעמים, והרבה יותר אם ההשערה איננה סבירה. העובדה הזאת בלבד תורמת למספר הרב של מחקרים שלא ניתנים לשחזור בתחומים מדעיים שונים, גם לפני הבעיות שנגרמות בעקבות בחינה של השערות מרובות, p-hacking וגורמים נוספים שידועים לגבי תגליות שגויות. הדבר הוביל לקריאה לשימוש בערכי P קטנים יותר לדוגמה (0.005 או 0.001).
הערך P לוקה בחוסר התאמה לעקרון הנאות ותלוי בתכנון הניסוי וסטטיסטי המבחן הנבדק. זאת אומרת שההגדרה של "קיצוני יותר" במידע תלוי בשיטת הדגימה אשר בה החוקר השתמש. למשל עבור סיטואציה בה חוקר מטיל מטבע 100 פעמים, והמטבע נופל 50 פעמים על פלי, יש סט של נתונים "קיצוניים יותר" מזה אשר בהם החוקר ממשיך להטיל את המטבע עד אשר 50 פעמים הוא מקבל פלי וזה מצביע על מקרה בו בוצעו 100 הטלות.
אי ההתאמה של הערך P עם עיקרון הנראות, מעיד על חוסר של שלמות רעיונית במתודולוגיה הנ"ל מאחר שהכוונה של המנתח לנתח את הנתונים בצורות שונות (סוגי תכנון ניסוי, בחירה של סטטיסטי וכו') יניבו תוצאות שונות על גבי אותו מידע ולגבי אותן שאלות בקשר להוגנות המטבע. הדאגה הזאת לגבי עקביות הסקה, הובילה את ריצ'רד קוקס לפתח בסיס אקסיומטי להסתברות אשר מותנית על הדרישה לעקביות אשר מובילה בסופו של דבר לכלל בייס.
פישר הציע את הערך P כדרך לא רשמית למדידת עדויות כנגד השערת האפס. הוא קרא לחוקרים לשלב את הערך P עם סוגים נוספים של עדויות, כמו הסבירות האפריורית של ההשערות.
במקרים נדירים מאוד, הערך P נאסר לשימוש במגזינים שונים.