לפיכך, ההשערה היחידה שיש צורך לציין בעת ביצוע מבחן ההשערות היא השערת האפס, מאחר שעל סמך השערה זו מכמתים את המובהקות הסטטיסטית. לכן, כאשר דוחים את השערת האפס, אלא אם כן ישנה השערה אלטרנטיבית בודדה, לא ניתן לטעון שההשערה האלטרנטיבית בהכרח נכונה.
לדוגמה, אם נניח שהשערת האפס היא שהנתונים נדגמים מהתפלגות נורמלית סטנדרטית (N(0,1, דחייה של השערת האפס תיתכן במקרים הבאים: 1. תוחלת התפלגות הנתונים היא לא אפס 2. השונות איננה 1 או לחלופין 3. שההתפלגות שממנה דגמנו איננה נורמלית. כמו כן, התוצאות שיתקבלו בבחינת ההשערה תלויות גם בסוג המבחן שיבוצע על הנתונים. יתר על כן, אם נבצע מבחן של בדיקת ההשערה שתוחלת התפלגות הנתונים היא 0 ונדחה אותה, לא נקבל מכך מידע לאיזה ערך אכן שווה התוחלת.
בבדיקת השערות סטטיסטית, ההשערה הסטטיסטית מתייחסת להתפלגות ההסתברותית ממנה מניחים כי הגיעו התצפיות. אם formula_1 הוא משתנה מקרי אשר מייצג את התפלגות התצפיות, ו- formula_2 היא ההשערה הסטטיסטית שמיוחסת לנתונים, אז הרעיון של המובהקות הסטטיסטית יכול להיות מוצג כהתפלגות המותנה formula_3 ,אשר תיתן את פונקציית הנראות של התצפיות אם ההשערה שנבחרה, formula_2, היא נכונה. אמנם ישנה בעייתיות בהצגה זו, מאחר שההסתברות שמשתנה מקרי רציף יהיה שווה לערך מסוים היא תמיד 0, formula_5. לכן הגדרה זו נאיבית ולא מספקת, ויש לשנותה על מנת שתוכל להתמודד עם ערכים רציפים. מצד שני, הצגה זו מאפשרת להבין את ההבדל בין הערך p לבין הסתברויות שמוערכות בדיקת השערות בייזיאנית כגון ההסתברות שההשערה נכונה בהינתן התצפיות formula_6, ההסתברות שההשערה נכונה formula_7 וההסתברות לקבלת התצפיות formula_8.
הגדרה ופרשנות.
הערך p מוגדר כהסתברות תחת השערת האפס, formula_2, של קבלת תוצאה זהה או קיצונית מזו שנצפתה במדגם. בכל הנוגע למושג "קיצונית מ.." יש מספר פרשנויות ואלה תלויים בסוג התופעה.
הפרשנות לקיצוניות יכולה להיות formula_10 (מאורע בזנב הימני), או formula_11 (מאורע בזנב השמאלי), או גם וגם formula_12 ו formula_10 (מאורע באחד מהזנבות), לפיכך הערך p יהיה בהתאמה:
ככל שערך p קטן יותר, למעשה רמת הסמך של החוקר לגבי התוצאות גבוהה יותר, זאת כיוון שערך p קטן מאוד מרמז שקבלת התוצאות הנצפות תחת השערת האפס המיוחסת להם סבירה פחות. השערת האפס, formula_2, נדחית אם הערך p המתאים (מבין השלושה שצוינו לעיל), קטן או שווה מאותה רמת מובהקות, formula_18, שהיא סף קבוע ושרירותי שנקבע לפני ביצוע המבחן ואיננו תלוי בתצפיות. הערך נקבע בדרך כלל על פי קונצנזוס בתוך הקהילה המדעית שהחוקר עובד בה.
מאחר שהערך של formula_1, הערך שמגדיר אם המאורע יהיה בזנב הימני או השמאלי, הוא משתנה מקרי, והערך p הוא פונקציה של formula_20, לכן הוא בעצמו מהווה משתנה מקרי אחיד מעל הקטע formula_21, תחת הנחה ש-formula_20 רציף. לפיכך, הערך p איננו קבוע. כלומר, מכאן אי אפשר לתת לערך p פרשנות כתדירות שמאורע מסוים יקרה מאחר שעליו להיות מספר קבוע לשם כך. במילים אחרות, אם אותו המבחן מבוצע באופן בלתי תלוי מספר פעמים עם אותה השערת אפס (אך על תצפיות שונות), יתקבלו ערכי p שונים בכל פעם שבו מבוצע המבחן. במקרה כזה ניתן לחבר את ערכי p המתקבלים מביצוע כל מבחן כזה תוך שימוש במבחן שילוב ההסתברויות של פישר אשר מתבסס על איחוד הסתברויות של מבחנים המבוצעים תחת אותה השערת אפס.
רמת המובהקות הנקבעת מראש formula_18 יכולה להתפרש כסיכוי לדחות שלא בצדק את השערת האפס (טעות מסוג ראשון) מאחר ש
formula_24
כמו כן, אם נקבע מופע מסוים של ערך p, ונרשה לformula_18 להיבחר בין 0 ל-1, נקבל פרשנות מקבילה לערך ה-p במונחי formula_18, כערך הנמוך ביותר של formula_18 שניתן להניח עבורו שהשערת האפס תידחה עבור סט תצפיות מסוים ברמת מובהקות שנקבעה מראש. אם מניחים כי רמת המובהקות, formula_18, היא קטנה מהערך p שיתקבל זה יוביל לכך שלא תהיה דחייה של השערת האפס.
חישוב.
בדרך כלל, formula_1 איננו מייצג את התצפיות, אלא את המבחן הסטטיסטי. המבחן הסטטיסטי ("סטטיסטיקות מבחן") הוא פונקציה של כלל התצפיות, כמו ממוצע או קורלציה, אשר מסכם את התכונות של התצפיות לכדי מספר אחד הרלוונטי לשאלה הספציפית. ככזה, למבחן הסטטיסטי יש התפלגות הנקבעת על פי הפונקציה המגדירה אותו ולפי ההתפלגות של התצפיות.
עבור המקרה החשוב בו משערים שהתצפיות הגיעו מהתפלגות נורמלית, פותחו מבחנים שונים עבור ההשערות השונות שנבדקות וטבע הנתונים השונה. מספר מבחנים כאלו הם: מבחן Z להתפלגות נורמלית, מבחן t עבור התפלגות t ומבחן f עבור התפלגות f. כאשר התצפיות לא מגיעות מהתפלגות נורמלית, עדיין ניתן להעריך את ההתפלגויות של סטטיסטי המבחן על ידי שימוש במשפט הגבול המרכזי עבור מדגמים גדולים מספיק, כגון במקרה של מבחן חי בריבוע.
חישוב ערך ה-p דורש השערת אפס, מבחן סטטיסטי (יחד עם ההחלטה אם המבחן מבוצע עבור מאורע שנמצא בזנב הימני, בזנב השמאלי או שייתכן המאורע בכל אחד מהזנבות) וכמובן נתונים. אפילו אם ייתכן שחישוב המבחן הסטטיסטי הוא קל, חישוב של ההתפלגות תחת השערת האפס, וחישוב פונקציית ההסתברות המצטברת שלה היא לעיתים רבות מטלה קשה חישובית. כיום החישוב מתבצע בדרך כלל באמצעות תוכנות סטטיסטיות, ופעמים רבות על ידי שימוש באמצעים נומריים (ולא תוך פתירת פונקציות בצורה מדויקת), אך בתחילת ואמצע המאה ה-20, החישובים הללו נעשו באמצעות טבלאות, ועל מנת להגיע לערך המתאים היה צורך לבצע אינטרפולציה או אקסטרפולציה מתוך אותם ערכים בדידים בטבלה. לכן במקום להשתמש בטבלאות של ערכי p, פישר הפך את פונקציית ההסתברות המצטברת, ופרסם את ערכי המבחן הסטטיסטי עבור ערכי p מסוימים.
דוגמאות.
הטלה אחת של זוג קוביות.
נניח שחוקר מטיל זוג קוביות פעם אחת, והשערת האפס היא שהן הוגנות. המבחן הסטטיסטי הוא "סכום תוצאות ההטלה" והוא חד צדדי. החוקר מטיל את הקוביות ומבחין ששתיהן מראות 6 ולכן מניב מבחן סטטיסטי של 12. ערך ה-p של תוצאה זו הוא 1/36 (מכיוון שתחת השערת האפס, המבחן הסטטיסטי מתפלג אחיד), או בערך 0.028 (המבחן הסטטיסטי הגבוה ביותר מתוך 6×6 = 36 אפשרויות). אם החוקר מניח רמת מובהקות של 0.05, הוא יקבע שתוצאה זו היא משמעותית ולכן ידחה את ההשערה שהקוביות הן הוגנות.
במקרה זה, הטלה אחת מניבה בסיס חלש מאוד (זאת אומרת חסר מידע) כדי להסיק מסקנה משמעותית לגבי הקוביות. זה מדגים את ה"סיכון" שביישום ערך-p ללא התחשבות בתכנון הניסוי.
חמישה "עץ" ברצף.
נניח שחוקר מטיל מטבע חמש פעמים ברצף והשערת האפס היא שהמטבע הוגן. מבחן סטטיסטי של "המספר הכולל של עץ" יכול להיות חד-צדדי או דו-צדדי: מבחן חד-צדדי מקביל לכך שנראה אם המטבע מוטה לטובת "עץ", לעומת זאת מבחן דו-צדדי מקביל לכך שנראה האם המטבע מוטה לצד כלשהו. החוקר מטיל את המטבע חמש פעמים ורואה "עץ" בכל פעם, מה שמניב מבחן סטטיסטי של 5. במבחן חד-צדדי זהו הערך הקיצוני ביותר האפשרי, ומניב ערך-p של . אם החוקר הניח רמת מובהקות של 0.05, הוא יקבע שתוצאה זו משמעותית וידחה את ההשערה שהמטבע הוגן. במבחן דו-צדדי, סטטיסטי מבחן של "0 פעמים "עץ"" קיצוני באותה מידה, ולכן המידע של 5 פעמים "עץ" יניב ערך-p של , וזה לא משמעותי מספיק עבור רמת מובהקות 0.05.
זה מדגים שציון כיוון (על סטטיסטי מבחן סימטרי) חוצה את ערך p (מגדיל את המשמעותיות) ויכול להוות את ההבדל בין החשבת הנתונים למשמעותיים או לא.
היסטוריה.
חישוב הערך p החל במאה ה-18 כאשר פייר-סימון לפלס חישב אותו:
"במהלך העשור של 1770 לפלס התייחס לסטטיסטיקה לגבי חצי מיליון לידות. הסטטיסטיקה הראתה כמות לידות גדולה יותר של זכרים לעומת נקבות. הוא הגיע למסקנה על ידי חישוב הערך p כי עודף לידות הזכרים הוא אמיתי, אם כי בלתי מוסבר".
הערך p הוצג באופן פורמלי על ידי קרל פירסון, במבחן פירסון שפיתח, כאשר במבחן זה הוא השתמש בהתפלגות חי בריבוע וסימן את ערך ה-p ב-P גדולה.
השימוש בערך p בסטטיסטיקה הפך לפופולרי בזכות רונלד פישר, ומשחק תפקיד מרכזי בהתייחסות שלו לנושא. בספרו המשפיע Statistical Methods for Research Workers פישר הציע את קביעת ערך p להיות p=0.05, או כסיכוי של 1 מתוך עשרים לקבל תוצאה קיצונית יותר באופן מקרי, כגבול למובהקות סטטיסטית. הוא יישם את הרעיון של הערך p להתפלגות הנורמלית (בתור מבחן דו-צדדי), ובכך יצר את הכלל של שתי סטיות התקן (עבור התפלגות נורמלית) כמובהקות סטטיסטית.
לאחר מכן פישר חישב טבלה של ערכים, בה חישב את ערכי החי בריבוע השונים אשר יניבו ערכי p מסוימים, הוא חישב את ערכי החי עבור ערכי ה- p הבאים: 0.99, 0.98 ,0.95 ,0.9 ,0.8 ,0.7 ,0.5, 0.3 ,0.2 ,0.1 ,0.005 ,0.02 ו- 0.01. דבר זה אפשר להשוות ערכי חי בריבוע שונים כנגד ערכי סף שונים ועודד את השימוש בערך p (בעיקר 0.05, 0.02 ו-0.01) כערכי סף במקום לחשב ולדווח את הערך p על ידי עורך המחקר עצמו. טבלאות דומות חושבו במאמר של פישר וייטס מ-1938 אשר ביצר את הגישה של התייחסות לערך p כערך סף.
כדוגמה לשימוש בערך p בתכנון וניתוח ניסויים בספרו The Design of Experiments (1935), פישר הציג את ניסוי טעימת התה, שנחשב היום כדוגמה הארכיטיפית לשימוש בערך p.