שגיאות מסוג I ו-II

בבדיקת השערות סטטיסטית "שגיאה מסוג I" היא דחייה שגויה של השערת האפס, בעוד "שגיאה מסוג II" היא קבלה שגויה של השערת האפס. במילים פשוטות יותר, שגיאה מסוג I כאשר ניסוי מסתיים בתוצאה שהתגלה אפקט מסוים שאינו קיים במציאות, ושגיאה מסוג II כאשר הניסוי לא מצליח לאשש שאפקט קיים, למרות שהוא אכן קיים במציאות. לדוגמה, אם הניסוי בודק את השפעתה של תרופה מסוימת על מחלה, שגיאה מסוג I מתרחשת כאשר התוצאות מצביעות על היות התרופה יעילה כשבמציאות היא אינה יעילה, ושגיאה מסוג II כאשר התוצאות אינן מצביעות על יעילות התרופה כשבמציאות היא כן יעילה.
המונחים "שגיאה מסוג I" ו"שגיאה מסוג II" נקראים לעיתים גם "תוצאה חיובית שגויה" (False positive) ו"תוצאה שלילית שגויה" (False negative) בהתאמה, שהם מונחים כלליים יותר המשמשים בהקשרים שונים. המונחים "שגיאה מסוג I" ו"שגיאה מסוג II" מתייחסים ספציפית לבדיקת השערות סטטיסטית.

כימות ההסתברות לשגיאות

נהוג להשתמש בשני מדדים על מנת לכמת את ההסתברות לשגיאה, אחד עבור כל סוג של שגיאה.
מדד אחד הוא ההסתברות שתתרחש שגיאה מסוג I תחת ההנחה שהשערת האפס היא נכונה. כלומר, תחת ההנחה שאספנו מדידות ממקור כלשהו בו לא קיים כל אפקט (כפי שטוענת הנחת האפס), מחשבים את ההסתברות לקבל נתונים שיטעו אותנו לחשוב שהאפקט קיים. הסתברות זו מסומנת באות α, וגם מכנים אותה רמת המובהקות של הניסוי.
לעיתים רמת המובהקות הנדרשת נקבעת מראש, והניסוי מתוכנן באופן כזה שיעמוד בה. לדוגמה, נניח נדרשת רמת מובהקות סטטיסטית של 5%, כלומר בהנחה שהשערת האפס היא נכונה, נדרש שההסתברות לדחות אותה לא תעלה על 5%. על סמך דרישה זו (בין השאר) יבחרו הפרמטרים השונים של הניסוי: כמות דגימות המידע שצריך לאסוף, המדד הסטטיסטי שיכריע את התוצאה, והסף שהוא צריך לעבור על מנת לדחות את השערת האפס. כל אלה יכוונו באופן כזה שיבטיחו את רמת המובהקות הנדרשת. לעיתים רמת המובהקות לא נקבעת מראש, אלא מחושבת בדיעבד. כלומר, קודם כל הניסוי מתבצע, ואז מחושב ערך-p, שמציין באיזה רמת מובהקות סטטיסטית המבחן עבר.
המדד השני הוא ההסתברות שתתרחש שגיאה מסוג II תחת ההנחה שהשערה האלטרנטיבית היא הנכונה. הסתברות זו מסומנת באות β. ההסתברות ששגיאה מסוג II לא תתרחש קרויה גם עוצמה סטטיסטית, כלומר העוצמה הסטטיסטית שווה ל-1-β.
עבור מבחן סטטיסטי נתון המתבצע על מדגם בגודל נתון, ההסתברויות לשני סוגי השגיאות באים זה על חשבון זה. לדוגמה, נניח נבדקת יעילותה של תרופה להורדת חום. אם נדרוש שהתרופה תוריד לפחות מעלה אחת בממוצע בקבוצה הנבדקת כדי להכריז עליה כיעילה, נקבל הסתברויות מסוימות לשגיאה מסוג I ומסוג II. אם נדרוש שהתרופה תוריד לפחות שתי מעלות בממוצע, ההסתברות לשגיאה מסוג I תרד וההסתברות לשגיאה מסוג II תעלה. בשני המקרים הסיבה היא שדרשנו סף יותר מחמיר לדחיית השערת האפס. אם נגדיל את גודל המדגם אז ההסתברויות לשני סוגי השגיאות ירדו.
הקטנת הסיכוי לשגיאה מאחד הסוגים על ידי הגדלת הסיכוי לשגיאה מהסוג האחר מקובלת כאשר לאחת השגיאות יש השלכות מסוכנות יותר מאשר לשנייה. לדוגמה, הסיכון באבחון שגוי של אדם בריא כחולה סרטן, בבדיקה ראשונית לגילוי סרטן, הוא בזבוז כספים וזמן בבדיקות מתקדמות וכן עגמת נפש. לעומת זאת אבחון שגוי של חולה סרטן כאדם בריא עלול לגרום למוות מהזנחה – תוצאה חמורה בהרבה.

מקור השמות

ג'רזי ניימן ואגון פירסון, סטטיסטיקאים רבי השפעה, פרסמו במשותף החל משנת 1928 סדרת ספרים ומאמרים מכוננים בנושא בדיקת השערות, ובהם מתוארים גם שני סוגי השגיאות.
במאמרם משנת 1933 מתוארות שתי השגיאות ברשימה הממוספרת (I) ו-(II). בהמשך אותו מאמר הם מתייחסים לשגיאות כאל שגיאה מסוג I ומסוג II.

השוואות מרובות

יש מחקרים בהם נבדקות בו זמנית זוגות רבים של השערת אפס והשערה אלטרנטיבית. לדוגמה, נניח נעשה המחקר הבודק האם ההסתברות לחלות בשפעת תלויה בגנים מסוימים. נניח שהמחקר בודק בו זמנית מאה גנים, שנכנה אותם גן 1, גן 2, גן 3 וכו'. כלומר למחקר יש מאה השערות אפס: גן 1 אינו משפיע על ההסתברות לחלות בשפעת, גן 2 אינו משפיע על ההסתברות לחלות בשפעת, וכו'. בהתאם יש מאה השערות אלטרנטיביות. מצב כזה קרוי בדיקת השערות מרובות, או השוואות מרובות. במחקרים מודרניים מספר ההשערות הנבדק עשוי להגיע למיליונים.
מכיוון שהמחקר מבצע בו זמנית בדיקות השערות רבות, הוא חשוף במיוחד לשגיאות מסוג I וסוג II. אם נבדקות למשל מאה השערות, ונניח שבכולן השערת האפס נכונה, ושרמת המובהקות של הניסוי היא 5%, הרי שצפוי מראש לקבל כחמש שגיאות מסוג I.
כלים סטטיסטים מיוחדים פותחו כדי להתמודד עם בעיה זו. אמצעי פשוט אחד ידוע בשם תיקון בונפרוני, לפיו פשוט מחלקים את רמת המובהקות הסטטיסטית במספר ההשערות הנבדק. כלומר כדי לקבל רמה של 5% עבור 100 השערות צריך לעבוד ברמת מובהקות של 0.05%. שיטה זו פותרת את בעיית השגיאות מסוג I, אך מעלה בצורה משמעותית את ההסתברות לשגיאה מסוג II. בשנת 1989 פתחו שני סטטיסטיקאים מאוניברסיטת תל אביב, הפרופסורים יואב בנימיני ויוסף הוכברג, אמצעי מתוחכם יותר הקרוי שיעור התגליות השגויות. שיטה זו מאפשרת שליטה בכמות השגיאות מסוג I עם עליה פחותה בהסתברות לשגיאה מסוג II. השיטה זכתה להכרה רבה, והיוותה את הסיבה המרכזית לזכייתו של בנימיני בפרס ישראל לשנת 2012.