רגישות (נקראת לעיתים גם שיעור חיובים אמיתיים, שיעור הפגיעה, כיסוי או רמת סמך, מסומנת בקיצור: TPR, ראשי תיבות של המילים "True Positive Rate") היא שיעור הסיווגים לקבוצה "חיובי" מתוך כלל הפריטים החיוביים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כחיובי, בהינתן שמדד הזהב קבע שהפריט הוא חיובי:
במילים אחרות, הוא משקף את מידת ההצלחה לנבא נכונה שפריט הוא חיובי.
שיעור שליליים כוזבים (או: שיעור ההחטאה; מסומן בקיצור: FNR, ראשי תיבות של המילים "False Negative Rate") הוא שיעור הסיווגים לקבוצה "שלילי" מתוך כלל הפריטים החיוביים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כשלילי, בהינתן שמדד הזהב קבע שהפריט הוא חיובי:
הקשר בין שני המדדים,
סגוליות ושיעור חיוביים כוזבים.
סגוליות (נקראת לעיתים גם שיעור שליליים אמיתיים או שיעור דחיות נכונות; מסומנת בקיצור: SPC, קיצור של המונח האנגלי "Specificity") היא שיעור הסיווגים לקבוצה "שלילי" מתוך כלל הפריטים השליליים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כשלילי, בהינתן שמדד הזהב קבע שהפריט הוא שלילי:
במילים אחרות, הוא משקף את מידת ההצלחה לנבא נכונה שפריט הוא שלילי.
שיעור חיוביים כוזבים (נקרא לעיתים גם: נפולת, רמת מובהקות או שיעור אזעקות השווא; מסומן בקיצור: FPR, ראשי תיבות של המילים "False Positive Rate") הוא שיעור הסיווגים לקבוצה "חיובי" מתוך כלל הפריטים השליליים, לפי מדד הזהב. כאומדן, הוא משקף את ההסתברות המותנית שהפריט סווג כחיובי, בהינתן שמדד הזהב קבע שהפריט הוא שלילי:
הקשר בין שני המדדים,
נובע מהעובדה שהם אומדים הסתברויות מותנות משלימות זו לזו.
ערכי ניבוי.
ערך ניבוי חיובי (נקרא לעיתים גם דיוק; מסומן בקיצור PPV, ראשי תיבות של המילים "Positive Predictive Value") הוא שיעור הפריטים החיוביים לפי מדד הזהב מתוך כלל הפריטים שסווגו לקבוצה "חיובי". כאומדן, הוא משקף את ההסתברות המותנית שהפריט חיובי, בהינתן שהוא סווג כחיובי:
ערך ניבוי שלילי (מסומן בקיצור NPV, ראשי תיבות של המילים "Negative Predictive Value") הוא שיעור הפריטים השליליים לפי מדד הזהב מתוך כלל הפריטים שסווגו לקבוצה "שלילי". כאומדן, הוא משקף את ההסתברות המותנית שהפריט שלילי, בהינתן שהוא סווג כשלילי:
נכונות.
נכונות (לפעמים נקראת גם מדד ראנד) היא שיעור הסיווגים הנכונים. כאומדן היא משקפת את שיעור הסיווגים הנכונים מתוך כלל האוכלוסייה:
מדדים נגזרים.
המדדים המופיעים לעיל פשוטים לחישוב מתוך נתוני המדגם, אבל לעיתים רבות, החוקרים מעוניינים בתכונות מסוימות של המדגם (כאומדן לאוכלוסייה); לפעמים, יש צורך במדד אחד שניתן להביא למקסימום או למינימום, ובכך למצוא את הסיווג הטוב ביותר, לפי דרישות המערכת. מדדים שונים פותחו לשם כך. להלן רשימה חלקית:
יחסי נראות.
בתחום בדיקות האבחון הסיווג (כלומר, הבדיקה) מבוצע על מנת לברר את מצבו הרפואי של החולה. מעצם העובדה שיש תוצאות כוזבות (שליליות או חיוביות) מובן ששתוצאת הבדיקה לא אומרת בהכרח האם המטופל חולה או בריא. כדי להעריך האם אדם אמנם חולה או בריא, יש צורך להשתמש בחוק בייס: אם נסמן את המאורע "תוצאת בדיקה חיובית" ב-A ואת המאורע "המטופל חולה" ב-B, נוסחת בייס אומרת כי
formula_5,
כאשר משמעות הסימון formula_6 היא ההסתברות ל-formula_7 בהינתן formula_8.
דרך נוחה יחסית לשימוש בחוק בייס היא באמצעות מעבר ליחסי הסתברויות ויחסי נראות: אם יש למאורע מסוים הסתברות formula_9 להתרחש, אז יחס ההסתברויות מחושב כ-formula_10. יחסי הנראות מחושבים בעזרת המדדים השבריים:
יחס הנראות מאפשר ללמוד כיצד תוצאת הבדיקה תשפיע על הערכת מצבו של המטופל.
מקרה לדוגמה: ההסתברות שמטופל מסוים חולה במחלה זאת או אחרת מוערכת להיות formula_9 על בסיס נתונים החיצוניים לבדיקה (למשל, גיל, משקל, היסטוריה רפואית). אם התקבלה תוצאה חיובית בבדיקה, יחס הנראות (החיובי) מאפשר לחשב את יחס ההסתברויות שלו להיות חולה בהינתן תוצאת הבדיקה (formula_12), על ידי שימוש ביחס ההסתברויות שלו להיות חולה לפני הבדיקה (formula_13):
כמו כן, מגדירים יחס יחסי הסתברויות (DOR):
שמשמש בעצמו כמדד לטיב הסיווג: ככל שיחס יחסי ההסתברויות גבוה יותר, כך המתאם בין המסווג למדד הזהב טוב יותר.
ניתן להרחיב את יחס הנראות גם לסיווגים שאינם דו-ערכיים, אם מחשבים את יחסי הנראות עבור כל אחת מקטגוריות הסיווג. במקרה זה, מחשבים את הרגישות והסגוליות לכל אחת מהקטגוריות, ומחשבים בעזרתן את השינוי בהסתברות לקטגוריה מסומנת, בהינתן שהמסווג סיווג את הפריט באותה קטגוריה.
מדד F.
במדעי המחשב, ובפרט בלמידה חישובית ובאחזור מידע, היו נפוצים למשך תקופה ארוכה שני מדדים מרכזיים: הדיוק והכיסוי. הרצון למצוא מדד אחד שיסמן את איכות הסיווג הביא לפיתוחו של מדד F. המדד מחושב מתוך הדיוק (ערך הניבוי החיובי) והכיסוי (הרגישות):
formula_16
והוא הממוצע ההרמוני של שני מדדים אלו. ניתן לתת משקל שונה לכל אחד מהמדדים, ואז תתקבל נוסחה כללית יותר, המסומנת לרוב כ-Fβ:
formula_17
אחד החסרונות המשמעותיים למדד זה הוא העובדה שהוא לא מודד את מספר השליליים האמיתיים. בנוסף, הוא מושפע מאוד משיעור ההימצאות.
מיודעות ומסומננות.
מיודעות (informedness) מכמתת את המידה שבה הסיווג הוא מושכל (במילים אחרות: עד כמה ניתן לסמוך עליו). היא נתונה כהסתברות לסיווג מושכל, ביחס לניחוש באקראי. במקרה של מסווג דו-ערכי, היא נתונה בנוסחה:
formula_18
מסומננות (markedness) מכמתת את המידה שבה המסווג מסוגל להבחין בין הקטגוריות השונות. היא נתונה כהסתברות שהקטגוריות מובחנות זו מזו, ביחס לניחוש באקראי. במקרה של מסווג דו-ערכי, היא נתונה בנוסחה:
formula_19
אחד היתרונות המשמעותיים של שני מדדים אלו שהם לא מושפעים משיעור ההימצאות, או מההטיה של המסווג (כלומר, היחס בין מספר הפריטים שהוא מסווג כחיוביים לבין מספר הפריטים הכולל).
מתאם מת'יוז.
מקדם המתאם של מת'יוז מודד את המתאם בין הסיווג למדד הזהב.
קיימות כמה דרכים שקולות לחשב אותו:
בנוסף, הוא שווה (בערכו המוחלט) לסטטיסטי המכונה לעיתים מקדם פי [ϕ coefficient], ששווה בתורו לכי בריבוע חלקי מספר הפריטים במדגם.
סיכום מטריצת הטעות ומדדי ההערכה.
להלן איור המסכם את מטריצת הטעות וממדי ההערכה השונים, היסודיים והנגזרים, של מסווג דו-ערכי.
עקומת ROC.
עקומת ROC נותנת ייצוג גרפי לתמורה ההדדית שיש בין הקטנת מספר השליליים הכוזבים לבין הקטנת מספר החיוביים הכוזבים: אם, למשל, המסווג הופך ערך בהירות של תמונה לסיווג בין שחור ולבן, ניתן לבחור קריטריון יותר מצומצם (שיסווג מעט מאוד פריטים כשחורים) או יותר מרחיב (שיסווג הרבה פריטים כשחורים). הבחירה הראשונה תצמצם את הזיהויים השגויים של פריטים כחיוביים, אבל בתמורה נקבל הרבה שליליים כוזבים; האפשרות השנייה תצמצם זיהויים שגויים של פריטים כשליליים, אבל בתמורה נקבל הרבה חיוביים כוזבים.
האפשרויות השונות לבחירת הקריטריון מוצגות על פי שני פרמטרים מייצגים: שיעור החיוביים האמיתיים (רגישות) ושיעור החיוביים הכוזבים (שהוא גם 1 פחות הסגוליות). בדרך כלל העקומה משורטטת בין הפינה השמאלית התחתונה (formula_21, כל הפריטים מסווגים כשליליים), לבין הפינה הימנית העליונה (formula_22, כל הפריטים מסווגים כחיוביים). צורתה הכללית של העקומה תלוי במידת הקושי של הסיווג: ככל שהוא יותר קל, היא תתקרב יותר לפינה השמאלית העליונה (formula_23, "המסווג המושלם").
באופן כללי יותר, ניתן לייצג כל מסווג במרחב ROC, גם אם לא קיים פרמטר שניתן לשנות במסווג (ראו איור). מסווג הנמצא על האלכסון (הקו האדום) שקול לניחוש באקראי. למסווגים שמסומנים מעל האלכסון יש כח ניבוי חיובי. למסווגים שנמצאים מתחת לאלכסון יש אמנם כח ניבוי, אבל הוא הפוך: הם מסווגים באופן עקבי חיוביים רבים כשליליים ולהפך. ניתן להפוך מסווג כזה למסווג יעיל בעזרת החלפה בין הקטגוריות (בין חיובי לשלילי).
באופן טבעי, נובע שהמרחק בין המיקום של מסווג על הגרף לבין הנקודה formula_23 גם הוא מדד לטיב הסיווג. במילים אחרות, מסווג טוב יצמצם את המרחק formula_25. כמו כן, אם המחיר של כל אחד מסוגי הטעויות שונה, ניתן להוסיף משקלים לחשיבות היחסית של כל אחד הגורמים, והמרחק שיש לצמצם יהיה מהצורה formula_26.
יחס הנראות החיובי של מסווג הוא מדד נוסף שניתן לזהות בעקומת ROC: הוא השיפוע של העקומה בכל נקודה.
בתחומים שונים.
בדיקת השערות.
בדיקת השערות הוא הליך המשתמש בנתוני מדגם כדי להחליט אם לדחות או להישאר באמונתנו לגבי השערה נתונה. הבדיקה מכריעה בין שתי השערות לגבי ההתפלגות ממנה נלקח המדגם: השערת האפס (H0) וההשערה האלטרנטיבית (H1). את ההשערה האלטרנטיבית מנסים לאשש על ידי דחיית השערת האפס. בהקשר זה, שגיאה מסוג I היא דחיה של השערת האפס בשוגג, ושגיאה מסוג II היא אי-דחייה של השערת האפס ואישוש ההשערה הנגדית H1.
תורת גילוי האותות.
תורת גילוי האותות היא תחום שעוסק בקבלת החלטות בתנאי אי-ודאות, על ידי בני אדם ועל ידי מכונות.
במודל זה, מטריצת הטעות מבוטאת במונחים שונים מעט:
המוקד בתורה זו הוא ההבחנה בין שני סוגי גורמים לשגיאות העומדים בפני המסווג: יכולת ההבחנה בין אות לרעש (המבוטא על ידי מדד formula_27), ומיקום הגבול בין תחומי ההחלטה (נקרא גם "קריטריון", ומסומן באות formula_28).
טריווגו