מדידה והערכה

אמינות לעומת חוסר הטיה

מדד בעל אמינות נמוכה הוא מדד בעל שגיאות מדידה מקריות גדולות. לשגיאות כאלה יש אותו סיכוי להגדיל ולהקטין את תוצאת המדידה. דרך מקובלת להתגברות על שגיאות כאלה היא עריכת מדידות רבות וקבלת ממוצע התוצאות שלהן כתוצאת המדידה הסופית.
בניגוד לזה, מדד בעל הטיה הוא מדד בו השגיאות שיטתיות ונוטות בעיקר להגדיל או בעיקר להקטין את התוצאה. עריכת מדידות רבות וקבלת הממוצע שלהן כתוצאה סופית לא תעזור להתגבר על ההטיה. התגברות על הטיה מחייבת הבנה של גודל ההטיה וכיוונה. לדוגמה: אם מד טמפרטורה מוטה בשתי מעלות למעלה, יש להפחית מכל התוצאות של מדידותיו שתי מעלות.
לעיתים אפשר להבין את ההטיה מתוך ניתוח התוצאות. למשל, אם מודדים את משקלם של מאה ילדים ואחרי הילד העשרים ושביעי, נשפך קפה על מכשיר המדידה והחל מהילד העשרים ושמיני ממוצע משקל הילדים עולה בעשרה קילוגרם, ניתן להניח שהקפה גרם להטיה במכשיר המדידה. במקרה כזה, החל מתוצאת מדידת הילד העשרים ושמיני, יש להוריד עשרה קילוגרם מכל תוצאה ותוצאה.
הטיה וחוסר אמינות של תשובות בשאלונים יש לגלות במערך ניסויים המשווה את תשובות השאלונים לתוצאות מדידה שיש להניח שהיא אובייקטיבית יותר. לדוגמה: מיקלסן (2007) השווה שאלון על זמן השימוש היומי הממוצע במחשב בכלל ובמקלדת ובעכבר בפרט למדידות יותר אובייקטיביות של משתנים אלה (המדידות האובייקטיביות יותר עדיין לא אובייקטיביות מספיק עבור מדעים מדויקים). הוא גילה מה ההטיה ומה חוסר האמינות של שלוש השאלות: "במשך כמה שעות ביום אתה משתמש במחשב?", "במשך כמה שעות ביום אתה משתמש במקלדת?" ו-"במשך כמה שעות ביום אתה משתמש בעכבר?". לשלוש השאלות יש מידת הטיה וחוסר אמינות שונה. בניגוד לשתי השאלות האחרות, השאלה "במשך כמה שעות ביום אתה משתמש בעכבר?" התבררה כחסרת אמינות עד כדי כך עד שהמדגם הדרוש לאמינותה בסקר הוא כה גדול שמומלץ פשוט לא לשאול אותה בסקרים. שתי השאלות האחרות אמינות יותר ואם משלבים אותן בסקר, יש להביט במחקרו של מיקלסן כדי לדעת איזה ערך להחסיר מהתוצאות שלהן.

תקפות מדידות

תוקף הוא התשובה לשאלה "האם הכלי מודד את מה שהוא אמור למדוד?". על השאלה הזאת ניתן לענות בדרכים רבות ומגוונות, וממנה נגזרות כמה דרכים מקובלות להתייחסות: תוקף מבנה, תוקף תוכן, תוקף המדידה, תוקף פנימי, תוקף חיצוני ותוקף המסקנה הסטטיסטית.
ישנן מספר דרכים לתאר את היחסים בין סוגי התוקף השונים. הדרך המקובלת היא להתייחס לתוקף המבנה התאורטי של המשתנה הנמדד כאל סוג התוקף הרחב ביותר, ולסוגי התוקף האחרים כאל היבטים שונים בתיאור תוקף המבנה.
לשאלת התוקף קודמת שאלת המהימנות, ששואלת "האם בשימוש בכלי המדידה המסוים, נקבל תוצאות עקביות?". כלי שאינו מהימן אינו יכול להיות תקף, ולכן על החוקר להוכיח טרם השימוש בכלי המדידה את מהימנות התוצאות שנאספות באמצעותו.

תקפות תוכן

תקפות תוכן (Content Validity) היא ההתאמה בין הערך שאתה מודד לבין מה שאתה מנסה לדעת. במדעי החברה והרפואה אנו מעוניינים במדידת ערכים רבים שמדידתם הישירה מסובכת או בלתי אפשרית. לכן אנו מודדים ערך אחר שאנו מאמינים שהוא קשור בהם. אמונה זו יכולה להיות מאוששת על ידי התאוריה או על ידי מחקרים קודמים אך כל זמן שאין בה ביטחון מוחלט על החוקר להעריך אותה או לבדוק אותה בניסוי.
דוגמה מוכרת לשאלות התוקף של המדידה כזו היא הבחינה הפסיכומטרית לקבלה לאוניברסיטאות שלכאורה אמורה לשקף את יכולת המועמד תלמיד להצליח בלימודי התואר הראשון שלו, אך הספר שונות כיד המקרה/יופה מדווח על ניסוי שמערער לחלוטין את תקפות התוכן שלה. התהליך של בניית התוקף, כמו כל תהליך במחקר אקדמי, הוא כזה שבנוי ממחקרים ומחקרי נגד, כאשר מבחן טוב הוא כזה שהטיעונים בעדו ונגדו הם לפחות שקולים בכמותם ובאיכותם.  
דוגמה מוכרת אחרת היא תוקפה של מדידת טמפרטורת הפה (אחרי מנוחה) כדי להעריך את חומרתו של זיהום חיידקי או זיהום נגיפי. מדידת הטמפרטורה בפה מעניינת אותנו בתור אינדיקציה בריאותית. מכיוון שידוע לנו שלעיתים טמפרטורת הגוף גבוהה ומצב הבריאות תקין, ולהפך, הרי שתוקפה של מדידה זו כאינדיקציה יחידה למצב הבריאות אינו מושלם. זאת בניגוד למדידת חום מי האמבט בו מושרות המבחנות בניסוי בביוכימיה. בניסוי בביוכימיה אנו מעוניינים בטמפרטורה כשלעצמה ולא כאינדיקציה.
מסיבה זאת נהוג להשתמש בסוללות מבחנים לצורך קבלת החלטות לגבי המשתתפים במדידה ולא להסתמך על מדד יחיד. למשל, בדוגמת המיון ללימודי תואר ראשון, הבחינה הפסיכומטרית אינה משמשת מדד יחיד, ובנוסף למבחני הבגרות היא משוקללת יחד עם מידע נוסף, לפי החלטת המחלקה האקדמית. מידע זה יכול להיות סוללת מבחנים שלמה (כמו במקרה של מבחני מו"ר ומרק"ם במיון ללימודי רפואה), ראיונות אישיים, משתנים סוציואקונומים וכולי.
תקפות התוכן של מדידת הטמפרטורה בפה כאינדיקציה לחולי היא די מוצלחת לגבר גורמי מחלות רבים אך הבנה לקויה לעובדה שמדידת טמפרטורה אינה "מדידת בריאות" עלולה לעלות למטופל שלך בחייו במקרה שהוא נדבק בגורם מחלה אלים שאינו מפתח חום גבוה. מקרה כזה מדווח בספר Smart but Feeling Dumb/Levinson. במקרה זה הגיע אל בית החולים אדם מבולבל מאוד שהנוירולוג שלח שוב ושוב אל הפסיכולוג בטענה שאם אין לו חום סימן שהבלבול שלו נובע מבעיות פסיכולוגיות ולא מדלקת קרום המוח. שגיאתו של הנוירולוג התבררה רק לאחר שכבר היה מאוחר מדי לתת לו אנטיביוטיקה.

תוקף נראה

תוקף נראה (Face Validity). התייחסות זו למדידה שואלת את השאלה "האם המשתתפים במדידה מרגישים שהיא תקפה". סוג תוקף זה עשוי להיתפס כלא משמעותי, משום שהוא עוסק בחוויה הסובייקטיבית של הנמדדים, אך למעשה, הוא אחד מסוגי התוקף החשובים ביותר. מבחן בעל תוקף נראה נמוך לא יעבור את מבחן השימוש הציבורי בו, וגם אם הוא עומד בסוגי מבחני התוקף והמהימנות האחרים, הסיכוי להשתמש בו בפועל - נמוך.

סוגי תקפות אחרים

סוגי תקפות אחרים קשורים לתקפותן של מסקנות מחקריות ולא לתקפות המדידות.