לגבי מחקר או מבחן מהימן, ניתן להסיק בעזרת כלים סטטיסטיים שהתוצאות בו אינן מקריות, ויחסית אינן מושפעות מגורמים חיצוניים לבחינה (כגון מזג האוויר, היום בשבוע, שעה, עייפות וכו'). מידת המהימנות נמדדת בעזרת "מקדם המהימנות", הנע בין 0 (חוסר מהימנות) ל-1 (מהימנות מושלמת) ומשקף את המידה בה הערך הנצפה מושפע מהמשתנה הלטנטי (חבוי) שאותו אנו מודדים, לעומת השפעות אחרות, המכונות "רעש". מקדם המהימנות מוגדר כיחס שבין שונות המשתנה האמיתי לבין שונות המשתנה הנצפה (הנמדד באמצעות המכשיר שמהימנותו עומדת לבחינה):
מהימנות טפסים מקבילים
בתורת המבחנים ובשיטות מחקר ישנם מספר סוגי מהימנות.
מהימנות טפסים מקבילים היא השוואת ההישגים של אותם נבחנים בשני מבחנים מקבילים – כל טופס מבחן מכיל פריטים המייצגים את אותו התוכן ורמת הקושי (גרסה א' וגרסה ב' או מועד א' ומועד ב'). הפריטים בשני הטפסים צריכים להיות זהים במספרם, בסוג הפריטים, ברמת הקושי ובהוראות. השאלות נלקחות מאותו מדגם, ולכן ההצלחה בשני המבחנים צריכה להיות דומה.
מהימנות בין שופטים
מהימנות פנימית
בתורת המבחנים ובשיטות מחקר ישנם מספר סוגי מהימנות. במהימנות פנימית נבדק האם המבחן הומוגני: האם כל הפריטים בודקים את אותו תחום התוכן או אותה מיומנות. דרך אחת לבדוק זאת היא באמצעות חישוב מתאם בין שני חצאים של המבחן. דורש העברה אחת בלבד של המבחן. מבחן לסיכום יחידת הוראה שהשאלות בו הן ברמת קושי דומה, יהיה בעל מהימנות פנימית גבוהה.
מהימנות הניסוי = דיוק. למעשה בוחן האם הצליחו למדוד באופן עקבי את מה שניסו למדוד.
1. מהימנות בין שופטים – שינוי בגורמים השיפוטיים לא ישנה את המסקנה. בודק למעשה את מידת השפעת האדם הבודק על הניסוי. ככל שנקבע קריטריונים אחידים ואובייקטיביים - המהימנות מעבר לשופטים תעלה. בדיקה על ידי מעריכים שונים צריכה לתת אותה התוצאה.
2. מהימנות מעבר לזמן – אין השפעה לזמן בו נערך הניסוי, התוצאה תהיה דומה בכל זמן נתון. בשתי מדידות בזמנים שונים נצפה לקבל אותה תוצאה.
3. מהימנות פנימית מעבר לפריטים – הקשר בין השאלות השונות שבודקות את אותו המשתנה. מתאם גבוה בין השאלות שמודדות את אותו משתנה (בעייתי במקצת שעה שמודדים אנשים, משום שלעולם לא נגיע לאותה מידה של מהימנות בין ניסוי לניסוי). לדוגמה: אם בתוך שאלון יש 5 שאלות שתשובה גבוהה עליהן תגדיר את האדם כפרפקציוניסט, נצפה לתשובה דומה בכל אחת מה-5 שאלות. או לדוגמה השלמת משפטים שחוזרת על עצמה. למעשה מהימנות פנימית מורידה את מימד המקריות ומעלה את מהימנות הניסוי.
מדד מקובל להערכת המהימנות הפנימית הוא מדד אלפא של קרונבך.
תוקף (מחקר)
תוקף הוא מונח בשיטות מחקר, המסמל את המידה שבה כלי מדידה פורמלי מודד את מה שהוא נועד למדוד במסגרת המחקר, וכן המידה שבה המסקנות והפעולות הננקטות על סמך ההערכה אכן מתאימות ומדויקות.
בהתאם לכך, התקפות היא השיקול החשוב ביותר בפיתוח ובשימוש של כלי מדידה או הערכה. זאת במיוחד עבור מקרים שבהם היא משמשת לצורך קבלת החלטות חשובות.
התוקף נמדד לצד המהימנות של המחקר.
תהליך התיקוף.
התיקוף הוא תהליך של בניית טיעון מדעי מבוסס, התומך בפרשנות הנתונים המופקים באמצעות כלי המדידה ובפעולות המוצעות בהתבסס עליהם. בנוסף, תהליך התיקוף שולל את כל ההסברים החלופיים והמשתנים המתערבים שיכולים להתקבל על הדעת.
משום שתהליך התיקוף נעשה עבור ההיסקים והפעולות המבוססות על הנתונים ולא על כלי המדידה עצמם, יש לתקף כל סוג של שימוש אשר רוצים לעשות בכלי הערכה נתון. כלומר, גם אם נמצא שכלי מסוים תקף עבור מטרה מסוימת אין זה מבטיח שהוא יהיה תקף למטרות אחרות שעבורן ניתן לעשות בו שימוש.
לצורך יצירת התיקוף יש לקבוע באופן ברור את ההיסקים שמעוניינים בהם והפעולות שמבקשים לבצע על סמך הנתונים שיופקו מהכלי. בנוסף, יש לבנות מסגרת תאורטית ברורה שתשמש לקביעת הנחות היסוד או לניסוח השערות.
סוגי תוקף.
ישנם מספר סוגי תוקף:
הקשר בין תוקף למהימנות.
המשמעות של כלי מחקר אשר אינו מהימן, היא שהוא אינו מודד תכונה יציבה. על מנת שכלי ימדוד את מה שהוא אמור למדוד, עליו למדוד תכונה יציבה. מכאן נובע כי מהימנות מהווה תנאי הכרחי לתוקף. עם זאת, אם מבחן הוא מהימן, תוצאותיו לא בהכרח גם תקפות. ייתכן למשל כי כלי ימדוד תכונה יציבה אך היא אינה התכונה המבוקשת.
תחום הערכה (תורת המבחנים)
תחום הערכה הוא תחום בתורת המבחנים, המכיל את כל הפריטים או המטלות הרלוונטיות שמתוכם ניתן לדגום שאלות או מטלות למבחן או לכלי מדידה פורמלי אחר.
תחום ההערכה בכל כלי מדידה שכזה הוא מצומצם ומוגדר, שכן קיימת מוגבלות טכנית להעריך תחום רחב. כמו כן, תחום ההערכה יתאים לרוב לרמת המוערכים.
לדוגמה, אם אנחנו מעוניינים לבחון את הבנת הנקרא של התלמידים, תחום ההערכה יהיה כל מטלות הקריאה המתאימות לגילם, ולא יכלול מאמר אקדמי, או מטלות קריאה של כיתות נמוכות יותר. מכיוון שלא ניתן למדוד את הביצוע של התלמידים בכל מטלות הקריאה שהן חלק מתחום ההערכה, יש לדגום מטלות מתוך אותו התחום.
שיפוט חיצוני
שיפוט חיצוני הוא שיטת הערכת מבחנים המבוצעת על ידי גורם שאינו קשור ישירות למבחן.
בתורת המבחנים שיפוט חיצוני יכול להעלות את תוקף התוכן של המבחן. צוות שופטים עובר וקובע עד כמה כל פריט במבחן שייך לתחום ההערכה שהמבחן נועד למדוד. השיפוט ניתן לגבי תוכן הפריט, טיב המדידה של הפריט את אותו הנושא (ייתכן פריט ששייך לתחום ההערכה, אך כתוב לא טוב, או שואו ברמה קלה/קשה מדי).
לדוגמה – מורה למדעים כתבה מבחן ונתנה לחבריה לצוות המדעים בבית הספר לתת ציון על מידת השייכות של כל פריט לתחום ההערכה.
נורמות קבוצה
נורמות קבוצה משמשות בתורת המבחנים כאשר ציונו של התלמיד מפורש ביחס לביצועי תלמידים אחרים שעברו את המבחן בעבר. קבוצת התלמידים שעברה את המבחן בעבר נקראת "קבוצת הנורמה". כאשר מחנך יאמר שתלמיד קיבל ציון במאון ה-90 במבחן הישגים ארצי, הכוונה היא שביצועי התלמיד עלו על ביצועיהם של 90% מחברי קבוצת הביקורת. ביצועי התלמיד מושווים לביצועי תלמידים אחרים.
"קבוצת הנורמה" אינה הכיתה או בית הספר אליהם משתייך הילד. הכוונה היא לקבוצת תלמידים שעליהם נבנה ותוכנן המבחן, שמהווים מדגם מייצג של תלמידי האזור או המדינה.
כדי לקבוע ביתר דיוק את מיקומו של התלמיד ביחס לקבוצת הנורמה (מדגם תיקנון) יש להפוך את ציון הגלם למדד יחסי. המאפשר להשוותו לאחרים, וכן להשוות בין הישגים של אותו התלמיד במבחנים שונים.
הציונים היחסיים הנפוצים ביותר הם ציוני תקן, שמבטאים את המרחק שבין ציון הגלם של התלמיד לבין הממוצע ביחידות של סטיות תקן. כל ציון גלם ששווה בדיוק לממוצע הקבוצה מקבל את הציון אפס. מי שציונו הוא סטיית תקן אחת מעל לממוצע יקבל את הציון +1, ומי שציונו חצי סטיית תקן מתחת למוצע יקבל את הציון 0.5-. מכיוון שהערכים השליליים יוצרים קושי בדיווח הציונים (וכן קושי פסיכולוגי), בדרך כלל מבצעים טרנספורמציה (ממוצע 500 וסטיית תקן היא 100, כמו בבחינה הפסיכומטרית).
נורמות תוכן
נורמות תוכן הן כלי עיקרי בתורת המבחנים. בכלי זה ציונו של תלמיד מפורש ביחס לתחום התוכן שבו הוערכו ביצועיו. עד כמה התלמיד שולט בתחום ההערכה או בתחום התוכן, כפי שזה מיוצג על ידי המבחן.&lt;BR&gt;
לדוגמה, נפרש את הציון 85%, כך שהתלמיד הצליח ב-85% מתוכן המבחן ומכך נעריך שהוא שולט ב-85% מתחום התוכן שהוערך.
ככל שתחום ההערכה/תוכן מוגדר ביתר דיוק, הפרשנות שלנו את הציון מבחינת נורמות תוכן תהיה ברורה ופשוטה יותר. עמימות בהגדרת תחום ההערכה תוביל לפרשנות לא תקפה, וכן מבחן קצר מדי (לא תקף) יוביל לפרשנות מוטעית.
ניתן לדווח הישגים ביחס לתחומי תוכן שונים, כגון סוג פעולות חשבוניות שהתלמיד יודע לבצע, אוצר המילים שרכש ורמת קושי חומר הקריאה שהוא מסוגל להבין.
סוג נוסף של מבחנים שמפורשים ביחס לתוכן מכונים מבחנים תלויי קריטריון או מבחני שליטה, שמשמעותם: מבחנים שמטרתם לבדוק האם התלמידים עמדו בקריטריון מסוים, או האם הנבחן שולט במיומנות או לא (זוהי חלוקה דיכטומית של כן/לא). המשותף הוא ששני הסוגים מתייחסים לתוכן כמסגרת ההתייחסות החשובה (לדוגמה: במבחנים לקבלת רישיון נהיגה ומבחני לשכת עורכי הדין, חשוב לנו לדעת בכמה מתחום הידע שולט המועמד). &lt;BR&gt;
שימוש מסוג זה נעשה במערכת החינוך לשם חלוקת הילדים להקבצות שונות.
בנורמות התוכן נעשה שימוש מרכזי בהערכה ומדידה בחינוך פורמלי.
כוח אפור
כוח אפור (שם מדעי: Varanus griseus) הוא מין של זוחל ממשפחת הכוחיים והלטאה הגדולה בישראל. כוח זה הוא שוכן מדבריות בעיקרו, מה שנתן לו את שמו האנגלי (desert monitor). הוא נפוץ לאורך צפון אפריקה, המזרח התיכון והודו.
מאפיינים.
הכוח האפור הוא הגדול והכבד שבלטאות ישראל: אורכו 120–150 ס"מ ומשקלו 2–3 ק"ג. צבעו משתנה לצורך ויסות החום: מאפור-צהבהב כשקר עד לצהבהב בהיר כשחם. בכך מתאים את עצמו לסביבת מחיתו המדברית. הגוף מוכתם בכתמים בהירים ואת הזנב מעטרות טבעות שחורות. צבעו הצהבהב מסייע לו להסתוות מפני אויביו, שהם בעיקר עופות דורסים ויונקים מסדרת הטורפים. על גבו וזנבו של הכוח הצעיר פסי רוחב שחורים, הדוהים עם הגיל ואינם בולטים אצל הבוגר. הכוח מגן על עצמו מפני אויביו בצליפות מהירות וחזקות של זנבו הארוך, וגם בנשיכות.
בקיץ מטילה נקבת הכוח האפור 5–12 ביצים בתוך גומה שחפרה בחול הלח. הצעירים, המגיחים מן הביצים באביב, כשמונה חודשים לאחר ההטלה, שונים בצבעם מן הבוגרים: גופם בצבע אפור בהיר מוכתם בכתמים שחרחרים-צהבהבים.