קיימות מספר וריאציות לבמחנים ממוחשבים אדפטיבים, בניהן ניתן למנות את הבחינה רב שלבית (Multistage testing -MST) בה במקום לבחור פריט אחד בכל איטרציה של אלגוריתם, בוחר האלגוריתם מספר פריטים שרק לאחר מענה עליהן מתבצעת הערכת יכולת מחודשת וכן את Computer-adaptive sequential testing - CAST בה הפריטים מסודרים בקבוצות והמערכת בוחרת את קבוצת הפריטים הבאה על סמך הערכת יכולת. שיטות אלו יכולות לתת מענה, במקרים מסוימים, לחסרונות של המבחן האדפטיבי הממוחשב המתוארות להלן.
יתרונות.
מבחנים אדפטיבים ממוחשבים יכולים לספק ציונים מדויקים באופן אחיד לרוב הנבחנים. לעומת מבחנים סטנדרטים בעלי שאלות קבועות המספקים על פי רוב ציונים מדויקים עבור נבחנים בעלי יכולת בינונית ופחות מדויקים עברו נבחנים בעלי יכולות גבוהות או נמוכות במיוחד.
מבחן אדפטיבי יכול להיות קצר בכ-50% ממקבילו הקבוע ועדיין לשמור על רמת דיוק גבוהה יותר. קיצור המבחן יכול לבוא לידי ביטוי בחיסכון בזמן של הנבחנים ושל הגוף הבוחן. נבחנים במבחן אדפטיבי לא משקיעים זמן בניסיון לפטור פריטים קשים מדי או קלים מידי עבורם. והגוף הבוחן נהנה מהיכולת לבחון יותר נבחנים בזמן נתון ובכך להוריד את עלויות ההעברה של המבחן. עם זאת, מכיוון שפיתוח של מבחן ממוחשב אדפטיבי כרוך על פי רוב בהוצאות גדולות בהרבה מאלו של בחינה סטנדרטית, נדרשת כמות גדולה יחסית של נבחנים בכדי להצדיק כלכלית שימוש במבחן אדפטיבי ממוחשב.
בדומה למבחנים מבוססי מחשב אחרים, מבחנים אדפטיבים ממוחשבים יכולים להציג תוצאות מיד עם סיום הבחינה.
במבחנים אדפטיבים, בהתאם לאלגוריתם לבחירת הפריטים, ניתן להקטין את היקף החשיפה של פריטי המבחן מכיוון שנבחנים בדרך כלל מקבלים גישה לפחות פריטים וכל נבחן נחשף לפריטים אחרים, דבר המפחית את הסיכון של דליפת פריטים ואת העלות של פיתוח כמות גדולה של פריטים חדשים. עם זאת, אם כמות הפריטים בעלי קושי בינוני אינו מספיק גדול תיתכן דליפה דווקא של פריטים אלו כיוון שרוב הנבחנים נחשפים לפריטים ברמת קושי בינונית בתחילת המבחן.
חסרונות.
הבעיה הראשונה בה נתקלים בבניית מבחן אדפטיבי היא כיול מאגר הפריטים. בכדי שניתן יהיה לבחור בכל שלב במבחן את הפריט האופטימלי, יש צורך לדרג את רמת הקושי של הפריטים. לשם כך יש צורך לאסוף תגובות של מספר גדול של נבחנים על כל אחד מהפריטים. הדרך המקובלת לשמר מאגר פריטים עדכני ומכוייל הוא לשלב פריטים חדשים המיועדים לבדיקה יחד עם הפריטים התפעוליים של הבחינה (התגובות לפריטים החדשים נרשמות אך אינן נספרות לצורך חישוב הציון). בהקשר הזה פריטים אלו מכונים לעיתים "פריטי פיילוט" . שימוש בפריטי פיילוט מציף סוגיות לוגיסטיות, אתיות ואבטחתיות. כך לדוגמה, בכדי להקים מבחן אדפטיבי חדש מבלי שקיים מידע קודם על הפריטים יש לבצע העברות ניסיון לכמות גדולה מאוד של נבחנים על מנת לדרג את הפריטים. העברה של מבחני ניסיון שכאלו חושפת את הפריטים ועלולה לגלום לדליפת מידע. בשלב בו קיים מבחן אדפטיבי תפעולי מפעיל המבחן צריך לקבוע מה השיעור הסביר וההוגן של פריטי פיילוט שיוצגו לנבחן מתוך כלל הפריטים.
אף על פי שבבחינות אדפטיביות רבות קיים אלגוריתמים לבקרת חשיפה שנועד למנוע חשיפת יתר של פריטים, קיימים מקרים בהם החשיפה לפריטים מסוימים יכולה להיות גבוהה מאוד ובמקרים קיצוניים ייתכן וכלל הנבחנים בעלי יכולת מסוימת יחשפו לאותם פריטים. מקרים מעין אלו קיים חשש משמעותי שפריטים אלו ידלפו. למעשה, הדרך הבטוחה ביותר לצמצום של חשיפה של פריטים היא בחירה אקראית של הפריטים שיוצגו לנבחנים אולם דרך זאת יוצרת מבחן פחות יעיל שיצריך שימוש ביותר פריטים עבור כל נבחן.
אחת התלונות הנפוצות ביותר מצד נבחנים במבחנים אדפטיבים מלינה על כך שלא ניתן לחזור ולתקן תשובות על פריטים קודמים. על פי רוב בחינות אדפטיביות לא מאפשרות לנבחנים לחזור ולשנות תגובה על פריטים שכבר נענו. זאת כיוון שהתגובה על כל פריט משפיע על בחירת הפריט הבא. במקרה בו מאפשרים לנבחן לחזור לפריטים קודמים, נבחן יוכל להבין שטעה בפריטים קודמים ולחזור ולתקנם מתוך כך שהפרטים הבאים המוצגים לו קלים יותר. כך נבחנים יכולים לטעות בכוונה על מנת לקבל רצף של פריטים קלים ואז לחזור ולתקן את תשובותיהם. בצורה כזאת ניתן (במקרים מסוימים) לזכות בציון גבוה אף על פי שרמת הפריטים שעליהם הציון מתבסס נמוכה יחסית.
פיתוח של מבחנים אדפטיבים ממוחשבים דורשים משאבים רבים יותר מאשר פיתוח של מבחן רגיל, בנוסף נדרש כוח אדם מקצועי בעל ידע בפיתוח מבחנים מסוג זה. על מנת לבצע כיול IRT נדרשים מדגמים גדולים הכוללים על פי רוב מאות נבחנים, בהתאם הקמה של מאגר פריטים מכויילים מצריכה מספר גדול של העברות ניסיון. על מנת לאפשר ניהול תקין של מבחן יש צורך לבצע ניתוחים בזמן אמת בכדי שניתן יהיה לבחור את הפריט הבא מיד עם ההשבה על הפריט הקודם לשם כך יש לפתח מערכת תוכנה המסוגלת להעביר מבחן אדפטיבי מבוסס IRT בזמן אמת. בנוסף יש צורך בפסיכומטריקאים בעלי היכרות וניסיון בכיול IRT ובפיתוח של מבחנים אדפטיבים בכדי לתקף את המבחן. פיתוח ותחזוקה של כלים אלו דורשים משאבים רבים וכוח אדם מקצועי שלא נדרשים בהיקפים במבחני דף ועט או במבחנים ממוחשבים שאינם אדפטיבים.
במבחנים בהם קיימת מגבלה של זמן קיים חיסרון בשימוש במבחנים אדפטיבים כיוון שהנבחנים שאינם יודעים מראש כמה שאלות ישאלו אינם יכולים לנהל את הזמן המוקצב להם לצורך המבחן בצורה יעילה. בהתנהלות לא נכונה נבחנים יכולם להשקיע זמן רב מידי על פריטים בתחילת המבחן ולהישאר ולא להספיק לענות על די פריטים לצורך לקבל ציון תקף. הפתרון הקובל במקרים אלו הוא הקצאת זמן לכל פריט בפני עצמו באופן שמבטיח אפשרות להצגה של די פריטים לפני תום הזמן המוקצב.
רכיבים.
על מנת לבנות מבחן אדפטיבי ממוחשב יש צורך בחמישה רכיבים מרכזיים (מתוך: Weiss &amp; Kingsbury, 1984).
מאגר פריטים מכויילים.
על מנת לקיים מבחן אדפטיבי יש צורך במאגר פריטים לבחון מתוכם. את הפריטים ניתן לכתוב ידנית או ליצר בצורה ממוחשבת. הפריטים צריכים להיות מכויילים בעזרת מודל פסיכומטרי שישמש גם את יתר רכיבי המבחן. המודל המקובל בדרך כלל במבחנים אדפטיבים הוא תורת התגובה לפריט (IRT). הסיבה העיקרית לכך נובעת מכך שתורת התגובה לפריט מציבה אנשים ופריטים על אותו סולם (מסומן על ידי האות היוונית תטא), בצורה המקילה על בחירת פריטים (ראה להלן). חשוב שהפריטים יהיו מפוזרים על פני כל רמות הקושי ושיהיו בעלי יכולת הבחנה גבוהה.
נקודת התחלה.
במבחנים אדפטיבים פריטים נבחרים על סמך ביצועי הנבחן עד לאותה נקודה במבחן. עם זאת, לא ניתן לבצע הערכה של הנבחן לפני שהועברו לנבחן פריטים כל שהם. אם קיים ידע מוקדם על הנבחן (מהעברות קודמות או ציונים אחרים) ניתן להשתמש בו לצורך קביעת נקודת ההתחלה. בדרך כלל במבחנים אדפטיבים אין מידע מוקדם על הנבחנים או שקיימת העדפה שלא להשתמש בו ולכן מניחים כי הנבחנים הם בעל יכולת ממוצעת והפריטים הראשונים המוצעים במבחן הם פריטים בעלי קושי בינוני.
אלגוריתם לבחירת הפריט הבא.
כאמור, תורת התגובה לפריט מציבה נבחנים ופריטים באותה סולם. לכן, אם למבחן אדפטיבי קיים אומדן של יכולת הנבחן, ניתן לבחור את פריט המתאים ביותר לאומדן זה. מבחינה טכנית הדבר נעשה על ידי בחירת הפריט שיספק את יכולת ההבחנה הגבוהה ביותר באותה נקודה.
חישוב ציון.
לאחר העברת פריט מעדכן האלגוריתם את הערכת רמת היכולת של הנבחן. אם הנבחן ענה נכון על הפריט, האלגוריתם מעריך כי היכולת של הנבחן גבוהה יותר, ולהפך. לשם הערכת היכולת האלגוריתם משתמש בתורת התגובה לפריט (IRT) לצורך קבלת פונקציית נראות ליכולתו של הנבחן. קיימות שתי שיטות לקבלת פונקציה זאת. הערכת הסבירות המרבית והערכה ביסיאנית. ההערכה הבייסיאנית מניחה חלוקה א-פריורית של יכולת הנבחנים, וממנה נובעים שני אומדנים נפוצים: אומדן על סמך ביצועים קודמים ואומדן מקסימלי על סמך ביצועים קודמים. הערכת הסבירות המרבית שווה לאומדן המקסימלי על סמך ביצועים קודמים אם מניחים ביצועים קודמים אחידים (f (x) = 1). הסבירות המרבית אינה מושפעת בצורה אסימפטוטית, אך אינה יכולה לספק הערכת יכולת (θ) עבור וקטור תגובה חד-גווני (הכל נכון או לא נכון), ובמקרה זה ייתכן שיהיה צורך להשתמש בשיטה בייסיאנית.
קריטריון סיום.
אלגוריתם האחראי לניהול המבחן ימשיך להציג פריטים ולעדכן את הערכת היכולת של הנבחן עד למיצוי מאגר הפריטים או עמידה בקריטריון סיום. בדרך כלל המבחן מסתיים כאשר שגיאת המדידה הסטנדרטית של הנבחן נופלת מתחת לסף קבוע שנקבע על ידי מנהל המבחן. קריטריוני סיום אחרים קיימים למבחנים בעלי מטרות שונות, לדוגמה אם במבחן שנועד לקבוע האם הנבחן עבר או נכשל יקבע קריטריון שאינו ממצא את הערכת היכולת של הנבחן.
נושאים נוספים.
מבחני קריטריון.