Madde takımlarından oluşan testlerde bilgisayarda bireyselleştirilmiş test uygulama desenlerinin karşılaştırılması
A comparison of computerized adaptive testing designs for testlet based tests
Yazar: SEBAHAT GÖREN
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmada madde takımlarından oluşan testlerin Bilgisayarda Bireyselleştirilmiş Test (BBT) uygulamaları farklı desenler oluşturularak incelenmiştir. Bu bağlamda öncelikle bilgisayar tabanlı olarak Bilkent Üniversitesi hazırlık sınıfı öğrencilerine uygulanan ve dokuz formdan oluşan İngilizce seviye belirleme sınavından elde edilen gerçek veri seti kullanılmıştır. Her bir form, ölçekleme yapmak amacıyla dokuz ortak madde içerdiğinden eş zamanlı kalibrasyon yöntemiyle madde havuzu oluşturulmuştur. Madde takımlarının bağımsız birer madde olarak ele alındığı BBT, madde takımlarının birlikte ve madde takımı tepki modelinin temel alındığı MT-BBT deseni ve madde takımlarının yani okuma metinlerinin yine birlikte ele alındığı fakat tek boyutlu madde tepki kuramı modeli temelli OM-BBT deseni olmak üzere üç farklı BBT deseni oluşturulmuştur. Bu test desenleri madde havuzundaki parametreler kullanılarak madde takımı sayısı (6-9-12), örneklem büyüklüğü (200-500-1000) ve yetenek kestirim yöntemlerinin (EAP-MAP) kullanıldığı farklı koşullarda ölçme kesinliği ve doğruluğu, madde havuzu kullanımı açısından incelenmiştir. Bu koşullardan elde edilen gerçek ve kestirilen θ değerleri arasındaki korelasyon, BIAS, MAB, RMSE ve SH değerleri karşılaştırılmıştır. Madde havuzu kullanımı için madde kullanım sıklığı, kullanılmayan madde sayısı ve test çakışma oranları hesaplanmıştır. BBT'nin hem ölçme kesinliği hem de madde havuzu kullanımı açısından diğer desenlere göre daha etkili olduğu, OM-BBT deseninin ise genel olarak BBT deseni ile benzer sonuçlar ürettiği sonucuna ulaşılmıştır. Madde takımlarının yerel bağımlılık derecelerinin düşük olmasından dolayı MT-BBT deseninden beklenilen sonuçlar elde edilememiştir. M-BBT analizlerinin karmaşık ve çok zaman almasından dolayı düşük ya da orta düzeyde madde takımı etkisine sahip veri setlerinde OM-BBT deseni kullanışlılık açısından tercih edilebilir. Elde edilen tüm bulgular detaylı olarak tartışılmış, uygulayıcı ve araştırmacılara önerilerde bulunulmuştur.

Abstract:
In this study, CAT applications of testlet based tests were examined under different designs. In this context, the real data set obtained from the computer-based English proficiency exam, consisting of nine forms, administered to students at Bilkent University. Since each form contains nine anchor items for scaling purposes, an item pool was created through concurrent calibration method. Three distinct CAT designs were developed, namely, the CAT where testlets were treated as independent items, the Testlet Based-CAT(T-CAT) where testlets were treated together and based on the Testlet Response Theory (TRT), and the Passage Based-CAT(P-CAT) where testlets were treated together but using the unidimensional Item Response Theory (IRT). These test designs were examined for measurement precision and accuracy, item pool utilization under different conditions. The simulation conditions included the number of testlets (6-9-12), sample size (200-500-1000) and ability estimation methods (EAP-MAP). The correlation, BIAS, MAB, RMSE and SH values between true and estimated θ values obtained from these conditions were compared. Item usage frequency, number of unused items and test overlap rates were calculated. The findings indicated that CAT was more effective while the P-CAT produced similar results to the CAT design in general. Conversely with the T-CAT, the expected results could not be achieved due to the low local dependency degrees of the testlets. Since T-CAT analyses are complex and time-consuming, the P-CAT may be preferred in terms of usefulness for assessments with low or medium testlet effects. All findings obtained were discussed and recommendations were made for practitioners and researchers.