Sabit ve anında bireyselleştirilmiş çok aşamalı testlerin karşılaştırılması
Comparison of fixed and on-the-fly computerized multistage testing
Yazar: MAHMUT SAMİ YİĞİTER
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bireyselleştirilmiş testler = Individual tests

Özet:
Pek çok geniş ölçekli değerlendirmede Bireyselleştirilmiş Bilgisayarlı Testler (BBT) ve Bireyselleştirilmiş Çok Aşamalı Testler (BÇAT) gibi uyarlanabilir test yaklaşımları benimsenmiştir. BBT'nin yeteneği eksik ya da fazla kestirmesi, maddeler arası gezinmeye izin vermemesi, maddeyi atlamak için mutlaka cevap gerektirmesi ve senaryo tabanlı sorulardan oluşan ortak köklü maddelerin kullanılamaması gibi sorunlarını azaltabileceği düşüncesi ile BBT yerine BÇAT yaklaşımı tercih edilmeye başlandı. BÇAT, uygulama öncesinde birleştirilen panel ve modüller ile BBT'nin sorunlarını azaltsa da; daha az uyarlama noktası olması, tamamen bireyselleştirilmiş olmaması, aynı panel ve modül yapılarının sürekli uygulanması ile oluşan test ve madde güvenliği tehditi dezavantajları bulunmaktadır. Maddelerin katılımcının yetenek düzeyinde biraraya getirilerek modüllerin oluşturulduğu yeni bir yaklaşım olan A-BÇAT ise BBT ve S-BÇAT'ın güçlü yönlerinden faydalandığı ve zayıf yönlerini azalttığı için potansiyel taşımaktadır. Bu çalışmanın amacı farklı benzetim koşulları altında S-BÇAT ve A-BÇAT yaklaşımlarını ölçme kesinliği ve madde güvenliği açılarından karşılaştırmaktır. Araştırmada simülasyon çalışması yürütülmüştür. TIMSS uygulamasında kullanılan 3PL modele dayalı maddelerin parametre dağılımları ile 400 maddenin parametreleri üretilerek madde havuzu oluşturulmuştur. 72 simülasyon koşulu altında 100 replikasyon ile karşılaştırmalar yapılmıştır. Sonuçlar, A-BÇAT'ın hem ölçme kesinliği hem de madde güvenliği açılarından S-BÇAT'tan daha iyi sonuçlar ürettiğini göstermektedir. Kısa test uzunluklarında A-BÇAT'ın S-BÇAT'tan oldukça iyi ölçme kesinliğine sahip olduğu görülmektedir. Yetenek dağılımlarına göre, A-BÇAT'ın özellikle normal olmayan dağılımlarda S-BÇAT'tan daha iyi sonuçlar ürettiği sonucuna ulaşılmıştır. Modül/test uzunluğu oranına göre son modül uzunluğunun arttığı K-K-U oranında A-BÇAT'ın ölçme kesinliği farkının arttığı gözlemlenmiştir. A-BÇAT'ın sunduğu başarılı ölçme kesinliği ve madde güvenliği bulguları hem geniş ölçekli değerlendirmeler hem de literatür doğrultusunda tartışılmaktadır.

Abstract:
Many large-scale assessments have used adaptive testing approaches such as Computerized Adaptive Testing (CAT) and Computerized Multistage Testing (MST). The MST approach has been preferred instead of the CAT with the idea that it can reduce the problems of the CAT such as under or over estimating ability, not allowing movement between items, requiring an answer to skip an item, the impossibility of using common-root items consisting of scenario-based questions, and the perception of inequality due to participants taking different tests. Although the MST reduces the problems of the CAT with panels and modules that are combined before implementation, it has the disadvantages of having fewer adaptation points, and the test and item security threats caused by the continuous application of the same panel and module structures. The On-the-fly MST, a new approach in which items are combined at the participant's ability level to form modules, has potential as it utilizes the advantages of the CAT and MST and reduces their weaknesses. The aim of this study is to compare F-MST and O-MST approaches in terms of measurement accuracy and item security under different simulation conditions. A simulation study was conducted in the research. An item pool was created by generating the parameters of 400 items with the parameter distributions of the items based on the 3PL model used in the TIMSS application. In the study, comparisons were made with 100 replications under 72 simulation conditions. The results show that the O-MST produces better results than the F-MST in terms of both measurement precision and item security. For short test lengths, the A-BCAT has considerably better measurement accuracy than the F-MST. According to ability distributions, it was concluded that the O-MST produced better results than the F-MST, especially in non-normal distributions. According to the module/test length ratio, it was observed that the difference in the measurement accuracy of O-MST increased in the K-K-U ratio where the last module length increased. The successful measurement accuracy and item security findings of the O-MST are discussed in the light of both large-scale evaluations and the literature.