Çok boyutlu madde tepki kuramı test eşitleme yöntemlerinin karşılaştırılması
Comprasion of multidimensional item response theory test equating methods
Yazar: BURCU DEMİRÖZ
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Test eşitleme = Test equating ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Çok boyutluluk = Multidimensionality ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, çok boyutlu testlerden elde edilen puanların eşitlenmesinde kullanılan bi-faktör ÇB-MTK gözlenen puan eşitleme (BF-MIRT), tam ÇB-MTK gözlenen puan (MOSE) ve ÇB-MTK gözlenen puan eşitleme tek boyutlu yaklaşım (AOSE) yöntemlerinden denk olmayan gruplarda ortak madde deseni altında elde edilen eşitlenmiş puanlar ve bu puanlara ait eşitlemenin standart hatası (SEE), yanlılık (BIAS) ve hata kareler ortalamasının karekökü (RMSE) değerlerinin çeşitli faktörlere göre karşılaştırılması amaçlanmıştır. Sonuçların, ÇB-MTK test eşitleme yöntemlerinden hangi koşullarda daha doğru sonuçlar elde edilebileceğine dair bazı yönergeler sağlaması hedeflenmiştir. Araştırmada simülasyon verileri kullanılmıştır. Simülasyon veri setleri için örneklem büyüklüğü, ortak madde oranı, boyutlar arasındaki ilişki düzeyi, kalibrasyon ve test eşitleme yöntemleri manipüle edilen faktörler olarak ele alınmıştır. 162 (3x3x3x2x3) koşul incelenmiştir. Veri setlerinin üretilmesi ve eşitleme çalışmaları R programlama dili kullanılarak gerçekleştirilmiştir. Eş zamanlı kalibrasyon yöntemi kullanılarak gerçekleştirilen test eşitleme uygulamaları sonucunda elde edilen eşitlenmiş puanların benzer olduğu gözlenmiştir. İki kalibrasyon yöntemi içinde örneklem büyüklüğü arttıkça hata değerlerinin azaldığı gözlenmiştir. Örneklem büyüklüğünün en az 3000 olması önerilmektedir. Eş zamanlı kalibrasyon yöntemi kullanılarak gerçekleştirilen test eşitleme uygulamalarında ortak madde oranı %20 olduğunda en küçük yanlılık değerleri gözlenmiştir. Ayrı zamanlı kalibrasyon yöntemi kullanılarak gerçekleştirilen test eşitleme uygulamalarında ortak madde oranı %50 olduğunda en hata değerleri gözlenmiştir. Ortak madde oranı eş zamanlı kalibrasyonda en çok %20; ayrı kalibrasyonda en az %50 olmalıdır. Eş zamanlı kalibrasyonda ayrı kalibrasyon yönteminden daha küçük hata değerleri gözlenmiştir.

Abstract:
MIRT observed score equating (BF-MIRT), the full MIRT observed score equating (MOSE), and the unidimensional approximation observed score equating (AOSE) methods under common item non-equivalent groups design in terms of standard error of equating (SEE), BIAS, and root mean square error (RMSE) of these equated scores across various conditions. The results aim to provide guidelines on which MIRT test equating methods yield more accurate results under specific conditions. In the study, simulation data were used. Sample size, ratio of common items, level of relationship between dimensions, calibration methods, and test equating methods are the factors that were manipulated. 162 conditions were examined. The data generation and equating studies were conducted using the R programming language. It was observed that the equated scores obtained using concurrent calibration were similar. For both calibration methods, it was found that as the sample size increased, the error values decreased. A sample size of at least 3000 is recommended. In test equating applications performed using concurrent calibration, the smallest bias values were observed when the proportion of common items was 20%. In test equating applications performed using separate calibration, the lowest error values were observed when the proportion of common items was 50%. The proportion of common items should be at most 20% in concurrent calibration and at least 50% in separate calibration. Smaller error values were observed in concurrent calibration compared to separate calibration.