Madde tepki kuramı kapsamında sınıflama doğruluğu indekslerinin karşılaştırılması
Comparison of classification accuracy indices under the item response theory
Yazar: NURŞAH YAKUT
Danışman: DOÇ. DR. EMİNE ÖNEN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde Tepki Kuramı = Item Response Theory ; Puanlayıcılar arası tutarlılık = Interrater reliability ; Sınıflama indeksleri = Classification indices ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Eğitim ortamlarında uygulanan ölçme araçlarından elde edilen ölçümlere dayalı olarak bireyler hakkında tanılama ve yerleştirmeye yönelik kararlar verilmekte ve sınıflama doğruluğu, bu kararların doğruluğuna işaret etmektedir. Eğitsel ölçümlere dayalı bu kararlar özellikle öğrencilerin yaşamlarına yön verici nitelikte olduğundan, bu ölçümler için sınıflama doğruluğunun incelenmesi önem taşımaktadır. Bu araştırmada Madde Tepki Kuramına dayalı yöntemlerden Rudner'ın, Guo'nun ve Lee'nin yöntemleri kullanılarak hesaplanan sınıflama doğruluğu ve tutarlılığı indekslerinin doğruluk derecelerinin- 1PLM, 2PLM ve 3PLM altında- farklı test uzunluğu ve örneklem büyüklükleri açısından karşılaştırmalı olarak incelenmesi amaçlandığından bu çalışma simülasyon çalışması olarak tasarlanmıştır. Simülasyon çalışması yoluyla test uzunluğu ve örneklem büyüklüğü değişimlenerek, hangi koşul(lar) altında hangi yönteme dayalı olarak daha az yanlılıkla bu indekslerin kestirildiğini değerlendirmek mümkün olmaktadır. Bu çalışmada -1PLM, 2PLM ve 3PLM altında- iki farklı test uzunluğu (k=15, k=30) ve örneklem büyüklüğü (n=500, n=1000) koşulları altında R Studio programında 'irtoys' paketi kullanılarak veri setleri üretilmiştir. Sınıflama doğruluğu ve sınıflama tutarlılığı indeksleri ile bunlara ilişkin yanlılık değerleri 'cacIRT' paketi kullanılarak hesaplanmıştır.   Sınıflama doğruluğu ve tutarlılığı indekslerine ilişkin değerlerin, madde sayısının artışına bağlı olarak dikkate değer bir farklılık gösterdiği gözlenmiştir. Lee'nin yöntemine dayalı hesaplanan kappa değerleri ile Guo'nun yöntemine dayalı hesaplanan FP ve FN değerlerinin daha yüksek yanlılık değerlerine sahip olduğu gözlenmiştir. Rudner'ın yöntemine dayalı hesaplanan sınıflama doğruluğu ve tutarlılığı indekslerinin ise diğer yöntemlere kıyasla, daha düşük mutlak yanlılık değerlerine sahip olduğu görülmektedir. Rudner'ın yönteminin büyük örneklem gruplarında uygulanmasının sınıflama kararları açısından daha uygun olacağı düşünülmektedir. Araştırma sonucunda, Türkiye'de uygulanan merkezi sınavlarda sınıflama doğruluğu ve sınıflama tutarlılığının incelenmesinde büyük örneklem gruplarında uygulandığında daha iyi performans göstermesi ve diğer yöntemlere kıyasla daha düşük mutlak yanlılık değerlerine sahip olması açısından Rudner'ın yönteminin kullanılması önerilmektedir.

Abstract:
Individual diagnostic and placement decisions are made using data from educational measurement instruments, and classification accuracy indicates how accurate these decisions are. It is critical to investigate the classification accuracy for educational measures since decisions based on these measurements have a significant impact on students' lives. This is a simulation study since the aim is to compare the classification accuracy and consistency indices calculated using Rudner's, Guo's, and Lee's item response theory-based approaches under 1PLM, 2PLM, and 3PLM in terms of different test lengths and sample sizes. It is possible to examine under which condition(s) and which method these indices are calculated with less bias by changing the test length and sample size through the simulation study. Under the conditions of two different test lengths (k=15, k=30) and sample sizes (n=500, n=1000) under 1PLM, 2PLM, and 3PLM, data sets were generated using the 'irtoys' package in R Studio. Classification accuracy and consistency indices and related bias values were calculated using the 'cacIRT' package. As the number of items increased, the classification accuracy and consistency indices showed a significant difference. For Kappa values calculated using Lee's approach and FP and FN values calculated using Guo's method, higher bias values were observed. It can be seen that Rudner's method-based classification accuracy and consistency indices have lower absolute bias values than other methods. In terms of classification decisions, it is considered that Rudner's method would work better when applied to large sample sizes. Since Rudner's method performs better when applied to large sample groups and has lower absolute bias values than other methods, it is recommended to use it for examining the classification accuracy and consistency in the national exams used in Turkey.