Kayıp veriyle başa çıkma yöntemlerinin test eşitlemeye etkisinin incelenmesi
Investigation of the impact of techniques of handling missing data on the test equating
Yazar: GÜLDEN ÖZDEMİR
Danışman: PROF. DR. BURCU ATAR
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmada; kayıp veriyle başa çıkma yöntemlerinin, farklı koşullar altında, test eşitleme yöntemlerinin performansı üzerindeki etkilerini incelemek amaçlanmıştır. Araştırmada; örneklem büyüklüğü (750, 1500), kayıp veri oranı (%10, %20, %30) ve kayıp verilerin bulunduğu test formu (her iki test, eşitlenecek test) koşul olarak alınmıştır. Test eşitleme yöntemlerinin performansları; hata kareleri ortalamasının karekökü (RMSE) ve eşitleme yanlılığına (BIAS) göre değerlendirilmiştir. Araştırmada kullanılan tam veri setleri, TIMSS 2019'a elektronik uygulama (eTIMSS) ile katılan tüm ülkelerdeki, 6 ve 7 numaralı kitapçıkları alan ve iki kategorili (1-0) puanlanan maddeleri yanıtlayan öğrenci verilerinden elde edilmiştir. Tamamen rastgele kayıp veri mekanizması altında veri silinerek oluşturulan kayıp verili test formlarına sıfır atama (SA), hot deck atama (HDA) ve çoklu atama (PMM ve LOGREG) yöntemleri ile veri ataması yapılmıştır. Tamamlanmış test formları MTK'ye dayalı test eşitleme yöntemleri ile eşitlenmiştir. Araştırmadaki tüm analizler R programlama dili aracılığıyla gerçekleştirilmiştir. Referans değere en yakın ortalama RMSE ve BIAS değerleri üreten yöntemlerin PMM ve LOGREG olduğu, HDA yönteminin ise bu yöntemlere benzer performans gösterdiği belirlenmiştir. En hatalı ve en yanlı sonuçlar üreterek referans değere en uzak kestirimler yapan yöntemin ise SA olduğu görülmüştür. Araştırmada ele alınan örneklem büyüklüğü koşulunun tüm kayıp veriyle başa çıkma yöntemleri üzerinde, kayıp veri oranı ve kayıp verilerin bulunduğu test formu koşulunun ise sadece SA yöntemi ile elde edilen ortalama RMSE ve BIAS değerleri üzerinde anlamlı bir etkisinin olduğu tespit edilmiştir. PMM, LOGREG ve HDA yöntemlerinin araştırmada ele alınan tüm koşullarda, SA yönteminin ise en iyi performans gösterdiği büyük örneklemlerde ve düşük kayıp veri oranlarında tercih edilmesi önerilmiştir.

Abstract:
In this study; It is aimed to examine the effects of missing data handing methods on the performance of test equating methods under different conditions. In the research; sample size (750, 1500), missing data rate (10%, 20%, 30%) and test form with missing data (both tests, test to be equalized) were taken as conditions. Performances of test equating methods; root mean square error (RMSE) and equating bias (BIAS). The full datasets used in the research were obtained from the data of students in all countries participating in TIMSS 2019 with the electronic application (eTIMSS), who took booklets 6 and 7 and answered the items scored in two categories (1-0). Zero imputation (ZI), hot deck imputation (HDI) and multiple imputation (PMM and LOGREG) methods were used to assign data to test forms with missing data, which were created by deleting data under the missing completely at random data mechanism. Completed test forms were equated with test equating methods based on IRT. All analyzes in the research were carried out using the R programming language. It was determined that the methods that produced the mean RMSE and BIAS values closest to the reference value were PMM and LOGREG, while the HDI method showed similar performance to these methods. It has been observed that the method that produces the most erroneous and biased results and makes the furthest estimations from the reference value is ZA. It was determined that the sample size condition in the research had a significant effect on the methods of handling with all missing data, while the missing data rate and the test form condition with missing data had a significant effect on the average RMSE and BIAS values obtained only by the ZI method. It has been suggested that PMM, LOGREG and HDA methods should be preferred in all conditions discussed in the study, while SA method should be preferred in large samples and low loss data rates where it performs best.