Kayıp verinin test eşitlemeye etkisinin incelenmesi
Investigating the effect of missing data on test equating
Yazar: DUYGU GİZEM ERTOPRAK
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Kayıp veri teknikleri = Missing data techniques ; Madde Tepki Kuramı = Item Response Theory ; Puan eşitleme = Points equalization ; Puanlama = Scoring ; Test eşitleme = Test equating ; Test sistemleri = Test systems ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, kayıp verilerin test formları içerisindeki yeri, mekanizması, oranı ve başa çıkma yöntemlerine göre oluşturulan farklı koşullardaki testlerden elde edilen puanların, ortak test deseni kapsamında ve MTK'ya dayalı Stocking-Lord yöntemi kullanılarak eşitlenmesi sonucunda kestirilen madde ve yetenek parametrelerine ilişkin eşitleme hatası (RMSE) ve eşitleme yanlılığı (BIAS) değerlerini karşılaştırmak amaçlanmıştır. 
Bu amaç doğrultusunda, temelde kayıp veri probleminin test eşitleme üzerindeki etkilerini incelemek için üç aşamadan oluşan bir veri türetme süreci takip edilmiştir. İlk aşamada, eşitlenmesi planlanan her iki test formu için de 3PL modele uygun ikili puanlanan maddelerden oluşan tam veri setleri türetilmiştir. İkinci aşamada, test formları için birinci aşamada türetilen tam veri setleri üzerinde kullanılan veri silme algoritmaları ile üç farklı kayıp veri yeri (eşitlenecek test-ET, her iki test-HİT, ortak  test-OT), üç farklı kayıp veri mekanizması (tamamen rastgele kayıp-TRK, rastgele kayıp-RK, rastgele olmayan kayıp-ROK) ve üç farklı kayıp veri oranına (%10, %20, %40) sahip kayıp verili veri setleri yaratılmıştır. Üçüncü ve son aşamada ise, kayıp verili maddelerin bulunduğu veri setleri üzerinde dört farklı başa çıkma yönteminin (uygulanmamış gibi davranma-UGD, yanlış yanıtlanmış gibi davranma-YYGD, lojistik regresyona dayalı çoklu değer atama-LRÇDA, diskriminant fonksiyonuna dayalı çoklu değer atama-DFÇDA) kullanılması ile kayıp veri sorunu çözülmüş veri setlerine ulaşılmıştır. 
Verilerin türetilmesinin ardından eşitleme sürecine geçilmiştir. Bu kapsamda, tam veri setlerine sahip test formlarının eşitlendiği referans koşul ile tam veri setlerinin manipüle edilmesiyle elde edilen test formlarının eşitlendiği 108 (3x3x3x4) farklı simülasyon koşulu da dahil olmak üzere toplam 109 eşitleme işlemi yürütülmüştür. R paket programı üzerinden gerçekleştirilen tüm analiz işlemleri için 50'şer tekrar yapılmıştır. Analiz sonuçlarının değerlendirilmesi aşamasında ise öncelikle her bir simülasyon koşulu kapsamında yürütülen eşitlemeler ile elde edilen ortalama hata (RMSE) ve ortalama yanlılık (BIAS) değerleri raporlanmış, ardından bu değerlerin referans koşul kapsamında yürütülen eşitlemeler ile elde edilen değerlere olan yakınlığına bakılmıştır. 
Araştırmadan elde edilen sonuçlar, kayıp veri yeri faktörüne ait koşullar için en az hatalı ve en az yanlı bulguların HİT, en çok hatalı ve en çok yanlı bulguların ET; kayıp veri mekanizması faktörüne ait koşullar için en az hatalı ve en az yanlı bulguların TRK, en çok hatalı ve en çok yanlı bulguların ROK; kayıp veri oranı faktörüne ait koşullar için en az hatalı ve en az yanlı bulguların %10, en çok hatalı ve en çok yanlı bulguların ise %40 koşulları için elde edildiğini göstermiştir. Kayıp veri başa çıkma yöntemlerine ilişkin olarak elde edilen sonuçlar ise referans koşul eşitlemeleri sonunda kestirilen özellikle yetenek parametrelerine ait ortalama RMSE ve BIAS değerlerine en yakın ve en düşük hata değerlerini üreten yöntemin DFÇDA olduğunu ve ikili puanlanan maddelerden oluşan veri setlerindeki kayıp veri probleminin çözülmesi için en sık başvurulan UGD ve YYGD yöntemlerinin, test eşitleme üzerinde hatalı ve yanlı kestirimler ürettiğini kaydetmiştir.

Abstract:
The purpose of this study is to compare equating error (RMSE) and equating bias (BIAS) values with regard to estimated item and ability parameters obtained as a result of equating scores of tests in different conditions which created according to missing data location, mechanism and handling methods using IRT-based Stocking-Lord method within anchor test design.
In accordance with this purpose, a data generation process which consisted three stage were followed in order to examine the effects of missing data problem on test equating. In the first stage, complete data sets which composed binary items fit to 3PL model were generated to create each test form. In the second stage, missing data sets which have three different missing data location (new test-NT, both test-BT, anchor test-AT), three different missing data mechanism (missing completely at random-MCAR, missing at random-MAR, missing not at random-MNAR) and three different missing data rate (10%, 20%, 40%) were created with using data deletion algorithms on complete data sets which generated in the first stage. In the third and last stage, data sets which handled missing data problem were reached with using four handling methods (treating as not administered-TNA, treating as incorrect-TI, logistic regression-based multiple imputation-LRMI, discriminant function-based multiple imputation-DFMI) on missing data sets.
After data generation, equating process were conducted. In this context, equatings were carried out separately on reference condition whose test forms that have complete data sets and 108 (3x3x3x4) different simulation conditions whose test forms that were obtained by manipulating of complete data sets. To sum up, total 109 equating process were performed. 50 replication were done one by one to entire analysis process which conducted through R package. At the stage of evaulating of analysis results, average equating error (RMSE) and average equating bias (BIAS) values which obtained by equatings on every simulation condition were reported. And then these values and the values which obtained by equatings on reference condition were compared and looked how close they were.
The results obtained from study showed that BT had the least equating error and the least equating bias values while NT had the most equating error and the most equating bias values in terms of missing data location factor, MCAR had the least equating error and the least equating bias values while MNAR had the most equating error and the most equating bias values in terms of missing data mechanism factor, 10% had the least equating error and the least equating bias values while 40% had the most equating error and the most equating bias values in terms of missing data rate factor. The results about missing data handling methods showed that DFMI had produced the closest and the lowest average RMSE and BIAS values to the average values of reference condition. Results also showed that TNA and TI methods which frequently used to handle missing data problem in binary items produced inaccurate and biased estimations on test equating.