Madde Tepki Kuramı Ağaç yaklaşımıyla kayıp verilerin modellenmesinin farklı simülasyon koşullarında parametre kestirimlerine etkisi
The effect of modelling missing data with the Item Response Theory Tree approach on parameter estimates under different simulation conditions
Yazar: YEŞİM BERİL SOĞUKSU
Danışman: DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmanın amacı, ikili puanlanan testlerde, farklı kayıp veri mekanizmaları altındaki kayıp verilerin Madde Tepki Kuramı Ağaç (MTKA) yaklaşımıyla modellenmesinin yetenek kestirimlerine etkisini, farklı simülasyon koşullarında ve bazı başarılı olarak kabul edilen kayıp veri yöntemleriyle karşılaştırarak ortaya koymaktır. Araştırmanın amacı doğrultusunda 3 farklı kayıp veri mekanizması (Tamamen Seçkisiz Kayıp - TSK, Seçkisiz Kayıp - SK ve Seçkisiz Olmayan Kayıp - SOK), kayıp veri yüzdesi (10, 25 ve 40), madde uzunluğu (20, 30 ve 40), örneklem büyüklüğü (400, 750 ve 1500) değişimlenerek, 100 tekrardan oluşan veri üretimleri R programlama dili kullanılarak gerçekleştirilmiş, tüm koşulların çaprazlanmasıyla toplam 3x3x3x3=8100 veri seti elde edilmiştir. Üretilen veri setlerinde simülasyon geçerliğine yönelik kontroller yapıldıktan sonra Madde Tepki Kuramı (MTK), İki Parametreli Lojistik Modele (2PLM) yönelik Beklenen Sonsal Dağılım (EAP) yetenek kestirimleri gerçekleştirilmiş ve bu kestirimler referans parametreleri olarak alınmıştır. TSK, SK ve SOK mekanizmalarına yönelik, belirlenen oranlarda kayıp veriler oluşturulduktan sonra veri setlerinde MTKA yaklaşımı kullanılarak kayıp veriler modellenmiş, aynı zamanda Beklenti-Maksimizasyon Algoritması (BMA) ve Çoklu Atama (ÇA) yöntemleriyle kayıp verilerle baş edilmiştir. Yöntemler kullanıldıktan sonra tüm veri setlerinde 2PLM'ye yönelik EAP yetenek kestirimleri gerçekleştirilmiştir. Kestirilen parametrelerin, referans parametrelere ne ölçüde benzediğinin belirlenebilmesi için yanlılık ve Ortalama Karekök Hatası (RMSE) değerleri hesaplanarak, bu değerlerin ortalamaları alınmıştır. MTKA yaklaşımının, yetenek kestirimlerine yönelik ortalama yanlılık ve RMSE değerleri açısından diğer yöntemlerden manidar olarak farklılaşıp farklılaşmadığının tespit edilebilmesi için Faktöriyel ANOVA analizi gerçekleştirilmiştir. Sonuç olarak, yanlılık ortalamaları açısından, MTKA yaklaşımının araştırmada yer alan tüm koşullarda BMA ve ÇA yöntemlerinden biraz daha yüksek, negatif yönlü ve 0'a oldukça yakın yanlılık ortalamalarına neden olduğu; TSK ve SOK mekanizmalarına yönelik kayıplar içeren, düşük madde sayısına sahip testlerin uygulandığı orta büyüklükteki örneklemlerde, yetenek kestirimlerinin yanlılık ortalamalarının, diğer koşullara göre daha düşük olduğu tespit edilmiştir. RMSE ortalamaları açısından, araştırmada yer alan tüm koşullarda MTKA yaklaşımıyla, BMA ve ÇA yöntemlerinden daha düşük RMSE ortalamaları elde edildiği belirlenmiş, bunun yanı sıra MTKA ile TSK ve SOK mekanizmalarındaki kayıp verilerde, kayıp veri yüzdesinin düşük, madde sayısının yüksek olduğu durumlarda daha düşük RMSE ortalamaları elde edildiği tespit edilmiştir. Simülasyon çalışmasını desteklemek amacıyla gerçekleştirilen gerçek veri çalışmasında, PISA (Uluslararası Öğrenci Değerlendirme Programı) 2012 İtalya Matematik testi verileriyle çalışılmıştır. Gerçek veri setinde yer alan kayıp verilere, PISA 2012'de kayıp verilerle mücadelede kullanılan 'Sıfır Atama' yöntemiyle değer ataması yapılmış, veri setinde 2PLM'ye yönelik EAP yetenek kestirimleri gerçekleştirilerek bu kestirimler referans parametreleri olarak alınmıştır. Gerçek veri setinde, MTKA yaklaşımıyla kayıp veriler modellenmiş, aynı zamanda BMA ve ÇA yöntemleriyle kayıp verilerle baş edilmiştir. Yöntemler kullanıldıktan sonra yetenek kestirimlerine yönelik yanlılık ve RMSE değerleri hesaplanmıştır. Ayrıca yöntemler kullanıldıktan sonra kestirilen yetenek parametrelerinin, manidar olarak farklılaşıp farklılaşmadığının tespit edilebilmesi için Tekrarlı Ölçümler ANOVA analizi gerçekleştirilmiştir. Sonuç olarak MTKA yaklaşımının kullanıldığı durumda yetenek parametrelerinin yanlılık değerinin 0'a oldukça yakın ve BMA ve ÇA yöntemlerine göre biraz daha düşük olduğu, yanlılık değerinin simülasyon sonuçlarına benzer şekilde negatif yönlü olduğu tespit edilmiştir. Elde edilen RMSE değeri, simülasyon çalışmasında olduğu gibi BMA ve ÇA yöntemleriyle elde edilen RMSE değerlerinden daha düşüktür. Yöntemler kullanıldıktan sonra kestirilen yetenek parametrelerinin manidar olarak farklılaşmadığı, dolayısıyla MTKA yaklaşımının, gerçek bir veri setinde, yetenek parametrelerinin doğruluğu açısından BMA ve ÇA yöntemleri kadar etkili olduğu tespit edilmiştir.

Abstract:
The aim of this study is to investigate the effect of modeling missing data under different missing data mechanisms with IRTree approach on ability estimations in dichotomous items under different simulation conditions and by comparing with some successful missing data methods. Three missing data mechanisms (Missing Completely at Random - MCAR, Missing at Random - MAR and Missing not at Random -MNAR), missing data percentages (10, 25 and 40), item lengths (20, 30 and 40), sample sizes (400, 750 and 1500) were varied and data generation consisting of 100 repetitions was performed using R programming language, and a total of 3x3x3x3x3=8100 data sets were obtained by crossing all conditions. After the simulation validity studies, Expected a Posteriori (EAP) ability estimations for Item Response Theory (IRT), 2-Parameter Logistic Model (2PLM) were performed and these estimations were taken as reference parameters. After generating missing data for MCAR, MAR and NMAR mechanisms at the determined rates, missing data were modeled using the IRTree approach, and also dealed with the Expectation-Maximization Algorithm (EMA) and Multiple Imputation (MI). EAP ability estimations for 2PLM were performed for all data sets and mean bias and Root Mean Square Error (RMSE) were calculated. Factorial ANOVA analysis was performed to determine whether the IRTree approach differs significantly from the other methods in terms of mean bias and RMSE for ability estimations. As a result, in terms of mean bias, it was found that the IRTree approach caused slightly higher, negatively and very close to zero mean bias than the EMA and MI in all conditions. Additionally, the mean bias of the ability estimates in medium-sized samples, with tests of low item lengths, under MCAR and NMAR mechanisms were lower with the IRTree approach compared to other conditions. In terms of mean RMSE, it was determined that mean RMSEs' obtained with the IRTree approach were lower than EMA and MI in all conditions. Furthermore, lower mean RMSEs' were obtained with IRTree for the MCAR and NMAR mechanisms when the percentage of missing data was low and the number of items was high. For the empirical illustration to support the simulation study, PISA (Programme for International Student Assessment) 2012 Italy Mathematics data set were used. The missing data in the empirical data set were assigned values with the 'Zero Imputation' method used in PISA 2012 to deal with missing data, EAP ability estimations for 2PLM were performed in the data set and these estimations were taken as reference parameters. In the empirical data set, missing data was modeled with the IRTree approach, and at the same time, dealed with EMA and MI methods and bias and RMSE values for the ability estimates were calculated. The Repeated Measures ANOVA analysis was performed to determine whether the estimated ability parameters differed significantly after using the methods. As a result, it was found that the bias value of the ability parameters was very close to 0 and slightly lower than the EMA and MI methods with the IRTree approach, and the bias value was negative, similar to the simulation results. The RMSE value obtained is lower than the RMSE values obtained with EMA and MI methods as in the simulation study. It was found that the estimated ability parameters did not differ significantly after using the methods, therefore, the IRTree approach is as successful as the EMA and MI methods in terms of the accuracy of the ability parameters in an empirical data set.