Kayıp veriyle baş etme yöntemlerinin madde takımlarında değişen madde fonksiyonu üzerine etkisi
The effect of missing data handling methods on differential item functioning with testlet data
Yazar: RABİA AKCAN
Danışman: DOÇ. DR. KÜBRA ATALAY KABASAKAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmanın amacı kayıp veriyle baş etme yöntemlerinin madde takımları halindeki veri setlerinde değişen madde fonksiyonu (DMF) belirleme üzerindeki etkisini incelemektir. Çalışma bir yabancı dil testindeki 20 okuduğunu anlama maddesinin yer aldığı altı madde takımından oluşan iki farklı veri seti üzerinde yürütülmüştür. Sola çarpık dağılıma sahip veri seti veri1, sağa çarpık dağılıma sahip veri seti veri2 olarak adlandırılmıştır.  Çalışmada tamamen rastgele kayıp (TRK), rastgele kayıp (RK), rastgele olmayan kayıp (ROK) kayıp veri mekanizmaları altında liste bazında silme (LBS), sıfır atama (SA) ve kesirli hot-deck atama yöntemlerinin DMF belirleme performansı üzerindeki etkisi araştırılmıştır. DMF belirleme yöntemi olarak madde takımları için ko-değişkenli iki faktörlü çok boyutlu madde tepki kuramı modeline dayalı DMF belirleme yöntemi kullanılmıştır. İki örneklem büyüklüğü (1000 ve 2000) ve iki kayıp veri oranı (%5 ve %15) çalışmada incelenen diğer koşullardır. Çalışmanın sonuçları her iki veri setindeki tüm koşullardan elde edilen DMF değerleri ile tam veri setlerinden elde edilen DMF değerleri arasındaki korelasyonlar incelediğinde, LBS yönteminin en düşük korelasyonlara sahip olduğunu göstermiştir. Bununla birlikte tüm koşullarda kayıp veri oranının artmasıyla uygulanan kayıp veriyle baş etme yöntemi fark etmeksizin elde edilen korelasyon değerleri düşmüştür. Veri1'e ait DMF analizleri sonucunda %5 kayıp veri oranında DMF'siz maddeleri belirleme performansının üç kayıp veri yöntemiyle benzer olduğu sonucuna ulaşılmıştır. Veri2'yle gerçekleştirilen analizlerde sekiz koşulda DMF'siz maddeleri belirleme performansında örneklem büyüklüğü arttıkça iyileşme olduğu, diğer koşullarda her iki örneklemde tüm DMF'siz maddelerin doğru sınıflandırıldığı belirlenmiştir. %15 kayıp veri oranında SA ve kesirli hot-deck yöntemlerinin uygulanmasıyla TRK mekanizması altında DMF'li maddeleri belirlenme performansı aynı bulunmuştur.

Abstract:
The purpose of this study was to examine the effect of missing data handling methods on differential item functioning (DIF) with testlet data.  The study was conducted on two different data sets consisting of six testlets which contain 20 reading comprehension items of a foreign language test. Data with left-skewed distribution was referred to as data1 and data with right-skewed distribution was referred to as data2. Under missing completely at random (MCAR), missing at random (MAR), and missing not at random (MNAR) missing mechanisms, the effect of listwise deletion (LD), zero imputation (ZI) and fractional hot-deck imputation (FHDI) methods on the DIF detection performance was investigated.  A bifactor multidimensional item response theory model for testlets with covariates was used as the DIF detection method. Two sample size (1000 and 2000) and two missing data percentage (5% and 15%) conditions were the other conditions examined in the study. Results of the study indicated that examining the correlation between DIF values obtained from both data sets under all conditions and DIF values obtained from complete data sets, LD method had the lowest correlations. Besides, in all conditions correlation values decreased with the increase of missing data percentage regardless of the missing data handling method used.  As a result of the DIF analyses from data1, it was concluded that performance of detecting DIF-free items was similar with three missing data handling methods at 5% missing data percentage condition. In eight conditions conducted on data2, it was found that there was recovery in the performance of detecting DIF-free items as the sample size increased; in other conditions all DIF-free items were identified correctly for both sample size. Performance of detecting DIF items with ZI and FHDI methods under MCAR mechanism at 15% missing data percentage was found to be identical.