Karma testlerde kayıp verilerin değişen madde fonksiyonunaetkisinin incelenmesi
Investigation of the effect of missing data on differantial item functioning in mixed type tests
Yazar: LEYLA BURCU DİNÇSOY
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Karma yöntemler = Mixed methods ; Kayıp veri teknikleri = Missing data techniques ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırma iki ve çok kategorili puanlanan maddeler içeren karma testlerde kayıp veri ile başa çıkma yöntemlerinden Markov zincirleri Monte Carlo (MZMC), çoklu değer atama (ÇDA) ve beklenti maksimizasyonu (BM)'nun değişen madde fonksiyonuna (DMF) etkisinin incelenmesine yöneliktir. Bu amaçla çalışma TIMSS 2019'da fen bilimleri testinde 9 numaralı kitapçığı alan ve eksiksiz yanıtlayan 1160 öğrencinin puanlarından oluşan tam veri seti üzerinden yürütülmüştür. Yöntemlerin etkililiği için incelenecek koşullar; kayıp veri mekanizması (TRK ve RK), DMF düzeyi (A, B ve C) ve kayıp veri oranı (%10 ve %20) olarak belirlenmiştir. Söz konusu veri seti üzerinden tamamen rastgele kayıp (TRK) ve rasgele kayıp (RK) mekanizmaları altında farklı oranlarda veri silinerek oluşturulan kayıp verileri setlerine MZMC, ÇDA ve BM yöntemleriyle veri ataması yapılmıştır. Elde edilen tüm veri setlerine poly-SIBTEST yöntemiyle DMF analizi yapılmıştır. Bu doğrultuda tam veri setinden elde edilen sonuçlar referans alınarak diğer veri setlerinin sonuçlarıyla karşılaştırılmıştır. Araştırma sonucunda incelenen tüm koşullar açısından BM ve MZMC yöntemleri C düzeyi DMF için A ve B düzeylerine göre daha iyi performans sergilemiştir. %10 ve %20 TRK mekanizmalarında DMF gösteren maddelerde DMF belirlemede en başarılı ÇDA yönteminin olduğu görülmüştür. Tam veri setiyle karşılaştırıldığında %10 RK mekanizmasında üç yöntem de benzer sonuçlar gösterirken, %20 RK mekanizmasında diğer yöntemlere göre MZMC en yakın sonuçları vermiştir.

Abstract:
This research is aimed at examining the effects of Markov chain Monte Carlo (MCMC), multiple imputation (MI) and expectation maximization (EM), which are methods of coping with missing data, on the differential item functioning (DIF) in mixed type tests containing dichotomous and polytomous items. For this purpose, the study was carried out on the full data set consisting of the scores of 1160 students who took the booklet number 9 in the science test in TIMSS 2019 and answered it completely. The conditions to be examined for the effectiveness of the methods are; missing data mechanism (MCAR and MAR), DIF level (A, B and C) and missing data rate (10% and 20%). Using MCMC, MI and EM methods; data were assigned to the missing data sets created by deleting data at different rates under the missing completely at random (MCAR) and missing at random (MAR) mechanisms. DIF analysis was performed with the poly-SIBTEST method on all data sets obtained. To this end, the results obtained from the full data set were compared with the results of other data sets of reference. In terms of all conditions, EM and MCMC methods performed better for C level DIF than A and B levels. It has been observed that the most successful MI method in determining DIF in items showing DIF in 10% and 20% MCAR mechanisms. Compared with the full data set, all three methods showed similar results in the 10% MAR mechanism, while MCMC gave the closest results in the 20% MAR mechanism compared to the other methods.