Karma MTK modellerinin farklı koşullarda parametre kestirimine ve sınıflama doğruluğuna etkisinin simülatif ve gerçek veri ile incelenmesi
Investigation of the effect of mixture IRT models under different conditions on parameter recovery and classification accuracy with simulative and real data
Yazar: FATIMA MÜNEVVER SAATÇİOĞLU
Danışman: PROF. DR. HAKAN YAVUZ ATAR
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Kayıp veri teknikleri = Missing data techniques ; Klasik Test Kuramı = Classical Test Theory ; Madde Tepki Kuramı = Item Response Theory ; Uluslararası Matematik ve Fen Araştırmasında Eğilimler = Trends in International Mathematics and Science Study ; Örtük sınıf analizi = Latent class analysis

Özet:
Araştırmanın amacı Karma MTK modellerinin farklı koşullarında madde parametre kestirimine ve sınıflama doğruluğuna etkisinin simülatif ve gerçek veri ile incelenmesidir. Simülasyon çalışmasında Karma MTK modelleri (Rasch, 2PL, 3PL), örneklem büyüklüğü (600, 1000), madde sayısı (10, 30), örtük sınıf sayısı (2 ,3) kayıp veri türü (tam, rastgele kayıp veri ve rastgele olmayan kayıp veri) ve kayıp veri yüzdesi (%10, %20) değişkenleri manipüle edilen değişkenlerdir. Verilerin üretilmesinde R programı kullanılmıştır. Verilerin analizinde R programı ile Mplus programının otomasyonuna imkan sağlayan "Mplus Automation" paketi kullanılmıştır. Araştırma sonucunda madde güçlük, madde ayırt edicilik ve şans parametre kestirimleri için ortalama RMSE ve yanlılık değerleri elde edilmiştir. Madde parametrelerinin kestiriminde seçilen faktörlerin etkileşim etkilerini incelemek için çok yönlü varyans analizi gerçekleştirilmiştir. Seçilen faktörlerin etkileşim etkileri incelendiğinde örneklem büyüklüğü, madde sayısı, örtük sınıf sayısı, kayıp veri türü ve kayıp veri yüzdesi faktörlerinin Karma MTK modelleri için madde parametrelerinin kestiriminde önemli birer faktör oldukları söylenebilir. Karma Rasch model için elde edilen ortalama RMSE değerlerinin Karma 2PL ve Karma 3PL modelden daha düşük olduğu gözlenmiştir. Ayrıca ele alınan faktörlerin kombinasyonundan elde edilen veriler için sınıflama doğruluğu yüzdeleri hesaplanmıştır. En yüksek sınıflama doğruluğu yüzdesine Karma Rasch modelin 30 madde, 2 sınıf, 1000 örneklem büyüklüğü ve tam veri koşullarında ulaşıldığı görülmüştür. Son olarak çalışmada TIMSS 2015 Türkiye 8.sınıf fen alt testinin verisi kullanılarak simülasyon veri gerçek veri ile desteklenmiştir. Gerçek veriden elde edilen sonuçlar ile simülasyon veriden elde edilen sonuçların birbiriyle tutarlı olduğu tespit edilmiştir.

Abstract:
The aim of the study is to examine the effect of mixture IRT models on item parameter estimation and classification accuracy for different conditions with simulative and real data. In the simulation study, Mixture IRT models (Rasch, 2PL, 3PL), sample size (600, 1000), number of items (10, 30), number of latent classes (2, 3) missing data type (complete, missing at random (MAR) and missing not at random (MNAR)) and percentage of missing data (10%, 20%) variables are manipulated variables. R program was used to generate the data. In the analysis of the data, the "Mplus Automation" package, which allows the automation of the R program and the Mplus program, was used. As a result of the research, mean RMSE and bias values were obtained for item difficulty, item discrimination and pseudo-chance parameter estimation. Multi-way ANOVA was performed to examine the interaction effects of selected factors in the estimation of item parameters. When the interaction effects of the selected factors are examined, it can be said that the factors of sample size, number of items, latent classes, missing data type, and percentage of missing data are important factors in estimating item parameters for Mixture IRT models. It was observed that the mean RMSE values obtained for the Mixture Rasch model were lower than the Mixture 2PL and Mixture 3PL models. In addition, classification accuracy percentages were calculated for the data obtained from the combination of the considered factors. It was observed that the highest classification accuracy percentage was reached in the Mixture Rasch model with 30 item, 2 class, 1000 sample size and complete data conditions. Finally, simulation data was supported using TIMSS 2015 8th science test data for Turkey. It has been determined that the results obtained from the real data and the results obtained from the simulation data are consistent with each other.