Karma Rasch modele ortak değişken ekleme yaklaşımlarının sınıflama ve kestirim doğruluğu açısından karşılaştırılması
Comparison of covariate including approaches to Mixture Rasch Model in terms of classification and estimation accuracy
Yazar: MENEKŞE UYSAL SARAÇ
Danışman: PROF. DR. HAKAN YAVUZ ATAR
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmanın amacı, karma MTK modellerinden Karma Rasch modele örtük sınıf ve yeteneğin yordayıcısı olarak ortak değişkenlerin eklendiği farklı yaklaşımların performanslarını çeşitli simülasyon koşulları altında karşılaştırmaktır. Karma MTK modelleri örtük DMF (değişen madde fonksiyonu) tespit etmek de dâhil olmak üzere test geliştirmede pek çok önemli psikometrik sorunu ele almak üzere kullanılmaktadır. Bu çalışmada ortak değişkenin eklenmediği KRM, sadece örtük sınıfın yordayıcısı olarak iki kategorili ortak değişkenin eklendiği KRM-K, örtük yeteneğin yordayıcısı olarak sürekli ortak değişkenin eklendiği KRM-S ve her iki ortak değişkenin de eklendiği KRM-KS modelleri karşılaştırılmaktadır. Modellerin sınıflama doğruluğu ve parametre kestirimi üzerindeki etkilerini incelemek üzere bir simülasyon çalışması yürütülmüştür. Bu kapsamda hem ikili hem de sürekli ortak değişkenlerin dâhil edildiği iki sınıflı karma Rasch modele göre veri setleri oluşturulmuştur. Simülasyon çalışmasında örtük sınıf büyüklüklerini ifade eden karma oranları, ortak değişkenler ile örtük değişkenler arasındaki ilişkiler ve örtük sınıflar arasındaki ortalama DMF büyüklükleri değişimlenen koşullar olarak belirlenmiştir. Parametre kestirimi, Monte Carlo Markov Zinciri (MCMC) algoritmasına göre Bayes kestirim yöntemi çerçevesinde gerçekleştirilmiştir. Modellerin simülasyon koşullarındaki performansları faktöriyel karma ANOVA ile karşılaştırılmıştır. Sonuçlar sınıflama doğruluğu açısından incelendiğinde, örtük sınıfla yüksek ilişkili ortak değişken eklenmesinin sınıflama doğruluğunu arttırdığı görülmüştür. Sınıflama doğruluğu üzerinde etkili olan ortalama DMF büyüklüğünün daha büyük olduğunda genel olarak daha yüksek sınıflama doğruluğuna ulaşıldığı belirlenmiştir. Madde ve birey parametreleri açısından bakıldığında ise genel olarak yüksek ilişkili ortak değişken eklenmesinin parametre kestirimlerindeki hatayı düşürdüğü sonucuna varılmıştır. Uluslararası Öğrenci Değerlendirme Programı (PISA) 2015 Türkiye fen okuryazarlığı verisi kullanılarak gerçek veri üzerinde bu dört modelin uygulaması yapılmış ve sonuçlar yorumlanmıştır.

Abstract:
The aim of this study is to compare the approaches of adding covariates to the mixture Rasch model, one of the mixed IRT models, under various simulation conditions. Covariates were included to models as predictors of latent class, ability or both. Mixture IRT models are used to address many important psychometric issues in test development, including detecting latent DIF. In this study, the models compared are MRM without covariate, MRM-D with only two categorical covariates added as the estimator of the latent class, MRM-C with the continuous covariate added as the estimator of latent ability, and MRM-DC, with both covariates added. Datasets were simulated according to a two-class mixture Rasch model with both dichotomous and continuous covariates. A simulation study was conducted to examine the effects of models on the classification accuracy and parameter estimation. In the simulation study, the mixing proportions as the latent class sizes, the relationships between the covariates and the latent variables, and the mean DIF effect sizes between the latent classes were determined as the manipulated factors. Parameter estimation was carried out within the framework of Bayesian estimation method according to Monte Carlo Markov chain (MCMC) algorithms. The performances of the models under simulation factors were compared with mixed factorial ANOVA. When the results were examined in terms of classification accuracy, it was seen that adding a covariate with a high correlation with the latent class increased the classification accuracy. In general, it was determined that higher classification accuracy is achieved when the DIF effect size was larger. In terms of item and person parameters, it was concluded that adding a highly correlated covariate reduced the error in parameter estimations. Using the Program for International Student Assessment (PISA) 2015 Turkey science literacy data, these four models were applied on real data and the results were interpreted.