Karma Rasch model ile değişen madde fonksiyonunun belirlenmesinde kovaryant (ortak) değişkenin etkisi
The effect of covariant variable on determination of differential item functioning using mixture Rasch model
Yazar: GÖZDE SIRGANCI
Danışman: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Karma modeller = Mixed models ; Karma yöntemler = Mixed methods ; Kovaryans = Covariance ; Madde Tepki Kuramı = Item Response Theory ; Ortak değişkenler = Covariates ; Rasch modeli = Rasch model ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Karma Madde Tepki Kuramı modelleri (K-MTK) son yıllarda test geliştirme, değişen madde fonksiyonu (DMF) saptama gibi test geçerliğini etkileyebilen psikometrik sorunlarla mücadelede önemli bir metodoloji olarak ön plana çıkmaktadır. K-MTK modellere kovaryant değişkenin farklı kestirim yöntemlerine göre dahil edildiği çalışmalar bulunmaktadır. Bu çalışmaların sonuçlarında, kovaryant değişkenin modele dahil edildiği bazı durumlarda gizil sınıfların belirlenmesi ve parametre kestirim iyiliğinin olumlu; bazı durumlarda ise olumsuz yönde etkilendiği belirtilmiştir. Bununla birlikte, DMF analizlerinde kovaryant değişkenin dahil edildiği K-MTK modellerinin etkinliği DMF'yi nispeten karmaşık bir modelle tanımlamanın zorlukları nedeniyle sistematik olarak çalışılmamıştır. Bu çalışma, K-MTK modellerinden Karma Rasch Modele (KRM) kovaryant değişken dahil edildiğinde (KRM-K), modelin gizil sınıf yapısı, parametre kestirim iyiliği ve gizil DMF belirlemedeki etkisini araştırmayı amaçlamaktadır. Bu amaçla gizil değişken ve kovaryant değişken arasındaki ilişki, ortalama DMF etki büyüklüğü, kovaryant değişkenin oranı ve gizil sınıf oranı değişimlenerek Monte Carlo simülasyon çalışması yapılmıştır. Araştırmanın bulguları gizil sınıf yapısının tanımlanması, model parametrelerinin kestirim iyiliği ve gizil DMF saptama gücü ve doğruluğu açısından değerlendirilmiştir. Araştırma sonuçları, KRM'ye kovaryant değişken dahil edildiğinde modelin gizil sınıfları tanımlama gücünün düştüğünü göstermiştir. Ancak DMF etki büyüklüğünün yüksek, gizil değişken ile kovaryant değişken arasındaki ilişkinin güçlü ve gizil sınıf oranının eşit olduğu durumda KRM-K'nın sınıflama doğruluğunun KRM ile aynı seviyeye ulaştığı belirlenmiştir. Modele kovaryant değişkenin dahil edilmesi, model parametrelerinin kestirim iyiliğini arttırmıştır. Gizil sınıflar ve kovaryant değişken arasındaki ilişkinin güçlü ve ortalama DMF etki büyüklüğünün yüksek olduğu durumda, parametre kestirimlerinin daha da iyileştiği sonucuna ulaşılmıştır. KRM'nin gizil DMF belirleme gücü ve doğru karar yüzdesi, modele kovaryant değişken dahil edildiğinde manidar düzeyde yükselmiştir.

Abstract:
Mixture Item Response Theory (IRT) models have been an essential methodology while dealing with psychometric problems that affect test validity, i.e. test development and differential item functioning (DIF). There are studies, where the covariant variable is included in mixture IRT models based on different estimation models. The results of these studies revealed that models, where the covariants were included, have either a positive or a negative effect on both determining the latent class structure and improving the accuracy of parameter estimation. Nevertheless, the efficacy of mixture IRT models that include a covariant variable in DIF have never been studied in a systematical way due to the difficulty of defining the DIF with a complex model. The aim of this study is to investigate the effects of including a covariant variable in a mixture Rasch Model, which is a type of IRT model, on the model's latent class structure, the parameter estimation accuracy and latent DIF determination. To this end, a Monte Carlo simulation was conducted with adjusting the relationship between the latent variable and the covariant variable, average DIF effect size, covariant variable ratio and latent class ratio. The findings of the study were evaluated with respect to the definition of latent class structure, the estimation accuracy of model parameters and determination of latent DIF. The results has shown that including a covariant variable in a mixture Rasch model has lowered the model's efficiency to define latent classes. However, when the inclusion of a covariant variable is made when certain conditions were met, such as a larger DIF effect size, a strong relationship between covariant variable and the latent variable and the latent variable ratio is even, the accuracy of classification has reached the same level as mixture Rasch model. The inclusion of a covariant variable has increased the accuracy of model parameter estimation. The accuracy of estimation was further improved when the relationship between covariant variable and the latent variable was strong and average DIF effective size is large. Mixture Rasch model's power to determine latent DIF and percentage of correct non-DIF decisions was improved.