Bilişsel tanı modellerinden pG-DINA, sG-DINA, DINA ve R-RUM modellerinin çeşitli koşullar altında incelenmesi
Investigationof cognitive diagnostic models pG-DINA, sG-DINA, DINA and R-RUM models under various conditions
Yazar: MEHTAP AKTAŞ
Danışman: DOÇ. DR. NEZAKET BİLGE UZUN
Mersin Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilişsel tanı modelleri = Cognitive diagnostic models ; Q matrisi = Q matrix

Özet:
Bu çalışmanın amacı; BTM'lerinden çok kategorili verilerin analizinde kullanılabilecek olan pG-DINA, sG-DINA, DINA ve R-RUM modellerinin değişen koşullar altında benzetim yoluyla elde edilen verilerde üzerinde kestirilen madde parametre yanlılıklarının, doğru sınıflama oranlarının incelenmesidir. Aynı zamanda kullanımı yaygın olmayan ve bu çalışma kapsamında ele alınan modellerin gerçek koşullarda elde edilmiş iki ayrı gerçek veri seti üzerinde uygulanması amaçlanmıştır.  Kullanılan gerçek veri setlerinden birinde BTM temelli olmayan, sonradan elde edilen Q matrisi ve diğerinde ise; BTM temelli hazırlanan bir teste dayalı kestirilen madde parametreleri ve örtük sınıflarının sonsal olasılıklarının detaylı olarak incelenmesi amaçlanmıştır.
Yapılan analizde değişimlenen koşullar, örneklem büyüklüğü için 500, 1000, 2000 ve 4000, madde sayısı için 8, 16 ve 32, nitelik sayısı 3,  5 ve g ve s parametre değerleri düşük 0.05-0.15, orta 0.15-0.25, yüksek 0.25-0.35'tir. Veri üretimi sG-DINA modele göre yapılmıştır. Her niteliği başarma olasılıkları %50 olacak şekilde olası tepki örüntüleri için 10000 birey üretilmiştir, değişimlenen örneklemler 10000 kişilik veriden random çekilmiştir. Üretilen veri için tanımlanan çok kategorili Q matrisleri 0-1 matrislerine dönüştürülmüştür. Gerçek veri için model uyum istatistikleri, madde parametreleri ve bireylerin örtük sınıf sonsal olasılıkları hesaplanmıştır. EAP kestirim yöntemi ile kestirimler yapılmıştır. Son olarak madde parametre kestirimi yanlılık değerleri ve doğru sınıflama oranları hesaplanmıştır.
pG-DINA, sG-DINA, DINA ve R-RUM modelleri ile farklı koşullar altında kestirilen madde parametre kestirimlerinin yanlılığı ve bireylerin doğru sınıflama oranları bütünsel olarak değerlendirildiğinde; pG-DINA modeli dışında diğer BTM'nden elde edilen sonuçların benzerliği dikkat çekmektedir. Bu farklılığın pG-DINA modelde kullanılan Q matrisinin yapısal faklılığından kaynaklandığı düşünülemektedir. pG-DINA modelde, bu çalışma kapsamında kullanılan diğer modellerden farklı olarak Q matrisinde niteliklere ait seviyeler de işe koşulmaktadır. BTM temelli hazırlanmayan PISA 2012 verisinden elde edilen sonuçlara göre; modellerin örtük sınıf büyüklükleri arasında oldukça büyük farklılıklar olduğu göze çarpmaktadır. Gerçek veri seti kullanıldığı durumlarda özellikle madde parametre değerleri yükseldiğinde elde edilen örtük sınıf büyüklüklerinde önemli farklılıkların olduğu sonucuna ulaşılmıştır. BTM temelli hazırlanan test verisinden elde edilen sonuçlara göre; gerçek veri kullanılan durumlarda modellerin çok daha düşük model uyumu gösterdiği sonucuna ulaşılmıştır.

Abstract:
The aim of this study; It is the examination of the estimated item parameter biases and correct classification rates in the data obtained by simulation under different conditions of pG-DINA, sG-DINA, DINA and R-RUM models, which can be used in the analysis of multi-category data from CDMs. At the same time, it is aimed to apply the models, which are not widely used and covered in this study, on two separate real data sets obtained in real conditions. In one of the real datasets used, the non-CDM-based Q matrix and in the other; It is aimed to examine in detail the posterior probabilities of the estimated item parameters and latent classes based on a test prepared based on CDM.
The manipulated conditions in the analysis were 500, 1000, 2000 and 4000 for the sample size, 8, 16 and 32 for the number of items, 3, 5 for the number of atributes, and low 0.05-0.15, medium 0.15-0.25, high 0.25-0.35 for the g and s parameter values. Data generation was based on the sG-DINA model. 10000 examinees were produced for possible response patterns, with a 50% probability of achieving each attribute, and the manipulated samples were randomly from the data of 10000 examinees. Multi-category Q matrices defined for the generated data were transformed into 0-1 matrices. For real data, model fit statistics, item parameters and latent class posterior probabilities of examinees were calculated. Estimations were made with the EAP estimation method. Finally, item parameter estimation bias values and correct classification rates were calculated.
 When the bias of item parameter estimations estimated under different conditions by pG-DINA, sG-DINA, DINA and R-RUM models and the correct classification rates of examinees are evaluated holistically; Apart from the pG-DINA model, the similarity of the results obtained from the other CDM is remarkable. It is thought that this difference is due to the structural difference of the Q matrix used in the pG-DINA model. In the pG-DINA model, unlike the other models used in this study, the levels of the attributes are also used in the Q matrix. According to the results obtained from the PISA 2012 data, which was not prepared on the basis of CDM; It is noteworthy that there are quite large differences between the implicit class sizes of the models. It has been concluded that there are significant differences in the latent class sizes obtained especially when the item parameter values increase in cases where the real data set is used. According to the results obtained from the test data prepared based on CDM; It was concluded that the models showed much lower model fit in cases where real data were used.