Beceri ve kavram yanılgılarının tanımlanmasında bilişsel tanı modeli: SISM model performansının değerlendirilmesi ve DINA, BUG-DINO modeller ile karşılaştırılması
Cognitive diagnostic model for identifying skills and misconceptions: Evaluation of SISM model performance and comparison with DINA, BUG-DINO models
Yazar: BÜŞRA EREN
Danışman: PROF. DR. ŞEREF TAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Beceri = Skill ; Bilişsel tanı modelleri = Cognitive diagnostic models ; Kavram yanılgısı = Misconception ; Q matrisi = Q matrix

Özet:
Bu çalışmanın amacı, bilişsel tanı modellerinde beceri ve kavram yanılgılarını eş zamanlı 
olarak ölçen modelin performansını farklı koşullar altında karşılaştırarak modelin hangi 
koşullar altında benzer ya da farklı sonuçlar verdiğini göstermek ve modeli beceriler ile 
kavram yanılgılarını ayrı ayrı tanımlayan modellerin performanslarıyla karşılaştırmaktır. 
Becerileri ve kavram yanılgılarını eş zamanlı olarak ölçen modelin performansına ilişkin 
kapsamlı bilgilere ulaşmak amacıyla örneklem büyüklüğü, test uzunluğu, madde ayırt 
edicilik düzeyi ve ölçülen nitelik sayısı olmak üzere farklı simülasyon çalışmalarında sıklıkla 
kullanılan dört faktör çalışmaya dahil edilmiştir. Olası bilgi durumlarına dayalı olarak ana 
simülasyon tasarımı modelin performansını dört faktörün birleştirilmesiyle 72 simülasyon 
koşulu altında karşılaştırmıştır. Çalışmanın birinci ve ikinci alt problemleri kapsamında 
modele ilişkin madde parametre tahminlerine ait "mutlak sapma" ve "ortalama mutlak 
sapma" değerleriyle birlikte model kapsamında yer alan dört madde parametresine ilişkin 
ortalama standart hata değerleri tüm koşullar için özetlenerek sunulmuştur. Çalışmanın 
üçüncü alt problemi kapsamında ise becerileri ve kavram yanılgılarını eş zamanlı olarak ölçen modelin sınıflama doğruluğu performansı, beceri ve kavram yanılgılarını ayrı ayrı 
ölçen modellerle karşılaştırılmıştır. Birinci ve ikinci alt problemlerden elde edilen bulgular 
test uzunluğuyla örneklem büyüklüğünün nispeten arttığı ve madde ayırt edicilik düzeyinin
yüksek olduğu koşullar altında dört madde parametresine ait tahminlerin beklenti 
maksimizasyon algoritmasıyla doğru bir şekilde tahmin edilebildiğini göstermiştir. Üçüncü 
alt problemden elde edilen bulgular ise simülasyon çalışması sonucu beceri ve kavram 
yanılgılarını eş zamanlı olarak ölçen modelin dört faktörde değişimlenen koşullarda diğer 
modellere göre daha yüksek sınıflama doğruluğu performansı sergilediğini ortaya 
koymuştur. Bu modeli sırasıyla kavram yanılgıların ölçen model ve becerileri ölçen model
takip etmiştir. Beceri ve kavram yanılgılarını eş zamanlı olarak ölçen modelin kısa testlerin 
kullanıldığı koşullarda dahi kabul edilebilir sınıflama doğruluğu değerleri aldığı ve madde 
ayırt edicilik düzeyi arttıkça sınıflama doğruluğu değerlerinin arttığı görülmüştür. Ancak 
ölçülen nitelik sayısının artmasıyla birlikte modelin sınıflama doğruluğu performansı daha 
az karmaşık olan Q-matrislerin kullanıldığı koşullara kıyasla azalmıştır. Beceri ve kavram 
yanılgılarının eş zamanlı olarak ölçülmesi için tasarlanmış modele ait analizlerden elde 
edilen sonuçlar ümit verici olsa da, literatürde yeni bir model olarak yer aldığından elde 
edilen bulgulardan genellenebilir sonuçlara ulaşılamamıştır. Bu nedenle modelin güvenilir 
kullanımları sağlanmadan önce doğasını daha iyi anlamak adına simülasyon çalışmalarının 
tasarlanması ya da gerçek veri setlerinin analizleriyle ek çalışmaların yürütülmesine ihtiyaç 
vardır. Ancak bu sayede becerilerin ve kavram yanılgılarının bilişsel tanısı, eğitim öğretim 
reformlarına yardımcı olabilir.

Abstract:
The aim of this study is to compare the performance of model, which can simultaneously 
measure skills and misconceptions in cognitive diagnosis models, under different conditions 
in order to determine which conditions the model produces similar or different results, and 
to compare model to the performance of models that define skills and misconceptions 
separately. Four factors, including sample size, test length, item discrimination level, and 
number of attributes measured, which are often utilized in various simulation studies, were 
included in the study to obtain comprehensive information on the model performance of 
simultaneously measure skills and misconceptions. The main simulation design compared 
the performance of model under 72 simulation conditions based on possible knowledge 
states by combining four factors. For all conditions within the scope of the study's first and 
second sub-problems, the "absolute deviation" and "mean absolute deviation" values of the 
item parameter estimations related to the model, as well as the mean standard error values 
of the four item parameters included in the model, were summarized. The classification 
accuracy performance of the model that measures skills and misconceptions simultaneously 
was compared with the models measuring skill and misconceptions separately in the scope 
of the study's third sub-problem. The results of the first and second sub-problems 
demonstrated that the expectation maximization algorithm could accurately estimate the four 
item parameters under conditions of relatively increased test length and sample size and high 
item discrimination level. The results of the third sub-problem demonsrated that model for simultaneously identifying skills and misconceptionsoutperformed other models in 
classification accuracy under conditions that varied across four factors. This model was 
followed by the model measuring misconceptions and the model measuring skills, 
respectively. It has been observed that the model, which simultaneously measures skills and 
misconceptions, has acceptable classification accuracy values even under the conditions 
where short tests are used, and the classification accuracy values increase as the item 
discrimination level increases. However, as number of attributes measured increased, the 
model's classification accuracy performance deteriorated when compared to conditions 
where less complex Q-matrices were used. Although the results of the model designed to 
measure skills and misconceptions simultaneously are promising, generalizable results could 
not be reached from the findings, since it is a new model in the literature. As a result, before 
the model can be used reliably, simulation studies or additional studies involving the analysis 
of real data sets are required to better understand its nature. Only in this manner can cognitive 
diagnosis of skills and misconceptions support education reforms.