Bilişsel tanı modellerinde Q-Matrisin farklı yaklaşımlarla belirlenmesinin farklı yetenek düzey ve dağılım koşulları altında incelenmesi
Examination of different determination of Q-Matrix in cognitive diagnosis models under different ability levels and distribution conditions
Yazar: TUBA GÜNDÜZ
Danışman: PROF. DR. MEHTAP ÇAKAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilişsel tanı modelleri = Cognitive diagnostic models ; Faktör analizi = Factor analysis ; G-DINA model = G-DINA model ; Ortaokul öğrencileri = Secondary school students ; Q matrisi = Q matrix

Özet:
Bu araştırma ile G-DINA Modeli altında Q-matrisin farklı belirlenmesinin değişen koşullar altında karşılaştırılması amaçlanmaktadır. Bu amaç doğrultusunda ilk olarak uzman kanısına ve açımlayıcı faktör analitik yönteme dayalı olarak belirlenmiş Q-matrisleri ve bu Q-matrislere geçerleme sürecinin uygulanmasıyla elde edilen Q-matrisleri ile evren veri seti üzerinde yapılan sınıflandırmalar karşılaştırılmıştır. Ardından, bu Q-matrisler için önerilen geçerleme süreçleri kullanılarak alt ve üst yetenek gruplarında nitelik seti farklı belirlenen Q-matrisleri ile yapılan sınıflamalar incelenmiştir.  Son olarak normal ve normal dağılımdan farklılaşan dağılım sağlayan gruplar (Çarpıklık katsayısı  0,5, 0,75, 1, 1,25, 1,5 ve 2) üzerinde yapılan sınıflamalar karşılaştırılmıştır. Yapılan sınıflandırmalar model uyum indeksleri, madde parametre kestirimleri (tahmin ve kaydırma parametreleri) ve sınıflama doğrulukları açısından karşılaştırılmıştır. Bu araştırmanın evrenini "Uluslararası Geniş Ölçekli Sınavlarda Türkiye'nin Matematik Başarısını Arttırabilmek İçin Bir Model Önerisi: Bilişsel Tanıya Dayalı İzleme Modelinin Etkililiği" başlıklı ve 115K531 No'lu TÜBİTAK Projesinde son test uygulamasına katılan 4292 altıncı sınıf öğrencisi oluşturmaktadır. Bu öğrencilerden kasıtlı örnekleme yoluyla çekilen 500'er kişilik dokuz grup ise çalışmanın örneklemini oluşturmaktadır. Bu örneklemler araştırma kapsamında ele alınan dokuz koşula uygun olarak elde edilmiştir. Evren üzerinde yapılan sınıflamalar için uzman kanısına dayalı belirlenen Q-matrisi ele alındığında test düzeyinde en yüksek sınıflama doğruluğu ve en uygun parametre kestirimleri, geçerleme yönteminin önerdiği modifikasyonlardan Mesa plot incelemelerine ek olarak tekrar uzman görüşlerine başvurulmasıyla uygun görülenlerin kabul edilmesi sonucunda belirlenen Q-matrisi ile elde edilmiştir. Faktör analizi ile belirlenen Q-matrisi ele alındığında ise geçerleme yönteminin önerdiği modifikasyon sayısının oldukça az olduğu ve dolayısıyla geçerleme yönteminin yapılmasına gerek olmadığı görülmüştür. Alt ve üst yetenek gruplarında nitelik seti farklı belirlenen Q-matrislerinin farklı doğrulukta sınıflandırma yaptıkları görülmüş ve benzer şekilde model veri uyumu ile parametre kestirimlerinin de farklılaştığı gözlemlenmiştir. Genel olarak incelendiğinde, rutin olmayan problem çözme becerisi ile okuduğunu anlama becerileri Q-matrislerine nitelik olarak eklendiğinde alt grup ile üst grup üzerinde sınıflamaları farklı yönde etkilediği gözlemlenmiştir. Bununla birlikte çarpıklık katsayısı arttığında, genel anlamda, elde edilen bulgular sınıflama doğruluğu, model uyumu ve parametre kestimleri açısından olumsuz etkilendiği ve özellikle çarpıklık katsayısı 1,25'in üzerinde olduğu durumlarda oldukça farklı düzeyde sınıflama sağladığı görülmüştür. Son olarak bu araştırmadan elde edilen bulgular ışığında Bilişsel Tanı Modeli uygulamalarında karşılaşılabilecek durumlar için uygun Q-matrisi belirlemeye yönelik öneriler sunulmuştur.

Abstract:
With this research, it is aimed to compare the different determination of the Q-matrix under the G-DINA Model under varying conditions. For this purpose, firstly, Q-matrices determined based on expert opinion and exploratory factor analytical method were compared with the classifications made on the population data set by applying validation process to these Q-matrices. Then, by using validation processes proposed for these Q-matrices, classifications made with Q-matrices with different set of attributes in lower and higher ability groups were examined. Finally, the classifications made on the groups providing distribution that differ from normal and non-normal distribution (coefficient of skewness 0.5, 0.75, 1, 1.25, 1.5 and 2) were compared. The classifications made were compared with model fit indices, item parameter estimates (guess and slip parameters) and classification accuracies. The population of this research consists of 4292 sixth grade students participating in the post-test application in the TUBITAK Project No 115K531, titled "A Recommended Model to Increase Success Level of Turkey in Mathematics in International Wide Scale Exams: Effectiveness of the Cognitive Diagnosis Based Tracking Model". Nine groups of 500 student, who were drawn from population is the samples of the study. These samples were obtained in accordance with the nine conditions considered within the scope of the research. Considering the Q-matrix determined based on expert opinion in the classifications made on the population, the highest classification accuracy and the most appropriate parameter estimation at the test level were obtained with the Q-matrix determined as a result of the acceptance of the modifications suggested by the validation method, in addition to the Mesa plot examinations, and the acceptance of the appropriate ones. When the Q-matrix determined by factor analysis was considered, it was seen that the number of modifications suggested by the validation method was quite low and therefore the validation method was not required. It has been observed that Q-matrices whose attribute sets are determined differently in lower and upper skill groups make classifications with different accuracy, and similarly, it has been observed that model data fit and parameter estimates also differ. In general, when non-routine problem solving skills and reading comprehension skills were added to Q-matrices as attributes, it was observed that the classifications on the lower and the upper group were affected differently. However, when the coefficient of skewness increases, it has been observed that the findings obtained are negatively affected in terms of classification accuracy, model fit and parameter estimation, especially when the coefficient of skewness is above 1.25, it provides an unacceptable classification. In the light of the findings obtained from this study, suggestions for determining the appropriate Q-matrix for situations that may be encountered in Cognitive Diagnosis Model applications are presented.