Değişen madde fonksiyonunun farklı koşullar altında DINA ve DINO modellerinin sınıflandırma performansına etkisi
The effect of DINA and DINO models on classification performance under different conditions of differential item functioning
Yazar: SEYHAN SARITAŞ AKYOL
Danışman: PROF. DR. MEHTAP ÇAKAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilişsel tanı modelleri = Cognitive diagnostic models ; DINA model = DINA model ; DINO model = DINO model ; Değişen madde fonksiyonu = Differential item function ; Monte Carlo benzetimi = Monte Carlo simulation ; Sınıflama yöntemleri = Classification methods ; Sınıflandırma = Classification

Özet:
Bilişsel tanı modelleri öğrenci ve uygulayıcılara detaylı dönüt sağlama imkânı sunduğu için eğitim alanında kullanımı artmaktadır. Ancak bu modellerin sonuçlarına dayalı uygun kullanım ve yorumları sağlamak için değişen madde fonksiyonunun (DMF) etkisini anlamak önemlidir. Bu araştırmada bilişsel tanı modellerinden telafisel olmayan DINA ve telafisel olan DINO modelleri kapsamında nitelik sayısı (4, 6), DMF büyüklüğü (.075, .10, .15, .20), DMF türü (tek biçimli, tek biçimli olmayan), DMF'li madde yüzdesi (%20, %30) ve DMF'li maddelerin Q-matrisinde ölçtüğü nitelik sayısı (1, 2, 3) faktörlerinin nitelik ve örüntü düzeyinde sınıflandırma performanslarına olan etkisini incelemek amaçlanmıştır. Bu çalışmada belirlenen test koşullarını oluşturmak için bilişsel tanı değerlendirmeye dayalı bir Monte Carlo simülasyon çalışması yürütülmüştür. Çalışmanın amacı doğrultusunda alanyazına dayalı olarak belirlenen faktörler ve faktörlerin düzeylerine göre toplam 192 farklı koşul için referans ve odak gruplara ait veri seti oluşturulmuştur. Araştırmada belirlenen koşulları daha bilgilendirici şekilde karşılaştırabilmek için bu koşullara ek olarak ele alınan her model ve nitelik sayısı için DMF'li maddenin olmadığı durum için de veri seti oluşturulmuştur. Dolayısıyla toplam 196 farklı koşul incelenmiştir. Araştırmada her bir grup için sabitlenen faktörler olarak örneklem büyüklüğü 1000, nitelikler arası ilişki p=0.5, testteki madde sayısı 30 ve kaydırma ile tahmin madde parametrelerinin dağılımı tek düze dağılım olarak [.1, .3] belirlenmiştir.
Çalışmada ele alınan faktörler DINA ve DINO modellerinde her iki grup için nitelik ve örüntü düzeyi doğru sınıflama oranları (NDSO, ÖDSO) üzerindeki etkileri için ayrı ayrı incelenmiştir. Yapılan analizler incelendiğinde nitelik sayısı 4'ten 6'ya çıktığında her iki grubun DINA ve DINO modellerindeki NDSO ve ÖDSO değerleri azalmıştır. DMF büyüklüğü arttığında odak grup NDSO değerleri DINA modelinde sistematik olarak azalırken, DINO modelinde sistematik bir değişim gözlenmemiştir. DMF büyüklüğünün tüm düzeylerinde DINO modeline ait NDSO ile ÖDSO değerleri anlamlı farkla DINA modelinden daha yüksek bulunmuştur. DMF türü tek biçimliden tek biçimli olmayana değiştiğinde referans grubun DINA ve DINO modele ait NDSO değerleri artmıştır. Odak grubun NDSO ve ÖDSO değerleri DMF türü tek biçimliden tek biçimli olmayana değiştiğinde her iki modelde de azalmıştır. DMF yüzdesine göre etkiler incelendiğinde odak grupta DMF'li madde yüzdesi arttığında DINA ve DINO modellerine ait NDSO ve ÖDSO'lar düşmüştür. DMF'li maddenin ölçtüğü nitelik sayısına göre incelendiğinde DMF gösteren maddenin Q-matrisindeki madde nitelik ilişkisinin sınıflama doğruluğu üzerinde DINA ile DINO modelleri düzeylerinde farklı etkilere sahip olduğu bulunmuştur. DMF'li maddenin ölçtüğü nitelik sayısı arttıkça NDSO ile ÖDSO'lar DINA modelde artarken aynı koşullarda DINO modelde düşme eğilimindedir. Ayrıca genel olarak çalışmada ele alınan tüm faktörlerin düzeylerinde DINO modeline ait nitelik ve örüntü düzeyinde sınıflama doğruluğu DINA modelden yüksek bulunmuştur. Ek olarak bulgulara göre farklı DMF koşullarında nitelik düzeyi sınıflama doğruluğunun tüm koşullarda sağlam kaldığı, örüntü düzeyi sınıflama doğruluğunun DMF etkilerinden daha çok olumsuz yönde etkilendiği görülmüştür.

Abstract:
Since cognitive diagnostic models provide detailed feedback to students and practitioners, their use in the field of education is rapidly spreading. However, an important step to ensure appropriate use and interpretation from cognitive diagnostic models is to understand the impact of differential item functioning (DIF). In this study, within the scope of cognitive diagnosis models, it is aimed to examine the effects of model (DINA, DINO), number of attribute (4, 6), DIF magnitude (.075, .10, .15, .20), DIF type (uniform, non-uniform), the percentage of items with DIF (20%, 30%) and the number of attributes measured by items with DIF in the Q-matrix (1, 2, 3) on classification performance at the level of attribute and pattern. A Monte Carlo simulation study based on hypothetical cognitive diagnostic evaluation was conducted to create these test conditions that cannot be created in practice. In line with the aim of the study, 192 different data sets were created according to the factors and the levels of the factors determined based on the literature. In order to compare the conditions determined in the research in a more informative way, in addition to these conditions, data set was created for each model and number of attributes aforehand, for the absence of the item with DIF. Thereby, a total of 196 different conditions were examined. In the study, as the fixed factors for each group, the sample size of 1000, the correlation between the attributes p=0.5, the number of items in the test 30, and the distribution of slipping and guessing item parameters as a uniform distribution [.1, .3]. In the study, the factors were examined for their effects on the attribute and pattern level correct classification rate for the reference and focus group in the DINA and DINO models. According to the analysis, as the number of attributes increased from 4 to 6, the classification accuracy of the DINA and DINO models of both groups decreased. As the DIF magnitude increased, the focus group attribute level correct classification accuracy systematically decreased in the DINA model, while no systematic difference was observed in the DINO model. In both models, when the DIF type changed from uniform to non-uniform, in accordance with the expectation, classification accuracy decreased in the focus group and increased in the reference group. As the effects were examined according to the percentage of DIF, the classification accuracy of DINA and DINO models decreased when the percentage of items with DMF increased in the focus group. It was found that the item attribute relationship in the q matrix of the item with DIF had different effects on the classification accuracy at the levels of DINA and DINO models. As the number of attributes measured by the item with DMF increases, the classification accuracy of the attribute and pattern level increases in the DINA model, while it tends to decrease in the DINO model under the same conditions. As the number of attributes measured by the item with DIF increases, ACA and PCA tend to increase in the DINA model, while they tend to decrease in the DINO model under the same conditions. In addition, in general, the classification accuracies of the DINO model at the levels of all the factors discussed in the study were found to be higher than the DINA model. In addition, according to the findings, it was seen that the attribute level classification accuracy in different DIF conditions was robust in all conditions, and the pattern level classification accuracy was more negatively affected by the DIF effects.