Karar ağacı algoritmasının bilişsel tanı modellerine dayalı bilgisayarda bireyselleştirilmiş testlerde kullanımı
The use of decision tree algorithm in computerized adaptive tests based on cognitive diagnostic models
Yazar: HÜSEYİN YILDIZ
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bilişsel tanı modelleri (BTM) ve bilgisayar ortamında bireye uyarlanmış testler (BBT) eğitimde ölçme ve değerlendirme alanında halen gelişmekte olan ve alan yazında popülerliğini koruyan konulardandır. Bu çalışmada Bilişsel Tanı Modellerine dayalı bireyselleştirilmiş testler için (BT-BBT), karar ağacı algoritmalarına dayalı başlangıç, ilerleme ve sonlandırma kurallarını kapsayan bir yöntem önerilmiştir. Önerilen yöntemi geleneksel BT-BBT uygulamaları ile farklı madde havuzu büyüklüğü, örneklem büyüklüğü ve test uzunluğu koşulları altında örtük sınıf ve beceri kestirim tutarlılığı açısından karşılaştıran simülasyon verileri ile yürütülmüştür. Ayrıca gerçek öğrenci tepkileri kullanılarak da benzer karşılaştırmalar yapılmıştır. Araştırmada kullanılan verilerin türetilmesi ve analizler R programlama dilinde çeşitli paket programlar kullanılarak gerçekleştirilmiştir. Araştırmada gerçek veri kullanılarak elde edilen sonuçlara göre, karar ağacına dayalı yöntem kullanılarak elde edilen başarılı sınıf ve beceri tahmini oranlarının geleneksel yöntemlere göre daha yüksek olduğu gözlenmiştir. Ayrıca 18 ve 24 madde uzunluklarının kullanıldığı simülasyon koşullarında karar ağacına dayalı yöntem daha başarılı olurken 12 maddelik test uzunluklarının kullanıldığı koşullarda Global Discrimination Index (GDI) ilerleme kuralının kullanıldığı geleneksel uygulamalar daha yüksek başarılı sınıf tahmini oranları elde etmiştir.

Abstract:
Cognitive Diagnostic Models (CDM) and Computerized Adaptive Testing (CAT) remain topics of ongoing development and popularity in the field of educational measurement. This study proposes a method for adaptive tests based on Cognitive Diagnosis Models (CDM-CAT) that incorporates starting, item slection, and termination rules grounded in decision tree algorithms. Simulations were conducted to compare the proposed method with traditional CDM-CAT applications under varying conditions of item pool size, item discrimination levels, and test length, assessing accuracy of latent class and skill estimation. Additionally, similar comparisons were made using real student responses. Data derivation and analysis were carried out using various packages in the R programming language. Results show that the decision tree-based method achieved higher rates of successful class and skill estimation compared to traditional methods when using real data. Moreover, under simulation conditions with test lengths of 18 and 24 items, the decision tree-based method demonstrated better performance. In contrast, traditional applications employing the Global Discrimination Index (GDI) progression rule yielded higher successful classification rates in conditions utilizing 12-item test lengths.