Bilişsel tanıya dayalı bilgisayar ortamında bireye uyarlanmış testlerde madde seçim yöntemlerinin incelenmesi
Investigating item selection methods in cognitive diagnosis computerized adaptive testing
Yazar: SEMİH AŞİRET
Danışman: DR. ÖĞR. ÜYESİ SEÇİL ÖMÜR SÜNBÜL
Mersin Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli değerlendirme = Computer aided evaluation ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bilişsel tanı modelleri = Cognitive diagnostic models ; DINA model = DINA model ; Madde seçme yöntemi = Item selection method ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, Bilişsel Tanıya Dayalı Bilgisayar Ortamında Bireye Uyarlanmış Test uygulamalarında, madde seçim algoritmalarının performanslarının, test uzunluğuna, nitelik sayısına, madde kalitesine ve sonlandırma kurallarına göre, nitelik ve örüntü koruma oranları, hesaplama süresi, kullanılan niteliklerin yüzdeleri ve ortalama test uzunlukları açısından incelenmesi amaçlanmıştır. 
Araştırmada, sabit ve değişken test uzunluğu sonlandırma kuralları için iki farklı çalışma gerçekleştirilmiştir. Çalışmada, nitelik sayısı 5 ve 6 olmak üzere iki düzeyde, madde kalitesi, düşük ayırtedicilik-düşük varyans, düşük ayırtedicilik-yüksek varyans, yüksek ayırtedicilik-düşük varyans, yüksek ayırtedicilik-yüksek varyans olmak üzere dört düzeyde ve test uzunluğu 5, 10, 15 ve 20 olmak üzere dört düzeyde değişimlenmiştir. 
Madde tepkileri DINA modele göre üretilmiştir. 5 ve 6 nitelik için 480 maddeden oluşan iki ayrı madde bankası üretilmiş olup, sabit ve değişken test uzunluklarında aynı madde bankaları kullanılmıştır. Q matrisi, madde madde ve nitelik nitelik üretilmiştir. Araştırmada, her bireyin her niteliği %50 başarma şansına sahip olacak şekilde 3000 birey üretilmiştir. Bireylerin bilişsel örüntüleri MAP kestirim yöntemiyle kestirilmiştir. Değişken test uzunluğu sonlandırma kuralında, birinci en yüksek sonsal olasılık eşik değeri 0,80, ikinci en yüksek sonsal olasılık eşik değeri 0,10 olarak ele alınmıştır. Ayrıca değişken test uzunluğu sonlandırma kuralında maksimum test uzunluğu 40 olarak ele alınmıştır. Araştırma, R 3.6.1 programı kullanılarak gerçekleştirilmiştir. 
Araştırma sonucunda, sabit test uzunluğu sonlandırma kuralının kullanıldığı çalışmada, nitelik sayısı arttıkça, madde seçim algoritmalarının nitelik ve örüntü koruma oranlarının azaldığı, madde kalitesi ve test uzunluğu arttıkça, bu oranların arttığı sonucuna ulaşılmıştır. Örüntü koruma oranı açısından en yüksek değerler JSD ve MPWKL algoritmalarından elde edilmiştir. Değişken test uzunluğu sonlandırma kuralında, nitelik sayısı arttıkça ortalama test uzunluğunun arttığı, madde kalitesi arttıkça ortalama test uzunluğunun azaldığı sonucuna ulaşılmıştır. Tüm koşullarda, en kısa ortalama test uzunluğu JSD algoritmasıyla elde edilmiştir. GDI algoritmasının tüm koşullarda en hızlı, MPWKL algoritmasının ise en yavaş hesaplama yaptığı saptanmıştır.

Abstract:
This study aims to examine the performance of item selection algorithms in terms of test length, attribute size, item quality and termination  rule with respect to attribute and pattern recovery rates, average computation time, the percentage of attribute used and average test length in cognitive diagnosis computerized adaptive testing.
In this study, two different simulation studies were carried out for fixed-test length and variable-test length termination rules. In the study, attribute size was manipulated at two levels as 5 and 6, item quality was manipulated as four levels (low discrimination-low variance, low discrimination-high variance, high discrimination-low variance, high discrimination-high variance) and test length was manipulated as four levels (5, 10, 15 and 20) for fixed-test length CD-CAT.
Item responses were generated using DINA model. Two separate item banks consisting of 480 items were generated for 5 and 6-attribute size and these item banks were used for both fixed-test length and variable-test length CD-CAT. Q-matrix is generated item by item and attribute by attribute. 3000 examinees were generated in such a way that every examinee had a 50% chance of mastering each attribute.  Cognitive pattern of examinees were estimated using maximum a posteriori (MAP) method. In variable-test length CD-CAT study, the termination rule is that the largest posterior probability of cognitive pattern was higher than 0.80 and the second the largest posterior probability of cognitive pattern was smaller than 0.10. Also the maximum test length was fixed to 40 items. This study was conducted by using R 3.6.1 programming language.

The findings in the study, which used fixed-test length termination rule, indicated that attribute and pattern recovery rates were decreased as the attribute size was increased and when item quality and the test length were increased, the attribute and pattern recovery rates increased accordingly. The highest cognitive pattern recovery rates were obtained from JSD and MPWKL algorithms.  In the variable test length termination rule, the average test length increased in conjunction with the number of attributes, whereas the average test length decreased as the item quality increased. The shortest average test length was obtained form JSD algorithms for all conditions. GDI was the fastest algorithms and MPWKL was the slowest algorithms in terms of average computation time for all conditions.