Bilişsel tanı modelinde geleneksel ve bilgisayarlı sınıflamalı test uygulamalarının psikometrik özelliklerinin karşılaştırılması
Comparing the psychometric features of traditional and computerized adaptive classification test in the cognitive diagnostic model
Yazar: CANSU AYAN
Danışman: PROF. DR. RAHİME NÜKHET DEMİRTAŞLI
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitimde Ölçme ve Değerlendirme Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2018
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bilişsel değerlendirme sistemi = Cognitive assessment system ; Bilişsel tanı modelleri = Cognitive diagnostic models ; Kesirler = Fractions ; Matematik = Mathematics ; Matematik eğitimi = Mathematics education ; Ortaokul öğrencileri = Secondary school students ; Psikometrik özellikler = Psychometric characteristics ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Ülkemiz eğitim sisteminde var olan sınıf içi ve geniş ölçekli ölçme-değerlendirme uygulamalarının yaygın olarak sonuca odaklandığı görülmektedir. Ancak biçimlendirmeye dönük değerlendirmeye fırsat veren uygulamaların kullanılmasıyla; öğrenmelerin süreç boyunca izlenmesi, var olan durumun tanılanması ve öğrenme eksiklerinin zamanında giderilmesinin eğitimde niteliği yükselteceği düşünülmektedir. Bilişsel Tanı Modeli (BTM), sağladığı bilgiler sayesinde öğrencilerin güçlü ve zayıf yanlarını değerlendirmeye imkân tanıyan psikometrik bir modeldir. Bu modelde, kişiler maddeleri yanıtlama örüntülerine göre bir takım örtük sınıflara atanmakta ve bu sayede, araştırmacılara maddelerin doğru yanıtlanması için gereken bilişsel süreçlerde test alanların ne denli iyi performans gösterdiklerini teşhis edebilmeye yönelik bilgiler sağlanmaktadır. Bireylere özgü ortaya çıkan öğrenme eksikliklerinin saptayarak biçimlendirmeye dönük değerlendirmeyi öne çıkaran BTM'nin Bilgisayar Ortamında Bireye Uyarlanmış Test (BOBUT) uygulaması ile birlikte kullanıldığı BT-BOBUT uygulamaları, her iki uygulamanın da alanyazında belirlenmiş avantajlarını bir arada sağlayabilmektedir. Ancak BT-BOBUT'un uygulamada ortaya çıkan sınırlılıkları, uygulamanın alternatiflerini aramayı gerektirmiştir.  
Bu kapsamda, bu araştırmada, araştırmacı tarafından geliştirilen bir Matematik testi kullanılarak, hiyerarşik BTM ve Sınıflamalı BOBUT (S-BOBUT) uygulaması sonucunda elde edilen, öğrencilerin yerleştirildiği örtük sınıf sonuçlarının tutarlı olup olmadığının araştırılması amaçlanmaktadır. Bu amaçla, Matematik Sayılar Konu Alanı, Kesirler Alt Öğrenme Alanınındaki dört temel bilişsel beceriyi ölçen 5 form, toplam 89 maddeden oluşan bir Matematik testi geliştirilmiştir. Bu test formları, Ankara ilinden seçilen 12 devlet okulundaki 1380, 6-7 ve 8. Sınıf öğrencisine uygulanmıştır. Bu uygulama sonucunda elde edilen veri seti kullanılarak, kesirler öğrenme alanı ile ilgili bilişsel becerileri ortaya koymak üzere Hiyerarşik BTM yoluyla örtük sınıf kestirimleri yapılmıştır. Ardından aynı veriler kullanılarak, yapılan simülasyon çalışmaları yardımıyla bireyleri örtük sınıflara atamada bir başka psikometrik yaklaşım olan S-BOBUT ile kestirimler yapılmış, en son olarak da bu iki model arasında sınıflama tutarlılıkları incelenmiştir. Ayrıca BTM'nin sağladığı avantajlardan yararlanarak hem bireysel hem de grubun tamamı ile ilgili ayrıntılı tanılayıcı çıktılar raporlanmıştır. 
Analizler sonucunda elde edilen bulgulara göre, BTM'de her bir örtük sınıfa atanan birey sayılarına bakıldığında, en kalabalık grubu testle ölçülen hiçbir beceriye sahip olmayanların (0000) oluşturduğu görülmektedir. Bu grubu, testle ölçülen ilk üç beceriye sahip olanların oluşturduğu grup (1110); ve bunu da ölçülen becerilerin tamamına sahip olan grubun (1111) takip ettiği belirlenmiştir. Bu sonucun, sınıf düzeyleri (6-7 ve 8. sınıf) açısından ayrı ayrı bakıldığında da benzer biçimde tekrar ettiği gözlemlenmiştir. S-BTM analizleri için, gerçek veriye dayalı simülatif veri kullanılarak, 3 farklı test durdurma ve 4 farklı madde seçim kuralı çaprazlanarak (3X4) 12 farklı koşul için elde edilen kestirimlerin güvenilirliği yanlılık, RMSE ve Ortalama Test Uzunluğu (OTU) ölçüt değerleri bakımından karşılaştırılmıştır.  Bu ölçütlere göre koşullar birbirleri ile kıyaslanmış veri setine en iyi uyum veren koşul belirlenmeye çalışılmıştır. Buna göre, yanlılık ve RMSE bakımından en iyi uyumu Ardışık Olasılık Oran Testi (AOOT /Sequential Probability Ratio Test-SPRT) ve Kestirilen Yeteneği Temel Alan Maksimum Fisher Bilgisi (FB-KY) verirken OTU bakımından en iyi uyumu ise Güven Aralığı  Confidence Interval: CI) yöntemi vermiştir. OTU bakımından Genelleştirilmiş Olabilirlik Oranı (Generalized Likelihood Ratio: GLR) ve Güven Aralığı yöntemlerinin birbirine yakın sonuçlar ürettiği AOOT'nin ise en yüksek ölçme hatasını verdiği belirlenmiştir. Ayrıca madde seçim yöntemleri arasında da belirgin bir farklılık bulunmamıştır. Her iki analiz sonuçları birlikte değerlendirildiğinde ise BTM ve S-BOBUT'tan elde dilen sınıflama tutarlılığı  (%52) olarak hesaplanmıştır. İki yöntemin kullanılarak yapılan yeterlik sınıflamaları arasında orta düzey bir uyum olduğu sonucuna ulaşılmıştır. Son olarak örneklemden seçilen örnek kişiler için BTM'ye dayalı Tanılayıcı Sonuç Raporları düzenlenmiş. bireyin bilişsel gelişim düzeyi ile ilgili detaylı çıktılar sunulmuştur. Her bir örtük sınıfa ait yeterlik tanımlamaları yapılmış ve her örtük sınıfın üyesinin neleri yapıp neleri yapamayacağı ayrıntılı olarak tanımlanmıştır. Aynı toplam puana sahip iki kişinin BTM ile kestirim yapıldığı takdirde nasıl farklı örtük sınıflarda yer alabileceğinin ve bu kapsamda BTM kullanılarak öğrenme profillerinin ne denli farklılaştığı, bu profillere dayalı olarak öğrenmelerin geliştirilmesi için ayrıntılı dönütler sunmanın faydaları ve ilgili alanyazın ışığında bulgular tartışılmıştır.

Abstract:
Classroom and large scale measurement and evaluation applications of Turkey's education system is observed to be result to focus on results. Only if applications which provide chances for formative assessment are used more often within the context of measurement and evaluation applications, existing situation can be diagnosed via monitoring the learnings through the process; and, learning deficiencies can be resolved on time. Thanks to that, quality of education is thought to be enhanced. Cognitive Diagnostic Model (CDM) is a psychometric model that allows the assessment of students' weaknesses and strengths by means of the information it provides. Individuals in this model are assigned to some latent classes based on their item response patterns; and, thanks to that, information to identify how well test takers perform in related cognitive processes required to answer the items correctly is provided for researchers. Cognitive Diagnostic Computer Adaptive Test (CD-CAT) applications ensure the advantages of computerized adaptive tests and Cognitive Diagnosis Model which puts forward formative assessment by determining the learning deficiencies that are specific to individuals together. However, limitations of the CD-CAT in the application process create a need to look examine alternatives. 
Within this context, it was aimed in this study to investigate whether latent class results in which students were placed according to the results of Classified CAT (C-CAT) and Hierarchical CDM using a mathematics test developed by researchers is consistent. For this aim, a mathematics test consisting of 89 items was developed which had 5 forms measuring the four fundamental cognitive skills in mathematics number subject area, fractions sub-learning domain. These forms were applied to 1380 student of 6th-7th and 8th grades from 12 public schools which were selected from Ankara city. Latent class estimations were conducted via Hierarchical CDM to reveal the skills regarding the fractions learning domain using the data set obtained from this application. Later, with the help of the simulative studies produced from the same data, estimations were calculated with C-CAT which is an another psychometric approach used to assign individuals to latent classes; and, lastly, classification consistency between these two models were examined. Besides, detailed diagnostic outputs were reported both for the individuals and the group thanks to the advantages CDM provided.
Based on the findings obtained from the analysis, it was found out when the number of people assigned to each latent class in CDM is studied that the most crowded group consisted of students who had no skills (0000) measured by the test. This group was occurred to be followed by the group with students who had three skills (1110) measured by the test; and the last group with students who had all skills (1111) measured by the test. This result was observed to repeat when it was studied based on the classroom levels (6-7 and 8. grades) separately. For C-CAT analysis, bias, RMSE and Average Test Length (ATL) were calculated using the simulative data based on the real test data for 12 different conditions which were designed by crossing 3 different test stopping rules and 4 different item selection rules (3*4). Considering these values (bias, RMSE and ATL) as criteria, conditions were compared to each other and the best fitted condition with the data was attempted to be determined. Within this context, Sequential Probability Ratio Test (SPRT) / Maximum Fisher Information (MFI) provided the best fit with regards to bias and RMSE while Condition Indeks (CI) provided the best fit for ATL. It was determined that Generalized Likelihood Ratio (GLR) and CI produced similar results to each other while SPRT had the worst result with regards to ATL. There found no significant differences between item selection methods. Classification consistency obtained from CDM and C-CAT was calculated to be (%52) when both analysis results were evaluated together. It was resulted that there was a medium level coherence between the classifications made based on two methods. Lastly, Diagnostic Result Reports based on CDM were designed for individuals selected from the sample and detailed outputs were presented regarding the individuals' cognitive development level. Proficiency descriptions for each latent class were formed. Furthermore, members of each latent class were specified in a detailed way for what they can and cannot do. Discussions regarding how two people with same total score could take place in different latent classes if the estimations were made with CDM and the advantages of presenting detailed feedbacks when using CDM were provided.