Bilişsel tanı modelleri ile elde edilen bireysel beceri puanlarının benzerliğinin paralel formlarla incelenmesi
Examining the comparability of individual skill scores obtained through cognitive diagnostic models with parallel forms
Yazar: MELEK ERDOĞAN
Danışman: PROF. DR. BURCU ATAR
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilişsel değerlendirme sistemi = Cognitive assessment system ; Kernel eşitleme = Kernel equating ; Puan eşitleme = Points equalization ; Test eşitleme = Test equating ; Ölçme ve değerlendirme =   ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Tanılayıcı değerlendirme öğrencilerin güçlü ve zayıf yönlerini belirleme ve öğrenme gereksinimlerini tespit etmede etkilidir. Bilişsel Tanı Modelleri (BTM) ölçme hedefi çerçevesinde nitelik olarak belirlenen kazanım veya beceriler ile ilgili geri bildirim sağlayan önemli bir psikometrik modeldir. Test eşitleme, farklı test formlarının puanlarını aynı ölçekte birleştirerek, bu puanların birbirinin yerine geçebildiğini ve aynı anlama geldiğini ifade eder. Bu çalışmanın amacı, BTM çerçevesinde oluşturulan test formlarının karma hiyerarşik yapılı GDINA model analizleri ile elde edilen yetkinlik düzeyi olasılık değerlerinin beceri puanlarına çevrilerek geleneksel yöntemlerle test eşitleme uygulamaları ile testler arası karşılaştırılabilir beceri puanlarının elde edilebilirliğinin incelenmesidir. Bu amaç çerçevesinde altı cebirsel düşünme becerisini (genelleştirilmiş aritmetik, fonksiyonel düşünme, niceliksel mantık yürütme, temsilleştirme, genelleme ve mantık yürütme, gerekçelendirme) ölçmek üzere hazırlanan 20 maddelik çoktan seçmeli tanılayıcı üç testin (Test A, Test B, Test C) toplamda 2600 lise öğrencisine uygulanarak elde edilen cevap örüntüsü kullanılmıştır. Bu cevap örüntüsüne uyum sağlayan karma hiyerarşik yapılı GDINA model analizleri ile elde edilen beceri yetkinlik düzey olasılıkları beceri puanlarına çevrilmiştir. Testler arası beceri puanlarının eşitlenebilme durumu genelleştirilmiş aritmetik, fonksiyonel düşünme ve niceliksel mantık yürütme becerileri ile sınırlandırılarak denk gruplar (DG), denk olmayan gruplarda ortak madde (DOG-OM) ve denk olmayan gruplarda ortak değişken (DOG-OD) desenleri çerçevesinde ortalama, doğrusal, eşit yüzdelikli ve kernel eşitleme uygulamalarında farklı metotlarla incelenmiştir. Eşitlemelere ait eşitlenmiş puan farkları, eşitleme hataları ve yanlılık gibi istatistiksel bilgiler paylaşılmıştır. Yapılan inceleme bulgularına göre grup momentleri anlamlı bir farklılık göstermeyen ve puan dağılım biçimleri benzer olan gruplarda eşitlemenin yapılabildiği görülmektedir.

Abstract:
Diagnostic assessment identifies students' strengths and weaknesses, and learning needs. Cognitive Diagnostic Models (CDM) provide feedback on objectives or skills identified as attributes within the framework of measurement aims. Test equating refers to the process of combining scores from different test forms on the same scale, indicating that these scores can be used interchangeable and convey the same meaning. The aim of this study is to investigate the feasibility of obtaining comparable skill scores between tests through traditional test equating practices by converting mastery level probability values obtained through mixed hierarchically structured GDINA model analyses of test forms created within the framework of Cognitive Diagnostic Models (CDMs). In this context, three 20-item multiple-choice diagnostic tests constructed to measure six algebraic thinking abilities were administered to a total of 2600 high school students, and the response patterns obtained were used. Mastery level probabilities obtained through mixed hierarchically structured GDINA model analyses that fit the response patterns were converted into ability scores. Equating ability scores between tests was examined through various methods, including mean, linear, equipercentile, and kernel equating, by restricting the equating to generalized arithmetic, quantitative reasoning, and functional thinking abilities, within the frameworks of equivalent groups, non-equivalent groups with anchor test, and non-equivalent groups with covariates designs. Statistical information such as equated score differences, equating errors, and bias were shared. According to the findings of the study, it is observed that equating can be performed in groups showing no significant differences in group moments and having similar score distribution patterns.