Çok aşamalı bireye uyarlanmış testlerde farklı koşullardan elde edilen yetenek kestirimlerinin karşılaştırılması
Comparison of ability estimations obtained from different conditions in multi stage adaptive testing
Yazar: FATMA GÜNEŞ ERTAŞ POLAT
Danışman: PROF. DR. DUYGU ANIL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Ardışık testler = Sequential tests ; Bireyselleştirilmiş testler = Individual tests ; Tahmin = Estimation ; Tahmin yöntemleri = Estimation methods ; Testler = Tests ; Yetenek kestirimi = Ability estimates ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, farklı tasarımlardaki çok aşamalı bireye uyarlanmış testlerin etkinliğini, farklı koşullar altında incelemektir. Çalışmada madde güçlük parametreleri normal ve uniform dağılan iki ayrı madde havuzu oluşturulmuştur. Araştırmanın koşulları olan modül uzunluğu, yönlendirme yöntemi ve kestirim yöntemi, bu iki ayrı madde havuzu üzerinden gerçekleştirilen simülasyonlar ile ayrı ayrı sınanmıştır. Simülasyonlar R yazılımında yer alan mstR paketi yardımıyla gerçekleştirilmiştir. Artan, azalan, eşit, ikinci aşamanın en uzun ilk aşamanın en kısa ve ikinci aşamanın en uzun son aşamanın en kısa olduğu beş farklı modül uzunluğu tasarımı, dinamik ve statik yönlendirme kuralları ve EAP ve MLE son kestirim yöntemleri koşulları altında ortalama hata ve yanlılık değerlerine göre karşılaştırılmıştır. Araştırmanın bulgularından elde edilen sonuçlar, değişen modül uzunluklarının ortalama hata ve yanlılık üzerinde etkisi olduğunu göstermektedir. Ancak madde güçlük dağılımlarına göre bu etkinin farklı koşullar altında farklılaştığı görülmüştür. Yönlendirme yönteminin statik veya dinamik olması, madde güçlüklerinin normal dağılımdan türetildiği koşulda yetenek kestiriminde bir fark yaratmazken, uniform dağılımdan türetildiği koşulunda düşük de olsa bir fark oluşturmaktadır. Alan yazınında altı çizildiği gibi, bu çalışmanın sonuçları da her durumda en iyi olan tek bir tasarımın olmadığını göstermektedir. Bu nedenle, tüm gereklilikleri ve amaçları karşılayan en uygun çok aşamalı bireye uyarlanmış test tasarımının belirlenmesi için benzer çalışmaların yapılması önerilmektedir. Çok aşamalı bireye uyarlanmış testler, testi hazırlayanların, uygulayıcıların ve testi alan bireylerin tamamen kabul edebileceği ve kolay anlaşılır bir test olma avantajına sahiptir. Bu avantajı ve diğer özellikleri de göz önünde bulundurulduğunda, Türkiye'de uygulanan merkezi sınavların çok aşamalı bireye uyarlanmış test olarak uygulanmasına yönelik çalışmaların yapılmasının önemli olduğu düşünülmektedir.

Abstract:
The purpose of this study is to examine the effectiveness of multi-stage adaptive tests of different designs under different conditions. In the study, two separate item pools were generated, with item difficulty parameters that were either normally or uniformly distributed. The study factors were module length, routing method and estimation method, and they were tested separately using data simulated to represent the two item pools. The simulation was conducted with the help of the mstR package in the R software. Five different module length designs were considered: increasing, decreasing, equal, second stage longest (first stage shortest), and second stage longest (last stage shortest). These designs were compared according to mean error and bias computed under the dynamic & static routing rule and EAP & ML final estimation methods conditions. The findings show that varying module lengths has an effect on the mean error and bias. However, it was observed that this effect differed under the two item difficulty distribution conditions studied. Whether the routing method is static or dynamic did not make a difference in the ability estimations when the item difficulties were generated using a normal distribution, but there was a slight difference when the difficulties were generated using a uniform distribution. Consistent with the literature, the results of this study also show that there is no single design that is best in all cases. Therefore, future studies are recommended to formulate alternative MST designs meeting various test requirements and objectives. MST designs are seen as user friendly and widely accepted by the test developers, test administrators and the examinees around the world. Given its advantages, the MST can be a useful alternative for the existing central exam designs in Turkey.