Bobut uygulamalarında farklı koşullardan elde edilen ölçme kesinliği kestirim değerlerinin karşılaştırılması
Comparison of measurement precision values obtained from different conditions in computerized adaptive testing
Yazar: MELİKE ÖZER TAYMUR
Danışman: PROF. DR. DUYGU ANIL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Madde Tepki Kuramı = Item Response Theory ; Madde seçme yöntemi = Item selection method ; Yetenek kestirimi = Ability estimates

Özet:
Bu araştırmada, bir bilgisayar ortamında bireye uyarlanmış test uygulaması (BOBUT)'nda iki farklı büyüklüğe sahip madde havuzundan elde edilen ölçme kesinliği kestirim değerlerinin; farklı madde seçme, farklı yetenek kestirim yöntemlerine göre içerik ağırlıklandırma ve madde kullanım sıklığı kontrolü gibi bazı madde havuzu sınırlandırmaları altında nasıl değiştiğinin incelenmesi amaçlanmıştır. Bu amaçla, simülatif olarak 2000 kişilik bir gruba ilişkin yetenek parametreleri ile 320 ve 1000 maddelik iki farklı büyüklükte madde havuzu oluşturulmuştur. Daha sonra içerik ağırlıklandırmanın yapılmadığı ve yapıldığı her iki durumda çalışmanın koşulları olan; madde seçme yöntemi, yetenek kestirim yöntemi ve madde kullanım sıklığı kontrol yöntemi ile bir BOBUT uygulaması RStudio üzerinde "catR" paketi yardımıyla oluşturulmuş; BOBUT uygulamasına ait koşullar, bu iki ayrı madde havuzu ve aynı bireyler üzerinden simülasyonlar ile tek tek gerçekleştirilmiştir. Çalışmada oluşturulan toplam 48 koşul, 156 replikasyon yapılarak karşılaştırılmıştır. Simülasyonlar sonucunda, ölçme kesinliği kestirim değerleri (RMSE, yanlılık ve korelasyon) hesaplanmış ve bu değerlerin 48 koşul altında nasıl değiştiği değerlendirilmiştir. Çalışmadan elde edilen sonuçlar, madde havuzu büyüklüğü 1000 madde olan havuzun, madde havuzu büyüklüğü 320 madde olan havuza göre RMSE, yanlılık ve korelasyon değerleri bakımından daha iyi sonuçlar verdiğini göstermektedir. Ayrıca RMSE, yanlılık ve korelasyon değerleri bakımından, çalışmaya dahil edilen madde seçme yöntemleri arasında MFI ve yetenek kestirim yöntemleri arasında ise EAP yöntemlerinin daha etkili olduğu görülmüştür. Bununla birlikte; içerik ağırlıklandırmanın yapıldığı durumlarda, içerik ağırlıklandırmanın yapılmadığı durumlara göre RMSE değerlerinde bir miktar artış gözlenmiştir. Madde kullanım sıklığı kontrolünde ise 320 maddelik madde havuzunda, MUİ yönteminin MFI ve MIS yöntemi ile birlikte kullanılmasının daha iyi performans gösterdiği belirlenmiştir.

Abstract:
In this study it is aimed to investigate the change in measurement precision estimation values that has been obtained from two different sizes of item pools in a CAT application under several item pool restrictions such as content balancing and item exposure control according to several item selection and ability estimation methods. For this aim, ability parameters related to a group of 2000 people and two different item pools one of which is 320 and the other is 1000 have been developed simulatively. Later, the conditions of the study in both balanced and unbalanced contents are constructed by developing a CAT application using catR package in RStudio with item selection, ability estimation and item exposure control methods and then these conditions of the CAT application are carried out by using simulations of two different item pools and the same participants. The 48 different conditions developed in the study are compared by making 156 replications. As a result of simulations, measurement precision estimation values (RMSE, correlations and bias) are computed and how these values are changed under 48 conditions are investigated. The findings obtained from the study have showed that the item pool with 1000 items has better results compared to the item pool with 320 items in terms of RMSE, bias and correlation values. Moreover, according to RMSE, bias and correlation values; MFI is seen to be the most effective among item selection methods and among ability estimation methods, EAP is found out to be the most efficient method. In addition; an increase in RMSE value has been observed in balanced content when it is compared with the value in unbalanced content. It is also found out that IEI method is more effective and has higher performance when it is used with MFI and MSI methods together.