Madde takımı tabanlı testlerde ölçek dönüştürme hatalarının incelenmesi
Investigation of scale conversion errors in testlet-based tests
Yazar: ERTUNÇ UKŞUL
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Madde Tepki Kuramı = Item Response Theory ; Madde takımı = Testlet ; Test eşitleme = Test equating ; Ölçekler = Scales ; Ölçme-değerlendirme = Measurement and evaluation ; İki faktör modeli = Bifactor model

Özet:
Bu çalışmada, testlerde yer alan madde takımlarının uygulanan modellere göre ölçek dönüştürme hatasına olan etkisi araştırılmıştır. Bu amaçla, madde takımı içeren testlere madde tepki kuramı modellerinden tek boyutlu madde tepki kuramı, iki faktör ve madde takımı tepki kuramı modelleri uygulanarak madde ve yetenek parametreleri kestirilmiştir. Testlerin eşitlenebilmesi için elde edilen parametreler, eşdeğer olmayan gruplar ortak madde deseni altında ortalama-ortalama, ortalama-sigma, Stocking-Lord ve Haebara ölçek dönüştürme yöntemleri kullanılarak ortak ölçeğe yerleştirilmiştir. Daha sonra modellerin ölçek dönüştürme yöntemine bağlı olarak değişen hataları hesaplanmış ve karşılaştırılmıştır. Değerlendirme ölçütü olarak hata karelerinin ortalamasının karekökü (RMSE) tercih edilmiştir. Araştırmada, veri toplama aracı olarak Trends in International Mathematics and Science Study (TIMSS) projesinin 2019 yılında uygulanan fen bilimleri testi kullanılmıştır. Modeller madde takımı sayısı, bağımsız madde sayısı ve örneklem büyüklüğü koşullarına göre incelenmiştir. Araştırma sonucunda bağımsız madde sayısı ve örneklem büyüklüğü arttıkça genel olarak hatanın azaldığı görülmüştür. Madde takım sayısı arttıkça iki faktör ve madde takımı tepki kuramı modellerinde hatanın azaldığı, tek boyutlu madde tepki kuramı modelinde ise hatanın arttığı bulunmuştur. Bununla birlikte Haebera ve Stocking-Lord ölçek dönüştürme yöntemlerinden elde edilen elde edilen eşitleme hatalarının ortalama-ortalama ve ortalama-sigma yöntemlerine göre daha düşük olduğu sonucuna ulaşılmıştır.

Abstract:
This study aims to examine the effects of testlets on scale conversion. For this purpose unidimensional item response theory, bifactor and testlet response theory models were applied to the testlet-based tests for the estimation of item and ability parameters. In order to equate the tests, the parameters were placed on the common scale using mean-mean, mean-sigma and Stocking-Lord and Haebara scale coversion methods under the common-item non-equivalent groups design. Then, the errors of the models depending on the scale coversion method were calculated and compared. Equating errors were compared with Root Mean Squared Error (RMSE). In the study, the science test of the Trends in International Mathematics and Science Study (TIMSS) project administered in 2019 was used as the data collection tool. Models were examined according to the conditions as the the number of testlets, the number of independent items and the sample size. As a result of the study, it was observed that the error decreased in all models as the number of independent items and sample size in general. It was found that as the number of testlet increased, the error decreased in bifactor model and testlet response theory model, while the error increased in unidimensional item response theory model. In addition, it was concluded that the equating errors obtained from the Haebera and Stocking-Lord scale transformation methods were lower than the mean-mean and mean-sigma methods.