Çok kategorili puanlanan maddelerden oluşan testlerde klasik test kuramı ve Madde Tepki Kuramı'na dayalı test eşitleme yöntemlerinin karşılaştırılması
Comparison of test equating methods based on classical test theory and Item Response Theory in polytomously scored tests
Yazar: MERVE ÇÖRTÜK
Danışman: DOÇ. DR. ALPER SİNAN
Akdeniz Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Klasik Test Kuramı = Classical Test Theory ; Madde Tepki Kuramı = Item Response Theory ; Test eşitleme = Test equating ; Testler = Tests ; Çok kategoride puanlanan maddeler = Polytomous items ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Test eşitleme, aynı örtük özelliği ölçen ve benzer güçlük dercesine sahip iki formun birbirinin yerine kullanılabilmesi için yürütülen istatistiksel süreçtir. Bu çalışma, çok kategorili puanlanan maddelerden oluşan testlerde Klasik Test Kuramı (KTK) ve Madde Tepki Kuramı'na (MTK) dayalı test eşitleme yöntemlerinin karşılaştırılmasını amaçlayan bir olasılıksal simülasyon çalışmasıdır. Üç KTK yönteminden (doğrusal, ortalama ve eşit yüzdelikli eşitleme) ve üç MTK yönteminden (ortalama-ortalama, ortalama-standart sapma ve test karakteristik eğrisi) elde edilen hata miktarlarının, örneklem büyüklüğü (50, 100, 300, 1000 ve 3000 kişi) ve test uzunluğu (10, 20, 30, 40 ve 50 madde) değişkenlerine dayalı olarak karşılaştırılması amaçlanmıştır. Çalışmada, 0-1-2 şeklinde puanlanan genelleştirilmiş kısmi kredi modeline uyumlu simülatif veriler kullanılmıştır. Çalışmanın verilerini üretmede WinGen3 programı kullanılmıştır. Bu veri setlerini eşitleme için R programından faydalanılmıştır.
Araştırma sonunda, genelleştirilmiş kısmi kredi modeline uygunluk gösteren testler için; farklı örneklem büyüklüğü ve test uzunluğuna sahip testlerin eşitlenmesinde en az hata ile eşitleme yapan yöntemin eşit yüzdelikli eşitleme olduğu saptanmıştır. Bu bulgu literatürle de desteklenmektedir. Araştırmada en yüksek eşitleme hatalarını veren yöntemler ise ortalama-standart sapma ve test karakteristik eğrisi yöntemleridir. Örneklem büyüklüğüne dayalı olarak test eşitleme hataları incelendiğinde, örneklem büyüklüğü arttıkça test eşitleme hatasının azaldığı saptanmıştır. Test uzunluğu değişkenine göre test eşitleme yöntemleri karşılaştırıldığında ise, madde sayısı arttıkça hesaplanan hata miktarının da arttığı bulunmuştur.

Abstract:
Test equating is a statistical process that is carried out to use two forms interchangeably which measure same latent trait and have similiar difficulty levels. This work is a stochastic simulation study aiming to compare test equating methods based on Classical Test Theory (CTT) and Item Response Theory (IRT) in tests consisting of polytomously scored items. It was aimed to compare the error, the sample sizes (50, 100, 300, 1000 and 3000 people) and the test length (10, 20, 30, 40 and 50 items) that were obtained from three CTT methods (linear, mean and equipercentile equating) and three IRT methods (mean-mean, mean-sigma and test chararacteristic curve). In this study, simulative data compatible with Generalized Partial Credit Model (GPCM) scored as 0-1-2 were used. In producting the data of the study, WinGen3 programme was used, to Equate this data sets, it was utilized from the R programme.
At the end of the research, it was determined that the method which equates with the least error in equating test with different sample sizes and test lengths is equipercentile equating for test conformity to Generalized Partial Credit Model. This finding is also supported by the literature. The methods that give the highest equating errors in the research are the mean-sigma and test characteristic curve methods. When the test errors were analyzed based on sample size, it was found that as the sample sized increased, the error decreased. When the test equating methods were compared according to the test lenght variable, it was found that as the amount of item increased, the calculated error also increased.