Küçük örneklemlerde çok kategorili puanlanan maddelerden oluşan testlerde klasik test eşitleme yöntemlerinin karşılaştırılması
Comparison of classical test equating methods with polytomously scored tests and small samples
Yazar: ALİ EMRE KARAGÜL
Danışman: DOÇ. DR. ERGÜL DEMİR
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Benzetim = Simulation ; Klasik Test Kuramı = Classical Test Theory ; Test eşitleme = Test equating ; Testler = Tests ; Örneklem = Sample

Özet:
Bu çalışma, çok kategorili puanlanan maddelerden oluşan testlerin küçük örneklemlere uygulanması durumunda kullanılabilecek test eşitleme yöntemlerini ortaya koymak amacıyla yürütülmüş bir olasılıksal simülasyon çalışmasıdır. Dört KTK temelli test eşitleme yönteminden (ortalamalar ile test eşitleme, Tucker, Braun-Holland ve düşük ağırlıklar doğrusal test eşitleme yöntemleri) elde edilen eşitlemenin standart hatası (ESH), yanlılık ve ortalama hata karekökü (OHKK) değerlerinin örneklem büyüklüğü (15, 20, 30, 60, 100, 150), madde sayısına bağlı puanlama biçimi (3 kategorili 50 madde, 6 kategorili 20 madde ve 11 kategorili 10 madde) ve formlar arası madde eşik parametresi farkı (.1, .4, .7) olmak üzere toplam 54 (6x3x3) koşulun nasıl değişim gösterdiği incelenmiştir.
Eşdeğer olmayan gruplar ile bağıntı testi deseni kullanılan simülasyonda veriler, genelleştirilmiş kısmi kredi modeli kullanılarak R yazılımı ltm paketi ile üretilmiştir. Elli dört koşul için toplam 108 test formu üretilmiştir. 100 tekrar uygulanmıştır. Test eşitleme işlemi, equate paketiyle yürütülmüştür. Bootstrap yöntemiyle hata puanları hesaplanmıştır. Bunların ortalamaları alınmış ve aralarındaki farkların test edilmesinde faktöriyel varyans analizi kullanılmıştır. Ayrıca analiz sonuçları grafikler ile yorumlanmıştır.
Çalışma, tüm test eşitleme yöntemlerinde, örneklem büyüdükçe ESH, yanlılık ve OHKK değerlerinin düştüğünü göstermektedir. Ayrıca, madde eşik parametresi farkları arttıkça, ESH, yanlılık ve OHKK değerleri artmaktadır. Ancak, madde sayısına bağlı puanlama biçimi koşulu değişimlerinin manidar bir etkisi gözlenmemiştir. Çalışma kapsamında ele alınan tüm koşullarda en düşük ESH, yanlılık ve OHKK değerlerini ortalamalar ile test eşitleme yöntemi, en yüksek değerleriyse düşük ağırlıklar doğrusal test eşitleme yöntemi üretmiştir. Tucker ve Braun-Holland doğrusal test eşitleme yöntemleri birbirlerine çok yakın değerler üretmiş. Aralarındaki fark istatiksel olarak manidar bulunmamıştır.

Abstract:
This is a stochastic simulation study and is conducted to compare performances of Mean Equating and Tucker, Braun-Holland and Nominal Weights Linear Test Equating methods when tests are comprised of polytomously scored items and sample sizes are small. Standard error of equating (SEE), bias and root mean square error (RMSE) estimates were comparatively evaluated over 54 conditions using three factors: sample sizes (15, 20, 30, 60, 100, 150), scoring formats (50 items with 3 categories, 20 items with 6 categories and 10 items with 11 categories), and threshold differences between form A and B (.1, .4, .7). 
The data of the simulation, which is carried on by using non-equivalent groups anchor test design, is generated via R programming language and ltm package program. 108 test forms, two forms for each of 54 conditions, are simulated. The number of replications is 100. Test equating process is carried via equate package program in R programming language. Errors of equating methods are calculated by bootstrapping. The means of these errors are calculated and the difference between them is tested by factorial variance analysis.  The results are also summarized using plots. 
The results reveal that SEE, bias and RMSE values decrease as sample size increases. SEE, bias and RMSE values also increase as the threshold differences increase. No significant differences are observed on SEE, bias and RMSE values due to variations in the scoring formats. The highest SEE, bias and RMSE values are produced by Nominal Weights Linear Equating, whereas the lowest values are produced by Mean Equating in all conditions investigated in the study. Error estimates computed for the Tucker and Braun-Holland Linear Equating methods are similar and small, not amounting to any statistical significance.