Kernel eşitleme ve madde tepki kuramına dayalı eşitleme yöntemlerinin karşılaştırılması
Comparison of kernel equating and item response theory equating methods
Yazar: ÇİĞDEM AKIN ARIKAN
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Kernel olasılık yoğunluk tahmini = Kernel probability intensity quess ; Madde Tepki Kuramı = Item Response Theory ; Puan eşitleme = Points equalization ; Test eşitleme = Test equating ; Test eşitleme = Test equating ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada denk olmayan gruplarda ortak madde deseninde Madde Tepki Kuramı gerçek puan eşitleme (Haebara)  ile Kernel son tabakalama eşit yüzdelikli, Kernel son tabakalama doğrusal, Kernel zincirleme eşit yüzdelikli ve Kernel zincirleme doğrusal eşitleme yöntemlerinin performansları, eşitleme hatası (RMSD) ve eşitlemenin standart hatasına (SEE)  göre değerlendirilmiştir. Bu amaçla örneklem büyüklüğü, yetenek dağılımı, ortak madde tipi, ortak madde oranı ve ortak madde güçlük dağılımı koşulları ele alınmıştır. 
Bu araştırmada, test uzunluğu 50 olarak sabit tutularak, 3 örneklem büyüklüğü, 2 yetenek dağılımı, 2 ortak test tipi (iç ve dış), 3 ortak madde oranı ve 2 ortak madde güçlük dağılımı (mini ve midi) olmak üzere 72 farklı simülasyon koşuluyla beş eşitleme yöntemini karşılaştıran bir desen oluşturulmuştur. Araştırma kapsamında gerçekleştirilen analizler R yazılımı ile gerçekleştirilmiş ve her bir koşul için 100'er tekrar yapılmıştır. MTK gerçek puan eşitlemede madde parametrelerinin kestirimi için R yazılımında yer alan "ltm" paketi (Rizopoulos, 2015), elde edilen madde parametrelerini aynı ölçeğe yerleştirmek ve test puanlarının eşitlenmesi için "plink" paketi (Weeks, 2010), Kernel eşitleme yöntemleri için ise "kequate" paketi (Andersson, Branberg & Wiberg, 2013) kullanılmıştır. 3PLM'ye uygun olarak "irtoys" paketi (Partchev, 2016) kullanılarak iki kategorili puanlanan test formları (ortak test ve ana test formları) üretilmiştir.  Çalışmada yer alan koşulların eşitleme hatası ve standart hatası üzerindeki ortak etkisi için "lattice" paketi (Sarkar, 2017) kullanılmıştır.  
Araştırmadan elde edilen sonuçlar incelendiğinde, örneklem büyüklüğü, yetenek dağılımı, ortak madde tipi, ortak madde oranı ve ortak madde güçlük dağılımı koşullarının ve bu koşulların etkileşimlerinin eşitleme yöntemlerinin performansını etkilediği görülmüştür. Örneklem büyüklüğü arttıkça eşitleme hatasının ve eşitlemenin standart hatasının azaldığı; ancak örneklem büyüklüğünün standart hata üzerindeki etkisinin toplam hata üzerindeki etkisine göre daha fazla olduğu görülmüştür. Gruplar arası yetenek dağılımı farklı olduğunda bütün eşitleme yöntemlerinde hatanın arttığı, ancak bu durumun eşitleme yöntemlerine göre farklılık gösterdiği sonucuna ulaşılmıştır. Gruplar arası yetenek dağılımı farklılaşmasından zincirleme eşitleme yöntemlerinin daha az etkilendiği görülmüştür. Ayrıca Kernel eşitleme yöntemlerinde gruplar arası yetenek dağılımı farklı olduğunda uç puanların, MTK gerçek puan eşitlemede ise orta yüksek puanların daha yüksek standart hata verdiği sonucuna ulaşılmıştır. Dış ortak testte, iç ortak teste göre daha düşük standart ve toplam hata elde edilmiş ve ortak madde oranı arttıkça standart ve toplam hatanın azaldığı bulunmuştur. İç ortak testte, gruplar arası yetenek dağılımı benzer olduğunda mini ve midi ortak test benzer sonuçlar verirken, gruplar arası yetenek dağılımı farklı olduğunda midi ortak test; dış ortak testte isemidi ortak test daha iyi sonuçlar vermiştir. Kernel eşitlemeye dayalı yöntemler karşılaştırıldığında, doğrusal eşitleme yöntemleri, eşit yüzdelikli eşitleme yöntemlerine göre daha düşük standart hata vermiş; eşitleme hatası açısından ise Kernel eşit yüzdelikli eşitleme yöntemleri daha iyi sonuçlar vermiştir. Bütün koşullarda Kernel eşitleme yöntemlerinin MTK gerçek puan eşitleme yöntemine göre orta puan ölçeğinde daha düşük standart hata verdiği, puan frekansının daha az olduğu uç puanlarda ise daha yüksek standart hata verdiği bulunmuştur. Uç puanlarda MTK gerçek puan eşitleme yöntemden Kernel eşitleme yöntemlerine göre daha düşük hata elde edilmiştir. Bu nedenle, özellikle bireyler hakkında önemli kararlar verilecek durumlarda Kernel eşitleme yöntemleri yerine MTK gerçek puan eşitleme yöntemleri kullanılabilir. 
Genel olarak, yeni bir yaklaşım olan Kernel eşitleme yöntemlerinin MTK gerçek puan eşitleme yöntemi kadar iyi sonuçlar verdiği sonucuna ulaşılmıştır. Gerçek puan eşitleme yöntemlerinin kullanılmasının uygun olmadığı durumlarda Kernel eşitleme yöntemlerinin kullanılması önerilebilir. Test formlarının eşitlenmesi sonucunda elde edilen eşitlenmiş puanlar eşitleme yöntemlerine göre farklılık gösterdiğinden; testin amacı doğrultusunda, eşitleme yöntemlerinin güçlü ve zayıf yönleri dikkate alınarak, eşitleme yöntemine karar verilmelidir.

Abstract:
This study aimed to evaluate the performances of Item Response Theory (IRT) true-score equating (Haebara) and the Kernel post-stratification equipercentile, Kernel post-stratification linear, Kernel chained equipercentile and Kernel chained linear equating methods based on equating errors (the root-mean-square difference-RMSD) and standard error of equating (SEE) using the common-item nonequivalent groups design. To this purpose; the sample size, group ability differences, common item type, common item rate and the difficulty distribution of common items were examined. 
The current study was designed as a comparison of five equating methods on 72 simulation conditions consisting of three sample sizes, two group ability distribution, two common item type (internal and external), three rates of common items, and two item difficulty distribution of common items (mini and midi common test) by fixing the test length at 50 items. The analysis of the study was conducted on R software, and 100 replication were performed for each condition. The "ltm" package (Rizopoulos, 2015) of the R software was used in item parameter estimation in the IRT true-score equating; the "plink" package (Weeks, 2010) was used for scaling item parameters, and for the equating test scores, and the "kequate" package (Andersson, Branberg & Wiberg, 2013) was used for Kernel equating methods. Test forms scored in two categories (common test and main test forms) were generated using the "irtoys" package (Partchev, 2016) in accordance with the 3PLM model. For the common effect of equating error and standard error on the conditions of the present study, the 'lattice' package (Sarkar, 2017) was utilized.
The results showed that the conditions, including the sample size, the distribution of ability, the type of common item, the rate of common items and the power distribution of common items, as well as the interaction of these conditions, effected the performance of the equation methods. However, the performances of the methods were found to be different based on these conditions. The larger the sample size, the less the equating error and the standard error of equating. However, the effect of the sample size on the standard error was found to be greater than on the total error. As the group ability distributions varied, the errors in all equating methods increased. However the increase in the errors differs by equating methods. The chained equating methods were observed to be less affected by the difference on ability distributions between groups. Furthermore, when ability distributions differ, the extreme scores have the greatest error in Kernel methods, and middle and high scores have the greatest error in IRT true score equating. The external common test revealed a lower standard and total error than the internal common test. As the rate of common items increased, the standard errors and the total errors decreased. In the internal common test, the mini and midi common tests concluded similar results when the group ability differences between groups were similar. When the group ability distribution were different, while the midi common test concluded better results, than midi common test in the external common test, the mini common test gave better results than mini common test in internal common test. 
When Kernel equating methods were compared, linear equating method performed better with respect to standard errors while Kernel equipercentile equating method performed better with respect to equating error. In every condition, the Kernel equating methods were found to reveal lower standard errors in the medium score scale, and higher standard errors in extreme scores where score frequency was lower, compared to the IRT true-score equating. Regarding the extreme scores, less errors were obtained through the IRT true-score equating method than the Kernel equating methods. Therefore, the IRT true-score equating methods could be used instead of the Kernel equating methods, especially when important decisions are to be made about individuals. 
In general, it was concluded that the results obtained from Kernel equating methods as a new approach were as appropriate as those of the IRT true-score equating method. Use of the Kernel equating methods can be recommended when the true-score equating methods are not available. Since the equated scores resulting from the equation of test forms vary by the equating methods, the decision regarding which equating method to use should be made after considering the strengths and weaknesses of each method in accordance with the test purpose.