Madde tepki kuramına dayalı test eşitleme yöntemlerinin karşılaştırılması: PISA 2012 fen testi örneği
Comparison of test equating methods based on item response theory: PISA 2012 science test sample
Yazar: BURCU AKSEKİOĞLU
Danışman: DOÇ. DR. BAYRAM BIÇAK
Akdeniz Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Fen bilgisi = Science ; Fen bilgisi dersi = Science lesson ; Madde Tepki Kuramı = Item Response Theory ; Test eşitleme = Test equating ; Testler = Tests ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, madde tepki kuramına dayalı test eşitleme yöntemlerini gerçek 
veriler üzerinde karşılaştırmak ve en az hata veren yöntemi tespit etmektir. Bu
amaçla PISA 2012 fen okuryazarlığı testinden seçilen iki kitapçık (kitapçık-1 ve
kitapçık-8) ölçek dönüştürme (ortalama-ortalama, ortalama-standart sapma,
Stocking-Lord, Haebara) ve test eşitleme yöntemleri (MTK gerçek-puan eşitleme,
MTK gözlenen-puan eşitleme) kullanılarak eşitlenmiş ve farklı yöntemlerden elde
edilen hata miktarları incelenmiştir.
Araştırmanın çalışma grubunu, 1 numaralı kitapçığı cevaplayan 350 ve 8 numaralı
kitapçığı cevaplayan 351 olmak üzere toplam 701 öğrenci oluşturmaktadır. Denk
olmayan gruplarda ortak madde deseninde yürütülen çalışmada her iki kitapçıkta
17'si ortak olmak üzere ikili puanlanan toplam 33 madde yer almaktadır. Verilerin
analizinde ilk olarak madde tepki kuramının varsayımları test edilmiştir. İkinci
aşamada madde ve yetenek parametreleri iki parametreli lojistik model (2PLM)
kullanılarak BILOG-MG programı ile kestirilmiştir. Parametre kestiriminde EAP
(Beklenen A Posteriori) yöntemi kullanılmıştır. Ardından STUIRT programı ile dört
farklı yöntem için ölçek dönüştürme işlemi gerçekleştirilmiştir. Son aşamada ise iki
kitapçıktan elde edilen puanlar POLYEQUATE programı ile eşitlenmiş ve farklı
yöntemlerden elde edilen hata miktarları için WMSE (ağırlıklandırılmış hata kareleri
ortalaması) katsayısı hesaplanmıştır.
Araştırmadan elde edilen sonuçlara göre, en az hata miktarını ortalama-standart
sapma yönteminin verdiği görülmüştür. Bu yöntemi sırasıyla ortalama-ortalama,
Stocking-Lord ve Haebara yöntemleri takip etmektedir. Test eşitleme
yöntemlerinden elde edilen sonuçlar incelendiğinde ise her iki yöntem birbirine
benzer sonuçlar vermekle birlikte MTK gözlenen-puan eşitleme yönteminin MTK
gerçek-puan eşitleme yönteminden daha az hata miktarına sahip olduğu bulunmuştur.


Anahtar kelimeler: Test Eşitleme, Madde Tepki Kuramı, Eşitleme Yöntemleri,Eşitleme Hatası

Abstract:
The objective of this study is to compare test equating methods based on item
response theory over real data and to detect the method that gives the least error. For
this purpose, two booklets selected from PISA 2012 science literacy test (booklet-1
and booklet-8) were equated using scale linking (mean-mean, mean-sigma, Stocking-
Lord, Haebara) and test equating methods (IRT true-score equating, IRT observedscore
equating), and error rates obtained from various methods were analysed.
The research study group consisted of a total of 701 students including 350 students
answering booklet-1 and 351 students answering booklet-8. In the study that was
carried out in common-item nonequivalent groups design, there were a total of 33
dichotomous scored items including 17 common items in each booklet. For the data
analysis, firstly item response theory assumptions were tested. At the second stage,
item and ability parameters were estimated using two-parameter logistic model
(2PLM) via BLOG-MG software. In parameter estimation, EAP (Expected A
Posteriori) method was used. Then, scale linking process was carried out for four
different methods via STUIRT software. In the final stage, scores obtained from two
booklets were equated with POLYEQUATE software and WMSE (weighted mean
square error) index was calculated for error rates that were obtained from different
methods.
According to the results obtained from the research, it was observed that the least
error rate was obtained with mean-sigma method. This method was followed by
mean-mean, Stocking-Lord and Haebara methods respectively. When the results
obtained from the test equating methods were analyzed, it was found that, while both
methods yielded similar results, IRT observed-score equating method gave less rate
compared to IRT true-score equating method.


Keywords: Test Equating, Item Response Theory, Equating Methods, Equating Error.