Değişen madde fonksiyonu gösteren ortak maddelerin test eşitlemeye etkisinin incelenmesi
The study of effect of anchor items showing differential item functioning on test equating
Yazar: FEYZİ GÜNEŞ
Danışman: PROF. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Madde yanlılığı = Item bias ; Test eşitleme = Test equating ; Testler = Tests

Özet:
Bu araştırmada değişen madde fonksiyonu (DMF) gösteren ortak maddelerin test eşitlemeye olan etkisinin incelenmesi amaçlanmıştır. Testlerin eşdeğer olmayan gruplar ortak test deseni yöntemiyle eşitlenmesinde, DMF gösteren ortak test maddelerinin testten çıkarılmasının eşitlenmiş puanlara ve eşitleme hatasına olan etkisi doğrusal ve doğrusal olmayan eşitleme yöntemleriyle incelenmiştir. DMF değişkenleri İngilizce, İspanyolca dilleri ve bu dillerde testi alan bireylerin cinsiyetleri olarak belirlenmiştir. DMF gösteren maddelerin belirlenmesinde Mantel-Haenszel ve SIBTEST teknikleri kullanılmıştır. Eşitleme çalışması doğrusal eşitleme yöntemlerinden Tucker, Levine, zincir eşitleme yöntemi, doğrusal olmayan yöntemlerde ise frekans kestirim, zincir eşit yüzdelikli ve Daire-Yay Levine yöntemleri ile yürütülmüştür. Çalışma verilerini, PISA 2018 uygulaması 18 ve 24. kitapçıkları İngilizce, İspanyolca dillerinde bilgisayar ortamında almış fen okuryazarlığı birey yanıtları oluşturmaktadır. Tekniklere göre B ve C düzeyinde DMF gösteren maddelerin ortak testten çıkarılmasının eşitleme hatasına etkisi ağırlıklandırılmış hata kareleri ortalaması ile değerlendirilmiştir. Araştırma sonucunda DMF'li maddelerin ortak testten çıkarılması ile eşitleme hatalarında tutarlı değişimler gözlenmemiştir. Eşitleme hatalarındaki tutarsızlığa; kitapçıkların ortalamaları arasındaki istatistiksel olarak anlamlı fark, DMF değişkenlerine ait alt gruplar arasındaki yetenek farklılaşması ve eşitleme yöntemlerine ait varsayımların karşılanma derecesinin kaynak olabileceği düşünülmüştür.

Abstract:
In this study, it is aimed to examine the effect of anchor items with differential item functioning (DIF) on test equating. The effect of excluding anchor test items which showing DIF on equated scores and equating error was investigated by linear and nonlinear equating methods in non-equivalent groups with anchor test desing. DIF variables were determined as English, Spanish languages and the gender of the individuals who took the test in these languages. Mantel-Haenszel and SIBTEST techniques were used to identify items with DIF. Test equating was conducted using the Tucker, Levine, Chained equating method, which are linear equalization methods, Frequency estimation, Chained equipercentile and Circle-Arc Levine methods in nonlinear methods. The study data consists of the science literacy individual responses that have taken the 18th and 24th booklets of the PISA 2018 application in English and Spanish languages in computer based modules. According to the techniques, the effect of removing the items showing DIF at the B and C levels from the anchor test on the equating error was evaluated with the weighted mean square error (WMSE). As a result of the research, the exclusion of DIF items from the anchor test did not consistent changes in the equating errors.  Inconsistency in equating errors; It was thought that the statistically significant difference between the averages of the booklets, the skill differentiation between subgroups of DIF variables and the degree of support  the assumptions of the equating methods could be the source.