PISA 2009 okuma becerileri alanındaki maddelerin tek değişkenli ve çok değişkenli eşleştirme yöntemi ile değişen madde fonksiyonlarının incelenmesi
Investigation of differential item functioning of the items in PISA 2009 reading literacy test through univariate and multivariate matching dif
Yazar: AHMET YILDIRIM
Danışman: PROF. DR. NİZAMETTİN KOÇ
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Amerika Birleşik Devletleri = United States of America ; Değişen madde fonksiyonu = Differential item function ; Fransa = France ; Madde yanlılığı = Item bias ; Okuma becerileri = Reading skills ; Türkiye = Turkey ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmanın amacı, PISA 2009 okuma becerileri alanındaki maddelerin Türkiye, Fransa ve ABD örneklemleri arasında değişen madde fonksiyonu (DMF) gösterip göstermediğini eşleştirme değişkeni olan toplam puan DMF'li maddelerden arındırılmadan önce ve arındırıldıktan sonra tek değişkenli ve çok değişkenli eşleştirme yöntemlerine dayalı olarak belirlemek ve olası madde yanlılığı kaynaklarını ortaya koymaktır. Araştırma ilişkisel tarama modelinde bir araştırma olup araştırmanın katılımcılarını, PISA 2009 okuma becerileri testinde 1, 3, 4 ve 6 numaralı kitapçıkları alan Türk, Fransız ve Amerikalı toplam 4459 öğrenci oluşturmaktadır. SIBTEST'e dayalı olarak gerçekleştirilen tek değişkenli DMF analizlerine ek olarak eşleştirme değişkeni olan toplam puan DMF'li maddelerden arındırılmadan önce ve arındırıldıktan sonra lojistik regresyona dayalı olarak tek değişkenli ve çok değişkenli (iki değişkenli, üç değişkenli ve dört değişkenli) DMF analizleri yapılmıştır. Ek eşleştirme değişkenlerinin belirlenmesi için literatürden yararlanılmış ve çoklu doğrusal regresyon analizi yapılmıştır. Yapılan analizler sonucunda; tek değişkenli DMF analizlerinin SIBTEST ve lojistik regresyon yöntemleri arasında paralellik gösterdiği ancak kullanılan yönteme göre DMF düzeylerinin farklılık gösterdiği bulunmuştur. Bununla birlikte, toplam puana ek olarak eşleştirme değişkenlerinin kullanımının (değişken sayısı arttıkça) birinci tip hatayı azalttığı sonucuna ulaşılmıştır. Eşleştirme değişkeni olan toplam puan hesaplanırken DMF'li maddelerin dışarıda bırakılmasının (DMF'li maddelerden arındırılmasının) da tutarlı sonuçlar vermemekle birlikte DMF'li olarak etiketlenen madde sayısında ve maddelerin DMF düzeylerinde değişimlere yol açtığı sonucuna ulaşılmıştır. Alınan uzman görüşleri neticesinde çeviri hataları ile kullanılan soru formatına ve bağlama (kontekst) öğrencilerin aşinalık durumlarının yanlılık kaynakları olarak ortaya çıktığı belirlenmiştir. 

Anahtar sözcükler: Değişen Madde Fonksiyonu, Madde Yanlılığı, Çok Değişkenli Eşleştirme, Çok Değişkenli DMF, Eşleştirme Değişkeninin Arındırılması

Abstract:
The aim of the this research is to determine whether the items in PISA 2009 reading literacy test show differential item functioning (DIF) among the samples of Turkey, France and the United States of America before and after the matching variable is purified of DIF showing items via the use of univariate and multivariate DIF detection methods and to reveal sources of DIF. The research model is relational screening and the participants of the research are 4459 students from Turkey, France and USA who took PISA 2009 reading literacy 1, 3, 4 and 6 numbered booklets. In addition to univariate DIF analysis based on SIBTEST, univariate and multivariate DIF analysis based on logistic regression were conducted before and after matching variable was purified of DIF showing items. In order to determine additional matching variables, the literature about predicting variables of reading literacy was reviewed and multiple linear regression was conducted. The results indicate that SIBTEST and logistic regression produce similar results. However, DIF levels of the items change depending on the DIF detection method. Furthermore, the use of additional matching variables in addition to total score has reduced first type error. Moreover, it has been found that the purification of matching variable of DIF showing items has led to change in the number and level of DIF showing items. The expert views indicate that familiarity with the context used and item formats, the errors in the adaptation are the sources of bias.
 
Keywords: Differential Item Functioning, Item Bias, Multivariate Matching, Multivariate DIF, Purifying Matching Variable