PISA 2018 okuma becerileri alt testinin değişen madde fonksiyonu açısından farklı yöntemlerle incelenmesi
Examination of the PISA 2018 reading skills sub-test with different methods in terms of differantial item function
Yazar: ÖZGE ERDOĞAN
Danışman: PROF. DR. HAKAN YAVUZ ATAR
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Birleşik Krallık = United Kingdom ; Değişen madde fonksiyonu = Differential item function ; Fransa = France ; Lojistik regresyon analizi = Logistic regression analysis ; Mantel-Haenszel = Mantel-Haenszel ; Okuma becerileri = Reading skills ; SIBTEST yöntemi = SIBTEST method ; Türkiye = Türkiye ; Uluslararası Öğrenci Değerlendirme Programı = Programme for International Student Assesment

Özet:
Bu çalışmanın amacı, PISA 2018 uygulamasında okuma becerileri alt testinde yer alan maddelerin farklı kültür ve dil değişkenine göre değişen madde fonksiyonu gösterip göstermediğini incelemektir. Bu amaç kapsamında, PISA 2018 okuma becerileri alt testinde yer alan madde paketlerinden Temel bölüm için 1.paket (Core RC1), 1.Aşama için 1.paket (Stage 1 - R11H), 2.Aşama için 1.paket (Stage 2 - R21H) seçilmiştir. Çalışmanın veri setini ise Türkiye, Fransa ve Birleşik Krallık ülkelerinden bu madde paketlerini yanıtlayan 536 katılımcının verdikleri yanıtlar oluşturmaktadır. DMF analizlerine geçilmeden önce veri seti, kayıp veri (missing value) ve uç değerler (outliers) bakımından incelenmiştir. Ayrıca grup dağılımının genel özelliklerini belirlemek için betimsel istatistik kullanılmıştır. Ayrı ayrı tüm alt gruplara yönelik madde sayısı, öğrenci sayısı, ortalama, standart sapma, çarpıklık, basıklık, en yüksek puan, en düşük puan ve Cronbach Alpha değerleri hesaplanmıştır. Ele alınan maddelerin DMF analizlerini gerçekleştirmek için Mantel-Haenszel (MH), Lojistik Regresyon (LR) ve SIBTEST (Simultaneous Item Bias Test) yöntemlerinden faydalanılmıştır. Seçilen madde paketleri içerisinden sadece iki kategorili olarak puanlanabilen 35 madde DMF analizlerine dâhil edilmiştir. Çalışma grubunda yer alan ülkeler; Türkiye – Birleşik Krallık, Türkiye – Fransa ve Fransa – Birleşik Krallık şeklinde ikişerli gruplarda analiz edilmiştir. Gerçekleştirilen analizler sonucunda; Türkiye - Birleşik Krallık grubunda MH yöntemiyle 14 madde, LR yöntemiyle 18 madde, SIBTEST yöntemiyle 11 madde DMF'li olarak tespit edilmiştir. Türkiye -  Fransa grubunda MH yöntemiyle altı madde, LR yöntemiyle sekiz madde, SIBTEST yöntemiyle beş madde DMF'li olarak tespit edilmiştir. Fransa - Birleşik Krallık grubunda MH yöntemiyle dokuz madde, LR yöntemiyle 13 madde, SIBTEST yöntemiyle sekiz madde DMF'li olarak tespit edilmiştir. Son olarak kullanılan DMF belirleme yöntemlerinin DMF gösterdikleri maddeler bakımından sonuçlarının birbiriyle ne derece uyum içinde olduğu incelenmiştir. Genel olarak bakıldığında yöntemlerin DMF'li olarak tespit ettiği madde sayıları farklı olsa da DMF'li olarak belirledikleri maddelerin çoğunlukla birbiriyle benzer olduğu tespit edilmiştir. Hesaplanan Spearman Brown sıra farkları korelasyonu katsayısına bakıldığında en yüksek uyum MH – LR yöntemleri arasında görülürken SIBTEST ile en düşük uyumun görüldüğü sonucuna ulaşılmıştır.

Abstract:
This study aims to examine whether the items in the reading skills subtest in the PISA 2018 implementation show differential item functions according to different culture and language variables. Within the scope of this purpose, from the item packages in the PISA 2018 reading skills subtest, the 1st package for the Basic section (Core RC1), the 1st package for the 1st Stage (Stage 1 - R11H), and the 1st package for the 2nd stage (Stage 2 - R21H) were selected. The data set of the study consists of the answers given by 536 participants from Turkey, France, and the United Kingdom who answered these substance packages. Before proceeding to the DMF analysis, the data set was examined in terms of missing values and outliers. In addition, descriptive statistics were used to determine the general characteristics of the group distribution. The number of items, number of students, mean, standard deviation, skewness, kurtosis, highest score, lowest score, and Cronbach Alpha values were calculated for all subgroups separately. Mantel-Haenszel (MH), Logistic Regression (LR), and SIBTEST (Simultaneous Item Bias Test) methods were used to perform DIF analyzes of the items under consideration. Among the selected item packages, only 35 items that could be scored in two categories were included in the DIF analysis. Countries in the study group; analyzed in pairs: Turkey – UK, Turkey – France, and France – UK. As a result of the analyzes carried out; in the Turkey - United Kingdom group, 14 items with the MH method, 18 items with the LR method, and 11 items with the SIBTEST method were identified as having DIF. In the Turkey - France group, six items with the MH method, eight items with the LR method, and five items with SIBTEST method were determined as having DIF. In the France - United Kingdom group, nine items with the MH method, thirteen items with the LR method, and eight items with the SIBTEST method were identified as having DIF. Finally, it was examined to what extent the results of the DIF determination methods used were in agreement with each other in terms of the items which having DIF. In general, although the number of items identified by the methods as having DIF is different, it has been found that the items identified as having DIF are mostly similar to each other. When the calculated Spearman-Brown rank difference correlation coefficient was examined, it was concluded that the highest agreement was seen between the MH - LR methods, while the lowest agreement was observed with SIBTEST.