PISA 2018 matematik ve fen bilimleri alt testlerinde değişen madde fonksiyonunun Rasch Ağacı, Mantel–Haenszel ve Lojistik Regresyon yöntemleriyle incelenmesi
An investigation of differential item functioning in PISA 2018 mathematics and science subtests by Rasch Tree, Mantel–Haenszel and Logistic Regression methods
Yazar: FATİH AYDEMİR
Danışman: PROF. DR. İSMAİL KARAKAYA
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme Ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışmanın amacı, PISA 2018 uygulamasında Matematik ve Fen bilimleri alt testinde yer alan maddelerin ülke, sınıf ve cinsiyet değişkenine göre Değişen madde fonksiyonu (DMF) gösterip göstermediğini incelemektir. Çalışmanın verilerini Türkiye, İsrail ve Hırvatistan'daki 9 ve 10. sınıfa giden kız ve erkek öğrenciler oluşturmaktadır. Bu çerçevede matematik alt testi için 11 numaralı form, fen bilimleri alt testi içinse 14 numaralı form seçilmiştir. Çalışmanın veri setini ise matematik alt testi için 614, fen bilimleri alt testi içinse 603 katılımcının verdiği cevaplar oluşturmaktadır. DMF analizlerinden önce veriler kayıp veri açısından incelenmiş, betimsel istatistiklerden yararlanılmış ayrıca analizler için madde sayısı, öğrenci sayısı, ortalama, standart sapma, çarpıklık, basıklık, en yüksek puan, en düşük puan ve Cronbach Alpha değerleri hesaplanmıştır. Bu çalışmada DMF analizleri için Rasch Ağacı (RAY), Mantel-Haenszel (MH) ve Lojistik Regresyon (LR) yöntemlerinden yararlanılmıştır. Kısmi puanlanan maddeler veri setlerinden çıkarılmış işlemler sadece 1-0 şeklinde cevaplanan maddeler üzerinden yapılmıştır. 11 numaralı form için 19, 14 numaralı form içinse 37 madde üzerinde DMF analizleri yapılmıştır. MH ve LR yöntemleri için çalışma grubunda yer alan değişkenler ülkelere göre, Türkiye-Hırvatistan, Türkiye-İsrail ve Hırvatistan-İsrail olarak, sınıfa göre 9-10. sınıflar olarak ve cinsiyete göre ise kız-erkek olarak ikişerli gruplarda analiz edilmiştir. RAY için herhangi bir gruplandırma yapılmamıştır. Yapılan analizler sonucunda 11 numaralı form için Türkiye-Hırvatistan grubunda MH ile 4, LR ile 1 maddede, Türkiye-İsrail grubunda MH ile 10, LR ile 1 maddede, Hırvatistan-İsrail grubunda MH ile 8, LR ile 0 maddede, cinsiyete göre MH ile 2, LR ile 0 maddede, sınıfa göre MH ile 4, LR ile 0 maddede DMF tespit edilmiştir. 11 numaralı form için yapılan RAY ile yapılan analizde 17 maddede DMF tespit edilmiştir. Yapılan analizler sonucunda 14 numaralı form için Türkiye-Hırvatistan grubunda MH ile 11, LR ile 0 maddede, Türkiye-İsrail grubunda MH ile 9, LR ile 0 maddede, Hırvatistan-İsrail grubunda MH ile 9, LR ile 0 maddede, cinsiyete göre MH ile 4, LR ile 0 maddede, sınıfa göre MH ile 5, LR ile 0 maddede DMF tespit edilmiştir. 14 numaralı formu için RAY ile yapılan analizde 35 maddede DMF tespit edilmiştir. Yapılan 3 farklı analiz için DMF gösteren ortak maddeler kıyaslandığında 11 numaralı form için MH yöntemiyle sınıf değişkenine göre yapılan analizde 10 numaralı madde 9. sınıflar lehine DMF gösterirken, RAY ile yapılan analizde İsrail'deki 10. sınıftaki kız öğrenciler lehine DMF tespit edilmiştir. 14 numaralı form için MH yöntemiyle sınıf değişkenine göre yapılan analizde 19 numaralı madde 9. sınıflar lehine DMF gösterirken RAY ile yapılan analizde Hırvatistan'daki 10. sınıftaki öğrenciler lehine DMF tespit edilmiştir.

Abstract:
This study aims to examine whether the items in the mathematics and science subtest in the PISA 2018 application show differential item function (DIF) according to country, grade, and gender variables. The study data consisted of male and female students in 9th and 10th grades in Türkiye, Israel, and Croatia. In this framework, Form 11 was selected for the mathematics subtest, and Form 14 was selected for the science subtest. The study's data set consisted of the responses of 614 participants for the mathematics subtest and 603 participants for the science subtest. Before the DIF analyses, the data were examined for missing data, descriptive statistics were used, and the number of items, number of students, mean, standard deviation, skewness, kurtosis, highest score, lowest score, and Cronbach Alpha values were calculated. In this study, Rasch Tree (RT), Mantel-Haenszel (MH), and Logistic Regression (LR) methods were used for DIF analyses. Partially scored items were removed from the data sets, and the procedures were performed only on the items that were answered 1-0. DIF analyses were conducted on 19 items for Form 11 and 37 for Form 14. For the MH and LR methods, the variables in the study group were analyzed in two groups according to the countries as Türkiye-Croatia, Türkiye-Israel, and Croatia-Israel, according to the grade as 9th-10th grades, and according to gender as boys and girls. No grouping was made for RT. As a result of the analyses, DIF was detected in 4 items with MH and 1 item with LR in the Türkiye-Croatia group, in 10 items with MH and 1 item with LR in the Türkiye-Israel group, in 8 items with MH and 0 items with LR in the Croatia-Israel group, in 2 items with MH and 0 items with LR by gender, and 4 items with MH and 0 items with LR by class for Form 11. For form 11, DIF was detected in 17 items in the analysis performed with RT. As a result of the analysis, DIF was detected in 11 items with MH and 0 items with LR in Türkiye-Croatia group, in 9 items with MH and 0 items with LR in Türkiye-Israel group, in 9 items with MH and 0 items with LR in Croatia-Israel group, in 4 items with MH and 0 items with LR according to gender, in 5 items with MH and 0 items with LR according to class. In the analysis conducted with RT for form 11, DIF was detected in 35 items. When the common items showing DIF for the 3 different analyses were compared, while item 10 showed DIF in favor of 9th graders in the analysis conducted with the MH method for Form 11 according to the grade variable, DIF was detected in favor of 10th-grade female students in Israel in the analysis conducted with the Rasch Tree method. For Form 14, item 19 showed DIF in favor of 9th graders in the analysis conducted with the MH method according to the grade variable, while in the analysis conducted with the Rasch Tree method, DIF was detected in favor of 10th graders in Croatia.