Değişen madde fonksiyonu ve ölçme değişmezliği ile matematik okuryazarlığı test puanlarında olası yanlılığın incelenmesi
Examination of possible bias in mathematical literacy test scores with differential item functioning and measurement invariance
Yazar: PELİN DEĞER IŞILA
Danışman: DOÇ. DR. GÜÇLÜ ŞEKERCİOĞLU
Akdeniz Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırma kapsamında, matematik okuryazarlığı becerilerinin ölçülmesindeki olası yanlılıklar, DMF ve Ölçme Değişmezliği analizleri aracılığı ile incelenmiştir. Çalışma süresince, Matematik okuryazarlığı becerilerinin ölçüldüğü bir testte yer alan maddeler için oluşturulan cinsiyet alt grupları (kız ve erkek öğrenciler), yerleşim yeri alt grupları (büyükşehir ve şehirlerden katılan öğrenciler) ve okul türü alt grupları (özel ve devlet okulları) arasında ölçme değişmezliğinin sağlanıp sağlanamadığı ve maddelerin bahsi geçen değişkenlere göre DMF gösterip göstermediğinin incelendiği altı temel araştırma sorusu ele alınmıştır. Bütüncül bir yöntem içeren bu çalışmada, 2024 yılında Türkiye'nin çeşitli illerinde uygulanan Matbeg sınavının Matematik alt testine katılım sağlayan 7179 ortaokul öğrencisinden (5, 6, 7 ve 8. sınıf düzeyleri) oluşan bir çalışma grubu incelenmiştir. Madde analizleri kapsamında, Madde Güçlük İndeksleri ve Madde Ayırt Edicilik İndeksleri hesaplanmıştır. DMF analizleri R yazılımında difR paketi kullanılarak, Klasik Test Kuramı'na (KTK) dayalı Mantel-Haenszel Tekniği ve Madde Tepki Kuramı'na (MTK) dayalı Lord'un Ki-Kare İstatistiği Tekniği ile gerçekleştirilmiştir. Cinsiyet, yerleşim yeri ve okul türü alt grupları arasında ölçme değişmezliği incelemesi, Açımlayıcı Faktör Analizi (AFA), Doğrulayıcı Faktör Analizi (DFA) ve Ölçme Değişmezliği için temel varsayımların karşılanmasını içeren sıralı adımları takiben Çok Gruplu Doğrulayıcı Faktör Analizi (ÇGDFA) yolu ile gerçekleştirilmiştir. Bulgular, cinsiyet değişkeni için 5., 6., 7 ve 8. sınıflarda tam ölçme değişmezliğinin sağlandığını göstermiştir. Her iki DMF belirleme tekniğinden elde edilen DMF sonuçlarına göre ise herhangi bir cinsiyet grubuna yönelik bir yanlılık tespit edilmemiştir. Yerleşim yeri değişkenine ilişkin olarak, 5. sınıflar için tam ölçme değişmezliği sağlanırken, 6. sınıflar için yapısal değişmezlik sağlanmıştır. DMF analizi sonuçlarına göre DMF içeren maddelerin iki sınıf kademesinde de genel olarak şehirlerden katılım sağlayan öğrenciler lehine olduğunu göstermiştir. Okul türü değişkeni ile ilgili olarak, 5. sınıflar için tam ölçme değişmezliği sağlanırken, 6.sınıflar için yapısal değişmezlik sağlanmış, 7. sınıflar için ise zayıf faktöriyel değişmezlik sağlanmıştır. DMF analizi sonuçları, dengeli bir yanlılık dağılımı sergilerken, özel okul veya devlet okulu öğrencileri için önemli bir avantaj gözlemlenmemiştir. Elde edilen bulgulara göre, belirli sınıf düzeylerinde çoğunlukla şehirlerden katılım sağlayan öğrenciler ve devlet okullarında öğrenim görmekte olan öğrenciler lehine olası yanlılıklar tespit edilmiştir. DMF analiz sonuçlarının birden fazla teknik kullanılarak karşılaştırılması, olası madde yanlılığının kapsamlı bir şekilde tespit edilmesi için farklı yöntemlerin kullanılması gerekliliğinin altını çizmektedir. Bu araştırma bulgularına dayanılarak, madde yanlılığını etkileyen potansiyel faktörler belirlenmiş ve gelecekte yapılacak araştırmalar için önerilere yer verilmiştir.

Abstract:
Within the scope of this research, potential biases in the measurement of mathematical literacy skills were examined through DIF and Measurement Invariance analyses. Throughout the study, six core research questions were addressed, focusing on whether measurement
invariance was achieved and whether the items exhibited DIF across gender subgroups (female and male students), residential area subgroups (students from metropolitan and urban regions), and school type subgroups (private and state schools) for item scores from a test measuring
mathematical literacy skills. In this study, which utilized a comprehensive methodology, a study group consisting of 7179 middle school students (from 5th, 6th, 7th, and 8th-grades) who participated in the Mathematics subtest of the Matbeg exam administered in various provinces of Turkey in 2024 was examined. As part of the item analysis, Item Difficulty Indices and Item Discrimination Indices were calculated. DIF analyses were conducted using the difR package in R software, employing the Mantel-Haenszel Technique based on Classical Test Theory (CTT) and Lord's Chi-Square Statistic Technique based on Item Response Theory (IRT). The examination of measurement invariance across gender, residential area, and school type subgroups was conducted through a systematic, stepwise procedure which entailed the use of Exploratory Factor Analysis (EFA) and Confirmatory Factor Analysis (CFA) to establish the factorial structure, followed by Multigroup Confirmatory Factor Analysis (MGCFA) to assess measurement invariance, contingent upon the satisfaction of the fundamental assumptions
necessary for such analyses. The findings revealed that full measurement invariance is achieved across gender groups for all grades (5th, 6th, 7th, and 8th). DIF results from both techniques revealed no gender-related bias. As for the residential area variable, full measurement invariance is achieved for the 5th grade, while structural invariance is established for the 6th grade, with DIF analyses indicating a general favor towards students from urban areas in both grades. Regarding school type, full measurement invariance is achieved for the 5th grade,
structural invariance for the 6th grade, and weak factorial invariance for the 7th grade. DIF results show a balanced distribution of bias, with no notable advantage for either private or state school students. The findings suggest that potential biases favor urban and public school
students in certain grades. The comparison of DIF results across multiple techniques highlights the necessity of employing diverse methods to comprehensively identify item bias. Based on these findings, factors potentially influencing item bias are identified, and recommendations
are provided for future research.