Farklı ortak değişkenlerle test eşitlemenin ortak maddeli test eşitlemeyle karşılaştırılması
A comparison of test equating with different covariates and test equating by common item
Yazar: ELİF SEZER BAŞARAN
Danışman: PROF. DR. MEHTAP ÇAKAN
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Kernel eşitleme = Kernel equating ; Matematik = Mathematics ; Matematik eğitimi = Mathematics education ; Matematik öğretimi = Mathematics teaching ; Ortak değişkenler = Covariates ; Ortak maddeli test = Anchor test design ; Test eşitleme = Test equating ; Uluslararası Matematik ve Fen Araştırmasında Eğilimler = Trends in International Mathematics and Science Study

Özet:
Bu araştırmanın amacı TIMSS 2019 sekizinci sınıf matematik alt testlerini Kernel eşitleme yöntemleriyle (lineer ve eşit yüzdelikli) eşitlemede çeşitli ortak değişkenlerin kullanıldığı ortak değişken desenindeki (NEC) eşitleme hatalarının, ortak test (NEAT) ve eşdeğer gruplar (EG) desenlerinden farklılaşma düzeyinin incelenmesidir. Bu doğrultuda üç farklı grupta matematik dersi başarısıyla ilişkili ortak değişkenler kullanılarak NEC deseninde yapılan eşitleme sonuçları incelenmiştir ve diğer desenlerdeki (NEAT ve EG) sonuçlarla karşılaştırılmıştır. Öğrenci ve okul özelliklerini içeren 13 farklı ortak değişken kullanılmıştır. Bu değişkenler şöyledir: (i) fen bilgisi başarısı, (ii) evdeki eğitim kaynakları, (iii) matematiğe karşı özgüven, (iv) matematiğe değer verme, (v) matematik öğrenmeyi sevme, (vi) öğretimin netliği, (vii) dersteki düzensiz davranışlar, (viii) zorbalık, (ix) okula aidiyet, (x) okulun akademik başarıya verdiği önem, (xi) okuldaki disiplin problemleri, (xii) öğrencinin cinsiyeti ve (xiii) sosyoekonomik düzey. Bu araştırmanın örneklemini e-TIMSS uygulamasında matematik dersine ait 1., 2., 11., 12., 13. ve 14. kitapçıkları ve ortak değişkenleri yanıtlayan toplam 10100 öğrenci oluşturmaktadır. Araştırmanın sonuçlarına göre NEC desenlerinin NEAT ve EG desenleriyle karşılaştırma sonuçları, Kernel lineer ve Kernel eşit yüzdelikli eşitlemelerde birbirine benzemektedir. NEAT desenine (son tabakalama ve zincirleme eşitleme yöntemleri) en yakın ve EG deseniyle en fazla farklılaşan desen, tüm gruplarda matematik başarısıyla yüksek düzeyde korelasyona sahip fen başarısının kullanıldığı NEC desenidir. Ancak matematik başarısıyla zayıf ve çok zayıf düzeyde korelasyona sahip ortak değişkenlerin (okulun akademik başarıya verdiği önem, sosyoekonomik düzey, cinsiyet, zorbalık, öğretimin netliği gibi) kullanıldığı NEC desenleri ile EG desenine ait eşitlenmiş puanlar birbirine çok benzer olduğu görülmüştür. Öğrencilerin duyuşsal özelliklerinin (matematiğe karşı özgüven, matematik öğrenmeyi sevme, matematiğe değer verme) ve evdeki eğitim kaynaklarının ortak değişken olarak kullanıldığı NEC desenlerinin NEAT ve EG desenlerine yakınlığının gruplara göre değiştiği tespit edilmiştir. Testlerin ortak madde sayısı oranı ve güvenirlikleri farklı olduğunda duyuşsal özelliklerin ve evdeki eğitim kaynakları değişkenlerinin kullanıldığı NEC desenlerine ait sıralamanın öğrenci gruplarına göre değiştiği; ancak diğer NEC desenlerine ait sıralamanın öğrenci gruplarında benzerlik gösterdiği görülmüştür.

Abstract:
This study aimed to compare the equating errors in the covariate design (NEC), in which various covariates are used in equating TIMSS 2019 eighth grade mathematics subtests with Kernel equating methods (linear and equipercentile), from the common test (NEAT) and equivalent groups (EG) designs. The equating results in NEC were examined by using covariates related to mathematics achievement in three different groups and comparing with the equating results in other designs (NEAT and EG). Different covariates representing student and school characteristics were used such as: (i) science achievement, (ii) home educational resources, (iii) students' confidence in mathematics, (iv) students' value of mathematics, (v) students' enjoyment of learning mathematics, (vi) instructional clarity in mathematics lessons, (vii) disorderly behavior during mathematics lessons, (viii) student bullying, (ix) sense of school belonging, (x) school's emphasis on academic achievement, (xi) school discipline, (xii) sex of students, and (xiii) socioeconomic level. The study's sample consisted of 10100 students who answered the 1st, 2nd, 11th, 12th, 13th and 14th booklets of the mathematics test and the covariates in e-TIMSS. The study concluded that the comparison results of NEC designs with NEAT and EG were similar in Kernel linear and Kernel equipercentile equatings. The design that was the closest to the NEAT (post-stratification and chained equating methods) and the most different from the EG was the NEC design, in which science achievement was highly correlated with mathematics in all groups. However, when the variables which had weak or very weak correlations with mathematics achievement (such as school's emphasis on academic achievement, socioeconomic level, sex, bullying, instructional clarity) were used as covariates in NEC, the equated scores were very similar to the EG. The closeness of NEC designs in which the students' affective characteristics (confidence in mathematics, like learning mathematics, value mathematics) and home educational resources were used as covariates to NEAT and EG changed according to the groups. When the common item number ratio and reliability of the tests were different, the order of the NEC designs used the affective characteristics and home educational resources as the covariates, varied according to the student groups; however, the order of the other NEC designs was similar in the examined groups.