TIMSS-2019 bilgisayar kullanımına ilişkin maddelerin ölçme değişmezliği ve değişen madde fonksiyonu açısından incelenmesi
Examinatıon of TIMSS-2019 computer use items in terms of measurement invariance and changing item function
Yazar: ZEYNEP NEVESER KIZILÇİM
Danışman: DOÇ. DR. SEVDA ÇETİN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Eğitim = Education ; Eğitim bilimleri = Educational science ; Ölçme değişmezliği = Measurement invariance ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada TIMSS 2019'da bilgisayar kullanımına ilişkin maddelerin dil ve kültüre göre ölçme değişmezliği ve değişen madde fonksiyonu yöntemleri ile yanlılığının incelenmesi amaçlanmıştır. Araştırmanın evrenini TIMSS 2019 döngüsüne 8. sınıf düzeyinde katılan tüm ülkeler; araştırmanın örneklemini ise Türkiye, İngiltere ve Katar oluşturmaktadır. İki boyutlu ve 11 madde ile kurulan modelin ölçme değişmezliği ÇGDFA ile, Değişen Madde Fonksiyonu (DMF) analizleri OLR ve Poly-SIBTEST yöntemleri ile incelenmiştir. Analizlerin gerçekleştirilmesinde R Studio, SIBTEST, SPSS yazılımları kullanılmıştır. Analizler öncesinde güvenirlik için Cronbach'ın alpha katsayısı hesaplanmış, geçerlik için açımlayıcı ve doğrulayıcı faktör analizleri yapılmıştır. Yapılan karşılaştırmalarda farklı dil aynı kültürde (ARP-İNG) yapısal ve metrik değişmezliğin sağlandığı, farklı dil farklı kültüre göre (TÜR-İNG) yapısal değişmezliğin sağlanmış olduğu sonucuna ulaşılmıştır. Yanlılık analizleri incelendiğinde farklı dil aynı kültürde (ARP-İNG) OLR yöntemine göre dört maddede A düzeyinde tek biçimli DMF olduğu, farklı dil aynı kültür (ARP-İNG) karşılaştırmasında Poly-SIBTEST yöntemi sonuçlarına göre yedi maddenin C, dört maddenin B düzeyinde ve dört maddenin İngilizce dili lehine, yedi maddenin ise Arapça lehine DMF olduğu görülmüştür. Farklı dil farklı kültür (TÜR-İNG) karşılaştırmalarında OLR yöntemiyle yapılan analizlerde beş madde A düzeyinde ve tek biçimli, üç madde B düzeyinde tek biçimli olmayan, iki madde ise C düzeyinde tek biçimli olmayan DMF göstermiştir. Farklı dil farklı kültür (TÜR-İNG) karşılaştırmalarında poly -SIBTEST yöntemi sonuçlarına bakıldığında dört maddenin A düzeyinde, 7 maddenin C düzeyinde DMF gösterdiği bulunmuştur. Bu maddelerden yedisi Türkçe lehine, dört madde ise İngilizce lehine DMF'li madde vardır. Araştırmada farklı DMF yöntemleri kullanılmış ancak farklı yöntem sonuçlarının tam uyum göstermediği görülmüştür.

Abstract:
This study aimed to investigate the measurement invariance and bias of computer use-related items in TIMSS 2019 across different languages and cultures using the changing item function method. The analysis included data from Turkiye, England, and Qatar, and utilized MG-CFA and OLR with Poly-SIBTEST methods for measurement invariance testing. The study used R studio, SIBTEST, and SPSS for analysis and calculated Cronbach's alpha coefficient for reliability, as well as conducting exploratory and confirmatory factor analyses for validity. The results showed that structural invariance was achieved for items in the same culture (AR-ENG), and structural and metric invariance was achieved for items in different languages and cultures (TUR-ENG). Upon analysing the bias, it was found that the OLR method revealed four uniform differences in the same culture and language, while seven items were rated at the C level. Four items were rated at the B level, and four items showed a preference for English according to the Poly-SIBTEST method in comparing different languages in the same culture. In the OLR method analysis of different languages and cultures, five items exhibited uniform differences at the A level, while three items displayed non-uniform differences at the B level, and two items showed non-uniform differences at the C level. The Poly-SIBTEST method results for comparing different languages and cultures revealed that four items showed differences at level A, and seven items showed differences at level C. Of these, seven items showed a preference for Turkish, and four items showed a preference for English.