Ortak değişkenli çok boyutlu çok düzeyli karma model ile DMF incelemesi
DİF analysis with a multidimensional multilevel mixture model with covariates
Yazar: ÖMER DOĞAN
Danışman: PROF. DR. BURCU ATAR
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2024
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Bu araştırmanın amacı test sürecinde geçerliğe ait kanıt toplamak için yararlanılan araçlardan biri olan değişen madde fonksiyonunu (DMF) kullanarak gözlenen grupları ve karma modellerle oluşturulan örtük sınıfları DMF'li madde sayısı ve etki büyüklüğü düzeyleri açısından karşılaştırmak ve DMF'nin doğasını araştırmaktır. Bu doğrultuda 22 ülkenin yer aldığı eTIMSS 2019 1. kitapçığında yer alan 10 matematik ve 10 fen bilimleri olmak üzere 20 maddelik veri seti oluşturulmuştur. Yapısı incelenen veri setinin çok boyutlu ve çok düzeyli bir yapı sergilediği tespit edilmiştir. Analizler öncesi düzey, boyut ve ortak değişken durumuna göre oluşturulan 54 model için bilgi ölçütü kriterleri incelenmiş ve uygun modellere ait betimsel istatistikler oluşturulmuştur. Gözlenen grup değişkenleri olarak alınan cinsiyet ve evdeki kitap sayısı değişkenleri, karma modellerden ise veriye en iyi uyumu gösteren modeller için DMF analizleri yapılmıştır. Karma modellere ortak değişken olarak öğrenci düzeyinde toplam puan ile en yüksek korelasyona sahip evdeki kitap sayısı değişkeni, ülke düzeyinde ise her ülkeye ait katılımcıların evdeki kitap sayısı ortalaması seçilmiştir. Araştırma sonuçlarına göre her iki gözlenen grup değişkeni için sadece A etki düzeyinde ihmal edilebilir DMF'li maddeler mevcutken karma modellere göre B ve C etki düzeyinde birçok madde tespit edilmiştir. Her model için oluşturulan örtük ülke sınıflarında yüksek ve düşük puanlı sınıflara ait ülke dağılımları incelenmiştir. Model karşılaştırmaları sonucunda 2 PL modelin veriye daha iyi uyum gösterdiği bulunmuştur. Ayrıca en iyi uyumu sağlayan CB2-C2 adlı model üzerinde yapılan inceleme ile veri seti bağlamında matematik ve fen bilimleri maddelerinin konu ve bilişsel alanı ile örtük sınıfların yapısıyla DMF kaynakları daha net biçimde ortaya çıkmıştır.

Abstract:
The aim of this study is to compare the manifest groups using the differential item functioning (DIF) and the latent classes created with mixture models in terms of the number of items with DIF and effect size levels, and to investigate the nature of the DIF. In this direction, a data set of 20 items (10 mathematics and 10 science items) from eTIMSS 2019 booklet 1, which includes 22 countries, was created. The structure of the data set was analyzed and it was determined that it displayed a multidimensional and multilevel structure. DIF analyses were conducted for mixture models with the variables of gender and the number of books at home, which were taken as manifest group variables. The number of books at home was selected as a covariate for the mixture models. According to the results of the study, for the manifest group variables, there were negligible DIF items only at effect level A, while many items were found at effect levels B and C according to the mixture models. In the latent country classes created for each model, the country distributions of the high and low scoring classes were examined. As a result of the model comparisons, it was found that the 2 PL model fit the data better. In addition, in the context of the data set, the subject and cognitive domain of mathematics and science items and the structure of latent classes and DIF sources emerged more clearly.