Test boyutluluğunun değişen madde fonksiyonuna etkisinin farklı koşullar altında incelenmesi
The investigation of test dimension effect to differential item functioning under different conditions
Yazar: BULUT YILDIZTEKİN
Danışman: PROF. DR. HÜLYA KELECİOĞLU
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2020
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Testler = Tests ; Çok boyutluluk = Multidimensionality

Özet:
Bu araştırmanın amacı iki boyutlu ve üç boyutlu yapay ve iki boyutlu gerçek veri setlerinde DMF'nin farklı koşullardan nasıl etkilendiğini belirlemektir. Testlerin basit ya da karmaşık yapıda olmaları, orta veya yüksek düzeyde DMF etki büyüklüğü içermeleri, 600-1200-2400-3600-4800-6000 olarak değişen örneklem büyüklükleri, 1:1, 1:2 olarak değişen odak ve referans grup oranına sahip olmaları araştırmanın koşullarındandır. İki boyutlu ve üç boyutlu olarak üretilen iki kategorili veri setlerine geleneksel SIBTEST ile çok boyutlu çoklu nedenler çoklu göstergeler (Multi-MIMIC) yöntemleri kullanılarak gerçekleştirilen DMF analizleri neticesinde ulaşılan 1. tip hata ve güç değerleri karşılaştırılmıştır. Gerçek veri seti ile gerçekleştirilen analizlerde ise DMF yöntemlerine bağlı olarak belirlenen DMF'li madde sayıları karşılaştırılmıştır. Yapay veri setlerini elde etmek için madde parametreleri ITEMGEN programı kullanılarak üretilmiştir. Gerçek veri seti PISA 2012 Türkiye örnekleminden sırasıyla 600,1200 ve 3600; odak (kız) ve referans (erkek) oranı 1:1 ile 1:2 olarak seçilmiştir. Veri setlerinin çalışmaya uygunluğunun kontrol edilmesi için FACTOR 10.8, yapay ve gerçek veri setleri için gerçekleştirilen analizlerde SAS 9.4 ve MPLUS 7 programları kullanılmıştır. Yapay veri setleri için 100 tekrar yapılmıştır. Araştırma neticesinde iki boyutlu verilerde, örneklem büyüklüğü arttıkça, DMF etki düzeyi yükseldikçe ve testin yapısı basitten karmaşığa gittikçe 1. tip hata azalmaktadır. Güç oranları ise örneklem büyüklüğüne bağlı olarak anlamlı farklılık göstermemekte, DMF etki düzeyinin artmasına bağlı azalmakta ve testin yapısının karmaşıklaşmasıyla yükselmektedir. Üç boyutlu verilerde de paralel sonuçlar çıkmıştır. İki ve üç boyutlu verilerde DMF yöntemi olarak klasik yöntem yerine çok boyutlu model olan Multi-MIMIC yönteminde daha düşük 1. tip hata ve daha yüksek güç oranları elde edilmiştir. Gerçek veri setinde ise DMF'li madde sayısı örneklem büyüklüğüne ve odak-referans grup oranına bağlı olarak değişmezken, DMF yöntemi olarak Multi-MIMIC yöntemi seçildiğinde DMF gösteren madde sayısında azalma olduğu belirlenmiştir. Sonuç olarak yeterli örneklem büyüklüklerine uygulanmış testlerin basit yapılı olması ve DMF analizleri için Multi-MIMIC yönteminin kullanılması önerilmektedir.
Anahtar sözcükler: çok boyutluluk, değişen madde fonksiyonu, SIBTEST, Multi-MIMIC

Abstract:
The aim of this study is to determine how DIF is affected by different conditions in two dimensional and three dimensional simulation and two dimensional real data sets. Whether the tests are simple or complex, medium or high level of DIF effect size, sample sizes ranging from 600-1200-2400-3600-4800-6000, and having a focal and reference group ratio varying between 1: 1 and 1:2 are research conditions. Type one error and power values obtained from conventional SIBTEST and multi-dimensional multiple causes multiple indicators (Multi-MIMIC) methods were compared to two-category data sets produced in 2D and 3D models. In the analyzes performed with the real data set, the number of items with DIF determined according to DIF methods were compared. In order to obtain simulation data sets, item parameters were generated by using ITEMGEN program. Real data sets from PISA 2012 Turkey sample was selected as respectively 600, 1200 and 3600 and focus (girls) and reference (male) ratio of 1: 1 and 1: 2. The FACTOR 10.8 program was used to check the suitability of the data sets. SAS 9.4 and MPLUS 7 programs were used in the analyzes performed for simulation and real data sets. 100 replicates were made for simulation data sets. As a result of the research, type 1 error decreases as the sample size increases, DIF effect level increases and the structure of the test goes from simple to complex. Although power ratios do not differ significantly depending on sample size, decrease due to the increase in DIF effect level and increase with the complexity of the test structure. Parallel results were also found in the 3D data, but the effect of the test structure was not significant. In the 2D and 3D data, the Multi-MIMIC method, which is a multi-dimensional model instead of the classical method, has lower type 1 error and higher power ratios. In the real data set, the number of items with DIF did not change depending on sample size and focus-reference group ratio, but when the Multi-MIMIC method was chosen as the DIF method, it was found that there was a decrease in the number of items with DIF. As a result, the tests applied to sufficient sample sizes should be in simple structure and Multi-MIMIC method is recommended for DIF analysis. 
Keywords: multi-dimensionality, differential item functioning, SIBTEST, Multi-MIMIC