Çok kategorili puanlanan maddelerde değişen madde ve adım fonksiyonu belirleme yöntemlerinin incelenmesi
Investigation of differential item and differential step functioning procedurs in polytomous items
Yazar: YASEMİN KUZU
Danışman: PROF. DR. SELAHATTİN GELBAL
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training ; İstatistik = Statistics
Dizin: Ardışık yaklaşımlar = Successive approximations ; Değişen adım fonksiyonu = Differential step function ; Değişen madde fonksiyonu = Differential item function ; Kümülatif yaklaşım = Cumulative approach ; Çok kategoride puanlanan maddeler = Polytomous items ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı çok kategorili maddelerde değişen madde (DMF) ve adım fonksiyonu (DAF) belirleme yöntemlerini çeşitli koşullarda karşılaştırmaktır. Bu bağlamda PISA 2018 kapsamında öğrencilere yönelik hazırlanan "Bilgi ve İletişim Teknolojilerine Aşinalık Anketi" içerisindeki okulda dijital cihazları kullanma sıklığıyla ilgili maddelerin (IC011) yanıtlandığı Kazakistan, Türkiye ve ABD verileri üzerinde çalışılmıştır. Çok kategorili DMF analizleri için Mantel test, Liu- Agresti istatistiği, Cox β ve poly-SIBTEST yöntemleri; DAF analizleri için ise Ardışık Kategori Log Odds Oranı (AC-LOR) ve Kümülatif Kategori Log Odds Oranı (CU-LOR) yöntemleri kullanılmıştır. İlişkisel tarama modelinde yürütülen bu çalışmada "kategori birleştirme kuralı, odak grup- referans grup, odak grup örneklem büyüklüğü, odak grup:referans grup örneklem oranı, DMF belirleme yöntemi" şeklinde koşullar oluşturulmuştur. Koşulların oluşturulmasında SAS ve R yazılımlarından; analizler için ise poly-SIBTEST yöntemi için SIBTEST; diğer yöntemler için DIFAS programlarından faydalanılmıştır. Analizler sonucunda yüksek düzey DMF/DAF sergileyen madde/adım sayısının; çok kategorili DMF yöntemlerine göre küçük örneklemde, DAF yöntemlerine göre ise büyük örneklemde daha fazla olduğu belirlenmiştir. Bununla birlikte yöntemlerin büyük örneklemde daha tutarlı sonuçlar verdiği tespit edilmiştir. Adımlar boyunca zıt işaretli DAF bulunduran maddelerde DMF değerinin daha düşük olduğu, dolayısıyla DMF sergilemeyen bir maddede DAF analizi yapılmamasının hatalı sonuçlar verebileceği belirtilmiştir. Araştırma kapsamında oluşturulan kategori birleştirme koşullarının sonuçlar üzerinde sistematik bir etkisinin olmadığı görülmekle birlikte birleştirilen kategorilerin işaretlenme sıklığının sonuçları farklılaştığı düşünülerek sonraki çalışmalarda bu durumun incelenmesi önerilmiştir.

Abstract:
The aim of this study is to compare the polytomous differential item functioning (DIF) and differential step functioning (DSF) detection methods in polytomously scored items. In this context, it was studied Turkey, Kazakhstan and the USA samples responding to items (IC011) related to frequency of using digital devices in "ICT Familiarity Questionnaire" which was administered to students in within the scope of PISA 2018. Mantel test, Liu-Agresti statistics, Cox β and poly-SIBTEST methods for multi-category DIF analysis; Adjacent Category Log Odds Ratio (AC-LOR) and Cumulative Category Log Odds Ratio (CU-LOR) methods were used for DSF analyzes. The research model is relational screening and conditions such as "category combination rule, focus group-reference group, focus group sample size, sample rating of focus group: reference group, DIF investigation method" were created. In the creation of the conditions, from SAS and R software; in analysis, SIBTEST for poly-SIBTEST method; DIFAS programs were used for other methods. As a result of the analysis, the number of item / steps with high levels of DIF / DSF; it was observed that it was more in the small sample compared to the multi-category DIF methods and in the large sample compared to the DSF methods. However, it was determined that the methods appeared more consistent results in a large sample. Throughout the steps, it was stated that the DIF effect was lower for the substances with DIF of the opposite signs. Therefore, if DSF analysis is not done for items that has no DIF, incorrect results may be obtained. Although, it is seen that the category combining conditions created within the scope of the study do not have a systematic effect on the results, considering choosing frequency of the combined categories differentiated the results, it is suggested that this situation should be examined in future studies.