İki ve çok kategorili puanlanan maddelerde değişen madde fonksiyonlarının karşılaştırılması
A comparison of differential item functioning in two and multi-category scoring items
Yazar: EMİNE BURCU TUNÇ
Danışman: YRD. DOÇ. DR. ÖMER KUTLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Ölçme ve Değerlendirme Ana Bilim Dalı / Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2016
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Değişen madde fonksiyonu = Differential item function ; Puanlama = Scoring ; Çok kategoride puanlanan maddeler = Polytomous items

Özet:
Bu araştırmanın genel amacı, iki kategorili ve çok kategorili puanlanan maddelerde Değişen Madde Fonksiyonlarının (DMF) karşılaştırılmasıdır. Bu amaç doğrultusunda simülasyon çalışması gerçekleştirilmiş, I. Tip hata ve istatistiksel güç oranları üzerinde çalışılmıştır. 20 madde için hem iki kategorili (1-0) hem çok kategorili (4-3-2-1-0) puanlama yapılmış ve böylelikle iki ayrı veri seti oluşturulmuştur. İki kategorili puanlama için, çok kategorili puanlamada beşinci adım olan 4'e 1 puan verilmiş, 3-2-1-0'a ise 0 puan verilmiştir. Simülasyon kapsamında örneklem büyüklüğü (600, 1200, 2400), örneklem büyüklüğü oranı (1:1, 1:2), DMF içeren madde yüzdesi (%10, %30, %50) ve DMF büyüklüğü (0.25, 0.50, 1.00, 1.50) manipüle edilen koşullar olarak ele alınırken, DMF biçimi (Tek Biçimli DMF) ve toplam madde sayısı (20) sabit koşullar olarak ele alınmıştır. Böylelikle 72 koşul kapsamında gerçekleştirilen araştırma için 100 tekrar gerçekleştirilmiştir. Verilerin türetilmesinde, iki kategorili veriler için Rasch, çok kategorili veriler için ise Kısmi Puan Modeli kullanılmıştır. WinGen programında madde parametreleri hesaplanmış, R programında "eRm" paketi yardımıyla veriler türetilmiştir. İki kategorili veriler için Mantel-Haenszel ve LORDIF; çok kategorili veriler için ise LORDIF ve ANOVA DMF belirleme analizleri kullanılmıştır. Araştırmanın temel amacı olan iki kategorili ve çok kategorili puanlama modelleri kapsamında DMF karşılaştırıldığında, genel olarak çok kategorili puanlama yapılması durumunda I. Tip hata oranlarının daha düşük, istatistiksel güç oranlarının ise daha yüksek olduğu belirlenmiştir. Bu doğrultuda DMF sonuçlarında puanlama modellerinin etkisi olduğu ve kısmi puan dikkate alındığında DMF sonuçlarının değişebileceği ortaya konulmuştur. Elde edilen bulgular doğrultusunda genel olarak örneklem büyüklüğü 600'den 2400'e doğru arttıkça I. Tip hata oranlarının arttığı ancak I. Tip hata oranlarında, örneklem büyüklüğüne göre manidar bir farklılık olmadığı (p>.05) belirtilmiştir. Örneklem büyüklüğü 600'den 2400'e doğru arttıkça, istatistiksel güç oranlarının da arttığı ve örneklem büyüklüğüne göre ANOVA DMF belirleme analizi hariç manidar bir farklılık olmadığı (p>.05) ve ANOVA DMF için ise 600 ve 2400 örneklem büyüklükleri için manidar fark olduğu (p<.05) bulunmuştur. Örneklem büyüklüğü oranlarına göre I. Tip hata ve istatistiksel güç oranlarında manidar bir farklılık olmadığı (p>.05) belirlenmiş, 1:1 örneklem büyüklüğü oranında hem I. Tip hata hem de istatistiksel güç oranlarının daha yüksek olduğu saptanmıştır. DMF'li madde oranı %10'dan %50'ye doğru arttıkça I. Tip hata oranlarının arttığı ve istatistiksel güç oranlarının azaldığı ve I. Tip hata ve istatistiksel güç oranlarının, DMF'li madde oranlarına göre manidar bir farklılık gösterdiği (p<.05) ortaya konulmuştur. En düşük I. Tip hata ve en yüksek istatistiksel güç oranlarının %10 DMF'li madde oranlarında olduğu saptanmıştır. DMF büyüklüğü 0.25'ten 1.50'ye doğru arttıkça I. Tip hata ve istatistiksel güç oranlarının arttığı ve I. Tip hata ve istatistiksel güç oranlarının, DMF büyüklüğüne göre manidar bir farklılık gösterdiği (p<.05) belirlenmiştir. En düşük I. Tip hata ve en yüksek istatistiksel güç oranlarının 0.25 DMF büyüklüğünde olduğu belirtilmiştir.


Anahtar kelimeler: Değişen Madde Fonksiyonu, Puanlama modelleri, Rasch, Kısmi Puan Modeli, LORDIF, Mantel-Haenszel, ANOVA, I. Tip hata, İstatistiksel güç

Abstract:
The aim of this study is to compare Differential Item Functioning for two-category scored and multi-category scored items. For this purpose, simulation studies were performed; Type I error and statistical power ratios were studied. For 20 items, both two category (1-0) and multi category (4-3-2-1-0) scoring was done and thus two data sets were created. Two category scoring was done by scoring 4, which was the fifth step of multi category scoring as 1 and scoring the other steps 3-2-1-0 as 0. Whereas sample size (600, 1200, 2400), sample size ratio (1:1, 1:2), percentage of items containing DIF (%10, %30, %50), and DIF magnitude (0.25, 0.50, 1.00, 1.50) were taken as manipulated conditions; DIF format (Uniform DIF) and total item number (20) were considered as stable conditions as part of simulation process. Hereby 100 replication were carried out for research conducted under 72 conditions. In the process of data derivation, Rasch was used for two-category data, Partial Credit Model was used for multiple-category data. Item parameters were calculated with WinGen program and data was derived with "eRm" package of R program. Mantel-Haenszel and LORDIF analysis were used for two category data; LORDIF and ANOVA DIF analysis were used for multiple category data.  When DIF was compared within the scope of two category and multiple category scoring models which is the main purpose of this study, it was seen that when multiple category scoring was done, ratio of Type I error was lower but statistical power ratio was higher. In this context it was observed that scoring models effect DIF results and DIF results may vary considering partial credit scores. According to the findings, when sample size was increased from 600 to 2400, Type I error ratio increased, but Type I error was not significantly different based on sample size (p>.05). It was determined that when sample size was increased from 600 to 2400, statistical power rates were also increased, but statistical power ratio was not significantly different based on sample size (p>.05) except ANOVA DIF analyses. For ANOVA DIF analyses, there was a significant difference (p<.05) for sample size 600 and 2400. It was determined that there was not a significant difference (p>.05) in Type I error and statistical power ratio based on sample size ratio. It was also seen that the ratio of Type I error and statistical power was higher in 1:1 sample size ratio. When DIF item rates were increased from 10% to 50%, Type I error ratio was increased and statistical power ratio was decreased, and Type I error and statistical power ratio were significantly different compared with DIF item ratio (p<.05). The lowest of Type I error ratio and the highest statistical power ratio was found to be in the 10% ratio DIF items. It was seen that when DIF magnitudes were increased from 0.25 to 1.50, Type I error and statistical power ratio were increased and Type I error and statistical power ratio were significantly different (p<.05) based on DIF magnitude. The lowest of the Type I error ratio and the highest statistical power ratio was reported to be at 0.25 DIF magnitude.



Key words: Differential Item Functioning, Scoring Models, Rasch, Partial Credit Model, LORDIF, Mantel-Haenszel, ANOVA, Type I Error, Statistical power.