Değişen madde fonksiyonu gösteren madde oranının bireyselleştirilmiş bilgisayarlı ve çok aşamalı testler üzerindeki etkisi
The effect of item ratio indicating differential item functioning on computer adaptive and multi stage tests
Yazar: BAŞAK ERDEM KARA
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2019
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilgisayar destekli = Computer aided ; Bilgisayar ortamında bireyselleştirilmiş test = Computerized adaptive testing ; Bireyselleştirilmiş testler = Individual tests ; Değişen madde fonksiyonu = Differential item function ; Testler = Tests ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu çalışmanın amacı, değişen madde fonksiyonu (DMF) gösteren maddelerin bulunduğu testlerde bireyselleştirilmiş bilgisayarlı test yaklaşımlarının (BBT ve ÇAT) performansının farklı koşullar altında incelenmesidir. Hem bireyselleştirilmiş bilgisayarlı testlerin (BBT) hem de çok aşamalı testlerin (ÇAT) DMF'li maddelerden ne şekilde etkilendiği farklı test uzunlukları (10-20-30 ve 40 madde) ve DMF'li madde oranları (%10 - %20 ve %30) altında araştırılmıştır. Bu amaçla, simülasyon yöntemi ile 5000 kişilik birey grubuna ilişkin yetenek parametreleri ve 600 maddelik bir havuz oluşturulmuş, havuzdaki maddelerin bir kısmı araştırmacı tarafından güçlük parametreleri değiştirilerek DMF'li hale getirilmiştir. Daha sonra, bir BBT ve iki ÇAT ortamı (1-3-3 ve 1-2-4 panel desenleri) RStudio üzerinde 'xxIRT', 'catR' ve 'mstR' paketleri yardımıyla oluşturulmuş; oluşturulan ortamlar aynı madde havuzu ve aynı bireyler üzerinden karşılaştırılmıştır. Çalışmada toplam 36 koşul, 30 replikasyon ile incelenmiştir. Simülasyonlar sonucunda, RMSE, yanlılık ve korelasyon değerleri hesaplanmış ve bu değerler aracılığıyla test desenlerinin performansları değerlendirilmiştir. Araştırma sonucunda, tüm test uzunlukları ve DMF oranı koşulları boyunca en iyi ölçüm hassasiyetini BBT deseninin sağladığı görülmüştür. ÇAT 1-3-3 ve 1-2-4 desenleri kıyaslandığında ise, 1-3-3 deseninin daha fazla koşulda yüksek ölçüm hassasiyeti sunduğu; ancak 1-2-4 desenine kıyasla daha yüksek performans gösterdiğini söylemek için bulguların yeterli olmadığı sonucuna varılmıştır. Ayrıca, DMF'li madde oranının artışından en az etkilenen desenin BBT deseni olduğu, ÇAT'ların ise özellikle 10 maddelik testte bu artıştan etkilendiği görülmüştür. Üç desen için de test uzunluğu arttıkça RMSE ve yanlılık değerinin düştüğü, korelasyon değerinin ise arttığı gözlenmiştir. Dolayısıyla madde sayısındaki artış ölçüm hassasiyetini de artırmıştır.

Abstract:
The aim of this study was to investigate the effect of the presence of items indicating differential item functioning (DIF) on computer adaptive test approaches (CAT and MST) performance under several conditions. Both computer adaptive tests (CAT) and multi stage tests (MST) were investigated in terms of the fact that how they were affected by DIF items and how they perform under differents test length (10-20-30-40 item) and DIF item ratio (%10, %20, %30). For this purpose, 5000 persons' ability parameters and an item pool of 600 items were generated with simulation method and some of the items on the pool were made DIF items by changing b (item difficulty) parameters by the researcher. Then, one CAT and two MST environments (1-3-3 and 1-2-4 designs) were generated on RStudio by using 'xxIRT', 'catR' and 'mstR' packages. Those generated environments were compared over same individuals and item pool. In this study, 36 different condition were investigated with 30 replication. After simulation process; RMSE, bias and correlation values were calculated and those values were used in order to evaluate test designs's performances. As a result, it was seen that CAT has the best measurement precision over all test lengths and DIF ratio conditions. When MST 1-3-3 and 1-2-4 panel designs were compared, it was found that 1-3-3 design has higher measurement precision in more conditions; however, it was concluded that the findings were not enough to say that it performed better than 1-2-4 design. In addition to that, CAT was found to be the least affected design by the increase of DIF item ratio. MST designs were affected by that increament especially in 10-item length. As the test length increased it was seen that RMSE value decreased and correlation value increased for all test designs. Therefore, increase in test length resulted in an increase in the measurement precision.