Bilişsel tanı ve çok boyutlu madde tepki kuramı modellerinin karşılıklı uyumlarının incelenmesi
Retrofitting of cognitive diagnosis and multidimensional item response theory models
Yazar: LEVENT YAKAR
Danışman: PROF. DR. NURİ DOĞAN
Hacettepe Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2017
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilişsel tanı modelleri = Cognitive diagnostic models ; Kesme puanlar = Cut points ; Madde Tepki Kuramı = Item Response Theory ; Uyum = Adjustment ; Çok boyutlu madde tepki kuramı = Multidimensional item response theory ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Bu araştırmada, ortak yönlere sahip olan bilişsel tanı modelleri (BTM) ve çok boyutlu madde kuramı (ÇBMTK) modellerinin birbiri yerine kullanım durumları incelenmiştir. Uyarlama olarak ifade edilen bu işlemde birey parametre kestiriminin gerçek düzeye ne derecede yakın olduğu üzerinde durulmuştur. Bu amaçla ÇBMTK'ya yakın özellikler barındıran çok kategorili bir bilişsel tanı modeli olan tam eklenir model (fully-additive model; fA-M) önerilmiştir.
Araştırma kapsamında BTM'lerden çok düzeyli genelleştirilmiş belirleyici girdi ve kapısı (polytomous generalized deterministic input noisy and gate; pG-DINA; de la Torre, 2011) ve fA-M modelleri ile 2PL ÇBMTK modeli kullanılmıştır. Her modelde madde ayırt edicilik indeksi, test maddelerinin yapılarına göre oranı, test uzunluğu ve yetenekler arası korelasyon değerleri farklılaştırılarak toplamda 54 koşul için telafi edici ve telafi edici olmayan yaklaşımlarda 108 veri seti üretilmiştir. ÇBMTK için iki boyut olarak tasarlanan yapı, BTM'ler için dörder düzeye sahip iki nitelik olarak düzenlenmiştir. ÇBMTK'de sürekli olan yetenek parametresi kesme puanları ile kategorik hale getirilerek BTM'ye benzer hale getirilmiştir. Verilerin her üç model ile analizi sonucu birey parametrelerinin doğru sınıflama oranları elde edilmiştir.
Araştırma iki alt problemde tanımlanmıştır. İlki ÇBMTK verisinin analizini içeren BTM'nin ÇBMTK'ye uyarlanması, diğeri ise BTM verilerinin analizi ile ÇBMTK'nin BTM'ye uyarlanmasıdır. Her iki alt problemde de faktörlerin sonuçlara etkisi benzer olmuştur. Sonuçlarda, kullanılan koşullardan test uzunluğu artışının birey parametre doğruluğuna artışını getiren en kuvvetli faktör olduğu görülmüştür. Test uzunluğunu sırasıyla madde ayırt edicilik ve madde yapısı oranı izlemektedir. Yetenekler arası korelasyonun varlığı ise birey parametre doğruluğuna etkisi pozitif ancak diğer faktörlere göre sınırlı olduğu görülmüştür. BTM'nin uyarlanmasını içeren ilk alt problemde telafi edici ile telafi edici olmayan verilerin analiz sonuçları arasındaki farkın az olduğu, ÇBMTK'nin uyarlanmasını içeren ikinci alt problemde ise bu farkın telafi edici veri analiz sonuçları lehine daha fazla olduğu görülmüştür.
Sonuçlar modeller açısından ele alındığında beklendiği üzere tüm veri türleri, ait oldukları modeller tarafından en yüksek doğrulukta kestirilmiştir. Uyarlama çalışmalarında ise ÇBMTK ve pG-DINA verisi fA-M tarafından, fA-M verisi ise ÇBMTK tarafından verinin ait olduğu modele yakın bir oranda doğru kestirilmiştir. ÇBMTK verisinden bilişsel tanı bilgisi alınmak istendiğinde, yeteneklerin çok kategorili niteliğe dönüştürülebilmesi durumunda fA-M uygulaması doğru bir seçenek olacaktır. Benzer şekilde fA-M verisinden sürekli yetenek puanı elde edilmek istendiğinde, nitelikler boyutlara dönüştürülebiliyorsa ÇBMTK uygulamasının kullanılması önerilmektedir. PG-DINA ve ÇBMTK'nin karşılıklı olarak uyarlamasında ise elde edilen doğru sınıflama oranları diğerlerinden düşüktür. FA-M verisinin pG-DINA ile analizi yine düşük doğrulama oranı ile sonuçlanmıştır.
Çalışma kapsamında önerilen fA-M'ın, ÇBMTK ve kendisi gibi BTM olan pG-DINA verilerini üretilen modele yakın bir doğrulukta kestirmesi modelin başarısını göstermektedir. FA-M'ın diğer çok kategorili BTM'lerden farklı olarak geliştirdiği madde yanıtlama olasılığı hesaplamasına uygun yeni modeller önerilebilir. Bu sayede fA-M'ın daha farklı verilerde de başarılı kestirimler yapabilecek ve model-veri uyumu yüksek yeni bir model ailesine öncülük edeceği düşünülmektedir.


Anahtar sözcükler: Bilişsel tanı modelleri, çok boyutlu madde tepki kuramı,
uyarlama, çok kategorili nitelik, fully additive model (fA-M).

Abstract:
In this study, interchangeable use of cognitive diagnosis models (CDM) and multidimensional item response theory (MIRT) models, which have common features, were investigated. This study can be considered as a retrofitting study, which concentrates on the accuracy of estimated person parameters to their true levels. To this end, a polytomous attribute CDM, which is referred to as fully-additive model (fA-M) with features close to MIRT, has been proposed.
In the study, polytomous generalized deterministic input noisy and gate (pG-DINA) and fA-M models from CDMs and 2PL MIRT models were used. By manipulating the item discrimination index, the ratio of item structure of test, the test length, and the correlation between the abilities; 54 conditions formed for compensatory and non-compensatory cases. Therefore, for each model, a total of 108 data sets were generated under compensatory and non-compensatory approaches. Two dimensional MIRT structure was organized as two attributes with four levels for CDM cases. Continuous person parameters in MIRT was categorized using cut-off scores to make it compatible with CDM. Correct classification rates of person parameters by the models were obtained for each dataset.
The study was characterized with two sub-questions. The first was concerned with retrofitting CDM to MIRT, which includes the analysis of MIRT data; and the other was concerned with the retrofitting MIRT to CDM by analysis of CDM data. In both sub-questions, the effect of the conditions to results was similar. In conclusion, it was seen that the increase in test length was the strongest factor that led to an increase in person parameter accuracy. The item discrimination index and the ratio of item structure of test followed the test length, respectively. The presence of a positive correlation between the abilities had limited positive influence to the accuracy of person parameters when compared to other factors. In the first sub-question involving retrofitting CDM, the difference between the results of the analysis of the compensatory and the non-compensatory data was very small. However, in the second sub-question involving the adaptation of the MIRT, it was seen that this difference was larger and favoring the compensatory data analysis.
When the results are considered in terms of models, as expected, all data types were estimated with highest accuracy by the true models. In the retrofitting cases, accuracy rates were close to true model estimation accuracy levels when MIRT and pG-DINA data analyzed by fA-M and fA-M data analyzed by MIRT. To obtain cognitive diagnostic information from the MIRT data, fA-M may be a convenient tool if abilities can be transformed into polytomous attributes. Likewise, if continuous ability score is desired from fA-M data, MIRT application is recommended if attributes can be converted into dimensions. In addition to these results, lower correct classification rates were obtained when pG-DINA data were retrofitted to MIRT, and vice versa. Furthermore, analysis of fA-M data with pG-DINA resulted in lower accuracy rate.
High classification accuracy rates of fA-M when MIRT and pG-DINA data fitted may be considered as success indicators of the proposed model. Future studies may propose new models using the success probability computation developed for fA-M. In this respect, fA-M may lead to a new model family yielding successful estimations for various datasets with high model-data fit.


Keywords: Cognitive diagnossis models, multidimensional item response theory,
retrofitting, polytomous attribute, fully additive model (fA-M).