Parametrik olmayan bilişsel tanılama, yapay sinir ağı ve DINO Modelinin sınıflandırma performanslarının karşılaştırılması
Comparison of classification performances of non-parametric cognitive diagnosis, artificial neural network and DINO Model
Yazar: EMİNE YAVUZ
Danışman: PROF. DR. HAKAN YAVUZ ATAR
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Doktora, 2021
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Bilişsel tanı modelleri = Cognitive diagnostic models ; Biçimlendirmeci değerlendirme = Formative assesment ; Sınıflandırma = Classification ; Yapay sinir ağları = Artificial neural networks ; Ölçme-değerlendirme = Measurement and evaluation

Özet:
Yapılacak ölçme ve değerlendirme etkinliklerinde, amacına en iyi şekilde hizmet edecek yöntemlerin seçilmesi önemlidir. Alanyazında Bilişsel Tanı Modelleri'nin (BTM'lerin) küçük örneklem, az madde veya fazla niteliğin olduğu bazı koşullarda öğrenciler hakkında yanlı sonuçlar verebildiği görülmektedir. Bu yanlı sonuçlardan kaçınmak için kullanılan alternatif yöntemlerin sınıflandırma oranlarının farklı koşullarda birbirleriyle karşılaştırılıp hangi yöntemin hangi koşullar altında daha iyi performans gösterdiğinin belirlenmesini amaçlayan çalışmalara ihtiyaç vardır. Bu düşünceden hareketle mevcut araştırmada, Parametrik Olmayan Bilişsel Tanılamaya (POBT) ve Yapay Sinir Ağına (YSA) ait nitelik (NSO) ve örüntü (ÖSO) düzeyi sınıflandırma oranlarının madde ve nitelik sayısı, örneklem büyüklüğü ve kayıp veri oranı koşullarında Deterministic-Input, Noisy-Or Gate (DINO) modeli temelli simülasyon veri setlerinde öncelikle birbirleriyle, daha sonra DINO modeli ile karşılaştırılmaları amaçlanmaktadır. Ek olarak POBT, YSA ve DINO modelinin sınıflandırma oranlarının benzerliklerinin PISA 2015 işbirlikli problem çözme (İPÇ) veri setlerinde, nitelik sayısı ve örneklem büyüklüğü koşullarında incelenmesi amaçlanmaktadır. Simülasyon ve betimsel araştırma deseninin kullanıldığı bu araştırmada simülasyon veri setleri karmaşık Q matris yapısı ve telafisel modellerden DINO modeli temel alınarak üretilmiştir. Araştırmada gerçek veri setleri için PISA 2015 İPÇ uygulaması seçilmiştir ve örneklem büyüklüğü faktörünün koşulları PISA 2015 İPÇ uygulamasına katılan 43 ülke ve 18170 öğrenci arasından basit seçkisiz yöntemle belirlenmiştir. Araştırmada ilk olarak simülasyon veri setleri üzerinde POBT'nin, YSA'nın ve DINO modelin nitelik (NSO) ve örüntü (ÖSO) düzeyi sınıflandırma oranları araştırma koşullarında ayrı ayrı incelenmiştir. Analizler sonucunda, nitelik sayısı (3, 5 ve 7) arttıkça POBT ve DINO modelinin NSO ve ÖSO'larının azaldığı, YSA'nın NSO'larının artarken ÖSO'larının azalıp arttığı görülmektedir. Örneklem büyüklüğünün (30, 100 ve 500) arttırılmasıyla POBT ve YSA'ya ait NSO ve ÖSO'ların değişimleri ile ilgili herhangi bir sistematikliğe rastlanmamaktadır ve örneklem büyüklüğünün artmasıyla DINO modeline ait NSO ve ÖSO'lar artmaktadır. Madde sayısının (15, 30 ve 45) arttırılmasıyla POBT ve DINO modeline ait NSO ve ÖSO'lar artarken YSA'ya ait NSO ve ÖSO'lar azalmaktadır. Kayıp veri oranının (0; 0,5 ve 0,10) arttırılmasıyla YSA'ya ait NSO ve ÖSO'ların bazı koşullarda değişmediği bazı koşullarda ise az miktarda azaldığı görülürken, POBT ve DINO modeline ait NSO ve ÖSO'lar tüm koşullarda azalmaktadır. Araştırmanın sonraki aşamasında POBT'ye, YSA'ya ve DINO modeline ait NSO ve ÖSO'ların araştırma koşullarında birlikte nasıl değiştikleri incelenmiştir. Yapılan faktöriyel ANOVA sonucunda tüm koşullarda POBT'nin, DINO modelinden biraz düşük fakat karşılaştırılabilir sınıflandırma oranlarına sahipken YSA'nın her zaman POBT ve DINO modelinden daha düşük oranlara sahip olduğu belirlenmiştir. Araştırmada son olarak PISA 2015 İPÇ veri setlerinden elde edilen POBT, YSA ve DINO modeline ait nitelik (NSOB) ve örüntü (ÖSOB) düzeyi sınıflandırma oranlarının benzerliği nitelik sayısı ve örneklem büyülüğü koşullarında incelenmiştir. Analizler sonucunda nitelik sayısı (3, 7 ve 11) arttıkça POBT, YSA ve DINO modeline ait NSOB'ların genel olarak önce azalıp sonra artarken ÖSOB'ların genel olarak azaldığı belirlenmiştir. Örneklem büyüklüğünün (30, 100 ve 500) artmasıyla ise POBT, YSA ve DINO modeline ait NSOB ve ÖSOB'ların artması, azalması veya sabit kalmasıyla ilgili herhangi bir sistematikliğe rastlanmamıştır. Sonuç olarak, mevcut araştırmada POBT ile DINO modeli sınıflandırma oranları arasındaki benzerlik hem simülasyon hem de gerçek veri setlerinde gözlemlenmektedir. Ayrıca hem simülasyon hem de gerçek veri setlerinde örneklem büyüklüğünün artmasıyla POBT ve YSA'nın sınıflandırma oranlarının ve bu oranların benzerliklerinin artış veya azalışlarında herhangi bir sistematikliğe rastlanmamıştır. Mevcut araştırmada POBT ve YSA'nın bilişsel tanılamada yeni kullanılmaya başlanması nedeniyle çeşitli koşullarda POBT ve YSA'ya ait sınıflandırma oranlarının değişimleri hakkında genellenebilir sonuçlara ulaşılamamaktadır. Bu nedenle çeşitli koşullarda, çeşitli simülasyon ve gerçek veri setlerinde POBT ve YSA'ya ait NSO ve ÖSO'ların nasıl değiştiğinin incelenmesi önerilmektedir.

Abstract:
It is important to choose the methods that will best serve the purpose of measurement and evaluation activities. In the literature, it is seen that cognitive diagnosis models (CDMs) can give biased results about students in some conditions where there is a small sample, few items or many attributes. In order to avoid these biased results, there is a need for studies aiming to compare the classification rates of alternative methods used with each other under different conditions and to determine which method performs better under which conditions. Based on this idea, in this study, it is aimed to compare the attribute (ACR) and pattern-level (PCR) classification rates of Nonparametric Cognitive Diagnosis (NPCD) and Artificial Neural Networks (ANNs) on data sets of Deterministic-Input, Noisy-Or Gate (DINO) model-based simulation firstly with each other and then with DINO model under the conditions of the attribute number, sample size, item number and missing data rate. In addition, it is aimed to examine the similarities of the classification rates of NPCD, ANN and DINO model on the PISA 2015 collaborative problem-solving (CPS) data sets under the conditions of the attribute number and sample size. In this study, in which simulation and descriptive research design was used, simulation data sets were produced based on the complex Q matrix structure and the DINO model from compensatory models. PISA 2015 CPS competency was chosen for the real data sets and the conditions of the sample size factor were determined by simple random method among 43 countries and 18170 students participating in the PISA 2015 CPS application. In the research, firstly, the ACRs and PCRs of NPCD, ANN and DINO model on the simulation data sets were examined separately under the conditions of the present research. As a result of the analysis, it is seen that as the number of attributes (3, 5 and 7) increases, the ACRs and PCRs of NPCD and DINO model decrease whereas the ACRs of ANN increase and the PCRs of ANN decrease and then increase. When the sample size is increased (30, 100 and 500), there is no systematicity regarding the changes of the ACRs and PCRs of NPCD and ANN whereas the ACRs and PCRs of DINO model increase as the sample size increases. As the number of items is increased (15, 30 and 45), the ACRs and PCRs of NPCD and DINO model increase while the ACRs and PCRs of ANN decrease. As the missing data rate is increased (0; 0,5 and 0,10), it is observed that the ACRs and PCRs of ANN do not change in some conditions, but decrease slightly in some conditions whereas the ACRs and PCRs of NPCD and DINO model decrease in all conditions. In the next stage of the research, how the ACRs and PCRs of NPCD, ANN and DINO model change together in these research conditions is examined. As a result of the factorial ANOVA, it is revealed that NPCD has slightly lower but comparable classification rates than DINO models in all conditions while ANN always has lower rates than NPCD and DINO models. Finally, in the study, the similarity of the attribute (SACR) and pattern-level classification rates (SPCR) of NPCD, ANN and DINO model obtained from the PISA 2015 CPS data sets is examined under the conditions of the attribute number and sample size. As a result of the analysis, it is determined that as the number of attributes (3, 7 and 11) increases, the SACRs of NPCD, ANN and DINO model generally decrease and then increase whereas the SPCRs generally decrease. As the sample size increases (30, 100 and 500), no systematicity is encountered regarding the increase, decrease or stay constant of the SACRs and SPCRs of NPCD, ANN and DINO model. As a result, the similarity between NPCD and DINO model classification rates is observed in both simulation and real data sets. In addition, regarding to the increase in sample size in both simulation and real data sets, no systematicity is found in the increase or decrease of the classification rates of NPCD and ANN and the similarities of these rates. In this study, since NPCD and ANN has been recently started to be used in cognitive diagnosis, generalizable results cannot be reached regarding the changes in the classification rates of NPCD and ANN under various conditions. For this reason, it is recommended to examine how the ACRs and PCRs of NPCD and ANN change in various simulation and real data sets under various conditions.