Yabancı dil yeterlik sınavı maddelerinin sınıflandırılmasında farklı metin madenciliği algoritmalarının sınıflama doğruluklarının karşılaştırması
A comparison of classification accuracy of different text mining algorithms in classification of foreign language proficiency exam items
Yazar: HÜSEYİN ATASEVEN
Danışman: PROF. DR. ÖMAY ÇOKLUK BÖKEOĞLU
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı / Eğitimde Ölçme ve Değerlendirme Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Makine öğrenmesi = Machine learning ; Makine öğrenmesi yöntemleri = Machine learning methods ; Metin madenciliği = Text mining ; Sınıflandırma = Classification ; Yabancı dil = Foreign language ; Yabancı dil seviyesi = Foreign language level ; Yeterlilik = Sufficiency

Özet:
Bu çalışmanın amacı yabancı dil yeterlik sınavı maddelerinin sınıflandırılmasında farklı metin madenciliği algoritmalarının sınıflama doğruluklarının karşılaştırılmasıdır. Bu çalışmada ÖSYM tarafından 2006 - 2012 yılları arasında gerçekleştirilmiş ÜDS İngilizce testlerine (N=42) ait maddeler incelenmiştir. Fen Bilimleri (n=956), Sağlık Bilimleri (n=956) ve Sosyal Bilimler (n=956) alanlarına ait test maddeleri (N=2868) k-En Yakın Komşu (kNN), Naïve Bayes (NB), Naïve Bayes-Kernel (NB-K), Rastgele Orman (RF) ve Destek Vektör Makineleri (SVM) algoritmaları ile sınıflandırılmıştır. 
Ön işleme adımlarından sonra, genel ve üç alan özelinde sözcük frekansları elde edilmiştir. Parametre optimizasyonlarının sonrasında, üç alana ilişkin maddelerin ikili ve çoklu sınıflandırılması gerçekleştirilmiştir. Fen Bilimleri ve Sağlık Bilimleri maddelerinin ikili sınıflandırma doğrulukları NB-K (%90.60), kNN (%90.23), RF (%86.84), SVM (%86.84) ve NB (%83.08); Fen Bilimleri ve Sosyal Bilimler maddelerinin ikili sınıflandırma doğrulukları kNN %89.10, NB-K (%88.35), SVM (%85.34), RF (%84.59) ve NB (%78.20); Sağlık Bilimleri ve Sosyal Bilimler maddelerinin ikili sınıflandırma doğrulukları SVM (%92.48), kNN (%91.35), RF (%89.10), NB (%87.22) ve NB-K (%86.47) olarak belirlenmiştir. Üçlü sınıflandırılma doğrulukları kNN (%84.96), NB-K (%83.96), RF (%80.45), SVM (%78.70) ve NB (%71.93) olarak belirlenmiştir. 
Uzman görüşü ve çapraz doğrulama yöntemi ile veri setinde sınıflama doğruluğuna zarar verdiği belirlenen maddelerin (n=325) veri setinden çıkarılmasının, sınıflama doğruluğuna etkilerini belirlemek için ikili ve çoklu sınıflandırmalar tekrarlanmıştır. İkili sınıflandırmalarda, NB (X̄=%9.83), NB-K (X̄=%9.12), RF (X̄=%8.82), SVM (X̄=%8.75) ve kNN (X̄=%7.39); çoklu sınıflandırmada NB (%17.89), SVM (%15.31), NB-K (%12.15), RF (%11.47) ve kNN (%10.58) manidar sınıflama doğruluğu artışları elde edilmiştir (p<.05). kNN algoritmasının sınıflama doğruluğuna zarar veren maddelerden en az etkilenen algoritma olduğu belirlenmiştir.

Abstract:
The aim of this study is to compare the classification accuracy of different text mining algorithms in the classification of foreign language proficiency examination items. In the study, previous test items from ÜDS English tests (N=42) held between 2006 and 2012 by ÖSYM were analysed. Natural and Applied Sciences (n=956), Health Sciences (n=956) and Social Sciences (n=956) test items (N=2868) were classified with k-Nearest Neighbours (kNN), Naïve Bayes (NB), Naïve Bayes-Kernel (NB-K), Random Forest (RF) and Support Vector Machines (SVM) algorithms. 
After the pre-processing step, domain specific and general word frequencies were obtained. Following the parameter optimizations, binomial and multiclass classifications of the items from three domains were executed. The binary classification accuracies were obtained as Natural and Applied Sciences vs. Health Sciences items, NB-K (90.60%), kNN (90.23%), RF (86.84%), SVM (86.84%) and NB (83.08%); Natural and Applied Sciences vs. Social Sciences items, kNN (89.10%), NB-K (88.35%), SVM (85.34%), RF (84.59%) and NB (78.20%); Health Sciences vs. Social Sciences items, SVM (92.48%), kNN (91.35%), RF (%89.10%), NB (87.22%) and NB-K (86.47%). The multiclass classification accuracy was obtained as kNN (84.96%), NB-K (83.96%), RF (80.45%), SVM (78.70%) and NB (71.93%). 
Binomial and multiclass classifications were repeated to determine the effects of the removal of the items, which were determined to be damaging the classification accuracy by expert opinion and cross-validation method, from the data set. Significant increase in classification accuracy in the binomial classifications, NB (X̄=9.83%), NB-K (X̄=9.12%), RF (X̄=8.82%), SVM (X̄=8.75%) and kNN (X̄=7.39%); in the multiclass classification, NB (17.89%), SVM (15.31%), NB-K (12.15%), RF (11.47%) and kNN (10.58%) was obtained (p<.05). kNN was determined to be the least affected from the items that damage the classification accuracy.