Ortaokul öğrencilerinin matematik dersi akademik başarılarının makine öğrenmesi algoritmaları ile tahmini
Prediction of secondary school students' academic achievement in mathematics with machine learning algorithms
Yazar: BÜŞRA KARACA
Danışman: PROF. DR. MUHAMMET DEMİRBİLEK ; DOÇ. DR. TARIK TALAN
Süleyman Demirel Üniversitesi / Eğitim Bilimleri Enstitüsü / Eğitim Bilimleri Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Eğitim ve Öğretim = Education and Training

Özet:
Eğitimde dijital dönüşüm, teknolojik gelişmelerin ivme kazanmasıyla sürekli bir yükseliş trendindedir. Eğitim-öğretimin hemen her basamağında teknolojinin işe koşulması artık günümüzde oldukça yaygındır. Eğitim-öğretimin ölçme ve değerlendirme basamağında kullanılan optik okuyucularla katılımcı sayısı fazla olan sınavların değerlendirmeleri otomatik yapılmaktadır. Bu tür sınavlarda genellikle çoktan seçmeli soru formatına başvurulmaktadır. Bu tercih, değerlendirmenin otomatik sistemlerle gerçekleştirilmesi nedeniyle objektif bir değerlendirme sağlamakta ve kısa sürede sonuç alınabilmesine imkân tanımaktadır. Uluslararası alanda açık uçlu soruların otomatik değerlendirilmesine yönelik çalışmalar hız kazanmıştır ve yaygın kullanılmaktadır. Ülkemizin de dâhil olduğu TIMMS ve PISA sınavları bu durumun bir örneğidir. Ülkemizde, açık uçlu soruların otomatik değerlendirilmesi konusundaki çalışmalar henüz yeterli düzeyde değildir ve bu alandaki çabalar sınırlı kalmaktadır. Bu bağlamda, bu alanda yapılacak çalışmalara duyulan ihtiyaç kaçınılmaz bir gerçektir. Bu çalışmanın temel amacı açık uçlu matematik sorularını makine öğrenme algoritmaları ile otomatik olarak kısa sürede değerlendiren bir model oluşturmaktır. Çalışma kapsamında 350 ortaokul beşinci sınıf öğrencisinden veri toplanmış ve toplanan veriler dijital hale getirilmiştir. Çalışmada Destek Vektör Makineleri, Naive Bayes, Karar Ağacı ve K-en Yakın Komşu makine öğrenmesi algoritmaları kullanılmıştır. Metin şeklinde olan öğrenci cevaplarının sayısal temsillerini oluşturmak için TF-IDF ve BoW öznitelik çıkarımı yöntemleri kullanılmıştır. Algoritmalar Doğruluk, F1 ölçütü, Hassasiyet ve Anma performans değerlendirme ölçütleri ile değerlendirilmiştir. Çalışma sonucunda TF-IDF yöntemiyle SVM algoritması %95.14 doğruluk değeri ile en yüksek sonucu vermiştir. Geliştirilen modelin değerlendirme sonuçları, açık uçlu soruların otomatik değerlendirilebileceğini göstermektedir. Bu alanda çalışma yapacak araştırmacılara, diğer sınıf seviyelerinde, daha kapsamlı veri seti ve farklı algoritmalar da kullanılarak modelin eğitilmesi ve geliştirilmesi önerilebilir. 

Anahtar Kelimeler: makine öğrenmesi, akademik başarı, yapay zekâ, tahmin, sınıflandırma, matematik

Abstract:
Digital transformation in education is in a constant upward trend with the acceleration of technological developments. It is now very common to use technology at almost every stage of education and training. Evaluations of exams with a large number of participants are made automatically with optical readers used in the measurement and evaluation phase of education. In such exams, multiple choice question format is generally used. This choice provides an objective evaluation since the evaluation is carried out with automatic systems and allows results to be obtained in a short time. Studies on automatic evaluation of open-ended questions have gained momentum internationally and are widely used. TIMMS and PISA exams, in which our country is included, are an example of this situation. In our country, studies on automatic evaluation of open-ended questions are not yet at a sufficient level and efforts in this field remain limited. In this context, the need for studies in this field is an inevitable reality. The main purpose of this study is to create a model that automatically evaluates open-ended mathematical questions in a short time with machine learning algorithms. Within the scope of the study, data was collected from 350 secondary school fifth grade students and the collected data was digitized. Support Vector Machines, Naive Bayes, Decision Tree and K-Nearest Neighbor machine learning algorithms were used in the study. TF-IDF and BoW feature extraction methods were used to create numerical representations of student answers in text form. Algorithms were evaluated with Accuracy, F1 criterion, Precision and Ration performance evaluation criteria. As a result of the study, the SVM algorithm with the TF-IDF method gave the highest result with an accuracy value of 95.14%. The evaluation results of the developed model show that open-ended questions can be evaluated automatically. Researchers who will work in this field may be advised to train and develop the model at other grade levels by using a more comprehensive data set and different algorithms.


Keywords: machine learning, academic achievement, artificial intelligence, prediction, classification, mathematics