Yapay zekâ yöntemleri ile üniversite öğrencilerinin ders motivasyonlarının tahmin edilmesi
Prediction of undergraduate students' course motivation using artificial intelligence methods
Yazar: MİTHAT YAVUZARSLAN
Danışman: DOÇ. DR. ÇİĞDEM EROL
İstanbul Üniversitesi / Fen Bilimleri Enstitüsü / Enformatik Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Eğitim ve Öğretim = Education and Training

Özet:
Çevrimiçi öğrenme ortamlarında öğrencilerin derse olan ilgilerini saptamak yüz yüze öğrenme ortamlarına kıyasla daha zordur. Diğer yandan Öğrenme Yönetim Sistemleri (ÖYS), öğrencilerin çevrimiçi olarak sunulan derslerin ortam ve materyalleriyle olan etkileşimlerinden log adı verilen kayıt verisi oluşturmakta ve depolamaktadır. Söz konusu verinin yapay zekâ yöntemleriyle işlenerek öğrencilerin derse yönelik motivasyon düzeyleri ve motivasyon düzeylerini etkileyen değişkenleri ortaya çıkarmak mümkün olmaktadır. Bu çalışmada üniversite öğrencilerine ait ÖYS log verisi kullanılarak bir derse yönelik motivasyon düzeylerinin tahmin edilmesi amaçlanmıştır. Araştırma bir üniversitede 2020-2021 Güz, 2020-2021 Bahar ve 2021-2022 Güz dönemlerinde açılan Temel Bilgisayar Uygulamaları dersine kayıtlı 407 öğrenciyle yürütülmüştür. Öğrencilerden ders dönemini kapsayan 14 hafta boyunca kayıtlı oldukları dersin yürütüldüğü Moodle tabanlı ÖYS sunucusunda depolanan log kayıtları elde edilmiştir. Ayrıca öğrencilerin derse yönelik motivasyon düzeylerini belirlemek amacıyla John M. Keller tarafından geliştirilen ARCS motivasyon teorisini temel alan Derse İlgi Ölçeği (DİÖ) çalışma kapsamında Türkçe'ye uyarlama çalışmaları yapılarak uygulanmıştır.
Çalışmada iki veri seti kullanılmıştır ve birinci veri seti ile modelleme ve test işlemleri yapılmış olup ikinci veri seti ise birinci veri setiyle geliştirilen modeller için geçerleme seti olarak kullanılmıştır. Motivasyon hedef niteliği DİÖ ile elde edilen toplam puanların ikili ve üçlü sınıflara indirgenmesiyle elde edilmiştir. Çalışmada kullanılan yapay zekâ modelleri k-En Yakın Komşu, Naive Bayes, Destek Vektör Makineleri, C5.0, CART, Rastgele Orman ve Lojistik Regresyon algoritmaları ile eğitilmiştir. Performans değerlendirme amacıyla rastgele alt örnekleme, k-katlı çapraz geçerleme ve hold-out yöntemleri kullanılmış olup hold-out ile yürütülen analizlerde veri setine çeşitli yukarı örnekleme yöntemleri uygulanmıştır. Değerlendirme için ise özellikle doğruluk ve ROC değerleri performans metrikleri olarak kullanılmıştır.
Araştırmanın sonucunda ÖYS log dosyalarından elde edilen veriyle öğrencilerin derse yönelik motivasyon düzeylerini tahmin etmenin mümkün olduğu görülmüştür. Bu doğrultuda birinci ve ikinci aşama bulgularında rastgele alt örnekleme ve k-katlı çapraz geçerleme ile %70 civarında genel sınıflandırma başarısı görülürken yukarı örnekleme uygulanmış veri seti kullanılarak hold-out ile test edilen modellerin performansları %80 seviyesine yakın ölçülmüştür. Diğer yandan özellikle birinci aşamada test edilen modeller arasında en yüksek performanslar karar ağacı algoritmalarıyla (C5.0, CART ve Rastgele Orman) elde edilmiştir. Motivasyon hedef niteliğine etki eden öznitelikleri belirleyebilmek adına yüksek performans gösteren algoritmaların öznitelik önemi sıralamalarına bakılmış ve ÖYS log dosyaları ile oluşturulan özniteliklerden "ToplamOturumSuresi", "SinavOdakliCalisma" ve "SayfadaKalmaOrtalama" gibi süre ifade eden özniteliklerin derse yönelik motivasyon düzeyi üzerinde diğer özniteliklere kıyasla daha belirleyici oldukları görülmüştür. Araştırmanın sonuçları ilgili literatürdeki bulgular göz önüne alınarak tartışılmış ve gelecekte yürütülecek benzer çalışmalara dair öneriler sunulmuştur.

Abstract:
In online learning environments, determining students' interest in the course is more difficult compared to face-to-face learning environments. On the other hand, Learning Management Systems (LMS) create and store record data called logs of students' interactions with the environment and materials offered online. It is possible to reveal the motivation levels of students towards the course and the variables that affect their motivation levels by processing this data with artificial intelligence methods. This study aims to predict the motivational levels of university students towards a course using LMS log data. The research was conducted with 407 students registered for the Basic Computer Applications course opened in the Fall 2020-2021, Spring 2020-2021, and Fall 2021-2022 semesters at a university. Log records stored in the Moodle-based LMS server where students were registered for the course during the 14 weeks covering the course period were obtained from the students. Additionally, the Course Interest Scale (CIS), based on the ARCS motivation theory developed by John M. Keller, was adapted to Turkish and applied within the scope of the study to determine the students' motivation levels towards the course. 
In the study, two datasets were used considering students' LMS usage intensity and the branches they are registered for. Modeling and testing were carried out with the first data set, and the second data set was used as a validation set for the models developed with the first data set. The motivation target was obtained by reducing the total scores obtained from CIS to binary and triple classes. Artificial intelligence models used in the study were trained with k-Nearest Neighbor, Naive Bayes, Support Vector Machines, C5.0, CART, Random Forest, and Logistic Regression algorithms. Random subsampling, k-fold cross-validation, and hold-out methods were used for performance evaluation, and oversampling methods were applied to the dataset in the analyses carried out with hold-out. Accuracy and ROC values were specifically used as performance metrics.
As a result of the research, it was seen that it is possible to predict students' motivation levels towards the course using the data obtained from the LMS log files. In this direction, while around 70% overall classification success was observed with random subsampling and k-fold cross-validation in the first and second stage findings, the performances of the models tested with hold-out using the oversampled datasets were measured close to 80%. On the other hand, the highest performances among the models tested, especially in the first stage, were obtained with decision tree algorithms (C5.0, CART, and Random Forest). To determine the features that affect the motivation target property, the variable importance rankings of the algorithms with high performance were examined, and it was observed that features expressing duration such as "TotalSessionTime," "ExamFocusedStudy," and "AverageTimeOnPage" from the features created with LMS log files were effective on students' motivation towards the course. The results of the research were discussed considering the findings in the relevant literature and suggestions for similar studies to be carried out in the future were presented.