Προγνωστική μοντελοποίηση της εγκατάλειψης μαθητών στα MOOCs και αυτορυθμιζόμενη μάθηση
Creators: name: Χατζιδάκη, Θεανώ Κίσσανδρου
Publisher: name: Aristotle University of Thessaloniki
Year: 2022
Subjects: Μαζικά Ανοιχτά Διαδικτυακά Μαθήματα
Αυτορυθμιζόμενη Μάθηση
Πρόβλεψη
Εγκατάλειψη
Αυτοαναφερόμενα δεδομένα
MOOC
SRL
Prediction
Dropout
Self-reported data

description: Σκοπός της παρούσης εργασίας είναι να εξετάσει την προγνωστική απόδοση 5 κλασικών αλγόριθμων επιβλεπόμενης μηχανικής μάθησης (NB, LR, SVM, DT, kNN) και την επίδραση σε αυτή των αυτοαναφερόμενων από τους μαθητές δεδομένων SRL καθώς και άλλων δημοφιλών χαρακτηριστικών των MOOC όπως δημογραφικών, πρόθεσης συμμετοχής, επίδοσης, εμπειρίας στο αντικείμενο κ.α. Για το σκοπό αυτό χρησιμοποιούμε τα δεδομένα του MOOC συγκεκριμένης διάρκειας, με ρυθμό μελέτης καθοδηγούμενο από το δάσκαλο, «Προγραμματισμός σε Python για μη-Προγραμματιστές» (https://colmooc.gunet.gr/). Ο γενικός στόχος της μελέτης είναι η εξέταση των παραγόντων που συμβάλλουν στην έγκαιρη πρόγνωση της εγκατάλειψης του MOOC με σκοπό να προσδιοριστούν νωρίς οι μαθητές σε κίνδυνο να το εγκαταλείψουν και να υποστηριχθούν μέσω εποικοδομητικών παρεμβάσεων ώστε να το ολοκληρώσουν με επιτυχία. Έμφαση δίνεται στη χρήση του παράγοντα SRL καθώς έχει αποδειχθεί ότι μαθητές με υψηλότερο δείκτη SRL επιτυγχάνουν καλύτερα μαθησιακά αποτελέσματα. Τα ερευνητικά ερωτήματα της Διπλωματικής Εργασίας αφορούν τα εξής: (1) Ποια είναι η επίδραση του παράγοντα SRL, όπως αυτός προσδιορίζεται από αυτοαναφερόμενα δεδομένα των μαθητών, στην απόδοση της πρόγνωσης εγκατάλειψης; (2) Ποια είναι η απόδοση των 5 κλασικών μοντέλων (NB, LR, SVM, DT, kNN) στην πρόγνωση της εγκατάλειψης; Πρώτα από όλα, γίνεται συνοπτική ανασκόπηση της βιβλιογραφίας για τα MOOC, την Αυτορυθμιζόμενη Μάθηση (SRL) και τη Μαθησιακή Αναλυτική (LA). Η εργασία εστιάζει στο επίμονο πρόβλημα του μεγάλου ποσοστού εγκατάλειψης που απασχολεί την επιστημονική κοινότητα, και των υποστηρικτικών για το ζήτημα αυτό παρεμβάσεων με τη συμβολή της Μαθησιακής Αναλυτικής. Η ανασκόπηση της βιβλιογραφίας κλείνει με αναφορά στην προγνωστική μοντελοποίηση της εγκατάλειψης μαθητών στα MOOCs. Στη συνέχεια γίνεται αναφορά στη σχεδίαση του MOOC, τα δεδομένα του οποίου χρησιμοποιεί η εργασία στο πρακτικό μέρος. Αναπτύχθηκε εφαρμογή στο οικοσύστημα της Python/scikit η οποία υποστηρίζει την προγνωστική μοντελοποίηση για το MOOC. Τα δεδομένα από 2 παρόμοια MOOC ανακτώνται και υφίστανται την απαραίτητη προ-επεξεργασία προτού τροφοδοτήσουν τα προγνωστικά μοντέλα για συνδυασμούς χαρακτηριστικών που επιλέγει ο χρήστης. Παρουσιάζεται η απόδοση των μοντέλων στα δεδομένα του πρώτου MOOC με χρήση δημοφιλών μετρικών του τομέα και γίνεται επαλήθευση της προγνωστικής απόδοσης στα δεδομένα του δεύτερου MOOC ώστε να διαπιστωθεί η μεταφερσιμότητά τους σε επόμενες διεξαγωγές του MOOC. Τα βασικά συμπεράσματα της εργασίας είναι ότι αυτοαναφερόμενα δεδομένα των μαθητών σχετικά με το προφίλ SRL έχουν μικρή προγνωστική ισχύ όταν χρησιμοποιούνται από κλασικά μοντέλα μηχανικής μάθησης, είτε αυτούσια είτε σε συνδυασμό με άλλα δεδομένα πρώιμα διαθέσιμα όπως άλλωστε έχει διαπιστωθεί στην τρέχουσα επιστημονική βιβλιογραφία. Δεδομένα επίδοσης των μαθητών, λαμβανόμενα την πρώτη εβδομάδα του MOOC βελτιώνουν ελαφρά την απόδοση της πρόγνωσης. Προτείνουμε ο παράγοντας SRL να προσδιοριστεί με μεγαλύτερη λεπτομέρεια από συνδυασμό αυτοαναφερόμενων δεδομένων και δεδομένων συμπεριφοράς των μαθητών. Τα μοντέλα που χρησιμοποιήσαμε έχουν μικρή προγνωστική ισχύ, ξεχώρισε ελαφρά το kNN και ακολούθησε το DT. Η bagging μορφή τους δεν συνέβαλε στη βελτίωση της προγνωστικής απόδοσης. Ο συνδυασμός των σημαντικών χαρακτηριστικών ενίοτε αυξάνει την απόδοση της πρόγνωσης. Στα δεδομένα των 2 MOOC οι κλάσεις διαφέρουν σημαντικά ως προς τον αριθμό των δειγμάτων και οι αλγόριθμοι NB, LR, SVM δεν κατάφεραν να συμβάλουν στον έγκαιρο εντοπισμό των μαθητών σε κίνδυνο
description: The scope of this Diploma Thesis is to explore prediction performance of 5 classical supervised machine learning algorithms (NB, LR, SVM, DT, kNN) as well as the impact on it of self-reported SRL factor and other popular MOOC features, such as demographics, experience, intention to participate, performance etc. We use instructor-paced MOOC entitled "Programming in Python for non-Developers" (https://colmooc.gunet.gr/). The general objective of the study is to examine the factors that contribute mostly to the early prediction of MOOC dropout having the aim to identify at-risk students as soon as possible so that they can be further supported by carefully designed interventions. Emphasis is given on the impact of the SRL factor, as it has been shown that students with a higher SRL score achieve better learning outcomes. Overall, the Diploma Thesis presents the contribution of Learning Analytics to the early prediction of MOOC dropout by taking into consideration the SRL factor as well as other popular features. The research questions of the Diploma Thesis concern the following: (1) What is the effect of self-reported SRL factor on the early prediction performance? (2) What is the prediction performance of the 5 classical models? First of all, there is a brief review of the literature on MOOCs, Self-Regulation Learning (SRL) and Learning Analytics (LA). The Diploma Thesis focuses on the persistent problem of high dropout rates in the MOOCs and the need to identify at-risk students as soon as possible. The literature review closes with a reference to predictive modelling in MOOCs. Next, reference is made to the design of the MOOC whose data is analysed in the implementation part of the thesis. An application has been developed in the Python / scikit ecosystem to support predictive modelling for the given MOOC. First of all, data is retrieved and pre-processed. Then, a variety of techniques propose sets of important features to support researcher-user’s decision making on the selection of predictors. Finally, the application presents the predictive performance of the models for the selected predictors by using popular metrics of the field. The prediction performance is verified in next MOOC run’s data to determine whether the models are transferable to subsequent MOOC runs. The main conclusions of the Diploma Thesis are that SRL profile identified by self-reported data has little predictive power when used by classical machine learning models, either by itself or in combination with other early available data. Our findings are consistent with these referred in the current scientific literature. Performance data, obtained from the first week of the MOOC run slightly improve prediction performance. The SRL factor needs to be identified in more detail. We, therefore, recommend the identification of SRL factor from a combination of self-reported and behavioral data