Ανάλυση συναισθήματος σε σύνολα δεδομένων από τον τομέα της εκπαίδευσης: διερεύνηση ζητημάτων διδακτικού-μαθησιακού πλαισίου
Creators: name: Δολιανίτη, Φωτεινή Σπυρίδωνα
Publisher: name: Aristotle University of Thessaloniki
Year: 2018
Subjects: Aνάλυση συναισθήματος
Eξόρυξη γνώμης
Επεξεργασία Φυσικής Γλώσσας
Mηχανική μάθηση
Eκπαίδευση
Sentiment analysis
Opinion mining
Natural Language Processing
Machine learning
Education

description: Ελληνική Περίληψη Καθώς η αλληλεπίδραση ανάμεσα στη γνώση και το συναίσθημα λαμβάνει χώρα σε κάθε μαθησιακή διαδικασία, το προφίλ του/της μαθητή/τριας θα πρέπει να επαυξηθεί με πληροφορίες σχετικά με τη συναισθηματική του/της κατάσταση. Η ανάλυση συναισθήματος (sentiment analysis) θα μπορούσε να εξυπηρετήσει αυτό το σκοπό μέσω της ανάλυσης των ιχνών της δράσης του/της μαθητή/τριας στα online περιβάλλοντα μάθησης. Ωστόσο, καθώς η επίδοση της συναισθηματικής ταξινόμησης εξαρτάται σε μεγάλο βαθμό από τον τομέα εφαρμογής, η ανάπτυξη ισχυρών εργαλείων τα οποία θα μπορούν με ακρίβεια να αναγνωρίζουν το θετικό, αρνητικό, ή ουδέτερο συναίσθημα που εκφράζουν οι μαθητές/τριες στο γραπτό τους λόγο, απαιτεί κατ' αρχάς τη σε βάθος κατανόηση των ιδιαιτεροτήτων και των ειδικών προκλήσεων που παρουσιάζει ο τομέας της εκπαίδευσης. Σκοπός της παρούσας εργασίας είναι η διερεύνηση της συναισθηματικής ταξινόμησης με μηχανική μάθηση στον τομέα της εκπαίδευσης, και πιο συγκεκριμένα, σε σύνολα δεδομένων από αυθεντικά διδακτικά-μαθησιακά πλαίσια. Αρχικά, διενεργείται μία συστηματική βιβλιογραφική επισκόπηση με στόχο να αναδείξει τις προσεγγίσεις ανάλυσης συναισθήματος που ενσωματώνουν τεχνικές μηχανικής μάθησης και εφαρμόζονται αποκλειστικά σε εκπαιδευτικά σύνολα δεδομένων. Υιοθετώντας στρατηγικές ευρείας αναζήτησης και προκαθορισμένα κριτήρια επιλογής/αποκλεισμού, από τις 6083 έρευνες που εντοπίστηκαν στις πιο γνωστές βάσεις δεδομένων (π.χ., Scopus, IEEE Xplore) και σε λίστες βιβλιογραφικών αναφορών, 29 έρευνες επιλέχθηκαν και πραγματοποιήθηκε μία σύνθεση ευρημάτων σε διαφορετικά επίπεδα. Τα τελευταία περιλαμβάνουν: μικρο-επίπεδο (καθορισμός των μεμονωμένων στοιχείων των συνόλων δεδομένων που χρησιμοποιούνται, των χαρακτηριστικών, των μεθόδων επιλογής χαρακτηριστικών καθώς και των διαδικασιών μάθησης), μεσο-επίπεδο (ευρύτερη κατηγοριοποίηση, οπτικοποίηση κατανομής και σχέσεων), μακρο-επίπεδο (συγκέντρωση μοντέλων με την καλύτερη επίδοση). Στη συνέχεια, χτίζοντας πάνω στα ευρήματα της συστηματικής βιβλιογραφικής επισκόπησης και στην ανάγκη που αυτά ανέδειξαν για περαιτέρω διερεύνηση ζητημάτων διδακτικού-μαθησιακού πλαισίου, διερευνάται πειραματικά η συναισθηματική ταξινόμηση με σύνολα δεδομένων και μεταξύ συνόλων δεδομένων από διαφορετικά, αυθεντικά διδακτικά-μαθησιακά πλαίσια, και συγκεκριμένα από αναρτήσεις φοιτητών σε φόρα δύο διαφορετικών μαθημάτων. Για καθένα από τα δύο αυτά μαθήματα αναπτύχθηκε ένας διαφορετικός συναισθηματικός ταξινομητής. Παρόλο που οι δύο ταξινομητές πέτυχαν ικανοποιητική επίδοση εντός του μαθήματος-πηγής, από 0.62 έως 0.66 στο macro-averaged F-measure και από 0.75 έως 0.82 στη μέση ακρίβεια, η επίδοσή τους μειώθηκε δραματικά κατά τη μεταφορά τους από το ένα μάθημα στο άλλο. Επιπλέον, οι ταξινομητές πολλαπλών πηγών -δηλαδή ταξινομητές που χτίστηκαν από δεδομένα περισσοτέρων του ενός μαθημάτων- παρουσίασαν χαμηλότερη επίδοση από τους ταξινομητές που εκπαιδεύτηκαν σε κάθε μάθημα μεμονωμένα, φανερώνοντας πως η τροφοδότηση περισσότερης αλλά μη εξειδικευμένης πληροφορίας δεν οδηγεί σε αύξηση της επίδοσης. Συνεπώς, τα ευρήματα της παρούσας έρευνας συνιστούν πως, στο πεδίο της ανάλυσης συναισθήματος, ο τομέας της εκπαίδευσης θα πρέπει να προσεγγιστεί με μία περισσότερο αναλυτική οπτική, στην οποία η αναζήτηση λύσεων θα γίνεται υπό το πρίσμα του διδακτικού-μαθησιακού πλαισίου και της προσπάθειας για σταδιακή αποδέσμευση από την εξειδικευμένη γνώση που αυτό απαιτεί.
description: As the interplay between cognition and emotion is involved in every learning process, student profile should be enhanced with information regarding his/her affective state. Sentiment analysis could serve this end, through the analysis of student behavioral traces in online learning environments. However, as sentiment classification performance is highly dependent on the application domain, in order to develop robust tools, that will accurately identify positive, negative and neutral sentiment in student-generated texts, an in-depth understanding of the special challenges of the educational domain is needed in the first place. The purpose of the present work is to investigate machine learning-based sentiment classification in the educational domain, and more specifically, on datasets originated from genuine teaching-learning settings. Firstly, a systematic literature review is conducted, aiming to shed light upon sentiment analysis approaches that incorporate machine learning techniques and are exclusively applied on educational datasets. Through the adoption of broad search strategies and predefined inclusion/exclusion criteria, from 6083 studies identified within the most well-known databases (e.g., Scopus, IEEE Xplore) and reference lists, 29 studies were selected and a synthesis of evidence was conducted at different levels. The latter include: micro-level (individual components definition of the datasets used, the features, feature selection methods, as well as the learning procedures), meso-level (broader categorization, distribution and relational visualization), and macro level (compilation of the models with best performance). Then, building upon the findings of the systematic review and the need they pointed out for further investigation of teaching-learning context-related issues, sentiment classification of datasets and across datasets originated from different, genuine teaching-learning settings, and more specifically, from student posts in two different courses' forums, was performed. For each of these courses, a different sentiment classifier was developed. Although the two classifiers achieved satisfactory performance in the source-course, ranging from 0.62 to 0.66 in macro-averaged F-measure and from 0.75 to 0.82 in average accuracy, their performance dropped dramatically when they were transferred between courses. Furthermore, multisource classifiers (i.e., classifiers that were built from more than one course's data) exhibited poorer performance than classifiers that were trained on individual courses, suggesting that feeding greater amounts of, yet non course-specific, information does not lead to an increased performance. Therefore, the findings of the present study suggest that, in the field of sentiment analysis, the educational domain should be approached through a more fine-grained perspective, seeking solutions in the light of the teaching-learning setting and the effort for the gradual release from the specialized knowledge the latter demands.
description: Σε συνεργασία με: Παιδαγωγικό Δημοτικής Εκπαίδευσης (Πανεπιστήμιο Ιωαννίνων)