Emotion Recognition and Classification using Neural Networks:
Creators: name: Κουπίδης, Κλεάνθης Κωνσταντίνου
Publisher: name: Aristotle University of Thessaloniki
Year: 2014
Subjects: Τεχνητά Νευρωνικά Δίκτυα
Αναγνώριση Συναισθήματος
Ταξινόμηση Συναισθήματος
Artificial Neural Networks
Emotion Recognition
Emotion Classification

description: Ο σκοπός αυτής της διπλωματικής εργασίας ήταν η αναγνώριση και η ταξινόμηση συναισθημάτων με τη χρήση Νευρωνικών Δικτύων. Μοντέλα Multilayer Perceptron εκπαιδεύτηκαν με χαρακτηριστικά μουσικής που περιγράφουν τα συναισθήματα μουσικών κομματιών, με σκοπό να ταξινομήσουν σωστά τα αντίστοιχα συναισθήματα ηλεκτροεγκεφαλογραφημάτων τα οποία περιγράφονται με χαρακτηριστικά μουσικής. Το κεφάλαιο 2 είναι μια περίληψη της ιστορίας των Τεχνητών Νευρωνικών Δικτύων, από την πρώτη νευροφυσιολογική παρατήρηση σχετικά με τη λειτουργία του εγκεφάλου από τον Αλκμαίων τον Κροτωνιάτη και τα μοντέλα των νευρονικών δικτύων που εισήγαγαν οι Warren Mc Culloch και Walter Pitts τη δεκαετία του 1940, έως την ανάπτυξη του αλγορίθμου ανάστροφης διάδοσης σφάλματος (backpropagation of error) το 1974, τους χάρτες Kohoren το 1982, τα Hopfield δίκτυα και μηχανές Boltzmann το 1985. Το κεφάλαιο 3 περιγράφει συνοπτικά τη βιολογία των νευρώνων και παρέχει ορισμένες πληροφορίες σχετικά με την αντίδραση του νευρώνα σε εισερχόμενα ερεθίσματα. Ο ορισμός των τεχνητών νευρωνικών δικτύων και η συσχέτιση ενός βιολογικού και ενός τεχνητού νευρώνα περιγράφεται στα κεφάλαια 4 και 5, αντίστοιχα. Επίσης παρουσιάζονται η βασική δομή και οι συναρτήσεις ενεργοποίησης ενός τεχνητού νευρώνα. Στα κεφάλαια 6 και 7 περιγράφονται μαθηματικά τα μοντέλα Perceptron και Multilayer Perceptron και παρουσιάζεται η βασική δομή τους. Ενώ στο κεφάλαιο 8 απαριθμούνται τα είδη μάθησης νευρωνικών δικτύων και δίνεται ιδιαίτερη έμφαση στον αλγόριθμο ανάστροφης διάδοσης σφάλματος καθώς αναφέρονται και κάποια άλλα παραδείγματα μάθησης. Το κεφάλαιο 9 περιγράφει τους ελέγχους αξιολόγησης ενός ταξινομητή που παρέχει το Weka. Ενώ στο κεφάλαιο 10 περιγράφονται πλήρως οι μετρικές αξιολόγησης, όπως η ακρίβεια, η ανάκληση, η καμπύλη ROC κλπ. Το κεφάλαιο 11 περιλαμβάνει την περιγραφή της μεθοδολογίας για την απόκτηση δεδομένων και τις απαραίτητες λεπτομέρειες προ-επεξεργασίας των δεδομένων, τα εξαγόμενα χαρακτηριστικά για την εκπαίδευση νευρωνικών δικτύων και αναφέρει τα εργαλεία που χρησιμοποιήθηκαν για αυτό το πείραμα. Επιπλέον αναφέρεται μια τεσσάρων βημάτων απόδειξη. Αρχικά, εκπαιδεύεται και αξιολογείται ένα μοντέλο MLP στην ακρίβεια ταξινόμησης του συναισθήματος 50 ηλεκτροεγκεφαλογραφημάτων με δεδομένα εισόδου τα μουσικά χαρακτηριστικά αυτών. Το δεύτερο βήμα ήταν να δημιουργηθεί μια βάση δεδομένων με τα χαρακτηριστικά των κατάλληλων μουσικών κομματιών και να εκπαιδευτεί ένα MLP που ταξινομεί σωστά το συναίσθημα. Το επόμενο βήμα ήταν να αξιολογηθεί ένα μοντέλο MLP, το οποίο έχει εκπαιδευτεί με δεδομένα εισόδου τα μουσικά κομμάτια, στην ακρίβεια πρόβλεψης του συναισθήματος από ένα σύνολο ηλεκτροεγκεφαλογραφημάτων. Και τέλος, θα δοκιμάστηκε η ακρίβεια στην ταξινόμηση του συναισθήματος ενός MLP όταν εκπαιδευτεί με δεδομένα εισόδου μουσικά χαρακτηριστικά ηλεκτροεγκεφαλογραφημάτων και μουσικών κομματιών. Στο κεφάλαιο είναι 12 παρουσιάζονται τα αποτελέσματα όλων των ελέγχων για κάθε βήμα που αναφέρθηκε στο προηγούμενο κεφάλαιο, με τις απαραίτητες απεικονίσεις των μετρικών αξιολόγησης, τα οποία αναφέρονται στο κεφάλαιο 9 και 10.
description: The goal of this work is the development of statistical recognizers and classifiers, based on Artificial Neural Networks for emotion related data. Multilayer Perceptron models were trained with musical features, in order to classify emotions in terms of suitable features of Electroencephalography signals (EEG signals). Chapter 2 is an outline of the history of Artificial Neural Networks when the first neuro philosophical observation about the brain function made by Alkmaion of Kroton and the models of neurological networks Warren Mc Culloch and Walter Pitts in the 1940s introduced, to the development of the backpropagation of error in 1974, Kohoren maps in 1982, Hopfield networks and Boltzmann machines in 1985. In chapter 3 the biology of neurons is described in brief with information about the neuron’s reaction to a received stimuli. The definition of Artificial Neural Networks and the transition from the biological to the artificial neurons described in chapters 4 and 5 respectively. The basic structure and the activation functions of an artificial neuron are represented.In chapter 6 and 7 the Perceptron and Multilayer Perceptron algorithms are represented, through their mathematical description and their basic structure in detail. While chapter 8 separates the three learning algorithms in neural networks: supervised, unsupervised and reinforcement learning. In addition, this chapter emphasizes in backpropagation of error and enumerates some other supervised and unsupervised algorithms.Chapter 9 describes the model evaluation tests provided in Weka platform. While in chapter 10 fully described the evaluation indicators, such as accuracy, precision, recall, ROC curve etc.Chapter 11 provides the description of the methodology with data acquisition and the necessary data pre-processing, the extracted features and the overview of other tools used for this experiment. Next a four step proof performed. Initially, a Multilayer Perceptron was trained and evaluated its predictions on emotion classification of musical features of 50 EEG signals. The second step was to build a database with the features of appropriate musical pieces and train a MLP that classifies appropriately the emotion. Next step was to evaluate a Multilayer Perceptron, trained with musical pieces, on how well it predicts the emotion of a set of EEG signals. And finally, we tested the accuracy on emotion classification of a Multilayer Perceptron when trained with musical features of EEG signals and of music pieces in a single database.In chapter 12 results of all tested phases with the necessary visualizations of the evaluation indicators which discussed in chapter 9 and 10 are provided.