Εκτίμηση της απόλαυσης κατά τη μουσική ακρόαση μέσα από ανάλυση εγκεφαλογραφήματος με τεχνικές δυναμικών γράφων
Creators: name: Μπάκας, Στυλιανός Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Εγκεφαλογράφημα
Δυναμικοί γράφοι
Λειτουργική συνδεσιμότητα
Μουσική Αντίληψη
Διεπαφή Ανθρώπου-Υπολογιστή
Συστήματα σύστασης
EEG
Dynamic Graphs
Functional Connectivity
Music Perception
Brain-Computer Interface
Recommendation Systems

description: Στην παρούσα εργασία ερευνάται η δυνατότητα αξιοποίησης τεχνικών υπολογιστικής νοημοσύνης σε συνδυασμό με φορητές συσκευές εγκεφαλογραφίας ευρείας χρήσης, με σκοπό την επιτυχημένη πρόβλεψη της προσωπικής εκτίμησης της αξιολόγησης ενός μουσικού κομματιού από τον ακροατή. Η εργασία επιτελέστηκε σε δύο διακριτά στάδια: ένα στάδιο αναζήτησης χαρακτηριστικών και ένα στάδιο δημιουργίας εξατομικευμένων μοντέλων για τον κάθε ακροατή. Για τον σκοπό της αναζήτησης χαρακτηριστικών, διεξήχθη έρευνα για την αναζήτηση συνιστωσών της εγκεφαλικής δραστηριότητας που ξεκάθαρα αντικατοπτρίζουν την ευχαρίστηση που λαμβάνει ο ακροατής κατά την ακρόαση ενός μουσικού κομματιού. Με βάση πρόσφατες μελέτες στον τομέα της νευροεπιστήμης, η μελετή εστιάζει στην αναπαράσταση του εγκεφάλου ως πολλαπλά πολύπλοκα δίκτυα με βάση την ηλεκτρική δραστηριότητα που καταγράφηκε σε κάθε αισθητήρα του εγκεφαλογραφήματος. Για κάθε αισθητήρα η καταγεγραμμένη δραστηριότητα αποσυντέθηκε σε συνιστώσες (εγκεφαλικούς ρυθμούς) και υπολογίστηκε μία δυναμική εκτίμηση της λειτουργικής συνδεσιμότητας μεταξύ τους. Με βάση την εκτίμηση της λειτουργικής συνδεσιμότητας, δημιουργήθηκαν λειτουργικά υποδίκτυα ανάμεσα σε ζευγάρια αισθητήρων με κόμβους τους εγκεφαλικούς ρυθμούς. Μετρικές κεντρότητας από τα υποδίκτυα αυτά επέδειξαν σημαντική διαφοροποίηση ανάλογα με την αρέσκεια του ακροατή για την μουσική και συνεπώς επιλέχθηκαν ως χαρακτηριστικά για την πρόβλεψη της αξιολόγησης. Στο δεύτερο στάδιο της μελέτης, με βάση τα ευρήματά μας στο πρώτο στάδιο, σχεδιάσαμε έναν προσωποποιημένο αποκωδικοποιητή της απόλαυσης της μουσικής από τον ακροατή με βάση την εγκεφαλική του δραστηριότητα. Για την μείωση του πλήθους των διαστάσεων, εφαρμόστηκε ένα αλγόριθμος προοδευτικής διαδοχικής επιλογής των υποδικτύων για κάθε ακροατή και μία μηχανή διανυσμάτων υποστήριξης για την πρόβλεψη της απόλαυσης. Συνεπώς, δημιουργήθηκε ένας αξιόπιστος και γρήγορος στην εφαρμογή αποκωδικοποιητής της αρεσκείας της μουσικής ικανός να επιτύχει υψηλές επιδόσεις με βάση μόνο λίγα δείγματα εκπαίδευσης για κάθε ακροατή.
description: Αγγλική Περίληψη This study investigates the possibility of a using a machine-learning scheme in conjunction with recording from a commercial wearable EEG-devices for successfully predicting the listener’s subjective appraisal of music. The study consists of two distinct stages: a feature engineering stage and a personalized model generation stage. In the feature engineering stage, research was conducted to investigate neural correlates that clearly reflect music appraisal. Following the recent trends in neuroscience highlighting the importance of functional connectivity, we based our feature selection on network neuroscience. Phase amplitude coupling was used to estimate the couplings between oscillations in a time resolved manner in order to properly capture the evolving interactions between distinct brain-rhythms during music listening. The brain’s reaction to stimulation by music was first represented as a continuous flow of couplings, referring to both regional and inter-regional brain dynamics, and then modelled as an ensemble of dynamic subnetworks. Finally, we utilized network centrality measurements as features in our model due to their demonstrated differentiation depending on the listener’s appreciation of a piece of music. In the second stage of our study, we developed a music-appraisal decoder based on the dynamic-network based metrics that demonstrated the highest potential to reflect music appraisal according to our empirical observations. We created PAC-based dynamic subnetworks between each pairs of sensors and selected the optimal subset of subnetworks for each listener to effectively tackle the dimensionality of our data. Network metrics from the selected dynamic subnetworks were used as features for a Support Vector Machine for Regression aiming to predict the listener’s aesthetic appreciation of music, thus creating a fast to implement personalized decoder model for each listener capable of achieving high levels of accuracy based only on relatively few training samples.