Conditional machine learning architectures for harmonic and rythm music generation
Authors: Μακρής Δημοσθένης 
Published: September 2021

Ο τομέας της Αλγοριθμικής Σύνθεσης Μουσικής (AMC) ασχολείται με την δημιουργία ενός καθορισμένου συστήματος που έχει ως σκοπό την αυτόματη σύνθεση μουσικής. Θεωρείται, μια από τις πιο δημοφιλείς εφαρμογές του ευρύτερου πεδίου της Ανάκτησης Πληροφορίας από Μουσική (MIR) με αμέτρητες δημοσιεύσεις τα τελευταία χρόνια. Η παρούσα διατριβή διαπραγματεύεται την δημιουργία καινοτόμων AMC αρχιτεκτονικών για αρμονική και ρυθμική σύνθεση μουσικής. Επιπροσθέτως, συνεισφέρει έμμεσα και σε άλλες σχετικές MIR εφαρμογές όπως στην δημιουργία συνόλων μουσικών δεδομένων (datasets) για χρήση στην MIR κοινότητα, και ανάπτυξη αλγορίθμων για διαχωρισμό φωνών σε συμβολικά δεδομένα (π.χ. MIDI αρχεία). Συνολικά τα κυριότερα επιτεύγματα και συνεισφορές της διατριβής συνοψίζονται ως εξής: - Την δημιουργία του πρώτου dataset που περιέχει Ελληνική παραδοσιακή και σύγχρονη μουσική με την ονομασία Greek Music Dataset (GMD). Συγκεκριμένα πρόκειται για μια συλλογή από 1400 κομμάτια για τα οποία προσφέρονται: (α) προ-υπολογισμένα feature sets για ήχο, στίχους και συμβολική αναπαράσταση, (β) επισημειώσεις για το είδος της μουσικής και τα συναισθήματα που προκαλούν, (γ) τα αντίστοιχα MIDI αρχεία για 500 επιλεγμένα κομμάτια του dataset και (δ) επιλεγμένο YouTube link που αντιστοιχεί σε κάθε κομμάτι. Σύμφωνα με την σχετική έρευνα το GMD μπορεί να θεωρηθεί ένα από τα μεγαλύτερα datasets όσο αφορά την συμβολική πληροφορία που παρέχει. - Η επέκταση και βελτίωση ενός Rule-Based αλγορίθμου για διαχωρισμό φωνών σε συμβολικά δεδομένα υπό την ονομασία VISA3. Η αναθεώρηση του αλγορίθμου βασίζεται στις προηγούμενες εκδόσεις του, με την εισαγωγή νέων μουσικών κανόνων και διορθώσεις γνωστών σφαλμάτων που μείωναν την απόδοση του σε άλλα είδη μουσικής πέρα τη κλασσικής. Επίσης διαφέρει από άλλες σχετικές προσπάθειες που συναντάμε στην βιβλιογραφία, καθώς ορίζει τον όρο voice (φωνή) ως μια αντιλαμβανόμενη ακολουθία νοτών που δεν απαραίτητα μονοφωνική. Επιπλέον, παρουσιάζεται ένα καινούργιο, υποσύνολο του, το οποίο είναι επισημειωμένο από music experts. Τα αποτελέσματα υποδεικνύουν την σημαντική βελτίωση απόδοσης του αλγορίθμου που επιτυγχάνεται με τις προτεινόμενες αναθεωρήσεις. - Την δημιουργία του πρώτου probabilistic συστήματος που εξετάζει το Voice Leading της μπάσας γραμμής στον τομέα της Αυτόματης Μελωδικής Εναρμόνισης, έχοντας ως κίνητρο ότι οι περισσότερες σχετικές προσεγγίσεις δεν λαμβάνουν υπόψη την οριζόντια κίνηση των φωνών σε ένα τέτοιο σύστημα. Το σύστημα αυτό είναι συνδυασμός probabilistic και στατιστικών μοντέλων όπου καθορίζει την κίνηση της μπάσας γραμμής μέσα στην εναρμόνιση υπό τις εξής συνθήκες: (α) την χρησιμοποίηση ενός Hidden Markov μοντέλου που μελετάει την κίνηση της μπάσας γραμμής σε σχέση με την μελωδία, (β) στατιστικά που αφορούν την κατά απόλυτο απόσταση μεταξύ μελωδίας και μπάσου και (γ) στατιστικά σχετικά με τις αναστροφές και τους διπλασιασμούς στην παρούσα συγχορδία. Τα αποτελέσματα, με χρήση διάφορων μουσικών ιδιωμάτων, δείχνουν ότι η προτεινόμενη μεθοδολογία αποτυπώνει τα χαρακτηριστικά του κάθε ιδιώματος, οδηγώντας στο συμπέρασμα για την αποτελεσματικότητα του καθορισμού της μπάσας φωνής κατά την μελωδική εναρμόνιση. - Την δημιουργία μιας καινοτόμου αρχιτεκτονικής Νευρωνικών Δικτύων Βαθιάς Μάθησης με τίτλο Conditional Neural Sequence Learners (CNSL) για ρυθμική σύνθεση, και πιο συγκεκριμένα για τύμπανα. Αν λάβουμε υπόψη την μουσική ως μια ακολουθία γεγονότων με πολλαπλές και πολύπλοκες εξαρτήσεις σε διάφορα επίπεδα, οι αρχιτεκτονικές βασισμένες σε LSTM δίκτυα έχουν αποδειχθεί πολύ αποτελεσματικές στην εκμάθηση και σύνθεση ενός συγκεκριμένου μουσικού στυλ. Ωστόσο αδυνατούν να ενσωματώσουν εύκολα εξωγενείς παραμέτρους οι οποίες δεν ορίζονται κατά την διάρκεια της εκμάθησης (training). Για να αντιμετωπιστεί αυτό το πρόβλημα προτείνεται η παράλληλη χρήση ενός Feed-Forward (FF) νευρωνικού δικτύου, το οποίο ονομάζεται Conditional Layer. Η κύρια συνεισφορά αυτής της αρχιτεκτονικής βασίζεται στην ικανότητα των CNSLs να συνδυάζουν την έμμεση εκμάθηση (με βάση τα LSTMs) του ζητούμενου οργάνου, σε συνδυασμό με της ρητά καθορισμένες μουσικές συνθήκες του χρήστη (Conditional Layer). Επίσης παρουσιάζονται τρεις παραλλαγές της αρχιτεκτονικής που βασίζονται σε διαφορετικές αναπαραστάσεις της μουσικής πληροφορίας. Μετά από μια σειρά πειραμάτων, τα αποτελέσματα αναδεικνύουν την αποτελεσματικότητα της CNSL αρχιτεκτονικής στην αυτόματη σύνθεση τυμπάνων καθώς: (α) συνθέτουν με βάση το είδος μουσικής όπου έγινε η εκμάθηση, και (β) καταφέρνουν να παράγουν συνθέσεις που ανταποκρίνονται στις απαιτήσεις (conditions) του χρήστη, ακόμα και αν αυτές δεν ήταν γνωστές στο δίκτυο κατά την διάρκεια εκμάθησης.