Ταξινόμηση ηχητικών σημάτων με αλγορίθμους βαθιάς μάθησης
Creators: name: Μελισσάς Μπαλτζής, Πασχάλης Ανδρέα
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: μηχανική μάθηση
αλγόριθμοι ταξινόμησης
περιβαλλοντικοί ήχοι
machine learning
classification algorithms
environmental sounds

description: Δεδομένης της ποικιλομορφίας που διέπει τη φύση των περιβαλλοντικών θορύβων καθώς και τις εκβάσεις στις οποίες αυτοί παρουσιάζονται στον πραγματικό κόσμο, η χρήση πολλαπλών ηχητικών αναπαραστάσεων, η οποία και στοχεύει σε ένα γενικευμένο πλαίσιο εφαρμογής, καθίσταται αναγκαία για την παραγωγή ασυσχέτιστων προτύπων μεταξύ των πολύμορφων περιβαλλοντικών κλάσεων. Σήμερα, τα συστήματα αναγνώρισης περιβαλλοντικών ήχων των τεχνολογιών αιχμής του κλάδου έχουν επιτύχει υψηλές επιδόσεις ταξινόμησης εφαρμόζοντας πολλαπλά κανάλια ηχητικών αναπαραστάσεων και μηχανισμών προσοχής, παρ’ όλα αυτά εξακολουθούν να περιορίζονται σε ένα πεπερασμένο πλήθος σημασιολογικών κλάσεων. Για το λόγο αυτό η παρούσα εργασία, συνδυαστικά με τους εκπαιδευτικούς της στόχους, αποβλέπει στην έρευνα γύρω από ζητήματα κατάλληλης διαμόρφωσης δημοφιλών και κοινότυπων ηχητικών αναπαραστάσεων που βάσει βιβλιογραφίας χρησιμοποιούνται εκτενώς, προκειμένου να εξάγουμε χρήσιμα συμπεράσματα αναφορικά με την γενίκευση και βελτίωση των υφιστάμενων συστημάτων αναγνώρισης περιβαλλοντικών ήχων. Κατά συνέπεια, στην εργασία αυτή συγκρίναμε την απόδοση παραμέτρων διαμόρφωσης διαφόρων ηχητικών χαρακτηριστικών σε προβλήματα αναγνώρισης περιβαλλοντικών ήχων αναπτύσσοντας μοντέλα μηχανικής μάθησης. Ειδικότερα, χρησιμοποιήσαμε τις ακατέργαστες κυματομορφές, τα mel-λογαριθμικά φασματογραφήματα και το γρήγορο μετασχηματισμό Fourier ως αναπαράσταση των ηχητικών αρχείων, κάνοντας χρήση δύο διαφορετικών σετ δεδομένων. Εν τέλει ορίστηκαν τέσσερις πειραματικές διαδικασίες και δύο διαφορετικές εκδοχές ηχητικών αναπαραστάσεων για την κάθε μια, για την αξιολόγηση και την αντικειμενική σύγκριση των οποίων αναπτύχθηκαν υβριδικά CNN μοντέλα. Παράλληλα με τις συγκρίσεις των εκδοχών του εκάστοτε πειράματος, συγκρίναμε τις αποδόσεις μεταξύ των δύο σετ δεδομένων σε κάθε πειραματική εκδοχή εξετάζοντας δομικά χαρακτηριστικά τους, καθώς και παράγοντες της κατανομής των δεδομένων σε διάφορες εκφάνσεις. Τα παραπάνω μας επέτρεψαν παράλληλα να αναζητήσουμε ενδεχόμενες μονομερείς συσχετίσεις μεταξύ ηχητικών χαρακτηριστικών και σημασιολογικών κλάσεων περιβαλλοντικού περιεχομένου
description: Taking into consideration the dynamic nature that describes environmental noises and also the way they tend to be presented in the real world, the inclusion of multiple audio features as audio representation of the raw audio data, which in turn aims to generalization, is thought to be essential for the production of discriminative patterns among multi-formed environmental classes. State-of-the-art ESC systems have already achieved high classification performances by implementing multiple feature channels and attention mechanisms. However, they are still limited to a finite quantity of semantic classes. Due to this fact, this dissertation, in combination with our educational motivations, investigates matters related to the proper configuration of wide-used audio features, so as to come to conclusions that are associated with the update of current state-of-the-art systems, as far as the approach of generalization, and thus improvement is concerned. Consequently, in this thesis we compared the performance of multiple feature parameters for environmental sound classification problems by developing multiple evaluating models. Specifically, as audio representation of two different datasets, we used raw waveforms, log-mel spectrograms and short-time Fourier transforms. Finally we set four different experiments and each one of them was divided in two discrete audio representation modes. For their evaluation and also for comparability purposes we developed hybrid CNN models. Along with comparing each mode within each experiment, we also compared the performances achieved by using each different dataset through inspecting and examining the factors of structure, the technical features and various prospects of the initial data distribution, respectively for each dataset. The nature of this research additionally enabled us to seek for potential environmental class-conditional audio features
description: Σε συνεργασία με το τμήμα Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)