Τεχνικές χωρο-χρονικής κατάτμησης και αναγνώρισης ήχου
Creators: name: Βρύζας, Νικόλαος Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2016
Subjects: ηχητικός εντοπισμός
μηχανική μάθηση
πολυτροπικό
sound localization
machine learning
multimodal

description: Οι νέες τεχνικές και υπολογιστικές δυνατότητες για την καταγραφή και την ανάλυση οπτικοακουστικής πληροφορίας ανοίγουν νέα πεδία στην πολυμεσική διάδραση και τη σημασιολογική ανάλυση του καταγραφόμενου υλικού. Στα πλαίσια της παρούσας εργασίας προτείνεται μία πολυτροπική μέθοδος ανίχνευσης οπτικοακουστικού συμβάντος, εντοπισμού, παρακολούθησης και αναγνώρισης, με πολλές πιθανές εφαρμογές στην κάλυψη εκδηλώσεων και την επισήμανση οπτικοακουστικών αρχείων. Η διαδικασία αφορά την αναγνώριση χωρικού ηχητικού συμβάντος, την αναγνώριση και τον ηχητικό εντοπισμό του ομιλητή, τον οπτικό εντοπισμό και παρακολούθησή του και την εξαγωγή σημασιολογικής πληροφορίας. Η μέθοδος παρουσιάζεται μέσα από ένα αφαιρετικό μοντέλο μπλοκ διαγράμματος, κάθε μπλοκ του οποίου επιτελεί μια λειτουργία και αλληλεπιδρά με τις υπόλοιπες, είναι όμως ανεξάρτητο σε επίπεδο σχεδιασμού και επιδέχεται περισσότερες από μία λύσεις. Για την αυτόματη κατάτμηση των καταγραφών βάσει των συμπερασμάτων της ανάλυσης, υλοποιείται εφαρμογή σε C# με γραφικό περιβάλλον διεπαφής, για τη δημιουργία αρχείων σελιδοδεικτών. Προτείνοντας λύσεις για όλα τα στάδια της διαδικασίας, η διερεύνηση γίνεται κυρίαρχα για την ηχητική αναγνώριση, που είναι το βασικό θέμα της εργασίας, ενταγμένο όμως μέσα στον γενικότερο σχεδιασμό της πολυτροπικής ανάλυσης. Δημιουργούνται πρωτότυπα αρχεία ήχου, τόσο πολυκαναλικά, όσο και μονοκαναλικά για να εκπαιδευτούν μοντέλα αναγνώρισης ήχου. Η εκπαίδευση γίνεται μέσα από ένα αρχικό υπερσύνολο ηχητικών χαρακτηριστικών που εξάγονται από τα αρχεία ήχου. Τα χαρακτηριστικά αξιολογούνται μέσω αλγορίθμων και επιλέγονται υποσύνολα εκπαίδευσης με τα επικρατέστερα χαρακτηριστικά, ενώ τροφοδοτούν διαφορετικούς αλγορίθμους μηχανικής μάθησης που εκπαιδεύουν μοντέλα ταξινομητών. Η αξιολόγηση των αλγορίθμων και των επιλεγόμενων χαρακτηριστικών γίνεται με βάση μια σχέση ακρίβειας-υπολογιστικού κόστους. Συγκεκριμένα, διερευνάται η αναγνώριση χωρικού ηχητικού συμβάντος από εκπαιδευμένα μοντέλα αξιοποιώντας ηχητικά χαρακτηριστικά πολυκαναλικών αρχείων. Τα αρχεία δημιουργούνται από προσομοίωση εισόδων μικροφωνικής συστοιχίας σε τοπολογία σταυρού που έχει παρουσιαστεί σε προηγούμενες εργασίες, αλλά διερευνάται η ανεξαρτησία των ταξινομητών από την τοπολογία καταγραφής. Στα ίδια αρχεία και σε επίπεδο καναλιού, γίνονται πειράματα διάκρισης ομιλίας-σιωπής και αναγνώρισης δύο και τριών ομιλητών..
description: Modern techniques and computational capabilities for capturing and processing audiovisual information open new fields in multimedia interaction and semantic analysis of recorded material. In the present work, a multimodal method for audiovisual event detection, tracking and recognition is proposed, with multiple potential applications in capturing events and labeling audiovisual files. The process involves spatial sound event detection, sound source localization and recognition, speaker optical detection and tracking and semantic information extraction. The method is presented through an abstract block diagram model, where each block performs a distinct function, interacting with the rest, while being independent in terms of design, and, thus, leaving a freedom of implementation options. For automatic segmentation of records based on the analysis conclusions and bookmark file export, an application with graphic user interface is designed in C #. While solutions are given for every stage of the procedure, investigating takes place mostly for sound recognition, which is the primary subject of this work, integrated however into the overall design of multimodal analysis. Original multi and single channel audio files are created for the sound recognition model-training. Training takes place through an initial superset of audio features extracted from audio files. Features are evaluated through algorithms and top ranked feature subsets are formed, to be provided as input to different machine learning algorithms that train classifiers models. Evaluation of algorithms and feature subsets considers both accuracy and computational cost. Specifically, we investigate spatial sound event detection performed by trained models utilizing acoustical features of multichannel audio files. Multichannel audio files are created simulating the input of the microphones of a cross-shaped microphone array which was presented in previous work. Independence from the recording topology is however examined. In single-channel level, experiments of voice activity detection and recognition between two and three different speakers take place.
description: Σε συνεργασία με το τμήμα Λογιστικής και Χρηματοοικονομικής (Πανεπιστήμιο Μακεδονίας)