Digit recognition applied to reconstructed audio signals using deep learning
Creators: name: Τούφα, Αναστασία-Σωτηρία Άγγελου
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Ανακατασκευή σήματος
Γενετικά ανταγωνιστικά δίκτυα
Αναγνώριση ακουστικών σημάτων
Signal reconstruction
Generative adversarial networks (GANs)
Audio signal recognition

description: Real world applications employ data, such as images, audio, video, or financial data, in order to solve tasks in a variety of domains. Although these data differ and have their own way of handling, they are signals, possessing common characteristics and sharing common principles. Many applications do not have access to the original signal bearing all the information, due to memory, transmission, or privacy constraints. Instead, they have access to only a few measurements of the original signal, and reconstruct the original signal based on them prior to inference. Thus, it is necessary to develop efficient techniques that estimate the original signal. This process is known as signal reconstruction and its goal is the reconstructed signal to be as identical as possible to the original one. One of the most common methods in signal reconstruction is compressed sensing. It exploits sparsity in a domain in order to solve an under-determined linear system. Current techniques leverage the great performance of neural networks for signal reconstruction. A previous model is used, that is based on the principles of compressed sensing, assuming that the original signal lies in the range of a generator with fixed weights. Generative adversarial networks (GANs), a typical exampled of generators, have the ability to model the distribution of data under examination. GANs consist of two models, namely the generator and the discriminator. The generator is responsible for generating new samples, while the discriminator is responsible to recognize true and generated samples. This thesis focuses on digit recognition applied to reconstructed audio signals, using deep learning techniques. A pretrained generator from a GAN that produces audio signals of digits is used and the result of reconstruction is with high probability, an audio signal that contains a digit. Here, a new method for handling speech signals is proposed, demonstrating higher performance in both the quality of reconstruction and digit recognition accuracy. The key idea is to isolate the high energy segment of the signal, which most likely contain the digit, and discard the silent segments. The identification of the most active segments of the signal is performed through the detection of the segment with the highest energy. In this way, a more compact representation of the original signal is provided, preserving only the meaningful content. The measurement vector available for the reconstruction will be based on this high energy speech segment. After the completion of signal reconstruction, the proposed pipeline deals with digit recognition in reconstructed signals. Recognition is treated as multi-class classification, employing pretrained models on original audio recordings. Many classifiers based on different principles with different kind of input data are used, such as raw audio, spectrograms, and gammatonegrams. The kind of input data and the choice of the extracted features are very important for model performance. The first classifier category comprises the k-nearest neighbor and nearest centroid, taking into consideration the distances among samples. Another category uses neural networks to perform classification by learning representative features from input data.
description: Η ανάπτυξη της τεχνολογίας και συγκεκριμένα της Επιστήμης των Υπολογιστών στοχεύει στο να αυτοματοποιηθούν οι καθημερινές δραστηριότητές του ανθρώπου, εξασφαλίζοντας όμως ταυτόχρονα την ποιοτική απόδοση και ασφάλεια των συστημάτων. Χρησιμοποιώντας το μεγάλο πλήθος δεδομένων που είναι πλέον διαθέσιμα και βασικές αρχές της μηχανικής μάθησης, έχουν αναπτυχθεί εφαρμογές με αξιοσημείωτα αποτελέσματα. Ο σκοπός της παρούσας εργασίας είναι διττός, συνδυάζοντας την ανακατασκευή ηχητικού σήματος και την αναγνώριση ακουστικών ψηφίων, χρησιμοποιώντας τεχνικές μηχανικής μάθησης. Κατά την επεξεργασία και μετάδοση των σημάτων, η απώλεια πληροφορίας είναι κάτι δεδομένο. Σκοπός είναι είτε η απώλεια να είναι όσο το δυνατόν μικρότερη, είτε η ύπαρξη αλγορίθμων που επιτρέπουν την ασφαλή ανακατασκευή του αρχικού σήματος έχοντας μόνο το ληφθέν σήμα. Στη συγκεκριμένη εργασία γίνεται ανακατασκευή σήματος σε αρχεία ήχου με αριθμητικά ψηφία, χρησιμοποιώντας μια παραλλαγή της συμπιεσμένης δειγματοληψίας (compressed sensing) η οποία χρησιμοποιεί γενετικά ανταγωνιστικά δίκτυα (generative adversarial networks). Στη συμπιεσμένη δειγματοληψία η ανακατασκευή του σήματος εξασφαλίζεται με την υπόθεση της σποραδικότητας (αραιότητας) του σήματος (sparsity), με την έννοια ότι πολλές από τις τιμές του είναι μηδενικές. Η παραλλαγή που χρησιμοποιεί γενετικά ανταγωνιστικά δίκτυα, υποθέτει ότι το αρχικό σήμα βρίσκεται στο εύρος μιας γεννήτριας σημάτων (generator). Η γεννήτρια που χρησιμοποιείται είναι το υποδίκτυο ενός αντιπαλικού δικτύου το οποίο είναι υπεύθυνο για την παραγωγή νέων, συνθετικών δειγμάτων. Στη συγκεκριμένη περίπτωση, η γεννήτρια έχει εκπαιδευτεί ώστε να παράγει ηχητικά σήματα με αριθμούς από το 1 μέχρι το 9. Για την σωστή ανακατασκευή του σήματος, απαραίτητη προϋπόθεση είναι η γεννήτρια να έχει εκπαιδευτεί σωστά και το σήμα προς ανακατασκευή να είναι παρόμοιο με τα σήματα στα οποία έχει εκπαιδευτεί. Ένας διαφορετικός τρόπος επεξεργασίας του σήματος προς ανακατασκευή προτείνεται, ο οποίος εστιάζει σε έναν πιο αποτελεσματικό χειρισμό των σημάτων ήχου. Συνήθως χρησιμοποιείται ολόκληρο το σήμα για την παραγωγή του διανύσματος μετρήσεων με βάση το οποίο γίνεται και η ανακατασκευή του αρχικού σήματος. Εδώ, χρησιμοποιείται το κομμάτι του σήματος που περιέχει μόνο το κομμάτι ομιλίας. Απομονώνεται το τμήμα του σήματος που περιέχει το ψηφίο και απορρίπτονται τα τμήματα σιωπής. Η ανίχνευση του τμήματος του ψηφίου βασίζεται σε έναν αλγόριθμο υπολογισμού της ενέργειας του σήματος σε κάθε χρονική στιγμή, θεωρώντας ότι τα σημεία με μεγάλη ενέργεια αντιστοιχούν σε σημεία ομιλίας. Αφού ολοκληρωθεί η ανακατασκευή του σήματος, επόμενος στόχος είναι η αναγνώριση του ψηφίου που περιέχει. Η αναγνώριση του ψηφίου βασίζεται σε τεχνικές ταξινόμησης χρησιμοποιώντας νευρωνικά δίκτυα. Τα μοντέλα που χρησιμοποιούνται αποτελούνται από συνελικτικά νευρωνικά δίκτυα εκπαιδευμένα στα αυθεντικά αρχεία ήχου και ο έλεγχος γίνεται στα ανακατασκευασμένα σήματα. Οι ταξινομητές χρησιμοποιούν διαφορετικές μορφές εισόδου των αρχείων ήχου όπως οι τιμές του ηχητικού σήματος χωρίς καμία επεξεργασία (raw audio), φασματογραγραφήματα (spectrograms) και γάμμα-γραφήματα (gammatonegrams). Μέσω της πειραματικής ανάλυσης που έγινε, αποδεικνύεται ότι η χρήση μόνο του τμήματος ομιλίας υπερισχύει τόσο στην ανακατασκευή του σήματος όσο και στην αναγνώριση των ψηφίων. Ο ταξινομητής με την μεγαλύτερη ακρίβεια ταξινόμησης και κατ' επέκταση με την μεγαλύτερη αναγνώριση ψηφίου χρησιμοποιεί τις ανεπεξέργαστες τιμές του σήματος.