Ανάλυση ηχητικού σήματος

Η ανάλυση ηχητικών σημάτων (audio signal analysis) αναφέρεται στην εξαγωγή γνώσης η σχετίζεται με το περιεχόμενο και την φύση των σημάτων αυτών. Σκοπός της διαδικασίας αυτής είναι η ταξινόμηση (classification), η κατάτμηση (segmentation), η αυτόματη ανάκτηση (retrieval), η σύνθεση κ.α. Σε γενικές γραμμές, η διαδικασία της ανάλυσης σημάτων ήχου αποτελείται από δύο μέρη. Αρχικά, εξάγονται ορισμένα χαρακτηριστικά (features) τα οποία πρέπει να μπορούν να διαφοροποιούν τις τιμές τους ανάλογα με το περιεχόμενο και την δομή των αντίστοιχων σημάτων. Σε αυτό το σημείο, είναι απαραίτητη η χρήση μεθόδων γνωστών από την ψηφιακή επεξεργασία σήματος. Όταν έχουν εξαχθεί τα ηχητικά χαρακτηριστικά (audio features) τα οποία περιγράφουν το αντίστοιχο ηχητικό σήμα, τότε, ανάλογα με την εφαρμογή, υιοθετείται μία μέθοδος από την περιοχή της αναγνώρισης προτύπων (pattern recognition). Μερικές από τις εφαρμογές της ανάλυσης ηχητικών σημάτων είναι : Αναγνώριση ομιλίας Αναγνώριση - επιβεβαίωση ομιλητή Αναζήτηση και ανάκτηση πολυμεσικού περιεχομένου (π.χ., ταινιών, μουσικής). Ταξινόμηση και ανάλυση μουσικών σημάτων

 Τα προς επεξεργασία και ανάλυση ηχητικά σήματα είναι στην συντριπτική πλειοψηφία των περιπτώσεων σε ψηφιακή μορφή. Υπ'αυτή την έννοια, αποτελούν απλά μια ειδική περίπτωση ψηφιακών σημάτων και επομένως ισχύουν οι γενικές αρχές της ψηφιακής επεξεργασίας σήματος . Σε γενικές γραμμές, ένα ψηφιακό ηχητικό σήμα είναι στην ουσία το αποτέλεσμα της διαδικασίας της δειγματοληψίας και κβάντισης ενός αναλογικού ηχητικού σήματος. Σύμφωνα με την "διπλή" αυτή διαδικασία ένα αναλογικό σήμα (δηλαδή ένα σήμα συνεχούς χρόνου με συνεχές πλάτος) δειγματοληπτείται και το κάθε δείγμα υφίσταται κβάντιση, χρησιμοποιώντας ένα προκαθορισμένο σύνολο δυνατών τιμών. Η διαδικασία αυτή πραγματοποιείται, για παράδειγμα, όταν ηχογραφούμε ένα ηχητικό σήμα χρησιμοποιώντας την κάρτα ήχου ενός υπολογιστή. Η ποιότητα δειγματοληψίας περιγράφεται από την επιλογή της συχνότητας δειγματοληψίας (sampling frequency), ενώ η ποιότητα της διαδικασίας της κβάντισης εξαρτάται από το σύνολο των τιμών που μπορεί να λάβει ένα δείγμα. Αυτό το τελευταίο μέγεθος αναφέρεται συνήθως σαν bit depth. Αν, για παράδειγμα, επιλέξουμε bit depth ίσο με 16 {\displaystyle 16} , τότε μπορούμε να αναπαραστήσουμε κάθε δείγμα με 2 16 = 65536 {\displaystyle 2^{16}=65536} δυνατές τιμές. Η διαδικασία της κβάντισης εισάγει (για προφανείς λόγους) ένα ποσοστό θορύβου. Ωστόσο, για τις περισσότερες εφαρμογές 16 {\displaystyle 16} bit είναι αρκετά για να καλύψουν τις ανάγκες σε ποιότητα ήχου. Για πιο απαιτητικές εφαρμογές, ορισμένες φορές χρησιμοποιείται ανάλυση 24 {\displaystyle 24} bit. Πιο σημαντική ωστόσο είναι η επιλογή της δειγματοληψίας. Σύμφωνα με το θεώρημα Nyquist, ένα αναλογικό σήμα μπορεί να αναπαραχθεί από το αντίστοιχο διακριτό όταν έχει χρησιμοποιηθεί συχνότητα δειγματοληψίας η οποία είναι τουλάχιστον διπλάσια από την μέγιστη συχνότητα του αρχικού σήματος. Για παράδειγμα, αν οι συχνότητες ενός συνεχούς σήματος εκτείνονται μέχρι τα 1000 {\displaystyle 1000} Hz, τότε πρέπει να χρησιμοποιηθεί συχνότητα δειγματοληψίας τουλάχιστον ίση με 2 {\displaystyle 2} KHz. Συνηθισμένες συχνότητες δειγματοληψίας για την περίπτωση των ηχητικών σημάτων είναι 44.1 {\displaystyle 44.1} KHz για μουσική και 32 {\displaystyle 32} , 16 {\displaystyle 16} ή και 8 {\displaystyle 8} KHz για ομιλία. Είναι επίσης προφανές, ότι μεγάλες συχνότητες δειγματοληψίας, αν και βελτιώνουν την ποιότητα του ψηφιακού σήματος, μπορεί να οδηγήσουν σε μεγάλες υπολογιστικές πολυπλοκότητες στους αλγορίθμους ανάλυσης, εφόσον σημαίνουν περισσότερα δείγματα ανά δευτερόλεπτο τα οποία πρέπει να επεξεργαστούμε. Σύμφωνα με τα παραπάνω, ένα ψηφιακό ηχητικό σήμα αναπαρίσταται από μία ακολουθία κβαντισμένων δειγμάτων. Έστω ότι x ( n ) , n = 1 , … , L {\displaystyle x(n),n=1,\ldots ,L} είναι η ακολουθία αυτή, και L {\displaystyle L} το πλήθος των δειγμάτων. Προφανώς, η χρονική διάρκεια του σήματος σε δευτερόλεπτα είναι L F s {\displaystyle {\frac {L}{Fs}}} , όπου F s {\displaystyle Fs} είναι η συχνότητα δειγματοληψίας σε Hz. Προκειμένου να εξάγουμε ηχητικά χαρακτηριστικά από τα αντίστοιχα σήματα, πρέπει να υιοθετήσουμε την βραχυπρόθεσμη επεξεργασία (short-term processing). Αυτό συμβαίνει διότι, τα ηχητικά σήματα είναι είναι μη στάσιμα (non-stationary), το οποίο πρακτικά σημαίνει ότι οι στατιστικές τους ιδιότητες δεν παραμένουν σταθερές στον χρόνο. Έτσι, η short-term επεξεργασία έγκειται στην διαίρεση η παραθύρωση (windowing), δηλαδή την τμηματική εφαρμογή παραθύρων τα οποία κάθε φορά μετακινούνται στον χρόνο και έτσι "απομονώνουν" ένα ξεχωριστό "πλαίσιο" (frame) του σήματος . Το παράθυρο που εφαρμόζεται στην παραπάνω διαδικασία είναι στην ουσία μία χρονική ακολουθία, έστω w ( n ) {\displaystyle w(n)} , διάρκειας L {\displaystyle L} δειγμάτων. Το απλούστερο παράθυρο είναι το τετραγωνικό, το οποίο ορίζεται σύμφωνα με την ακόλουθη εξίσωση: w ( n ) = { 1 , 0 ≤ n ≤ N − 1 0 , o t h e r w i s e {\displaystyle w(n)=\left\{{\begin{array}{ll}1,&0\leq n\leq N-1\\0,&otherwise\end{array}}\right.} Η παραθύρωση του αρχικού ηχητικού σήματος γίνεται πολλαπλασιάζοντας, στοιχείο προς στοιχείο, τις δύο ακολουθίες: x i ( n ′ ) ≡ x ( n ) w ( n − m i ) {\displaystyle x_{i}(n')\equiv x(n)w(n-m_{i})} όπου, i {\displaystyle i} είναι ο δείκτης του παραθύρου (frame) και m i {\displaystyle m_{i}} είναι η χρονική μετατόπιση του αντίστοιχου frame. Το μέγεθος του παραθύρου πρέπει να είναι αφενός αρκετά μεγάλο, ώστε να μπορούν να υπολογισθούν τα φασματικά χαρακτηριστικά του, και αφετέρου όχι πολύ μεγάλο, ώστε να μην χαθεί η ιδιότητα της στασιμότητας. Συνήθεις τιμές του μεγέθους του παραθύρου στην ανάλυση και επεξεργασία ηχητικών σημάτων είναι από 10 {\displaystyle 10} μέχρι 50 {\displaystyle 50} msecs. Όσο αφορά στο βήμα της διαδικασίας παραθύρωσης (δηλαδή το πόσο μετατοπίζεται κάθε φορά το παράθυρο στον χρόνο), αυτό σχετίζεται με τον επιθυμητό βαθμό επικάλυψης (overlap). Για παράδειγμα, ας υποθέσουμε ότι επιθυμούμε 75 % {\displaystyle 75\%} επικάλυψη, και το παράθυρο είναι 40 {\displaystyle 40} msecs, τότε το βήμα θα είναι 10 {\displaystyle 10} msecs. Το μέγεθος του παραθύρου σε δείγματα εξαρτάται προφανώς από την συχνότητα δειγματοληψίας του σήματος ( F s {\displaystyle Fs} ). Έτσι, αν για παράδειγμα F s = 16000 {\displaystyle Fs=16000} Hz, τότε στο παραπάνω παράδειγμα το μήκος του παραθύρου είναι ίσο με 640 {\displaystyle 640} δείγματα, ενώ το βήμα είναι 160 {\displaystyle 160} δείγματα.