Maximum-likelihood stochastic transformations for continuous speech recognition
Authors: Διακολουκάς Βασίλειος 
Published: August 2021

Στην εργασία αυτή παρουσιάζουμε τις προσπάθειες μας να αντιμετωπίσουμε δύο σημαντικά προβλήματα στα σύγχρονα , μεγάλου λεξιλογίου, συστήματα αναγνώρισης συνεχούς ομιλίας. Το πρώτο πρόβλημα είναι οι συνθήκες αναντιστοιχίας ανάμεσα στα δεδομένα εκπαίδευσης και ελέγχου. Συγκεκριμένα εστιάζουμε στο πρόβλημα μειωμένης απόδοσης εξαιτίας διαφορών στους ομιλητές και στις διαλέκτους. Το δεύτερο πρόβλημα είναι η άμεση μοντελοποίηση των εσωτερικών (inter-frame) συσχετίσεων ενός χαρακτηριστικού διανύσματος σε ένα σύστημα ανεξάρτητο από ομιλητή (SI). Προσεγγίζουμε και τα δύο αυτά προβλήματα εφαρμόζοντας στρατηγικές βασισμένες στην διαδεδομένη οικογένεια των γραμμικών μετασχηματισμών των μοντέλων και επιπρόσθετα προτείνουμε ένα καινοτόμο σχήμα στοχαστικών μετασχηματισμών με την ονομασία Μεγίστης Πιθανοφάνειας Στοχαστικοί Μετασχηματισμοί (MLST).Οι MLST αποτελούνται από ένα σύνολο συστατικών γραμμικών μετασχηματισμών οι οποίοι μοιράζονται σε όλες τις Gaussian κατανομές σε κάθε μείγμα. Η επιλογή του συστατικού γραμμικού μετασχηματισμού που θα εφαρμοστεί σε κάθε Gaussian γίνεται πιθανοκρατικά, μέσω βαρών. Για την εκτίμηση των παραμέτρων του μετασχηματισμού και των βαρών, χρησιμοποιούμε τον αλγόριθμο expectation-maximization (EM). Ο απλός γραμμικός μετασχηματισμός μπορεί συνεπώς να θεωρηθεί ως μια ειδική περίπτωση του MLST με μία γραμμική συνιστώσα. Στη γενική του μορφή, ο MLST πλεονεκτεί αφού παρέχει τον μηχανισμό για να αυξηθεί η ανάλυση στο ακουστικό μοντέλο, διατηρώντας παράλληλα την δυνατότητα εύρωστης εκτίμησης των παραμέτρων του. Παρότι οι συστατικοί μετασχηματισμοί μπορούν να προσδεθούν σε ένα σύνολο από μείγματα, η επιλογή του συγκεκριμένου μετασχηματισμού που εφαρμόζεται σε κάθε Gaussian του μείγματος είναι θέμα μιας ευέλικτης απόφασης (soft decision) που βασίζεται στα βάρη των μετασχηματισμών.Για την αξιολόγηση της νέας μας μεθόδου, αρχικά εκτελούμε μια σειρά από πειράματα προσαρμογής σε ομιλητή χρησιμοποιώντας το σύστημα αναγνώρισης ομιλίας DECIPHER του SRI. Βρίσκουμε ότι η νέα μέθοδος υπερτερεί σημαντικά των μεθόδων που βασίζονται σε έναν απλό γραμμικό μετασχηματισμό. Επιπλέον το συνολικό υπολογιστικό κόστος παραμένει σχεδόν ίδιο με τη γραμμική προσέγγιση.Ακολούθως ερευνήσαμε το πρόβλημα της αναντιστοιχίας των διαλέκτων και βρήκαμε ότι αυτές επηρεάζουν σημαντικά την ακρίβεια της αναγνώρισης. Συνεπώς, εφαρμόσαμε διάφορες τεχνικές προσαρμογής των ακουστικών μοντέλων που είχαν προηγουμένως εφαρμοστεί στην προσαρμογή ομιλητή και καναλιού για να αναπτύξουμε ένα σύστημα αναγνώρισης συγκεκριμένης διαλέκτου ξεκινώντας από ένα σύστημα εκπαιδευμένο σε άλλη διάλεκτο και μικρό αριθμό προτάσεων εκπαίδευσης της νέας διαλέκτου. Δείχνουμε ότι η προσαρμογή βελτιώνει θεαματικά την επίδοση του αναγνωριστή και αυξάνει την ευρωστία με λίγες μόνο προτάσεις εκπαίδευσης. Επιπρόσθετα, χρησιμοποιώντας MLST στα πειράματα προσαρμογής σε διάλεκτο, επιτυγχάνουμε σημαντικά καλύτερη ακρίβεια σε σύγκριση με τις απλές γραμμικές προσεγγίσεις.Τέλος, ενσωματώνουμε τους μετασχηματισμούς MLST στην διαδικασία εκπαίδευσης των SI συστημάτων σε μια προσπάθεια να μοντελοποιήσουμε άμεσα τις συσχετίσεις ανάμεσα στις παραμέτρους του φάσματος. Βρίσκουμε ότι, παρότι μπορούμε να επιτύχουμε κάποια κέρδη στην επίδοση, τα κέρδη αυτά δεν φαίνεται να επηρεάζονται σημαντικά από τον αριθμό των συστατικών μετασχηματισμών του MLST ή τον τύπο του μετασχηματισμού.