Design and Validation of a New Diagnostic Tool for the Differentiation of Pathological Voices in Parkinsonian Patients
Creators: name: Αλμαλόγλου, Έλενα-Ιωάννα-Ελεάνα Ιωάννη
Publisher: name: Aristotle University of Thessaloniki
Year: 2020
Subjects: Ανίχνευση παθολογικής ομιλίας
Συνελικτικά νευρωνικά δίκτυα
Φασματογράφημα-Μελ
Pathological speech detection
Convolutional Neural Network
Mel-spectrogram

description: Pathological speech, in its many forms, is a symptom of numerous serious diseases affecting millions of people worldwide, including more than 10 million Parkinson patients. The root of many voice disorders stems from irregularities in the vocal fold tract, where sound is produced and controlled. As voice pathologies progress, they affect patient’s articulation, phonation, prosody, and respiration. Across most voice pathologies, the effects of those changes can be observed on the temporal domain where information of the resonating frequencies of the vocal tract are captured. Unfortunately, traditional diagnostic procedures require a great amount of time from both patients and trained professionals and the cost can be a heavy burden. Here, a powerful method is proposed for detecting pathological speech, using a two-dimensional (2D) convolutional neural network (CNN). CNNs have proved to be an important tool in pattern recognition and especially image classification, with advantages like speed, efficiency and need of limited preproscessing. Many medical image analysis problems have been solved using CNNs, like cancer detection. As an input to the CNN, mel-spectrograms are extracted from voice recordings of healthy and Parkinson diagnosed patients. The voice samples comprise a subset of the benchmark mobile Parkinson Disease (mPower) study. A total number of 61,587 samples are used to train, validate, and test the model. The proposed model successfully recognizes parkinsonian speech from healthy (i.e., a two-class problem) with an accuracy of 98%. Furthermore, when single tested on various pathologies of the Saarbrucken voice database (SVD) vs a healthy control subset, it achieves accuracies of up to 97.4%. The tested pathologies are: Dysphonia, Functional Dysphonia, Hyper Functional Dysphonia, Spasmodic Dysphonia, Vocal Fold Polyp, and Dysody. The experimental results on the mPower study, in addition with cross-database testing on the SVD point to a pathological voice diagnosis method independent of recording devices or language.
description: Η παθολογική ομιλία είναι σύμπτωμα ποικίλων σοβαρών ασθενειών που πλήττουν εκατομμύρια συνανθρώπους μας παγκοσμίως. Οι διαταραχές της φωνής μπορούν να προκαλέσουν από ελαφριά δυσφορία μέχρι και ολική απώλεια της ικανότητας επικοινωνίας και συνήθως προκαλούνται από ανωμαλίες στη φωνητική οδό, όπου ο ήχος παράγεται και ελέγχεται. Περισσότεροι από 10 εκατομμύρια ασθενείς Παρκινσον πλήττονται από δευτερογενή συμπτώματα της νόσου, συμπεριλαμβανομένης και της απώλειας της φυσιολογικής ομιλίας τους. Η εξέλιξη φωνολογικών παθολογιών, έχει ως αποτέλεσμα την αλλοίωση της άρθρωσης του ασθενούς, της φωνοποίησης, της προσωδίας και της αναπνοής. Στις περισσότερες περιπτώσεις παθολογικών φαινομένων της φωνής, οι επιπτώσεις των παραπάνω αλλοιώσεων μπορούν να παρατηρηθούν αναλύοντας το συχνοτικό περιεχόμενο του σήματος της ομιλίας όπου αποθηκεύονται οι πληροφορίες για τις συχνότητες συντονισμού του φωνητικού συστήματος και εμφανίζονται οι ιδιοσυχνότητες της φωνητικής κοιλότητας, η περιοδικότητα της και η ενέργεια. Δυστυχώς, οι παραδοσιακές διαγνωστικές μέθοδοι μπορούν να αποβούν εξαιρετικά χρονοβόρες για τους ασθενείς αλλά και τους επαγγελματίες υγείας καθώς και να παρουσιάσουν βεβαρυμμένο κόστος. Συμπερασματικά, μια γρήγορη και αποτελεσματική μέθοδος διάγνωσης αυτών των παθολογιών είναι απολύτως αναγκαία. Στην παρούσα διπλωματική εργασία, προτείνεται μια ισχυρή μέθοδος ανίχνευσης παθολογικής ομιλίας, με τη χρήση δυσδιάστατου (2D) συνελικτικού νευρωνικου δικτύου (CNN). Τα συνελικτικά δίκτυα έχουν αποδειχτεί τα τελευταία χρόνια ως ένα εξαιρετικά χρήσιμο εργαλείο στον τομέα της αναγνώρισης προτύπων και ειδικά στην ταξινόμηση εικόνων. Η ταχύτητα υπολογισμών και η αποτελεσματικότητα τους καθώς και η ελάχιστη ανάγκη για προεπεξεργασία των δεδομένων ειναι κάποια από τα πλεονεκτήματα τους που τα έκαναν να ξεχωρίσουν. Η χρήση τους στον τομέα υγείας και ειδικά στην ανάλυση ιατρικών απεικονίσεων έχει αποδειχτεί σπουδαία, λύνοντας προβλήματα όπως η ανίχνευση καρκινικών αλλοιώσεων. Η μέθοδος που έχει αναπτυχθεί ως αντικείμενο αυτής της διπλωματικής εργασίας βασίζεται στην εξαγωγή φασματογραφημάτων απευθείας από το σήμα της ομιλίας και χρήση αυτών ως είσοδο του συνελικτικού δικτύου. Τα φασματογραφήματα κλίμακας mel επιλέχθηκαν ως κατάλληλα για την μέθοδο μας εξαιτίας της ικανότητας της κλίμακας mel να ταυτίζεται με τον τρόπο λειτουργίας του ανθρώπινου ακουστικού συστήματος. Τα φασματογραφήματα παράγονται από την επεξεργασία δειγμάτων ασθενών με και χωρίς διάγνωση Πάρκινσον τα οποία αποτελούν ένα υποσύνολο της εκτενούς μελέτης mobile Parkinson Disease (mPower) πάνω στη νόσο Παρκινσον. Συνολικά επεξεργάσθηκαν 61.587 δείγματα ομιλίας για τη χρήση στην εκπαίδευση, την επικύρωση και τη δοκιμή του μοντέλου. Περαιτέρω πειραματισμός με σκοπό τη δοκιμή του εκπαιδευμένου μοντέλου πραγματοποιήθηκε χρησιμοποιώντας δεδομένα της Saarbrucken voice database (SVD). Τα πειραματικά αποτελέσματα ανέδειξαν την ικανότητα του μοντέλου να διαχωρίζει επιτυχώς την παθολογική ομιλία Παρκινσον από την υγιή ομιλία με ακρίβεια 98\%. Ένα δεύτερο υποσύνολο της mPower, με ομιλητές μοναδικούς σε αυτό που δεν εμφανίζονται στο σύνολο εκπαίδευσης, χρησιμοποιήθηκε με σκοπό την επιβεβαίωση ότι το μοντέλο δεν πραγματοποιεί ανίχνευση ομιλητή. Περαιτέρω δοκιμή του μοντέλου πραγματοποιήθηκε χρησιμοποιώντας 6 διαφορετικές παθολογίες της έναντι υγειούς δείγματος ελέγχου με αποτελέσματα που φτάνουν ακρίβεια 97,4\%. Οι παθολογίες που επιλέχθηκαν να δοκιμαστούν είναι οι: Δυσφωνία, Λειτουργική Δυσφωνία, Υπερλειτουργική Δυσφωνία, Σπασμωδική Δυσφωνία, Κάκωση Φωνητικών χορδών και Δυσωδία. Τα πειραματικά αποτελέσματα σχετιζόμενα με την μελέτη mPower καθώς και οι δοκιμές σε διαφορετική βάση δεδομένων οδηγούν σε μια μέθοδο διάγνωσης παθολογικών φωνών ανεξάρτητη από συσκευές καταγραφής ήχου και γλώσσα ομιλίας.