Assessing clinical utility of Machine Learning and Artificial Intelligence approaches to analyze speech recordings in Multiple Sclerosis: A Pilot Study
Vyhodnocení klinické užitečnosti přístupů na bázi strojového učení a umělé inteligence při analýze nahrávek pacientů s roztroušenou sklerózou: pilotní studie
Year: 2022
Authors: Emil Svoboda, Tomáš Bořil, Jan Rusz, Tereza Tykalová, Dana Horáková, Charles R. G. Guttmann, Krastan B. Blagoev, Hiroto Hatabu, Vladimir I. Valtchinov

Abstract (English):
Background
An early diagnosis together with an accurate disease progression monitoring of multiple sclerosis is an important component of successful disease management. Prior studies have established that multiple sclerosis is correlated with speech discrepancies. Early research using objective acoustic measurements has discovered measurable dysarthria.

Method
The objective was to determine the potential clinical utility of machine learning and deep learning/AI approaches for the aiding of diagnosis, biomarker extraction and progression monitoring of multiple sclerosis using speech recordings. A corpus of 65 MS-positive and 66 healthy individuals reading the same text aloud was used for targeted acoustic feature extraction utilizing automatic phoneme segmentation. A series of binary classification models was trained, tuned, and evaluated regarding their Accuracy and area-under-the-curve.

Results
The Random Forest model performed best, achieving an Accuracy of 0.82 on the validation dataset and an area-under-the-curve of 0.76 across 5 k-fold cycles on the training dataset. 5 out of 7 acoustic features were statistically significant.

Conclusion
Machine learning and artificial intelligence in automatic analyses of voice recordings for aiding multiple sclerosis diagnosis and progression tracking seems promising. Further clinical validation of these methods and their mapping onto multiple sclerosis progression is needed, as well as a validating utility for English-speaking populations.

Abstract (Czech):
Pozadí
Včasná diagnóza spolu s přesným sledováním vývoje onemocnění roztroušenou sklerózou je důležitou součástí úspěšného zvládání nemoci. Předchozí studie prokázaly, že roztroušená skleróza souvisí s nesrovnalostmi v řeči. Dřívější výzkumy využívající objektivní akustická měření odhalily měřitelnou dysartrii.

Metoda
Cílem bylo zjistit potenciální klinickou využitelnost technik založených strojového učení a hlubokého učení / umělé inteligence při diagnostice, extrakci biomarkerů a monitorování progrese roztroušené sklerózy pomocí řečových záznamů. Pro cílenou extrakci akustických příznaků s využitím automatické segmentace fonémů byl použit korpus 65 jedinců s RS a 66 zdravých jedinců čtoucích nahlas stejný text. Byla vytrénována, odladěna a vyhodnocena množina binárních klasifikačních modelů co do jejich přesnosti a AUC (Area Under the Curve).

Výsledky
Nejlepším modelem se ukázal být Random Forest, který dosáhl přesnosti 0,82 na souboru validačních dat a AUC 0,76 v 5 k-krát opakovaných cyklech na souboru trénovacích dat. Pět ze sedmi akustických rysů bylo statisticky významných.

Závěr
Využití strojové učení a umělé inteligence v automatických analýze hlasových záznamů pro účely diagnostiky roztroušené sklerózy a sledování její progrese se jeví být slibným. Je zapotřebí dalšího klinického ověření těchto metod a jejich mapování na progresi roztroušené sklerózy, stejně jako validace využití též metody pro anglicky mluvící populaci.