Обзор методов распознавания внутреннего проговаривания на основе данных электроэнцефалограммы
Authors: ГАВРИЛЕНКО Ю Ю. , СААДА Д Ф. , ШЕВЧЕНКО А О. , ИЛЬЮШИН Е А. 
Published: January 2025

В статье представлен обзор исследований о разработке интерфейсов мозг-компьютер, распознающих внутреннее проговаривания на основании данных электроэнцефалограммы (ЭЭГ). Интерфейс мозг-компьютер - система, которая поддерживает взаимодействие мозга и электронного устройства, а в частности, интерфейс безмолвного доступа - система, позволяющая распознавать внутреннее проговаривание, может помочь людям, имеющим проблемы с воспроизведением речи. Эти проблемы могут быть вызваны особенностями нейродегенеративных заболеваний. Нейроинтерфейсы, способные моделировать речь, уже существуют, например, Speller P300, однако, не смотря на свою эффективность, подобное устройство не позволяет достичь высокой скорости генерации речи. Интересной является разработка ИМК, основывающегося на внутреннем проговаривании - процессе, в котором человек представляет звучание слов или фонем без самого произнесения звуков. Известно, что восстановление внутреннего проговаривания на основе данных биоэлектрической активности мозга возможно, так как в процессе внутреннего проговаривания генерируется активность артикуляторов, нервных путей между ними, а также самого головного мозга. ЭЭГ - метод электромагнитного исследования мозга, который регистрирует сигналы, возникающие при биоэлектрической активности нейронов. Технология ЭЭГ является удобной для исследования мозговых сигналов в процессе внутреннего проговаривания, поскольку она не является инвазивной и предоставляет отличное временное разрешение вплоть до одной тысячной секунды, хоть данные ЭЭГ и обладают большим количеством артефактов и не предоставляет высокого пространственного разрешения. Рассмотренные в статье исследования были разделены по типу языковой единицы, распознаваемой в течение эксперимента - слова, фонемы и гласные буквы. Исходя из результатов, полученных авторами обозреваемых статей, классификация слов практически не превосходит тех точностей, которые можно было бы получить случайно, однако классификация фонем и гласных обладает достаточно высокой точностью, что говорит о перспективности исследования распознавания внутреннего проговаривания фонем и гласных.
This article presents a review of recent research on brain-computer interfaces (BCI) development regarding silent speech recognition based on electroencephalogram data (EEG). BCI is a system, which supports the interaction of a brain and an electronic device. Silent speech interface is a system, which recognizes internal pronouncing. This device can help people, who have problems with speech production, which may be caused by neurodegenerative disorders. There have already been developed BCIs that can simulate speech process, e.g., a Speller P300, but, despite this, the typing speed of this method is still very slow. The development of the BCI, which is based on internal pronouncing (the process of imagining one’s pronouncement of phonemes or words without intending to actually pronounce them), would be very useful. It is known that the internal pronouncement can be recovered from EEG data, because the neuroactivity from articulators, neural paths among them and the brain itself is generated during the processes of internal pronouncement. EEG is a method of electromagnetic brain analysis, which registers the signals that appear during the bioelectrical neural activity. It is one of the most convenient and easy technologies for brain signals analysis including ones that are produced during the silent speech, because it is not invasive and grants good temporal resolution down to one millisecond, but still it produces a big amount of artefacts. The articles presented in this review were divided by the type of morphological unit used in the experiment: words, phonemes and vowels recognition.