Нейросеть научилась читать мысли и превращать их в слова

Нейросеть научилась читать мысли и превращать их в слова

«Речевой нейропротез» помог мужчине «заговорить» после инсульта.

Введенный в мозг потерявшего дар речи пациента имплантат помог искусственному интеллекту превратить нейронные сигналы в слова и предложения, появляющиеся на экране компьютера. Результаты первых успешных клинических испытаний передовой технологии, разработанной командой специалистов под руководством нейрохирурга Эдварда Чанга (Edward Chang) из Калифорнийского университета (Сан-Франциско, США), опубликованы в журнале The New England Journal of Medicine.

Участник испытаний — 36-летний мужчина, который в возрасте около 20 лет перенес обширный инсульт, в результате чего был парализован и лишился способности к членораздельной речи. Предварительно ученые вместе с пациентом составили словарь из 50 слов, включающий ключевые слова, из которых можно составлять фразы, полезные в повседневной жизни, например «вода», «семья», «хорошо» и так далее.

Многие медицинские технологии пришли буквально из космоса — разработки были рассчитаны на поддержку здоровья космонавтов. Собрали самые удивительные из них:

Затем в сенсомоторную кору левого полушария мозга, контролирующую речь, хирургическим путем ввели электроды. После того как мужчина восстановился после операции, Чанг и его коллеги в ходе 48 сессий, продолжавшихся несколько месяцев, записали образцы мозговой активности пациента в то время, как он пытался по много раз мысленно произнести каждое из 50 слов. В общей сложности продолжительность записей составила 22 часа.

На следующем этапе начался процесс тренировки нейросети — искусственный интеллект в течение нескольких месяцев учился расшифровывать слова по характерным сочетаниям нейронных сигналов. В итоге нейросеть научилась не только декодировать отдельные слова, но и в режиме реального времени «понимать» короткие фразы, мысленно произносимые пациентом, выводя их на экран компьютера.

Например, когда мужчину в ходе испытаний спрашивали: «Как вы себя сегодня чувствуете?» и «Не хотите ли воды?» — на мониторе появлялись его ответы: «Я чувствую себя очень хорошо» и «Нет, я не испытываю жажды».

Скорость «считывания» слов пациента из его мозга достигала 18 слов в минуту (в среднем — 15 слов в минуту), а максимальная точность понимания составляла 93% (в среднем — 75%).

В будущем Чанг и его коллеги планируют расширить не только состав участников испытаний, но и словарь, который способна распознавать нейросеть.

Обнаружили ошибку? Выделите ее и нажмите Ctrl+Enter.