На себя посмотри! Для картавых создали особое зеркало с нейросетью

Занятие с логопедом — довольно скучное дело. Зеркало, тетрадка и монотонное повторение звуков. Если взрослый замотивирован на результат, то ребенка-непоседу не заставишь заниматься. Резиденты регионального оператора «Сколково» IT-Park74 создали «помощник логопеда», обучив искусственный интеллект распознавать правильное произношение звуков.

Руководитель и идейный вдохновитель компании — многодетный отец Дмитрий Андреев — увидев у логопеда акриловое зеркало и многочисленные методички, решил соединить их. Так получилось «умное» зеркало ArtikMe. Оно представляет собой большой монитор с зеркальной поверхностью. Но, в отличие от экрана обычного компьютера, оно распознает правильные и неправильные звуки, а также дыхание и жесты.

Журналист КП-Челябинск с далеко не идеальным произношением, решила протестировать «умное» зеркало и попробовать обхитрить нейросеть. В День науки рассказываем об изобретении.

Я не люблю слово «картавость». Хотя бы потому, что даже в нем есть непроизносимая буква «р»! В шутку говорю, что это мой французский акцент. В свое время картавость закрыла мне дорогу на телевидение. Но зато я прошла большой путь, чтобы принять себя и сейчас могу смело иронизировать над своей «особенностью».

Узнав о разработке челябинских IТшников, я решила протестировать ее на себе. Честно признаться, ожидала увидеть гаджет, который на вопрос «Свет мой зеркальце, скажи» тут же выдаст мне список «багов» и научит правильно говорить.

Оказалось, все не так просто! Прежде всего, зеркало работает исключительно со специалистом. Ведь произношение звука — это верхушка айсберга, под которой кроется неправильная артикуляция, положение языка, дыхание и многое другое.

— Я слышу, что у вас есть отсутствие звука «р». Мне нужно посмотреть: где конкретно находится язык, как произносятся базовые звуки. Если при звуке «ж» кончик языка наверху, база есть. Если внизу, надо полностью менять артикуляционную моторику, — рассказала методист Ирина Швайгерт.

Что ж — у меня оказался второй вариант.

Для начала мне предложили сделать артикуляционную, дыхательную и пальчиковую гимнастику: повторить «гримасы» за девочкой в мониторе, показать «козу», дунуть на виртуальный одуванчик. Если заниматься этим каждый день, упражнения помогают сформировать подвижность артикуляционного аппарата и речевой выдох. Даже развитие моторики влияет на речевые органы.

Потом перешли к главному — звуковому игровому маршруту. Зеркало предложило помочь тигренку на мониторе найти маму, произнося в микрофон «р».

Да что ж такое! Тигренок не идет! Вот никак — значит произношу «р» неправильно. Чтобы немного подбодрить меня, методист нажимает кнопку и тигренок пошел. Снова:

Не идет. Хорошо, что тигренок виртуальный и не один полосатый в ходе эксперимента не пострадал.

Кстати, зеркало дополнили нейросетью совсем недавно — у обладателей гаджета она появилась в виде бесплатного обновления. Специалисты буквально с нуля обучили искусственный интеллект распознавать правильные звуки и теперь его не проведешь.

— Когда я пришла на этот проект, основная боль была, что у нас не работало распознавание звуков. Есть много открытых решений, но у нас такая особенность — дети и логопедия, — рассказала проджект-менеджер Полина Вылижанина. — Мы искали детей — как минимум 100 человек — записывали звуки, а наши методисты это все отслушивали. Теперь нейросеть может правильно считывать тот или иной звук и тигренок у нас пойдет только когда услышит правильный «р» в произношении ребенка. Также как и остальные персонажи в звуковом маршруте.

Сам разработчики ласково говорят: наша нейросеть еще малышка.

— Воспринимайте ее как ребенка. Ты же учишь ребенка звукам, словам — это тоже самое. Теперь на каждое огромное количество нарушений нужно найти по 100 детей, которые говорят неправильно, — отмечает Полина Вылижанина.

Над созданием «умного» зеркала работает целая команда: непосредственно методисты-логопеды, программисты, художники, гейм-дизайнеры, UX-дизайнер (проектировщик интерфейсов), проджект-менеджер (организует работу команды), продукт-менеджер (собирает обратную связь).

«Умные» зеркала уже активно используются в дошкольных учреждениях. Прежде чем начать работу с зеркалом, логопеды проходят специальное обучение.

Кстати, в прошлом году зеркало ArtikMe признано лучшим IT-проектом в образовании Челябинской области.