ПОРТАТИВНОЕ УСТРОЙСТВО РАСПОЗНАВАНИЯ РЕЧИ И ЗВУКОВЫХ СИГНАЛОВ

Полезная модель относится к ассистивным устройствам, предназначенным для использования людьми с ограниченными возможностями по слуху, слуху и зрению. Устройство позволяет принимать речевые и звуковые сигналы и представлять их в текстовой и/или тактильной форме. Устройство может быть использовано как автономно, так и в составе комплекса других ассистивных устройств, выполняя командно-телеметрический обмен внутри сети. В рамках настоящей заявки рассмотрено устройство, используемое автономно.
Из уровня техники известен мобильный переговорный комплекс для глухонемых людей RU2455700, (опубл. 10.06.2009 г., G09B 21/00) включающий микрофоны, устройства для усиления и идентификации сигналов звука, устройства формирования изображения с целью визуального распознавания звуков речи. Мобильное переговорное устройство, размещаемое в ладони руки, включающее инфракрасный приемник, инфракрасный передатчик, синтезатор речи, очки, причем синхронно работающие инфракрасные приемники и передатчики очков по инфракрасным каналам связи взаимодействуют с мобильным переговорным устройством, и внешним акустическим устройством для воспроизведения синтезированной речи. Известное устройство позволяет глухому общаться со слышащими собеседниками. При этом он распознает речь визуально глядя на дисплей очков, идущих в комплекте, представленной в виде бегущей строки последовательных цветографических символов звуков речи, возникающих синхронно со звуками речи в строгом соответствии принятому цветографическому алфавиту. Устройство позволяет пользователю переходить между режимами «слушаю речь» и «ответ», синтезировать ответные реплики, что, несомненно, является преимуществом данного решения, поскольку позволяет глухому находиться в контакте со слышащими без дактилологии и сурдопереводчика. Однако устройством не могут воспользоваться пользователи, не знающие цветографический алфавит и слепоглухие, что свидетельствует об ограниченных возможностях переговорного комплекса. Кроме того, устройство не позволяет распознавать иные звуки, например, звуковой сигнал автомобиля.
Известна система для преобразования звука в визуальные представления, описанная в US 20020158816, (опубл. 31.10.2002 г., G09G 3/00; G10L 21/06).Система содержит множество микрофонов для приема звука, блок фильтрации для направленной фильтрации принятого звука, блок преобразования для преобразования отфильтрованного звука в сигналы управления отображением и блок отображения для отображения визуальных представлений отфильтрованного звука на основе сигналов управления отображением.
Звук, отфильтрованный с помощью блока фильтрации, передается в виде аудио сигнала на блок преобразования, где блок распознавания речи работает для извлечения речевой информации, если таковая имеется, из отфильтрованного звука. Затем речевая информация преобразуется посредством преобразования модуля в сигналы текстовых данных, либо изображений, которые в свою очередь передаются на дисплей в качестве визуальных представлений.
Система обеспечивает простой и удобный способ для понимания говорящего на любом языке за счет направленной фильтрации принятого звука, преобразовании отфильтрованного звука в предпочтительный формат человеческого языка и отображения связанных визуальных представлений в носимом кадре. Между тем, устройство не дает пользователю возможности воспринимать звуковые сигналы кроме речи, что значительно сужает область воспринимаемого окружения, а также не может указать на источник звука, чтобы пользователь мог быстро отреагировать на сигнал или обращение к нему других людей. Данное решение принято за ближайший аналог.
Задача, на решение которой направлена настоящая полезная модель, заключается создании портативного устройства с расширенными функциями, позволяющими распознавать не только речь собеседника, но и другие звуки, демонстрировать пользователю направление источника звука, а также трансформировать полученную и исходящую информацию в виде рельефно-точечного шрифта Брайля и выводить ее на дисплей. Таким образом, портативное устройство с расширенными функциональными возможностями позволяет значительно расширить круг пользователей и в большей степени адаптировать людей с ограниченными возможностями по слуху, а также слуху и зрению к социальной жизни в обществе.
Решение поставленных задач обеспечило достижение технического результата, заключающегося в расширении функций портативного устройства.
Достижение технического результата стало возможным благодаря тому, что портативное устройство дополнительно содержит плату массива микрофонов со светодиодами, выполненными с возможностью их видимости через прорези в крышке корпуса, закрытых стеклом; одноплатный компьютер, на платформу которого установлены блок автозапуска процессов, находящийся во взаимосвязи с командно-телеметрическим модулем, модулем захвата звуков, модулем управления микрофонами, модулем вывода текстовой информации на дисплей Брайля; блок контроля над работоспособностью указанных модулей и блоком запуска, а также блок распознания звуков и блок управления устройством, связанные через модули с блоком автозапуска процессов.
Указанные существенные признаки обеспечили реализацию устройством дополнительных функций. Портативное устройство распознает не только речь, но и иные звуки. Информация о распознанных звуках поступает в преобразованном виде - в виде печатного текста или рельефно-точечного шрифта Брайля на дисплей. Кроме печатного уведомления, устройство световым направлением от светодиодов сообщает пользователю об источнике звука.
Портативное устройство распознавания речи и звуковых сигналов раскрыто на следующих иллюстрирующих материалах.
Фиг. 1 - общий вид портативного устройства;
Фиг. 2 - вид устройства сверху;
Фиг. 3 - вид устройства спереди:
Фиг. 4 - функциональная схема предложенного портативного устройства;
Фиг. 5 - структурная схема устройства;
Фиг. 6 - схема взаимодействия плат и модулей устройства.
На фиг. 1 представлено заявленное портативное устройство, выполненное в конструктивном единстве, обладающее свойствами приема речевых и звуковых сигналов, их представления в текстовой или тактильной форме на сопрягаемых устройствах и показывающее пользователю направление источника звука. В состав устройства входят: корпус 1; аудиомодуль массива микрофонов 2 и микрофонная решетка со светодиодами для указания направления 3; одноплатный компьютер 4; аккумулятор 5.
Корпус 1 включает крышку 6 и дно 7. На крышке монтируется плата ПИ_МР 8. На дне 7 монтируются платы аудиомодуля массива микрофонов 2, микрофонной решетки со светодиодами 3, одноплатного компьютера 4, аккумулятора 5 и плату ПКиЗУ_МР 9, скрепленные между собой. Корпус снабжен платой светодиодов 3. В крышке 6 предусмотрены прорези, закрытые стеклом 10 для обеспечения видимости светодиодной подсветки. Акустическая ткань, прижимаемая прижимом 11 к прорезям под микрофоны в крышке препятствует попаданию посторонних предметов в устройство и на микрофоны.
В корпусе 1 имеется углубление 12, в котором расположены разъем HDMI 13 для подключения внешнего дисплея, USB разъем для подключения дисплея Брайля проводным способом 14 , LAN разъем для проводного подключения к сети интернет 15 и разъем для зарядки аккумулятора 16 , а также разъем для подключения внешнего микрофона 17 и разъем для подключения выносного пульта 18.
На структурной электрической схеме, фиг. 5 представлена схема электрических соединений плат аудиомодуля массива микрофонов 2, микрофонной решетки со светодиодами 3, одноплатного компьютера 4, аккумулятора 5 и зависимых плат ПИ_МР 8 и ПКиЗУ_МР 9 выполненного проводами.
На функциональной электрической схеме, фиг. 6 видна реализация входящих в состав зависимой платы ПКиЗУ_МР 9 функциональных блоков для контроля работы платы с помощью микроконтроллера измерения напряжения (Цифровой АЦП), контроля заряда аккумулятора, схема включения кнопок и аудиокодека для подключения внешнего микрофона с указанием интерфейсов подключения составных частей друг к другу.
Электропитание устройства осуществляется как от встроенного аккумулятора, так и от стандартного блока питания с выходным напряжением 5В, подключенного к бытовой сети электропитания с напряжением 220 В и частотой 50 Гц.
Расширение функциональных возможностей устройства достигается за счет того, что в портативном устройстве дополнительно к штатным программно-аппаратным средствам (блок преобразования, блок памяти, блок вывода текстовой информации, клавиатура, дисплей и др), реализующим стандартные функции передачи информации и ее обработки на платформу одноплатного компьютера 4 установлены с возможностью автоматического запуска при загрузке одноплатного компьютера командно-телеметрический модуль 19, модуль распознавания речи 20, специализированный модуль ядра 21 для управления микрофонами 3, модуль вывода текстовой информации на дисплей Брайля 22, блок контроля над работоспособностью всех основных процессов 23.
Автозапуск всех процессов осуществляется с помощью блока 24.
Обеспечивают функционал портативного устройства блоки захвата звука 25 и блок управления устройством 26.
Блок захвата звука 25 реализует захват звука с плат массива микрофонов 2 и 3 с помощью модуля ядра 21, детектирование начала и окончания голосовой активности, отправку звука на модуль распознавания речи 20, вывод результата распознавания речи на дисплей и дисплей Брайля с помощью модуля 22 или отправлять на внешние устройства с помощью блока управления 26, а также вводить текст ответа пользователя с помощью дисплея Брайля или клавиатуры.
Реализация детектора голосовой активности известна из уровня техники и выглядит следующим образом:
- преобразование звукового сигнала в частотную область;
- подавление высокочастотных шумов в сигнале;
- подавление шумов в захваченном сигнале в области низких частот;
- анализ очищенного звукового сигнала на предмет наличия речи.
Распознавание речи может быть реализовано с помощью любой облачной платформы распознавания речи.
Для отображения текстовой информации может быть использован любой экран с подключением по HDMI и/или дисплей Брайля.
Блок управления устройством 26 реализует возможность управления устройством через Bluetooth Low Energy по профилю GATT, позволяет подключать устройство к сети Wi-Fi, запускать на нем проигрывание сигнала режима поиска и публикует по Bluetooth Low Energy рассылку с результатами распознавания речи. Таким образом блок 26 настраивает и управляет модулями 19, 20 и 21, а также блоком 25.
В интерфейсе устройства может выводиться список всех распознанных фраз, уровень заряда аккумулятора, уровень чувствительности микрофона, статус наличия или отсутствия в данный момент активного источника звука, состояние активных подключений.
На фиг. 6 схематично показана функциональная схема работы программного обеспечения предложенного портативного устройства, включающего четыре модуля 19, 20, 21, 22 и четыре блока 23, 24, 25, 26. Блок автозапуска процессов 24, установленный на платформе одноплатного компьютера 4 инициализирует командно-телеметрический модуль 19, модуль распознавания речи 20, модуль управления микрофонами 21 и модуль вывода текстовой информации на дисплей Брайля 22 и блоки захвата звука 25 и управления устройством 26. Блок 23 проверяет работоспособность указанных модулей 19, 20, 21, 22 и блоков захвата звука 25 и управления устройством 26 и при необходимости дает команду на повторный запуск через блок запуска 24. Обеспечивающие функционал устройства блок захвата звука 25 и блок управления устройством 26 связаны напрямую, а также через модули 19, 20, 21, 22 с блоками автозапуска процессов 24 и проверки работоспособности 23.
Реализация полезной модели происходит следующим образом. Через массив микрофонов, блок захвата звука, модуль распознавания речи, одноплатного компьютера, блок памяти и модуля вывода текстовой информации на дисплей Брайля, результаты распознавания речи и звуковых сигналы моментально передаются на дисплей, подключенный через HDMI вход, в том числе на дисплей мобильных телефонов и/или дисплея Брайля, в виде текста, который осведомляет пользователя обо всем происходящем вокруг него. Данный текст можно пролистывать, а можно возвращаться к нужным моментам. Также имеется возможность ввода текста ответа пользователя с помощью дисплея Брайля или подключенной через USB клавиатуры. Более того, светодиодной подсветкой всегда указывается направление стороны, с которой расположен источник звука, что позволяет пользователю своевременно на него отреагировать. Дополнительно устройство оснащено светодиодами, для более быстрого и удобного понимания расположения источника звука - они подсвечивают данное направление. Для удобства пользования устройство включает четыре кнопки управления, которые отвечают за включение, изменение размера шрифта, пролистывание текста на экране и сброс подключения мобильного телефона.
Полезная модель может быть реализована использованием указанного устройства людьми, являющимися инвалидами по слуху или по слуху и зрению.
В первом случае, пользователь включает устройство, подключает дисплей, например, мобильный телефон беспроводным образом, через Bluetooth или экран монитора через HDMI-выход. Затем на отображенном интерфейсе экрана выбирает актуальные для себя настройки чувствительности микрофонной решетки. Во время работы пользователь в режиме реального времени будет получать информацию о том, что происходит вокруг - устройство автоматически будет преобразовывать речь и звуковые сигналы в текст на дисплее. Светодиоды визуально укажут направление источника звука, чтобы быстро отреагировать. И дополнительно направление на источник звука может быть указано словесно на дисплее или экране. Также имеется возможность набора ответа пользователем с дефектами речи с помощью клавиатуры, подключенной в порт USB устройства.
Во втором случае, специальном для людей с ограниченными возможностями и по слуху и по зрению, пользователь подключает к устройству дисплей Брайля беспроводным способом через Bluetooth или проводным способом через вход USB. Все распознанные звуковые сигналы и речь, а также направление источника звука будут моментально обработаны в текст и переданы на дисплей Брайля, тем самым позволяя пользователю свободно ориентироваться и воспринимать информацию от окружающих людей и предметов. Также имеется возможность набора ответа пользователем с дефектами речи с помощью дисплея Брайля.