УСТРОЙСТВО ДЛЯ АУДИОВИЗУАЛЬНОЙ НАВИГАЦИИ СЛЕПОГЛУХИХ ЛЮДЕЙ

ОБЛАСТЬ ТЕХНИКИ
Заявленное техническое решение относится к приспособлениям для инвалидов по слуху и зрению, в частности, к устройству для аудиовизуальной навигации слепоглухих людей, которое может быть использовано для самостоятельной навигации слепоглухих людей в помещении и на улице без использования дополнительных приспособлений или вместе с ними, например, с тактильной тростью в зависимости от степени нарушения сенсорных функций у пользователя.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известны различные решения, предназначенные для навигации слепоглухих людей.
1. Заявка на патент №CN106420288A «Intelligent driving blind-guiding crutch» от 19.10.2016 (https://patents.google.com/patent/CN106420288A/en). В данном решении устройство не оснащено видеокамерой и массивом микрофонов, вследствие чего оно может обнаруживать только близкорасположенные препятствия с помощью ультразвукового дальномера и не может их классифицировать, что не позволяет пользователю выбрать адекватную стратегию взаимодействия с ними и повышает риск возникновения опасной ситуации.
2. Заявка на патент №CN1748662 «Intelligent blind person walking guide instrument and its walking guide method» от 10.10.2005 (https://patents.google.com/patent/CN1748662A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 1.
3. Патент №US5973618A «Intelligent walking stick» от 25.09.1996, США (https://patents.google.com/patent/US5973618A/en). В данном решении устройство не оснащено массивом микрофонов, что не позволяет ему обнаруживать опасные объекты вне поле зрения видеокамеры, но обладает характерным звуком (сирены, гудок…), что значительно увеличивает риск возникновения опасных ситуаций для пользователя.  Данное решение является наиболее близким аналогом.
4. Заявка на патент №CN106667731A «Blind person walking stick» от 17.05.2017 (https://patents.google.com/patent/CN106667731A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
5. Заявка на патент №CN106618981A «Blind living assistant system based on Internet of things and blind crutch with the system» от 06.12.2016 (https://patents.google.com/patent/CN106618981A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
6. Патент №US8922759B2 “White cane with integrated electronic travel aid using 3D TOF sensor” от 24.09.2010, США (https://patents.google.com/patent/US8922759B2/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
7. Заявка на патент №CN103655129A «Novel blind guiding cane» от 08.09.2012 (https://patents.google.com/patent/CN103655129A/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 1.
8. Заявка на патент №WO2011104589A1 “Virtual walking stick for assisting blind people” от 24.02.2010 (https://patents.google.com/patent/WO2011104589A1/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
9. Заявка на патент №US20110054773A1 «Electronic Blind-Navigation Device and Electronic Blind-Navigation Cane having the same» от 28.08.2009 (https://patents.google.com/patent/US20110054773A1/en). Недостаток данного решения аналогичен недостатку, приведенному в пункте 3.
СУЩНОСТЬ ПОЛЕЗНОЙ МОДЕЛИ
Технической задачей, на решение которой направлена заявленная полезная модель, является обеспечение безопасной навигации слепоглухого человека в заранее неизвестной обстановке, как на улице, так и внутри помещения. Задача решается путем обработки данных с видеокамеры, дальномера, массива микрофонов и GPS-модуля и представления результатов обработки пользователю в тактильной, звуковой и зрительной формах в зависимости степени нарушения той или иной сенсорной функции у пользователя.
Техническим результатом, достигаемым при использовании технического решения, является обеспечение безопасной навигации слепоглухого человека в заранее неизвестной обстановке за счет повышения точности локализации источников звука.
Для достижения указанного технического результата разработано устройство для аудиовизуальной навигации слепоглухих людей, выполненное на единой печатной плате и содержащее электрически соединенные между собой вычислительный модуль и массив из по меньшей мере 3-х микрофонов, причем вычислительный модуль выполнен с возможностью: получения данных с массива микрофонов в виде звуковых кадров, считывающихся таким образом, чтобы обеспечивалась аппаратная синхронизация считывания звука со всех каналов; обработки данных звуковых кадров для локализации источников звука, включающей:
i
- определение коэффициентов правдоподобия наличия активного источника звука с частотой ω в заданных направлениях Θ;
i
- определение направления Θ, имеющего максимальное значение коэффициента правдоподобия, как направление на активный источник звука;
i
- формирование диаграммы направленности на основе данных азимутов и углов направления Θ на активный источник звука для получения одноканального выделенного звука целевого направления на активный источник звука с подавленными звуками по остальным направлениям;
- классификацию выделенного звука целевого направления с помощью глубокой свёрточной нейронной сети для определения на предмет наличия звуков потенциально опасных объектов;
- вывод информации о активном источнике звука пользователю в соответствии с классификатором.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ.
Для лучшего понимания сущности полезной модели, и чтобы более ясно показать, каким образом она может быть осуществлена, далее будет сделана ссылка, лишь в качестве примера, на прилагаемые чертежи, на которых:
фиг. 1 - схема устройства для аудиовизуальной навигации слепоглухих людей.
ОСУЩЕСТВЛЕНИЕ ПОЛЕЗНОЙ МОДЕЛИ.
В соответствии со схемой, приведенной на фиг. 1, заявленное устройство для аудиовизуальной навигации слепоглухих людей содержит: видеокамеру 1, массив из по меньшей мере 3-х микрофонов 2, дальномер 3, GPS-модуль 4, MEMS-акселерометр 5, MEMS-гироскоп 6 и вычислительный модуль 7, а также вибромотор 8, динамик 9. Все вышеперечисленные элементы размещены на единой печатной плате и электрически соединены между собой. Дополнительно заявляемое устройство для аудиовизуальной навигации слепоглухих людей снабжено средством ввода или вывода 10, например, выполненное в виде дисплея смартфона или другого известного из уровня техники устройства.
Заявленное устройство может быть вмонтировано в корпус трости (walking stick), например, раскрытой в наиболее близком аналоге (патент № US5973618 A).
Вычислительный модуль 7 может быть реализован на базе по меньшей мере одного процессора или микроконтроллера, выполненного в программно-аппаратной части таким образом, чтобы обеспечить выполнение приписанных ему функций. Микрофоны массива микрофонов 2 располагаются на печатной плате не на одной прямой и могут быть выполнены, например, в виде MEMS-микрофонов, а вместо видеокамеры возможно использование стереокамеры, причем в таком случае возможен отказ от использования дальномера в конструкции устройства.
Дополнительно заявленное устройство может включать модуль подключения к Интернету 11, устанавливаемый на печатной плате и посредством которого устройство для аудиовизуальной навигации слепоглухих людей может осуществлять передачу информации на средства облачной обработки данных и/или на средства ввода или вывода.
В соответствии с поступившей командой на вычислительный модуль 7 от пользователя, введенной посредством широко известных средств ввода информации (например, раскрытых в ближайшем аналоге), или заложенным в вычислительный модуль 7 программным алгоритмом, вычислительный модуль 7 направляет управляющие сигналы на видеокамеру 1 и массив микрофонов 2 для их активации и получения информации, регистрируемой данными устройствами.
Данные с видеокамеры, поступающие в вычислительный модуль 7, обрабатываются с помощью глубоких нейронных сетей, которые могут включать свёрточные, полносвязные, остаточные, LSTM-слои или другие типы слоёв. В вычислительном модуле 7 может быть реализовано не менее двух нейронных сетей: сеть для поиска в кадре фиксированного количества заранее известных типов объектов и сеть для генерации текстового описания окружающей обстановки человеческим языком.
Массив микрофонов 2 используется для детектирования направлений на потенциально опасные источники звука. Данные с массива микрофонов 2, поступающие в вычислительный модуль 7, например, в виде звуковых кадров, содержащих информацию о звуковых колебаниях, считываются таким образом, чтобы обеспечивалась аппаратная синхронизация считывания звука со всех каналов, которая необходима для корректной работы алгоритмов локализации источников звука.
Далее многоканальный звук обрабатывается с помощью алгоритма локализации источников звука, например, методом локализация с помощью обобщённой функции взаимной корреляции с весовой функцией преобразования фазы (GCC-PHAT) и различные её модификации.
Для выполнения локализации источников звука вычислительный модуль 7 преобразует данные звуковых кадров методом дискретного преобразования Фурье, после чего на основе полученных после преобразования данных вычислительный модуль 7 определяет значение кросс-корреляция между двумя каналами для всех пар каналов. Например, если массив микрофонов 2 состоит из 3-х микрофонов, то значения кросс-корреляции определяются для 1 и 2 каналов, 2 и 3 каналов, 1 и 3 каналов.
Значение кросс-корреляции для каждой пары каналов может быть определено, например, по формуле:
(1)
k
l
где Y(ω) и Y(ω) - данные, полученные после дискретного преобразования Фурье данных звуковых кадров, полученных с пары k и l каналов массива микрофонов 2, j - комплексная единица, а ω - информация о частоте звука, заранее заданная для анализа в вычислительном модуле 7. Соответственно, если массив микрофонов 2 состоит из 3-х микрофонов, то вычислительный модуль 7 определит 3 значения кросс-корреляции для каждой пары каналов.
i
i
Далее вычислительный модуль 7 определяет коэффициенты правдоподобия наличия активного источника звука в направлении Θ для каждого полученного значения кросс-корреляции. Направления Θ, для которых вычислительный модуль 7 определяет коэффициенты правдоподобия, могут быть заранее заданы пользователем перед началом работы устройства. Например, упомянутые коэффициенты правдоподобия могут определены по формуле:
(2)
kl
i
⋇
где M - число каналов массива микрофонов 2, Θ - данные о направлении (азимут - для линейного массива микрофонов, азимут и угол места - для плоских и трёхмерных конфигураций), τ(Θ) - теоретическая задержка между парой каналов k и l для направления Θi, значение которой заранее задано пользователем в программно-аппаратной части вычислительного модуля 7.
В альтернативном варианте реализации заявленного решения вычислительный модуль 7 обрабатывает многоканальный звук методом локализации на основе сканирования окружающего пространства различными вариантами лучеформирователя, например, лучеформирователем Бартлетта.
i
В данном варианте коэффициенты правдоподобия наличия активного источника звука с частотой ω в направлении Θ могут определены вычислительным модулем 7 по формуле:
(3)
где m - переменная, по которой ведётся суммирование, которая принимает значения от 0 до M-1.
Также вычислительный модуль 7 может быть с возможностью уточнения полученных коэффициентов правдоподобия, например, по формуле:
(4)
Полученные уточненные коэффициенты правдоподобия также могут быть уточнены вычислительным модулем 7, например, по формуле:
(5)
i
В альтернативном варианте реализации заявленного решения вычислительный модуль 7 обрабатывает многоканальный звук методом локализации на базе различных вариантов алгоритма MUSIC (MUltiple SIgnal Classification). В данном варианте коэффициенты правдоподобия наличия активного источника звука с частотой ω в направлении Θ могут определены вычислительным модулем 7 по формуле:
(6)
i
s
где α(ω, Θ) - матрица захвата размера M на J (J - количество источников звука), U - матрица собственных векторов, H - эрмитово-сопряжённая матрица. Полученные коэффициенты правдоподобия вычислительный модуль 7 также может уточнить описанным ранее методом с использованием уравнений (4) и (5).
В альтернативном варианте реализации заявленного решения вычислительный модуль 7 обрабатывает многоканальный звук методом локализации с помощью алгоритма IDOA, оценивающего фазовые задержки на различных частотах между каналами захваченного многоканального звука.
i
В данном варианте коэффициенты правдоподобия наличия активного источника звука с частотой ω в направлении Θ могут определены вычислительным модулем 7 по формуле:
(7)
i
i
где Δ(ω,Θ) - вектор теоретических разностей фаз между нулевым и k-тым микрофонами при частоте ω для активного источника звука, расположенного по направлению Θ. δ(ω) - вектор измеренных разностей фаз между нулевым и k-ым микрофонами при частоте ω:
(8)
(9)
Полученные коэффициенты правдоподобия вычислительный модуль 7 также может уточнить описанным ранее методом с использованием уравнений (4) и (5).
i
Также в альтернативном варианте реализации заявленного решения вычислительный модуль 7 может обрабатывать многоканальный звук методом локализации на основе глубоких свёрточных нейронных сетей с остаточными слоями, рассматриваемым как задача классификации объектов. В данном варианте данные звуковых кадров подаются на вход упомянутых свёрточных нейронных сетей, входящих в состав вычислительного модуля 7, предназначенных для определения коэффициент правдоподобия для каждого заданного направления Θ посредством определения вектора вероятностей наличия источника звука. Вектор вероятностей наличия источника звука в возможных направлениях может быть определен по формуле:
(10)
i
i.
где N - число проверяемых направлений. На основе данных векторов вероятностей наличия источника звука для каждого заданного направления Θ, в частности, значений элементов матрицы векторов, вычислительный модуль 7 определяет коэффициенты правдоподобия для каждого заданного направления Θ
i
i
i
Таким образом, вычислительный модуль 7 для каждого заданного направления Θопределяет коэффициент правдоподобия на основе данных о частоте ω, информация о которой содержится в звуковом кадре. Далее вычислительный модуль 7 определяет максимальное значение коэффициента правдоподобия из всех полученных коэффициентов правдоподобия, после чего направление Θ, имеющее максимальное значение коэффициента правдоподобия, определяется вычислительным модулем 7 как направление на активный источник звука, а на основе данных азимутов и углов направления Θ на активный источник звука вычислительный модуль 7 осуществляет формирование диаграммы направленности в направлении обнаруженных источников звука. Формирование диаграммы направленности может состоять из двух этапов: лучеформирования и пост-фильтрации. В качестве лучеформирователя может использоваться лучеформирователь Бартлетта или Кэйпона, или любой другой. В качестве пост-фильтра используется пост-фильтр Зелинского. Возможно использование любого другого пост-фильтра, основанного на винеровской фильтрации.
Таким образом, результатом формирования диаграммы направленности является одноканальный выделенный звук целевого направления на активный источник звука и подавленными звуками по остальным направлениям. Выделенный звук вычислительный модуль 7 классифицирует с помощью глубокой свёрточной нейронной сети для определения на предмет наличия звуков потенциально опасных объектов.
Результаты анализа данных, поступаемых на вычислительный модуль 7, с видеокамеры 1, массива микрофонов 2, в частности, информацию о активном источнике звука в соответствии с классификатором, и дальномера 3 представляются пользователю с помощью вибрации вибромотора 8, звука, выводимого через динамик 9 и/или изображения, выводимого на дисплей 10 известными из уровня техники методами, например, раскрытыми в наиболее близком аналоге (патент № US5973618 A).
Данные с GPS-модуля, акселерометра и гироскопа, которые также размещены на общей печатной плате, поступают на вычислительный модуль 7 и используются для определения глобального положения пользователя в работе устройства в режиме навигатора, когда оно ведёт пользователя по улице и текущей точки в пункт назначения. Комбинирование данных с GPS-модуля, акселерометра и гироскопа осуществляется в вычислительном модуле 7 с помощью Калмановской фильтрации.
Таким образом, за счет того, что в заявленном устройстве для аудиовизуальной навигации слепоглухих людей локализация источников звука осуществляется с учетом значений коэффициентов правдоподобия, определенный на основе данных о частоте ω, информация о которой содержится в данных звуковых кадров, синхронно поступающих с по меньшей мере трех микрофонов массива микрофонов, обеспечивается повышение точности локализации источников звука и потенциально опасных объектов, т.е. обеспечивается безопасная навигация слепоглухого человека в заранее неизвестной обстановке.