ПОРТАТИВНОЕ УСТРОЙСТВО ЗАХВАТА И РАСПОЗНАВАНИЯ ЗРИТЕЛЬНЫХ ОБРАЗОВ

Область техники
Полезная модель относится к области тифлотехнических средств и может быть использована слабовидящими, слепыми и слепоглухими людьми в целях компенсации нарушения зрительных функций, способствуя активному приспособлению человека к окружающей среде.
Уровень техники
Известна трость-сканер для людей с ограниченными возможностями по зрению, позволяющая информировать пользователя о наличии и расстоянии до препятствий по пути их следования, как на улице, так и внутри помещений (см. RU 141620 U1, опубл. 10.06.2014 г., A61F 9/08). Известное устройство представляет собой тактильную трость, в стержне и рукоятке которой смонтированы управляемый посредством клавиатуры электронный блок обработки информации, получающий энергию от встроенного в трость модуля питания и содержащий энергонезависимую память для хранения оцифрованных аудиосообщений, подключенную по цифровой шине к микропроцессору, к которому также подключены через модуль согласования три ультразвуковых приемоизлучателя, смонтированных на трости таким образом, что проекция телесных углов их зон эхолокации образует на вертикальной плоскости, перпендикулярной направлению движения пользователя, удерживающего в руке трость-сканер, суммарную рабочую зону, форма и размеры которой позволяют определять наличие находящихся перед тростью-сканером объектов по высоте и ширине ростовой фигуры человека и их удаление с возможностью оповещения о них через устройство вывода информации.
Трость-сканер уведомляет пользователя о препятствиях, расположенных на различных по высоте уровнях в пределах человеческого роста в автоматическом режиме. К недостаткам указанного известного средства следует отнести функциональную ограниченность устройства.
Также известна электронная трость для слепых с обратной связью по движению (CN 108670741, опубл. 19.10.2018 г.), состоящая из модуля измерения расстояния, модуля интервального движения, блока управления устройством, аккумулятора. Дополнительно трость может быть снабжена чувствительным блоком для обеспечения лучшей тактильной обратной связи. Модуль интервального движения считывает линейное или вращательное движение при прохождении определенного расстояния и имеет сервопривод, определенный диапазон движения и снабжен устройством позиционирования. К недостаткам известного решения также можно отнести его функциональную ограниченность, поскольку оно не позволяет предоставить пользователю идентифицирующие сведения об обнаруженном объекте.
Настоящая полезная модель направлена на преодоление указанных недостатков уровня техники и решение технической задачи, заключающейся в расширении функциональных возможностей портативного устройства для пользователей, имеющих проблемы со зрением.
Раскрытие полезной модели
Как будет показано далее, предложенная полезная модель при ее использовании позволяет обеспечить достижение технического результата, заключающегося в повышении степени адаптации пользователей к окружающей среде. Данный технический результат является следствием реализации в устройстве новых функций, не представленных ранее в уровне техники, а также следствием усовершенствования реализованного в устройстве процесса информирования пользователя о результатах, полученных в процессе взаимодействия включенных в состав устройства технических средств.
Так, за счет существенных признаков формулы, посредством которых реализованы распознавание объектов, а также информирование пользователя о таких объектах (в частности, посредством звукового оповещения и/или текстом на дисплее с использованием рельефно-точечного шрифта Брайля), предложенное устройство может быть использовано не только слепыми, но и слепо-глухими пользователями, что способствует повышению их адаптации к социальной жизни в обществе, вследствие получения более детализированной и полной информации об окружающей среде.
Соответственно, для достижения указанного технического результата предлагается Портативное устройство захвата и распознавания зрительных образов, представляющее собой заключенные и зафиксированные в оснащенном радиатором едином корпусе: плату питания и управления на основе микроконтроллера (ППУ), связанную с одноплатным компьютером (ОК), связанные с ППУ вибромотор и, по меньшей мере, один источник питания, а также размещенные во фронтальной части корпуса и связанные с ППУ: две видеокамеры, ультразвуковой или лазерный дальномер, микрофон и источник света; расположенные в верхней части корпуса и связанные с ППУ элементы управления и индикации, причем ППУ снабжена контроллером заряда, связанным с зарядным разъемом, расположенной на корпусе кнопкой включения/выключения устройства и, по меньшей мере, одним источником питания и выполнена с возможностью командно-телеметрического обмена данными с ОК, а ОК снабжен аудио-, WiFi- и Bluetooth-интерфейсами, предназначенными для вывода информации на внешние устройства, интерфейсом для подключения носителя информации и сконфигурирован для выполнения программных модулей: модуля обмена информацией с ППУ, модуля детектирования объектов и вычисления расстояния, модуля распознавания объектов и вывода результатов распознавания и модуля коммуникации с внешними устройствами, при этом, по меньшей мере, одна плата из ППУ и ОК снабжена разъемом USB.
Данный вариант осуществления представлен в качестве предпочтительного варианта полезной модели. Далее в описании также представлены варианты, предназначенные для развития или уточнения сущности полезной модели, но при этом не преследующие целей замены или исключения существенных признаков. Некоторые из таких вариантов находят свое отражение в виде признаков зависимых пунктов формулы.
Осуществление полезной модели
В данном разделе описания представлены более подробные сведения, показывающие причинно-следственную связь между существенными признаками полезной модели и указанным выше техническим результатом, а также подтверждающие возможность ее осуществления на основании известных из уровня техники средств и методов.
Современное развитие электронной элементной базы позволяет реализовывать совместное осуществление множества функций в устройствах компактного форм-фактора. Так, в уровне техники нашли свое широкое применение так называемые одноплатные компьютеры, например, одноплатные компьютеры «Raspberry Pi» производителя Raspberry Pi Foundation. Данные устройства имеют сравнительно миниатюрные габариты и используются в различных областях, включающих как развлечения (например, отображение сетевого контента), так и области телеметрии, технологии «Умный дом», робототехники. Таким образом, одним из мотивов создания предложенной полезной модели явилась стремление к разработке компактного устройства, которое может быть использовано лицом с ограниченными возможностями.
По существу, одноплатный компьютер представляет собой базовый модуль, оснащенный необходимыми в современных условиях интерфейсами связи с внешними устройствами, а также возможностью программирования определенных функций. В рамках данной заявки не предполагается подробное раскрытие структурной и функциональной схем одноплатного компьютера, поскольку предполагается известность его выполнения из уровня техники для специалиста.
В то же время следует отметить, что само по себе наличие одноплатного компьютера не позволяет обеспечить предполагаемые разработчиком функции. Для этого необходимо совместное применение одноплатного компьютера и выбранных специализированных в зависимости от поставленной задачи средств, загрузки программных модулей, предназначенных для взаимодействия таких средств, обработки информации, полученной в результате их функционирования, а также выдачи информации потребителю по результатам такой обработки.
В рамках данной заявки указанная задача решена благодаря совмещению в компактном корпусе одноплатного компьютера и указанных далее специализированных средств, а также обеспечению взаимодействия таких средств.
Для более полного понимания сущности полезной модели в состав материалов заявки включены поясняющие чертежи, краткое описание которых приводится ниже.
Фиг. 1 - общий вид устройства в сборе.
Фиг. 2 - общий вид устройства сверху.
Фиг. 3 - схема взаимодействия плат и модулей.
Фиг. 4 - взрыв-схема состава устройства.
Фиг. 5 - вид размещения индикаторов и кнопок модуля захвата и распознавания зрительных образов.
Как показано на Фиг. 1-2 предложенное устройство внешне представляет собой компактный корпус, который может удерживаться одной рукой. Для дополнительного удобства корпус оснащается клипсами для крепления ремешка, как это обычно выполняется в портативных видеокамерах.
Согласно Фиг. 3 предложенное решение содержит плату питания и управления (ППУ) 1 на основе микроконтроллера (3), а также соединенный с ППУ 1 одноплатный компьютер (ОК) 2. В качестве одноплатного компьютера, по совокупности технической оснащенности, целесообразно использовать компьютеры Raspberry Pi, в частности, поскольку последние версии данных компьютеров оснащаются встроенными модулями WiFi и Bluetooth.
К ППУ 1 подсоединены ультразвуковой или лазерный дальномер 6, микрофон 7, также соединенный с ОК 2 через плату аудиозахвата 9. Органы управления 11.1 и индикации 11.2 (кнопки и светодиодные индикаторы соответственно) в варианте осуществления размещены на плате 11, соединенной с ППУ 1. Устройство также оснащено вибромотором 12 и источником света (предпочтительно на базе светодиодов), кнопкой включения/выключения 14 и источником питания 15. В качестве источника питания может быть использован один или несколько аккумуляторов. При использовании нескольких аккумулятором в ППУ может быть дополнительно включена плата балансировки, связанная с аккумуляторами. С фронтальной стороны корпуса в устройство установлены видеокамеры 4 и 5. Видеокамеры соединены через подсистему коммутации камер с ОК 2. Подсистема коммутации может быть выполнена в виде отдельной расположенной в корпусе платы или расположена на ППУ. Устройство содержит зарядный разъем контроллер заряда 16, связанный с кнопкой включения/выключения 14 и источником питания 15.
Конструктивные особенности предложенного устройства более наглядно представлены на Фиг. 4 (так называемая взрыв-схема), согласно которой под соответствующими позициями представлены: 1. Плата питания и управления. 2. Плата одноплатного компьютера 3. Плата кнопок и средств индикации 4. Внутренний радиатор. 5. Крышка для прокладки кнопок. 6. Прокладка для кнопок FLEX. 7. Кнопки. 8. Световоды для индикации состояния устройства. 9. Корпус. 10. Нижняя крышка. 11. Внешний радиатор (задняя крышка). 12. Ушко для крепления ремешка. 13. Защитное сапфировое стекло для камер. 14. Защитное сапфировое стекло для светодиода. 15. Плата источника света (фонарика). 16. Передняя крышка. 17. Дальномер. 18. Камеры. 19. Планка крепления камер. 20. Кнопка питания (вкл/выкл). 21. Ремешок. 22. Аккумулятор. 23. Прижим аккумулятора. 24. Карта MicroSD. 25. Вибромотор. 26. Прижим вибромотора. 27. Заглушка разъемов. 28. Микрофон.
Также предпочтительно, чтобы, по меньшей мере, одна из плат ППУ и ОК (или обе платы) была снабжена разъемом USB (USB, microUSB или Type-C) или сразу несколькими разъемами (например USB и microUSB или Type-C). Плата ППУ может быть также снабжена разъемом. Предназначенным для программирования мокроконтоллера. Разъемы USB могут использоваться, например, для подключения внутренних устройств, оснащенных USB интерфейсом или для зарядки устройства (например с помощью microUSB или Type-C). Для подключения устройств с беспроводным интерфейсом могут использоваться WiFi- и Bluetooth-интерфейсы, реализованные в составе предложенного устройства.
На Фиг. 5 представлен вариант размещения кнопок управления и средств индикации, а также их функциональное назначение под соответствующими позициями: кнопка распознавания объектов 4, кнопка увеличения громкости 6, кнопка уменьшения громкости 5,  кнопка включения и выключения фонаря 7, кнопка добавления новых лиц 8, программируемая кнопка 9, кнопка дальномера 10, а также светодиоды индикации: индикация Wi-Fi подключения 1, состояние заряда аккумулятора 2, состояние подключения Bluetooth 3.
Согласно варианту осуществления в устройстве обеспечивается двойной функционал кнопок управления, в частности:
Кнопка распознавания объектов 4:
- кратковременное (продолжительностью менее 2 с) нажатие на кнопку распознает найденные объекты, направление и расстояние до них;
- длительное (продолжительностью более 2 с) нажатие и удерживание кнопки в нажатом положении - включение режима непрерывного распознавания объектов; отпускание кнопки - выход из режима непрерывного распознавания объектов.
Программируемая кнопка 9:
- кратковременное (продолжительностью менее 2 с) нажатие на кнопку включает выбранный режим работы;
- длительное (продолжительностью более 2 с) нажатие на кнопку позволяет выключить выбранный режим работы.
Кнопка включения и выключения дальномера 10:
- кратковременное (продолжительностью менее 2 с) нажатие на кнопку включает режим дальномера, в котором уровень вибрации корпуса обратно пропорционален расстоянию до препятствия;
- длительное (продолжительностью более 2 с) нажатие на кнопку позволяет выключить режим поиска подключенного мобильного телефона, который позволяет найти телефон, подключенный к устройству.
Устройство работает следующим образом.
Плата питания и управления на основе микроконтроллера осуществляет постоянный командно-телеметрический обмен данными между присоединенными зависимыми средствами и коммутирует подключение одноплатного компьютера, тем самым регулируя их работу и осуществляя назначение устройства - автоматический захват и распознавание объектов, их идентификацию с последующим выводом данных: на дисплей мобильного телефона или на дисплей Брайля, или на аудиогарнитуру через соответствующий аудиовыход одноплатного компьютера.  Устройство формирует данные так, что на дисплее Брайля данные отображаются в виде тактильного текста, который осведомляет пользователя обо всех окружающих его объектах. Кроме того, в устройстве предусмотрена функция управления самим устройством посредством подключенного дисплея Брайля. В общем случае между устройством и подключаемым устройством производится обмен данными и информацией управления.
Среди зависимых плат, по порядку передачи и обработки данных можно выделить одноплатный компьютер с многоядерным процессором, плату фонарика и ультразвукового или лазерного дальномера.
Плата питания и управления предпочтительно подразделяется на подсистемы коммутации камер, подсистему получения и обработки данных с дальномера, подсистему захвата звука с микрофона, подсистему зарядно-разрядного устройства, поступающая информация от которых передается одноплатному компьютеру.
Структурно программное обеспечение, выполняемое на одноплатном компьютере, имеет модульную конструкцию и состоит из нескольких программных модулей: головной управляющий модуль контроля обмена с платой питания и управления; модуль детектирования объектов и вычисления их удаленности; модуль распознавания лиц; модуль коммуникации с другими ассистивными устройствами с помощью протокола Bluetooth; модуль вывода звука.
Каждый модуль предназначен для выполнения своей функции: модуль коммуникации ассистивных устройств через Bluetooth - выполняет командно-телеметрический обмен с другими устройствами, получает и выдает команды для них, а также передает телеметрию. Модуль распознавания лиц - позволяет добавлять пользователю новые лица, а также находить и сообщать о найденных совпадениях посредством сравнения информации с базой данных. Модуль детектирования объектов и вычисления их удаленности - решает задачу детектирования заранее определенного перечня объектов с помощью нейросети с последующим построением карты глубины с помощью стереопары изображения и определением расстояний до объектов в кадре.
Для получения стереопары изображения в устройстве предусмотрено две видеокамеры, подсистема из коммутации и соответствующий программный модуль одноплатного компьютера. В варианте осуществления вместо двух видеокамер в устройство может быть установлена одна стереокамера.
Головной модуль управления, контроля и обмена отвечает за бесперебойное взаимодействие с платой питания и управления, запуск основных скриптов по командам пользователя и передачу команд на выполнения от других устройств.
При работе устройства в режиме дальномера телеметрическая информация о расстоянии преобразуется в тактильную обратную связь посредством вибромотора. В данном режиме уровень вибрации корпуса может быть обратно пропорционален расстоянию до препятствия.
Например, пользователь, имеющий ограничения по зрению, включает устройство, подключает наушники. С помощью кнопок, расположенных в верхней части корпуса, узнает о наличии, расположении и расстоянии окружающих предметов, добавляет и распознает лица, узнает о расстоянии до препятствий с помощью тактильной связи. Также устройство в автоматическом режиме оповещает пользователя о том, какие предметы и люди его окружают, сообщая это через аудиогарнитуру.
Пользователь, имеющий ограниченные возможности и по слуху, и по зрению, подключает к устройству дисплей Брайля беспроводным способом посредством технологии Bluetooth. При перемещении все распознанные предметы и люди, а также дорожные знаки будут обработаны в текст и переданы на дисплей Брайля, тем самым позволяя пользователю свободно ориентироваться и воспринимать информацию от окружающих людей и предметов в радиусе 10 метров. Информация же о расстоянии до препятствий передается с помощью тактильной обратной связи.
База данных, содержащая информацию об объектах, может быть загружена в устройство посредством размещения в него носителя информации - карты  MicroSD или с помощью обновления через сеть интернет. На данный носитель также может быть загружена информация о распознанных объектах или соотнесение информации с объектами, вводимая пользователем (например, информация соответствия нового распознанного лица с личностью). База данных может периодически обновляться, при этом устройство обеспечивает простоту загрузки обновленной информации. Следовательно, в режиме распознавания объектов пользователю будет доступна информация об объектах на расстоянии, ему не нужно будет пользоваться услугами третьих лиц, приближаться к объектам для тактильного опознавания, что повысит уровень восприятия пространства, а также обеспечит его безопасное передвижение по окружающему пространству (например, при поиске или пересечении  пешеходных переходов). Функция распознавания лиц позволит пользователю повысить вовлеченность в окружающую обстановку.
Необходимо отметить, что достижение указанного выше в материалах описания технического результата является следствием именно совокупного взаимодействия предусмотренных в предложенном решении средств. Объединение указанных в формуле средств в составе компактного корпуса обеспечивает синергию технического эффекта, не проявляющуюся при использовании средств по-отдельности либо в ином сочетании.