Устройство мониторинга состояния водителя

Полезная модель относится к области обработки цифровых данных, в частности, к способу и когнитивной системе видеоанализа, мониторинга, контроля состояния водителя в режиме реального времени. Устройство предназначено для установки в автобусах, троллейбусах, автомобилях и иных транспортных средствах (ТС), и служит для мониторинга состояния водителя за рулем, путем постоянного слежения за набором ориентиров на лице человека, подавая звуковой/световой сигнал в случае обнаружения признаков сна, а также отправляя информацию об этом на центральный сервер.
Из уровня техники известны средства того же назначения (мониторинг состояния водителя), что и предложенная разработка, выполняющие следующие функции:
контроль состояния водителя в рамках заданных критериев;
видеосъемку;
позиционирование GPS;
передачу данных посредством проводных и беспроводных интерфейсов;
запись и хранение видео- и аудиоинформации;
определение скорости и синхронизация времени;
повышение безопасности передвижения транспорта за счет звуковой и световой сигнализации водителю при обнаружении признаков сна.
Известно выполнение средств контроля состояния водителя основанных на анализе изображений водителя ТС или только его лица, содержащих: светодиод(ы) инфракрасной подсветки, видеокамеру; блок обработки изображений (FR 3089890, US 2013057668, WO 2016191827, WO 2019200434, JP 2017095008). Устройство, описанное в US 2013057668, содержит также блок звуковой сигнализации. Известно выполнение таких средств в одном корпусе. В ряде аналогов содержатся решения обеспечивающие снижения негативного влияния ИК излучения источников подсветки.
Из RU 2662293, 2684484 известны системы и алгоритмы работы систем мониторинга функционального состояния водителя, включающие: фиксацию события (положение головы, глаз и пр.); оповещение водителя посредством подачи звукового и светового сигнала о событиях; выявление отклонения от среднего индивидуального индекса нормального состояния водителя; автоматизированный сбор и хранение получаемых данных; обработка получаемых данных.
В RU 2662293 описан способ и средства мониторинга и оценки производительности человека. Средство мониторинга включает в себя сбор данных о состоянии водителя от видеокамеры, сбор данных о характере движения транспортного средства, голосовой опрос водителя, интеллектуальное отслеживание пороговых значений и динамики данных, активацию устройств, активацию бортовых приборов транспортного средства.
После обработки первичных данных в алгоритмах классификации психофизиологических состояний водителя определяют:
количество и частота поворотов и наклонов головы, включая кивки и запрокидывания;
количество и частота морганий;
период (продолжительность) смыкания век;
относительная по сравнению со средним значением для данного водителя ширина раскрытия век («прищур").
Данные о состоянии водителя, сработавших средствах стимуляции (в случае выявления опасных состояний), скорости движения ТС и его местоположении (координатах) с настраиваемой частотой передаются на сервер или иные внешние устройства посредством беспроводных каналов 2G/3G/4G или Wi-Fi для возможности использования данной информации в работе диспетчерского центра или для построения комплексной системы мониторинга транспорта.
Система непрерывного контроля психофизиологического состояния водителей по данному изобретению включает установленные в кабине транспортного средства блок датчиков состояния водителя, видеокамеру, снабженную инфракрасной подсветкой, блок воздействия на водителя, содержащий блок световой индикации, блок звуковой индикации.
Из RU 2413632, В60К28/02, опубл. 20.10.2010 г., известен способ предупреждения засыпания водителя транспортного средства, включающий получение изображения лица, обнаружение областей, предположительно содержащих глаза, обнаружение областей глаз, формирование эталона зрачка текущего водителя на основе общего для любого человека описания, периодическое освещение лица водителя инфракрасным светом, обнаружение области изображения, содержащей лицо, определение границ области движения зрачка, определение частоты и направлений движения глаз, определение частоты морганий, определение длительности периода времени, в течение которого глаза закрыты, сравнение параметров, характеризующих состояние водителя с эталонными для состояния засыпания и состояния сна, принятие решения о необходимости сигнализации о засыпании водителя. По результатам сравнения принимают решение о необходимости сигнализации о засыпании водителя.
В  RU 2684484, G08B21/06, B60K28/06, B60R25/00, опубл. 09.04.2019 г.  описан способ видеоанализа, мониторинга, контроля состояния водителя и транспортного средства в режиме реального времени предусматривающий:
получение данных с камеры, установленной в салоне ТС, характеризующих изображение водителя ТС;
выделение из полученных данных по меньшей мере одного изображения, содержащего отображение по меньшей мере лица водителя ТС;
выполнение предобработки изображения;
определение положения ключевых точек на изображении;
определение по меньшей мере одной области интереса изображения на основе положения ключевых точек;
определение на основании анализа каждой выявленной области интереса изображения по меньшей мере одного типа инцидента, причем анализ включает в себя обработку области изображения с помощью предиктора на предмет наличия каждого возможного типа инцидента из заданного набора инцидентов;
фиксацию по меньшей мере времени обнаружения каждого упомянутого инцидента;
формирование пакета данных, содержащего по меньшей мере информацию о каждом выявленном инциденте и времени его фиксации; и
осуществление передачи упомянутого пакета данных на серверную часть.
В качестве инцидента может быть следующие события, происходящие в кабине ТС:
отвлечение от дороги;
зевание;
курение;
засыпание;
разговор по телефону;
несанкционированный доступ к управлению ТС;
препятствие работе системы мониторинга;
водитель не пристегнут ремнем безопасности.
В этом же патенте раскрыта система, в которой реализуется указанный способ, включающая: инфракрасную камеру, выполненную с возможностью фиксации видеопотока данных в кабине ТС; вычислительное устройство, установленное в кабине ТС и связанное с упомянутой камерой; сервер, связанный каналом передачи данных с вычислительным устройством; ГНСС - антенну, блок данных о состоянии ТС (БДТС), GSM/GPRS/LTE/5G модем или их сочетания. В предлагаемом решении в качестве источника ИК-излучения может быть использован ИК-светодиод, в качестве ОЭД - малогабаритная видеокамера.
Это решение принято в качестве прототипа для заявленного устройства.
Недостаток данного решения заключается в недостаточной достоверности получаемых данных о состоянии водителя, обусловленной паразитным влиянием излучения подсветки на канал съема информации видеосенсором (видеокамерой) из-за того, что видеокамера и светодиоды расположены на расстоянии друг от друга. Светодиод используется для подсветки зоны головы водителя с тем, чтобы улучшить изображение в качестве четкости линий и цвета, которую фиксирует видеокамера. Но зона головы водителя находится в зоне широкого остекления кабины (салона) ТС, через которое проходит световое и иные излучения из внешней среды и которые серьезно меняют цветовую картинку лица водителя в зависимости от наличия или отсутствия солнца на небе, погодных условий и других проявлений климата. Поэтому подсветка светодиодом зоны головы водителя может привести к сложению или наложению собственного излучения и солнечного излучения, которое будет фиксировать резкое изменение цвета лица водителя (симптомы повышения давления, перегрева и т.д.). Это обусловлено тем, что излучение светодиода не находится рядом с линией съема видеокамерой изображения. Если светодиод расположить рядом с видеокамерой, то излучение светодиода будет наводить паразитное влияние на прием оптическим элементом изображения вплоть до искажения изображения, появления бликов и т.д. Это так же приводит к снижению достоверности информации о состоянии водителя.  Обработка изображения и получение вывода о его состоянии проводится алгоритмическими действиями в соответствующем программном обеспечении (ПО). Это ПО принимает решение исключительно на базе сравнительных характеристик и поэтому изначально важно получить реальное изображение лица водителя, а не его части или искаженную картинку, которые становятся основанием для получения ошибочного вывода о состоянии водителя.
Другим недостатком является то, что вычислительный блок, видеокамера и светодиод разнесены в пространстве из-за того, что каждый из перечисленных блоков функционирует в своем температурном диапазоне. При совмещении блоков происходит усреднение внутренней температуры в корпусе, приводящее к перегреву, например вычислительного блока, что так же влияет на качество работы процессора.
Настоящая полезная модель направлена на достижение технического результата, заключающегося в повышении достоверности получаемых данных о состоянии водителя за счет исключения паразитных влияний излучения подсветки на канал съема информации видеосенсором и стабилизации тепловых режимов работы электронных компонентов.
Указанный технически результат достигается тем, что в устройстве мониторинга состояния водителя, содержащем размещаемые в транспортном средстве напротив головы водителя в корпусе инфракрасную видеокамеру, вычислительный блок, связанный с упомянутой камерой, блок передачи данных во внешнюю среду, а также светодиоды для подсветки пространства в зоне головы водителя, выполненный с возможностью излучения на длине волны 940 нм, корпус состоит из двух секций, первая из которых выполнена в виде закрываемого сверху крышкой коробчатой формы металлического лотка с реализацией функции теплоотвода для размещенных друг над другом и закрепленных в нем плат, оснащенных вычислительным блоком, блоками геолокации и передачи данных во внешнюю среду, модулем аудио и блоком питания, а вторая секция выполнена в виде отдельного модуля, прикрепляемого через теплоизолирующий элемент из АБС-пластика к первой секции и в котором последовательно размещены плата с инфракрасной видеокамерой и плата со светодиодами, линии светового излучения которых расположены по бокам от линии приема оптической информации инфракрасной видеокамерой, в плате со светодиодами выполнено сквозной проем напротив расположения оптического элемента указанной видеокамеры, а на лицевой стороне второй секции выполнены  сквозные проемы, каждое из которых закрыто стеклом из светофильтрующего материала с пропусканием излучения на длине волны выше 940 нм, одно стекло расположено в центральной зоне лицевой стороны второй секции на линии приема оптической информации инфракрасной видеокамерой, а другие стекла расположены по бокам от первого напротив линии светового излучения каждого светодиода, при этом плата инфракрасной видеокамеры размещена с воздушными зазорами между корпусом, платой с вычислительным блоком и платой со светодиодами.
Указанные признаки являются существенными и взаимосвязаны с образованием устойчивой совокупности существенных признаков, достаточной для получения требуемого технического результата.
Настоящая полезная модель поясняется конкретным примером исполнения, который, однако, не является единственно возможным, но наглядно демонстрирует возможность достижения требуемого технического результата.
На фиг. 1 – общий вид устройства мониторинга состояния водителя;
фиг. 2 - вид спереди, со стороны функциональных окон;
фиг. 3 – вид сбоку;
фиг. 4 – вид снизу;
фиг. 5 – устройство в разобранном состоянии с детализацией элементов конструкции;
фиг. 6 – продольное сечение устройства.
Согласно настоящей полезной модели рассматривается конструкция разработанного оригинального по конструкции устройства мониторинга состояния водителя, которое монтируется любым известным образом перед водителем в салоне или кабины транспортного средства (ТС). Устройство обеспечивает выполнение следующих функций:
контроль состояния водителя в рамках заданных критериев;
видеосъемку;
позиционирование GPS;
передачу данных посредством проводных и беспроводных интерфейсов;
запись и хранение видео- и аудиоинформации;
определение скорости и синхронизация времени;
повышение безопасности передвижения транспорта за счет звуковой и световой сигнализации водителю при обнаружении признаков сна.
В общем случае, устройство мониторинга состояния водителя содержит размещаемые в транспортном средстве напротив головы водителя в корпусе инфракрасную видеокамеру, вычислительный блок, связанный с упомянутой камерой, блок передачи данных во внешнюю среду, а также светодиоды для подсветки пространства в зоне головы водителя, выполненный с возможностью излучения на длине волны 940 нм.
Корпус состоит из двух секций. Первая секция выполнена в виде закрываемого сверху крышкой коробчатой формы металлического лотка с реализацией функции теплоотвода для размещенных друг над другом и закрепленных в нем плат, оснащенных вычислительным блоком, блоками геолокации и передачи данных во внешнюю среду, модулем аудио и блоком питания.
Вторая секция выполнена в виде отдельного модуля, прикрепляемого через теплоизолирующий элемент из АБС-пластика к первой секции и в котором последовательно размещены плата с инфракрасной видеокамерой и плата со светодиодами, линии светового излучения которых расположены по бокам от линии приема оптической информации инфракрасной видеокамерой. Плата инфракрасной видеокамеры размещена с воздушными зазорами между корпусом, платой с вычислительным блоком и платой со светодиодами. В плате со светодиодами выполнено сквозной проем напротив расположения оптического элемента указанной видеокамеры.
На лицевой стороне второй секции выполнены  сквозные проемы, каждое из которых закрыто стеклом из светофильтрующего материала с пропусканием излучения на длине волны выше 940 нм. Одно стекло расположено в центральной зоне лицевой стороны второй секции на линии приема оптической информации инфракрасной видеокамерой, а другие стекла расположены по бокам от первого напротив линии светового излучения каждого светодиода.
Ниже рассматривается пример конкретного исполнения устройства для мониторинга состояния водителя (фиг. 1-6).
Конструкция камеры представляет собой моноблок, основой которого  является разборный корпус 1, состоящий из основания 2 и крышки 3.
Основание 2 устройства выполнено из алюминия, в профиле своем имеет ребра для повышения площади отвода тепла. Отвод тепла происходит от процессора 4, установленного на процессорной плате 5, которая прикреплена к основанию через теплоотводящую прокладку. Помимо несущей платформы, в основании есть отсек для доступа к карте памяти и SIM карте. Данный отсек закрывается защитной крышкой 6. Несанкционированный доступ до данного отсека осуществляется за счет применения невыпадаемых винтов 7 с нестандартным шлицом, а также за счет наличия ниши для нанесения пломбы из мастики. Снятие крышки приводит к срыву установленной пломбы.
Крепление основания 2 (в салоне или кабине транспортного средства) может происходить за счет использования шарнирного или вариативного кронштейна 8. Также из основания выходят кабели питания и интерфейсов через герметичный кабельный ввод. Кабельный ввод является съемным элементом, что позволяет легко производить ремонт изделия в случае повреждения кабелей, путем замены кабеля.
Крышка 3, закрывающая сверху основание, выполнена из АБС пластика, обеспечивает радиопрозрачность для антенн блоков GPS 9 и GSM 10, установленных на кросс плате 11. В крышке расположена также кнопка 12, которая выполнена из прозрачного пластика, служащая также в качестве световода для индикации расположенной на кросс плате 11.
Устройство включает в себя видеокамеру с подсветкой, модуль вычислителя, модуль навигации (блоки GPS 9 и GSM 10) и передачи данных, модуль аудио.
Сердцем видеокамеры является процессорная плата 5, на которой смонтирован процессор RK3399. Над процессорной платой 5 располагается кросс-плата 11, на которой размещены модули питания, связи, навигации и индикации.
Для захвата изображения к процессорной плате подключается плата 13 видеосенсоров-датчиков 14 внешней информации, преобразующего оптические характеристики внешней среды в видеосигналы, пригодные для обработки в системе технического зрения. Для получения стабильного изображения лица машиниста, при установке камеры на расстоянии порядка 1 метра от камеры до лица машиниста, в камере применяется объектив с фокусным расстоянием 6 мм.
Видеосенсор, примененный в камере, выбран с расширенной чувствительностью в инфракрасном (ИК) диапазоне. Съемка в этом диапазоне позволяет избавиться от бликов солнечного света, излишней засветки кадра, а также дает возможность применить подсветку сцены в невидимом для человеческого глаза ИК диапазоне. Для этого изображение фильтруется ИК оптическим фильтром, установленным на видеосенсоре. Данный фильтр изготавливается с применением напыления специальных материалов, обеспечивающих пропускание определенного спектра узкой полосы. В данном случае фильтр выбран на полосу 940 нм.
В свою очередь, также светодиодами 15 подсвечивается сцена (зона нахождения головы водителя) длиной волны 940 нм. Светодиоды 15 смонтированы на отдельной плате 16, располагаемой перед платой 13 видеосенсора, и разнесены таким образом, чтобы избежать засветки камеры от бокового излучения (линии светового излучения расположены по бокам от линии оптического считывания камеры). Хоть данные светодиоды и обладают повышенным КПД, он все же остается достаточно малым, большая часть энергии питания светодиодов угодит в тепло. Поэтому плата 16, на которой установлены светодиоды, выступает в роли радиатора отводящей тепло от них на поверхность передней панели 17 корпуса. Для этого со стороны установки светодиодов защитная паяльная маска с платы подсвета удалена. Данной стороной плата подсвета, при помощи теплоотводящей пасты, прилегает к передней панели корпуса и стягивается с ней винтами. Это обеспечивает хороший теплоотвод от светодиодов, так как они не любят перегрева, перегрев приводит к деградации кристалла.
На передней панели 17 так же располагаются защитные стекла 18-20, которые скрывают видеосенсор и светодиоды. Стекла выполнены отдельными элементами. Это сделано для того чтобы излучение от подсветки (от светодиодов), проходящее через стекла 18 и 19, не вызывало искажений изображения, в связи с паразитным распространением излучения в полости стекла. В свою очередь стекла выполнены из материала PMMA – это пластик обладающий свойством светофильтра. В отличии от фильтра, применяемого в объективе, данный материал не обладает полосовыми свойствами. Эти стекла пропускают весь спектр выше номинального (940нм). Так же они имеют менее крутую характеристику фильтрации. Но при этом они хорошо обрабатываются и имеют низкую стоимость, что позволяет их применять для подобного рода задач – скрыть внутренности изделия. Помимо этого, данные стекла позволяют дополнительно отфильтровать боковые спектры излучения светодиодов, которые заходят в область видимого спектра, и так как их интенсивность мала, то она хорошо гасится материалом PMMA (полиметилметакрилат (ПММА) — это термопласт, известный как основной материал для изготовления оргстекла (акрилового стекла). За стеклами так же скрываются винты крепления камеры, и без их демонтажа разборка камеры невозможна. Это так же является барьером к несанкционированному доступу к камере.
Если обратиться к фиг. 5, то видно, что в передней панели 17 выполнены разнесенные окна, центральное из которых используется для камеры, а боковые окна предназначены для выхода светового излучения светодиодов. Это позволяет исключить паразитное влияние светового потока подсветки на видеоканал.  Центральный канал закрывается стеклом 20. Передняя панель представляет собой, по сути, размещаемую на корпусе переднюю крышку, выполненную с поперечной перегородкой, в которой выполнены три сквозных проема. С лицевой стороны в переднюю панель вставлены в отдельные посадочные места, разделенные между собой элементами панели, стекла 18-20 так, что стекло 20 размещено на пути линии схема информации видеосенсором, а остальные стекла расположены на линиях излучения светодиодов. Защитные стекла 18-20 одновременно являются фильтрами, пропускающими спектр выше 940 нм.
В устройстве так же смонтирован динамик для выдачи звуковых сигналов, а кнопка 12 выполнена с возможностью функционирования в качестве индикатора питания и тревоги.
Особенностью заявленного устройства является выполнение корпуса в форм-факторе уплощенного параллелепипеда, разделенного на заднюю секцию и на переднюю секцию, обращенную в сторону головы водителя. Задняя секция представляет собой лоткообразное основание 2, закрываемое крышкой 3, при этом это основание является теплоотводом для размещенных друг над другом и закрепленных в нем плат 5 и 11, оснащенных процессорным элементом, контроллером, блоками GPS 9 и GSM 10) и передачи данных, модулем аудио и блоком питания. Эти блоки функционируют в узком диапазоне температур, превышение температуры искажает режимы стабильной работы этих блоков. Поэтому они размещены в отдельном отсеке с просчитанными условиями теплоотвода через ребра и материал основания.
Передняя секция оформлена в виде продолжения корпуса по его длине и представляет собой переднюю панель 17, через теплоотводящую прокладку, прикрепляемую к основанию с крышкой. В этой секции размещаются плата 13 видеосенсора, за которой в сторону стекол 18-20 следует плата 16 со светодиодами.  Тепловые режимы функционирования светодиодов отличаются повышенной температурой, в связи с чем в передней панели предусмотрены другие средства вентилирования и отвода тепла во внешнюю среду без воздействия на компоненты в задней секции.
Передняя панель 17 соединяется с корпусом не непосредственно, а через теплоизолирующий барьер (теплоизолирующий элемент 21). Данный барьер предотвращает попадание тепла с корпуса на плату подсвета. Материал барьера - АБС пластик.
Так же тепловой барьер обеспечивается и для платы 13 видеосенсоров. Перегрев ведет к повышению шума матрицы, а, следовательно, к ухудшению качества анализа изображения. Теплоизоляция обеспечивается тем, что плата видеосенсоров имеет воздушные зазоры между корпусом, процессорной платой и платой подсвета (плата 16). Электрическая связь с процессорной платой осуществляется при помощи гибких шлейфов, через которые так же минимизируется передача тепла. Механическая фиксация происходит через латунные стойки, передняя панель при этом крепится к стойкам через пластиковые теплоизолирующие втулки, предотвращающие сброс тепла с передней панели на плату видеосенсоров.
Так как устройство предназначено для длительной работы во включенном состоянии. То решение задач по поддержанию стабильных температур в передней и задней секциях (а эти температуры отличаются друг от друга) позволяет обеспечить длительность работы и большой срок службы устройства.
В режиме мониторинга заявленное устройство обеспечивает аппаратно и программно:
фиксацию события 1 «Лицо водителя повернуто в сторону, отличную от направления движения ТС» или вниз;
фиксацию события 2 «Закрытые глаза водителя»;
оповещение водителя посредством подачи звукового и светового сигнала о событиях 1 и 2 в режиме реального времени с целью возвращения внимания водителя к дорожной обстановке;
прекращение подачи звукового и светового сигнала после прекращения фиксации событий 1 и 2;
формирование идентификатора ТС (далее ID ТС), закрепление каждой единицы оборудования за ID ТС;
обеспечение возможности осуществления автоматизированной идентификации водителя с использованием ID ТС;
расчет общей подвижности не менее 10 лицевых точек водителя на единицу времени, в течение смены;
расчет частоты и длительность зеваний водителя на единицу времени, в течение смены;
расчет частоты и длительность морганий водителя на единицу времени, в течение смены;
расчет частоты и длительности сведения надбровных дуг водителя на единицу времени, в течение смены;
определение среднего расстояния между веками каждого глаза водителя на единицу времени, в течение смены;
расчет среднего (обычного) положения головы водителя;
расчет среднего индивидуального индекса нормального состояния водителя;
выявление отклонения от среднего индивидуального индекса нормального состояния водителя;
автоматизированный сбор и хранение получаемых данных;
обработку получаемых данных с последующим направлением отчетов;
подготовку статистических данных и аналитики по каждому водителю (часы наибольшей активности и пассивности, количество инцидентов, формирование групп по индивидуальным параметрам).
В рамках автоматизированного сбора, обработки и хранения получаемых данных устройство способно выполнять следующие действия:
информация о состоянии водителя непрерывно в онлайн режиме передается в диспетчерский центр;
в случае обнаружения признаков сна или потери бдительности в автоматическом режиме незамедлительно подается сигнал водителю и отправляется «тревожный» сигнал о потере бдительности водителя в диспетчерский центр;
обеспечивается беспрерывная передача данных оперативного мониторинга состояния водителя на сервер;
происходит фиксация видеоматериалов о последних 10 секундах работы устройства, установленного на ТС, перед выключением. Фиксация видеоматериалов происходит как во внутренней памяти оборудования, так и в центре мониторинга;
полученные данные (в том числе видеоматериалы, подтверждающие выявленные нарушения) хранятся не менее 12 месяцев и выдаются на основании соответствующего запроса в течение 3 дней;
интерфейс центра мониторинга доступен по сети Интернет в режиме 24/7;
при поступлении тревожного сигнала сотрудники диспетчерского центра осуществляют проверку инцидента в онлайн режиме, а также выполняют фильтрацию ложных срабатываний оборудования. В зависимости от степени серьезности инцидента осуществляется следующий порядок действий:
при подтверждении инцидента, связанного с отвлечением внимания водителя от управления ТС, сотрудник диспетчерского центра направляет отчет об инциденте клиенту посредством электронной почты (ежедневный отчет и еженедельный отчет). В ежедневном и еженедельном отчетах предусматривается выделение нарушений, зафиксированных в предыдущих отчетах (выделение повторных нарушений за период без необходимости просмотра предыдущих отчетов);
при подтверждении инцидента, связанного с засыпанием водителя во время управления ТС (при котором водитель среагировал на тревожный сигнал оборудования и продолжил управление ТС), сотрудник диспетчерского центра связывается с сотрудником клиента посредством телефонной связи и уведомляет об инциденте, а также направляет отчет об инциденте в филиал клиента, к которому привязано ID управляемого ТС посредством электронной почты;
при подтверждении инцидента, связанного с засыпанием водителя во время управления ТС (при котором водитель не среагировал на тревожный сигнал оборудования), сотрудник диспетчерского центра в экстренном порядке связывается с сотрудником клиента посредством телефонной связи и уведомляет об инциденте, а также направляет отчет об инциденте в филиал клиента, к которому привязано ID управляемого ТС посредством электронной почты.