СПОСОБ И УСТРОЙСТВО ФИКСАЦИИ ТРЕВОЖНЫХ СОБЫТИЙ НА СЛУЖЕБНОМ ТРАНСПОРТНОМ СРЕДСТВЕ
METHOD AND DEVICE FOR RECORDING TROUBLING EVENTS ON A SERVICE VEHICLE

ОБЛАСТЬ ТЕХНИКИ
[0001] Настоящее техническое решение относится к области систем видеоаналитики, применяемых на служебных транспортных средствах (СТС), для фиксации тех или иных событий.
УРОВЕНЬ ТЕХНИКИ
[0002] Решения, применяемые различные подходы по видеоанализу информации на транспортных средствах (ТС), на сегодняшний день имеют широкое распространение. Как правило, такого рода решения применяются на грузовом транспорте при перевозке грузов, например, контейнеров. Видеофиксация данных осуществляется при этом как в области грузового отсека для получения данных о событиях, происходящих непосредственно с грузом, так и снаружи ТС для обработки событий окружающего пространства. Такие системы мониторинга основываются на обработке данных, получаемых с камер наблюдения, устанавливаемых снаружи и внутри ТС. Пример такого решения известен, например, из патента США 9,033,116 (Intelligent Technologies International Inc, 19.05.2015).
[0003] Зачастую при реализации такого рода решения применяются подходы, основанные на алгоритмах машинного обучения, обеспечивающие детектирование и классификацию событий по изображениям получаемого видеопотока с камер наблюдения. Одним из примеров такого рода решений является применения архитектуры модели машинного обучения на основе нейронной сети ResNet (Watkins et al. Vehicle classification using ResNets, localisation and spatially-weighted pooling // 2018).
[0004] Несмотря на это, для определенного вида ситуаций в производственной деятельности, таких как, например, инкассаторское обслуживание, необходимо учитывать определенный спектр событий, для которых являются характерными заданные триггеры, которые необходимо фиксировать в получаемом видеопотоке, что накладывает необходимость в расширении функционала комплекса видеоаналитики для его эффективной работы в требуемых условиях. Таким образом, исходя из существующих решений, существует техническая
[0005] проблема, обусловленная недостатками известных решений в части их ограниченной функциональности, при применении для мониторинга событий на СТС, которые могут происходить в различных его состояниях.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0006] Заявленное решение направлено на решение технической проблемы, присущей известным решениям из уровня техники.
[0007] Техническим результатом является повышение эффективности мониторинга ситуаций на служебном транспорте, за счет выявления событий в видеопотоке, соответствующих различным состояниям выполнения производственного процесса на служебном транспортном средстве.
[0008] Технический результат достигается за счет компьютерно-реализуемого способа фиксации тревожных событий на служебном транспортном средстве (СТС), выполняемого с помощью процессора и содержащего этапы, на которых:
получают данные с камер видеонаблюдения, установленных в салоне и снаружи на СТС;
обрабатывают получаемые данные с помощью по меньшей мере одной модели машинного обучения, выполненной с возможностью
фиксации первого состояния СТС, на основании обработки данных, отображающих положение по меньшей мере одного сотрудника в салоне СТС при его движении по маршруту следования;
фиксации второго состояния СТС при получении данных, отображающих открытие двери СТС и изменение положения по меньшей мере одного сотрудника в салоне СТС;
причем
при фиксации второго состояния выполняется определение положения по меньшей мере одного сотрудника у открытой двери снаружи СТС и очередность покидания сотрудников салона СТС с заданным временным промежутком;
и,
если сотрудники находятся ближе заданного значения расстояния у открытой двери снаружи СТС и/или покидание салона СТС происходит сотрудниками не поочередно в заданный временной промежуток, то выполняется фиксация тревожного события.
[0009] В одном из частных вариантов осуществления способа фиксация первого состояния СТС осуществляется при сидячем положении сотрудников в салоне СТС.
[0010] В другом частном варианте осуществления способа фиксация второго состояния СТС выполняется при получении изображения, что по меньшей мере один сотрудник встает в салоне СТС.
[0011] В другом частном варианте осуществления способа анализ положения сотрудников СТС при активации второго состояния СТС дополнительно включает в себя обработку данных, отображающих расположение сотрудников вне СТС.
[0012] В другом частном варианте осуществления способа первое состояние СТС анализируется динамически при движении СТС.
[0013] В другом частном варианте осуществления способа при движении СТС дополнительно анализируются данные с камер СТС на предмет анализа государственных регистрационных знаков (ГРЗ) транспортных средств (ТС).
[0014] В другом частном варианте осуществления способа анализ происходит на предмет распознавания повторяющихся ГРЗ на пути следования СТС.
[0015] В другом частном варианте осуществления способа дополнительно анализируется наличие данных с камер, отображающих информацию о взаимодействии сотрудника СТС с рацией после выхода из салона СТС.
[0016] В другом частном варианте осуществления способа дополнительно осуществляют фиксацию транспортировки груза сотрудником СТС.
[0017] В другом частном варианте осуществления способа изображения груза, получаемые с камер СТС, анализируются при втором состоянии СТС.
[0018] В другом частном варианте осуществления способа при анализе второго состояния СТС дополнительно фиксируется перемещение груза в процессе погрузки и/или разгрузки.
[0019] В другом частном варианте осуществления способа ведется анализ перемещения сотрудников СТС при покидании салона с грузом.
[0020] Заявленный технический результат также достигается за счет устройства фиксации тревожных событий на СТС, которое содержит по меньшей мере один процессор и по меньшей мере одну память, в которой хранятся машиночитаемые инструкции, которые при их исполнении процессором реализуют вышеуказанный способ.
[0021] В одном из частных примеров реализации устройство представляет собой вычислительное устройство, размещаемое на СТС.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0022] Фиг. 1 иллюстрирует пример размещения камер на СТС.
[0023] Фиг. 2 иллюстрирует блок-схему способа анализа видеопотока.
[0024] Фиг. 3 иллюстрирует блок-схему способа выявления тревожных событий при первом состоянии СТС.
[0025] Фиг. 4 иллюстрирует блок-схему способа выявления тревожных событий при втором состоянии СТС.
[0026] Фиг. 5 представлен общий вид вычислительного устройства.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
[0027] В различных производственных процессах (например - инкассации) возникают различные нарушения в последовательности, типе действий участников процесса. Проверка нарушений в таких процессах состоит из комбинации выполнения проверок отдельных событий и постобработки результатов. За проверку различных событий отвечают различные модели машинного обучения, которые могут быть объединены в комплекс моделей для выявления комбинаций событий.
[0028] Основной задачей для эффективной реализации системы видеоаналитики является подбор оптимальной комбинации моделей, которая позволяет достигать необходимого уровня качества при минимизации объемов и быстродействия, а также предъявляет минимальные требования к порядку создания и обслуживания таких моделей. Например, в процессах инкассации возникают регулярные нарушения в последовательности, типе действий инкассаторов. Пример: инкассаторы, находясь рядом и открыв дверь СТС, вместе ставят контейнер в машину и т.п.
[0029] Как показано на Фиг. 1 заявленное решение реализовано с помощью размещения на СТС (100) группы видеокамер (101-109), часть из которых фиксирует события внутри салона СТС (100), другая - размещается на кузове СТС (100) для фиксации наружной обстановки. Обработка поступающих видеопотоков с камер (101-109) выполняется вычислительным устройством (ПО), например, компьютером, который может устанавливаться непосредственно на СТС (100) или представлять собой внешний сервер, обмен данными с которым осуществляется при помощи передачи данных по вычислительной сети, например, сети «Интернет».
[0030] Такая архитектура решения позволяет реализовать учет множества различных событий на СТС (100), фиксируемых при различных процессах операционной деятельности, например, при движении СТС, остановке на СТС на пути следования, процессе стоянки и разгрузки СТС, выхода персонала из салона, вход персонала в салон СТС и прочее.
[0031] Обработка видеопотока с камер (101-109) выполняется одной или несколькими моделями машинного обучения, например, искусственной нейронной сетью (ИНС) с архитектурой Resnet_18 или иной ИНС, пригодной для выявления событий на кадрах видеопотока. Обучение ИНС выполнялось для всех типов определяемых событий, причем на последнем шаге обучения использовались модели обрезки данных (pruning neural network) в TLT что позволило снизить объем итоговой модели.
[0032] Обучение применяемой одной или нескольких моделей машинного обучения осуществлялся следующим образом. По кадрам с отдельных камер выполнялся сбор порций данных (батч). Размер порции зависит от количества камер, классов, порогового значения для убирания выбросов в ответах модели. Характеристики батча определяются в ходе тестирования - замеров скорости работы пайплайна для различных комбинаций параметров батча.
[0033] Далее батч подается на вход модели: ответ модели содержит значения классов для всех кадров (с разных камер), входящих в батч. С камер получаются данные не только о распознаваемых событиях, но и о характеристиках окружающей обстановки. Например, происходит ли событие на улице или в салоне СТС (100). Важно чтобы отдельные классы детектируемых событий не могли относиться к разным типам окружающей обстановки (например, открытая дверь детектируется только на улице, но не в салоне). Таким образом реализуется возможность получения информации не только о классе, к которому относится изображение, но и о местоположении камеры, с которой поступило изображение.
[0034] В ответах модели встречаются выбросы - разовые ложные ответы. Для сглаживания ответов осуществлялся выбор ответов по 10 подряд идущим кадрам, если по 8 кадрам из 10 (порядок не важен) получался один ответ, то такой ответ считался достоверным.
[0035] Пример реализации; данные поступают с 2-х камер. 1-я камера смотрит на улицу, 2-я - в салон СТС. По камере, смотрящей на улицу, детектируются события открытия/закрытия двери; по камере, смотрящей в салон СТС, определяется количество и положение людей в салоне - таким образом одной моделью определяется и положение дверей, и положение людей. Формируется батч из 8 кадров: 4 кадра с 1-й камеры и 4 кадра со 2-й. По ответу модели определяются требуемые характеристики (для убирания выбросов используется описанный подход: 8 из 10 одинаковых ответов), а также, при необходимости, к какой камере относится событие: к внутренней или внешней.
[0036] Такой подход позволяет оптимизировать время работы решения по анализу изображений с кадров, за счет того, что с помощью одной модели реализуется возможность формирования ответа по событиям различного типа, без необходимости применения различных моделей для детектирования конкретного типа события. При этом оптимизируется и сокращается время дообучения моделей, т.к. при появлении нового типа СТС меняется (дообучается) всего одна модель.
[0037] Поскольку камера может поворачиваться на небольшой угол в процессе эксплуатации СТС (100), необходимо учитывать аугментацию изображений с кадров с поворотом (брался угол в диапазоне от -45 до 45 градусов).
[0038] Примеры классов модели машинного обучения:
• no_person - нет людей в салоне;
• only seat l - в салоне один человек, он сидит;
• only seat_2 - в салоне от двух человек, и все сидят;
• standupl - в салоне один человек, он стоит;
• stand_up_2 - в салоне от двух человек, хотя бы один стоит;
• opened - боковая дверь СТС открыта;
• closed - боковая дверь СТС закрыта.
[0039] Пример размера классов (до аугментации):
[0040] Для устойчивости модели к поворотам и загрязнения камеры, изменения освещенности объекта применялись методы аугментации данных - расширения набора данных (датасета) за счет добавления преобразований к исходным изображениям.
[0041] Методы применяемой аугментации: вероятностное изменение яркости, контрастности, добавление шума, перевод в серый, геометрические преобразования (https://github.com/albumentations-team/albumentations).
[0042] В качестве одного из примеров, при обучении и тестировании модели машинного обучения для целей классификации событий, итоговые данные были разделены в пропорции: 80% / 20%. Для валидации бралось 10% от обучающей выборки (для валидации брались данные до применения аугментации).
[0043] Заявленный подход применим для большого количества задач, анализируемых в различных ситуациях и состояниях СТС. Под «состоянием СТС» следует понимать нахождение СТС в конкретной ситуации при осуществлении того или иного производственного действия, например, движение СТС по маршруту, стоянка СТС для осуществления действий погрузки/разгрузки, ожидание у точки погрузки/разгрузки и прочее. Каждое событие анализируется при присущем ему состоянии СТС, что позволяет более эффективно переключать режимы работы модели и фиксировать требуемый тип событий, повышая точность и качество анализа видеоданных.
[0044] На Фиг. 2 представлен общий процесс выполнения способа (200) выявления тревожных событий на СТС. Поступающие данные с камер (101-109) на этапе (201) подаются на вход вычислительного устройства (110), которое хранит в машиночитаемой памяти модель машинного обучения, осуществляющую последующую обработку видеопотоков на этапе (202) на предмет анализа событий (203). События на этапе (203) анализируется при первом (300) и втором (400) состоянии СТС. Для каждого состояния выполняется анализ соответствующих параметров, сигнализирующих о наступлении соответствующего тревожного события, информация о котором фиксируется на этапе (204).
[0045] На Фиг. 3 приводится блок-схема способа анализа событий при первом состоянии СТС (300).
[0046] На первом этап (301) с одной или нескольких камер (например, 103, 105, 106, 108, 109), снимающих обстановку внутри салона СТС при его движении (первое состояние), получают для анализа видеопоток. Видеопоток передается в вычислительное устройство (110). По полученным кадрам видеопотока выполняется анализ по меньшей мере одного сотрудника СТС, в частности на этапе (302) проверяется не изменил ли он сидячего положения в ходе движения. Если анализ кадров с изображением позы сотрудника на этапе (303) является допустимым, то работа система видеомониторинга продолжается в штатном режиме с получением и анализом поступающих кадров с камер наблюдения. В случае если происходит распознавание факта изменения положения сотрудника, например, сотрудник занимает стоячее положение, и СТС (100) останавливается, то выполняется фиксация начала второго состояния на этапе (304).
[0047] Дополнительно при движении СТС (100) по маршруту следования может также осуществляться контроль окружающей обстановки с помощью камер, установленных на внешнем периметре кузова СТС (100). Одним из примеров событий, анализируемых в данной ситуации, могут быть номера ГРЗ машин вокруг СТС. В частности, выполняется анализ наличия повторяющихся номеров ГРЗ на пути следования СТС в различные временные периоды, что может свидетельствовать о возможном тревожном событии в части несанкционированного слежения и/или преследования СТС (100).
[0048] В одном из частных примеров реализации данного подхода, если похожий (с точностью до двух знаков) номер ГРЗ фиксировался ранее, чем за заданное время (например, 30 минут) до события детектирования в течении недели до события детектирования, то фиксируется событие и на сервер высылается сообщение о появлении повторяющегося номера ГРЗ с изображением, содержащим ТС с данным номером, при этом отсылается одно изображение на один повторившийся номер. Если похожий (с точностью до двух знаков) номер ГРЗ фиксировался, например, ранее, чем за 30 минут (временной диапазон может быть изменен) до события детектирования в течение текущих суток, на планшет сотрудника СТС и/или на удаленный сервер (например, координационного центра) высылается сообщение с повторившимся номером, в частности одно сообщение на один повторившийся номер.
[0049] Детектирование номера ТС производится в течение заданного временного диапазона, например, двух минут с момента появления номера в видеопотоке. Символы номера должны быть визуально различимы на видео. При нарушении данных условий формируются уведомления для инкассаторов о потенциальных нарушениях и сохраняется информация с фото событий в базе данных, которая может быть на вычислительном устройстве (110) или на удаленном сервере.
[0050] На Фиг. 4 представлена блок-схема способа анализа событий при втором состоянии СТС (400). Анализ второго состояния осуществляется при остановке СТС (100) и вставанию сотрудника для открытия боковой двери СТС (100). На этапе (401) данные с камер внутри салона анализируются на предмет нахождения по меньшей мере одного сотрудника у боковой двери СТС и ее последующее открытие.
[0051] Далее на этапе (402) данные анализируются с внешних камер, установленных на периметре кузова СТС (100). Информация, получаемая с камер (например, 101, 102), проверяется на предмет кадров, на которых отображается покидание салона СТС сотрудниками, причем осуществляется распознавание изображений каждого сотрудника и времени, через которое они покидают салон СТС (100). Если сотрудники не покидают салон поочередно или временной диапазон выхода сотрудников из салона менее установленного значения (например, 10 сек между выходом каждого сотрудника), а также снаружи СТС у открытой двери нет сотрудника, то выполняется фиксация тревожного события на этапе (403). При этом фиксируется дата, время и изображение с соответствующим нарушением.
[0052] Также, фиксация может осуществляться на предмет расположения сотрудников снаружи СТС, в частности, что они находятся рядом на заданном удалении друг от друга. Анализ может производиться при вычислении расстояния между пикселями изображения с учетом разрешающей способности камер (101, 102). Дополнительно также может осуществляться фиксация того, что сотрудник, который первый покинул салон СТС, осуществляется взаимодействие с рацией, которая, как правило, располагается на его груди, что свидетельствует о том, что выполняется регламент сообщения о прибытии СТС.
[0053] При осуществлении процедуры инкассаторского обслуживания выполняется анализ груза, например, кейса или специальной сумки для денежных средств, который может находиться в салоне СТС (100) при активации второго состояния, или непосредственно перемещаться в салон СТС сотрудниками.
[0054] В этом случае изображения с камер внутри салона СТС при активации второго режима проверяются на предмет того, что изначально сотрудник покидает СТС и ожидает второго сотрудника с грузом. Если данный анализ фиксирует нарушение процедуры, то выполняется фиксация тревожного события. При этом также могут анализироваться кадры, характеризующие перемещение груза снаружи СТС, в также то, что сотрудники перемещаются регламентированным образом. Если происходит нарушение процедуры перемещения груза, то формируется данные о тревожном событии.
[0055] На Фиг. 5 представлен общий вид вычислительного устройства (500), пригодного для выполнения любого из вышеописанных способов, а также, являться частично или полностью равноценным устройству (ПО). Устройство (500) может представлять собой, например, сервер или иной тип вычислительного устройства, который может применяться для реализации заявленного технического решения. В том числе входить в состав облачной вычислительной платформы.
[0056] В общем случае вычислительное устройство (500) содержит объединенные общей шиной информационного обмена один или несколько процессоров (501), средства памяти, такие как ОЗУ (502) и ПЗУ (503), интерфейсы ввода/вывода (504), устройства ввода/вывода (505), и устройство для сетевого взаимодействия (506).
[0057] Процессор (501) (или несколько процессоров, многоядерный процессор) могут выбираться из ассортимента устройств, широко применяемых в текущее время, например, компаний Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragonn и т.п. В качестве процессора (501) может также применяться графический процессор, например, Nvidia, AMD, Graphcore и пр.
[0058] ОЗУ (502) представляет собой оперативную память и предназначено для хранения исполняемых процессором (501) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (502), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.).
[0059] ПЗУ (503) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.
[0060] Для организации работы компонентов устройства (500) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (504). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.
[0061] Для обеспечения взаимодействия пользователя с вычислительным устройством (500) применяются различные средства (505) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.
[0062] Средство сетевого взаимодействия (506) обеспечивает передачу данных устройством (500) посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (506) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[0063] Дополнительно могут применяться также средства спутниковой навигации в составе устройства (500), например, GPS, ГЛОНАСС, BeiDou, Galileo.
[0064] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.