СИСТЕМА И СПОСОБ АВТОМАТИЧЕСКОЙ НАСТРОЙКИ КОМПЛЕКСА ТЕХНИЧЕСКОГО ЗРЕНИЯ
SYSTEM AND METHOD FOR AUTOMATIC ADJUSTMENT OF THE TECHNICAL VISION COMPLEX

Изобретение относится к области видеонаблюдения, а именно к системам и способам автоматической настройки комплекса технического зрения, которые применяют для автоматического анализа событий и ситуаций, находящихся в области контроля приборов технического зрения в составе комплекса. В качестве приборов технического зрения чаще всего используют видеокамеры, однако подсистему автоматической настройки комплексов технического зрения могут применять также для анализа сигналов, поступающих от радарных систем (как на основе радиосигнала, так и на основе лазерных систем), от датчиков заграждения, от датчиков объёма, от температурных датчиков, от устройств записи звука, и т.д.
Типичное применение комплексов технического зрения, в которых используют так называемые интеллектуальные алгоритмы анализа событий и ситуаций, начинают с подготовки к эксплуатации. После установки на контролируемом объекте видеокамер и других устройств технического зрения, обеспечивают наблюдение за заранее определённой территорией. Затем на вычислительных устройствах запускают блоки анализа сигналов, поступающих от приборов технического зрения. Этот анализ автоматически выявляет события и ситуации, представляющие интерес с точки зрения использования конкретного комплекса технического зрения, например, с точки зрения обеспечения безопасности объекта, на котором применяется данный комплекс.
Как правило, функционирование алгоритмов анализа сигналов от приборов технического зрения, детектирующих события в области контроля, зависит от ряда параметров, определяемых пользователем. Один из типичных примеров такого параметра – форма области интереса на видеокамере, или на карте местности, вне которой комплекс технического зрения не должен реагировать ни на какие события. Существуют и другие параметры, влияющие на работу алгоритмов автоматического детектирования событий. На этапе подготовки комплекса технического зрения к эксплуатации операторы комплекса заранее устанавливают эти параметры, которые определяют уровень чувствительности комплекса к шумам в поступающих от приборов технического зрения сигналах. После настройки подобные системы, как правило, работают автономно, без вмешательства оператора, при этом автоматизированные рабочие места (АРМ) операторов предоставляют возможность получить сводную информацию о событиях, автоматически выделенных комплексом технического зрения, и, в случае необходимости, оператор обязан реагировать на эти события, однако режим функционирования интеллектуальных алгоритмов в комплексах технического зрения он при этом не меняет.
Наиболее близкой к заявленному изобретению является система технического зрения, описанная в патенте RU2682013, в которой датчики обнаружения и устройства анализа объединены с помощью проводных и беспроводных сетевых каналов, а обработанную информацию сохраняют с помощью технологий bigdata. Данная система выбрана в качестве прототипа заявленного изобретения.
Система-прототип имеет следующие недостатки.
Во-первых, алгоритмы адаптивной подстройки системы-прототипа осуществляют только подбор коэффициентов нейронной сети и решающих правил нечёткой логики, применяемых к данным на верхнем уровне обработки, в то время как набор параметров обработки сигналов в комплексах технического зрения и множество применяемых алгоритмов обработки сигналов значительно шире. Таким образом, система-прототип имеет недостаточную функциональность и производительность.
Во-вторых, в системе-прототипе не учитывают реакцию операторов на события, выделенные в процессе функционирования системы, поэтому алгоритмы поиска коэффициентов нейронных сетей и нечётких решающих правил используют методы обучения без учителя, то есть без шаблонных исходных данных, что, приводит к менее достоверным результатам автоматической обработки, чем при использовании методов обучения с учителем, предполагающих включение в процесс автоподстройки данных о том, как реагируют операторы на автоматические события, выделенные системой. Таким образом, система-прототип имеет не достаточную точность обнаружения событий.
В-третьих, применяемый в системе-прототипе формат хранения данных bigdata является достаточно дорогостоящим, так как подразумевает высокую устойчивость к отказам устройств хранения данных и высокую производительность при одновременном доступе к сохранённым данным большого количества пользователей; для функционирования подсистемы адаптивной настройки параметров ни то, ни другое не требуется, а достаточно обычного линейного списка данных с описанием сигналов и категорий событий, который этот сигнал описывает. Таким образом, система-прототип имеет высокую стоимость.
Техническим результатом изобретения является создание системы и способа автоматической настройки комплекса технического зрения с повышенной функциональностью, производительностью, точностью обнаружения событий и низкой стоимостью, за счет предельного упрощения процесса автоматической настройки, при этом адаптации его для использования любыми операторами, обладающими базовыми навыками обращения с персональным компьютером.
Любой комплекс технического зрения, поддерживающий автоматическое выделение событий, обладает ошибками первого и второго рода, то есть ложными срабатываниями и пропусками, соответственно. В зависимости от места установки комплекса технического зрения, подбирают такие параметры обработки поступающих от устройств технического зрения сигналов, которые минимизируют влияние шумов и уровень ошибок первого и второго рода. Однако, процесс подбора параметров, является сложным для понимания, и может быть выполнен только специалистами в данной предметной области. Заявленные система и способ автоматической настройки комплекса технического зрения предельно упрощают данный процесс, делая его доступным для использования любыми операторами, обладающими базовыми навыками обращения с персональным компьютером.
Поставленный технический результат достигнут путем создания системы автоматической настройки комплекса технического зрения, содержащей, устройство технического зрения, соединенное блоком 3 автоматической обработки сигналов с заданными параметрами и с архивом, который соединен с по меньшей мере, одним автоматическим рабочим местом (АРМ) оператора 1, содержащим, по меньшей мере, один блок 3 пользовательской обработки сигналов, который соединен с вычислительным кластером 2 комплекса технического зрения, содержащим, по меньшей мере, один блок 5 автоматической обработки сигналов с заданными параметрами, блок 7 проверки результатов на эталонном архиве, блок 6 оценки результатов обработки, которые соединены с блоком 4 оптимизации и управления распределённой системой обработки архивированных сигналов, который соединен с блоком 3 пользовательской обработки сигналов, причем
- архив выполнен с возможностью хранения заданных начальных параметров обработки сигналов;
- устройство технического зрения выполнено с возможностью формирования сигнала и передачи его в архив и в
- блок 5 автоматической обработки сигналов с заданными параметрами, выполненный с возможностью анализа сигнала с использованием параметров обработки сигналов, при этом автоматического выделения в нем событий, которые требуют реакции со стороны операторов, и передачи их в архив и в
- автоматическое рабочее место оператора 1, в блок пользовательской обработки сигналов, выполненный с возможностью, при участии оператора, анализа сигнала и разметки автоматически выделенных событий на мониторе, при этом подтверждения или отвержения факта события и сохранения подтвержденного или опровергнутого события в архиве в виде эталонного размеченного набора данных для запуска процедуры машинного обучения, а также передачи его
- в блок 4 оптимизации и управления распределённой системой обработки архивированных сигналов, выполненный с возможностью определения оптимальных параметров обработки, при которых достигается наилучший результат по соответствию вручную размеченных оператором событий автоматически выделенным событиям;
- блок 6 оценки результатов обработки рассчитывают метрики выполнен с возможностью определения соответствия результатов автоматической обработки и ручной разметки оператора, а
- блок 7 проверки результатов на эталонном архиве выполнен с возможностью осуществления контроля переобучения, при этом проверки, чтобы на эталонных архивных данных с разметкой алгоритмы обработки с новыми параметрами не давали результат хуже с точки зрения блока оценки качества, чем при начальных параметрах.
В предпочтительном варианте осуществления системы устройство технического зрения выбрано из набора устройств, содержащего телекамеру, тепловизор, радар.
В предпочтительном варианте осуществления системы блок 3 пользовательской обработки сигналов выполнен с возможностью указания времени и места событий
В предпочтительном варианте осуществления системы для непрерывных параметров в качестве метода оптимизации используют градиентный спуск, для дискретных параметров в качестве метода оптимизации используют покоординатный спуск, а для параметров, описывающих зоны на изображениях или картах в качестве метода оптимизации используют метод полного перебора по сетке параметров.
В предпочтительном варианте осуществления системы блок 3 пользовательской обработки сигналов, блок 4 оптимизации и управления распределённой системой обработки архивированных сигналов, блок 6 оценки результатов обработки и блок 5 автоматической обработки сигналов с заданными параметрами выполнены с возможностью запуска на внешних серверах «облачной» системы, пользователями которой является более широкая группа потребителей.
Поставленный технический результат достигнут также путем создания способа автоматической настройки комплекса технического зрения, в котором
- задают и сохраняют в архив начальные параметры обработки сигналов;
- с помощью устройства технического зрения формируют сигнал и передают его в архив и, по меньшей мере, в один
- блок 5 автоматической обработки сигналов с заданными параметрами, с помощью которого анализируют сигнал, используя параметры обработки сигналов, при этом выделяют в нем события, которые требуют реакции со стороны операторов, и передают их в архив и, по меньшей мере, в одно
- автоматическое рабочее место 1 оператора, и, по меньшей мере, в один блок 3 пользовательской обработки сигналов, с помощью которого посредством оператора анализируют сигнал и размечают автоматически выделенные события на мониторе, при этом подтверждают или отвергают факт события и сохраняют подтвержденное или опровергнутое событие в архиве в виде эталонного размеченного набора данных для запуска процедуры машинного обучения, а также передают его
- в блок 4 оптимизации и управления распределённой системой обработки архивированных сигналов, с помощью которого определяют оптимальные параметры обработки, при которых достигается наилучший результат по соответствию вручную размеченных оператором событий автоматически выделенным событиям;
- с помощью блока 6 оценки результатов обработки рассчитывают метрики, определяющие соответствие результатов автоматической обработки и ручной разметки оператора, и
- с помощью блока 7 проверки результатов на эталонном архиве осуществляют контроль переобучения, при этом проверяют, чтобы на эталонных архивных данных с разметкой алгоритмы обработки с новыми параметрами не давали результат хуже с точки зрения блока оценки качества, чем при начальных параметрах.
В предпочтительном варианте осуществления способа устройство технического зрения выбрано из набора устройств, содержащего телекамеру, тепловизор, радар.
В предпочтительном варианте осуществления способа с помощью блока 3 пользовательской обработки сигналов указывают время и место событий.
В предпочтительном варианте осуществления способа для непрерывных параметров в качестве метода оптимизации используют градиентный спуск, для дискретных параметров в качестве метода оптимизации используют покоординатный спуск, а для параметров, описывающих зоны на изображениях или картах в качестве метода оптимизации используют метод полного перебора по сетке параметров.
В предпочтительном варианте осуществления способа блок 3 пользовательской обработки сигналов, блок 4 оптимизации и управления распределённой системой обработки архивированных сигналов, блок 6 оценки результатов обработки и блок 5 автоматической обработки сигналов с заданными параметрами запускают на внешних серверах «облачной» системы, пользователями которой является более широкая группа потребителей.
Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.
Фиг. 1. Схема системы автоматической настройки комплекса технического зрения, выполненная согласно изобретению.
Фиг. 2 Схема работы блока оптимизации и управления распределённой системой обработки архивированных сигналов, выполненная согласно изобретению.
Фиг. 3. Схема подбора оптимальных параметров обработки сигналов в комплексах технического зрения с использованием облачных технологий и методологии непрерывной интеграции, выполненная согласно изобретению.
Фиг. 4. Схема работы систем технического зрения в закрытом режиме без подключения к внешним сетевым сервисам, выполненная согласно изобретению.
Элементы:
1 – автоматическое рабочее место (АРМ) оператора;
2 - вычислительный кластер комплекса технического зрения;
3 -  блок пользовательской обработки сигналов;
4 - блок оптимизации и управления распределённой системой обработки архивированных сигналов;
5 - блок автоматической обработки сигналов с заданными параметрами;
6 -  блок оценки результатов обработки;
7 - блок проверки результатов на эталонном архиве.
Рассмотрим более подробно функционирование заявленных системы и способа автоматической настройки комплекса технического зрения (Фиг. 1 - 4).
Как правило, события, выделенные автоматически комплексами технического зрения, требуют реакции со стороны операторов системы. Например, оператор должен подтвердить, является ли срабатывание, приведшее к генерированию события, истинным или ложным, и в случае, если оно истинное, оператор должен запустить процесс, связанный с реагированием на данное событие. В системах обеспечения безопасности в качестве реагирования на событие могут быть мероприятия по предупреждению проникновения на охраняемую территорию.
Некоторые системы видеонаблюдения отдельно сохраняют реакцию операторов для ретроспективной оценки их действий. Данная информация может расцениваться как «слабая» разметка сигналов (описание отдельных сигнальных интервалов с присутствующими на них объектами), поступающих от устройств технического зрения. Основываясь на том, отметил ли оператор события как истинные, или как ложные, запускают процесс обучения с учителем на сигналах с выделенными событиями, которые обычно сохраняют за достаточно длительный период в архив системы, и поэтому могут быть извлечены из архива для повторной обработки с новыми параметрами, подбираемыми в ходе обучения.
Если использовать только подтверждающую реакцию операторов, то в размеченную выборку сигналов не попадут фрагменты с пропусками событий. Для решения этой проблемы предлагается ввести режим ручной разметки: для тех случаев, когда оператор замечает пропуск события, у него должна быть возможность отметить тип события и его положение на кадре изображения или на карте вручную.
Таким образом, формальное определение разметки может быть представлено следующим образом. Пусть  – это поступающий в момент времени  сигнал для автоматической обработки. Для изображений, например, для одного из вариантов формата,  – это целочисленная координата точки изображения (две компоненты), а  –  это три целочисленные компоненты цветности синего, зелёного и красного цвета в диапазоне от 0 до 255 для точки . Для звука (также в одном из представлений)  является индексом частоты, а  значением амплитуды звуковой волны на данной частоте, т.е. коэффициент ряда Фурье в спектре. Разметка  является множеством, состоящим из описаний объектов или событий для каждого момента времени , отражение которых зафиксировано в сигнале . Для изображений примером такого описания в момент времени  является минимальный ограничивающий прямоугольник изображения объекта на текущем кадре изображения, его уникальный номер, а также описание типа объекта. В случае «слабой» разметки прямоугольник и тип объекта предоставляют автоматически алгоритмы обработки, однако пользователь подтверждает, что это описание, в целом, верное. Более надёжной является разметка, при которой эти данные вводятся через пользовательский интерфейс вручную.
Таким образом, заявленная система автоматической настройки (подбора параметров) комплекса технического зрения работает согласно схеме, отображённой на Фиг. 1. В процессе эксплуатации системы операторы реагируют на выделенные системой события, при этом формируют на стороне автоматизированного рабочего места (АРМ) с помощью блока 3 пользовательской обработки (разметки) сигналов эталонный размеченный набор данных (см. выше определение термина «разметка») для запуска процедуры машинного обучения. Эти данные передают в блок 4 оптимизации и управления распределённой системой обработки архивированных сигналов (Фиг. 2) сигналы, сохранённые в архиве, в результате подбора в блоках 5 автоматической обработки сигналов с заданными параметрами, при которых достигается наилучший результат по соответствию событий, размеченных операторами, событиям, выделенным при запуске алгоритмов обработки с новыми параметрами. Расчёт метрик, определяющих соответствие результатов автоматической обработки и ручной разметки, осуществляют в блоке 6 оценки результатов обработки. Важным элементом заявленной системы является защита от переобучения, которую осуществляют в блоке 7 проверки результатов на эталонном архиве на наборе сигналов, который не входит в состав материала, собранного в процессе разметки в текущем месте эксплуатации операторами, и представляет собой эталон, на котором алгоритмы обработки с новыми параметрами не должны давать результат хуже с точки зрения блоке 7 проверки результатов на эталонном архиве, чем при начальных параметрах, используемых по умолчанию.
Существует несколько видов параметров, определяющих функционирование алгоритмов детектирования событий комплексами технического зрения: непрерывные параметры в виде вещественных чисел; дискретные параметры, например, флаг включения/выключения фильтрации определённого вида, или параметр-перечисление вида фильтрации; пространственные параметры, описывающие определённые области изображений, например, область, в которой при появлении объекта должно создаваться событие, требующее реакции оператора.
Один из способов поиска оптимальных параметров заключается в полном переборе вариантов параметров (в случае непрерывных и пространственных параметров используют подвыборку значений параметров из сетки параметров). Этот способ прост в реализации, но применим лишь для небольшого количества параметров. Для повышения быстродействия используют метод градиентного спуска для множества непрерывных параметров, метод покоординатного спуска для множества дискретных параметров, и метод поиска в сетке для пространственных параметров.
В качестве целевой функции поиска в блоке оценки результатов используют показатели ошибок первого и второго рода и их комбинации (например, F-measure). Для определния пропусков и ложных срабатываний у событий, привязанных к положению в кадре видеокамеры или к положению на карте, используют порог на меру IoU (intersection-over-union), либо вычисляют метрики вида AP (average precision).
Наилучшие результаты в машинном обучении с учителем достигаются в тех случаях, когда в процедуре обучения используют большие объёмы данных. Собрать большой объём данных возможно, если потребители комплексов технического зрения (в рамках пользовательского соглашения) предоставляют архивы сигналов устройств технического зрения, в которых отражены события, в общее удаленное хранилище данных («облако»). Наиболее быстрый способ разметки таких сигналов – это использование распределённых рабочих мест оператора в облачном сервисе с привлечением большого количества операторов. Блок оптимизации и управления распределенной системой обработки, а также блоки автоматической обработки сигналов в режиме поиске оптимальных параметров тоже могут быть запущены в облаке, что увеличивает скорость процесса оптимизации параметров обработки. Полученные оптимальные параметры могут входить в состав дистрибутивов обновления систем технического зрения, поставляемых пользователям по подписке. Схема такой организации автоматического подбора оптимальных параметров представлена на Фиг. 3.
В ряде случаев предоставление данных в «облако» является неприемлемым по соображениям безопасности. В таких случаях разметка материала для процедуры автоматического подбора параметров, и выполнение поиска оптимальных параметров осуществляют локально, на серверах организации, эксплуатирующей систему технического зрения. Взаимодействие с внешней средой и повышение качества обработки за счёт дополнительных данных в этом случае возможно только в одну сторону – для предотвращения переобучения можно использовать заранее подготовленные открытые внешние данные (в рамках процесса, изображенного на Фиг. 3), см. Фиг. 4.
Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.