СПОСОБ И СИСТЕМА ОТОБРАЖЕНИЯ ДАННЫХ С ВИДЕОКАМЕРЫ
DATA FROM THE VIDEO CAMERA DISPLAYING METHOD AND SYSTEM

ОБЛАСТЬ ТЕХНИКИ
Техническое решение относится к системам видеонаблюдения и к компьютерным системам, а именно, к обработке графической и иной видеоинформации для совмещения отображения видеоизображений, полученных с по меньшей мере одной видеокамеры и данных, представленных на плане какой-либо местности.
УРОВЕНЬ ТЕХНИКИ
Под системами видеонаблюдения понимается программно-аппаратное обеспечение или технические средства, использующие в том числе и методы компьютерного зрения для автоматизированного сбора данных, на основании анализа потокового видео (видеоанализа). Системы видеонаблюдения могут опираться на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека.
Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, таких, как: обнаружение объектов, слежение за движением объектов, классификация объектов, идентификация объектов, обнаружение ситуаций, в том числе и тревожных и многое другое.
Одной из задач, которую возможно решить посредством системы видеонаблюдения, является быстрое определение местоположения объекта.
Под планом местности понимается план и/или карта какого-либо помещения и/или объекта недвижимости и/или местности. На плане могут отображаться подвижные и неподвижные объекты, которые могут иметь на плане свои, условные обозначения.
Известно решение, раскрытое в заявке RU 2012101736 A, G08B 13/196, опубл. 27.07.2013, в котором раскрыты способ и система видеолокации, которые могут быть использованы для охраны помещений, автомобилей и других объектов. Способ видеолокации, содержащий получение видеоизображения при помощи, по меньшей мере, одной поворотной видеокамеры, запись его на компьютер, имеющий манипулятор типа «мышь» и воспроизведение на мониторе, отличающийся тем, что в памяти компьютера внесено изображение охраняемого объекта в формате 3D, с координатами всех элементов охраняемого объекта, также в памяти компьютера занесены координаты поворотной видеокамеры, а изображение, полученное с поворотной видеокамеры накладывается на изображение в формате 3D, при этом оператор устанавливает курсор манипулятора на любую точку охраняемого объекта, а компьютер выдает команду на поворот оси поворотной видеокамеры на эту точку. При использовании данного решения не предполагается корректное отображение видеоизображения объектов на плане местности.
Из уровня техники также известно решение, раскрытое в патенте RU 2417437 С2, G06K 9/36, в котором раскрыта технология, направленная на отображение результатов поисков сетевого контента на мобильных устройствах, которая включает получение результатов запроса сетевого контента посредством мобильного устройства, при этом получают геопозицию по меньшей мере одного объекта, связанного с результатами запроса сетевого контента. При этом, в поле обзора камеры мобильного устройства наблюдают сцену и определяют виртуальное местоположение, виртуальное местоположение представляет реальное местоположение объекта относительно сцены, содержащейся в поле обзора камеры, графическое изображение, представляющее объект, затем отображают в виртуальном местоположении в поле обзора камеры. При использовании данной технологии не предполагается корректное отображение видеоизображения объектов на плане местности.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Данное техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники.
Техническим результатом заявленной группы изобретений является повышение точности отображения объектов на плане местности в системе видеонаблюдения за счет преобразования координат местоположения объекта из системы координат кадра в систему координат плана местности.
Данный технический результат достигается за счет предложенного способа отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения, характеризующегося тем, что:
получают по меньшей мере одно изображение с видеокамеры;
определяют, по крайней мере, один неподвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
определяют, по крайней мере, один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект;
производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности;
преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности;
отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия и положения на нем движущихся объектов.
Данный технический результат также достигается за счет системы видеонаблюдения для отображения данных посредством, по меньшей мере, одной видеокамеры, содержащей:
по меньшей мере, один блок получения данных от видеокамеры;
по меньшей мере, одно устройство обработки команд;
по меньшей мере, одно устройство хранения данных;
одну или более компьютерных программ, загружаемых в, по меньшей мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по меньшей мере, одном вышеупомянутом устройстве обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения.
Данный технический результат также достигается за счет машиночитаемого носителя данных, содержащего исполняемые одним или более процессором машиночитаемые инструкции, которые при их исполнении реализуют выполнение способа отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения.
В одном частном варианте заявленного решения, заданные в процессе калибровки связи можно редактировать и/или удалять.
В другом частном варианте заявленного решения, местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры может быть определено при помощи видеоаналитики, встроенной в видеосервер и/или встроенное в видеокамеру.
Еще в одном частном варианте, местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры определяется при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
В другом частном варианте, местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры, могут визуализировать для пользователя путем отображения видеоданных поверх плана местности на экране монитора.
Еще в одном частном варианте, план местности может быть двухмерным.
В другом частном варианте, план местности может быть трехмерным.
Еще в одном частном варианте, для трехмерного плана местности возможно изменение наклона плоскости плана.
В другом частном варианте, для плана местности возможно автоматическое и ручное масштабирование и смещение.
Еще в одном частном варианте, при автоматической регулировке прозрачности, делают прозрачным весь кадр, кроме точек, где есть движущиеся объекты.
В другом частном варианте, в качестве условных обозначений на плане местности могут быть отображены видеокамеры и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц, и/или номеров автомобилей.
Еще в одном частном варианте, поле зрения видеокамеры может отображаться на плане местности в виде области, отличной по цвету и/или прозрачности от остальных элементов плана местности, и/или ограниченной от остальных элементов плана местности.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - выбор точек на кадре видеоизображения и плане местности, характеризующих местоположение объекта в пространстве;
Фиг. 2 - пример использования перспективного преобразования;
Фиг. 3 - пример интерфейса объектов привязки, план и видеоизображения, получаемые с видеокамер;
Фиг. 4 - пример реализации режима погружения в работе;
Фиг. 5 - пример отображения совмещенного изображения;
Фиг. 6 - блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Данное техническое решение в различных своих вариантах осуществления может быть выполнено в виде способа, реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
В данном техническом решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании данного технического решения.
Калибровка камеры - это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятым ею. Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.
План местности (карта) - это план объекта видеонаблюдения, который доступен для просмотра оператором видеонаблюдения. На плане местности обычно указывается расположение видеокамер и других объектов. Обычно план местности обладает некоторой интерактивностью - на нем отображается текущее состояние видеокамер, оператор может производить какие-либо действия.
В настоящем техническом решении предлагается способ отображения данных посредством, по меньшей мере, одной видеокамеры в системе видеонаблюдения, характеризующийся тем, что: получают по меньшей мере одно изображение с видеокамеры;
определяют, по крайней мере, один неподвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
определяют, по крайней мере, один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры;
задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект;
производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности;
преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности;
отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия на нем движущихся объектов.
Это становится возможным благодаря реализации режима погружения на плане местности, повышающего интерактивность наблюдения. Он позволяет более наглядно представить передвижение объектов в реальном пространстве. В режиме погружения полупрозрачное видеоизображение отображается вместе с планом местности, и неподвижные предметы в кадре (мебель, двери и др.) совмещаются со своими обозначениями на ней. Привязывается конкретная видеокамера к определенному плану местности или участку плана местности.
Далее будут кратко рассмотрены этапы заявленного способа, которые реализуются также посредством заявленной системы и машиночитаемого носителя.
На фиг. 6 показана блок-схема одного из вариантов реализации способа отображения данных с видеокамеры.
1. Получают, по меньшей мере, одно видеоизображение с видеокамеры.
В некоторых вариантах реализации технического решения видеокамер может быть две и более; видеокамеры могут быть установлены в более чем одном помещении. При этом для каждой камеры может соответствовать свой план местности (то есть в какой-либо местности может быть установлена только одна видеокамера), либо несколько видеокамер установлено в одной местности и используется план этой местности с возможностью переключаться между видеокамерами.
2. Определяют, по крайней мере, один неподвижный объект и координаты его местоположения на кадре видеоизображения, полученного с видеокамеры.
3. Определяют, по крайней мере, один подвижный объект и координаты его местоположения на кадре изображения, полученного с видеокамеры.
В качестве неподвижных объектов могут выступать различные предметы мебели, офисная и бытовая техника, а также двери, подоконники и прочие предметы, имеющие объемно-пространственную структуру.
В качестве подвижных объектов могут выступать такие объекты как человек, транспортные средства, животные и многие другие.
В некоторых вариантах реализации технического решения местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры может быть определено при помощи видеоаналитики, встроенной в видеосервер и/или встроенное в видеокамеру.
В некоторых вариантах реализации технического решения местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры определяется при помощи сенсоров, фиксирующих различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
В некоторых вариантах реализации технического решения местоположение неподвижных и/или движущихся объектов в поле зрения видеокамеры, могут визуализировать для пользователя путем отображения видеоданных поверх плана местности на экране монитора.
4. Задают на плане местности графическое обозначение неподвижного объекта, обозначающее неподвижный объект.
На фиг. 1 показан пример выбора точек на видеоизображении и на плане местности.
План местности представляет собой изображение в общеупотребительном формате, например, jpg или png. План можно загрузить в систему видеонаблюдения и использовать его как план местности. Либо есть возможность использовать реальные планы местности, полученные например, из сети Интернет, например, такие как веб-ресурс OpenStreetMap.
В некоторых вариантах реализации технического решения в устройство хранения информации может быть заранее загружен план местности с отмеченными на нем объектами. При этом план местности может быть двухмерным, трехмерным.
Для трехмерного плана местности возможно изменение наклона плоскости плана.
Для плана местности возможно автоматическое и ручное масштабирование и смещение.
В качестве условных обозначений на плане местности могут быть отображены видеокамеры и/или реле, и/или приборы систем контроля и/или управления доступом, и/или приборы охранно-пожарных сигнализаций, и/или посты распознавания лиц, и/или номеров автомобилей.
Поле зрения видеокамеры может отображаться на плане местности в виде области, отличной по цвету и/или прозрачности от остальных элементов плана местности, и/или ограниченной от остальных элементов плана местности.
5. Производят калибровку вышеуказанной видеокамеры, в процессе которой определяют не менее четырех виртуальных отрезков на вышеупомянутых плане и кадре полученного изображения, характеризующих координаты местоположения неподвижного объекта в пространстве и осуществляют задание связей между ними, при этом один конец каждого отрезка соответствует расположению неподвижного объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности.
6. Преобразуют координаты местоположения неподвижного объекта из системы координат кадра в систему координат плана местности, используя связи, заданные на предыдущем шаге, и совмещают получаемое изображение с видеокамеры с графическим обозначением, которое обозначает неподвижный объект на плане местности.
Как правило, для представления 2D-координат точки на плоскости используется вектор-столбец вида  а для задания положения 3D-точки в мировых координатах-. Нужно отметить, что эти выражения записаны в расширенной нотации однородных координат, которая является самой распространенной в робототехнике и задачах трансформации твердых тел. В частности, в модели камеры-обскуры матрица камеры используется для проецирования точек трехмерного пространства на плоскость изображения:
где Zc - произвольный масштабный коэффициент
В предлагаемом техническом решении совпадение положения изображений предметов с их положением на плане местности будет только для тех видеокамер, для которых выполнена привязка к плану местности (калибровка).
Предлагается по входному набору соответствующих точек с изображения обзорной камеры и плану построить такие матрицы, которые позволят так откалибровать камеру, чтобы изображение с камеры можно было совместить с изображением объектов на плане.
Искомые матрицы называются матрицей переноса и матрицей поворота. Матрица поворота имеет размерность [3×3], а матрица переноса размерность [3×1].
Для того чтобы можно было однозначно восстановить вышеуказанные матрицы необходимо передать 4 пары соответствующих точек с плана и обзорной камеры, по которым будут восстановлены матрицы поворота и переноса для того, чтобы изображение с обзорной камеры было наложено на план. Под парой соответствующих точек понимается одна точка с плана, координаты которой имеют размерность 3: (x; у; z), и, соответствующая ей точка с обзорной камеры, координаты которой имеют размерность 2: (u; v).
Задаем 4 пары точек привязки видео к плану. Указывается пара точек - одна на плане, другая на кадре видеоизображения. Обе точки должны указывать положение одного и того же предмета (например, угла комнаты). Всего надо задать четыре пары таких точек.
При этом, данные 4 пары точек могут образовывать не менее 4 виртуальных отрезков на плане, по которым осуществляется задание связей между неподвижным объектом и планом местности.
В данном решении идет привязка неподвижных объектов (стол, шкаф, угол здания и тд.) на видеоизображении с их обозначением на плане местности. Один конец каждого отрезка соответствует расположению объекта в кадре, другой конец отрезка соответствует расположению объекта на плане местности.
Изображение в обзорной камере формируется из трехмерной сцены проекцией на изображение с камеры, используя перспективное преобразование:
или
, где:
(X;Y;Z) - координаты в трехмерном пространстве,
(u; v) - соответствующие координаты на изображении,
матрица камеры или матрица внутренних параметров. Данная матрица может быть рассчитана алгоритмом автоматически или быть передана в качестве входной. В данной матрице ƒx; ƒy - фокальные расстояния камеры, сх; су - ее главная точка,
матрицы поворота и переноса, соответственно, подлежащие восстановлению.
При восстановлении матриц R и T возникает PnP полная задача, которая в предложенном алгоритме решается с помощью метода Левенберга-Марквардта, сутью которого в применении к данному алгоритму является следующее: искать функцию отображения трехмерных точек с плана на двухмерные точки изображения, как функцию с минимальной ошибкой репроекции или, другими словами, функцию, для которой сумма квадратов расстояний от восстановленных до реальных точек наблюдения минимальна.
7. Отображают упомянутое совмещенное изображение на дисплее, при этом осуществляется автоматическая регулировка прозрачности совмещенного изображения в зависимости от наличия на нем движущихся объектов.
Одним из возможных вариантов использования данного технического решения является режим погружения.
В режиме погружения можно «перемещаться» между камерами, выбирая любую камеру из текущей области видимости. Таким образом, переходить от одной камеры к другой можно, не выходя из режима погружения, что удобно, когда требуется проследить за передвижением какого-либо объекта.
В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения плана. При этом на основе заранее заданной привязки подбирается такой ракурс, при котором неподвижные объекты наблюдения на видеоизображении и плане будут совпадать. Оператор видит план и наложенное на него видео. Зачастую на реальных объектах видеонаблюдения изображение с видеокамер однотипное - это могут быть практически одинаковые помещения (например, коридоры офисного здания), одинаковое изображение периметра объекта и т.д. Если в области видимости какой-либо камеры происходит тревожная ситуация, оператору сложно определить, где именно эта камера находится. Если же камеры размещены на плане и есть возможность оперативно посмотреть видео "с привязкой к местности", то задача определения реального положения видеокамеры заметно упрощается. Кроме того, оператор можно "следить" за тревожной ситуацией в режиме погружения, используя несколько камер. Пример: на одной из камер замечен движущийся человек. Оператор переходит в режим погружения по этой камере. Так как она привязана к плану, то оператор может примерно определить траекторию движения человека и определить, в поле зрения какой камеры он появится после выхода из поля зрения текущей камеры. Поэтому оператор может прямо в режиме погружения переключиться на эту камеру и продолжать наблюдение.
На фиг. 4 и фиг. 5 показаны примеры отображения совмещенных изображений, на которых скорректирована степень прозрачности.
При отображении совмещенного изображения, в заявленном решении есть возможность автоматически регулировать прозрачность кадра, т.е. различные части кадра могут отображаться с различной степенью прозрачности.
К примеру, можно делать весь кадр прозрачным кроме тех точек, где есть движущиеся объекты, и отображаемое совмещенное изображение получится еще более наглядным.
В системе можно дополнительно изменять степень прозрачности движущегося объекта.
Например, если в точке изображения есть движущийся объект, то точка показывается с прозрачностью 1, если нет, то с прозрачностью2.
Варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном из различных традиционных машиночитаемых носителей. В контексте данного документа «машиночитаемым носителем» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер. Машиночитаемый носитель может включать энергонезависимый машиночитаемый носитель данных, который может быть любой средой или средством, содержащим или хранящим инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер, или для использования в связи с ними.
Если необходимо, по меньшей мере, часть различных функций, рассмотренных в данном описании, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом. Кроме того, при необходимости одна или более из описанных выше функций могут быть опциональными или могут комбинироваться.
Хотя в независимых пунктах формулы изобретения охарактеризованы различные аспекты настоящего изобретения, другие аспекты изобретения включают другие комбинации признаков из описанных вариантов осуществления и/или зависимых пунктов формулы изобретения совместно с признаками независимых пунктов формулы изобретения, при этом упомянутые комбинации не обязательно явно указаны в формуле изобретения.