СИСТЕМА И СПОСОБ ВИДЕОМОНИТОРИНГА ЛЕСА
FOREST VIDEO MONITORING SYSTEM AND METHOD

Область техники, к которой относится изобретение
Настоящее изобретение относится, в целом, к области видеонаблюдения и, более конкретно, к системе и способу видеомониторинга леса, которые, в общем, обеспечивают возможность вести мониторинг больших лесных территорий с целью раннего обнаружения лесных пожаров для их дальнейшей локализации и тушения.
Предшествующий уровень техники
Системы видеомониторинга леса, предназначенные для обнаружения и определения местоположения лесных пожаров, стали применяться сравнительно недавно. Тем не менее, их актуальность все возрастает, поскольку проблема лесных пожаров по праву может считаться одной из наиболее серьезных и нерешенных в настоящий момент человеком проблем. Лесные пожары возникают и приносят огромный ущерб во многих странах мира, свидетельством чему могут служить лесные пожары на территории Российской Федерации летом 2010 г., имевшие катастрофические последствия, в том числе и по причине невыполнения их раннего обнаружения и определения их местоположения, о чем многократно и развернуто говорилось в средствах массовой информации.
В типичном случае, иллюстрируемом на Фиг.1, система 100 видеомониторинга леса включает в себя одну или более дистанционно управляемых точек видеомониторинга 110 и связанное с ними одно или более автоматизированных рабочих мест 120 оператора для надлежащей эксплуатации точек видеомониторинга 110.
Оборудование 120 автоматизированного рабочего места оператора, в общем, реализуется на основе широко известных компьютерных и коммуникационных технологий и, в типичном случае, содержит выполненный с возможностью удаленного обмена данными компьютер с установленным на нем специализированным программным обеспечением и программным обеспечением общего назначения. Аппаратные средства и программное обеспечение общего назначения (например, операционная система) из состава такого компьютера являются широко известными в технике. При этом под понятием "компьютер" может пониматься персональный компьютер, ноутбук, совокупность связанных между собой компьютеров и т.п. с характеристиками, отвечающими требованиям, предъявляемым к системе 100. К компьютеру подключено дисплейное устройство, отображающее при работе компьютера ассоциированный со специализированным приложением графический пользовательский интерфейс (GUI), посредством которого оператор выполняет работу по визуальному мониторингу территории и управлению точками 110 видеомониторинга. Взаимодействие с элементами графического пользовательского интерфейса осуществляется с помощью широко известных устройств ввода, подключенных к компьютеру, таких как клавиатура, мышь и т.п.
Такое рабочее место оператора может быть организовано в специализированном центре контроля и мониторинга. Наличие множества автоматизированных рабочих мест 120 оператора позволяет распределять нагрузку по нескольким операторам, что позволяет повысить качество обнаружения.
Каждая точка 110 видеомониторинга, по сути, представляет собой оборудование 111 передающей стороны, размещенное на высотном сооружении 112.
Высотное сооружение 112, в общем, может представлять собой любое высотное сооружение, удовлетворяющее налагаемым на систему 100 требованиям (т.е. приспособленное для размещения оборудования передающей стороны на достаточной высоте и обеспечивающее возможность осматривать достаточно большую территорию), и обычно представляет собой вышку провайдера связи, вышку оператора сотовой связи, телевизионную вышку, вышку освещения или т.п.
Обобщенным термином "оборудование передающей стороны" 111 обозначается размещенная на высотном сооружении 112 аппаратура, содержащая управляемое видеоустройство 113 и коммуникационный модуль 114 для осуществления связи/обмена данными с рабочим местом(ами) 120 оператора.
Управляемое видеоустройство 113, в общем случае, представляет собой цифровую видеокамеру 115 (т.е. устройство, преобразующее электромагнитные волны оптического диапазона или диапазона, близкого к оптическому диапазону, в электрический сигнал), оснащенную трансфокатором 116 (т.е. устройством, предназначенным для изменения фокусного расстояния (приближения/удаления получаемого изображения)) и смонтированную на поворотном устройстве 117, посредством которого можно механически менять пространственную ориентацию видеокамеры 115 с высокой точностью.
Оборудование 111 передающей стороны также содержит устройство 118 управления видеокамерой, связанное с коммуникационным модулем 114, видеокамерой 115, трансфокатором 116 и поворотным устройством 117 и предназначенное для общего управления функциями управляемого видеоустройства 113 в целом и его компонентов в частности. Так, по приему управляющих сигналов от оператора через коммуникационный модуль 114 устройство 118 управления приспособлено задавать требующуюся пространственную ориентацию видеокамеры 115 (например, для наведения ее на объект, наблюдение которого требуется), управляя поворотным устройством 117, и/или выполнять приближение/удаление изображения наблюдаемого с нее объекта, управляя трансфокатором 116. Помимо этого устройство 118 управления приспособлено определять текущую пространственную ориентацию видеокамеры 115 и выдавать данные о текущей ее пространственной ориентации через коммуникационный модуль 114 запрашивающей стороне (в частности, на рабочее место 120 оператора, где эти данные, например, отображаются в графическом пользовательском интерфейсе). Перечисленные здесь функциональные возможности являются известными свойствами современных комплектов управляемых видеокамер, предлагаемых на рынке.
Устройство 118 управления, в общем, представляет собой очевидный для специалиста основывающийся на микропроцессорах аппаратный блок типа контроллера, микрокомпьютера и т.п., известным образом запрограммированный и/или программируемый для выполнения предписанных ему функций. Программирование устройства 118 управления может осуществляться, например, путем записи ("прошивки") его микропрограммного обеспечения ("firmware"), что является широко известным в технике. Соответственно, с устройством 118 управления видеокамерой, в типичном случае, связано запоминающее устройство (например, интегрированная флеш-память), в которой хранится соответствующее (микро)программное обеспечение, исполнением которого реализуются ассоциированные с устройством 118 управления функции.
Рабочие места 120 оператора могут быть связаны с точками 110 видеомониторинга как напрямую, так и посредством сети связи (например, сети 130) с использованием широко известных и используемых проводных и/или беспроводных, цифровых и/или аналоговых коммуникационных технологий, при этом коммуникационный модуль 114 точки 110 видеомониторинга и коммуникационный интерфейс компьютера рабочего места 120 оператора должны соответствовать коммуникационным стандартам/протоколам, на основе которых строится такая связь.
Так, иллюстративная сеть 130, к которой подсоединены точки видеомониторинга и автоматизированные рабочие места 120 оператора, может представлять собой адресную сеть, такую как Интернет. При наличии на месте установки точки 110 видеомониторинга канала связи стороннего провайдера, что является распространенным случаем, предпочтительно использовать этот канал для подключения оборудования 111 передающей стороны к Интернет. Если же в месте установки точки 110 видеомониторинга отсутствует возможность прямого подключения к сети Интернет, применяются широко известные технологии беспроводной широкополосной связи (например, Wi-Fi, WiMAX, 3G и т.п.) для обеспечения связи между оборудованием 111 передающей стороны и точкой доступа в Интернет. Схожим образом осуществляется подсоединение к сети 130 и рабочих мест 120 оператора. В частности, для подсоединения к сети 130 может использоваться, в зависимости от реализуемой технологии доступа, модем (в том числе беспроводной), сетевая интерфейсная плата (NIC), плата беспроводного доступа и т.п., внешние или внутренние по отношению к компьютеру рабочего места 120 оператора.
Система 100 также предпочтительно включает в себя подключенный к сети 130 сервер 140, которому делегируются функции централизованного управления совокупностью точек 110 видеомониторинга и их взаимодействием с рабочими местами 120 оператора для обеспечения надежного функционирования системы 100. Сервер 140 обычно представляет собой высокопроизводительный компьютер или совокупность связанных между собой компьютеров (например, стойку блейд-серверов) с установленным на него(них) специализированным серверным программным обеспечением, имеющий(их) высокоскоростное (например, оптическое) соединение с Интернет. Аппаратная/программная реализация такого сервера является очевидной для специалиста. Помимо общих функций управления системой 100 сервер 140 может осуществлять и различные узкоспециализированные функции, например, он может выполнять функции видеосервера, обеспечивающего промежуточную обработку данных и предоставление их пользователю по запросу.
Описание конкретных реализаций обмена данными/сигналами между точками 110 видеомониторинга, рабочими местами 120 оператора и сервером 140 через сеть 130 опускается в силу их широкой известности в технике.
При таком способе организации системы видеомониторинга леса один пользователь может проводить мониторинг достаточно большой подконтрольной территории, одновременно управляя несколькими видеокамерами. Кроме того, за счет описанных выше характерных функциональных возможностей обеспечивается возможность автоматического быстрого определения местоположения очага возгорания при видимости с нескольких видеокамер, используя широко известный угломерный метод, а также хранение в памяти (например, на сервере 140 или в компьютере рабочего места 120 оператора) заранее определенных маршрутов патрулирования для быстрого доступа к ним и выполнения мониторинга. Здесь под "маршрутом патрулирования" понимается заранее определенная последовательность изменения ориентации камеры, предназначенная для получения визуальной информации по требуемой предопределенной территории.
Необходимо заметить, что производительность современных электронных аппаратных средств позволяет создавать на их основе устройства визуализации и управления из состава компонентов системы видеомониторинга леса с достаточно широкой пользовательской функциональностью, что существенно упрощает работу оператора. Кроме того, современные аппаратные средства, с помощью специального исполняемого ими программного обеспечения, могут взять на себя некоторые функции по автоматическому обнаружению потенциально опасных объектов на видео- или фотоизображениях, получаемых с видеокамер (при мониторинге леса такими объектами может быть дым, пожар и т.п.). Такие системы компьютерного зрения для поиска на изображении опасных объектов могут использовать априорную информацию об особенностях дыма или огня, например специфичное движение, цвет, яркость и т.п. Подобные системы компьютерного зрения применяются во многих отраслях промышленности, начиная от робототехники до охранных систем, что достаточно подробно изложено, например, в публикации "Компьютерное зрение. Современный подход ", Д.Форсайт, Ж.Понс, издательство "Вильяме", 2004, 928 с. В рассматриваемом контексте неотъемлемой характеристикой автоматического обнаружения на основе компьютерного зрения является вероятность ложного срабатывания и пропуска цели, которые в каждой системе видеомониторинга должны быть уменьшены всеми доступными способами.
Такая интеллектуальная подсистема, реализующая указанные технологи компьютерного зрения, может быть реализована и на рабочем месте 120 оператора, и на сервере 140, и даже в самом управляемом видеоустройстве 113.
Выше представлено обобщенное структурное описание типичной современной системы видеомониторинга леса, принцип действия которой основан на использовании управляемых видеокамер. Данное обобщенное описание не подразумевается как исчерпывающее и предназначено для более понятного изложения предлагаемого изобретения, подробно описываемого ниже.
Известными примерами таких систем видеомониторинга леса являются системы ForestWatch (Канада), IPNAS (Хорватия), FireWatch (Германия). Схожие системы разработаны и в Российской Федерации (например «Клен», «Балтика»).
Стоит отметить, что создание и разворачивание подобных систем видеомониторинга леса стало возможным только в последние несколько лет. Только сейчас количество вышек сотовой связи стало таковым, что покрываются основные пожароопасные места. Кроме того, стали существенно более доступными услуги широкополосного Интернета, позволяющие осуществлять обмен большими объемами информации и передавать через Интернет видео реального времени, и уменьшилась стоимость оборудования для обеспечения беспроводной связи на большие расстояния. Следует дополнительно отметить, что обнаруживать лесные пожары с помощью видеокамер начали еще в начале XXI века, но системы, предлагаемые на тот момент, представляли собой примитивные видеокамеры с функцией поворота и экран оператора, который должен был находиться в непосредственной близости от точки видеомониторинга. Предлагаемые системы практически не могли быть масштабированы и применены для обнаружения пожаров в рамках даже одного лесничества, не говоря уже о масштабах области.
Для существующих же систем видеомониторинга леса характерны следующие недостатки.
1. Проблема точности определения координат видимого объекта
Точность определения координат видимого объекта определяется такими параметрами, как:
- точность определения местоположения видеокамеры (точность привязки видеокамеры к местности);
- точность привязки ориентации видеокамеры к системе координат относительно севера и угла отклонения от математического горизонта (вертикального угла).
Как было отмечено выше, с помощью поворотного устройства можно изменять ориентацию видеокамеры - такие поворотные устройства обеспечивают возможность изменять в определенных пределах вертикальный и горизонтальные углы, т.е. фактически изменяется направление видеокамеры в сферической системе координат, которая привязана непосредственно к поворотному устройству (собственной системе координат видеокамеры).
При монтаже и эксплуатации видеокамеры необходимо определить, как ориентирована собственная система координат видеокамеры относительно сферической системы координат, центр которой расположен в месте размещения видеокамеры, единичный вектор с координатами φ=0, θ=0, ρ=1 совпадает с направлением на север, а единичный вектор с координатами φ=0, θ=-90°, ρ=1 совпадает с вертикалью (в астрономии такую систему координат называют топоцентрической или горизонтальной, здесь же данная система координат будет называться "абсолютной системой координат видеокамеры").
Текущее местоположение видеокамеры может быть определено с достаточно большой точностью, например, с помощью современных средств глобального позиционирования (GPS).
Точность определения текущей ориентации камеры в ее собственной системе координат также может быть достаточно высокой, что позволяют современные поворотные устройства (до 0,1-0,05', как, например, в случае управляемых видеокамер производства компании AXIS), причем эта точность постоянно увеличивается с развитием техники.
В то же время практически невозможно исключить проблемы с точностью привязки собственной системы координат камеры к абсолютной системе координат -именно эта привязка отвечает за конечную точность определения местоположения видимого объекта. Данная проблема обуславливается как сложностью первоначальной привязки (при монтаже видеокамеры), так и подпривязки в процессе работы системы, необходимость которой вызвана деформацией конструкции высотного сооружения, на котором закреплена камера, неидеальности крепления камеры и другими факторами.
2. Высокая вероятность ложных срабатываний
С использованием подсистемы компьютерного зрения, вкратце описанной выше, важным фактором является возможность валидации (т.е. подтверждения) потенциально опасных объектов. Данное подтверждение может быть осуществлено, например, оператором, который отсеивает ложные обнаруженные объекты. Такая проверка облегчает работу автоматической подсистемы, так как при последующем обнаружении опасного объекта в том же направлении подсистема может использовать введенную оператором информацию о типе данного объекта. Работа такого алгоритма должна основываться на возможности определения точной текущей ориентации видеокамеры, чтобы в дальнейшем, при обнаружении объекта в том же направлении (т.е. по сути того же самого объекта), исключить его из класса опасных.
Для выполнения этой функции необходимо точно определять, что текущее направление видеокамеры совпадает с тем, что было валидировано пользователем, с достаточной для работы подсистемы точностью. Данная процедура достаточно затруднена, поскольку, как уже говорилось выше, видеокамера, при всех возможностях жесткой ее фиксации и жесткости конструкции высотного сооружения, не может обеспечить полную неподвижность, то есть ориентация собственной системы координат камеры смещается, а значит точность выполнения процедуры отсеивания будет связана с точностью определения текущего направления.
Это становится наиболее актуально при обнаружении объектов на большом расстоянии (более 15 км), когда угловой размер объекта достаточно мал (менее 1'): в этом случае даже небольшое отклонение камеры приведет к неправильной оценке места размещения отмеченного объекта.
3. Невозможность определения местоположения объекта при видимости только с одной камеры
Данная проблема возникает на граничных территориях, где размещение второй камеры для определения местоположения опасного объекта невозможно или экономически нецелесообразно. Кроме того, невозможность хотя бы приблизительного определения местоположения объекта с одной видеокамеры усложняет процесс поиска этого объекта с другой видеокамеры, с которой возможно его также видно.
Сущность изобретения
Одной задачей настоящего изобретения является создание системы видеомониторинга леса и осуществляемого ею способа, которыми реализуется автоматическая привязка собственной системы координат видеокамеры к абсолютной системе координат, связанной с видеокамерой, с целью повышения точности определения местоположения наблюдаемого объекта. По сути, предлагаемые согласно настоящей задаче система и способ направлены на устранение первого из вышеперечисленных недостатков.
Согласно соответствующему этой задаче аспекту предложена система видеомониторинга леса. Предлагаемая система содержит, по меньшей мере, одну дистанционно управляемую точку видеомониторинга и, по меньшей мере, одно компьютеризированное рабочее место оператора для эксплуатации этой точки видеомониторинга. Система может дополнительно содержать сервер, с взаимным соединением точек видеомониторинга, сервера и рабочих места оператора с возможностью осуществления связи (например, посредством адресной сети).
Дистанционно управляемая точка видеомониторинга включает в себя высотное сооружение и размещенное на высотном сооружении оборудование передающей стороны. Оборудование передающей стороны содержит видеокамеру на поворотном устройстве и устройство управления видеокамерой, выполненное с возможностью определять текущую пространственную ориентацию видеокамеры в собственной системе координат видеокамеры. Видеокамера оснащена трансфокатором.
Предлагаемая система видеомониторинга леса также содержит компьютерно-реализованный модуль, сконфигурированный в каждый из, по меньшей мере, двух предопределенных моментов времени получать определенную устройством управления видеокамерой ориентацию видеокамеры, наведенной на известный астрономический объект, в собственной системе координат видеокамеры и определять, исходя из предварительно определенного местоположения точки видеомониторинга и данного момента времени, положение астрономического объекта в абсолютной системе координат с центром в точке размещения видеокамеры. Компьютерно-реализованный модуль также сконфигурирован рассчитывать, на основе определенных ориентации видеокамеры и положений астрономического объекта, поворот собственной системы координат видеокамеры в абсолютной системе координат.
Компьютерно-реализованный модуль может быть размещен на сервере и/или на рабочем месте оператора и/или в оборудовании передающей стороны точки видеомониторинга.
Астрономическим объектом предпочтительно является Солнце, при этом местоположение точки видеомониторинга определяется ее географическими координатами, а положение астрономического объекта определяется его угловой высотой над горизонтом и азимутом.
Наведение видеокамеры на астрономический объект может осуществляться путем ручного совмещения центра изображения, получаемого с видеокамеры, с центром астрономического объекта.
Предлагаемая система может дополнительно содержать компьютерно-реализованную интеллектуальную подсистему, выполненную с возможностью, на основе технологий компьютерного зрения, наводить видеокамеру на астрономический объект путем автоматического обнаружения астрономического объекта исходя из анализа изображения, получаемого с видеокамеры, и автоматического совмещения центра изображения, получаемого с видеокамеры, с центром астрономического объекта.
При наведении видеокамеры на астрономический объект посредством трансфокатора предпочтительно устанавливается максимально возможное приближение астрономического объекта.
Согласно реализуемому предлагаемой системой видеомониторинга леса способу автоматической привязки собственной системы координат видеокамеры к абсолютной системе координат, в каждый из, по меньшей мере, двух предопределенных моментов времени, наводят видеокамеру на известный астрономический объект и определяют ориентацию видеокамеры в собственной системе координат видеокамеры и определяют, исходя из предварительно определенного местоположения упомянутой точки видеомониторинга и данного момента времени, положение астрономического объекта в абсолютной системе координат с центром в точке размещения видеокамеры. Далее, рассчитывают, на основе определенных ориентации видеокамеры и положений астрономического объекта, поворот собственной системы координат видеокамеры в абсолютной системе координат.
На основе рассчитанного поворота собственной системы координат видеокамеры можно осуществить пересчет координат наблюдаемого объекта из собственной системы координат видеокамеры в абсолютную систему координат.
Следует подчеркнуть, что, согласно рассматриваемому аспекту, в роли упоминаемого астрономического объекта может выступать, по сути, любой различимый объект, положение которого в абсолютной системе координат видеокамеры известно в заданный момент времени.
Другой задачей настоящего изобретения является создание системы видеомониторинга леса и осуществляемого ею способа, которыми реализуется определение изменения привязки видеокамеры с целью точного определения текущего ее направления при отсеивании неопасных объектов. По сути, предлагаемые согласно настоящей задаче система и способ направлены на устранение второго из вышеперечисленных недостатков.
Согласно соответствующему этой задаче аспекту предложена система видеомониторинга леса, содержащая те же составляющие, что перечислены выше согласно предшествующему аспекту. Предлагаемая система дополнительно содержит хранилище для запоминания ориентации видеокамеры в собственной системе координат видеокамеры, определенных устройством управления видеокамерой после наведения видеокамеры на каждый из, по меньшей мере, двух заранее заданных различимых неподвижных объектов на местности. При этом компьютерно-реализованный модуль в системе сконфигурирован, для каждого объекта из упомянутых объектов, получать текущую ориентацию видеокамеры в собственной системе координат видеокамеры, определенную устройством управления видеокамерой после повторного наведения видеокамеры на объект. Компьютерно-реализованный модуль также сконфигурирован, на основе полученных текущих ориентаций видеокамеры и соответствующих запомненных ориентаций видеокамеры, рассчитывать поворот собственной системы координат видеокамеры.
Предпочтительно, компьютерно-реализованный модуль дополнительно сконфигурирован, при сопоставлении текущей ориентации видеокамеры, наведенной на наблюдаемый объект, с запомненной ориентацией видеокамеры при ее наведении на ранее проанализированный объект, корректировать эту запомненную ориентацию видеокамеры на основе рассчитанного поворота собственной системы координат видеокамеры.
Согласно реализуемому предлагаемой системой видеомониторинга леса способу определения изменения привязки видеокамеры наводят видеокамеру на каждый из, по меньшей мере, двух заранее заданных различимых неподвижных объектов на местности и определяют ориентацию видеокамеры в собственной системе координат видеокамеры. Затем запоминают определенные ориентации видеокамеры. После этого, для каждого объекта из упомянутых объектов, направляют видеокамеру согласно сохраненной ориентации видеокамеры, соответствующей объекту, и, в случае отклонения видеокамеры от объекта, повторно наводят видеокамеру на объект и определяют текущую ориентацию видеокамеры в собственной системе координат видеокамеры. Наконец, на основе определенных текущих ориентаций видеокамеры и соответствующих запомненных ориентаций видеокамеры, рассчитывают поворот собственной системы координат видеокамеры. При сопоставлении текущей ориентации видеокамеры, наведенной на наблюдаемый объект, с запомненной ориентацией видеокамеры при ее наведении на ранее проанализированный объект, эта запомненная ориентация видеокамеры может быть скорректирована на основе рассчитанного поворота собственной системы координат видеокамеры.
Еще одной задачей настоящего изобретения является создание системы видеомониторинга леса и осуществляемого ею способа, которыми реализуется определение расстояния до наблюдаемого объекта с одной видеокамеры с достаточно высокой точностью. По сути, предлагаемые согласно настоящей задаче система и способ направлены на устранение третьего из вышеперечисленных недостатков. Перечень чертежей
Вышеуказанные и иные аспекты и преимущества настоящего изобретения раскрыты в нижеследующем подробном его описании, приводимом со ссылками на чертежи, на которых:
Фиг.1 - схематическая частичная система видеомониторинга леса;
Фиг.2 - иллюстративная логическая блок-схема способа автоматической привязки собственной системы координат видеокамеры к абсолютной системе координат согласно настоящему изобретению;
Фиг.3 - иллюстрация углов Эйлера;
Фиг.4 - иллюстративная логическая блок-схема способа определения изменения привязки собственной системы координат видеокамеры согласно настоящему изобретению;
Фиг.5 - иллюстративная логическая блок-схема способа фильтрации наблюдаемых объектов при патрулировании.
Подробное описание изобретения
При последующем раскрытии настоящего изобретения будет делаться ссылка на систему 100 видеомониторинга леса по Фиг.1, при этом описание данной системы в полной мере относится к раскрытию настоящего изобретения. В настоящем разделе, во избежание ненужных повторов и загромождения изложения, не будут подробно и повторно описываться составляющие системы 100 видеомониторинга, которые в общем характерны для систем предшествующего уровня техники.
Далее раскрытие настоящего изобретения приводится в подразделах, соответствующих обозначенным выше задачам.
1. Автоматическая привязка собственной системы координат видеокамеры к абсолютной системе координат
Со ссылкой на Фиг.2 описывается реализуемый в системе видеомониторинга леса (такой как система 100 по Фиг.1) способ 200 автоматической привязки собственной системы координат (СК) видеокамеры к абсолютной системе координат.
Из астрономии известны способы определения с высокой точностью горизонтальных (топоцентрических) координат (т.е. азимута (угла от направления на север) и угловой высоты (угла от математического горизонта)) различных небесных светил, например Солнца, на основе данных о географических координатах наблюдателя и точном времени суток. Широкое применение таких способов известно, в частности, в морской навигации.
На этапе 202 наводят видеокамеру 115 на известный астрономический объект (например, Солнце, Луну и т.д.).
Наведение видеокамеры 115 может осуществляться в ручном режиме, то есть оператор обнаруживает астрономический объект, просматривая территорию, и направляет на него видеокамеру, так чтобы центр получаемого с видеокамеры изображения совпадал с центром этого объекта. В иллюстративном варианте осуществления это осуществляется путем взаимодействия оператора, с помощью устройств ввода, с соответствующими элементами отображаемого на дисплейном устройстве графического пользовательского интерфейса, вследствие чего компьютером рабочего места 120 оператора генерируются управляющие команды, пересылаемые по сети 130 (возможно через сервер 140 и с его непосредственным участием) в соответствующее оборудование(я) 111 приемной стороны, где эти команды через коммуникационный модуль 114 поступают в устройство 118 управления видеокамерой, которое на их основе генерирует управляющие сигналы для приведения в действие поворотного устройства 117 для задания такой пространственной ориентации видеокамеры 115, чтобы она была наведена на соответствующий астрономический объект.
Эта процедура также может быть выполнена автоматически, то есть в автоматическом режиме видеокамера 115 просматривает территорию и с помощью специальных алгоритмов компьютерного зрения, реализуемых в системе 100 как отмечено выше, обнаруживает объект с заранее известными характеристиками (например, в случае Солнца это будет яркий круг).
При этом при наведении видеокамеры 115 на астрономический объект предпочтительно устанавливается максимально возможное приближение астрономического объекта (для этого, в иллюстративном варианте осуществления, устройство 118 управления видеокамерой соответственным образом управляет трансфокатором 116) и осуществляется ручное или автоматическое совмещение центра изображения, получаемого с видеокамеры, с центром астрономического объекта.
Местоположение астрономического объекта может быть оценено при этом с точностью до нескольких десятых/сотых градуса. Так, угловой размер Солнца составляет примерно 31'27''. Современные видеокамеры могут получить приближение, при котором угловой обзор составляет 1'. Методы компьютерного зрения позволяют определить положение центра круга на изображении с точностью до нескольких пикселей. То есть при разрешении видеокамеры 1 и более мегапикселей точность определения направления на Солнце может быть около 0,05'.
После направления видеокамеры на астрономический объект на этапе 204 определяют ориентацию видеокамеры в собственной системе координат видеокамеры, то есть направление видеокамеры в собственной системе координат, связанной с механикой видеокамеры. Как было сказано выше, такая функциональная возможность предусмотрена в современных управляемых видеокамерах и реализуется, например, устройством 118 управления видеокамерой.
На этапе 206, исходя из известного точного местоположения точки 110 видеомониторинга, определяют положение астрономического объекта в абсолютной системе координат видеокамеры в текущий момент времени. Как говорилось выше, из астрономии известны методы и формулы, на основании которых можно из известных географических координат наблюдателя и точного времени суток определить азимут и высоту астрономического объекта, то есть координаты объекта в горизонтальной системе координат.
Процедуру по этапам 202-206 следует выполнить многократно, с выжиданием некоторого интервала времени между последовательными ее выполнениями. Минимальное количество выполнений равно двум, что вытекает из нижеприведенного подробного изложения. В то же время в целях повышения точности можно осуществить дополнительные выполнения указанной процедуры, так как какими бы ни были точными устройства при каждом замере будет допускаться некая ошибка, которая может быть уменьшена за счет многократности указанных измерений/определений.
Наиболее удобно проводить эту процедуру на астрономическом объекте Солнце. В этом случае видеокамеру можно наводить на Солнце дважды - непосредственно после восхода Солнца и перед его закатом, тогда яркость будет достаточной для обнаружения, но не слишком большой для образования различных бликов на оптике и повреждения электроники видеокамеры. Еще раз подчеркивается, что в каждый из этих двух моментов времени видеокамера наводится на Солнце (этап 202), определяется ее ориентация в собственной системе координат (этап 204), и определяется положение астрономического объекта в абсолютной системе координат, зная точное время, соответствующее этому моменту, и точные географические координаты видеокамеры (этап 206).
На этапе 208 рассчитывают, на основе определенных на этапах 204, 206 ориентации видеокамеры и положений астрономического объекта, поворот собственной системы координат видеокамеры в абсолютной системе координат, связанной с ней. Рассчитанный поворот собственной системы координат видеокамеры позволяет определять коэффициенты пересчета координат наблюдаемого объекта из собственной системы координат видеокамеры в абсолютную систему координат.
Фактически получаются следующие соответствия: вертикальный и горизонтальный (панорамный) угол в собственной системе координат видеокамеры - высота астрономического объекта (например, Солнца) от математического горизонта (вертикальный угол в абсолютной системе координат), привязанная к месту расположения видеокамеры (наблюдателя), и азимут (горизонтальный угол в абсолютной системе координат), привязанный к месту расположения видеокамеры.
Для дальнейшего пересчета из системы координат видеокамеры в абсолютную (горизонтальную) систему координат необходимо на основании данных о соответствиях определить поворот собственной системы координат в абсолютной системе координат, для чего можно, например, определить углы Эйлера. Углы Эйлера - это углы, описывающие поворот абсолютно твердого тела в трехмерном евклидовом пространстве.
Определив углы Эйлера, можно для каждой точки в собственной системе координат получить значение в абсолютной системе координат, а это означает, что для каждого видимого объекта мы имеем возможность пересчитать получаемое направление на данный объект в абсолютную систему координат, связанную с местом расположения видеокамеры, т.е., по сути, исключить влияние вышеперечисленных факторов на точность определения направления на наблюдаемый объект.
Математически это выражается следующим образом.
Получаем два соответствия двух точек наблюдения в горизонтальной системе координат (азимут (а), высота (v)) двум точкам в собственной системе координат камеры (панорамный угол (р), вертикальный угол (t)):
(a1, v1)-(p1, t1),
(a2, v2)-(p2, t2).
Согласно вышеприведенному примеру эти точки могут соответствовать двум наведениям видеокамеры на Солнце.
На основе этого необходимо получить три угла Эйлера е1, е2, е3, то есть
e1=f1(a1, v1, p1, t1, a2, v2, p2, t2),
e2=f2(a1, v1, p1, t1, a2, v2, p2, t2)
e3=f3(a1, v1, p1, t1, a2, v2, p2, t2)
Затем, зная три угла Эйлера, получаем для каждого (р, t) соответствие (a, v), то есть
a=f1(p, t, e1, e2, e3)
v=f2(p, t, e1, e2, e3).
Остановимся подробнее на задаче пересчета координат и определения углов Эйлера.
Прямая задача
Соответствие между координатами на видимый объект в собственной системе координат камеры (р, t), где р - панорамный угол, t - вертикальный угол, и абсолютными координатами (a, v), где а - азимут, v - угловая высота над математическим горизонтом, задается с помощью углов Эйлера α, β, γ, которые в данном случае описывают поворот (ориентацию) собственной системы координат видеокамеры в абсолютной системе координат. На Фиг.3 схематично отмечены углы Эйлера. По сути, под "привязкой видеокамеры" или "привязкой собственной системы координат видеокамеры" в настоящей заявке понимается определенная ориентация (поворот) собственной системы координат видеокамеры в абсолютной системе координат видеокамеры, описываемая углами Эйлера.
Углы Эйлера позволяют привести любое положение системы к текущему. Обозначим начальную систему координат как (х, y, z), а конечную как (X, Y, Z). Пересечение координатных плоскостей xy и XY называется линией узлов N, при этом:
- угол α - угол между осью x и линией узлов;
- угол β - угол между осями z и Z;
- угол γ - угол между осью X и линией узлов.
Повороты системы координат на эти углы называются прецессия, нутация и поворот на собственный угол (вращение). Такие повороты некоммутативны, и конечное положение системы зависит от порядка, в котором совершаются повороты. В случае углов Эйлера это последовательность 3, 1, 3 (Z, X, Z) (см. Фиг.3).
Определив углы Эйлера, рассчитывается матрица поворота, на основе которой для каждой пары (р, t) однозначно определяются углы (a, v). Матрица поворота декартовых координат для углов Эйлера выглядит следующим образом:
Для использования данной матрицы углы (р, t) необходимо перевести в декартову систему координат. Угол р соответствует углу φ в сферической системе координат, а угол θ=π/2+t. Радиус сферы не важен, так как ее размер при повороте не изменяется, следовательно, r=1. Координаты в декартовой системе координат определяются как:
При перемножении матрицы поворота на вектор-столбец  определяется вектор-столбец . На основе определенного вектора-столбца определяются новые сферические координаты:
1
Таким образом, азимут на точку соответствует φ, а угол наклона соответствует . То есть, зная р и t и углы Эйлера α, β, γ, определены a, v.
Обратная задача
Для определения углов Эйлера по известным соотношениям ориентации в собственной и абсолютной системах координат необходимо решить задачу, обратную по отношению к описанной выше прямой задаче.
Для решения обратной задачи, а именно для нахождения углов Эйлера, опишем вращение системы через кватернионы. Кватернион в данном случае - это четверка чисел (х, у, z, w), причем (х, у, z) - вектор, a w - скаляр. При таком представлении кватерниона получается, что первые три компонента представляют вектор, лежащий на оси вращения, причем длина вектора зависит от угла поворота. Четвертый компонент зависит только от величины угла поворота. Зависимость довольно простая, - если взять единичный вектор V за ось вращения и угол alpha за вращение вокруг этой оси, тогда кватернион, представляющий это вращение, можно записать как:
q=[V*sin(alpha/2), cos(alpha/2)].
1
1
1
1
2
2
2
2
i
i
i
i
i
i
В качестве исходных данных обратной задачи выступают две пары связанных друг с другом векторов, а именно (p, t)->(а, v) и (р, t)->(a, v), где (р, t) - координаты в собственной системе координат видеокамеры, a (a, v) - координаты в абсолютной системе координат видеокамеры. Переведем каждый из этих векторов в декартову систему координат, получая соответствующие векторы: (х, у, z)->(u, v, w), i=1, 2.
1
1
1
1
1
1
Теперь найдем кватернион поворота исходной системы координат видеокамеры, переводящий вектор (х, у, z) в (u, v, w). Этот кватернион будет описывать поворот по кратчайшему расстоянию. Для его нахождения воспользуемся следующими формулами:
1
1
1
1
1
1
- (x, y, z)⊗(u, v, w)=(a, b, c) - векторное произведение исходного вектора на конечный;
1
1
1
1
1
1
1
1
1
1
1
1
- q=[а, b, с, (х, у, z)·(u, v, w)] - искомый кватернион (здесь (х, у, z)·(u, v, w) - скалярное произведение векторов).
И последним шагом нормируем кватернион q, для этого поделим х, у, z, w, входящие в него, на .
1
1
1
1
1
1
Полученный на данном шаге кватернион задает поворот декартовой системы координат, переводящий (x, y, z) в (u, v, w).
-1
1
1
1
1
1
1
p
p
p
2
2
2
1
1
1
р
p
р
2
2
2
Повернем систему координат, для этого воспользуемся формулой поворота: V'=qvq, где v - исходный вектор, а V' - вектор после поворота. Таким образом, после поворота декартовой системы координат кватернионом q мы получаем два вектора: (u, v, w), полученный из (х, y, z), и некоторый вектор (u, v, w), полученный из (х, y, z). Теперь необходимо повернуть декартову систему координат так, чтобы вектор (u, v, w) остался на месте, а вектор (u, v, w) перешел в вектор (u v, w) (в общем случае, это возможно не для любых векторов, но так как мы берем их значения с реальной системы, мы считаем, что такой поворот возможен).
1
1
1
р
p
p
2
2
2
1
1
2
2
Очевидно, что для совершения такого поворота необходимо, чтобы ось поворота проходила через точку (u, v, w) и начало координат. Для нахождения угла поворота найдем угловое расстояние по сфере между точками (u, v, w) и (u, v, w). Для этого переведем их в сферическую систему координат: ->(φ, γ) и (φ, λ), соответственно. Далее воспользуемся формулой для нахождения углового расстояния (данная формула широко применяется, например, в астрономии):
где Δλ - разность координат по долготе, то есть разность координат по углу λ, а Δσ -угловая разность.
р
p
p
2
2
2
2
1
1
1
Используя полученный угол и зная ось поворота, мы получаем кватернион поворота, переводящий вектор (u, v, w) в (u, v, w): q=[(u, v, w)*sin(Δσ/2), cos(Δσ/2)]
2
i
i
i
i
i
i
2
2
Таким образом, у нас получилось два кватерниона поворота, q и q, последовательное применение которых переводит исходные точки (х, у z) в (u, v, w), i=1, 2. По определению и свойствам кватернионов кватернион поворота, который эквивалентен двум последовательным применениям q и q, равен q*q. Обозначим его кaк Q=[X, Y, Z, W].
Далее воспользуемся известным соотношением для перевода кватерниона в углы Эйлера и получим:
Такой расчет может быть сделан достаточно точно, так как местоположение астрономического объекта может быть оценено с точностью до нескольких десятых/сотых градуса, согласно вышесказанному.
Следует обратить внимание на то, что описанная выше методика автоматической привязки необязательно должна основываться исключительно на астрономическом объекте(ах). Из вышеприведенного изложения для специалиста должно быть очевидно, что в роли астрономического объекта может выступать, по сути, любой различимый объект, положение которого в абсолютной системе координат видеокамеры известно или может быть определено в заданный момент(ы) времени с достаточной точностью. В качестве такого объекта может выступать различимый неподвижный объект на местности, пример чего приводится ниже.
Описанная выше процедура 200 реализуется, по меньшей мере, частично (т.е., по меньшей мере, ее этапы 206, 208), в виде компьютерно-реализованного модуля. Компьютерно-реализованный модуль предпочтительно представляет собой программное обеспечение, которое может, локальным или распределенным образом, храниться в запоминающих устройствах и исполняться процессорами на сервере 140, и/или в компьютере рабочего места 120 оператора, и/или в оборудовании 111 передающей стороны, в зависимости от проекта системы 100. В то же время компьютерно-реализованный модуль может представлять собой и аппаратный или программно-аппаратный блок (например, блейд-сервер в стойке блейд-серверов или отдельное компьютерное устройство), что должно быть очевидно для специалиста. Вышеупомянутое программное обеспечение может быть разработано с использованием подходящей технологии программирования из доступного их многообразия.
2. Коррекция привязки видеокамеры
Для обеспечения возможности отсеивания ложных объектов при срабатывании алгоритмов автоматического обнаружения необходимо точно определять направление на обнаруженный объект при его повторном обнаружении. Эта задача осложняется тем, что камера по различным причинам меняет свою привязку, то есть изменяется ориентация собственной системы координат видеокамеры (поворотного устройства) в абсолютной (горизонтальной) системе координат, связанной с местом размещения видеокамеры.
Для исключения влияния этого эффекта на точность определения направления на объект при его повторном обнаружении необходимо определять, как изменилась ориентация собственной системы координат видеокамеры в абсолютной системе координат видеокамеры за время, прошедшее между повторными обнаружениями объекта.
Для этого предлагается использовать видимые на местности объекты, о которых достоверно известно, что они не меняют своего местоположения или меняют его незначительно (т.е. по сути являются неподвижными). Такими объектами могут быть любые видимые неподвижные объекты (например, ставни окон, дорожные знаки и т.п.).
Ниже со ссылкой на Фиг.4 описывается реализуемый в системе видеомониторинга леса (такой, как система 100 по Фиг.1) способ 400 определения изменения привязки видеокамеры, отвечающий настоящему изобретению.
На этапе 402 наводят видеокамеру на каждый из, по меньшей мере, двух заранее заданных различимых неподвижных объектов на местности и определяют ориентацию видеокамеры в собственной системе координат видеокамеры.
На этапе 404 запоминают ориентации видеокамеры, определенные на этапе 402. Определенные ориентации могут быть сохранены в запоминающем устройстве из состава сервера 140 и/или компьютера рабочего места 120 оператора.
В случае необходимости проверки на этапе 406 для каждого объекта из упомянутых неподвижных объектов выполняют следующие подэтапы. На подэтапе 406-1 направляют видеокамеру согласно соответствующей объекту ориентации видеокамеры, сохраненной на этапе 404. На подэтапе 406-2, если видеокамера за время между наведениями на объект сместилась (например, по перечисленным выше возможным причинам), то повторно наводят видеокамеру на объект и определяют текущую ее ориентацию в собственной системе координат видеокамеры.
На этапе 408, на основе текущих ориентаций видеокамеры, определенных на подэтапе 406-2, и соответствующих ориентаций видеокамеры, сохраненных на этапе 404, рассчитывают поворот собственной системы координат видеокамеры, определяющий поправку на вышеупомянутые смещения видеокамеры. По сути, определяется поворот собственной системы координат видеокамеры на момент выполнения этапа 406 относительно собственной системы координат видеокамеры на момент выполнения этапа 402,
Впоследствии, например, при обнаружении видеокамерой потенциально опасного объекта ее текущая ориентация сравнивается с ориентацией, определенной на основе запомненной ранее ориентации видеокамеры на объект, прежде отмеченный как неопасный, и вычисленного поворота собственной системы координат видеокамеры.
Возможная реализация этапов 402-408 средствами компонентов системы 100 указана выше или очевидным образом следует из ее описания.
Для специалиста является очевидным, что при осуществлении описанной выше процедуры 400 можно использовать более двух неподвижных объектов. Их количество, в общем случае, определяется требуемой точностью - так при увеличении количества объектов мы увеличиваем количество независимо получаемых результатов измерений, что при соответствующей обработке приводит к повышению точности определения направления.
Как уже описывалось выше, для определения поворота необходимо определить углы Эйлера, которые в этом случае будут описывать поворот собственной системы координат видеокамеры на текущий момент относительно собственной системы координат видеокамеры, зафиксированной при предшествующей процедуре сохранения ориентации.
По сути и по сложности, математически задача абсолютно идентична описанной выше.
Предположим, что видеокамера немного сместилась, то есть у видимого объекта были одни координаты в собственной системе координат видеокамеры, а именно (р11, t11) (которые были предварительно сохранены), а стали другие, а именно (р12, t12). Получаем соответствия:
(р11, t11)-(р12, t12),
(p21, t21) - (р22, t22)
На основе этих соответствий, аналогично описанному выше, определяем углы Эйлера, то есть
e1=f1(p11, t11, р12, t12, p21, t21, p22, t22),
е2=f2(p11, t11, pl2, t12, p21, t21, p22, t22),
e3=f3(p11, t11, p12, t12, p21, t21, p22, t22).
После нахождения углов Эйлера (e1, е2, е3), для каждого из ранее отмеченных объектов (например, как неопасные), имея сохраненную ориентацию видеокамеры на этот объект (р1, t1), можно определить скорректированную ориентацию видеокамеры на данный объект (pn, tn), то есть ориентацию с поправкой на смещение видеокамеры, как
pn=f1(e1, e2, e3, p1, t1),
tn=f2(e1, e2, e3, p1, t1)
по методике, описанной выше, при сравнении с текущей ориентацией видеокамеры.
Для наиболее точной работы системы можно выполнять процедуру 400 привязки перед каждым патрулированием, эта процедура по оценкам должна занимать не очень много времени (несколько секунд).
Со ссылкой на Фиг.5 способ 500 фильтрации наблюдаемых объектов, где применяется описанный выше способ 400, может работать следующим образом.
Видеокамера в процессе патрулирования осматривает территорию, автоматический алгоритм обнаружения опасных объектов определяет на видеоизображении потенциально опасный объект (этап 501). При этом определяется текущая ориентация камеры (этап 502). Далее каким-либо способом происходит валидация обнаруженного объекта, - например, это делает непосредственно оператор, что может заключаться в визуальном представлении оператору потенциально опасного объекта и подтверждении или опровержении опасности обнаруженного объекта (этап 503). После этого система продолжает патрулирование по заданному маршруту (этап 504).
После некоторого времени, определяемого классом пожарной опасности и требованиями по скорости обнаружения (например, раз в 15 минут), система запускает прохождение маршрута еще раз (этап 506). Перед этим выполняется процедура определения изменения привязки видеокамеры по описанному выше способу 400 (этап 505).
При обнаружении потенциально опасного объекта ориентация видеокамеры на него определяется и сравнивается с сохраненной ориентацией видеокамеры на объект(ы), который при прошлом или прошлых патрулированиях был обозначен как неопасный, скорректированной на основе вычисленного поворота собственной системы координат видеокамеры (этап 507). Если ориентации совпадают с заранее установленной точностью, определяемой настройками системы (например, до 0,01'), то система не создает нового оповещения для оператора и не требует валидации, а продолжает патрулирование (этап 508). Такой способ может существенно снизить нагрузку на оператора, увеличить количество видеокамер на одного оператора и уменьшить общее количество ложных срабатываний.
Описанная выше процедура 400 реализуется, по меньшей мере, частично (т.е., по меньшей мере, ее этап 408), в виде компьютерно-реализованного модуля. Компьютерно-реализованный модуль предпочтительно представляет собой программное обеспечение, которое может, локальным или распределенным образом, храниться в запоминающих устройствах и исполняться процессорами на сервере 140, и/или в компьютере рабочего места 120 оператора, и/или в оборудовании 111 передающей стороны, в зависимости от проекта системы 100. В то же время компьютерно-реализованный модуль может представлять собой и аппаратный или программно-аппаратный блок (например, блейд-сервер в стойке блейд-серверов или отдельное компьютерное устройство), что должно быть очевидно для специалиста. Вышеупомянутое программное обеспечение может быть разработано с использованием подходящей технологии программирования из доступного их многообразия.
Изобретение было раскрыто выше со ссылкой на конкретные варианты его осуществления. Для специалистов могут быть очевидны и иные варианты осуществления изобретения, не меняющие его сущности, как она раскрыта в настоящем описании. Соответственно, изобретение следует считать ограниченным по объему только нижеследующей формулой изобретения.