СПОСОБ ПАНОРАМНОГО ТЕЛЕВИЗИОННОГО НАБЛЮДЕНИЯ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ
METHOD FOR PANORAMIC TELEVISION SURVEILLANCE AND DEVICE FOR REALISING SAID METHOD

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется телевизионной системой при помощи телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.
Наиболее близким по технической сущности к заявляемому изобретению следует считать способ панорамного телевизионного наблюдения [1], заключающийся в том, что устанавливают телевизионную камеру в фиксированное положение, выполняют захват изображения в телевизионной камере с угловым полем в пространстве предметов 360 градусов по азимуту, формируют в телевизионной камере аналоговый сигнал изображения наблюдаемого пространства, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают видеосигнал в оперативную память сервера, преобразуют в сервере панорамное телевизионное изображение в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению:
<mrow><mi>n</mi><mo>=</mo><mfrac><mrow><mn>360</mn></mrow><mrow><msub><mi>γ</mi><mi>г</mi></msub></mrow></mfrac><mo>,</mo><mtext>                                  (1)</mtext></mrow>
г
где γ - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения.
Недостаток прототипа - ограничение по площади для кольцевого изображения, контролируемого оператором, из-за недостаточных показателей по разрешающей способности и скорости поэлементного считывания фотоприемника телевизионной камеры.
Задача изобретения - увеличение площади кольцевой области активно контролируемого оператором оптического пространства за счет использования в телевизионной камере двух фотоприемников при сохранении прежних показателей по разрешающей способности и скорости поэлементного считывания.
Поставленная задача решается тем, что в заявляемом способе панорамного телевизионного наблюдения, заключающемся в том, что устанавливают телевизионную камеру в фиксированное положение, выполняют захват изображения в телевизионной камере с угловым полем в пространстве предметов 360 градусов по азимуту, формируют в телевизионной камере первый аналоговый сигнал изображения наблюдаемого пространства, преобразуют первый аналоговый видеосигнал в первый цифровой видеосигнал, передают видеосигнал кольцевого панорамного изображения наблюдаемого пространства по интерфейсу в сервер, записывают первый цифровой видеосигнал в оперативную память сервера, преобразуют в сервере панорамное телевизионное изображение в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи n «прямоугольных» кадров, число которых удовлетворяет соотношению (1), согласно предлагаемому изобретению первый аналоговый сигнал изображения формируют в пределах мишени фотоприемника за исключением ее внутреннего участка, а параллельно формируют в телевизионной камере второй аналоговый сигнал изображения для уменьшенной по размерам кольцевой области оптического пространства, контролируемой панорамным объективом, синхронизируют по частоте и фазе второй видеосигнал с первым видеосигналом, преобразуют второй аналоговый видеосигнал во второй цифровой видеосигнал, формируют мультиплексный цифровой видеосигнал, состоящий из первого и второго цифровых видеосигналов, передают мультиплексный видеосигнал по интерфейсу в сервер, выполняют в сервере разделение (демультиплексирование) входного видеосигнала по двум каналам соответственно для первого и второго видеосигналов телевизионной камеры, записывают второй видеосигнал в другую оперативную память сервера, преобразуют в сервере панорамное изображение этой области в обычное изображение, при этом считывание текущего второго «кольцевого» кадра из памяти сервера осуществляют аналогично при помощи n «прямоугольных» кадров по соотношению (1).
Поставленная задача в заявляемом устройстве панорамного телевизионного наблюдения, предназначенном для осуществления заявленного способа, решается тем, что в устройство прототипа [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера прототипа состоит из последовательно расположенных и оптически связанных панорамного объектива и датчика цифрового телевизионного сигнала (датчика ЦТС), а в разъем расширения на материнской плате сервера прототипа установлена плата видео, согласованная по каналам ввода/вывода, управления и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем само это преобразование выполняется программным путем, в состав телевизионной камеры прототипа введен светоделитель, второй датчик ЦТС, синхронизированный по частоте и фазе с первым датчиком ЦТС по сигналу синхронизации приемника (ССП), а также мультиплексор, первый информационный вход которого подключен к выходу первого датчика ЦТС, второй информационный вход мультиплексора - к выходу второго датчика ЦТС, вход синхронизации мультиплексора - к выходу кадровых синхроимпульсов первого датчика ЦТС, а выход мультиплексора является выходом «видео» телевизионной камеры, а в плату видео сервера прототипа введен демультиплексор видеосигналов и второй БПКП, при этом вход светоделителя оптически связан с оптическим кадром панорамного объектива, первый выход светоделителя - с мишенью фотоприемника первого датчика ЦТС, а второй выход светоделителя - с мишенью фотоприемника второго датчика ЦТС, вход второго БПКП подключен к выходу дополнительного (второго) блока памяти на кадр, а выход - к выходу «сеть», причем операция демультиплексирования входного видеосигнала и преобразование «кольцевого» кадра в «прямоугольные» кадры во втором БПКП выполняется программным путем.
Сопоставительный анализ с прототипом показывает, что заявляемый способ отличается наличием новых признаков, а именно наличием следующих действий:
- формированием первого аналогового сигнала изображения в пределах не всего массива мишени фотоприемника, а, исключая определенный участок, расположенный внутри этой мишени;
- параллельным формированием в телевизионной камере второго цифрового видеосигнала для уменьшенной кольцевой области оптического пространства, контролируемой панорамным объективом;
- формированием на выходе «видео» телевизионной камеры мультиплексного видеосигнала, состоящего из первого и второго цифровых видеосигналов;
- демультиплексированием в сервере входного видеосигнала по двум каналам, соответствующим первому и второму видеосигналам телевизионной камеры;
- записью второго «кольцевого» кадра видеосигнала в дополнительную оперативную память сервера;
- считыванием текущего второго «кольцевого» кадра из памяти сервера.
Совокупность известных и новых признаков не известна из уровня техники, поэтому заявляемый способ отвечает требованию новизны.
Сопоставительный анализ с прототипом показывает, что заявляемое устройство отличается:
- наличием новых конструктивных элементов, к числу которых относятся: светоделитель, второй датчик ЦТС и мультиплексор в составе телевизионной камеры;
- формой выполнения новых элементов, каковыми являются демультиплексор и второй БПКП, которые реализуются программным путем в составе платы видео сервера.
Совокупность известных и новых признаков заявляемого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.
В заявляемом решении операторам персональных компьютеров, подключенных к серверу, может быть предъявлена увеличенная серия «прямоугольных» кадров телевизионных изображений, которые регистрируют большую площадь кольцевой области оптического пространства, а следовательно, несут и новую видеоинформацию.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.
На фиг.1 приведена структурная схема заявляемого устройства, реализующего заявляемый способ; на фиг.2, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг.3 показано кольцевое изображение, воспринимаемое первым датчиком ЦТС телевизионной камеры; на фиг.4 схематически представлено панорамное изображение этой кольцевой области, предлагаемое оператору персонального компьютера, в виде последовательности из 6-ти «прямоугольных» кадров; на фиг.5 и 6 - кольцевое изображение, воспринимаемое вторым датчиком ЦТС телевизионной камеры и, соответственно, предлагаемое оператору компьютера панорамное изображение для этой кольцевой области, содержащее аналогично последовательность из 6-ти «прямоугольных» кадров; на фиг.7 показано устройство светоделителя для двух вариантов его конструктивного исполнения.
Заявляемое устройство панорамного телевизионного наблюдения, см. фиг.1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом телевизионная камера 1 состоит из последовательно расположенных и оптически связанных панорамного объектива 1-1 и светоделителя 1-2, первый выход которого оптически связан с мишенью фотоприемника первого датчика ЦТС 1-3, а второй выход светоделителя - с мишенью фотоприемника второго датчика ЦТС 1-4, который синхронизирован по частоте и фазе с первым датчиком ЦТС 1-3 по сигналу синхронизации приемника (ССП), при этом выход первого датчика ЦТС 1-3 подключен к первому информационному входу мультиплексора 1-5, второй информационный вход которого подключен к выходу второго датчика ЦТС 1-4, вход синхронизации мультиплексора 1-5 - к выходу кадровых синхроимпульсов первого датчика ЦТС 1-3, а выход мультиплексора 1-5 является выходом «видео» телевизионной камеры 1, а на материнской плате сервера 2 установлена плата видео, выполняющая программным путем разделение входного мультиплексного видеосигнала на два канала цифрового сигнала изображения, соответственно «видео 1» и «видео 2», запись этих видеосигналов в оперативную память сервера и преобразование «кольцевых» кадров в «прямоугольные» кадры.
Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг.2. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.
Светоделитель 1-2 предназначен для того, чтобы распараллелить оптическое изображения с выхода панорамного объектива 1-1 на мишени каждого из двух датчиков ЦТС.
Светоделитель 1-2 при взаимно перпендикулярном расположении мишеней датчиков 1-3 и 1-4 содержит (см. фиг.7а) полупрозрачное зеркало 1-2-1, вход которого является входом светоделителя, а первый и второй выходы полупрозрачного зеркала - соответственно первым и вторым выходами светоделителя.
Светоделитель 1-2 при взаимно параллельном расположении мишеней датчиков 1-3 и 1-4 содержит (см. фиг.7б) последовательно расположенные и оптически связанные полупрозрачное зеркало 1-2-1 и отражающее зеркало 1-2-2, причем вход полупрозрачного зеркала является входом светоделителя, а выход отражающего зеркала и второй выход полупрозрачного зеркала - соответственно первым и вторым выходами светоделителя.
В перспективе может быть разработано и специализированное техническое решение телевизионного панорамного объектива с интегрированным в его конструкцию объективом, т.е. в нем блоки 1-1 и 1-2 выполнены в одном оптическом приборе.
г
г
Мишень фотоприемника первого датчика ЦТС 1-3, как и в прототипе, должна быть вписана в вертикальный размер оптического кадра панорамного объектива 1-1. Разрешающая способность этого матричного фотоприемника напрямую зависит от горизонтального угла поля зрения наблюдаемого оператором персонального компьютера изображения (γ). Чем меньше величина γ, тем выше требуемое число элементов матрицы по горизонтали и вертикали. Учитывая, что геометрические размеры оптического кадра сегодняшнего панорамного объектива совпадают с размерами кадра стандартной фотопленки, необходимо признать эти требования чрезвычайно высокими.
Современные мегапиксельные матрицы приборов с зарядовой связью (матрицы ПЗС) имеют явное ограничение по скорости тактирования фазных электродов выходного регистра: максимальная частота опроса элемента (пиксела) не превышает 40 МГц. Отсюда частота смены кадров наблюдаемого оператором персонального компьютера панорамного изображения должна быть принята значительно ниже 50 Гц, что не всегда допустимо по причине внесения дополнительных искажений видеосигнала при регистрации динамичных сюжетов.
Поэтому актуальным становится режим переменной скорости считывания в матрице ПЗС, предложенный в работе [3, с.103], который позволяет перераспределением частот считывания в пределах одного кадра улучшить качество считывания некоторого фрагмента изображения ценой ухудшения качества считывания остального массива элементов или его участка. Например, этот заведомо необходимый фрагмент изображения считывается с оптимальной скоростью, т.е. активно, а поэтому для него формируется полезный видеосигнал. С другой стороны, заведомо бесполезный участок изображения считывается с максимальной скоростью или пассивно, т.к. это приводит к физическому устранению самого процесса формирования видеосигнала. Такое решение обеспечивает сжатие формируемого видеосигнала путем сокращения полосы передаваемых частот и компромиссное распределение коэффициента сжатия между телевизионной камерой и сервером.
Следует признать и другое условие, а именно: дальнейший рост разрешающей способности матриц ПЗС ограничен производственными возможностями их технологии, которая по многим показателям приближается к физическим пределам.
Однако стремительно развивающаяся технология производства матриц на основе комплементарных структур «металл - окисел - полупроводник» (матриц КМОП) вполне может исправить эту ситуацию в ближайшее время, ибо максимально допустимая частота опроса пикселов в этих фотоприемниках уже превзошла отметку 100 МГц [4].
Мишень фотоприемника второго датчика ЦТС 1-4 должна захватывать кольцевое оптическое изображение, которое не используется при формировании видеосигнала фотоприемником первого датчика ЦТС 1-2. Очевидно, что формат мишени фотоприемника второго датчика ЦТС будет меньше формата мишени фотоприемника первого датчика ЦТС при одинаковых геометрических размерах их матричных пикселов.
Мультиплексор 1-5 предназначен для объединения двух видеосигналов на единственную магистраль с помощью разделения по времени. Электрическая схема мультиплексора 1-5 может быть выполнена на операционных усилителях с внешним переменным смещением типа СА3078Т фирмы RCA (США) согласно техническому решению, которое приведено в [5, с.295]. Формируемый на выходе телевизионной камеры 1 цифровой мультиплексный сигнал изображения, который содержит в качестве составляющих сигналы «видео 1» и «видео 2», полученные соответственно от датчика 1-3 и датчика 1-4.
Функция демультиплексирования (разделения) сигналов «видео 1» и «видео 2» реализуется на плате видео сервера.
Там же выполняется и преобразование «кольцевого» кадра изображения, формируемого вторым датчиком 1-4, в «прямоугольные» кадры. Отметим, что операция считывания этих «прямоугольных» кадров включает и коррекцию программным путем геометрических искажений соответствующего участка панорамного изображения точно так же, как это имеет место в прототипе и для изображения от первого датчика 1-3.
Способ панорамного телевизионного наблюдения осуществляется следующим образом. Воспользуемся схемой заявляемого устройства панорамного телевизионного наблюдения (см. фиг.1), реализующего заявленный способ.
Телевизионная камера 1, содержащая панорамный объектив 1-1, светоделитель 1-2, первый датчик ЦТС 1-3, второй датчик ЦТС 1-4 и мультиплексор 1-5, устанавливается в фиксированное положение, например при помощи фотоштатива (на фиг.1 он не показан). Допустим, что мишени фотоприемников датчиков 1-3 и 1-4 имеют формат 1:1 и расположены относительно друг друга взаимно перпендикулярно, тогда оптическая схема светоделителя 1-2 содержит только полупрозрачное зеркало 1-2-1, как показано на фиг.7а.
При помощи светоделителя 1-2 кольцевое оптическое изображение с выхода панорамного объектива 1-1 проецируется одновременно на мишень фотоприемника первого датчика 1-3 и на мишень фотоприемника второго датчика 1-4.
Фотоприемник первого датчика 1-3 формирует аналоговый видеосигнал путем считывания пикселов на мишени, вписанной по высоте на диаметр кольцевого изображения, при этом исключается поэлементное считывание на площади участка мишени, расположенного внутри этой мишени. На фиг.3 границы мишени фотоприемника датчика 1-3 показаны пунктирной линией, а пассивная область мишени отмечена косой штриховкой.
Мишень фотоприемника второго датчика 1-4 вписана по высоте в этот вертикальный размер пассивной области мишени фотоприемника датчика 1-3, как показано на фиг.5. Пунктирная линия на этом чертеже отмечает границы мишени фотоприемника датчика 1-4. Фотоприемник этого датчика считывает с оптимальной скоростью все без исключения пикселы на мишени. Поэтому подвергается преобразованию «свет - сигнал» и круговой участок кольцевого оптического изображения, не несущий никакой оптической информации.
Аналоговый видеосигнал первого датчика 1-3 преобразуется далее в цифровой сигнал изображения «видео 1», а аналоговый видеосигнал второго датчика 1-4 - соответственно в цифровой сигнал изображения «видео 2». Затем, благодаря мультиплексору 1-5, оба видеодеосигнала по единственной линии связи передаются при помощи стандартного интерфейса (например, USB 2,0) на вход сервера 2. На плате видео сервера осуществляется разделение поступающего мультиплексного видеосигнала на два канала, соответственно для «видео 1» и «видео 2» и запись каждого из этих кольцевых изображений в блоки оперативной памяти.
г
Предположим, что текущий угол поля зрения (γ) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи для «видео 1» включает 6 (шесть) условных областей (см. фиг.3), а «кольцевой» кадр записи для «видео 2» тоже включает 6 условных областей (см. фиг.5). На чертеже 5 эти области для «кольцевого» кадра «видео 2» перекрываются, т.к. желательно обеспечить запись видеосигналов с поддержанием неизменного показателя по разрешающей способности изображения.
Цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в n «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг.4 или фиг.6 соответственно) операторам локальной вычислительной сети. В нашем примере две эти последовательности содержат 12 различных изображений.
Будем считать, что в качестве персональных компьютеров 3, образующих эту сеть использованы ноутбуки, содержащие в своем составе материнскую плату с установленными на ней процессором и оперативной памятью, а также жесткий диск, дисплей, клавиатуру и тачпад - указательное устройство, используемое вместо манипулятора «мышь». Оператор каждого ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея.
Технический результат предлагаемого изобретения заключается в том, что оператору ноутбука, по сравнению с прототипом, предлагается увеличенная последовательность изображений, передающих увеличенную площадь контролируемого оптического пространства.
Очевидно, что такой же технический результат будет получен, если в конструкции телевизионной камеры мишени фотоприемников датчиков 1-3 и 1-4 расположены относительно друг друга взаимно параллельно, а светоделитель 1-2 содержит полупрозрачное зеркало 1-2-1 и отражающее зеркало 1-2-2, как показано на фиг.7б.
В настоящее время все элементы структурной схемы устройства панорамного телевизионного наблюдения, которые реализуют все действия согласно заявленному способу и определяют заявляемое устройство, освоены или могут быть освоены отечественной промышленностью. Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.
Источники информации
1. Патент РФ №2371880, МПК H04N 7/00. Способ панорамного телевизионного наблюдения и устройство для его осуществления. /В.М. Смелков// Б.И. - 2009. - №30.
2. Патент РФ №2185645, МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. /А.В. Куртов, В.А. Соломатин// Б.И. - 2002. - №20.
3. Хромов Л.И., Цыцулин А.К., Куликов А.Н. Видеоинформатика. Передача и компьютерная обработка видеоинформации. - М.: «Радио и связь», 1991.
4. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К., Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле / Под ред. А.А. Умбиталиева и А.К. Цыцулина - М.: «Радио и связь», 2006.
5. Ленк Дж. Электронные схемы: Практическое руководство. Перевод с англ. - М.: «Мир», 1985.