Устройство компьютерной системы панорамного телевизионного наблюдения
DEVICE OF THE COMPUTER SYSTEM OF PANORAMIC TELEVISION SURVEILLANCE

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей одновременно или последовательно круговой обзор в четырех шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Сенсорный блок этой телевизионной камеры состоит из изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП) четырех или двух фотоприемников, которые имеют форму мишени в виде кругового кольца.
m
m
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив, четвертый панорамный объектив; сенсорный блок, содержащий первый фотоприемник, второй фотоприемник, третий фотоприемник и четвертый фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, второй панорамный объектив - с мишенью второго фотоприемника; третий панорамный объектив - с мишенью третьего фотоприемника, а четвертый панорамный объектив - с мишенью четвертого фотоприемника, причем каждый из четырех фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K, а также встроенный аналого-цифровой преобразователь (АЦП), обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления K активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:
1
m
где Δ и Δ - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем на кристаллах всех четырех фотоприемников сенсорного блока имеется разрез (сквозной шлиц), выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприемник установлен в консольное соединение со вторым фотоприемником в шлиц под углом 90°, третий фотоприемник установлен в консольное соединение с четвертым фотоприемником под тем же углом 90°, но с обратной стороны первого фотоприемника, стыкуясь с ней своей обратной стороной, а четвертый фотоприемник - с обратной стороны второго фотоприемника, стыкуясь с ней своей обратной стороной, причем ширина сквозного разреза для всех четырех фотоприемников составляет не менее двух толщин их кристаллов, при этом выход первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора, выход второго фотоприемника - ко второму информационному входу мультиплексора, выход третьего фотоприемника -к третьему информационному входу мультиплексора, а выход четвертого фотоприемника - к четвертому информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры; на материнской плате сервера установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на четыре канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование первого, второго, третьего и четвертого «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров и, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:
г
где γ - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.
Недостаток прототипа - существенная сложность телевизионной камеры, связанная с наличием в ее составе четырех фотоприемников.
Задачей изобретения является сокращение количества фотоприемников в составе телевизионной камеры до двух при сохранении возможности мониторинга видеоинформации панорамного сюжета в четырех слоях окружающего пространства.
m
т
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив и четвертый панорамный объектив; а также сенсорный блок, содержащий первый фотоприемник и второй фотоприемник, которые имеют форму кругового кольца, причем первый панорамный объектив оптически связан с мишенью первого фотоприемника, а второй панорамный объектив - с мишенью второго фотоприемника; причем каждый из двух фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления К активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению (1), обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем на кристаллах всех обоих фотоприемников сенсорного блока имеется сквозной шлиц, выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, при этом первый фотоприемник установлен в консольное соединение со вторым фотоприемником в шлиц под углом 90°, при этом выход первого фотоприемника сенсорного блока подключен к первому информационному входу мультиплексора, а выход второго фотоприемника - ко второму информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры; на. материнской плате сервера установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров и, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2); но при этом, в отличие от прототипа [1], в телевизионную камеру введены шариковый подшипник, устанавливаемый в пространстве, которая состоит из свободной от пикселов области первого и второго фотоприемников, при этом обеспечивается последовательно пространственное перемещение этих фотоприемников при помощи первого и второго джойстиков, устанавливаемых на внешней периферии первого и второго фотоприемников соответственно, причем первый джойстик реализует пространственный поворот первого фотоприемника на угол 180°, а второй джойстик реализует пространственный поворот на угол 180° второго фотоприемника, так что мишень первого фотоприемника устанавливается симметрично в положение напротив третьего панорамного объектива, а мишень второго фотоприемника - симметрично в положение напротив четвертого панорамного объектива, при этом плата видео, размещенная на материнской плате сервера, выполняет демультиплексирование нового входного цифрового телевизионного сигнала на два дополнительных канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и последовательное преобразование каждого из «кольцевых» кадров записи в «прямоугольные» кадры, причем число «прямоугольных» кадров и, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (2).
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.
Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени всех четырех фотоприемников сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического зазора между светочувствительными элементами вдоль каждой «кольцевой» строки.
Но при этом в заявляемом решении, как и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.
m
m
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления K пиксела на величину его светочувствительной площади Δ.
Как следует из соотношения (1), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов фотоприемника.
Не меняется и величина шумовой «дорожки» для каждого активного пиксела фотоприемника, что является обязательным условием реализации его высоких показателей по чувствительности и отношению сигнал/шум.
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.
На фиг.1а) приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе, реализующая пространственный мониторинг в двух слоях (сверху и слева) окружающего пространства; на фиг.1б) - структурная схема заявляемой компьютерной системы и соответственно структурная схема телевизионной камеры, реализующая пространственный мониторинг в двух других слоях (снизу и справа) окружающего пространства; на фиг.2 приведена схемотехническая организация для каждого из двух «кольцевых» фотоприемников сенсора; на фиг.3-подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг.4, по данным [2], представлена фотография изображения, полученного при помощи панорамного объектива.
Устройство компьютерной системы панорамного телевизионного наблюдения, см. фиг.1а), фиг.1б), фиг.2 и фиг.3, содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, второй панорамный объектив 1-2, третий панорамный объектив 1-3 и четвертый панорамный объектив 1-4, а также сенсорный блок 1-5, содержащий первый и второй фотоприемники, мультиплексор 1-6, шарикоподшипник 1-7, первый джойстик 1-8 и второй джойстик 1-9; при этом фотоприемники соединены между собой через консоль под углом 90°, причем в исходном положении первый панорамный объектив 1-1 оптически связан с первым фотоприемником, а второй панорамный объектив 1-2 - со вторым фотоприемником, при этом выход «видео» первого фотоприемника сенсорного блока 1-5 подключен к первому информационному входу мультиплексора 1-6, а выход «видео» второго фотоприемника сенсорного блока 1-5 - ко второму информационному входу мультиплексора 1-6, выход которого является выходом «видео» телевизионной камеры 1.
Отметим, что джойстики 1-8 и 1-9 на фиг.1а) и на фиг.1б) условно изображены в виде двойных фигурных стрелок для каждого из этих элементов.
Здесь следует рассмотреть значение слова «джойстик», которое употребляется в настоящей заявке на изобретение.
Традиционно термин джойстик (англ. joystik) понимается как устройство ввода информации в персональный компьютер, которое представляет собой качающуюся в двух плоскостях «игровую палочку» или «рычаг для игры» вертикальную ручку. Основная необходимость применения компьютерного джойстика - это возможность управления виртуальным объектом в виртуальном трехмерном пространстве (координаты по осям «X-Y-Z»).
Однако этот рычаг давно уже применяется в самых разнообразных приборах, в том числе и в санитарно-технической водоразборной арматуре - смесителях для кухонь и ванных. Так называемые шарнирные краны (смесители) имеют вместо привычных для нас двух поворотных рукояток всего один рычаг, он же джойстик.
Такое употребление термина «джойстик» в качестве механического рычага оказывается наиболее близким и в настоящей заявке. Применяемая конструкция джойстика 1-8 или джойстика 1-9 показана на чертеже фиг.2.
Панорамные объективы 1-1 и 1-2 и соответственно панорамные объективы 1-32 и 1-4 предназначены для формирования оптических изображений кругового обзора для четырех противоположно расположенных шаровых слоев контролируемого пространства, например для направления взгляда телевизионного оператора, это может быть соответствующее пространство сверху и снизу или спереди и сзади от него.
В качестве технического решения для панорамных объективов 1-1, 1-2, 1-3 и 1-, совпадающего с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг.6. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75 - 80) градусов по углу места.
Каждый из четырех фотоприемников (см. фиг.2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4. Сквозной шлиц имеет позиционное обозначение 1-2-5.
Как показано на фиг.2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.
т
Каждый активный пиксел мишени (см. фиг.3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления К для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.
Отметим, что показанная на фиг.2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг.3-латинской буквы L, -являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.
Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.
То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из четырех фотоприемников сенсорного блока 1-2.
Отметим, что на фиг.2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг.3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.
Поясним дополнительно на фиг.2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.
Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.
Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями не предлагалась.
Предлагаемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.
Мультиплексор 1-6, как и в прототипе [1], предназначен для синхронизации цифровых видеосигналов, но не четырех, а двух (от первого или второго, фотоприемника) и объединения их на единственную линию связи путем разделения составляющих сигналов по времени.
Очевидно, что благодаря технологии КМОП, мультиплексор 1-6 может быть выполнен в составе одного из этих фотоприемников сенсорного блока 1-5.
Устройство компьютерной системы панорамного телевизионного наблюдения (см. фиг.1) работает следующим образом.
Предположим, что телевизионная камера 1, установленная на гексакоптере, расположена на некоторой высоте относительно Земли.
Заметим, что термином «гексакоптер» принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенного для выполнения аэровидео съемки местности.
Пусть для этого в исходном положении конструкторское решение сенсорного блока 1-5 в составе телевизионной камеры 1, см. фиг.1а), реализовано при помощи первого джойстика 1-8 так, что ось визирования первого панорамного объектива 1-1, а, следовательно, и оптическая ось первого фотоприемника направлена по вертикали вверх. Тогда, по отношению к этому направлению, ось визирования третьего панорамного объектива 1-3 будет ориентирована вниз по вертикали.
С другой стороны, ось визирования второго панорамного объектива 1-2 и оптическая ось второго фотоприемника, благодаря второму джойстику 1-9, направлены по горизонтали влево, а ось визирования четвертого панорамного объектива 1-4 - по горизонтали вправо.
Отметим, что мишень первого фотоприемника и мишень второго фотоприемника в данной ситуации однозначно занимают положения, которые показаны линиями из квадратных точек.
Экспонирование «кольцевых» мишеней первого и второго фотоприемников производится непрерывно. Поэтому на первом выходе сенсорного блока 1-5 формируется цифровой видеосигнал «кольцевого» кадра от первого фотоприемника, а на втором выходе сенсорного блока 1-2 -цифровой видеосигнал «кольцевого» кадра от второго фотоприемника.
к
Далее выходные видеосигналы сенсорного блока 1-5 при помощи мультиплексора 1-6 объединяются на одну линию, чередуясь с периодом кадров Т. Полученный мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра, содержащий видеоинформацию в двух шаровых слоях (сверху и слева) окружающего пространства, поступает на выход телевизионной камеры.
Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.
Для получения в телевизионной камере, мультиплексного ЦТС в двух других шаровых слоях окружающего пространства необходимо посадить гексакоптер на Землю и при помощи первого 1-8 и второго 1-9 джойстиков, см фиг.16), переключить положения мишеней первого и второго фотоприемников его сенсорного блока 1-5.
Отметим, что мишень первого фотоприемника и мишень второго фотоприемника в данной ситуации однозначно будут занимать новые положения (противоположные предыдущим положениям), которые также отмечены на чертеже фиг.16) линиями из квадратных точек.
В результате гексакоптер, вновь поднявшийся в воздух, сможет передавать на сервер 2 мультиплексный ЦТС применительно к двум другим противоположно направленным шаровым слоям окружающего пространства (снизу и справа), успешно завершая задачу последовательного мониторинга во всех четырех шаровых слоях.
В настоящее время все элементы каждой из структурных схем устройства компьютерной системы панорамного телевизионного наблюдения, см. фиг.1а) и фиг.1б), освоены или могут быть освоены отечественной промышленностью.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.
ИСТОЧНИКИ ИНФОРМАЦИИ
1. Патент РФ №2709459. МПК H04N 5/374, СПК H04N 5/374. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2019. - №35.
2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. -№20.
3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.