Устройство компьютерной системы панорамного телевизионного наблюдения
PANORAMIC TELEVISION SURVEILLANCE COMPUTER SYSTEM DEVICE

Предполагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры, обеспечивающей круговой обзор в различных шаровых слоях окружающей сферической области пространства. При этом для каждого из этих шаровых слоев телевизионный контроль ситуации в реальном масштабе времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Сенсорный блок этой телевизионной камеры состоит из четырех фотоприемников, изготовленных по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП), которые имеют форму мишени в виде кругового кольца.
r
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, сенсорный блок, содержащий первый и второй фотоприемники, причем первый панорамный объектив оптически связан с первым фотоприемником, а второй панорамный объектив - со вторым фотоприемником; в состав телевизионной камеры также входят блок «кольцевой» развертки фотоприемника, первый сигнальный процессор, второй сигнальный процессор, блок формирования апертуры (БФА), первый оптический затвор, второй оптический затвор, третий панорамный объектив, третий оптический затвор, четвертый панорамный объектив, четвертый оптический затвор, блок управления затворами, мультиплексор и аналого-цифровой преобразователь (АЦП), выход которого является выходом телевизионной камеры, при этом первый и второй фотоприемники при консольном соединении в шлиц под углом 90° образуют сенсорный блок, причем оба фотоприемника сенсорного блока выполнены по технологии приборов с зарядовой связью (ПЗС) в виде кругового кольца, а каждый из них содержит на общем кремниевом кристалле фотоприемную область (мишень) и выходной «кольцевой» регистр сдвига, заканчивающийся блоком преобразования «заряд - напряжение» (БПЗН), причем линейки светочувствительных и чередующиеся с ними линейки экранированных от света элементов фотоприемной области расположены вдоль радиальных направлений от воображаемого центра кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, а число элементов в каждой «кольцевой» строке мишени фотоприемника одинаково и равно числу элементов в его «кольцевом» регистре сдвига, причем площадь светочувствительных элементов и соответственно площадь экранированных элементов на «кольцевых» мишенях первого и второго фотоприемников от строки к строке различна, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь пиксела их «кольцевого» регистра сдвига, при этом период управляющих импульсов Т, формируемых на выходе БФА определяется соотношением:
р
где Т - период считывания элемента в первом и втором «кольцевых» фотоприемниках;
m
n - коэффициент, целое число, величина которого для текущей строки считывания в каждом из «кольцевых» фотоприемников, равна отношению:
1
где Δ - площадь светочувствительного элемента для первой строки считывания в «кольцевом» фотоприемнике;
m
Δ - площадь светочувствительного элемента для текущей строки считывания в «кольцевом» фотоприемнике,
при этом на материнской плате сервера установлена плата видео, выполняющая выполняющая демультиплексирование входного цифрового телевизионного сигнала на четыре канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и преобразование первого, второго, третьего и четвертого «кольцевых» кадров в «прямоугольные» кадры, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:
где  - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.
Недостаток прототипа - ограниченная степень интеграции телевизионной камеры из-за применяемой технологии ПЗС для изготовления «кольцевых» фотоприемников ее сенсорного блока, принципиально не позволяющей разместить на кристалле фотоприемников электронное «обрамление» для каждого из них. Здесь под этим термином конкретно подразумевается блоковая совокупность телевизионной камеры, включающая в себя блок «кольцевой» развертки фотоприемника, БФА, первый сигнальный процессор, второй сигнальный процессор и АЦП.
Задачей изобретения является повышение степени интеграции телевизионной камеры за счет выполнения «кольцевых» фотоприемников сенсорного блока по технологии КМОП и с размещением на их кристаллах необходимого электронного «обрамления».
m
m
Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения решается тем, что, как и в устройстве прототипа, содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в состав телевизионной камеры входит первый панорамный объектив, второй панорамный объектив, третий панорамный объектив, четвертый панорамный объектив, первый фотоприемник, второй фотоприемник и мультиплексор, при этом первый и второй фотоприемники выполнены в виде кругового кольца, а каждый из них содержит на кристалле линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число элементов в каждой «кольцевой строке»мишени фотоприемников одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии, на кристаллах обоих фотоприемников имеется разрез (сквозной шлиц), выполненный в радиальном направлении от воображаемого центра кольца к его внешней периферии, в расположение между первым и последним пикселами первой «кольцевой строки, причем первый и второй фотоприемники при консольном соединении в шлиц под углом 90° образуют сенсорный блок, у которого мишень первого фотоприемника оптически связана с первым панорамным объективом, а мишень второго фотоприемника оптически связана со вторым панорамным объективом, при этом на материнской плате сервера установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на четыре канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую оперативную память сервера и преобразование первого, второго, третьего и четвертого «кольцевых» кадров в «прямоугольные» кадры, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (3), но при этом, в отличие от прототипа [1], в состав сенсорного блока введены третий и четвертый фотоприемники, причем мишень третьего фотоприемника оптически связана с третьим панорамным объективом, а мишень четвертого фотоприемника оптически связана с четвертым панорамным объективом; каждый из четырех фотоприемников сенсорного блока выполнен на кристалле, изготовленном по технологии КМОП, причем его мишень состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления К, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки фотоприемника, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в фотоприемнике, а количество «радиальных» шин видео - число пикселов в каждой строке фотоприемника, при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «видео» фотоприемника, причем коэффициент усиления К активного пиксела для каждой текущей «кольцевой» строки фотоприемника изменяется по соотношению:
1
m
где Δ и Δ - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения, причем ширина сквозного разреза для всех четырех фотоприемников составляет не менее двух толщин их кристаллов, третий фотоприемник установлен в консольное соединение сенсорного блока с обратной стороны первого фотоприемника, стыкуясь с ней своей обратной стороной, а четвертый фотоприемник - с обратной стороны второго фотоприемника, стыкуясь с ней своей обратной стороной, при этом выход первого фотоприемника подключен к первому информационному входу мультиплексора, выход второго фотоприемника - ко второму информационному входу мультиплексора, выход третьего фотоприемника - к третьему информационному входу мультиплексора, а выход четвертого фотоприемника - к четвертому информационному входу мультиплексора, выход которого является выходом «видео» телевизионной камеры.
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.
Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени фотоприемников сенсорного блока, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического зазора между светочувствительными элементами вдоль каждой «кольцевой» строки.
Но при этом в заявляемом решении, как и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.
m
m
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления К пиксела на величину его светочувствительной площади Δ.
Как следует из соотношения (4), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов фотоприемника.
Не меняется и величина шумовой «дорожки» для каждого активного пиксела фотоприемника, что является обязательным условием реализации его высоких показателей по чувствительности и отношению сигнал/шум.
Отметим, что в прототипе [1] этот принцип также соблюдается, но реализуется по другому, см. опубликованные выше соотношения (1) и (2).
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.
На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе; на фиг. 2 приведена схемотехническая организация новых «кольцевых» фотоприемников (первого и второго) для сенсора; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - иллюстрация выполнения задачи по конвертированию одного «кольцевого» кадра в шесть «прямоугольных» кадров; на фиг. 5, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.
Устройство компьютерной системы панорамного телевизионного наблюдения, см. фиг. 1…3, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, сенсорный блок 1-2, содержащий четыре фотоприемника, при этом они попарно (первый и третий и соответственно второй и четвертый) соединены между собой через консоль под углом 90°, а также второй панорамный объектив 1-3, третий панорамный объектив 1-4 и четвертый панорамный объектив 1-5, причем первый панорамный объектив оптически связан с первым фотоприемником, второй панорамный объектив 1-3 - со вторым фотоприемником, третий панорамный объектив - с третьим фотоприемником, а четвертый панорамный объектив 1-5 - с четвертым фотоприемником, при этом выход «видео» первого фотоприемника сенсорного блока 1-2 подключен к первому информационному входу мультиплексора 1-6, а выход «видео» второго фотоприемника сенсорного блока 1-2 - ко второму информационному входу мультиплексора 1-6, выход «видео» третьего фотоприемника сенсорного блока 1-2 - к третьему информационному входу мультиплексора 1-6, а выход четвертого фотоприемника сенсорного блока 1-2 к - четвертому информационному входу мультиплексора 1-6, выход которого является выходом «видео» телевизионной камеры 1.
Панорамные объективы 1-1 и 1-4 и соответственно панорамные объективы 1-3 и 1-5 предназначены для формирования оптических изображений кругового обзора для четырех противоположно расположенных шаровых слоев контролируемого пространства, например для направления взгляда телевизионного оператора, это может быть соответствующее пространство сверху и снизу или спереди и сзади от него.
В качестве технического решения для панорамных объективов 1-1, 1-3, 1-4 и 1-5, совпадающего с аналогичным решением для прототипа [1], может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 5. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.
Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемников в пользу кругового кольца.
Каждый из четырех фотоприемников (см. фиг. 2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» фотоприемную область (мишень) 1-2-1, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4. Сквозной шлиц имеет позиционное обозначение 1-2-5.
Как показано на фиг. 2, активные пикселы на мишени фотоприемника объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.
m
Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления К для каждой текущей «кольцевой» строки и АЦП 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.
Отметим, что показанная на фиг. 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L, - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.
Управление АЦП 1-2-1-3 пиксела, как и всех остальных пикселов мишени, осуществляется с управляющего входа «кольцевого» мультиплексора 1-2-3. передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход фотоприемника.
То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 каждого из двух фотоприемников сенсорного блока 1-2.
Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины, является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.
Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.
Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры. Реализация такого решения обеспечивает существенное снижение общего энергопотребления телевизионной камеры.
Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями не предлагалась.
Заявляемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.
Мультиплексор 1-6 предназначен для синхронизации четырех цифровых видеосигналов (от первого, второго, третьего и четвертого фотоприемников) и объединения их на единственную линию связи путем разделения составляющих сигналов по времени.
Очевидно, что благодаря технологии КМОП, мультиплексор 1-6 может быть выполнен в составе одного из фотоприемников сенсорного блока 1-2.
Устройство компьютерной системы панорамного телевизионного наблюдения (см. фиг. 1) работает следующим образом.
Предположим, что телевизионная камера 1, установленная на гексакоптере, расположена на некоторой высоте относительно Земли.
Заметим, что термином «гексакоптер» принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенного для выполнения аэровидео съемки местности.
Пусть для этого конструкторское решение сенсорного блока 1-2 в составе телевизионной камеры 1 реализовано так, что ось визирования первого панорамного объектива 1-1, а, следовательно, и оптическая ось первого фотоприемника направлена по вертикали вверх. Тогда, по отношению к этому направлению, ось визирования третьего панорамного объектива 1-4 будет ориентирована вниз по вертикали. Это означает, что точно так же будет ориентирована и оптическая ось третьего фотоприемника.
Очевидно, что в этой ситуации ось визирования второго панорамного объектива 1-3 и оптическая ось второго фотоприемника направлены по горизонтали влево, а ось визирования четвертого панорамного объектива 1-5 и оптическая ось четвертого фотоприемника - по горизонтали вправо.
Экспонирование «кольцевых» мишеней первого, второго, третьего и четвертого фотоприемников производится непрерывно. Поэтому на первом выходе сенсорного блока 1-2 формируется цифровой видеосигнал «кольцевого» кадра от первого фотоприемника, на втором выходе сенсорного блока 1-2 - цифровой видеосигнал «кольцевого» кадра от второго фотоприемника, на третьем выходе сенсорного блока 1-2 - цифровой видеосигнал «кольцевого» кадра от третьего фотоприемника, а на четвертом выходе сенсорного блока 1-2 - цифровой видеосигнал от четвертого фотоприемника.
к
Далее выходные видеосигналы сенсорного блока 1-2 при помощи мультиплексора 1-4 объединяются на одну линию, чередуясь с периодом кадров T. Полученный мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра поступает на выход телевизионной камеры.
Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на четыре канала с последующей записью видеоинформации каждого канала соответственно в первый, второй, третий и четвертый блоки оперативной памяти на кадр. Отметим, что все эти операции осуществляются в автоматическом режиме
Благодаря этому видеоинформация становится доступной и другим компьютерам в интерактивном режиме.
Предположим, что, как и в прототипе [1], горизонтальный угол поля зрения () предъявляемого оператору изображения должен составлять 60°. Тогда одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра каждого фотоприемника телевизионной камеры записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.
Как и в прототипе [1], в сервере 2 программным путем, осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевых» кадров от первого, второго, третьего и четвертого фотоприемников в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера.
В результате цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в n «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности всем операторам персональных компьютеров 3 локальной вычислительной сети.
В нашем примере эта последовательность содержит 6 различных изображений (см. фиг. 4), а оператор каждого персонального ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея. Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений одинаковой (повышенной) по полю четкости применительно к каждому из четырех шаровых слоев окружающего пространства, причем площадь этого контроля приближается по величине к поверхности всей окружающей сферы.
Достижению максимального результата здесь препятствует неизбежное устранение из процесса фотоприема отдельных участков мишеней (потери для всех четырех фотоприемников) из-за выполнения сборки составляющих фотоприемников сенсорного блока по методу реализации консольного соединения в шлиц под углом 90°.
Однако заметим, что в нашей ситуации, благодаря размещению телевизионной камеры на летательном аппарате, действие этого недостатока во многом нивелируется (ослабляется).
Следует согласиться, что поставленная в заявляемом решении задача повышения степени интеграции телевизионной камеры сопровождается и мультипликативным эффектом в части упрощения ее структурной схемы по сравнению с прототипом [1].
Становятся ненужными и «уходят» из схемы первый оптический затвор, второй оптический затвор, третий оптический затвор и четвертый оптический затвор, а также блок управления этими затворами.
В настоящее время все элементы структурной схемы устройства компьютерной системы панорамного телевизионного наблюдения освоены или могут быть освоены отечественной промышленностью.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.
ИСТОЧНИКИ ИНФОРМАЦИИ
1. Патент РФ №2631828. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2017. - № 27.
2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - № 20.
3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.