Устройство "кольцевого" фотоприёмника цветного изображения для панорамного телевизионно-компьютерного наблюдения
DEVICE FOR "CIRCULAR" PHOTODETECTOR OF COLOR IMAGE FOR PANORAMIC TELEVISION-COMPUTER SURVEILLANCE

Предлагаемое изобретение имеет отношение к панорамному компьютерному наблюдению, которое выполняется цветной телевизионной камерой кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места, при помощи единственного «кольцевого» фотоприемника изготовленного по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП).
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения [1], изготовленное по технологии приборов с зарядовой связью (ПЗС) и имеющее форму кругового кольца, у которого линейки светочувствительных и линейки экранированных от света элементов фотоприемной области (мишени) расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» выходному регистру, оканчивающемуся блоком преобразования «заряд - напряжение» (БПЗН), причем число элементов в каждой «кольцевой» строке мишени одинаково и равно числу элементов в его «кольцевом» регистре, а сама мишень накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты, при этом площадь светочувствительных элементов на мишени фотоприемника, совпадающая с площадью соответствующих «окон» мозаичного цветного фильтра, и площадь соответствующих экранированных элементов на мишени фотоприемника от строки к строке различна, увеличиваясь в направлении вдоль «кольцевой» строки по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента (пиксела) его «кольцевого» выходного регистра, при этом сам «кольцевой» выходной регистр выполнен в виде двух смежных (первого и второго) «кольцевых» регистров, каждый из которых снабжен затвором загрузки и содержит половину от числа элементов для каждой фотоприемной строки, причем расположенный за мишенью первый «кольцевой» регистр является универсальным, обеспечивая перенос зарядовых пакетов в двух направлениях, а именно: как вдоль регистра, так и поперек его (насквозь), при этом каждый из двух смежных элементов первой фотоприемной строки мишени связан зарядовой связью через соответствующий затвор загрузки с расположенными напротив элементами первого и второго «кольцевых» регистров, а последние элементы первого и второго «кольцевых» регистров связаны зарядовой связью соответственно с первым и со вторым входами БПЗН, причем для зарядовых пакетов, поступающих по его второму входу, выполняется параллельно, как и по первому входу, управление площадью считывающей апертуры видеосигнала, при этом каждый из двух затворов обеспечивает загрузку зарядовыми пакетами для своего «кольцевого» регистра (применительно к отдельно взятой строке) в течение половины интервала обратного хода строчной развертки по телевизионному стандарту и по отношению к другому затвору - последовательно во времени, а число фазных электродов для отдельно взятого пиксела в обоих «кольцевых» регистрах должно быть четным, составляя показатель 2 или 4.
В прототипе [1] реализовано двухканальное управление площадью считывающей апертуры видеосигнала пропорционально изменению площади светочувствительных элементов на мишени фотоприемника для того, чтобы обеспечить выравнивание разрешающей способности формируемого цветного изображения.
Предполагается, что БПЗН фотоприемника прототипа [1] организован по типу «плавающая диффузионная область» [2], а поэтому имеет управляющий вход, обеспечивающий поэлементный сброс напряжения формируемого видеосигнала.
r
Период импульсов сброса Т для фотоприемника прототипа [1] определяется соотношением:
р
где Т - период считывания элемента в «кольцевом» фотоприемнике;
m
n - коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике, равна отношению:
1
где Δ - площадь светочувствительного элемента для первой строки считывания в «кольцевом» фотоприемнике;
m
Δ - площадь светочувствительного элемента для текущей строки считывания в «кольцевом» фотоприемнике.
Недостаток прототипа - ограниченная степень интеграции телевизионной камеры из-за применяемой технологии ПЗС для изготовления ее «кольцевого» сенсора, принципиально не позволяющей разместить на кристалле электронное «обрамление» фотоприемника.
Здесь под этим термином конкретно подразумевается (см. описание изобретения прототипа [1]) блоковая совокупность, включающая в себя блок «кольцевой» развертки видеосигнала, блок формирования апертуры (БФА), сигнальный процессор и аналого-цифровой преобразователь (АЦП).
Задачей изобретения является повышение степени интеграции телевизионной камеры за счет выполнения «кольцевого» сенсора по технологии КМОП и с размещением на его кристалле электронного «обрамления» фотоприемника.
m
т
Поставленная задача в заявляемом устройстве «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения решается тем, что в устройстве прототипа [1]), имеющем форму кругового кольца и содержащем на его кристалле «кольцевую» мишень, выполненную в виде линеек светочувствительных пикселов, расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии фотоприемника, при этом сама мишень накрыта мозаичным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, причем площадь светочувствительных пикселов на мишени фотоприемника совпадает с площадью соответствующих «окон» мозаичного цветного фильтра, но при этом, в отличие от прототипа [1], сам фотоприемник выполнен на кристалле, изготовленном по технологии КМОП, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления К, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала цветного изображения, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки, и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, а с нее - на информационный вход «кольцевого» процессора видеосигналов, выход которого является выходом «Видео» фотоприемника, причем коэффициент усиления К активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:
1
m
где Δ и Δ - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения.
Совокупность известных и новых признаков для заявляемого устройства не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.
Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени заявляемого фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.
Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.
m
m
Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра здесь определяется произведением коэффициента усиления К пиксела на величину его светочувствительной площади Δ.
Как следует из соотношения (3), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов заявляемого фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела сенсора, что является обязательным условием для реализации чувствительности фотоприемника и его отношения сигнал/шум.
Отметим, что в прототипе [1] этот принцип также соблюдается, но реализуется по другому методу, см. опубликованные выше соотношения (1) и (2).
Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.
На фиг. 1 приведена схемотехническая организация заявляемого фотоприемника цветного изображения; на фиг. 2 показан фрагмент этого фотоприемника, иллюстрирующий подробности конструкции его «кольцевой» мишени и мозаичного цветного фильтра; на фиг. 3 -подробности организации фотоприемника применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - структурная схема компьютерной системы панорамного телевизионного наблюдения с заявляемым «кольцевым» фотоприемником в составе телевизионной камеры этой системы; на фиг. 5, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 6 - предлагаемое оператору панорамное изображение текущего «кольцевого» кадра в виде последовательности из 6-ти «прямоугольных» кадров.
Предлагаемый «кольцевой» фотоприемник 1-2 (см. фиг. 1) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» мишень 1-2-1 сенсора, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов, «кольцевой» мультиплексор 1-2-4 строчной развертки и «кольцевой» процессор 1-2-5 видеосигналов.
Как показано на фиг. 3, активные пикселы на мишени сенсора объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.
m
Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления К для каждой текущей «кольцевой» строки сенсора и встроенный АЦП 1-2-1-3.
«Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов на мишени, объединенных «кольцевой» шиной видео 1-2-3-2.
Отметим, что показанная на фиг. 1, 2 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.
Управление АЦП 1-2-1-3 пиксела для каждой «кольцевой» строки мишени фотоприемника осуществляется при помощи отдельной (своей) строчной шины 1-2-1-4, передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-21 кадровой развертки.
Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2. Здесь формируется промежуточный выход «Видео» цифрового видеосигнала сенсора.
Этот видеосигнал поступает на вход «кольцевого» процессора 1-2-5 видеосигналов, где выполняется синтез цветного изображения в заданном стандартном интерфейсе, например, USB 2,0. Выход процессора 1-2-5 является и выходом «Видео» полного цифрового видеосигнала цветного изображения заявляемого фотоприемника.
Заметим, что показанная на фиг. 1 «кольцевая» форма процессора 1-2-5 видеосигналов является условной, т.к. она составляет лишь часть кругового кольца.
Отметим, что на фиг. 1 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.
Поясним дополнительно на фиг. 1 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.
В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала фотоприемника.
Благодаря принятой для изготовления предлагаемого датчика видеосигнала технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры, а также «кольцевой» процессор видеосигналов.
Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [4, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» фотоприемника с аналогичными возможностями не предлагалась.
Заявляемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.
Предлагаемый фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором, благодаря применению цветного «кольцевого» фильтра, светочувствительные пикселы мишени становятся чувствительными к голубой (Су), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим.
Конструкция этого мозаичного фильтра для фотоприемника поясняется на фиг. 2.
Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета, помимо сигнала яркости (Y) достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y).
Синтез выходного цифрового видеосигнала цветного изображения фотоприемника выполняется в процессоре 1-2-5 видеосигналов.
В заявляемом решении для «кольцевого» КМОП-фотоприемника, как и в прототипе [1], используется режим накопления поля.
Отметим, что поскольку размер светочувствительного элемента в режиме накопления поля равен размеру двух пикселов сенсора по вертикали, это приводит к снижению вертикальной разрешающей способности цветного изображения, что вполне допустимо.
g
y
e
g
y
e
Первая строка содержит попарные отсчеты: (M+С), (G+Y), (M+С), (G+Y) и так далее.
у
e
g
у
e
g
Вторая строка содержит попарные отсчеты: (С+G), (Y+M), (С+G), (Y+M) и так далее.
Очевидно, что третья и другие последующие нечетные строки будут содержать такие же попарные отсчеты, как и первая строка, а четвертая и другие последующие четные строки - такие же попарные отсчеты, как и вторая строка.
Для получения яркостного сигнала для нечетных строк производится операция по алгоритму, который заключается в том, что выполняется задержка на элемент разложения и суммирование попарных отсчетов:
Коэффициент  в формуле (1) возвращает «должок», приобретенный за счет суммирования в попарных отсчетах.
Очевидно, что выражение (4) можно представить так:
Применив аналогичный алгоритм для четных строк, получим следующее выражение для яркостного сигнала:
Аналогично представим выражение (3) в основных цветах:
Выражения (4) и (5) показывают, что яркостной сигнал для нечетных и четных строк одинаков.
Для получения цветоразностного сигнала синего (В-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетных строк выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:
e
g
y
B-Y=[(G+Y)-(M+C)]=[(G+G+R)-(R+B+G+B)]=-[2B-G]
Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четных строк:
g
e
y
R-Y=[(M+Y)-(G+C)]=[(R+B+G+R)-(G+G+B)]=2R-G.
Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в цифровом виде в полный цифровой видеосигнал, снимаемый на выходе «Видео» фотоприемника.
Необходимо отметить, что для заявляемого «кольцевого» фотоприемника световые «окна» для «кольцевого» мозаичного фильтра могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.
Телевизионная камера цветного изображения, выполненная на базе нового фотоприемника, см. фиг. 4, содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, инфракрасный отсекающий фильтр (ИК-фильтр) 1-3 и фотоприемник 1-2, мишень которого накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, см. фиг. 2. Выход «кольцевого» процессора 1-2-5 видеосигналов фотоприемника является выходом «Видео» телевизионной камеры.
Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 5. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.
ИК-фильтр 1-3, как и в прототипе [1], изменяет спектральную характеристику «кольцевого» фотоприемника 1-2, обеспечивая согласование со спектральной чувствительностью человеческого глаза.
ИК-фильтр 1-3 может быть выполнен в составе панорамного объектива 1-1 или интегрирован непосредственно в «кольцевой» фотоприемник 1-2.
Рассмотрим работу телевизионной камеры цветного изображения с заявляемым фотоприемником в составе компьютерной системы панорамного наблюдения, см. фиг. 2.
Система содержит телевизионную камеру в позиции 1 и сервер в позиции, 2 являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.
Система содержит телевизионную камеру в позиции 1 и сервер в позиции 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.
В разъем расширения на материнской плате сервера 2 установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольный» (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров (m), соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:
где  - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем, априори означающее оптимизированное использование мишени фотоприемника.
Предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 4 он не показан).
Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение наблюдаемой сцены, проецируя его через ИК-фильтр 1-3 на мишень 1-2-1 фотоприемника.
В результате фотоэлектрического и последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения.
По интерфейсу (например, USB 2,0) в оперативную память сервера 2 строка за строкой будет транслироваться цифровой видеосигнал «кольцевого» кадра контролируемого панорамного сюжета.
г
Предположим, что текущий угол поля зрения (γ) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи согласно соотношению (7) включает 6 (шесть) условных областей.
Очевидно, что в этом случае оперативная память сервера 2, куда заносится видеоинформация о панорамном цветном изображении, должно содержать 6 областей для записи входного видеосигнала текущего «кольцевого» кадра.
Далее, как и у прототипа [1], в сервере 2 осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.
Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 6) операторам персональных компьютеров.
Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений с одинаковой по полю (повышенной) четкостью наблюдаемой «картины», как у прототипа [1].
Но при этом реализация поставленной в заявляемом решении задачи повышения степени интеграции телевизионной камеры сопровождается и мультипликативным эффектом в части упрощения ее структурной схемы по сравнению с прототипом [1].
В настоящее время все элементы структурной схемы устройства «кольцевого» фотоприемника цветного изображения (все элементы его схемотехнической организации) для панорамного телевизионно-компьютерного наблюдения освоены или могут быть освоены отечественной промышленностью.
Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.
ИСТОЧНИКИ ИНФОРМАЦИИ
1. Патент РФ № 2675244. МПК H04N 5/00. Устройство «кольцевого» фотоприемника цветного изображения для панорамного телевизионно-компьютерного наблюдения. / В.М. Смелков // Б.И. - 2018. - № 35.
2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. - «Радио и связь», 1986.
3. Патент РФ № 2185645. МПК G02B13/06, G02B17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - № 20.
4. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.