Способ формирования видеосигнала "кольцевого" кадра в телевизионной камере для панорамного компьютерного наблюдения в условиях сложной освещённости и/или сложной яркости объектов
METHOD OF FORMING VIDEO SIGNAL OF CIRCULAR FRAME IN TELEVISION CAMERA FOR PANORAMIC COMPUTER SURVEILLANCE IN CONDITIONS OF HIGH ILLUMINATION AND/OR COMPLEX BRIGHTNESS OF OBJECTS

Предлагаемое изобретение является техническим решением по категории «способ» и имеет отношение к панорамному компьютерному наблюдению, которое выполняется при помощи монохромной или цветной телевизионной камеры кругового обзора в области, близкой к полусфере, выполненной на базе «кольцевого» сенсора («кольцевого» фотоприемника).
r
Наиболее близким по технической сущности к заявляемому изобретению следует считать способ формирования видеосигнала «кольцевого» кадра [1], в монохромной или цветной телевизионной камере для панорамного компьютерного наблюдения, заключающийся в том, что устанавливают телевизионную камеру в фиксированное положение, осуществляют захват оптического изображения в телевизионной камере с угловым полем в пространстве предметов 360° по азимуту в «кольцевом» фотоприемнике телевизионной камеры, изготовленном по технологии приборов с зарядовой связью (ПЗС), который выполнен на кристалле в виде кругового кольца, имеет схемотехническую организацию «кольцевой строчный перенос» и состоит из связанных последовательно зарядовой связью «кольцевой» фотоприемной области (мишени) и «кольцевого» выходного регистра, заканчивающегося блоком преобразования «заряд - напряжение» (БПЗН) с организацией «плавающая диффузия», при этом на мишени линейки светочувствительных элементов, чередующиеся с линейками экранированных от света элементов, расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому»выходному регистру, а число элементов в каждой «кольцевой» строке мишени равно числу элементов в «кольцевом» выходном регистре, причем на мишени площадь светочувствительных элементов и равная ей площадь экранированных элементов различны от строки к строке, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента «кольцевого» выходного регистра; накапливают зарядовое изображение информационного кадра на светочувствительных элементах мишени в соответствии с управляющим напряжением для автоматической регулировки времени накопления (АРВН) фотоприемника; осуществляют «кольцевую» развертку зарядового изображения на мишени с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» выходном регистре и формированием на выходе БПЗН напряжения аналогового сигнала изображения наблюдаемого пространства, причем в процессе получения видеосигнала сенсора управляют площадью считывающей апертуры за счет того, что от строки к строке изменяют период управляющих импульсов Т, (импульсов сброса) для БПЗН по соотношению:
р
где Т - период считывания элемента в «кольцевом» фотоприемнике;
m
n - коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике, равна отношению:
1
m
где Δ и Δ - соответственно площадь светочувствительного элемента для первой и текущей строк считывания в «кольцевом» фотоприемнике, обеспечивая одинаковую величину площади считывающей апертуры в пределах всего «кольцевого» растра фотоприемника; преобразуют аналоговый видеосигнал в цифровой видеосигнал.
Способ формирования видеосигнала в прототипе [1] гарантирует выравнивание разрешающей способности «кольцевого» изображения, а, следовательно, и «прямоугольных» изображений, предлагаемых компьютерным операторам-пользователям. Это достигается за счет управления площадью считывающей апертуры.
Отметим, что для этого БПЗН фотоприемника прототипа [1] организован по типу «плавающая диффузионная область», а поэтому имеет управляющий вход, обеспечивающий поэлементный сброс напряжения формируемого видеосигнала.
o.x.c
Применительно к отдельно взятой строке в прототипе [1] выполняется традиционная загрузка зарядовыми пакетами «кольцевого» выходного регистра в пределах временного промежутка, который по телевизионному стандарту занимает интервал τ - длительность обратного хода строчной развертки.
Однако при работе в условиях сложной освещенности и/или сложной яркости объектов, когда высокой освещенности (яркости) на одних участках поля зрения сопутствует низкая освещенность (яркость) на других его участках, реализованный в телевизионной камере способ формирования видеосигнала прототипа [1] не справляется с ситуацией.
Это объясняется тем, что в этих условиях АРВН, выполняя отсчет управляющего напряжения при помощи амплитудного детектора по пиковому или по среднему значению видеосигнала, пропорциональному освещенности мишени фотоприемника, распространяет свой полученный результат, а именно: длительность времени накопления, - на все элементы (пикселы) мишени.
Недостаток способа формирования видеосигнала в прототипе [1] заключается в том, что возникает режим ограниченного накопления (по времени) для тех участков панорамного изображения, которые контролируются при низкой освещенности (яркости) соответствующих им объектов.
Задачей изобретения является организация в автоматическом режиме повышения чувствительности для этих фрагментов «кольцевого» кадра путем увеличения для них времени накопления с одновременной реализацией экономии энергопотребления фотоприемника.
r
Поставленная задача повышения чувствительности в заявленном способе формирования видеосигнала «кольцевого» кадра, который основан на том, что устанавливают телевизионную камеру в фиксированное положение, осуществляют захват оптического изображения в телевизионной камере с угловым полем в пространстве предметов 360° по азимуту в «кольцевом» фотоприемнике телевизионной камеры, изготовленном по технологии приборов с зарядовой связью (ПЗС), который выполнен на кристалле в виде кругового кольца, имеет схемотехническую организацию «кольцевой строчный перенос» и состоит из связанных последовательно зарядовой связью «кольцевой» мишени и «кольцевого» выходного регистра, заканчивающегося БПЗН с организацией «плавающая диффузия», при этом на мишени линейки светочувствительных элементов, чередующиеся с линейками экранированных от света элементов, расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» выходному регистру, а число элементов в каждой «кольцевой» строке мишени равно числу элементов в «кольцевом» регистре, причем на мишени площадь светочувствительных элементов и равная ей площадь экранированных элементов различны от строки к строке, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента «кольцевого» выходного регистра; накапливают зарядовое изображение информационного кадра на светочувствительных элементах мишени в соответствии с управляющим напряжением для АРВН фотоприемника; осуществляют «кольцевую» развертку зарядового изображения на мишени с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» выходном регистре и формированием на выходе БПЗН напряжения аналогового сигнала изображения наблюдаемого пространства, причем в процессе получения видеосигнала сенсора управляют площадью считывающей апертуры за счет того, что от строки к строке изменяют период управляющих импульсов Т для БПЗН по соотношениям (1, 2), обеспечивая одинаковую величину площади считывающей апертуры в пределах всего «кольцевого» растра фотоприемника; преобразуют аналоговый видеосигнал в цифровой видеосигнал, решается тем, что «кольцевая» мишень фотоприемника разделена на изолированные друг от друга фотоприемные области, которые при параллельно действующем управлении процессами фотоприема и развертки, имеют форму в виде части кругового кольца, а их число k определяется соотношением:
г
где γ - горизонтальный угол поля зрения в градусах ожидаемого и предлагаемого оператору компьютера «прямоугольного» изображения,
э
o.x.c.
при этом величина управляющего напряжения АРВН и соответственно длительность накопления зарядов за кадр определяются раздельно для каждой этой отдельно взятой мишени по пиковому значению видеосигнала, формируемого на выходе сенсора в течение соответствующего временного интервала в пределах прямого хода по кадру, при этом частоту поэлементного переноса ƒ «кольцевого» фотоприемника на ПЗС снижают в два раза, а «кольцевой» выходной регистр выполняют в виде двух смежных «кольцевых» регистров, действующих поочередно на двухканальный БПЗН, при этом каждый из этих «кольцевых» регистров содержит половину элементов от числа пикселов для каждой фотоприемной строки, а в интервале τ загружают зарядовыми пакетами текущей информационной строки оба «кольцевых» регистра последовательно во времени и раздельно для нечетных и четных пикселов этой строки, причем для зарядовых пакетов, поступающих по второму входу БПЗН, выполняют, как и по первому входу, управление площадью считывающей апертуры видеосигнала, а число фазных электродов для отдельно взятого пиксела в обоих «кольцевых» регистрах должно быть четным, составляя показатель 2 или 4.
Сопоставительный анализ с прототипом [1] показывает, что заявляемый способ отличается наличием следующих признаков:
- условием реализации действий по формированию в телевизионной камере исходного аналогового видеосигнала, а именно: разделением «кольцевой» мишени фотоприемника на k изолированных друг от друга мишеней, имеющих форму в виде части кругового кольца, на которых процессы фотоприема и развертки осуществляются параллельно;
- выполнением в телевизионной камере параллельных и автономных действий по установке устройством АРВН длительности накопления зарядов за кадр для каждой из k мишеней сенсора в соответствии с освещенностью (яркостью) наблюдаемой сцены;
э
- выполнением экономии энергопотребления фотоприемника за счет снижения в два раза частоты поэлементного переноса ƒ а также новой организацией в нем составляющих его блоков: выходного регистра и БПЗН. Согласно заявляемому способу выходной «кольцевой» регистр состоит из двух параллельно действующих «кольцевых» регистров, а БПЗН из одноканального блока становится двухканальным. При этом зарядовые сигналы будут регистрироваться БПЗН в правильном фазовом соотношении за счет выбора четного показателя для числа фазных электродов применительно к отдельно взятому элементу этих регистров.
Здесь важно отметить следующее. Из монографии [2, с. 153] известно, что в n-канальном ПЗС с размером ячейки 30 мкм, работающем на частоте 1 МГц, зарядовый пакет величиной 0,5 пКл потребляет удельную мощность около 2,8 нВт/элемент. И эта величина растет как квадрат рабочей частоты!
При организации для «кольцевого» фотоприемника такого режима управления поэлементным переносом зарядовых пакетов разрешающая способность видеосигнала панорамного сюжета остается неизменной, а энергопотребление телевизионной камеры на базе такого сенсора - «тормозится», компенсируя полностью или частично сопутствующие энергетические затраты.
Совокупность известных и новых признаков не известна из уровня техники, поэтому заявляемый способ отвечает требованию новизны.
Очевидно, что предлагаемый способ может быть использован как в «кольцевых» фотоприемниках монохромного изображения, так и в «кольцевых» фотоприемниках цветного видеосигнала, получаемых путем покрытия мишени сенсора цветным мозаичным фильтром в форме кольца.
По техническому результату и методу его достижения предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.
На фиг. 1 приведена схемотехническая организации «кольцевого» фотоприемника на ПЗС (по методу «кольцевой строчный перенос») с шестью изолированными мишенями (k=6); на фиг. 2 - схемотехническая организация отдельно взятой изолированной мишени с управляющими входами; на фиг. 3 представлена структурная схема устройства, поясняющая реализацию заявляемого способа формирования видеосигнала и являющаяся, по сути, схемой замысла АРВН фотоприемника; на фиг. 4 - пример выполнения принципиальной схемы пикового детектора; шесть которых приняты (обозначены) на фиг. 3; на фиг. 5б-5ж относительно временного положения гасящего импульса строк, показанного на фиг. 5а, приведены эпюры управляющих сигналов для получения необходимых областей («окон») фотометрирования зарядового рельефа фотоприемника; на фиг. 6б - эпюра, иллюстрирующая временное положение выходного сигнала устройства АРВН (относительно кадрового гасящего импульса, представленного на фиг. 6а; на фиг. 7 показано положение шести «окон» фотометрирования для шести «прямоугольных» кадров на мишени «кольцевого» фотоприемника в условиях ее сложной освещенности и/или сложной яркости; на фиг. 8 - эпюры, поясняющие управление первым и вторым «кольцевыми» регистрами фотоприемника.
Отметим, что формирование этих «прямоугольных» кадров, как и в прототипе [1], предполагается в сервере компьютерной системы по видеосигналу «кольцевого» кадра, поступающего из телевизионной камеры наблюдения за панорамным сюжетом.
«Кольцевой» фотоприемник на фиг. 1 выполнен на кристалле в виде кругового кольца, имеет схемотехническую организацию «кольцевой строчный перенос» и состоит из связанных последовательно зарядовой связью «кольцевой» фотоприемной области (мишени) 1-1, первого «кольцевого» регистра 1-2-1, второго «кольцевого» регистра 1-2-2 и БПЗН 1-1-3 с организацией «плавающая диффузия», выход которого является выходом «видео» «кольцевого» фотоприемника, при этом на мишени 1-1 радиально расположенные линейки светочувствительных элементов чередуются с радиальными линейками экранированных от света элементами, причем число элементов в каждой «кольцевой» строке мишени 1-1 равно числу элементов в «кольцевых» регистрах 1-2-1 и 1-2-2, а площадь светочувствительных элементов на мишени от строки к строке различна, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента в «кольцевого» регистрах. Штрих-пунктирные линии на фиг. 1 показывают выделение на «кольцевой» мишени 1-1 фотоприемника шести изолированных мишеней (т.е. k=6), имеющих форму в виде части кругового кольца и снабженных электронным затвором. Введем обозначение этих сенсоров соответственно как: 1-1-1, 1-1-2, 1-1-3, 1-1-4, 1-1-5 и 1-1-6.
Предполагается, что для всех шести изолированных мишеней (см. фиг. 2) действует параллельное управление, обеспечивающее:
- процесс накопления зарядового рельефа в соответствии с длительностью, задаваемой выходным импульсом АРВН на входе электронного затвора сенсора;
- процесс построчного переноса накопленных зарядов по направлению к «кольцевым» регистрам 1-2-1 и 1-2-2.
Организация этого параллельного управления может быть осуществлена за счет «размножения» импульсных сигналов при помощи внешних буферных каскадов для готовых микросхем, реализующих набор (комплект) необходимых управляющих напряжений.
Отметим, что каждый из этих двух «кольцевых» регистров имеет входное управление через свой затвор загрузки, который по импульсному сигналу может быть открыт, обеспечивая поступление зарядовых пакетов в ячейки своего регистра, или наоборот - закрыт, изолируя тем самым ячейки своего регистра от поступления зарядов. Затворы загрузки «кольцевых» регистров 1-2-1 и 1-2-2 показаны на фиг. 1…2 утолщенными линиями.
Рассмотрим подробнее «механизм» этой зарядовой загрузки, используя временные диаграммы сигналов, представленные на фиг. 8.
o.х.с.
с
На фиг. 8а изображена эпюра сигнала для строчного гасящего импульса телевизионной развертки, активно действующего в течение интервала τ с периодом строк Т.
На фиг. 8б, фиг. 8в показаны эпюры импульсных сигналов, управляющие затворами загрузки второго «кольцевого» регистра 1-2-2 и первого «кольцевого» регистра 1-2-1 соответственно.
Заметим, что первый «кольцевой» регистр 1-2-1 является универсальным, обеспечивая перенос зарядовых пакетов двух направлениях, а именно: как вдоль регистра, так и поперек (насквозь), т.е. в ячейки второго «кольцевого регистра 1-2-2.
э
э
На фиг. 8г, фиг. 8д представлены эпюры импульсных сигналов, управляющие работой обоих «кольцевых» регистров параллельно применительно для двухфазной системы зарядового переноса зарядов, где Т=1/ƒ - период поэлементного переноса зарядовых пакетов.
о.x.c.
В промежутке  τ - интервале активного действия импульса на фиг. 8б через открытый затвор загрузки в «кольцевой» регистр 1-2-2 будут поступать заряды первой, третьей, пятой и других нечетных элементов строки.
o.х.с.
А в последующем интервале  τ- интервале активного действия импульса, изображенного на фиг. 8в, через открытый затвор будет загружаться зарядами «кольцевой» регистр 1-2-1, но применительно для второго, четвертого, шестого и других четных элементов этой строки.
Отметим, что в этом временном промежутке зарядовые пакеты, загруженные ранее в «кольцевой» регистр 1-2-2, остаются там «на своих местах», находясь в ячейках (потенциальных ямах) регистра в режиме хранения.
Теперь вернемся к анонсированной ранее структурной схеме АРВН на фиг. 3. Она содержит формирователь 2 сигналов «окон» для фотометрирования сенсора, последовательно соединенные первый пиковый детектор 3 и первый широтно-импульсный модулятор (ШИМ) 4, последовательно соединенные второй пиковый детектор 5 и второй ШИМ 6, последовательно соединенные третий пиковый детектор 7 и третий ШИМ 8, последовательно соединенные четвертый пиковый детектор 9 и четвертый ШИМ 10, последовательно соединенные пятый пиковый детектор 11 и пятый ШИМ 12, а также последовательно соединенные шестой пиковый детектор 13 и шестой ШИМ 14. Информационные входы всех шести пиковых детекторов (3, 5, 7, 9, 11, 13) подключены к выходу видео фотоприемника 1, а управляющие входы этих пиковых детекторов - соответственно к первому, второму, третьему, четвертому, пятому и шестому выходам формирователя 2. Седьмой выход формирователя 2 подключен к входам сброса всех шести пиковых детекторов (3, 5, 7, 9, 11, 13).
Выход блока 4 подключен к электронному затвору мишени 1-1-1, выход блока 6 - к электронному затвору мишени 1-1-2, выход блока 8 - к электронному затвору мишени 1-1-3, выход блока 10 - к электронному затвору мишени 1-1-4, выход блока 12 - к электронному затвору мишени 1-1-5, а выход блока 14 - к электронному затвору мишени 1-1-6. Предполагается, что в телевизионной камере от ее микроконтроллера на вход формирователя 2 сигналов «окон» подаются импульсы запуска и синхронизации.
Формирователь 2 предназначен для реализации шести импульсных сигналов (см. фиг. 5б…5ж), которые подаются на управляющие входы пиковых детекторов. Для получения этих сигналов может быть использован трехразрядный двоичный счетчик [см., например, 3, с. 168-170].
Трансляцией через формирователь 2 от микроконтроллера телевизионной камеры осуществляется подача кадрового синхроимпульса положительной полярности для выполнения в начале каждого кадра обнуления (сброса) всех шести пиковых детекторов (3, 5, 7, 9, 11, 13).
Пиковые детекторы предназначены для регистрации максимального уровня аналогового видеосигнала, поступающего на их информационные входы в интервале присутствия высокого уровня импульсного сигнала на их управляющих входах.
Каждый из пиковых детекторов может быть выполнен на базе двух операционных усилителей (ОУ) по схеме, предложенной в работе [4, с. 301]. Особенностью схемы, представленной на фиг. 4, является выбор первого (входного) ОУ. Этот ОУ дополнительно должен иметь управляющий вход для реализации внешнего управления резервной мощностью и рабочей точкой с помощью внешнего напряжения смещения. Примером выполнения такого ОУ является микросхема СА3078Т фирмы RCA (США). Импульсные сигналы, которые необходимо подать на управляющие входы всех шести пиковых детекторов (3, 5, 7, 9, 11, 13), представлены на временных диаграммах, изображенных соответственно на фиг. 5б, 5в, 5 г, 5д, 5е, 5ж.
Устройства, изображенные на фиг. 1…3, работают следующим образом.
Как и в прототипе [1], предполагается, что телевизионная камера установлена в фиксированное положение, например при помощи фотоштатива (здесь все это не показано).
Оптическое изображение наблюдаемой панорамной сцены в условиях сложной освещенности и/или сложной яркости проецируется на всю мишень 1-1 «кольцевого» фотоприемника 1, а, следовательно, и на все шесть составляющих ее мишеней 1-1-1, 1-1-2, 1-1-3, 1-1-4, 1-1-5 и 1-1-6.
Пусть в нашем примере, показанном на фиг. 7, в условиях высокой освещенности наблюдаемого сюжета оказывается область, которую занимает «Окно» 1; в условиях слабо пониженной освещенности - «Окно» 2 и «Окно» 5; в условиях средне пониженной освещенности - «Окно» 3 и «Окно» 6, а в условиях существенно пониженной освещенности - «Окно» 4.
В интервале прямого хода каждого телевизионного кадра происходит процесс оптимизированного накопления зарядов в светочувствительных пикселах всех шести мишеней 1-1-1, 1-1-2, 1-1-3, 1-1-4, 1-1-5 и 1-1-6 пропорционально освещенности контролируемого панорамного сюжета.
В течение кратковременного промежутка последующего интервала обратного хода кадровой развертки открывается фотозатвор, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на тех же мишенях.
о.х.с
Затем фотозатвор каждой из шести мишеней закрывается, и в новом кадровом цикле выполняется накопление другой зарядовой «картины», а накопленные в предыдущем кадре зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в интервале τ новыми зарядами последовательно первый 1-2-1 и второй 1-2-2 «кольцевые» регистры.
Для всех строк каждой из шести мишеней фотоприемника в БПЗН 1-1-3, как и в прототипе [1], обеспечивается одинаковая по полю площадь считывающей апертуры, что гарантирует одинаковую чувствительность для всех элементов «объединенной» мишени при поддержании одних и тех же пространственных зазоров между соседними пикселами.
Таким образом, обеспечивается выравнивание разрешающей способности «кольцевого» изображения по всей площади «объединенной» мишени сенсора.
Затем, как и в прототипе [1], сформированный аналоговый видеосигнал преобразуется в цифровой телевизионный сигнал (ЦТС) «кольцевого» кадра на выходе телевизионной камеры. Далее ЦТС по интерфейсу (например, USB 2,0) передается на сервер компьютерной системы, где выполняется запись видеоинформации в его оперативную память на кадр. В сервере известным путем выполняется преобразование (конвертирование) видеосигнала каждого текущего «кольцевого» кадра в шесть «прямоугольных» кадров, показанных также на фиг. 7.
н
Технический результат заявляемого решения обеспечивается тем, что в телевизионной камере будут в полностью автоматическом режиме получены оптимальные показатели для времени накопления (Т) применительно ко всем k участкам «кольцевой» мишени фотоприемника.
Следовательно, по сравнению с прототипом [1], будет достигнуто повышенное отношение сигнал/шум (ψ) формируемого видеосигнала и соответственно увеличение чувствительности для тех участков панорамного изображения, которые регистрируются при низкой освещенности (яркости) соответствующих им объектов, и, что не менее важно, - с выполнением экономии по энергопотреблению сенсора.
Очевидно, что предлагаемый в настоящем техническом решении способ формирования видеосигнала может быть с успехом реализован и для двух других вариантов схемотехнической организации «кольцевого» фотоприемника, а именно: по методу «кольцевой кадровый перенос» [5] и по методу «кольцевой строчно-кадровый перенос» [6].
В настоящее время все элементы схемотехнической организации упомянутых «кольцевых» фотоприемников, а также блоки и элементы комментируемой структурной схемы устройства АРВН сенсора, реализующие предлагаемый способ формирования «кольцевого» кадра в  телевизионной камере для панорамного компьютерного наблюдения в условиях сложной освещенности и/или яркости объектов, освоены или могут быть освоены отечественной промышленностью.
Поэтому следует считать предполагаемое изобретение соответствующим требованию о промышленной применимости.
ИСТОЧНИКИ ИНФОРМАЦИИ
1. Патент РФ №2633758. МПК H04N 5/00. Телевизионная камера повышенной чувствительности для панорамного компьютерного наблюдения. / В.М. Смелков // Б.И. - 2017. - №29.
2. Секен К., Томпсет М. Приборы с переносом заряда. Перевод с англ. - «Мир», 1978.
3. Токхейм Р. Основы цифровой электроники. Перевод с англ. - М.: «Мир», 1988.
4. Пейтон А. Дж., Волш В. Аналоговая электроника на операционных усилителях. Перевод с англ. - М.: «БИНОМ», 1994.
5. Патент РФ №2625163. МПК H04N 7/00. Телевизионная камера и ее «кольцевой» фотоприемник для компьютерной системы панорамного наблюдения. / В.М. Смелков // Б.И. - 2017. - №20.
6. Патент РФ №2611422. МПК H04N 7/00. Телевизионная камера повышенной чувствительности и ее «кольцевой» фотоприемник для компьютерной системы панорамного наблюдения. / В.М. Смелков // Б.И. - 2017. - №6.