УСТРОЙСТВО КОМПЬЮТЕРНОЙ СИСТЕМЫ ПАНОРАМНОГО ТЕЛЕВИЗИОННОГО НАБЛЮДЕНИЯ
COMPOSITION OF COMPUTER SYSTEM FOR PANORAMIC TELEVISION SURVEILLANCE

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи единственного «кольцевого» фотоприемника, в сферической области, занимающей два противоположно расположенных шаровых слоя. Т.е. для каждого из этих двух шаровых слоев телевизионный контроль ситуации в реальном времени осуществляется в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.
Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных панорамного объектива и датчика цифрового телевизионного сигнала, который содержит в своем составе последовательно расположенные и связанные твердотельный фотоприемник и блок фотоприемника, обеспечивающий развертку аналогового видеосигнала фотоприемника и формирование на выходе телевизионной камеры цифрового телевизионного сигнала, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:
г
где γ - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем;
фотоприемник телевизионной камеры выполнен в виде кругового кольца, реализуя «кольцевую» мишень сенсора и встроенную память на кадр, а блок фотоприемника телевизионной камеры формирует «кольцевой» растр изображения, причем фотоприемник, выполненный по технологии приборов с зарядовой связью (ПЗС), содержит на общем кремниевом кристалле фотоприемную область, секцию памяти, выходной регистр сдвига, заканчивающийся блоком преобразования «заряд - напряжение» (БПЗН), при этом линейки светочувствительных и чередующиеся с ними линейки экранированных от света элементов фотоприемной области, а также линейки экранированных от света элементов секции памяти расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там выходному регистру сдвига, который является «кольцевым», причем число элементов в каждой «кольцевой» строке фотоприемной области и в каждой «кольцевой» строке секции памяти фотоприемника равно числу элементов в его «кольцевом» регистре сдвига.
Недостаток прототипа - ограниченная область сферического пространства, наблюдаемая телевизионной камерой компьютерной системы.
Задачей изобретения является увеличение площади пространственной сферической области, контролируемой телевизионной камерой, путем дополнительного наблюдения в реальном времени шарового слоя, расположенного в противоположном направлении по отношению к основному шаровому слою.
Поставленная задача в заявляемом устройстве компьютерной системы панорамного телевизионного наблюдения решается тем, что в устройство компьютерной системы прототипа [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных первого панорамного объектива и фотоприемника, управляющие входы которого подключены к соответствующим выходам блока «кольцевой» развертки фотоприемника и формирования цифрового телевизионного сигнала, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая первый БПКП, вход которого подключен к выходу первого блока оперативной памяти на кадр, а выход - к выходу «сеть» сервера, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), при этом фотоприемник телевизионной камеры выполнен в виде кругового кольца, реализуя со стороны электродов первую «кольцевую» мишень сенсора, а блок фотоприемника телевизионной камеры формирует «кольцевой» растр изображения, причем фотоприемник, выполненный по технологии ПЗС, содержит на общем кремниевом кристалле фотоприемную область, секцию памяти, выходной регистр сдвига, заканчивающийся БПЗН, при этом линейки светочувствительных и чередующиеся с ними линейки экранированных от света элементов фотоприемной области, а также линейки экранированных от света элементов секции памяти расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там выходному регистру сдвига, который является «кольцевым», причем число элементов в каждой «кольцевой» строке фотоприемной области и в каждой «кольцевой» строке секции памяти фотоприемника равно числу элементов в его «кольцевом» регистре сдвига, введены первый оптический затвор, расположенный между первым панорамным объективом и первой «кольцевой» мишенью сенсора, оптически связанные между собой второй панорамный объектив, второй оптический затвор и вторая «кольцевая» мишень сенсора, реализованная со стороны подложки фотоприемника, а также блок управления затворами, управляющий вход которого подключен к выходу кадровых синхроимпульсов блока «кольцевой» развертки фотоприемника, первый выход блока управления затворами подключен к управляющему входу первого оптического затвора, а второй выход блока управления затворами - к управляющему входу второго оптического затвора, причем экспонирование первой и второй «кольцевых» мишеней фотоприемника осуществляется поочередно в течение интервала активной части кадра для каждой мишени, а в плату видео, расположенную на материнской плате сервера; дополнительно к этому введены демультиплексор и второй БПКП, вход которого подключен к выходу второго блока оперативной памяти на кадр, а выход - к выходу «сеть» сервера, причем для второго БПКП число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), а направление вывода (поэлементного считывания) видеосигнала из первого блока оперативной памяти на кадр является противоположным (реверсивным) по отношению к направлению вывода видеосигнала из первого блока оперативной памяти на кадр, при этом всю площадь первой «кольцевой» мишени фотоприемника занимают линейки светочувствительных элементов, которые непосредственно и последовательно связаны зарядовой связью с линейками элементов секции памяти.
В заявляемом решении фотоприемник, как и фотоприемник для прототипа, реализует «кольцевой» растр телевизионного изображения, но реализуемая в нем развертка может быть охарактеризована как «кольцевая» развертка видеосигнала по методу «кольцевой кадровый перенос».
Важно подчеркнуть, что для предлагаемого фотоприемника могут быть применены те же управляющие сигналы, которые используются для организации «прямоугольной» развертки в матрицах ПЗС кадрового переноса.
Совокупность известных и новых признаков заявляемого устройства компьютерной системы не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.
Телевизионная камера заявляемого устройства компьютерной системы панорамного наблюдения формирует на выходе мультиплексный цифровой телевизионный сигнал «кольцевого» изображения. Он состоит из чередующихся телевизионных кадров, полученных в результате поочередного экспонирования как традиционной мишени фотоприемника со стороны электродов, так и дополнительной его мишени со стороны подложки кристалла. Последующее в сервере демультиплексирование входного телевизионного сигнала позволяет принципиально вдвое увеличить площадь пространственной сферической области, контролируемой телевизионной камерой, путем дополнительного наблюдения в реальном времени шарового слоя, расположенного в противоположном направлении по отношению к основному шаровому слою. Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.
Важно отметить, что, по отношению к прототипу, в заявляемом решении исключаются потери чувствительности. Докажем это аналитически.
Световая или энергетическая чувствительность фотоприемника определяется минимально допустимой, т.е. пороговой освещенностью на объекте, при которой обеспечивается заданное качество изображения.
Воспользуемся известным выражением для пороговой освещенности сцены в реальной ситуации обнаружения и опознавания фотоприемником малоконтрастных объектов [2, с. 94], которое в нашем случае выглядит так
12
2
2
где N=2 10 - потенциально доступное ПЗС количество фотонов на площади в 1 см за время в 1 см при равномерном спектре и освещенности в видимом диапазоне в 1 лк;
о
k - коэффициент отражения объекта;
ф
k - коэффициент отражения фона;
2
Δ - площадь пиксела;
н
Т - время накопления;
η - квантовый выход;
пор
Ψ - пороговое отношение сигнал/шум;
D - диаметр входного зрачка объектива;
f - фокусное расстояние объектива;
1
τ - коэффициент пропускания объектива;
2
τ - коэффициент пропускания электронного затвора, который необходимо учитывать применительно к заявляемому устройству.
o
ф
н
пор
1
При использовании для фотоприемников прототипа и заявляемого устройства технологии ПЗС, а для их работы (в составе телевизионной камеры, наблюдающей один и тот же объект) одного и того же панорамного объектива и блока «кольцевой» развертки будем иметь одинаковые показатели следующих параметров: N, k, k, Т, W, D, f, τ.
2
2
Для первой мишени нового фотоприемника (со стороны электродов), по сравнению с прототипом, при одном и том же формате за счет исключения экранированных элементов может быть увеличен параметр площади светочувствительного пиксела (Δ), т.к. экранированных пикселов на мишени больше нет. Выигрыш в этом параметре может вполне компенсировать потери чувствительности за счет коэффициента пропускания электронного затвора τ, который заведомо меньше единицы.
2
2
Для второй мишени нового фотоприемника (со стороны подложки) к выигрышу по параметру площади светочувствительного пиксела (Δ) добавляется дополнительный выигрыш и в параметре квантового выхода (η) по причине удаления на пути фотонов металлических электродов. А это в совокупности заведомо компенсирует потери чувствительности за счет показателя τ.
Для использования заявляемого устройства компьютерной системы панорамного наблюдения в охранных целях целесообразно кристалл фотоприемника телевизионной камеры выполнить не основе кремния, а на основе полупроводника из арсенида галлия, с которым физически возможно достигнуть без охлаждения красной границы спектральной характеристики 1,7 мкм и даже 2,2 мкм [2, с. 113].
На фиг. 1 приведена структурная схема заявляемого устройства компьютерной системы панорамного телевизионного наблюдения; на фиг. 2 приведена схема организации предлагаемого фотоприемника; на фиг. 3 - подробности структурной схемы телевизионной камеры с использованием этого фотоприемника применительно к блоку «кольцевой» развертки и формирования цифрового телевизионного сигнала; на фиг. 4 - фрагмент мишени заявляемого фотоприемника, иллюстрирующий режим экспонирования со стороны электродов кристалла; на фиг. 5 - фрагмент мишени заявляемого фотоприемника в режиме экспонирования со стороны подложки кристалла; на фиг. 6, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 7-8 представлены соответственно конструкция электрохромной ячейки и ее светорегулирующая характеристика при использовании этой ячейки в качестве оптического затвора; на фиг. 9а и 9б изображены эпюры напряжений, обеспечивающих управление первым и вторым оптическими затворами, которые выполнены на технологической основе электрохромной ячейки.
Устройство компьютерной системы панорамного телевизионного наблюдения, см. фиг. 1 и фиг. 2, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, фотоприемник 1-2, блок 1-3 «кольцевой» развертки фотоприемника и формирования цифрового телевизионного сигнала, первый оптический затвор 1-4, второй панорамный объектив 1-5, второй оптический затвор 1-6 и блок 1-7 управления затворами, управляющий вход которого подключен к выходу кадровых синхроимпульсов блока 1-3 «кольцевой» развертки фотоприемника, первый выход блока 1-7 управления затворами подключен к управляющему входу первого оптического затвора 1-4, а второй выход блока 1-7 - к управляющему входу второго оптического затвора 1-6, причем фотоприемник 1-2, выполненный по технологии ПЗС в виде кругового кольца, содержит на общем кремниевом кристалле фотоприемную область 1-2-1, являющуюся со стороны электродов первой «кольцевой» мишенью, а со стороны подложки кристалла - второй «кольцевой» мишенью, а также секцию памяти 1-2-2 и выходной регистр сдвига 1-2-3, заканчивающийся БПЗН 1-2-4, при этом последовательно расположенные первый панорамный объектив 1-1, первый оптический затвор 1-4 и первая «кольцевая» мишень фотоприемника оптически связаны между собой, последовательно расположенные второй панорамный объектив 1-5, второй оптический затвор 1-6 и вторая «кольцевая» мишень соответственно оптически связаны между собой; управляющие входы фотоприемника 1-2 подключены к выходам импульсных напряжений блока 1-3, а выход мультиплексного цифрового телевизионного сигнала, формируемого в блоке 1-3, является выходом телевизионной камеры 1, при этом на материнской плате сервера 2 установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую (одну из двух) оперативную память сервера и преобразование первого и второго «кольцевых» кадров в «прямоугольные» кадры, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1).
Первый панорамный объектив 1-1 и второй панорамный объектив 1-5 телевизионной камеры предназначены для формирования оптических изображений кругового обзора для противоположно расположенных (относительно оптической оси) шаровых слоев контролируемого пространства. В качестве технического решения для панорамных объективов 1-1 и 1-5, совпадающих с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].
Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 6. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.
Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемника в пользу кругового кольца.
Для «кольцевого» фотоприемника заявляемого устройства, как и для фотоприемника прототипа, электроды переноса на первой «кольцевой» мишени, в секции памяти и в «кольцевом» регистре сдвига могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца. Несомненно, что это предоставит и определенные преимущества при изготовлении «кольцевого» фотоприемника по технологии ПЗС.
Блок 1-3 телевизионной камеры (см. фиг. 3), как и для телевизионной камеры прототипа, содержит временной контроллер 1-3-1, сигнальный процессор 1-3-2, первый преобразователь уровней (ПУ) 1-3-3, второй ПУ 1-3-4 и третий ПУ 1-3-5, а также аналого-цифровой преобразователь (АЦП) 1-3-6, выход которого является выходом телевизионной камеры.
Пусть число «кольцевых» строк мишени 1-2-1 фотоприемника составляет V, а H - число пикселов в «кольцевом» регистре 1-2-3.
Тогда в качестве временного контроллера 1-3-1 для телевизионной камеры можно использовать готовую микросхему того же наименования, предназначенную для управления матрицей ПЗС кадрового переноса, имеющей размерность V×H.
Примером такой микросхемы отечественного производства можно считать изделие К1124АП2, разработанное в советское время, специально для управления матрицей ПЗС с числом элементов 580×380 [4, с. 182-183].
Первый оптический затвор 1-4 и второй оптический затвор 1-6 предназначены для поочередного импульсного экспонирования первой и второй «кольцевых» мишеней фотоприемника 1-2 соответственно.
Оптические затворы 1-4 и 1-6 могут быть реализованы в виде светорегулирующих ячеек, которые обеспечивают управляемое скачкообразное изменение облученности мишеней фотоприемника 1-2 и могут быть выполнены по технологии электрохромной ячейки [5].
Такая ячейка (см. фиг. 7) представляет собой два плоскопараллельных стекла толщиной 2,5 мм, соединенные между собой в кювету так, что между внутренними поверхностями стекол образован зазор порядка 0,1-0,2 мм, заполненный электрохромным материалом ЭХМ-11. Внутренние поверхности стекол покрыты токопроводящим покрытием и образуют электроды, выводы которых расположены снаружи ячейки.
max
min
Световая характеристика ячейки (см. фиг. 8) определяется свойствами электрохромной жидкости. Изменение коэффициента пропускания от τ (70%) до τ (1÷1,5%) составляет для большинства разработанных в советское время ячеек величину  при подаче на выводы постоянного напряжения U, величина которого составляет около 1,2 В.
min
max
Необходимо улучшить параметры ячеек, а именно: уменьшить τ и, что важнее в первую очередь, - увеличить τ.
Важно отметить, что физическое быстродействие изменения коэффициента пропускания такой ячейки позволяет обеспечить управление параметром с частотой 50 Гц.
Для заявляемого устройства панорамные объективы 1-1 и 1-5 должны иметь одинаковые технические параметры. Эта особенность распространяется и на оптические затворы 1-4 и 1-6. Поэтому целесообразно панорамный объектив и оптический затвор выполнить в составе одного оптического прибора.
к
Блок 1-7 управления затворами задает необходимую импульсную коммутацию ячеек с периодом кадров Т. Эпюры выходных сигналов представлены на фиг. 9а и 9б соответственно. Очевидно, блок 1-7 управления затворами целесообразно интегрировать во временной контроллер 1-3-1, входящий в состав блока 1-3.
Устройство компьютерной системы панорамного телевизионного наблюдения (см. фиг. 1) работает следующим образом.
Предполагается, что телевизионная камера 1 расположена на некоторой высоте относительно Земли и по отношению к ней соблюдается вертикальное положение оптической оси камеры. Например, это условие будет соблюдено, когда телевизионная камера установлена на гексакоптере. Этим термином принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенную для выполнения аэровидеосъемки местности.
Для экспонирования первой «кольцевой» мишени фотоприемника 1-2 телевизионной камеры, которая, как и в прототипе, реализована со стороны электродов кристалла, используется импульсное изображение на выходе первого оптического затвора 1-4. На вход оно поступает от первого панорамного объектива 1-1, а его ось визирования направлена вертикально вверх.
Для экспонирования второй «кольцевой» мишени фотоприемника 1-2 телевизионной камеры, которая реализована со стороны подложки кристалла, используется импульсное изображение на выходе второго оптического затвора 1-6, получаемое на входе от второго панорамного объектива 1-5. Его ось визирования направлена вертикально вниз.
Оптические затворы 1-4 и 1-6 обеспечивают поочередное кадровое накопление информационных зарядов на первой и второй «кольцевых» мишенях фотоприемника. Т.е., когда пропорционально освещенности панорамного сюжета идет процесс сбора зарядовых пакетов на первой мишени, на второй мишени он отсутствует, и наоборот.
В таком же режиме кадровой поочередности фотоприемник 1-2 реализует «кольцевую» развертку зарядового изображения на мишени с последующим переносом зарядовых пакетов всех строк кадра в секцию памяти 1-2-2 и заключительным поэлементным считыванием зарядовых пакетов в «кольцевом» регистре сдвига 1-2-3 с формированием на выходе БПЗН 1-2-4 напряжения мультиплексного видеосигнала в аналоговой форме.
Аналоговый мультиплексный видеосигнал фотоприемника (см. фиг. 3) преобразуется далее при помощи сигнального процессора 1-3-2 и АЦП 1-3-6 в мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра и поступает на выход телевизионной камеры.
Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.
г
Предположим, что, как и в прототипе, горизонтальный угол поля зрения (γ) предъявляемого оператору изображения составляет 60°. Тогда должно быть предусмотрено, что одна шестая часть каждой «кольцевой» строки как первого, так и второго «кольцевого» кадра, записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.
Затем в сервере 2 при помощи первого и второго БПКП, реализующих возложенные на них функции программным путем, параллельно осуществляется операция поэлементного считывания видеоинформации, т.е. вывода из памяти сигналов изображения, а в результате - конвертирование каждого «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть».
Повторим еще раз, что для исключения поворота по горизонтали («зеркальности») изображения, формируемого второй «кольцевой» мишенью фотоприемника, реализуется программным путем противоположное (реверсивное) направление поэлементного считывания видеосигнала из второго блока оперативной памяти по отношению к направлению вывода видеосигнала из первого блока оперативной памяти.
Отметим, что операция считывания «прямоугольных» кадров включает и коррекцию геометрических искажений соответствующего участка панорамного изображения точно так же, как это имеет место в прототипе.
В результате цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в n «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности операторам локальной вычислительной сети. В нашем примере эта последовательность содержит 6 различных изображений как для первого, так и для второго «кольцевых» кадров.
Это означает, что к шести изображениям контролируемой в реальном времени сферической области применительно к шаровому слою, который расположен сверху, добавляются еще шесть изображений, имеющих отношение к невидимому прототипом шаровому слою снизу. При этом общая предлагаемая площадь наблюдения увеличивается вдвое.
В настоящее время все элементы структурной схемы заявляемого устройства компьютерной системы панорамного телевизионного наблюдения могут быть освоены отечественной промышленностью.
Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.
ИСТОЧНИКИ ИНФОРМАЦИИ
1. Патент РФ №2552101. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения и организация фотоприемника для его реализации. / В.М. Смелков // БИ - 2015. - №16.
2. Цыцулин А.К. Телевидение и космос: Учебное пособие. / Издательство СПбГЭТУ «ЛЭТИ», 2003.
3. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.
4. Пресс Ф.П. Фоточувствительные приборы с зарядовой связью. М.: Радио и связь, 1991.
5. Разработка светорегулирующих ячеек и технологического процесса их изготовления. Технический отчет по теме «Балтика». Новгород (Великий Новгород), 1979.