Устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью

Полезная модель относится к телевидению и может быть использована при создании прикладных систем, в частности для пространственно-временной обработки изображений.
Наиболее близким по технической сущности к предлагаемой полезной модели является устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью (ФПЗС) /Патент РФ 2486690, МКИ5 H04N 5/335. №2011132752/07; заявл. 03.08.2011; опубл. 27.06.2013, содержащее оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения проецируемого изображения сцены и приемников изображения, светоделительную систему, причем выход оптической системы оптически соединен со входом устройства взаимного смещения проецируемого изображения сцены и приемников изображения, электрический вход устройства взаимного смещения проецируемого изображения сцены и приемников изображения соединен с первым выходом устройства управления, оптический выход устройства взаимного смещения проецируемого изображения сцены и приемников изображения соединен с оптическим входом светоделительной системы, первый выход светоделительной системы оптически соединен со входом первого обтюратора, второй выход светоделительной системы оптически соединен со входом измерителя освещенности, третий выход светоделительной системы оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, выход первого обтюратора оптически связан с входом первого блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с входом второго блока фоточувствительных приборов с зарядовой связью, электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью связаны с четвертым выходом устройства управления, выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход вычитающего устройства является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью.
Недостаток данного устройства, большое время, необходимое для реализации пространственно-временной обработки изображений.
Техническим результатом полезной модели является уменьшение времени, затраченного на реализацию пространственно-временной обработки изображения.
Технический результат достигается тем, что в устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, содержащем оптическую систему, являющуюся входом устройства, измеритель освещенности, два обтюратора, устройство управления, вычитающее устройство, два блока фоточувствительных приборов с зарядовой связью, устройство взаимного смещения проецируемого изображения сцены и приемников изображения, светоделительную систему, причем первый выход светоделительной системы оптически соединен со входом первого обтюратора, второй выход светоделительной системы оптически соединен со входом измерителя освещенности, третий выход светоделительной системы оптически соединен со входом второго обтюратора, электрический выход измерителя освещенности соединен со входом устройства управления, выход первого обтюратора оптически связан с первым блоком «секцией накопления» второго блока фоточувствительных приборов с зарядовой связью, выход второго обтюратора оптически связан с первым блоком «секцией накопления» первого блока фоточувствительных приборов с зарядовой связью, электрические входы обтюраторов соединены со вторым и третьим выходом устройства управления, электрические входы первого и второго блока фоточувствительных приборов с зарядовой связью связаны с четвертым выходом устройства управления, выходы первого и второго блока фоточувствительных приборов с зарядовой связью электрически связаны с первым и вторым входом вычитающего устройства, электрический выход вычитающего устройства является выходом устройства пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, дополнительно между оптической системой и светоделительной системой включены: вторая светоделительная система, два устройства взаимного смещения, поэлементный оптический сумматор, при этом выход оптической системы оптически соединен с второй светоделительной системой, оптические выходы которой соединены с входами первого и второго устройства взаимного смещения, электрические входы которых соединены с первым и пятым выходом устройства управления, оптические выходы первого и второго устройств взаимного смещения соединены с оптическими входами поэлементного оптического сумматора, выход которого оптически соединен с входом второй светоделительной системы.
На фиг. 1 приведена структурная схема предлагаемого устройства.
Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, обтюраторов 6 и 12, светоделительной системы (СДС-2) 7, устройства взаимного смещения (УВС-1) 8, устройства взаимного смещения (УВС-2) 9, поэлементного оптического сумматора (ПОС) 10, светоделительной системы (СДС-1) 11, измерителя освещенности (ИОС) 13. Оптическая связь показана штриховой линией.
Устройство измерения для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью, работает следующим образом.
При поступлении на вход устройства изображения сцены над ним выполняется пространственно-временная обработка, реализуемая в виде свертки входного изображения с импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию на две матрицы фоточувствительных приборов с зарядовой связью, путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах секций накопления матриц фоточувствительных приборов с зарядовой связью, в сочетании с взаимным пространственным смещением изображения и матриц фоточувствительных приборов с зарядовой связью.
Необходимость использования двух обтюраторов, двух блоков ФПЗС и вычитающего устройства обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице ФПЗС нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Блок ФПЗС-1 совместно с обтюратором 6 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 совместно с обтюратором 12 - с отрицательными. Соответственно, во время реализации свертки изображения с положительными коэффициентами импульсной характеристики фильтра и в интервалах времени пауз между этапами накопления блок ФПЗС-2 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-2 от светового потока с помощью обтюратора 12, а во время реализации свертки с отрицательными коэффициентами и в интервалах времени пауз между этапами накопления ФПЗС-1 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-1 от светового потока с помощью обтюратора 6.
Изображение сцены, формируемое ОС, разделяется в светоделительной системе СДС-2 на два изображения, которые проходят через УВС-1 и УВС-2, суммируются в поэлементном оптическом сумматоре (ПОС), суммарное изображение поступает на СДС-1 и проецируется на измеритель освещенности и оба обтюратора. С выхода измерителя уровня освещенности на вход УУ поступает электрический сигнал, соответствующий уровню освещенности проецируемого изображения. С выхода первого обтюратора изображение проецируется на секцию накопления ФПЗС-2, а с выхода второго - на секцию накопления ФПЗС-1. В режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики и уровню освещенности, с последующим сдвигом по пространству после каждого цикла, причем накопление в каждом цикле осуществляется секцией накопления ФПЗС-1 или ФПЗС-2 в зависимости от знака отсчета импульсной характеристики, с которым реализуется свертка, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления-хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, временной интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени.
В течение времени реализации свертки для накопления и хранения фотогенерированных зарядов обеспечивается создание потенциальных ям в секциях накопления обеих матриц ФПЗС путем подачи с УУ на одну из трех фазных шин управления секций накопления /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ импульса ФНI на ФПЗС-1 и импульса ФНII на ФПЗС-2 соответственно.
Управление переходом секций накопления блоков ФПЗС из режима дискретного накопления в режим хранения осуществляется с помощью выдачи на обтюраторы с УУ импульсов управления обтюратором. При поступлении импульса управления обтюратор обеспечивает экранирование секции накопления от проецируемого изображения. Управление переходом секций накопления блоков ФПЗС из режима хранения в режим дискретного накопления осуществляется путем снятия УУ с обтюраторов импульсов управления обтюратором. При отсутствии импульса управления обтюратор обеспечивает прохождение проецируемого изображения на секцию накопления ФПЗС. В зависимости от знака отсчета импульсной характеристики, с которым в данный момент выполняется свертка, УУ снимает импульс управления с соответствующего обтюратора на время цикла накопления.
отсч
Хранение во время стадий хранения накопленных в потенциальных ямах секций накопления ФПЗС фотогенерированных зарядов организуют путем экранирования фоточувствительной поверхности секций накопления ФПЗС посредством обтюратора в виде электрооптического модулятора, который может быть реализован на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 1013 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М. Конин. - М.: Высш. шк., 1991. - 191 с./. Для обеспечения постоянства временного интервала Т между соседними этапами дискретного накопления-хранения, которое должно быть равно интервалу дискретизации импульсной характеристики по времени /Гольденберг Л.М. и др. Цифровая обработка сигналов: Справочник / Л.М. Гольденберг, Б.Д. Матюшкин, М.Н. Поляк. - М.: Радио и связь, 1985. - 312 с./, по окончании последнего в данном этапе дискретного накопления-хранения цикла накопления вводится режим хранения необходимой длительности.
Взаимное перемещение матриц ФПЗС, измерителя освещенности и проецируемого изображения производится УВС и реализуется путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов / И.К. Верещагин, Л.А. Косяченко, С.М. Конин. - М.: Высш. шк., 1991. - 191 с./. Для управления перемещением проецируемого изображения на УВС при реализации свертки подаются сигналы управления с УУ, причем изменение этих сигналов происходит скачком по окончании цикла дискретного накопления на величину, обеспечивающую перемещение проецируемого изображения на расстояние, необходимое для осуществления обработки.
По окончании реализации свертки проецируемого изображения с импульсной характеристикой накопленные фотогенерированные заряды выводятся из секций накоплений ФПЗС-1 и ФПЗС-2 в секции памяти путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФНI и ФНII в секции накопления ФПЗС-1 и ФПЗС-2 соответственно, импульсов управления ФПI и ФПII в секции памяти ФПЗС-1 и ФПЗС-2 соответственно.
По окончании переноса накопленных зарядов в секции памяти ФПЗС-1 и ФПЗС-2 осуществляется их вывод в выходные регистры ФПЗС-1 и ФПЗС-2 соответственно путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФПI и ФПII в секции памяти ФПЗС-1 и ФПЗС-2 соответственно с последующим синхронным выводом зарядов из выходных регистров ФПЗС-1 и ФПЗС-2 в вычитающее устройство путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления выходными регистрами ФРI и ФРII.
Синхронизацию работы устройства обработки и его адаптацию к уровню освещенности сцены осуществляет УУ путем задания порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюраторами, сигналов управления УВС.
Устройство управления может быть реализовано в виде микропроцессорной системы на основе микроконтроллера / Микропроцессорные системы: Учебное пособие для вузов / Е.К. Александров, Р.И. Грушвицкий, М.С. Куприянов, О.Е. Мартынов, Д.И. Панфилов, Т.В. Ремизевич, Ю.С. Татаринов, Е.П. Угрюмов, И.И. Шагурин; Под общ. ред. Д.В. Пузанкова. - СПб.: Политехника, 2002 г. - 935 с. 1, характерной особенностью структуры которого является размещение на одном кристалле с центральным процессором внутренней памяти и большого набора периферийных устройств (порты ввода-вывода данных, программируемые интервальные таймеры, АЦП, ЦАП). Устройство управления в соответствии с описанными выше принципами построения узлов устройства для реализации пространственно-временной обработки изображений обеспечивает формирование необходимых управляющих сигналов.
Формирование суммарного изображения с помощью УВС-1, УВС-2 и ПОС позволяет уменьшить время обработки. В /Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Наука и образование. Электронное научно-технические издание. // Московский автомобильно-дорожный государственный технический университет, 2012. - С. 270-281/ описано применение операции свертки для обработки изображений. Выражение для свертки следующее:
где Gi,j - элемент матрицы изображения после фильтрации; Ws,t - элемент массива ядра свертки изображения, имеющий размеры m×n; Ei,j - элемент матрицы исходного изображения.
В /Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Наука и образование. Электронное научно-технические издание. // Московский автомобильно-дорожный государственный технический университет, 2012. - С. 270-281/, /Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. - 1072 с./ показано, что вид обработки меняется в зависимости от вида маски (импульсной характеристики). Приведены виды масок Лапласиана /Стругайло В.В. Обзор методов фильтрации и сегментации цифровых изображений // Наука и образование. Электронное научно-технические издание. // Московский автомобильно-дорожный государственный технический университет, 2012. - С. 270-281/, /Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. с. 202/ и фильтра для улучшения изображений /Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. Москва: Техносфера, 2005. с. 208/. Анализ этих масок показывает, что симметричные коэффициенты равны.
Для пояснения распишем выражение 1 для n=m=3.
Возьмем маску фильтра, используемую для реализации дискретного Лапласиана, в которой W-1,-1=0, W0,-1=1, W1,-1=0, W-1,0=1, W0,0=-4, W1,0=1, W-1,1=0, W0,1=1, W1,1=0. Отсюда видно, что W-1,-1=W1,1, W0,-1=W0,1, W1,-1=W-1,1, W-1,0=W1,0. Тогда выражение для Gi,j примет вид:
Из выражения 3 видно, что перед обработкой необходимо произвести суммирование двух изображений, сдвинутых с помощью УВС на одинаковое расстояние, но в разные стороны. При этом следует учитывать, что индекс i,j указывает номер пикселя изображения, индекс i+1,j указывает номер пикселя изображения смещенного по пространству относительно пикселя с номером i,j на Δх, а индекс i,j+1 указывает номер пикселя изображения смещенного по пространству относительно пикселя с номером i,j на Δy.
Для реализации первого слагаемого сдвиг в УВС-1 и УВС-2 по х=0, по у=0, время накопления пропорционально W0,0/2. Деление на 2 обусловлено тем, что в этом случае происходит суммирование двух несмещенных изображений, следовательно яркость каждого пикселя увеличивается в 2 раза. Для реализации второго слагаемого сдвиг в УВС-1 по х=Δх, по у=Δу и УВС-2 по х=-Δх, по у=-Δу, время накопления пропорционально W1,1. Для реализации третьего слагаемого сдвиг в УВС-1 по х=Δх, по у=0 и УВС-2 по х=-Δх, по у=0, время накопления пропорционально W1,0. Для реализации четвертого слагаемого сдвиг в УВС-1 по х=Δх, по у=-Δу и УВС-2 по х=-Δх, по у=Δу, время накопления пропорционально W1,-1. Для реализации пятого слагаемого сдвиг в УВС-1 по х=0, по у=-Δу и УВС-2 по х=0, по у=Δу, время накопления пропорционально W0,1.
Применение предложенного устройства реализации пространственно-временной обработки изображений на основе матриц ФПЗС позволит сократить время реализации пространственно- временной обработки изображений, а так же реализовать широкий круг задач обработки изображений одновременно с их формированием в реальном масштабе времени при минимальных массогабаритных и энергетических показателях.