УСТРОЙСТВО ДЛЯ РЕАЛИЗАЦИИ ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ОБРАБОТКИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ МАТРИЦ ФОТОЧУВСТВИТЕЛЬНЫХ ПРИБОРОВ С ЗАРЯДОВОЙ СВЯЗЬЮ
DEVICE FOR SPACE-TIME PROCESSING IMAGES BASED ON MATRICES OF PHOTOSENSITIVE CHARGE-COUPLED DEVICES

Изобретение относится к телевидению и может быть использовано при создании прикладных систем, в частности для пространственно-временной обработки изображений.
5
Известно устройство для реализации пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью (ФПЗС) /Патент 1007970 РФ, МКИ H04N 5/14. - №2001113366/09; заявл. 14.05.2001; опубл. 10.11.2003, бюл. №31/, взятое за прототип, содержащее оптическую систему (ОС), устройство управления (УУ), вычитающее устройство (ВУ), блоки ФПЗС-1 и ФПЗС-2, обтюратор, устройство взаимного смещения ОС и блока ФПЗС.
Недостатком данного устройства является то, что при определении времени дискретного накопления зарядов учитывается только величина отсчетов импульсной характеристики, и не учитывается освещенность сцены, что исключает возможность адаптации устройства пространственно-временной обработки к изменению условий наблюдения и может привести к переполнению потенциальных ям матрицы ФПЗС в процессе дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения, и внесению искажений при осуществлении пространственно-временной обработки.
Техническим результатом изобретения является выполнение пространственно - временной обработки изображения одновременно с его формированием, обеспечивающей выделение неподвижных и движущихся объектов на нестационарном фоне, при обеспечении адаптации к уровню освещенности и исключении искажений результатов обработки, связанных с переполнением потенциальных ям матрицы фоточувствительного прибора с зарядовой связью.
Сущность изобретения состоит в том, что в устройство дополнительно введены светоделительная система, второй обтюратор, второе устройство взаимного смещения и измеритель уровня освещенности, обеспечивающий преобразование среднего уровня освещенности проецируемого изображения в электрический сигнал для адаптации устройства к изменению условий наблюдения. В качестве измерителя уровня освещенности может применяться фотоэлектрический преобразователь полупроводникового типа, обеспечивающий преобразование проецируемого светового потока в электрический сигнал, уровень которого пропорционален средней освещенности. В соответствии с уровнем сигнала на выходе измерителя уровня освещенности выполняется адаптация устройства обработки к условиям наблюдения.
На фиг.1 показана структурная схема устройства для реализации пространственно-временной обработки изображений. Устройство состоит из оптической системы (ОС) 1, устройства управления (УУ) 2, вычитающего устройства (ВУ) 3, блоков ФПЗС-1 4 и ФПЗС-2 5, обтюраторов 6 и 9, светоделительной системы 8, устройства взаимного смещения ОС и блока ФПЗС-1 (УВС-1) 7, устройства взаимного смещения ОС и блока ФПЗС-2 (УВС-2) 10, измерителя уровня освещенности 11. Оптическая связь показана штриховой линией. Оптический вход светоделительной системы связан с оптическим выходом ОС. Выход светоделительной системы оптически связан с оптическими входами измерителя уровня освещенности и обтюраторов 6, 9. Электрические входы обтюраторов 6, 9 связаны с выходами УУ. Электрический выход измерителя уровня освещенности связан со входом УУ. Выход обтюратора 6 оптически связан с оптическим входом УВС-1, а оптический выход обтюратора 9 - с оптическим входом УВС-2, электрические входы которых связаны с выходами УУ. Выход УВС-1 оптически связан с входом секции накопления ФПЗС-1, а оптический выход УВС-2 - с оптическим входом секции накопления ФПЗС-2. Входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 связаны с выходом УУ. Выходы выходных регистров ФПЗС-1 и ФПЗС-2 связаны со входами ВУ, формирующего выходной сигнал.
Устройство выполняет пространственно-временную обработку изображения, реализуемую в виде свертки с определяющей реализуемую пространственно-временную фильтрацию требуемой импульсной характеристикой проецируемого на две матрицы фоточувствительных приборов с зарядовой связью изображения, путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах секций накопления матриц фоточувствительных приборов с зарядовой связью, в сочетании с взаимным пространственным смещением изображения и матриц фоточувствительных приборов с зарядовой связью. Необходимость использования светоделительной системы, двух обтюраторов, двух устройств взаимного смещения ОС и блока ФПЗС, двух блоков ФПЗС обусловлена тем, что значения отсчетов импульсной характеристики фильтра могут быть как положительными, так и отрицательными, а на одной матрице ФПЗС нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности световых характеристик и физических ограничений ФПЗС (возможно накопление зарядов только одного знака). Блок ФПЗС-1 совместно с обтюратором 6 и УВС-1 реализует свертку изображения с положительными коэффициентами импульсной характеристики фильтра, ФПЗС-2 совместно с обтюратором 9 и УВС-2 - с отрицательными. Соответственно во время реализации свертки изображения с положительными коэффициентами импульсной характеристики фильтра и в интервалах времени пауз между этапами накопления блок ФПЗС-2 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-2 от светового потока с помощью обтюратора 9, а во время реализации свертки с отрицательными коэффициентами и в интервалах времени пауз между этапами накопления ФПЗС-1 хранит накопленные зарядовые пакеты при экранировании секции накопления ФПЗС-1 от светового потока с помощью обтюратора 6. Реализация свертки осуществляется следующим образом: в режиме дискретного накопления выполняется несколько циклов накопления в течение времени, соответствующего величине отсчетов импульсной характеристики и уровню освещенности, с последующим сдвигом по пространству после каждого цикла, причем накопление в каждом цикле осуществляется секцией накопления ФПЗС-1 или ФПЗС-2 в зависимости от знака отсчета импульсной характеристики, с которым реализуется свертка, затем организуется режим хранения накопленного заряда до начала следующего этапа дискретного накопления. Количество циклов накопления - пространственного сдвига в режиме дискретного накопления соответствует размерности апертуры импульсной характеристики по пространству, а количество этапов дискретного накопления - хранения - размерности апертуры во времени. Сдвиг по пространству между соседними точками накопления соответствует интервалу дискретизации импульсной характеристики по пространству, временной интервал между соседними этапами дискретного накопления - интервалу дискретизации по времени.
I
II
В течение времени реализации свертки для накопления и хранения фотогенерированных зарядов обеспечивается создание потенциальных ям в секциях накопления обеих матриц ФПЗС путем подачи с УУ на одну из трех фазных шин управления секций накопления /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./: импульса ФН на ФПЗС-1 и импульса ФН на ФПЗС-2 соответственно.
н i,s
Управление переходом секций накопления блоков ФПЗС из режима дискретного накопления в режим хранения осуществляется с помощью выдачи на обтюраторы с УУ импульсов управления обтюратором. При поступлении импульса управления обтюратор обеспечивает экранирование секции накопления от проецируемого изображения. Управление переходом секций накопления блоков ФПЗС из режима хранения в режим дискретного накопления осуществляется путем снятия УУ с обтюраторов импульсов управления обтюратором. При отсутствии импульса управления обтюратор обеспечивает прохождение проецируемого изображения на секцию накопления ФПЗС. В зависимости от знака отсчета импульсной характеристики, с которым в данный момент выполняется свертка, УУ снимает импульс управления с соответствующего обтюратора на время цикла накопления Т, которое выбирается исходя из следующих соображений. Известно, что /Приборы с зарядовой связью /Под ред. М.Хоувза и Д.Моргана: Пер. с англ. - М.: Энергоиздат, 1981. - 376 с./ максимальный заряд, который может храниться в ПЗС без переполнения потенциальной ямы, определяется как:
max
пов
0x
d
Q=|ΔU|·(C+C),
пов
0x
d
d
0x
н max
15
-3
где ΔU - изменение поверхностного потенциала под управляющим электродом ПЗС, С - емкость окисла ПЗС; C - емкость обедненной области ПЗС, в реальных ПЗС с уровнем легирования подложки 10 см и толщиной окисла 0,1 мкм С примерно в 10 раз меньше С и может не учитываться. Максимальная величина заряда, накопленного в потенциальной яме ПЗС, в процессе непрерывного накопления фотогенерированных зарядов за время накопления Т определяется как:
пр
ф
oc
n
н max
Ф - уровень освещенности проецируемого на ФПЗС изображения; q - заряд электрона; T - коэффициент пропускания светового потока через многослойное покрытие (затвор, подзатворный диэлектрик); η - квантовый выход внутреннего фотоэффекта; α - коэффициент поглощения в материале подложки; х - ширина обедненной области (в случае заполнения только части потенциальной ямы, далеком от насыщения, величина постоянная); L - диффузионная длина электрона; Т - максимальная длительность непрерывного накопления, при котором не происходит переполнения потенциальных ям ФПЗС.
н i,s
При выполнении свертки проецируемого на ФПЗС изображения с импульсной характеристикой, определяющей пространственно-временную фильтрацию, длительность i-й стадии дискретного накопления зарядов на s-м этапе T обработки в каждой точке пространства должна определяться как:
н i,s
i,s
н max
T=α·η·T,
где η - коэффициент, введение которого позволяет не учитывать изменение ширины обедненной области при уровне заполнения ям, близком к максимальному, η=0,5…0,7.
Следовательно, для исключения возможности переполнения потенциальных ям матрицы ФПЗС в процессе дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения при осуществлении пространственно-временной обработки, длительность циклов дискретного накопления зарядов необходимо выбирать как:
В данном выражении только освещенность может изменяться при изменении условий наблюдения, что необходимо учитывать при определении длительности циклов дискретного накопления зарядов. Для этого проецируемое изображение со светоделительной системы поступает на измеритель уровня освещенности, выполняющий преобразование среднего уровня освещенности проецируемого изображения в электрический сигнал, выдаваемый в УУ для определения длительностей циклов дискретного накопления зарядов в соответствии с уровнем сигнала на выходе измерителя уровня освещенности. В результате учета уровня освещенности сцены при реализации пространственно-временной обработки исключается возможность переполнения потенциальных ям матрицы ФПЗС и внесения искажений при выполнении обработки.
13
отсч
xp i
Хранение во время стадий хранения накопленных в потенциальных ямах секций накопления ФПЗС фотогенерированных зарядов организуют путем экранирования фоточувствительной поверхности секций накопления ФПЗС посредством обтюратора в виде электрооптического модулятора, который может быть реализован на основе электрооптических эффектов Керра, Поккельса, позволяющих переключать световой поток с частотой до 10 Гц /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов /И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высш. шк., 1991. - 191 с./. Для обеспечения постоянства временного интервала Т между соседними этапами дискретного накопления-хранения, которое должно быть равно интервалу дискретизации импульсной характеристики по времени /Гольденберг Л.М. и др. Цифровая обработка сигналов: Справочник /Л.М.Гольденберг, Б.Д.Матюшкин, М.Н.Поляк. - М.: Радио и связь, 1985. - 312 с./, по окончании последнего в данном этапе дискретного накопления-хранения цикла накопления реализуется режим хранения на время паузы длительностью Т до начала следующего этапа дискретного накопления-хранения (см. фиг.2):
н i+1,s
н i,s
где T - время накопления в следующем (i+1) этапе дискретного накопления-хранения в s-м цикле дискретного накопления-пространственного сдвига; T - время накопления в текущем i-м этапе дискретного накопления-хранения в s-м цикле дискретного накопления-пространственного сдвига; S - размерность импульсной характеристики по пространству (число циклов дискретного накопления-пространственного сдвига в одном этапе дискретного накопления-хранения).
Взаимное перемещение матрицы ФПЗС и оптического изображения реализует путем применения электрооптического эффекта Керра: непрерывное отклонение луча, имеющее высокую точность перемещения, можно получить, используя призму из электрооптического материала с нанесенными на ее торцовых гранях металлическими электродами, к которым прикладывается управляющее напряжение /Верещагин И.К. и др. Введение в оптоэлектронику: Учебн. пособие для втузов /И.К.Верещагин, Л.А.Косяченко, С.М.Конин. - М.: Высш. шк., 1991. - 191 с./. Для управления перемещением оптического изображения относительно матриц ФПЗС на УВС-1 и УВС-2 при реализации свертки синхронно подаются одинаковые сигналы управления с УУ, причем изменение этих сигналов происходит по окончании цикла дискретного накопления, реализуемого в зависимости от знака отсчета импульсной характеристики, с которым выполнялась свертка секцией накопления одной из ФПЗС, синхронно скачком на величину, обеспечивающую перемещение проецируемого изображения относительно секций накопления ФПЗС-1 и ФПЗС-2 на расстояние, равное интервалу дискретизации импульсной характеристики по пространству, а по окончании этапа дискретного накопления-хранения во время хранения накопленных зарядов на время паузы между соседними этапами дискретного накопления-хранения уровни сигналов управления УВС-1 и УВС-2 уменьшаются до первоначальной величины, соответствующей исходному пространственному положению оптического изображения относительно секций накопления ФПЗС-1 и ФПЗС-2.
I
II
I
II
По окончании реализации свертки проецируемого изображения с импульсной характеристикой накопленные фотогенерированные заряды выводятся из секций накоплений ФПЗС-1 и ФПЗС-2 в секции памяти путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФН и ФН в секции накопления ФПЗС-1 и ФПЗС-2 соответственно, импульсов управления ФП и ФП в секции памяти ФПЗС-1 и ФПЗС-2 соответственно.
I
II
I
II
По окончании переноса накопленных зарядов в секции памяти ФПЗС-1 и ФПЗС-2 осуществляется их вывод в выходные регистры ФПЗС-1 и ФПЗС-2 соответственно путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления ФП и ФП в секции памяти ФПЗС-1 и ФПЗС-2 соответственно с последующим синхронным выводом зарядов из выходных регистров ФПЗС-1 и ФПЗС-2 в вычитающее устройство путем синхронной выдачи с УУ необходимой для организации такого переноса /Носов Ю.Р., Шилин В.А. Основы физики приборов с зарядовой связью. - М.: Наука, 1986. - 320 с./ последовательности фазных импульсов управления выходными регистрами ФР и ФР.
Устройство управления может быть реализовано в виде микропроцессорной системы на основе микроконтроллера /Микропроцессорные системы: Учебное пособие для вузов / Е.К.Александров, Р.И.Грушвицкий, М.С.Куприянов, О.Е.Мартынов, Д.И.Панфилов, Т.В.Ремизевич, Ю.С.Татаринов, Е.П.Угрюмов, И.И.Шагурин; Под общ. ред. Д.В.Пузанкова. - СПб.: Политехника, 2002 г. - 935 с.1, характерной особенностью структуры которого является размещение на одном кристалле с центральным процессором внутренней памяти и большого набора периферийных устройств (порты ввода-вывода данных, программируемые интервальные таймеры, АЦП, ЦАП). Специализированные микропроцессорные системы на основе микроконтроллеров применяются для реализации устройств управления, встраиваемых в разнообразную аппаратуру (системы управления сложными объектами промышленной автоматики: двигатели, робототехнические устройства, средства комплексной автоматизации производства, контрольно-измерительная аппаратура) /Микропроцессорные системы: Учебное пособие для вузов / Е.К.Александров, Р.И.Грушвицкий, М.С.Куприянов, О.Е.Мартынов, Д.И.Панфилов, Т.В.Ремизевич, Ю.С.Татаринов, Е.П.Угрюмов, И.И.Шагурин; Под общ. ред. Д.В.Пузанкова. - СПб.: Политехника, 2002 г. - 935 с./. На фиг.3 показана структурная схема устройства управления на основе микроконтроллера. Устройство управления состоит из микропроцессора (МП), генератора тактовых импульсов (ГТИ), шины адреса, шины данных, шины управления, оперативного запоминающего устройства (ОЗУ), постоянного запоминающего устройства (ПЗУ), контроллера памяти, портов ввода-вывода данных, контроллера ввода-вывода, таймерного процессора (ТП), АЦП, ЦАП. МП организует в соответствии с заложенным программным обеспечением работу всех узлов УУ в целях выполнения алгоритма свертки проецируемого изображений с импульсной характеристикой, выполняет арифметические и логические действия, согласует во времени все выполняемые операции. ГТИ синхронизирует работу МП и ТП. Таймерный процессор может реализовываться на основе специализированных аппаратных средств (программируемых интервальных таймеров, процессоров событий) /Микропроцессорные системы: Учебное пособие для вузов / Е.К.Александров, Р.И.Грушвицкий, М.С.Куприянов, О.Е.Мартынов, Д.И.Панфилов, Т.В.Ремизевич, Ю.С.Татаринов, Е.П.Угрюмов, И.И.Шагурин; Под общ. ред. Д.В.Пузанкова. - СПб.: Политехника, 2002 г. - 935 с./ и обеспечивает формирование программно-управляемых временных задержек и реализацию времязадающих функций: генерирование сигналов изменяемой частоты повторения, формирование импульсов необходимой длительности, задержанных во времени на программируемое значение. Управление режимом работы и инициализация работы ТП осуществляется программными средствами в соответствии с параметрами используемой при реализации свертки импульсной характеристики (размером апертуры, интервалами дискретизации по времени и пространству, величиной и знаком отсчетов). ТП формирует необходимые для реализации обработки изображения последовательности импульсов управления обтюраторами, фазных импульсов управления ФПЗС-1 и ФПЗС-2 (ФН, ФП, ФР), причем их структура и параметры определяются уровнем освещенности, знаком и величиной отсчетов импульсной характеристики, параметрами ее апертуры. Задание режимов работы ТП осуществляется во время действия разрешающего сигнала записи (ЗП) согласно поступающих от МП с шины данных управляющих слов. В ПЗУ производится хранение программ и констант, в ОЗУ - переменных, используемых в ходе выполнения программы. Преобразование сигналов из цифровой формы представления в аналоговую выполняет ЦАП, обратное преобразование - АЦП. Первый порт ввода-вывода выполняет функции подключения к шине данных по сигналу чтения (ЧТ) и сохранения уровней бинарных сигналов в период их выдачи в МП при поступлении с АЦП сигнала измерителя уровня освещенности, необходимого для определения уровня освещенности для адаптации устройства обработки к изменению условий наблюдения. Второй порт ввода-вывода выполняет функции подключения к шине данных по сигналу записи (ЗП) и сохранения уровней бинарных сигналов в период их выдачи из МП на ЦАП, формирующий сигналы управления УВС-1 и УВС-2. Структура сигналов управления УВС-1 и УВС-2 определяется программными средствами в зависимости от параметров используемой при реализации свертки импульсной характеристики (размера апертуры, интервалов дискретизации по времени и пространству) в соответствии с реализуемым алгоритмом обработки. По адресной шине на все контроллеры периферийных устройств поступает адрес запрашиваемого для выдачи или приема данных устройства. Этот адрес опознается соответствующим контроллером, который активизирует контролируемое устройство сигналом выбора В. При наличии такого сигнала к МП в процессе работы может подключаться только одно периферийное устройство, что исключает возможность искажения передаваемой информации за счет одновременного воздействия различных внешних устройств на общую шину данных. Направление обмена данными определяется сигналами шины управления ЗП и ЧТ. Таким образом, контроллер ввода-вывода обеспечивает прием сигнала с измерителя уровня освещенности и выдачу сигналов управления УВС-1 и УВС-2, контроллер памяти - обмен данными с ПЗУ и ОЗУ. Устройство управления в соответствии с описанными выше принципами построения узлов устройства для реализации пространственно-временной обработки изображений обеспечивает формирование необходимых управляющих сигналов. На фиг.4 показаны временные диаграммы управляющих сигналов для осуществления общей синхронизации работы узлов устройства обработки при реализации свертки проецируемого изображения с импульсной характеристикой, имеющей размерность апертуры по пространству, равную 3, что соответствует 3 циклам накопления - пространственного сдвига, и размерность апертуры во времени, равную 3, что соответствует 3 этапам дискретного накопления - хранения.
Устройство работает следующим образом.
Со светоделительной системы проецируется изображение сцены, формируемое ОС, на измеритель уровня освещенности и обтюраторы 6, 9. С выхода измерителя уровня освещенности на вход УУ поступает электрический сигнал, соответствующий уровню освещенности проецируемого изображения. На электрические входы обтюраторов 6, 9 поступают сигналы управления с выхода УУ. С обтюратора 6 изображение проецируется на УВС-1, а с обтюратора 9 - на УВС-2, на электрические входы которых поступают сигналы управления с выхода УУ. С выхода УВС-1 изображение проецируется на секцию накопления ФПЗС-1, а с выхода УВС-2 - на секцию накопления ФПЗС-2. На входы секций накопления, памяти и выходные регистры ФПЗС-1 и ФПЗС-2 поступают фазные импульсы управления ФН, ФП, ФР с выхода УУ. С выходных регистров ФПЗС-1 и ФПЗС-2 сигналы изображения поступают на входы ВУ, формирующего выходной сигнал.
ФПЗС выполняет дискретное накопление зарядов, фотогенерированных под воздействием проецируемого ОС изображения сцены, и хранение накопленных зарядовых пакетов во время пауз между накоплениями. Измеритель уровня освещенности обеспечивает преобразование уровня освещенности проецируемого изображения в электрический сигнал, поступающий на вход УУ для выполнения адаптации устройства обработки к уровню освещенности сцены. Вычитающее устройство осуществляет объединение сигналов с выходов обеих матриц ФПЗС и формирует выходной сигнал устройства обработки. УВС в соответствии с управляющими сигналами УУ осуществляют взаимное пространственное смещение оптического потока и ФПЗС. Синхронизацию работы устройства обработки и его адаптацию к уровню освещенности сцены осуществляет УУ путем изменения порядка поступления и длительности фазных импульсов управления секции накопления, секции памяти, выходного регистра блоков ФПЗС, сигналов управления обтюраторами, сигналов управления УВС-1 и УВС-2.
Применение предложенного устройства реализации пространственно-временной обработки изображений на основе матриц ФПЗС позволит реализовать широкий круг задач обработки изображений одновременно с их формированием в реальном масштабе времени при минимальных массогабаритных и энергетических показателях, а учет уровня освещенности наблюдаемой сцены обеспечивает адаптацию к изменению условий наблюдения, что исключает возможность переполнения потенциальных ям матрицы ФПЗС и внесение искажений при выполнении обработки.