Способ компенсации геометрического шума матричного фотоприемника
METHOD OF COMPENSATING FOR GEOMETRICAL NOISE OF A MATRIX PHOTODETECTOR

Изобретение относится к области прикладного телевидения, использующего регистрацию отраженного или излученного потока излучения в инфракрасном (ИК) диапазоне спектра.
Геометрический шум (ГШ) или в английской аббревиатуре FPN-шум (fixed pattern noise) является для конкретного фотоприемника детерминированной помехой, имеющей две составляющих: аддитивную и мультипликативную. Аддитивная составляющая обусловлена неравномерностью термогенерации носителей заряда в элементах матричного фотоприемника. Мультипликативная составляющая обусловлена неоднородностью чувствительности элементов матричного фотоприемника.
Математическая модель, описывающая сигнал с ГШ, представляет собой линейное уравнение с постоянными коэффициентами. В матричной форме записи эта модель имеет следующий вид: Y=KX+B, где Y - матрица выходных значений сигнала яркости матричного фотоприемника с ГШ, В - матрица аддитивной составляющей ГШ, характеризующая для каждого элемента неравномерность термогенерации, X - матрица значений сигнала яркости от элементов матричного фотоприемника без ГШ, а K - матрица коэффициентов, характеризующих неравномерность чувствительности для каждого из этих элемента. При этом KX - мультипликативная составляющая ГШ.
С ГШ обычно борются компенсационным методом, заключающимся в вычитании предварительно запомненных значений аддитивной составляющей В и умножением (или делением) на предварительно рассчитанные коэффициенты K компенсации мультипликативной составляющей.
Указанная выше математическая модель используется в известном способе компенсации ГШ, описанном, в частности, на с. 16-23 литературы Л.И. Хромов, Н.В. Лебедев, А.К. Цыцулин, А.Н. Куликов «Твердотельное телевидение. Телевизионные системы с переменными параметрами на ПЗС и микропроцессорах». М., «Радио и связь», 1986 г.
1
2
2
2
2
2
1
Данный способ предусматривает предварительную калибровку матричного фотоприемника видимого диапазона спектра, во время которой производят поочередное перекрытие потока излучения и равномерное облучение фотоприемника. Получаемые при этом значения в матрице сигнала яркости изображений Y для перекрытого потока излучения и Y для равномерно облученного фотоприемника запоминают. Затем рассчитывают для каждого элемента изображения коэффициенты K, характеризующие относительную чувствительность элементов фотоприемника по формуле K=Y/m, где m средняя яркость изображения Y. При информативном облучении фотоприемника производят компенсацию ГШ в получаемых при этом цифровых значениях Y, формируя выходные значения яркости X по формуле X=(Y-B)/K, причем, B=Y.
Недостатком данного способа является его низкая точность при работе в увеличенном динамическом диапазоне изменения сигнала.
Известен способ компенсации геометрического шума матричного фотоприемника, описанный на с. 3, 4 статьи авторов Брондз Д.С., Харитонова Е.Н., «Коррекция геометрического шума МФПУ с помощью аппроксимации методом наименьших квадратов передаточных характеристик матрицы полиномом Т-порядка» // Журнал радиоэлектроники, 2008, №11. С. 1-29.
1
1
2
2
1
2
1
2
1
2
2
1
2
1
Данный способ также основан на использовании рассмотренной выше математической модели ГШ. Однако, в отличие от рассмотренного первого способа, данный способ предусматривает нахождение коэффициентов K из системы уравнений: Y=KX+B и Y=KX+B. При этом Х и Х - исходные значения сигнала яркости от элементов матричного фотоприемника без ГШ при равномерном низком и высоком уровне облученности элементов фотоприемной матрицы, соответствующие средним значениям яркости m и m изображений Y и Y. Из рассмотренной выше системы уравнений следует значения K=(Y-Y)/(m-m) для каждого элемента фотоприемника.
1
2
1
2
1
2
2
1
2
1
1
1
1
1
Таким образом, сущность данного способа заключается в предварительной калибровке матричного фотоприемника, выполняемой путем поочередного равномерного его облучения от источников с низким и высоким уровнем излучения. Получаемые при этом цифровые значения сигнала яркости кадров изображений Y для низкого и Y для высокого уровня облученности фотоприемника запоминают и рассчитывают средние значения яркости m и m для изображений Y и Y, соответственно. Далее для каждого элемента матричного фотоприемника рассчитывают значения коэффициентов K по формуле K=(Y-Y)/(m-m). При информативном облучении фотоприемника производят компенсацию ГШ по формуле X=(Y-Y)/K+m. Добавление значения m при этом обеспечивает восстановление средней яркости изображения, теряемой при вычитании значений Y. Данный способ в литературе известен, как двухточечная коррекция.
min
max
min
Недостатком данного способа является низкая точность компенсации ГШ фотоприемника при времени экспозиции (накопления), отличном от времени экспозиции, использованном в процессе калибровки. Низкая точность обусловлена тем, что, например, при увеличении времени t экспозиции фотоприемника в процессе его информативного облучения в пределах рабочего диапазона экспозиций t≤t≤t относительно минимального времени экспозиции t, использованного в процессе калибровки, возникает ошибка компенсации ГШ. Ошибка компенсации ГШ в свою очередь объясняется тем, что аддитивная составляющая ГШ прямо пропорциональна времени накопления. На изображении ошибка компенсации проявляется в виде помехи - зернистой структуры. При этом, чем больше задаваемое время накопления t, тем больше ошибка компенсации и заметнее помеха.
Наиболее близким по технической сущности к заявляемому способу является способ компенсации геометрического шума матричного фотоприемника (см. патент РФ №2679547, G06T 5/00, от 11.02.2019) - прототип.
min
1
2
1
2
1
2
2
1
2
1
min
max
max
max
Данный способ заключается в следующем. Производят предварительную калибровку фотоприемника путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким уровнем и высоким уровнем излучения при времени экспозиции фотоприемника t. Полученные при этом значения сигнала яркости изображения Y для низкого и изображения Y для высокого уровня облучения запоминают в цифровой форме. Далее вычисляют средние значение m и m сигнала яркости изображений Y и Y, соответственно, а также коэффициенты K для каждого элемента матричного фотоприемника по формуле K=(Y-Y)/(m-m) для времени экспозиции фотоприемника t. На этапе калибровки дополнительно задают максимальное время экспозиции t при низком уровне равномерной облученности фотоприемника. Получаемые при этом значения сигнала яркости изображения Y запоминают в цифровой форме и вычисляют их среднее значение m.
2
1
max
1
2
1
1
2
2
max
max
1
2
2
min
max
Затем на этапе калибровки осуществляют преобразования полученных изображений Y, Y и Y по формулам X=(Y-Y)K+m и X=(Y-Y)K+m, соответствующим способу двухточечной коррекции, и запоминают полученные значения сигнала яркости кадров изображений Х и Х. Полученные кадры изображения содержат остаточный ГШ, получаемый после указанных выше преобразований сигнала яркости изображения Y при времени экспозиции t и t, соответственно.
a
min
max
min
min
max
0
0
Непосредственно перед информативной засветкой вычисляют коэффициент =(t-t)/(t-t) для заданного в пределах t≤t≤t времени t экспозиции фотоприемника и формируют корректирующий кадр изображения Y по формуле , а также определяют его среднюю яркость m.
1
l
1
min
0
0
0
0
min
0
min
Непосредственно при информативном облучении фотоприемника, получая изображение Y с установленным временем экспозиции t, производят двухточечную коррекцию по формуле X=(Y-Y)K+m с использованием отсчетов яркости Y и коэффициентов K, вычисленных на этапе калибровки для времени экспозиции t. Далее окончательно выходное изображение Х формируют в соответствии с выражениями X=X-Y+m, если t≠t и Х=Х, если t=t.
0
0
min
Таким образом, сущность способа-прототипа заключается в том, что вычисляются значения сигнала яркости интерполированного корректирующего кадра изображения Y для времени экспозиции t. При информативной засветке значения Y вычитаются из значений яркости соответствующих элементов выходного кадра X, формируемого по коэффициентам K, рассчитанным на этапе калибровки при времени экспозиции t.
1
2
1
Недостатком данного способа является то, что при реализации способа вычисления в процессе компенсации ГШ требуют увеличенного объема памяти для хранения эталонных изображений и коэффициентов компенсации. В частности, требуется память для хранения эталонных изображений Х, Х, Y и матрицы коэффициентов компенсации K.
Задачей изобретения является уменьшение при реализации способа объема памяти, требуемой для хранения эталонных изображений и коэффициентов компенсации, получаемых в процессе калибровки.
Технический результат - уменьшение при реализации способа аппаратных затрат на требуемый объем памяти для хранения эталонных изображений и коэффициентов компенсации, получаемых в процессе калибровки.
min
1
2
1
2
1
2
max
max
min
max
min
min
max
0
0
2
1
2
1
1
1
0
0
2
max
1
1
1
0
1
0
0
0
a
Поставленная задача достигается тем, что в способе компенсации геометрического шума матричного фотоприемника, включающем его предварительную калибровку при минимальном времени экспозиции фотоприемника t путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y и Y, для низкого и для высокого уровня облучения, соответственно, вычисление средних значений m и m яркости элементов в изображениях Y и Y, задание на этапе калибровки максимального времени экспозиции t при низком уровне равномерной облученности фотоприемника и запоминание в цифровой форме получаемых при этом значений яркости элементов изображения Y, вычисление непосредственно перед информативной засветкой коэффициента =(t-t)/(t-t) для устанавливаемого времени t экспозиции фотоприемника в пределах t≤t≤t, вычисление значений яркости элементов эталонного изображения Y по формуле  и его средней яркости m, расчет значений коэффициентов компенсации K по формуле K=(Y-Y)/(m-m), получение в процессе информативного облучения, значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X по формуле X=(Y-Y)/K+m, значения яркости элементов эталонного изображения Y, и значения коэффициентов K вычисляют при информативном облучении, причем, при вычислении Y принимают X=Y, X=Y, а при вычислении коэффициентов компенсации K и выходных цифровых значений яркости X принимают Y=Y, а m=m, где m - средняя яркость Y, вычисляемая непосредственно перед информативной засветкой по формуле ,
Иными словами, при информативной засветке вычисления производят по общей формуле:  что позволяет уменьшить объем памяти, требуемой для хранения эталонных изображений и значений коэффициентов компенсации.
1
2
max
2
1
1
0
Действительно, в заявляемом способе для выполнения калибровки фотоприемника требуется объем памяти для хранения только трех изображений: Y, Y и Y, в то время, как по способу-прототипу выполнение калибровки требует объема памяти для хранения трех изображений: Х, X, Y и дополнительный объем памяти для хранения значений коэффициентов компенсации K, а также значений яркости элементов кадра интерполированного корректирующего изображения Y.
Технические решения, содержащие совокупность признаков, идентичную признакам изобретения, не выявлены, что определяет соответствие изобретения критерию «новизна».
Заявителем не выявлены какие-либо источники информации, содержащие сведения о влиянии отличительных признаков на достигаемый результат, что свидетельствует о соответствии изобретения критерию «изобретательский уровень».
На фиг. 1 приведен пример структурной схемы устройства для реализации заявляемого способа, где:
1 - объектив;
2 - инфракрасная камера (ИК-камера);
3 - устройство видеозаписи;
4 - компьютер.
Изображения для низкого и высокого уровня облучения фотоприемников в процессе калибровки фотоприемника могут быть получены, например, путем последовательной съемки матричной ИК-камерой изображений излучателя по модели абсолютно черного тела (АЧТ) при его низкой и высокой температуре. Фиксация изображений в компьютере может осуществляться через стандартное устройство видеозаписи, например, типа Aver EZ Capture фирмы Aver Media, подключаемое к PCI- шине компьютера. Результирующее изображение может быть получено, например, путем программирования в среде стандартного пакета MATLAB или путем создания специализированной программы, например, в среде С++.
Устройство содержит объектив 1, оптически связанный с матричной ИК-камерой 2, последовательно подключенной к устройству 3 видеозаписи и компьютеру 4.
Способ осуществляется следующим образом.
min
max
min,
max
min
1
min
max
max
2
min
Поток излучения, проходит через объектив 1 на фотоприемник ИК-камеры 2. Время экспозиции t в пределах t≤t≤t задается в ИК-камере. Значения t, t t и вводятся в компьютер в ручном режиме. Калибровка камеры осуществляется при t=t. Получаемые в процессе калибровки изображения Y для t„ Y для t при низкой и Y для t при высокой температуре АЧТ последовательно преобразуются ИК-камерой 2 в электрический сигнал, который в свою очередь преобразуется в цифровую форму стандартным устройством 3 видеозаписи и последовательно вводится в компьютер 4.
1
2
max
min
max
1
2
1
2
min
max
min
а
a
Введенные в компьютер исходные цифровые значения яркости элементов изображений Y, Y, Y, а также значения t, t и t обрабатываются программным путем с целью вычислении средних значений m, m яркости элементов в кадрах изображений Y, Y и получения значений коэффициентов  по формуле: =(t-t)/(t-t) и интерполированного значения средней яркости по формуле .
При информативном облучении с временем экспозиции t в компьютер вводится изображение со значениями яркости элементов Y, которые обрабатываются программным путем с целью формирования выходных цифровых значений яркости X по общей формуле:
.
Выходные цифровые значения яркости элементов откорректированного изображения X отображаются на экране дисплея компьютера.
Таким образом, для реализации данного способа могут быть применены известные материалы и технические средства, что обуславливает соответствие изобретения критерию «промышленная применимость».