СПОСОБ УЛУЧШЕНИЯ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ
METHOD OF ENHANCING DIGITAL IMAGES

Изобретение относится к области обработки цифровых изображений и может быть использовано для уменьшения либо полного удаления искажений, возникающих в случаях применения других способов улучшения качества фото- и видеоизображений, таких как повышение резкости или разрешения изображения, фильтрация шума.
В настоящее время при обработке цифровых изображений широкое распространение получили различные способы повышения качества изображения. Так, многие современные цифровые фото- и видеокамеры оборудованы цифровыми процессорами обработки изображений, которые, в том числе, используются для повышения качества изображения. Однако требование мобильности, а также стоимости фото- и видеокамер не позволяет использовать в их составе мощные вычислительные средства. В результате во многих случаях используются усеченные либо упрощенные способы обработки, при которых возникают нежелательные побочные эффекты, такие как:
- появление двойных контуров-ореолов при дополнительном повышении резкости (в дальнейшем эффект halo);
- появление аналогичных искажений для некоторых типов интерполяций (в частности, широко используемой бикубической) при повышении разрешения.
Широко известен способ улучшения качества оригинального изображения при помощи программы Adobe Photoshop. В этом случае применяют смягчающий фильтр, который позволяет уменьшить искажения, появляющиеся в результате обработки оригинального изображения путем увеличения резкости.
Недостатком данного способа является отсутствие избирательности, т.к. фильтр применяется ко всем областям изображения. Поэтому с уменьшением искажений происходит потеря резкости по всему изображению.
Известен способ улучшения видеоизображения [1], при котором автоматически определяют искаженные области изображения, корректируют искажения расчетом откорректированных яркостей пикселей искаженных областей изображения.
Недостатком этого способа является возможность корректировки лишь тех участков изображения, в которых наблюдается так называемый блюминг, т.е. явление протекания заряда из соседних пикселей датчика при высоких значениях заряда.
Известен также способ коррекции динамического видеоизображения [2], представляющий собой коррекцию ступенчатых искажений (так называемая постеризация) в изначально монотонно закрашенных областях изображения, привнесенных, например, предварительным сжатием изображения.
Недостатком данного способа является невозможность корректировки двойных контуров-ореолов, корректируются лишь ступенчатые искажения.
Известен способ обработки оригинальных цифровых изображений [3], при котором улучшение качества изображения осуществляют путем увеличения резкости цветного изображения. При этом производят выделение яркостного канала из каналов различных цветов и, после повышения яркости, добавление яркостного канала обратно в цветовые каналы. Для повышения четкости изображения используют стандартный линейный фильтр с ядром размером 3×3, или 5×5, или 7×7 пикселей.
Недостатком этого способа является появление искажений в виде эффекта halo вследствие применения фильтра.
Наиболее близким к заявляемому изобретению является способ улучшения качества изображений путем повышения резкости [4], учитывающий особенности регистрирующих и воспроизводящих устройств. При этом способе осуществляется защита от пересвечивания мелких контрастных деталей, таких как листва, волосы, трава и т.д., путем смешивания данных оригинального изображения и изображения с повышенной резкостью с изменением весовых коэффициентов в локальной области в окрестностях пересвеченных объектов.
Недостаток способа заключается в том, что корректируются лишь те участки изображения с повышенной резкостью, которые приводят или могут привести к пересвечиванию. Кроме того, чтобы подвергать корректировке изображения указанным способом, необходим доступ к параметрам оригинального изображения.
Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа улучшения качества изображений, который позволил бы значительно уменьшить либо полностью удалить искажения, возникшие при обработке оригинальных изображений другими способами. При этом в качестве исходного объекта обработки используют лишь изображение с уже привнесенными искажениями. Данных о параметрах оригинального изображения и примененных способах обработки не требуется.
Поставленная цель достигается тем, что в известном способе улучшения цифровых изображений, который включает анализ параметров изображения, извлечение яркостной компоненты, построение корректирующего фильтра и корректировку изображения, построение корректирующего фильтра производят по усредненному профилю проекции путем вычисления амплитуд и направлений градиентов яркости изображения с последующим отбором участков изображения с высоким значением градиента и построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках. При этом корректировку изображения осуществляют следующим образом: вычисляют амплитуду градиента изображения, отбирают пиксели изображения в локальной области, примыкающей к граням, исключая пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного ядра корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.
На фиг.1 представлено цифровое изображение до обработки.
На фиг.2 - то же изображение после увеличения резкости. На снимке отчетливо виден эффект halo.
На фиг.3 - то же изображение после обработки заявляемым способом.
На фиг.4, 5, 6 показаны локальные проекции грани в направлении градиента:
фиг.4 - локальная проекция грани исходного изображения;
фиг.5 - локальная проекция грани после увеличения резкости, виден ореол (halo-эффект);
фиг.6 - локальная проекция грани после коррекции искажений заявляемым способом.
Улучшение исходных изображений заявляемым способом осуществляют следующим образом:
I. Анализ изображения для сбора параметров:
1. Извлечение яркостной компоненты.
2. Вычисление амплитуд и направлений градиентов яркости изображения.
3. Отбор участков изображения с высоким значением градиента (граней).
4. Построение набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках.
5. Вычисление усредненного профиля проекции по построенному набору локальных проекций.
II. Построение корректирующего фильтра по вычисленному усредненному профилю.
III. Корректировка изображения:
1. Вычисление амплитуд градиентов изображения.
2. Отбор пикселей изображения, находящихся в непосредственной близости от граней, исключая пиксели, находящиеся непосредственно на гранях. Для таких пикселей выполняется соотношение:
max(abs(grad(M)))/abs(grad(p))>Thr
где:
p - пиксель;
м - множество точек, окружающих данный пиксель;
Thr - некоторый предел, константа.
3. Корректировка найденных участков при помощи построенного фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.
Пример конкретного выполнения:
I. Анализ изображения для сбора параметров:
а. Извлечение яркостной компоненты.
Предположим, каждый пиксель изображения хранится в виде трех цветовых
компонент: R, G, В. Определяем яркостную компоненту (Y) по формуле:
Y=R*0.2989+G*0.587+В*0.114
Данное представление сигнала и вычисление яркостной компоненты является типичным при обработке фото- и видеоизображений и хорошо известно.
b. Вычисление абсолютного значения и направлений градиентов яркости изображения.
(a,b)
(a-1,b-1)
(a+1,b-1)
(a-1,b+1)
(a+1,b+1)
(a-1,b)
(a+1,b)
Gx=Y-Y+Y-Y+2*Y-2*Y
(a,b)
(a-1,b-1)
(a+1,b-1)
(a-1,b+1)
(a+1,b+1)
(a,b-1)
(a,b+1)
Gy=Y+Y-Y-Y+2*Y-2*Y
(a,b)
(a,b)
(a,b)
(a,b)
(a,b)
Ga=Gx*Gx+Gy*Gy
Gx - компонента градиента в направлении х,
Gy - компонента градиента в направлении у,
Ga - квадрат абсолютного значения градиента,
a, b - координаты пикселя.
с. Отбор участков изображения с высоким значением градиента (граней), сортировка пикселей по убыванию абсолютного значения градиента и отбор первых N пикселей.
N=4*(W+H)/(W*H)
W, H - ширина и высота изображения в пикселях соответственно.
d. Построение набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках.
(а,b)
(а,b)
Определение такого из абсолютных значений Gх, Gy, которое является максимальным для данного пикселя в координате (a,b) (пиксели - из участков, выбранных на этапе с). С учетом знака получаем 4 варианта:
Если
то собираем вектор проекции яркости V из пикселей в координатах
abs(Gx)>abs(Gy) и Gx<0
V<sup>i</sup> <sub>(1…15)</sub>=Y<sub>(a+7,b)…</sub>Y<sub>(a-7,b)</sub>
abs(Gx)>abs(Gy) и Gx>0
V<sup>i</sup> <sub>(1…15)</sub>=Y<sub>(a-7,b)…</sub>Y<sub>(a+7,b)</sub>
abs(Gx)<abs(Gy) и Gy<0
V<sup>i</sup> <sub>(1…15)</sub>=Y<sub>(a,b+7)</sub>…Y<sub>(a,b-7)</sub>
abs(Gx)<abs(Gy) и Gy>0
V<sup>i</sup> <sub>(1…15)</sub>=Y<sub>(a,b-7)</sub>…Y<sub>(a,b+7)</sub>
e. Вычисление усредненного профиля проекции по построенному набору локальных проекций.
II. Построение ядра корректирующего фильтра по вычисленному усредненному профилю.
f. Создание одномерного профиля фильтра
i
(7+i)
(9-i)
avg
avg
P=[V +V ]/2 i=2…7
1
P=1
g. Развертка одномерного профиля в радиально-симметричное двумерного ядра.
Матрица F размерами 15×15 элементов заполняется путем вычисления расстояния элемента матрицы от центра и выборки соответствующих значений из одномерного профиля Р с интерполяцией (например, линейной).
III. Корректировка изображения:
h. Вычисление амплитуд градиентов изображения.
(a,b)
(a-1,b-1)
(a+1,b-1)
(a-1,b+1)
(a+1,b+1)
(a-1,b)
Gx=Y-Y+Y-Y+2*Y-2*Y(a+1,b)
(а,b)
(a-1,b-1)
(a+1,b-1)
(a-1,b+1)
(a+1,b+1)
(a,b-1)
(a,b+1)
Су=Y+Y-Y-Y+2*Y-2*Y
(a,b)
(a,b)
(a,b)
(a,b)
(a,b)
Ga=Gx*Gx+Gy*Gy
Gx - компонента градиента в направлении x,
Gy - компонента градиента в направлении у,
Ga - квадрат абсолютного значения градиента,
a,b - координаты пикселя.
i. Отбор пикселей изображения в локальной области, примыкающей к граням, исключая пиксели, находящиеся непосредственно на гранях. Для таких пикселей выполняется соотношение:
w<3; w вычисляется по формуле:
где: (a, b) - координаты пикселя.
j. Корректировка отобранных участков при помощи построенного ядра корректирующего фильтра с регулировкой весовых коэффициентов (параметризацией) фильтра по локальным значениям амплитуды градиента. В данном варианте исполнения параметризуется только центральный элемент ядра фильтра, что функционально эквивалентно подмешиванию исходного изображения с некоторым весом.
где:
Y - яркостная компонента исходного изображения;
Y′ - яркостная компонента откорректированного изображения;
F′ - параметризованный фильтр.
α - нормирующий коэффициент, который выбирается таким образом, чтобы сумма элементов F′ равнялась 1.
Заявляемый способ улучшения цифровых фото- и видеоизображений позволяет значительно уменьшить, а в ряде случаев полностью устранить искажения. При этом как исходный объект обработки используют лишь изображение с уже привнесенными искажениями. Данных о параметрах оригинального изображения и примененных способах обработки не требуется.
СПИСОК ЛИТЕРАТУРЫ
1. Заявка на изобретение RU № 2005125325, Бюл. № 5, 2007 г.
2. Заявка на изобретение RU № 2006105328, Бюл. № 28, 2007 г.
3. Патент RU № 2298226, Бюл. № 12, 2007 г.
4. Патент US № 7268916 (прототип).