СПОСОБ АДАПТИВНОГО СГЛАЖИВАНИЯ ДЛЯ ПОДАВЛЕНИЯ РАСТРОВОЙ СТРУКТУРЫ ИЗОБРАЖЕНИЙ
METHOD OF ADAPTIVE SMOOTHING TO SUPPRESS SCREEN-TYPE PATTERN OF IMAGES

Изобретение относится к области цифровой обработки изображений. Точнее относится к способам подавления растра на сканированных изображениях, которые были растрированы при печати и, соответственно, содержат печатный растр.
Все иллюстрации в напечатанных материалах, таких как газеты и журналы, являются растрированными. При повторной дискретизации растрированных иллюстраций на результирующее изображение накладывается шум в виде повторяющегося рисунка, известного как «муар». Возникновение муара обусловлено наложением двух периодических структур, а именно растровой и дискретизирующей решеток, между которыми возникает интерференционная картина в виде муарового рисунка. Подобные ситуации можно наблюдать при сканировании и/или воспроизведении растрированного изображения на любом устройстве, имеющем собственную дискретную решетку, например монитор, проектор, принтер и т.п. Особенно эта проблема актуальна при использовании цифровых копировальных устройств. При копировании изображение сканируется, преобразовываясь в цифровой вид, а затем снова растрируется и печатается. Сканер, как и принтер, имеют собственные дискретизирующие решетки, которые при интерференции с растровой структурой копируемого документа порождают низкочастотный муаровый рисунок, нежелательный для отпечатанной копии. Одним из общепринятых подходов к предотвращению появления эффекта муара при копировании печатных материалов является дескрининг - удаление полиграфического растра из сканированных печатных изображений.
Известны многочисленные попытки решить задачу дескрининга. В частности, можно упомянуть такие публикации, как "Color inverse halftoning method for scanned color images" (Jong-Min Kim, Ji-Yun Byun, Min-Hwan Kim. Proceedings of SPIE Vol. 3963 January 2000) [1], "A new Moire smoothing method for color inverse halftoning" (Youngmee Han, Jongmin Kim, Minhvan Kim, Proc. 2002 International Conference on Image Processing. Vol.1, 2002) [2], "Suppression of Moire patterns via spectral analysis" (Denis N. Sidorov and Anil C. Kokaram. Proc. of SPIE. Vol.4671, 2002) [3], "Frequency domain median-like filter for periodic and quasi-periodic noise removal" (Igor Aizenberg, Constantine Butakoff, Proc. of SPIE. Vol.4667, 2002) [4], "Moire suppression screening" (Raph Levien, Proc. of. SPIE Vol.3963, p.402-407) [5], "Technique for Image Descreening Based on the Wavelet Transform" (Jiebo Luo, Ricardo de Queiroz, and Zhigang Fan, Signal Processing, IEEE Transactions. Vol.46, Issue 4, 1998) [6], "Wavelet based halftone segmentation and descreening filter design" (Chunghui Kuo, A. Ravishankar Rao, Gerhard Thompson. Acoustics, Speech, and Signal Processing, 2001. Proceedings. 2001 on IEEE International Conference. Vol.3, 2001, p.1573-1576) [7], "Training-based Descreening" (Hasib Siddiqui, Charles Bouman, IEEE Transactions on Image Processing, vol.16, 2007) [8], "Color Halftone Descreening based on Color Sigma Filters" (Chunghui Kuo, A. Ravishankar Rao, Gerhard Thompson, Proceedings of SPIE, Vol.4300, 2001) [9], "A New Algorithm for Image Noise Reduction using Mathematical Morphology" (Richard Alan Peters II. IEEE Transactions on Image Processing, 4(3), May 1995, p.554-568) [10], "Image Descreening by GA-CNN-Based Texture Classification" (Yu-Wen Shou and Chin-Teng Lin, IEEE Transactions on Circuits and Systems -I: regular papers. Vol.51, No. 11, November 2004) [11], "Non-linear resampling for edge-preserving Moire suppression" (Dimitri Van De Ville, University of Ghent. Proc. of the IEEE International Symposium on Industrial Electronics. Vol.3, Issue, 1999, p.1508-1513) [12]. Этой же теме посвящены многочисленные патентные документы, в частности патенты США №7,176,969 [13], 7,173,659 [14], 6,873,338 [15], 6,943,808 [16], 5,239,390 [17], 5,384,648 [18], 6,839,152 [19], 7,116,446 [20], 5,243,444 [21], 5,408,337 [22], 6,864,994 [23], 5,343,309 [24], 6,950,211 [25], 6,476,936 [26], 7,050,651 [27], а также некоторые выложенные патентные заявки США №2005/0002064 [28], 2006/0227382 [29], 2005/0270584 [30], 2007/0109602 [31], 2005/0220360 [32].
Наиболее распространенным способом восстановления непрерывного изображения из растрированного является применение низкочастотного фильтра. Однако методы, основанные на низкочастотной фильтрации, не гарантируют точности передачи информации о перепадах яркости и фактически размывают контурные линии, искажая результирующее безрастровое изображение. С этой точки зрения наиболее перспективными решениями для устранения муара в пространственной области являются те, в которых используются интеллектуальные алгоритмы сглаживания, учитывающие структуру изображения и нацеленные на бережное размывание растрированных участков с сохранением перепада яркости. К таким решениям относятся SIGMA, SUSAN и билатеральный фильтры. К сожалению, их применение осложняется неоднозначностью растрированного изображения и часто сопровождается эффектом постеризации (эффект акварельной картинки).
Заслуживает особого внимания способ подавления растровой структуры печатных цветных изображений с помощью двухступенчатого SIGMA-фильтра, рассматриваемого в патенте США №6947178. Предложенный подход позволяет преодолеть недостатки традиционных SIGMA-фильтров за счет совмещения со сглаживающим низкочастотным фильтром. В этом случае вместо исходного растрированного изображения используется его сглаженная копия, полученная путем низкочастотной фильтрации. Далее для масочной обработки используются только пиксели, отнесенные к тому же самому классу, что и центральный пиксель в предварительно сглаженном изображении. Значения яркости каждого элемента полученной маски, содержащей только пиксели одного класса, умножают затем на коэффициенты сглаживающего фильтра, как, например, гауссиан.
Наиболее близким по своим признакам к заявляемому изобретению является техническое решение, представленное в патенте США №6,101,285 [34]. Предложенный метод реализует фильтрацию растрированных изображений в двух ортогональных направлениях, при этом участки изображения без резких изменений яркости сглаживаются. При обработке вдоль контурных линий, т.е. участков с перепадами яркости, степень сглаживания уменьшается и полностью сглаживание устраняется для тонких контурных линий. Однако этот способ имеет несколько ограничений: рассматривается обработка только полутоновых изображений и предполагается априорное знание параметров растрирования.
Задача, на решение которой направлено заявляемое изобретение, заключается в разработке способа однопроходного дескрининга отсканированного печатного цветного изображения, позволяющего избежать появления муара при последующем растрировании и печати.
Технический результат достигается за счет применения способа адаптивного сглаживания отсканированных растрированных изображений, включающего в себя выполнение следующих операций:
- получение цифровой копии исходного документа в цветовом пространстве RGB;
- обнаружение наличия контурных перепадов и определение
направления максимального градиента для каждой точки контура;
- классификация пикселей изображения на принадлежность к областям контурных линий или однородным областям без резких изменений яркости;
- Гауссовское сглаживание элементов изображения, классифицированных как принадлежащие однородным областям без резких изменений яркости;
- сглаживание анизотропным образом элементов изображения, отнесенных к областям с контурными перепадами яркости.
Из вышесказанного ясно, что в заявляемом изобретении предлагается способ подавления растровой структуры печатных изображений с предохранением контурных линий. Результатом является безрастровое изображение. Участки без высокочастотных деталей сглаживаются, обеспечивая существенное подавление растра на исходном изображении для однотонных областей. Пиксели областей с перепадами яркости обрабатываются в соответствии с предложенным способом повышения резкости контурных линий, обеспечивающим одновременное устранение растровой структуры и повышение крутизны перепада яркости.
Для лучшего понимания существа заявляемого изобретения далее приводится его детальное описание с привлечением чертежей.
Фиг.1 - обобщенная блок-схема заявляемого решения.
Фиг.2 - иллюстрация процесса обработки.
Фиг.3 - примеры конфигурации масок.
Фиг.4 - блок-схема обнаружения яркостного перепада (контура).
Фиг.5 - блок-схема процедуры обработки областей контурных перепадов.
Фиг.6 - примеры наклонного и дугообразного яркостных перепадов.
Фиг.7 - график функции вычисления среднеквадратического отклонения для фотометрического ядра.
Фиг.8 - пример обработки фрагмента тестового изображения.
Фиг.9 - пример обработки изображения.
Как показано на Фиг.1, общая структура заявляемого способа включает несколько основных этапов. Оригинал печатного документа с растровой структурой сканируется с помощью сканирующего устройства (шаг 101). В соответствии с предпочтительным вариантом реализации изобретения предлагается два варианта разрешения сканирования - 300 и 600 точек/дюйм. Таким образом, на данном этапе создается цифровая копия оригинала документа в цветовом пространстве RGB. В соответствии с предложенным вариантом реализации изобретения заявляемый метод ориентирован на одновременную обработку и сканирование, поэтому нет необходимости сканировать весь документ сразу. Для текущей обработки достаточно располагать фрагментом изображения, состоящего из нескольких строк, хранящихся в буфере и обрабатываемых скользящим окном, размер которого зависит от разрешающей способности сканирующего устройства.
f
e
f
e
Далее каждый пиксель цифрового изображения классифицируется в соответствии с одним из двух обобщенных классов (шаг 102) Ω и Ω. Первый класс Ω - соответствует однородным областям изображения с монотонным изменением яркости, без резких скачков. Второй класс Ω определяет участки изображения, характеризуемые резкими изменениями яркости (контурными линиями), и области пикселей, непосредственно примыкающие к ним. На основе этой классификации выбирается соответствующая процедура (шаг 103) обработки.
f
e
Рассматриваемая процедура обнаружения контурных линий, т.е. разбиение изображения на области Ω, Ω, значительно отличается от тех, что применяются для безрастровых изображений. Один из наиболее эффективных способов обнаружения областей перепадов яркости, основанный на вычислении градиента, не работоспособен в случае обработки растрированных изображений. Это является следствием того, что значительные флуктуации между соседними пикселями растрированного изображения порождают сильный шумовой фон. По этой причине предложено использовать усредненные значения в пределах маски. Ниже эта процедура будет описана более детально.
f
Если текущий элемент изображения классифицирован, как принадлежащий области Ω с монотонным изменением яркости, тогда для его обработки применяется сглаживающее Гауссовское окно (шаг 104) с предопределенным размером. В случае, если текущий пиксель был классифицирован, как принадлежащий области изображения с контурным перепадом, тогда проводится дополнительный анализ. Для этого анализируются соседние точки в направлении максимального градиента. Далее строится усредненный профиль контурного перепада и оценивается различие в средних значениях яркости областей, расположенных по обе стороны обнаруженной линии контура. Такие области обычно образуют однородные плато, разделенные контурной линией, которые условно можно обозначить "высокоуровневые" и "низкоуровневые" плато в зависимости от среднего значения яркости. На шаге 105 текущий отсчет изображения ассоциируется с одним из указанных уровней, и после этого выполняется сглаживание анизотропным образом (шаг 106). Для этого соседние элементы изображения, находящиеся в пределах маски и классифицированные как принадлежащие к тому же типу плато, что и текущий отсчет, имеют доминирующие веса. Другими словами, если, например, текущий отсчет определен как принадлежащий к «высокоуровневому» плато, тогда соответственно при его обработке преимуществом будут пользоваться соседние отсчеты, принадлежащие к той же категории. Это позволяет эффективно подавлять растровую структуру изображения и предохранять контурные линии от размытия. Обработка на данном этапе осуществляется по аналогии с билатеральной фильтрацией с адаптивно изменяющейся весовой функцией. Более детальное описание предложенного подхода к обработке областей перепадов яркости будет изложено ниже.
Перед изложением основных положений рассмотрим методику организации процесса обработки (Фиг.2). В качестве текущего «входного» элемента изображения рассматривается пиксель (205), анализ которого опирается на соседние отсчеты в пределах рабочей маски (206). Соответственно, результат анализа затем используется для расчета «выходного» значения отсчета (203). Таким образом, процесс обработки состоит из двух основных шагов. Вначале для каждого отсчета изображения предварительно рассчитываются и сохраняются во временном буфере памяти данные (201), требуемые для последующих расчетов на втором шаге. В предпочтительном варианте реализации изобретения используется временный буфер (204) для хранения девяти строк отсканированного изображения с результатами предобработки. В качестве примера на Фиг.2 изображены восемь отсчетов (202) с результатами предварительных вычислений, используемых для расчета значения яркости одной точки (203) выходного изображения. Такой подход позволяет значительно снизить вычислительные затраты и избежать избыточных вычислений. В соответствии с предпочтительным вариантом реализации заявляемого изобретения, иллюстрация организации обработки на Фиг.2 соответствует разрешению сканирования 600 точек/дюйм.
0°
45°
90°
135°
Рассмотрим подробнее процедуру выявления яркостных перепадов (контурных линий) (шаг 102). Окрестность текущего отсчета анализируется в четырех направлениях 0, 45, 90, 135 градусов. Для этой цели используются четыре различных подмаски с разной конфигурацией. В качестве примера, на Фиг.3 показаны две подмаски для 0, 90 (Фиг.3.1) и 135 градусов (Фиг.3.2), являющиеся частями общей поисковой маски (306) для обработки в разных направлениях (Фиг.3.3, 3.4). Обозначенный фрагмент изображения (206), (301) определяет границы используемых элементов, необходимых для обработки текущей точки изображения (205), (302). Таким образом, анализ элементов подмасок (303) соответствует этапу предварительных вычислений, описанных выше. Текущему анализируемому «входному» отсчету изображения x(i,j) (205), (302) ставятся в соответствие предварительно рассчитанные в каждом анализируемом направлении значения арифметических средних µ(i,j), µ(i,j), µ(i,j), µ(i,j).
R
R
G
G
B
B
n
Этап обнаружения контурных перепадов (шаг 102), (шаг 103) более детально проиллюстрирован структурной схемой на Фиг.4., описывающей обработку одного отсчета изображения. Оригинал печатного документа с растровой структурой сканируется с помощью сканирующего устройства (шаг 401), и формируется его цифровая копия в цветовом пространстве RGB. Таким образом, обрабатываемое изображение представлено тремя компонентами: X={x(i,j)} (Красный), X={x(i,j)} (Зеленый) и X={x{i,j)} (Синий). После этого выполняется инициализация необходимых исходных параметров алгоритма (шаг 402). Для обнаружения яркостного перепада и определения его направления вычисляются значения усредненных градиентов как разницы между предварительно вычисленными средними значениями µ подмасок (шаг 403) каждой цветовой компоненты в четырех направлениях (шаг 404):
n
n
n
G(i,j)=|µ(i',j')-µ(i'',j'')|,
где (i,j) - координаты текущего отсчета (203), (305), индекс n обозначает одно из анализируемых направлений. Координаты (i',j'), (i'',j'') определяют центральные отсчеты используемых подмасок (202), (302) и зависят от анализируемого направления и размера маски. Для конфигурации масок, приведенных на Фиг.2, значения градиентов каждой из цветовых компонент вычисляются следующим образом:
0°
0°
0°
G(i,j)=|µ(i,j-4)-µ(i,j+4)|;
45°
45°
45°
G(i,j)=|µ(i+3,j+3)-µ(i-3,j-3)|;
90°
90°
90°
G(i,j)=|µ(i-4,j)-µ(i+4,j)|;
135°
135°
135°
G(i,j)=|µ(i-3,j+3)-µ(i+3,j-3)|.
Приведенные выражения для вычисления градиентов соответствуют разрешению сканирования 600 дюйм/точек. Для других реализаций заявленного изобретения с иными разрешениями сканирования, значения смещений координат должны быть соизмеримы с размером растровой ячейки. Градиенты , ,  (шаг 404) вычисляются независимо друг от друга для соответствующих Красной, Зеленой и Синей цветовых компонент изображения. Окончательное решение о наличии контурного перепада опирается на векторную сумму градиентов (шаг 406):
0°
45°
90°
135°
max
max
e
f
Из уровня техники (см., например, патент РФ №2322694 [35]) известна методика вычисления межкомпонентных градиентов G(i,j), G(i,j), G(i,j), G(i,j) для каждого направления. Далее на основе полученного набора градиентов определяется направление n, соответствующее значению максимального градиента  (шаг 407, 408). Контурный перепад считается обнаруженным, если значение градиента в направлении n превышает предустановленный порог eTh (шаг 410) по крайней мере для одной цветовой компоненты. Следовательно, если порог превышен, тогда текущий отсчет классифицируется как принадлежащий области контурного перепада Ω (шаг 411), иначе как принадлежащий однородной области Ω (шаг 412). В предпочтительной реализации заявленного изобретения используется порог, равный eTh=30. Такой подход к обнаружению цветовых перепадов позволяет обнаруживать наличие контура, если яркостный перепад присутствует хотя бы в одной цветовой компоненте.
f
Для дескрининга однородных областей на изображении (шаг 104, 412) возможно применение любой линейной сглаживающей процедуры, достаточной для подавления растровой структуры, при этом размер сглаживающей маски должен быть не меньше, чем размер растровой ячейки на отсканированном изображении. Также необходимо учитывать, что излишнее сглаживание приводит к заметной потере мелких деталей на изображении. В предпочтительной реализации заявленного изобретения для дескрининга однородных областей Ω предлагается использовать Гауссовский низкочастотный фильтр:
,
f
f
где y(i,j) - результат обработки текущего пикселя x(i,j), N,M - размер маски для обработки однородных областей, W(i,j) - Гауссовская двумерная функция:
h
R
G
B
f
Параметры фильтра имеют следующие значения: размер маски 7×7 или 5×5 элементов, среднеквадратическое отклонение σ=1.5 для разрешения сканирования 600 точек/дюйм и размер маски 5×5 или 3×3 элементов для разрешения 300 точек/дюйм. Для большинства типов растра такой обработки будет достаточно для адекватного сглаживания растровой структуры. Таким образом, пиксели цветовых компонент исходного растрированного изображения x(i,j), x(i,j) и x(i,j), классифицированные как принадлежащие к однородной области Ω в результате обработки, заменяются отсчетами , .
mах
R
G
B
Обработка областей контурного перепада (Фиг.5) основывается на дополнительном анализе результатов, полученных на предыдущем этапе (шаг 411). Сначала для каждой цветовой компоненты строится проекция элементов маски (шаг 501) на линию вдоль направления n максимального градиента . Для этого выполняется вычисление средних значений столбцов (304) и их представление в виде вектора. Результатом является вычисление трех одномерных профилей контурного перепада L(k), L(k), L(k) в направлении максимального
градиента для каждой цветовой компоненты. Полученные вектора соответствуют аналогам профилей перепадов для непрерывных изображений. Для примера на Фиг.3 (вид 3.3, вид 3.4) показаны две конфигурации маски для построения усредненного профиля в направлении 0 и 135 градусов.
Следующий этап обработки области контурной линии (шаг 502) заключается в оценке средних значений «высокоуровневого» (HL) и «низкоуровневого» (LL) плато, разделенных контурным перепадом. Для пояснения параметров HL и LL на Фиг.6 представлены два типа контурных перепадов, называемых как «наклонный яркостный перепад» и «дугообразный яркостный перепад». Оценивание значений HL и LL производится за счет простого поиска максимального и минимального значений по всему профилю контурного перепада L(k) (шаг 502).
Близость значения усредненного значения  (шаг 503) текущего отсчета изображения к одному из обозначенных уровней (HL или LL) является определяющим в решении того, к какому из уровней принадлежит рассматриваемая точка изображения (шаг 504). Анализ проводится для каждой цветовой компоненты независимо в соответствии с выражением:
;
Этот этап является последним предварительным шагом для процедуры обработки участка контурного перепада. Просто строгое разделение всех пикселей внутри маски на две группы высокого и низкого уровней с независимой анизотропной обработкой каждой из областей может привести к появлению нежелательного эффекта пастеризации. Такой эффект проявляется как неестественный ореол вокруг контурных линий и может быть очень заметен для человеческого восприятия. Для того чтобы избежать подобного эффекта и получить более естественный монотонный склон контурной линии предложено использовать взвешенное усреднение по аналогии с билатеральной фильтрацией:
,
где η - среднее значение, вычисленное в соответствии с классификацией текущего отсчета изображений (шаг 505), (шаг 510).
e
Весовая функция W(·) соответствует произведению двух ядер - пространственного и фотометрического:
e
s
W(x(i,j)-µ)=Wp(x(i,j)-µ)×W(i,j)
Фотометрическое ядро обладает свойствами для увеличения четкости контурных линий и зависит от результатов классификации текущего пикселя. Для получения результата, свободного от помех, подчеркивание выполняется по предварительно сглаженным пикселям изображения  в соответствии с функцией (шаг 507):
p
р
p
Среднеквадратическое отклонение σ имеет важный смысл и определяет результирующую степень усиления четкости контурных линий. Для больших значений σ соседние пиксели, принадлежащие к другому уровню, имеют большее влияние на результат обработки, контурные линии будут выглядеть менее четкими. С другой стороны, для малых значений σ влияние элементов другого уровня имеет меньшее значение, и результат обработки будет выглядеть более четким. Среднеквадратическое отклонение в соответствии с предпочтительным вариантом заявляемого изобретения определятся следующей функцией (шаг 506):
S
S
S
Приведенная функция проиллюстрирована на Фиг.7. Коэффициент k характеризует степень подчеркивания контурных линий. В предпочтительной реализации заявляемого изобретения k=2 для сканирующего разрешения 600 точек/дюйм и k=2.5 для сканирующего разрешения 300 точек/дюйм.
S
e
f
Обработка только с помощью фотометрического ядра при больших значениях k преобразует профиль контурных линий к виду, близкому к модели идеального ступенчатого перехода, но при этом увеличивается неестественность контурных перепадов. Также объединение результатов обработки областей Ω и Ω может привести к появлению видимых стыков в местах соединения областей. Поэтому для обеспечения более естественного результата применяется второе пространственное ядро, основанное на двумерной Гауссовской функции (шаг 508):
S
Предпочтительное значение σ для рассматриваемого варианта реализации равно 1,5. Таким образом, обработка точек изображения, классифицированных как принадлежащих к области контурного перепада, описывается следующим выражением (шаг 509):
f
e
f
e
Таким образом, заявляемое решение позволяет использовать специализированную обработку для однородных областей Ω и для областей контурных перепадов Ω. В других вариантах реализации возможно смешивание результатов обработки областей Ω и Ω для получения более естественного изображения.
Фиг.8 демонстрирует результаты подавления растровой структуры заявленным способом на тестовом изображении, аналогичном модели ступенчатого перепада яркости.
На Фиг.9 показаны результаты (вид 9.2) заявляемой процедуры дескрининга для отсканированного печатного изображения (вид 9.1) с разрешением сканирования 600 точек/дюйм.
Детали реализации заявляемого изобретения ясно представлены на чертежах и тексте описания предпочтительных вариантов. Для специалиста в данной области очевидно, что возможны и иные варианты реализации изобретения и что отдельные элементы изобретения могут быть модифицированы, оставаясь тем не менее в рамках изобретательского замысла и объема притязаний, определенных формулой изобретения и текстом описания вместе с чертежами.
Заявляемый способ позволяет производить быстрый однопроходный дескрининг растрированных изображений с сохранением контурных перепадов и повышением четкости. Он может найти применение в устройствах воспроизведения изображений, включая копировальные многофункциональные устройства.