УСТРОЙСТВО, СПОСОБ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЙ С УВЕЛИЧЕНИЕМ РЕЗКОСТИ
DEVICE, METHOD AND SOFTWARE TO PROCESS IMAGES WITH HIGHER SHARPNESS

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к обработке изображений в устройстве отображения изображений, представления распечаток, фотографирующем или записывающем устройстве. Например, настоящее изобретение относится к устройству, способу и программному обеспечению для обработки изображений с увеличением резкости.
УРОВЕНЬ ТЕХНИКИ
«Fundamentals of Digital Image Processing»
«Основы цифровой обработки изображений»
В качестве простого линейного оператора, используемого для улучшения размытого изображения, существует технология наложения нерезких масок (UM) (см. A.K. Jain (1989),  () Prentice Hall, Inc., Englewood Cliffs, New Jersey, (Непатентный документ 1)). Технология наложения нерезких масок использует характеристику зрительной системы человека, называемую каемочным эффектом Маха. Эта характеристика влечет за собой зрительный феномен, заключающийся в том, что воспринимаемая яркость участков, прилегающих друг к другу, зависит от резкости переходной части. С использованием этой характеристики, резкость изображения может быть улучшена введением большего количества очевидных изменений между участками изображения. Основная идея технологии наложения нерезких масок состоит в том, чтобы вычитать из входного сигнала сигнал, полученный фильтрацией входного сигнала через фильтр нижних частот.
Фиг.6 - это структурная схема, показывающая пример конфигурации традиционного устройства наложения нерезких масок для выполнения вышеописанной технологии наложения нерезких масок. Устройство 11 наложения нерезких масок включает в себя средство 12 сглаживания для сглаживания яркости входного изображения, а затем, подачи сглаженного изображения в средство 13 вычитания; средство 13 вычитания для расчета разностного изображения вычитанием сглаженного изображения из яркости входного изображения, а затем, подачи разностного изображения в средство 14 умножения; средство 14 умножения для умножения разностного изображения на постоянное число, а затем, подачи результата умножения в средство 15 сложения; и средство 15 сложения для прибавления результата умножения к яркости входного изображения, а затем, выдачи яркости выходного изображения.
"Image Processing"
Существуют различные типы обработки изображения с усилением контуров, использующей технологии наложения нерезких масок. Примеры обработки изображения с усилением контуров включают в себя увеличение резкости посредством использования преобразования Лапласа (см. стр. 58-59 и 72-73 в TSUCHIYA, Yutaka and FUKADA, Youji, , the Institute of Image Information and Television Engineers Reference Book Series, Corona Publishing Co., Ltd, ISBN4-339-01070-7 (Непатентный документ 2)) и подчеркивания контуров (см. Фиг.1 и 2 публикации № Sho 52-266116 заявки на выдачу патента Японии (Патентный документ 1)).
Патентный документ 1: Публикация № Sho 52-266116 заявки на выдачу патента Японии
«Fundamentals of Digital Image Processing"
Непатентный документ 1: A.K. Jain (1989), Prentice Hall, Inc., Englewood Cliffs, New Jersey
«Image Processing»
Непатентный документ 2: TSUCHIYA, Yutaka and FUKADA, Youji, the Institute of Image Information and Television Engineers Reference Book Series, Corona Publishing Co., Ltd, ISBN4-339-01070-7
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Задачи, решаемые изобретением
Вышеупомянутые примеры предшествующего уровня техники, однако, имеют проблему. Более конкретно, даже когда требуется, чтобы обработка изображений выполнялась посредством изменения только яркости, насыщенность также выходит за пределы диапазона, который может представляться с помощью представляющего устройства, такого как дисплей или принтер. Соответственно, в этом случае насыщенность корректируется, чтобы находиться в представимом диапазоне, тем самым, дополнительно приводя к изменению оттенка.
В дополнение, есть еще одна проблема, обычная для технологии наложения нерезких масок. Более конкретно, проблема состоит в том, что яркая и темная каемки создаются вокруг контура высокой контрастности (фасциация). Нерезкая (округленная) (низкочастотная) составляющая делает сигнал резкого контура округлым и, таким образом, создает гладкий контур. Соответственно, разностный сигнал (высокочастотная составляющая) между исходным изображением и нерезким изображением содержит в себе положительный выброс и отрицательный выброс вокруг резкого контура. Когда этот разностный сигнал вновь прибавляется к низкочастотной составляющей, чей динамический диапазон был сжат, несжатые или усиленные сигналы положительного выброса и отрицательного выброса, существующие вокруг резкого контура, создают яркую каемку и темную каемку около контура. Такие артефакты называются артефактами фасциации контура, так как артефакты более четко наблюдаются возле контура высокой контрастности. Артефакты фасциации контура являются крайне нежелательными артефактами в изображениях, формируемых на потребительских товарах. Чтобы сделать артефакты визуально неразличимыми, артефакты должны быть распределены в пределах достаточно обширной области, что вызывает потребность в большом фильтре. Как результат, возникает проблема повышения себестоимости вследствие увеличения количества линейной памяти в средстве сглаживания.
Настоящее изобретение выполнено, принимая во внимание вышеупомянутые проблемы предшествующего уровня техники. Настоящее изобретение, таким образом, предлагает устройство обработки изображений с увеличением резкости для решения вышеупомянутых проблем. Настоящее изобретение также предлагает способ и программное обеспечение обработки изображений с увеличением резкости.
СРЕДСТВО ДЛЯ РЕШЕНИЯ ПРОБЛЕМ
Устройство обработки изображений с увеличением резкости по настоящему изобретению отличается тем, что включает в себя средство сглаживания для сглаживания яркости входного изображения и, таким образом, получения сглаженного изображения; средство вычитания для вычитания сглаженного изображения из яркости входного изображения и, таким образом, получения разностного изображения; средство расчета связанного с яркостью коэффициента усиления для расчета связанного с яркостью коэффициента усиления из входного изображения; первое средство умножения для умножения разностного изображения на связанный с яркостью коэффициент усиления и, таким образом, получения результата умножения; средство сложения для прибавления результата умножения к яркости входного изображения и, таким образом, получения яркости выходного изображения; средство расчета коэффициента усиления цветового контраста для расчета коэффициента усиления цветового контраста из цветового контраста входного изображения и связанного с яркостью коэффициента усиления; и второе средство умножения для умножения цветового контраста входного изображения на коэффициент усиления цветового контраста и, таким образом, получения цветового контраста выходного изображения. Таким образом, устройство обработки изображений с увеличением резкости по настоящему изобретению может выполнять обработку с увеличением резкости посредством изменения только яркости, без изменения оттенка.
Предпочтительно, чтобы средство расчета связанного с яркостью коэффициента усиления рассчитывало связанный с яркостью коэффициент усиления таким образом, чтобы получать яркость выходного изображения, в котором коэффициент усиления U является меньшим, чем коэффициент усиления L.
Средство сглаживания может использовать БИХ-фильтр (IIR-фильтр, с бесконечной импульсной характеристикой) для предыдущих линий, чтобы тем самым использовать линейную память сигнала для предыдущей линии, и может конфигурироваться, чтобы удовлетворять
[Уравнение 1]
где cur представляет текущую линию; pre представляет предыдущую линию; Newpre представляет новую предыдущую линию; N представляет коэффициент текущей линии; и M представляет коэффициент предыдущей линии. Таким образом, количество линейной памяти может быть уменьшено.
Средство расчета связанного с яркостью коэффициента усиления может рассчитывать коэффициенты усиления для всех значений яркости входного изображения.
Средство расчета связанного с яркостью коэффициента усиления может разделять значения яркости входного изображения на множество диапазонов, может задавать заданные значения в соответственных диапазонах и может рассчитывать коэффициент усиления, выполняя интерполяцию между ними.
unsharp
unsharp
unsharp
Средство расчета коэффициента усиления цветового контраста может рассчитывать коэффициент усиления цветового контраста таким образом, что в цветовом пространстве, представленном яркостью и цветовым контрастом, в котором Cb и Cr представляют цветовые контрасты входного изображения; Y представляет яркость входного изображения; Cb и Cr представляют цветовые контрасты выходного изображения; Y представляет яркость выходного изображения; (x, y) представляет точку, в которой насыщение является наивысшим на прямой линии, проходящей через (Cb, Cr) и начало координат и имеющей такой же оттенок, как входное изображение; (Cb0, Cr0) и (Cb1, Cr1), соответственно представляют наивысшие насыщения первого и второго основных цветов, образующих входное изображение; Y0 и Y1 представляют яркость; и θ представляет угол, образованный осью Cb и прямой линией, проходящей через начало координат и (Cb, Cr), справедливы следующие уравнения:
[Уравнение 2]
соотношение (ratio), с которым точка (x, y) делит отрезок (Cb0, Cr0)-(Cb1, Cr1) линии, выражается через:
[Уравнение 3]
яркость Yr в точке (x, y) выражается согласно:
Yr = Y0 + (Y1 -Y0) × ratio, в таком случае
[Уравнение 4]
, где Y > Yr, или
[Уравнение 5]
, где Y < Yr;
diff
unsharp
diff
когда Y представляет изменение яркости от входного изображения до выходного изображения, Y = Y + Y, в таком случае,
[Уравнение 6]
unsharp
, где Y > Yr, или
[Уравнение 7]
unsharp
, где Y < Yr, и
[Уравнение 8]
Подводя итог вышесказанному, средство расчета коэффициента усиления цветового контраста может рассчитывать коэффициент усиления цветового контраста, с тем чтобы удовлетворять:
[Уравнение 9]
unsharp
unsharp
diff
gain
gain
где в цветовом пространстве, представленном яростью и цветовым контрастом, Cb и Cr представляют цветовые контрасты входного изображения; Cb и Cr представляют цветовые контрасты выходного изображения; Y представляет изменение яркости от входного изображения до выходного изображения, и Cb и Cr представляют постоянные числа.
РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ
Устройство обработки изображений с увеличением резкости по настоящему изобретению может выполнять обработку с увеличением резкости посредством изменения только яркости, без изменения оттенка.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 - структурная схема, показывающая пример конфигурации устройства обработки изображений с увеличением резкости по настоящему изобретению.
Фиг.2 - график, показывающий формы сигналов изображений обработки в устройстве 1 обработки изображений с увеличением резкости по Фиг.1.
Фиг.3 - схема, описывающая способ сокращения линейной памяти.
Фиг.4 - график, описывающий пример установки связанного с яркостью коэффициента усиления в средстве 3 расчета связанного с яркостью коэффициента усиления по Фиг.1.
Фиг.5 - график, описывающий расчет коэффициента усиления цветового контраста в средстве 4 расчета коэффициента усиления цветового контраста по Фиг.1.
Фиг.6 - структурная схема, показывающая пример конфигурации традиционного устройства наложения нерезких масок.
ОПИСАНИЕ ОБОЗНАЧЕНИЙ
1 Устройство обработки с увеличением яркости изображения
2, 12 Средство сглаживания
3 Средство расчета связанного с яркостью коэффициента усиления
4 Средство расчета коэффициента усиления цветового контраста
5, 13 Средство вычитания
6, 8, 14 Средство умножения
7, 15 Средство сложения
11 Устройство наложения нерезких масок
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Вариант 1 осуществления
Фиг.1 - структурная схема, показывающая пример конфигурации устройства обработки изображений с увеличением резкости по настоящему изобретению. Устройство 1 обработки изображений с увеличением резкости включает в себя: средство 2 сглаживания для сглаживания яркости входного изображения, а затем, подачи сглаженного изображения в средство 5 вычитания; средство 3 расчета связанного с яркостью коэффициента усиления для расчета связанного с яркостью коэффициента усиления по яркости входного изображения, а затем, подачи связанного с яркостью коэффициента усиления в средство 4 расчета коэффициента усиления цветового контраста и средство 6 умножения; средство 4 расчета коэффициента усиления цветового контраста для расчета коэффициента усиления цветового контраста из цветового контраста входного изображения и связанного с яркостью коэффициента усиления, а затем, подачи рассчитанного коэффициента усиления цветового контраста в средство 8 умножения; средство 5 вычитания для расчета разностного изображения вычитанием сглаженного изображения из яркости входного изображения, а затем, подачи рассчитанного разностного изображения в средство 6 умножения; средство 6 умножения для умножения разностного изображения на связанный с яркостью коэффициент усиления, а затем, подачи результата умножения в средство 7 сложения; и средство 7 сложения для прибавления результата умножения к яркости входного изображения, а затем, выдачи яркости выходного изображения; и средство 8 умножения для умножения коэффициента усиления цветового контраста на цветовой контраст входного изображения, а затем, выдачи цветового контраста выходного изображения.
Фиг.2 - график, показывающий формы сигналов изображений обработки в устройстве 1 обработки изображений с увеличением резкости по Фиг.1. Последовательность операций базовой обработки нерезкими масками будет описана со ссылкой на Фиг.2. Форма сигнала, обозначенная (1), является формой сигнала яркости входного изображения. Форма сигнала, обозначенная (2), является формой сигнала сглаженного изображения (формой сигнала размытого изображения), получаемого сглаживанием (1). Форма сигнала, обозначенная (3), является формой сигнала разностного изображения, получаемого вычитанием (2) из (1). Форма сигнала, обозначенная (4), является формой сигнала яркости выходного изображения, получаемого умножением (3) на связанный с яркостью коэффициент усиления, а затем, прибавления (1) к нему. Коэффициент усиления, чья разностная форма сигнала находится на стороне положительных значений, называется коэффициентом усиления U наряду с тем, что коэффициент усиления, чья разностная форма сигнала находится на отрицательной стороне, называется коэффициентом усиления L. Установка коэффициента усиления U в 0 предохраняет форму сигнала от изменения в верхнем направлении. Форма сигнала, обозначенная (5), является формой сигнала яркости выходного изображения, когда коэффициент усиления U установлен в 0. Когда средство расчета связанного с яркостью коэффициента усиления разделяет значение яркости входного изображения на множество отрезков, а затем интерполирует каждое значение яркости, размещая уставку для каждого из отрезков с целью установки коэффициента усиления U в 0, средство расчета связанного с яркостью коэффициента усиления устанавливает базовый коэффициент усиления в 0 и устанавливает величину изменения в 0 для всех отрезков. Хотя установка коэффициента усиления U в 0 не является установившейся практикой, обычно предпочтительно, чтобы коэффициент усиления U устанавливался, чтобы быть меньше, чем коэффициент усиления L.
В средстве 2 сглаживания по Фиг.1, с целью уменьшения каемочных артефактов, фильтр, имеющий большое количество отводов, необходим в КИХ-фильтре (FIR-фильтре, с конечной импульсной характеристикой). По этой причине, количество памяти неизбежно растет, что, в свою очередь, приводит к повышению себестоимости. Чтобы избежать этого, БИХ-фильтр (с бесконечной импульсной характеристикой) используется для предыдущих линий. В этом случае, память одиночной линии используется для результирующей предыдущей линии и, тем самым, количество строчных элементов может быть сокращено. Фиг.3 - схема, описывающая такой способ сокращения линейной памяти. Текущая линия (cur) и предыдущая линия (pre) заданы в уравнении 10 для описания новой предыдущей линии (New pre).
[Уравнение 10]
Здесь, N представляет коэффициент текущей линии, а M представляет коэффициент предыдущей линии. Отметим, что КИХ-фильтр используется для обработки будущих линий.
Фиг.4 - график, описывающий пример задания связанного с яркостью коэффициента усиления в средстве 3 расчета связанного с яркостью коэффициента усиления по Фиг.1. Средство 3 расчета связанного с яркостью коэффициента усиления заставляет коэффициент усиления изменяться в соответствии со значением Y яркости входного изображения. Например, средство 3 расчета связанного с яркостью коэффициента усиления может выполнять преобразование, удерживая коэффициенты усиления для всех значений яркости, но также, как показано на Фиг.4, может разделять значение яркости на многочисленные сегменты, задает заданные значения в соответственных отрезках и рассчитывает коэффициент усиления посредством выполнения интерполяции между ними.
Фиг.5 - график, описывающий расчет коэффициента усиления цветового контраста в средстве 4 расчета коэффициента усиления цветового контраста по Фиг.1. Средство 4 расчета коэффициента усиления цветового контраста и средство 8 умножения выполняют расчет способом, описанным ниже.
В цветовом пространстве, представленном яркостью (Y) и цветовым контрастом (Cb, Cr), шесть основных цветов (желтый, голубой, пурпурный, зеленый, красный и синий) показывают шестиугольную форму на графике с использованием Cb и Cr в качестве оси. Когда часть между синим и пурпурным берется в качестве примера, верхняя часть графика на Фиг.5 соответствует этой части.
Здесь предположим, что получено входное изображение (Cb, Cr), показанное треугольной фигурой в верхней части Фиг.5. Затем рассмотрим точку, соответствующую одному и тому же оттенку, то есть, точку (x, y), которая находится на прямой линии, проходящей через начало координат и (Cb, Cr), и в которой насыщение является наивысшим (удаленным от начала координат) на прямой линии. В этом случае точка, где насыщение выше, чем у синего основного цвета (Cb0, Cr1) и пурпурного основного цвета (Cb1, Cr1), не представима. Цвет, который является их промежуточным цветом и который имеет наивысшее насыщение, лежит на прямой линии, соединяющей два основных цвета (Cb0, Cr0) - (Cb1, Cr1). Таким образом, точка может быть получена согласно уравнению 11.
[Уравнение 11]
В дополнение, учитывая то, с каким соотношением точка (x, y) делит отрезок (Cb0, Cr0)-(Cb1, Cr1) линии, соотношение описывается Уравнением 12.
[Уравнение 12]
Кроме того, когда яркость основного цвета синего установлена в Y0, а яркость основного цвета пурпурного установлена в Y1, яркость Yr в точке (x, y) описывается следующим уравнением.
Yr = Y0 + (Y1 -Y0) × ratio
Яркостью, при которой насыщенность на прямой линии (одного и того же оттенка), проходящей через точку (Cb, Cr), показанную треугольной фигурой и началом координат, становится максимальной, является Yr.
Когда Y > Yr, что касается входного изображения (Y, Cb, Cr), справедливы следующие уравнения.
[Уравнение 13]
Кроме того, когда Y < Yr, справедливы следующие уравнения.
[Уравнение 14]
diff
В дополнение, когда используется изменение Y яркости, справедливо следующее уравнение.
unsharp
diff
Y = Y + Y
unsharp
Кроме того, когда Y > Yr, справедливы следующие уравнения.
[Уравнение 15]
unsharp
Кроме того, когда Y < Yr, справедливы следующие уравнения.
[Уравнение 16]
Более того, справедливы следующие уравнения.
[Уравнение 17]
Способом, описанным выше, может быть получен сигнал цветового контраста, который не изменяет оттенка, соответствующего яркости.
Такой же расчет выполняется, чтобы найти сигналы цветового контраста между другими комбинациями шести основных цветов.
Известная технология используется для обработки КИХ-фильтром и БИХ-фильтром в средстве сглаживания. Таким образом, подробное описание обработки здесь детально дано не будет.
Вариант 2 осуществления
В качестве более простого способа, средство 4 расчета коэффициента усиления цветового контраста и средство 8 умножения могут выполнять расчет с помощью следующего уравнения 18, где постоянное число задано для Cbgain и Crgain:
[Уравнение 18]
Предпочтительно, например, устанавливать +0,5 для коэффициента усиления U и -0,5 для коэффициента усиления L.
Как описано выше, устройство обработки изображений с увеличением резкости по настоящему изобретению может выполнять обработку с увеличением резкости наряду с изменением только яркости, без изменения оттенка, посредством расчета коэффициента усиления цветового контраста на основе связанного с яркостью коэффициента усиления.
В дополнение, количество линейной памяти может быть сокращено благодаря использованию БИХ-фильтра для предыдущих линий в средстве сглаживания.
Устройство обработки изображений с увеличением резкости по настоящему изобретению может быть реализовано в качестве схемы или может быть реализовано в качестве программного обеспечения, побуждающего компьютер выполнять обработку изображений с увеличением резкости.
Более того, настоящее изобретение не ограничено вышеупомянутым устройством обработки изображений с увеличением резкости. Настоящее изобретение может быть реализовано в качестве способа обработки изображений с увеличением резкости, в устройстве обработки изображений с увеличением резкости или в качестве программного обеспечения, побуждающего компьютер выполнять способ обработки изображений с увеличением яркости. Кроме того, такое программное обеспечение может быть выполнено в форме программного обеспечения, сохраняемого на машиночитаемом носителе, или загружаемого через сеть, такую как сеть Интернет.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Настоящее изобретение применимо в качестве устройства, способа и программного обеспечения для обработки изображений с увеличением резкости.