УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ, ПРОГРАММА ДЛЯ СПОСОБА ОБРАБОТКИ ИЗОБРАЖЕНИЯ И НОСИТЕЛЬ ЗАПИСИ, ПРЕДНАЗНАЧЕННЫЙ ДЛЯ ЗАПИСИ В НЕГО ПРОГРАММЫ ДЛЯ СПОСОБА ОБРАБОТКИ ИЗОБРАЖЕНИЯ
IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD AND RECORDING MEDIUM FOR PROGRAM FOR IMAGE PROCESSING METHOD

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройствам обработки изображения, способам обработки изображения, программам для способов обработки изображения, и носителям записи для записи на них программ для способов обработки изображения, и может применяться, например, для преобразования разрешающей способности. Настоящее изобретение позволяет эффективно предотвращать потерю высокочастотных компонентов и предотвращать появление зазубренных изображений благодаря детектированию направления градиента кромки с наибольшим градиентом значения пикселей и направления кромки, ортогонального направлению градиента кромки, и путем выполнения обработки улучшения и сглаживания кромки в направлении градиента кромки и в направлении кромки соответственно для генерирования выходных данных изображения.
Уровень техники
Описание предшествующего уровня техники
При обработке изображения преобразование разрешающей способности выполняют, например, с использованием линейной интерполяции или бикубического преобразования. Способ выполнения такой обработки изображения с упрощенной конфигурацией предложен, например, в японской публикации заявки на патент № 2003-224715.
Однако при такой обработке изображения на участках кромок возникают неровности (ступенчатое изображение), ступенчатое изображение. Когда характеристика линейной интерполяции или бикубического преобразования установлена так, что ступенчатое изображение не выделяется, возникает проблема, состоящая в потере высокочастотных компонентов изображения, и изображение становится размытым из-за снижения резкости. Поскольку на участках текстуры возникает значительная размытость изображения, характеристика такой обработки может быть изменена на участках текстуры. Однако в этом случае возникает неоднородность и мерцания в положениях изменения характеристик.
Сущность изобретения
Настоящее изобретение разработано с учетом приведенных выше проблем и в нем предложено устройство обработки изображения, способ обработки изображения, программа для способа обработки изображения и носитель записи, предназначенный для записи на него программы для способа обработки изображения, которые позволяют эффективно предотвращать потери высокочастотных компонентов и предотвращать появление ступенчатых изображений.
Для решения указанных выше проблем настоящее изобретение может быть реализовано в устройстве обработки изображения, предназначенном для обработки входных данных изображения и для вывода выходных данных изображения. Устройство обработки изображения включает блок детектирования кромки для детектирования направления градиента (уклона) кромки по наибольшему градиенту значений пикселей и направления кромки, ортогонального направлению градиента кромки, для каждого пикселя входных данных изображения; блок обработки направления кромки, предназначенный для выполнения обработки сглаживания данных изображения в направлении кромки для каждого пикселя выходных данных изображения в соответствии с результатом детектирования блока детектирования кромки и для последовательного вывода значений пикселей, соответствующих соответствующим пикселям выходных данных изображения; и блок обработки направления градиента кромки, предназначенный для выполнения обработки улучшения кромки в направлении градиента кромки по значениям пикселей, поступающих с выхода блока обработки направления кромки для соответствующих пикселей выходных данных изображения в соответствии с результатом детектирования блока детектирования кромки и для последовательного вывода значений пикселей выходных данных изображения.
Конфигурацию в соответствии с настоящим изобретением применяют в устройстве обработки изображения для обработки входных данных изображения и для вывода выходных данных изображения. Устройство обработки изображения включает блок детектирования кромки, предназначенный для детектирования направления градиента кромки с наибольшим градиентом значений пикселей и кромки в направлении, ортогональном направлению градиента кромки, для каждого пикселя входных данных изображения; блок обработки направления кромки, предназначенный для выполнения обработки сглаживания данных изображения в направлении кромки для каждого пикселя выходных данных изображения в соответствии с результатом детектирования блока детектирования кромки и для последовательного детектирования значений пикселей, соответствующих соответствующим пикселям выходных данных изображения; и блок обработки направления градиента кромки, предназначенный для выполнения обработки улучшения кромки в направлении градиента кромки по значениям пикселей, поступающим с выхода блока обработки направления кромки, для соответствующих пикселей выходных данных изображения в соответствии с результатом детектирования блока детектирования кромки и для последовательного вывода значений пикселей выходных данных изображения. Таким образом, обработку улучшения кромки и сглаживания выполняют в направлении градиента кромки с наибольшим градиентом значений пикселей и в направлении кромки, ортогональном направлению градиента кромки, соответственно для генерирования выходных данных изображения, таким образом обеспечивается эффективное предотвращение потери высокочастотных компонентов и исключается появление ступенчатого изображения.
Кроме того, настоящее изобретение применяют для реализации способа обработки изображения, предназначенного для обработки входных данных изображения и для вывода выходных данных изображения. Способ обработки изображения включает этап детектирования кромки, состоящий в детектировании направления градиента кромки с наибольшим градиентом значений пикселей, и направления кромки, ортогонального направлению градиента кромки, для каждого пикселя входных данных изображения; этап обработки направления кромки, состоящий в выполнении обработки сглаживания данных изображения в направлении кромки для каждого пикселя выходных данных изображения в соответствии с результатом детектирования на этапе детектирования кромки и последующего детектирования значений пикселей, соответствующих соответствующим пикселям выходных данных изображения; и этап обработки направления градиента кромки, состоящий в выполнении обработки улучшения кромки в направлении градиента кромки по значениям пикселей, детектированным на этапе обработки направления кромки для соответствующих пикселей выходных данных изображения, в соответствии с результатом детектирования на этапе детектирования кромки и последующего вывода значений пикселей выходных данных изображения.
Таким образом, при использовании конфигурации в соответствии с настоящим изобретением может быть предложен способ обработки изображения, позволяющий эффективно исключать потери высокочастотных компонентов и исключающий появление ступенчатого изображения.
Кроме того, настоящее изобретение может быть воплощено в программе, предназначенной для реализации способа обработки изображения, выполняемой средством арифметической обработки, для обработки входных данных изображения и для вывода выходных данных изображения. Программа включает этап детектирования кромки, состоящий в детектировании направления градиента кромки с наибольшим градиентом значений пикселей и направления кромки, ортогонального направлению градиента кромки, для каждого пикселя входных данных изображения; этап обработки направления кромки, состоящий в выполнении обработки сглаживания данных изображения в направлении кромки для каждого пикселя выходных данных изображения в соответствии с результатом детектирования, на этапе детектирования кромки, с последующим детектированием значений пикселей, соответствующих соответствующим пикселям выходных данных изображения; и этап обработки направления градиента кромки, состоящий в выполнении обработки улучшения кромки в направлении градиента кромки по значениям пикселей, детектированным на этапе обработки направления кромки, для соответствующих пикселей выходных данных изображения в соответствии с результатом детектирования на этапе детектирования кромки и с последующим выводом значений пикселей выходных данных изображения.
Таким образом, при использовании конфигурации в соответствии с настоящим изобретением может быть предложена программа, предназначенная для способа обработки изображения, позволяющая эффективно предотвращать потери высокочастотных компонентов и предотвращать появление ступенчатого изображения.
Кроме того, настоящее изобретение может быть реализовано в носители записи, который предназначен для записи на нем программы для способа обработки изображения, выполняемой средством арифметической обработки, для обработки входных данных изображения и для вывода выходных данных изображения. Программа для способа обработки изображения включает этап детектирования кромки, состоящий в детектировании направления градиента кромки с наибольшим градиентом значений пикселей и направления кромки, ортогонального направлению градиента кромки, для каждого пикселя входных данных изображения; этап обработки направления кромки, состоящий в выполнении обработки сглаживания данных изображения в направлении кромки для каждого пикселя выходных данных изображения, в соответствии с результатом детектирования на этапе детектирования кромки и с последующим выводом значений пикселей, соответствующих соответствующим пикселям выходных данных изображения; и этап обработки направления градиента кромки, состоящий в выполнении обработки улучшения кромки в направлении градиента кромки по значениям пикселей, детектированным на этапе обработки направления кромки, для соответствующих пикселей выходных данных изображения в соответствии с результатом детектирования, полученным на этапе детектирования кромки, и с последующим выводом значений пикселей выходных данных изображения.
Таким образом, при использовании конфигурации в соответствии с настоящим изобретением может быть предложен носитель записи, предназначенный для записи на нем программы для способа обработки изображения, позволяющего эффективно предотвращать потери высокочастотных компонентов и предотвращать возникновение ступенчатых изображений.
В соответствии с настоящим изобретением потеря высокочастотных компонентов может быть эффективно предотвращена и может быть предотвращено появление ступенчатого изображения.
Краткое описание чертежей
На фиг.1 показана функциональная блок-схема, представляющая конфигурацию устройства обработки изображения в соответствии с вариантом выполнения настоящего изобретения.
На фиг.2 показана схема генерирования матрицы градиента пикселей.
На фиг.3 показана схема, поясняющая направление градиента кромки и направление кромки.
На фиг.4 показана схема, поясняющая работу блока обработки направления кромки.
На фиг.5 показан график характеристической кривой, представляющий параметр, используемый для установки диапазона обработки сглаживания.
На фиг.6 показан график характеристической кривой, представляющий другой параметр, используемый для установки диапазона обработки сглаживания.
На фиг.7 показана схема, используемая для пояснения работы блока обработки направления градиента кромки.
На фиг.8 показан график характеристической кривой, представляющий параметр, используемый для установки блока обработки смешивания.
На фиг.9 показан график характеристической кривой, представляющий другой параметр, используемый для установки блока обработки смешивания.
Подробное описание изобретения
Варианты выполнения настоящего изобретения будут описаны с соответствующей ссылкой на чертежи.
(1) Конфигурация варианта выполнения:
На фиг.1 показана функциональная блок-схема, представляющая устройство обработки изображения в соответствии с вариантом выполнения настоящего изобретения. Устройство 1 обработки изображения построено, например, на основе цифрового процессора сигналов, выполняющего функцию средства арифметической обработки. При использовании заданной программы обработки, выполняемой средством арифметической обработки, разрешающая способность данных D1 изображения, которые представляют собой входные данные изображения, преобразуют в разрешающую способность, определяемую контроллером, который не показан, и выводят преобразованные данные изображения. В соответствии с этим устройство 1 обработки изображения генерирует выходные данные D2 изображения, получаемые в результате увеличения или уменьшения изображения, на основе данных D1 изображения, и выводит сгенерированные выходные данные D2 изображения в средство отображения или тому подобное.
Хотя в данном варианте выполнения программа обработки для средства арифметической обработки поставляется с предварительной ее установкой в устройстве обработки изображения, такая программа обработки может поставляться, например, путем загрузки через сеть, такую как Интернет, или может поставляться на различных носителях записи. Такие носители записи могут представлять собой различные носители записи, такие как оптические диски, карты памяти и приводы съемных жестких дисков.
В устройстве 1 обработки изображения блок 2 детектирования кромки детектирует направление градиента кромки с наибольшим градиентом значений пикселей и направление кромки, ортогональное направлению градиента кромки, для каждого пикселя данных D1 изображения. Другими словами, в блоке 2 детектирования кромки блок 3 генерирования матрицы градиента последовательно выбирает целевой пиксель, например, в порядке сканирования растра и, как показано на фиг.2, генерирует матрицу G градиента яркости, представленную следующим уравнением, путем выполнения арифметической обработки, с использованием значений пикселей в диапазоне W, с центром на целевом пикселе. На фиг. 2 показан пример, в котором ±3 пикселя в направлениях x и у, расположенные вокруг центра в виде целевого пикселя, установлены как диапазон W:
i,j
Кроме того, "w()" представляет вес Гаусса, представленный уравнением (2), и "g" представляет градиент яркости, представленный уравнением (3), с использованием частичного дифференциала "gx" в направлении x яркости I изображения и частичного дифференциала "gy" в направлении у яркости I изображения.
В соответствии с этим в блоке 2 детектирования кромки блок 3 генерирования матрицы градиента детектирует градиент яркости, получаемый путем взвешивания на основе целевого пикселя, в заданном диапазоне W, с центром на целевом пикселе.
1
2
В блоке 2 детектирования кромки следующий блок 4 детектирования собственного значения и собственного вектора детектирует направление v1 градиента кромки с наибольшим градиентом значений пикселей и направление v2 кромки, ортогональное направлению v1 градиента кромки, для целевого пикселя, как показано на фиг.3, путем обработки матрицы G градиента яркости, сгенерированной блоком 3 генерирования матрицы градиента. Кроме того, блок 4 детектирования собственного значения и собственного вектора детектирует собственные значения λ и λ, представляющие дисперсии градиентов значений пикселей в направлении v1 градиента кромки и в направлении v2 кромки соответственно.
1
2
1
2
Более конкретно блок 4 детектирования собственного значения и собственного вектора детектирует направление vl градиента кромки, направление v2 кромки и собственные значения λ и λ (λ>λ) в соответствии со следующей арифметической обработкой:
где значение "а" определено следующим условием:
Блок 5 обработки направления кромки рассчитывает направление vc кромки для пикселей данных D2 изображения, полученных после преобразования разрешающей способности, в соответствии с направлением v2 кромки для целевого пикселя данных D1 изображения, детектируемых, как описано выше с помощью блока 2 детектирования кромки, и последовательно рассчитывает значение пикселя, соответствующее каждому пикселю Рc выходных данных D2 изображения, путем обработки интерполяции на основе направления vc кромки.
Другими словами, как показано на фиг.4, блок 5 обработки направления кромки выполняет арифметическую обработку на основе следующего уравнения для пикселей данных D1 изображения (в примере, показанном на фиг.4, Р3, Р4, Р9 и Р10), расположенных рядом с пикселем Рс выходных данных D2 изображения, которые должны быть рассчитаны (ниже называется целевым пикселем данных D2 изображения), и рассчитывает направление vc кромки целевого пикселя Рс путем выполнения обработки интерполяции, с использованием направления v2 (v3, v4, v9 и v10) кромки соседних пикселей данных D1 изображения.
x
y
x
y
Здесь "t" и "t" представляют значения координат целевого пикселя для внутреннего разделения точек Р3, Р4, Р9 и Р10 выборки на основе данных D1 изображения в направлениях х и у, при этом удовлетворяются условия 0≤t<1 и 0≤t≤1.
Кроме того, в соответствии с направлением vc кромки для целевого пикселя Рс, рассчитанного, как описано выше, блок 5 обработки направления кромки устанавливает заданное количество точек Р-2, Р-1, Р+1 и Р+2 выборки на основе шага выборки в данных D1 изображения по точкам выборки для целевого пикселя Рс на линии в направлении vc кромки. Кроме того, значения пикселей точек Р-2, Р-1, Р+1 и Р+2 выборки и целевого пикселя Рс рассчитывают с помощью операции интерполяции, с использованием значений пикселей данных D1 изображения. В соответствии с этим, в соответствии с результатами детектирования блока 2 детектирования кромки, интерполированные данные изображения в направлении кромки, полученные на основе обработки интерполяции для входных данных D1 изображения, генерируют на линии, продолжающейся в направлении vc кромки, для каждого пикселя выходных данных D2 изображения.
Кроме того, в соответствии с результатом расчета блока 6 определения диапазона обработки направления кромки, который будет описан ниже, изменяют количество точек выборки, установленное, как описано выше, и изменяют последующую обработку фильтрации. Таким образом, изменяют количество отводов для обработки фильтрации в соответствии с достоверностью кромки в направлении vc кромки целевого пикселя. Более конкретно, например, в случае, когда последующую обработку фильтрации выполняют на основе фильтрации с 3 выводами, значение пикселя для целевого пикселя Рс рассчитывают с применением линейной интерполяции, с использованием периферийных пикселей Р3, Р4, Р9 и Р10, и значения пикселей предыдущих и последующих точек Р-1 и Р1 выборки рассчитывают с применением линейной интерполяции, с использованием Р2, Р3, Р8 и Р9; и Р4, Р5, Р10 и Р11 соответственно. В отличие от этого в случае, когда последующую обработку фильтрации выполняют на основе фильтрации с 5 выводами, значение пикселя для целевого пикселя Рс рассчитывают с применением линейной интерполяции, с использованием периферийных пикселей Р3, Р4, Р9 и Р10, и значения пикселей точек Р-2, Р-1, Р+1 и Р+2 выборки рассчитывают аналогичным образом.
Затем блок 5 обработки направления кромки сглаживает рассчитанные значения пикселей точек, указывает Р-2, Р-1, Р+1 и Р+2 выборки и целевого пикселя Рс путем обработки фильтрации и определяет значение Рс' пикселя для целевого пикселя Рс. Другими словами, для фильтрации, например, с 3 выводами значение Рс' пикселя для целевого пикселя Рс рассчитывают с использованием арифметической обработки, представленной следующим выражением:
В отличие от этого для фильтрации, например, с 5 выводами значения Рс' пикселя для целевого Рс пикселя рассчитывают с использованием арифметической обработки, представленной следующей формулой:
Как описано выше, в данном варианте выполнения значение пикселя, соответствующее пикселю выходных данных D2 изображения, рассчитывают путем выполнения обработки сглаживания по интерполированным данным изображения в направлении кромки. Таким образом, можно эффективно предотвращать потери высокочастотных компонентов и можно предотвращать возникновение ступенчатых изображений на кромке. Кроме того, операция интерполяции, предназначенная для генерирования таких интерполированных данных изображения, не обязательно должна быть линейной интерполяцией с использованием значений пикселей соседних пикселей, и можно широко применять различные способы операции интерполяции с использованием различных периферийных пикселей. Кроме того, арифметическая обработка для обработки фильтрации с использованием интерполированных данных изображения не обязательно должна быть арифметической обработкой на основе уравнений (10) или (11) и можно широко применять операции интерполяции с использованием различных взвешивающих коэффициентов.
В случае, когда значения пикселей в данных D2 изображения рассчитывают путем детектирования направления кромки для соответствующих пикселей, как описано выше, обработку сглаживания можно выполнять в направлении, ортогональном градиенту яркости на другом участке, чем кромка. В таком случае, если обработку фильтрации выполняют с большим количеством выводов, охватывающих широкий диапазон, качество изображения ухудшается. Однако в отличие от этого на участке кромки обработка фильтрации, выполняемая в широком диапазоне, более надежно предотвращает возникновение ступенчатого изображения и таким образом формирует гладкую кромку.
Таким образом, в данном варианте выполнения количество выводов для обработки фильтрации изменяют для каждого пикселя. При этом диапазон обработки сглаживания в направлении кромки изменяют для каждого пикселя. Кроме того, такой диапазон фильтрации изменяют в соответствии с достоверностью кромки в направлении vc кромки. Таким образом можно предотвратить снижение качества изображения из-за обработки сглаживания.
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
Более конкретно в данном варианте выполнения детектируют достоверность кромки в направлении vc кромки в соответствии с отношением λ/λ собственного значения λ для направления v2 кромки для собственного значения λ, для направления v1 градиента кромки. Другими словами, если отношение λ/λ мало, определяют, что градиент значения пикселя в направлении v1 градиента кромки является доминирующим в этом целевом пикселе и что более явно выраженная кромка появляется в направлении v2 кромки. Таким образом, как показано на фиг.5, блок 6 определения диапазона обработки направления кромки генерирует параметр р, который увеличивается, по существу, линейно, в соответствии с уменьшением величины отношения λ/λ, когда отношение λ/λ находится в пределах заданного диапазона между λ/λmin и λ/λmах и которое показывает максимальное значение ртах или минимальное значение pmin, когда отношение λ/λ находится за пределами заданного диапазона между λ/λmin и λ/λmax. В соответствии с этим генерируют параметр р, изменяющийся в зависимости от достоверности кромки, в направлении кромки.
1
1
1
1
1
1
Если собственное значение λ для направления v1 градиента кромки велико, контраст на кромке будет большим. Таким образом, такую кромку рассматривают как явно выраженную кромку. При этом, как показано на фиг.6, блок 6 определения диапазона обработки направления кромки генерирует параметр q, который увеличивается, по существу, линейно в соответствии с собственным значением λ в заданном диапазоне между λmin и λmax и который проявляет значение qmin нижнего предела или значение qmax верхнего предела в диапазоне меньшем или большем, чем диапазон между λmin и λmax. В соответствии с этим генерируют параметр q, изменяющийся в соответствии с нарастанием кромки.
Блок 6 определения диапазона обработки направления кромки выполняет умножение, представленное следующим уравнением для двух параметров р и q, для расчета диапазона r фильтрации, для обработки направления кромки:
1
2
1
2
1
2
Чтобы соответствовать точкам выборки данных D2 изображения при обработке в блоке 5 обработки направления кромки, блок 6 определения диапазона обработки направления кромки преобразует собственные значения λ и λ на основе точек выборки данных D1 изображения в собственные значения, на основе точек выборки данных D2 изображения, и рассчитывает диапазон r фильтрации. В этом случае после расчета диапазона r фильтрации по точкам выборки данных D1 изображения диапазон r фильтрации на основе точек выборки данных D2 изображения может быть рассчитан с использованием обработки интерполяции для результата расчетов. В отличие от этого после расчета собственных значений λ и λ на основе точек выборки данных D2 изображения, с использованием интерполяции собственных значений λ и λ на основе точек выборки данных D1 изображения можно рассчитать диапазон r фильтрации на основе точек выборки данных D2 изображения по результату расчета.
В соответствии с этим блок 5 обработки направления кромки изменяет количество выводов для обработки фильтрации в соответствии с диапазоном r, рассчитанным, как описано выше, и рассчитывает величину Рс' пикселя для целевого пикселя Рс данных D2 изображения.
При такой обработке фильтрации блок 5 обработки направления кромки выполняет обработку фильтрации на основе реального количества выводов, путем смешивания результатов обработки фильтрации. Таким образом, блок 5 обработки направления кромки преодолевает неестественность при изменении количества выводов, когда обработку фильтрации выполняют на основе полного количества выводов.
Другими словами, в блоке 5 обработки направления кромки определен фильтр с полным количеством выводов, представленный следующим уравнением. Здесь в качестве полного количества выводов применяют нечетное число, такое как 1, 3, 5….
Здесь "floor (n)" представляет максимальное полное количество выводов, не превышающих n, и "ceil (n)" представляет минимальное полное количество выводов, большее, чем n. Кроме того, для "nreal" применяют диапазон r, рассчитанный на основе условия (12). Таким образом, когда n=3,5, количество выводов "floor (n)" равно 3 и количество выводов "ceil(n)" равно 5.
Смешивание результатов обработки фильтрации выполняют путем расчета результата f(n) обработки фильтрации на основе реального количества, путем выполнения арифметической обработки, представленной следующим уравнением, с использованием двух типов результатов обработки фильтрации. Таким образом, блок 5 обработки направления кромки рассчитывает величину Рс' пикселя целевого пикселя Рс данных D2 изображения, путем выполнения обработки фильтрации на основе двух типов количества выводов в диапазоне r фильтрации и путем дальнейшего выполнения арифметической обработки, представленной уравнением (14), с использованием двух типов результатов обработки фильтрации. В соответствии с этим блок 5 обработки направления кромки рассчитывает значение Рс' пикселя для целевого пикселя Рс данных D2 изображения, путем выполнения обработки фильтрации на основе количестве выводов, соответствующих достоверности кромки, в направлении кромки и изменяет количество выводов в части десятичной дроби:
Блок 7 обработки направления градиента кромки выполняет обработку улучшения кромки в направлении v1 градиента кромки, используя значение Рс' пикселя для целевого пикселя Рс данных D2 изображения, рассчитанных, как описано выше, с помощью блока 5 обработки направления кромки. Другими словами, как показано на фиг.7, блок 7 обработки направления градиента кромки рассчитывает направление vg градиента кромки для целевого пикселя Рсс данных D2 изображения в соответствии с направлением v1 градиента кромки, на основе соседних точек выборки данных D1 изображения, как при расчете направления vc кромки для целевого пикселя Рс данных D2 изображения, выполняемом блоком 5 обработки направления кромки.
Кроме того, в соответствии с направлением vg градиента кромки для целевого пикселя Рсс, рассчитанного, как описано выше, блок 7 обработки направления градиента кромки устанавливает заданное количество точек Рс-1 и Рс+1 выборки на основе шага выборки в данных D2 изображения по точкам выборки для целевого пикселя Рсс, на линии в направлении vg градиента кромки. Кроме того, блок 7 обработки направления градиента кромки рассчитывает значение пикселей точек Рс-1 и Рс+1 выборки и целевого пикселя Рсс с помощью операций интерполяции, с использованием величин пикселей, поступающих с выхода блока 5 обработки направления кромки. В соответствии с этим, в соответствии с результатами детектирования блока 2 детектирования кромки блок 7 обработки направления градиента кромки генерирует интерполированные данные изображения в направлении градиента кромки, полученном с помощью обработки интерполяции для данных изображения, основанных на величинах пикселей, поступающих с выхода блока 5 обработки направления кромки, для линии, продолжающейся в направлении vg градиента кромки, для каждого пикселя выходных данных D2 изображения.
Затем блок 7 обработки направления градиента кромки выполняет обработку фильтрации по величинам пикселей точек Рс-1 и Рс+1 выборки и целевого пикселя Рсс, рассчитанного, как описано выше, и определяет значение Рсс' пикселя для целевого пикселя Рсс. В примере, показанном на фиг. 7, описан случай, когда значение Рсс' пикселя целевого пикселя Рсс рассчитывают с использованием трех выводов. Значение пикселя для точки Рс-1 выборки генерируют с использованием линейной интерполяции, на основе периферийных точек Pc1, Pc2, Рс4 и Рсс выборки, и значения пикселя точки Рс+1 выборки генерируют путем линейной интерполяции, на основе периферийных точек Рсс, Рс5, Рс7 и Рс8 выборки. В соответствии с этим блок 7 обработки направления градиента кромки выполняет улучшение кромки в направлении, которое пересекает кромку. При такой операции интерполяции для генерирования интерполированных данных изображения не обязательно требуется выполнять линейную интерполяцию с использованием значений расположенных рядом пикселей, и могут широко применяться способы операции интерполяции, с использованием различных периферийных пикселей. Кроме того, в качестве арифметической обработки для обработки фильтрации с использованием таких интерполированных данных изображения, широко применяют операцию интерполяции с использованием различных весовых коэффициентов.
Блок 8 обработки интерполяции преобразует разрешающую способность данных D1 изображения, например с использованием линейной интерполяции или бикубического преобразования, и выводит значения Ра пикселя на основе шага выборки, соответствующего данным D2 изображения.
2
1
2
1
Блок 9 определения соотношения смешивания генерирует весовые коэффициенты для смешивания в соответствии с достоверностью кромки в направлении vc кромки. Другими словами, когда выполняют обработку сглаживания в направлении кромки и выполняют улучшение кромки в направлении, ортогональном кромке, может произойти неестественное улучшение естественного изображения кромки. Таким образом, в данном варианте выполнения блок 10 обработки смешивания выполняет взвешенное суммирование значений Ра пикселя данных D2 изображения, сгенерированных блоком 8 обработки интерполяции, с использованием известной процедуры и величины Рсс' пикселя, сгенерированной блоком 7 обработки в направлении градиента кромки, для генерирования данных D2 изображения, при этом блок 9 определения соотношения смешивания изменяет взвешивающий коэффициент для обработки добавления взвешивания. Кроме того, блок 9 определения соотношения смешивания изменяет взвешивающий коэффициент в соответствии с достоверностью кромки в направлении кромки и это предотвращает излишнюю неестественность при обработке для кромки. Кроме того, отношение λ/λ собственного значения λ для направления v2 кромки к собственному значению λ для направления v1 градиента кромки применяют для достоверности кромки в направлении кромки.
2
1
2
1
2
1
2
1
2
1
2
1
2
1
2
1
Более конкретно, если отношение λ/λ мало, определяют, что градиент в направлении v1 градиента кромки является доминирующим в этом целевом пикселе и что более явно выраженная кромка появляется в направлении v2 кромки. Таким образом, как показано на фиг.8, блок 9 определения соотношения смешивания генерирует параметр s, который увеличивается, по существу, линейно, в соответствии с уменьшением значения отношения λ/λ, когда соотношение λ/λ находится в пределах заданного диапазона между λ/λmin и λ/λmax и который проявляет максимальное значение smax или минимальное значение smin, когда отношение λ/λ находится за пределами заданного диапазона между λ/λmin и λ/λmax. В соответствии с этим генерируют параметр s, изменяющийся в зависимости от достоверности кромки, в направлении кромки.
1
1
1
1
1
1
Если собственное значение λ для направления v1 градиента кромки велико, контраст на кромке будет большим. При этом такую кромку можно считать явно выраженной кромкой. Таким образом, как показано на фиг.9, блок 9 определения отношения смешивания генерирует параметр t, который увеличивается, по существу, линейно, в соответствии с собственным значением λ в заданном диапазоне между λmin и λmax и который проявляет значение tmin нижнего предела или значение tmax верхнего предела в диапазоне за пределами диапазона между λmin и λmax. В соответствии с этим генерируют параметр t, изменяющийся в соответствии с нарастанием кромки.
Блок 9 определения отношения смешивания выполняет умножение, представленное следующим уравнением, двух параметров s и t, для расчета взвешивающего коэффициента β, для смешивания (0≤β≤1):
1
2
1
2
1
2
Для того чтобы сопоставить точки выборки данных D2 изображения, блок 9 определения соотношения смешивания преобразует собственные значения λ и λ на основе точек выборки данных D1 изображения в собственные значения на основе точек выборки данных D2 изображения, и рассчитывает взвешивающий коэффициент α для смешивания. В этом случае, после того как взвешивающий коэффициент α для смешивания будет рассчитан по точкам выборки данных D1 изображения, взвешивающий коэффициент α для смешивания на основе точек выборки данных D2 изображения может быть рассчитан с использованием обработки интерполяции для результата расчета. В отличие от этого, после того как будут рассчитаны собственные значения λ и λ, на основе точек выборки 1 данных D2 изображения, путем интерполирования собственных значений λ и λ, на основе точек выборки данных D1 изображения, по результатам расчета может быть рассчитан взвешивающий коэффициент β для смешивания на основе точек выборки данных D2 изображения.
Блок 10 обработки смешивания выполняет взвешенное суммирование данных S3 изображения на основе значения Рсс' пикселя, рассчитанного с помощью блока 7 обработки направления градиента кромки и данных S11 изображения, по значению Ра пикселя, рассчитанному с помощью блока 8 обработки интерполяции, с использованием взвешивающего коэффициента β, полученного блоком 9 определения соотношения смешивания путем выполнения арифметической обработки, представленной следующим уравнением, и выводит результат обработки в виде данных D2 изображения.
(2) Работа варианта выполнения
При использовании описанной выше конфигурации входные данные D1 изображения (фиг.1) поступают в блок 2 детектирования кромки. В блоке 2 детектирования кромки последовательно для каждого пикселя детектируют направление v1 градиента кромки с наибольшим градиентом значений пикселя и направление v2 кромки, ортогональное к направлению v1 градиента кромки (фиг. 2 и 3). Кроме того, входные данные D1 изображения поступают в блок 5 обработки направления кромки. В блоке 5 обработки направления кромки данные изображения сглаживают в направлении v2 кромки для каждого пикселя выходных данных D2 изображения в соответствии с результатом детектирования блоком 2 детектирования кромки и последовательно рассчитывают значение Рс пикселя, соответствующее каждому пикселю выходных данных D2 изображения. Кроме того, значение Рс пикселя подают в блок 7 обработки направления градиента кромки в соответствии с результатом расчета. В блоке 7 обработки направления градиента кромки в соответствии с результатом детектирования блока 2 детектирования кромки выполняют улучшение кромки в направлении v1 градиента кромки для каждого пикселя выходных данных D2 изображения и рассчитывают значение пикселя выходных данных D2 изображения. В соответствии с этим, поскольку входные данные D1 изображения сглажены в направлении v2 кромки, можно эффективно исключить появление ступенчатого изображения. Кроме того, улучшение кромки выполняют в направлении v1 градиента кромки, ортогональном направлению v2 кромки. Таким образом, улучшают высокочастотные компоненты в направлении, ортогональном направлению кромки. Поэтому преобразование в данные D2 изображения выполняют при эффективном исключении потери высокочастотных компонентов и предотвращении возникновения ступенчатого изображения.
Путем выполнения описанной выше последовательности обработки в отношении входных данных D1 изображения в блоке 5 обработки направления кромки (фиг.4) генерируют интерполированные данные Рс изображения в направлении кромки на основе обработки интерполяции для входных данных D1 изображения для каждого пикселя выходных данных D2 изображения по линии, продолжающейся в направлении v2 кромки, в соответствии с результатом детектирования блока 2 детектирования кромки, и значение Рс' пикселя, соответствующее каждому пикселю выходных данных D2 изображения, последовательно рассчитывают путем обработки фильтрации данных Рс интерполированного изображения в направлении кромки, генерируемом, как описано выше. В соответствии с этим путем установки характеристики для обработки фильтрации выполняют обработку сглаживания в направлении v2 кромки и эффективно предотвращают появление ступенчатого изображения.
1
2
Что касается входных данных D1 изображения, в блоке 2 детектирования кромки блок 3 генерирования матрицы градиента генерирует матрицу G градиента яркости для каждого пикселя, и затем блок 4 детектирования собственного значения и собственного вектора обрабатывает эту матрицу G градиента яркости для детектирования направления градиента v1 кромки и направления v2 кромки. Одновременно также рассчитывают собственные значения λ и λ, представляющие дисперсию градиентов значения пикселя, для направления v1 градиента кромки и направления v2 кромки.
1
2
2
1
2
1
2
1
2
1
1
1
Среди результатов, рассчитываемых блоком 2 детектирования кромки для собственных значений λ и λ, отношение λ/λ собственного значения λ к собственному значению λ рассчитывают с помощью блока 6 определения диапазона обработки направления кромки. Отношение λ/λ уменьшается в то время, как градиент пикселя в направлении градиента кромки становится более доминирующим. В соответствии с этим детектируется достоверность кромки. Таким образом, в блоке 6 определения диапазона обработки направления кромки параметр р, представляющий достоверность кромки, генерируют в соответствии с отношением λ/λ (фиг.5). Таким образом, в данном варианте выполнения достоверность кромки рассчитывают путем эффективного использования матрицы G градиента, применяемой для расчета направления v1 градиента кромки и направления v2 кромки. Кроме того, поскольку собственное значение λ представляет степень выраженности кромки, параметр q, соответствующий параметру р, генерируют в соответствии с собственным значением λ (фиг.6). Помимо этого рассчитывают диапазон r фильтрации путем умножения параметров р и q.
Что касается входных данных D1 изображения, когда блок 5 обработки направления кромки выполняет обработку фильтрации по интерполированным данным Рс изображения в направлении кромки, для генерирования значения Рс' пикселя выходного изображения D2, количество выводов для обработки фильтрации изменяют в соответствии с диапазоном r фильтрации, сгенерированным блоком 6 определения диапазона обработки направления кромки, как описано выше. Если достоверность кромки высока, генерируют значение Рс' пикселя выходных данных D2 изображения путем выполнения обработки фильтрации интерполированных данных Рс изображения в направлении кромки в широком диапазоне. Если достоверность кромки мала, значение Рс' пикселя выходных данных D2 изображения генерируют путем выполнения обработки фильтрации в узком диапазоне. Таким образом, для входных данных D1 изображения количество выводов для обработки фильтрации, для направления v2 кромки изменяют в соответствии с достоверностью кромки. Таким образом, можно предотвратить излишнюю обработку сглаживания на других участках, кроме участка кромки, и можно эффективно исключить ухудшение качества изображения.
Кроме того, в результате выполнении обработки сглаживания, как описано выше, для данных D1 изображения, взвешивающий коэффициент α для обработки фильтрации (уравнение (12)) изменяют в соответствии с достоверностью кромки в направлении v2 кромки. Кроме того, при выполнении взвешенного суммирования результатов обработки фильтрации с различными количествами выводов, с использованием взвешивающего коэффициента α (уравнение (14)) количество выводов изменяют в части десятичной дроби. Таким образом исключают неестественность при изменении всего количества выводов.
Что касается данных изображения, полученных в результате расчета в блоке 5 обработки направления кромки, в блоке 7 обработки направления градиента кромки в соответствии с результатом детектирования блока 2 детектирования кромки генерируют интерполированные данные Рсс изображения в направлении градиента кромки, полученные путем обработки интерполяции для данных изображения, на основе значений пикселей, поступающих с выхода блока 5 обработки направления кромки, сгенерированных для каждого пикселя выходных данных D2 изображения на линии, продолжающейся в направлении v1 градиента кромки (фиг.7), и значение Рсс' пикселя выходных данных D2 изображения рассчитывают путем выполнения обработки фильтрации интерполированных данных Рсс изображения в направлении градиента кромки. В соответствии с этим благодаря установке характеристики для обработки фильтрации выполняют улучшение кромки в направлении v1 градиента кромки и генерируют данные D2 изображения.
Однако для вывода данных блока 7 обработки направления градиента кромки, сгенерированных как описано выше, когда обрабатывают данные D1 изображения на основе естественного изображения, контур может быть чрезмерно выражен. Таким образом, для данных D1 изображения блок 8 обработки интерполяции рассчитывает значение Р' пикселя для каждого пикселя выходных данных D2 изображения с использованием обработки интерполяции в соответствии с известной процедурой. В соответствии с этим хотя высокочастотные компоненты данных S11 изображения, сгенерированные с помощью блока 8 обработки интерполяции на основе известной процедуры, теряются, контур данных S11 изображения не будет чрезмерно усилен.
Для данных D1 изображения блок 10 обработки смешивания выполняет взвешенное суммирование данных S11 изображения, поступающих из блока 8 обработки интерполяции, и данных S3 изображения, поступающих из блока 7 обработки направления градиента кромки, в соответствии с изображением для генерирования выходных данных D2 изображения. Таким образом корректируют участок, в котором контур чрезмерно усилен, с использованием значения Ра' пикселя, в соответствии с известной процедурой и генерируют выходные данные D2 изображения. Поэтому в данном варианте выполнения можно предотвратить ухудшение качества изображения из-за чрезмерного усиления кромки.
2
1
2
1
1
В данном варианте выполнения аналогично случаю, когда рассчитывают диапазон r фильтрации в блоке 6 определения диапазона обработки направления кромки, достоверность кромки рассчитывают с использованием отношения λ/λ собственного значения λ к собственному значению λ, и взвешивающий коэффициент β для взвешивающего суммирования, выполняемого в блоке 10 обработки смешивания, рассчитывают в соответствии с достоверностью кромки (фиг.8). Кроме того, взвешивающий коэффициент β корректируют с использованием собственного значения λ (фиг.9). Таким образом, в данном варианте выполнения при такой обработке для предотвращения излишнего усиления кромки эффективно используют матрицу g градиента, используемую для расчета направления v1 градиента кромки и направления v2 кромки для расчета достоверности кромки, и взвешивающий коэффициент β устанавливают в соответствии с достоверностью кромки. Таким образом, можно предотвратить излишнее усиление кромки с использованием такой упрощенной конфигурации.
(3) Значение варианта выполнения
При использовании описанной выше конфигурации детектируют направление v1 градиента кромки с наибольшим градиентом значений пикселя и направление v2 кромки, ортогональное направлению v1 градиента кромки, и выполняют обработку улучшения кромки и обработку сглаживания в направлении v1 градиента кромки и в направлении v2 кромки соответственно для генерирования выходных данных D2 изображения. Таким образом, можно эффективно предотвратить потери высокочастотных компонентов и можно предотвратить появление ступенчатого изображения.
При обработке фильтрации для такой обработки сглаживания, после того, как интерполированные данные Рс изображения в направлении кромки, полученные в результате обработки интерполяции для входных данных D1 изображения, будут сгенерированы для каждого пикселя выходных данных D2 изображения на линии, продолжающейся в направлении v2 кромки, в соответствии с результатом детектирования блока 2 детектирования кромки, значение Рс' пикселя, соответствующее каждому пикселю выходных данных D2 изображения, последовательно детектируют путем выполнения обработки фильтрации интерполированных данных Рс изображения в направлении кромки. В соответствии с этим характеристику обработки фильтрации устанавливают по-разному и таким образом можно выполнять обработку сглаживания с требуемой характеристикой.
Кроме того, количество выводов для обработки фильтрации изменяют в соответствии с достоверностью кромки в направлении v2 кромки. Таким образом, может быть исключен неправильный процесс сглаживания на других участках помимо кромки.
Кроме того, взвешивающий коэффициент α для обработки фильтрации изменяют в соответствии с достоверностью кромки в направлении v2 кромки, и количество выводов изменяют в части десятичных дробей путем выполнения взвешенного суммирования результатов обработки фильтрации для различного количества выводов, с использованием взвешивающего коэффициента α для обработки фильтрации. Таким образом, путем изменения количества выводов, как описано выше, можно эффективно исключить неестественность при изменении общего количества выводов.
2
1
Кроме того, поскольку достоверность кромки в направлении v2 кромки представляет собой отношение дисперсии λ градиента значения пикселя в направлении v2 кромки к дисперсии λ градиента значения пикселя в направлении v1 градиента кромки, эффективно используется конфигурация для детектирования направления v1 градиента кромки и направления v2 кромки и можно эффективно предотвратить неестественность при изменении количества выводов.
В отличие от этого, после того как интерполированные данные Рсс изображения в направлении градиента кромки, полученные путем обработки интерполяции для данных Рс изображения, на основе значения Рс' пикселя, поступающего с вывода блока 5 обработки направления кромки, генерируемого для каждого пикселя в выходных данных D2 изображения на линии, продолжающейся в направлении v1 градиента кромки, в соответствии с детектируемым результатом блока 2 детектирования кромки, обработку улучшения кромки выполняют путем обработки фильтрации интерполированных данных Рсс в направлении градиента кромки. Таким образом, характеристику для обработки фильтрации устанавливают по-разному и таким образом может быть выполнено улучшение кромки с требуемой характеристикой.
Кроме того, последовательность обработки выполняют так, что шаг выборки выходных данных D2 изображения отличается от шага выборки входных данных D1 изображения, и шаг выборки изменяют одновременно при обработке сглаживания и обработки улучшения кромки. Блок 8 обработки интерполяции преобразует входные данные D1 изображения в интерполированные данные S11 изображения. Коэффициент β для смешивания изменяют в соответствии с достоверностью кромки в направлении v2 кромки. Взвешенное суммирование данных S3 изображения, поступающих с выхода блока обработки направления градиента кромки, и интерполированных данных S11 изображения выполняют в соответствии с взвешивающим коэффициентом β для смешивания, и на выход передают выходные данные D2 изображения. В соответствии с этим можно эффективно предотвратить излишнее улучшение кромки в естественном изображении.
(4) Другие варианты выполнения
Хотя в предыдущем варианте выполнения был описан случай, когда диапазон обработки сглаживания в направлении кромки изменяют в соответствии с изменением количества выводов, настоящее изобретение не ограничивается этим. Количество выводов можно также изменять в соответствии с изменением взвешивающего коэффициента для обработки сглаживания.
2
1
1
2
1
2
1
1
Кроме того, хотя был описан случай, в котором диапазон обработки сглаживания и взвешенного суммирования, выполняемого в блоке обработки смешивания, изменяют в соответствии с отношением собственного значения λ к собственному значению λ, и собственное значение λ было описано в предыдущем варианте выполнения, настоящее изобретение не ограничивается этим. Когда можно обеспечить практически достаточную характеристику, такие изменения могут быть выполнены только в соответствии с отношением собственного значения λ к собственному значению λ. Кроме того, вместо детектирования достоверности кромки, в соответствии с отношением собственного значения λ к собственному значению λ и собственным значением λ можно применять различные способы детектирования кромки. Кроме того, поскольку происходит излишняя коррекция кромки для взвешенного суммирования, выполняемого блоком обработки смешивания, в точке, в которой, например, листья дерева растут близко друг к другу, в естественном изображении такие изменения могут быть выполнены, например, в соответствии с характеристикой каждого участка изображения, детектируемой как характеристика частоты или подобное.
Кроме того, хотя в предыдущем варианте выполнения был описан случай, когда изменяют диапазон обработки сглаживания и взвешенного суммирования, выполняемого блоком обработки смешивания, настоящее изобретение не ограничивается этим. Когда можно обеспечить практически достаточную характеристику, такая обработка может быть исключена. Кроме того, одна такая обработка или обе такие обработки могут быть исключены в зависимости от типа изображения.
Кроме того, хотя в предыдущем варианте выполнения был описан случай, в котором изображение увеличивают или уменьшают путем изменения шага выборки во входных данных D1 изображения, настоящее изобретение не ограничивается этим. Настоящее изобретение также можно широко применять для обработки при коррекции кромки. В этом случае в блоке обработки направления кромки и в блоке обработки направления градиента кромки выполняют последовательность обработки, в соответствии с шагом выборки выходных данных изображения, который равен шагу выборки входных данных изображения. При этом исключают конфигурацию для обработки интерполяции, и блок 10 обработки смешивания выполняет взвешенное суммирование выходных данных блока 7 обработки направления градиента кромки и входных данных изображения. Таким образом можно просто выполнять улучшение кромки для входных данных изображения.
Кроме того, хотя в предыдущем варианте выполнения был описан случай, в котором средство арифметической обработки выполняет заданную программу для обработки данных изображения, настоящее изобретение не ограничивается этим. Настоящее изобретение также можно широко применять для случая, в котором данные изображения обрабатывают с использованием аппаратной конфигурации.
Промышленная применимость
Настоящее изобретение можно применять, например, для преобразования разрешающей способности.