(57)【要約】【課題】  本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用して、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できるようにする。【解決手段】  本発明は、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向にそれぞれエッジ強調処理、平滑化処理して画質を向上するようにして、異なる特性によりエッジ勾配方向、エッジ方向を検出し、各特性毎にエッジ強調、平滑化処理した後、各特性の処理結果を合成する。【選択図】        図１
2006221403.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを処理して出力画像データを出力する画像処理装置において、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、
前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、
前記複数の画像処理部は、
前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、
前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出部と、
前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記入力画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理部と、
前記エッジ検出部の検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理部から出力される画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理部とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ検出部は、
処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ勾配方向、前記エッジ方向を検出し、
前記複数の画像処理部は、
前記エッジ検出部における前記画素値の微分に供する微分演算子が異なるように設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記エッジ検出部は、
処理対象の画素を中心とした一定範囲の画素値を微分して、前記エッジ勾配方向、前記エッジ方向を検出し、
前記複数の画像処理部は、
前記エッジ検出部における前記一定範囲が異なる範囲に設定されて、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記異なる範囲の設定が、
前記入力画像データのダウンサンプリングによる処理に供するサンプリング数の設定である
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、
前記エッジ勾配方向、前記エッジ方向の信頼度を検出する信頼度計算部と、
前記信頼度計算部で検出される信頼度に応じて、前記エッジ勾配方向処理部から出力される画素値を前記入力画像データによる画素値により補正して前記画像データを出力するブレンド部を有する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記信頼度計算部は、
注目画素の前後、前記エッジ方向に、一定の間隔によりサンプリング点を設定し、
前記入力画像データより前記サンプリング点における画素値を求め、
前記画素値の比較により前記信頼度を検出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記信頼度計算部は、
前記注目画素及び前記サンプリング点の前後、前記エッジ勾配方向に、それぞれサブサンプリング点を設定し、
前記サブサンプリング点における画素値との合計値により、前記サンプリング点における画素値を求める
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記信頼度計算部は、
注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、
前記差分値の比較により、前記信頼度を検出する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項１０】
前記統合部は、
前記画像処理部で検出される、前記エッジ方向に係る画素値の勾配の分散と前記エッジ勾配方向に係る画素値の勾配の分散との比率に応じて、各画像処理部から出力される前記画像データの重み付け係数を設定し、
前記重み付け係数により前記画像データを重み付け加算して、前記出力画像データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
入力画像データを処理して出力画像データを出力する画像処理方法において、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
前記複数の画像処理のステップは、
前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理方法。
【請求項１２】
前記画像処理のステップは、
前記エッジ勾配方向、前記エッジ方向を検出するエッジ検出ステップと、
前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向に前記画像データを平滑化処理して、前記出力画像データの各画素に対応する画素値を順次出力するエッジ方向処理のステップと、
前記エッジ検出ステップの検出結果に基づいて、前記出力画像データの各画素毎に、前記エッジ方向処理のステップによる画素値を前記エッジ勾配方向に輪郭強調処理して、前記画像データの画素値を順次出力するエッジ勾配方向処理ステップとを有する
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムにおいて、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
前記複数の画像処理のステップは、
前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理方法のプログラム。
【請求項１４】
演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、
前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、
前記複数の画像処理のステップは、
前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定された
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えば解像度の変換に適用することができる。本発明は、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向にそれぞれエッジ強調処理、平滑化処理して画質を向上するようにして、異なる特性によりエッジ勾配方向、エッジ方向を検出し、各特性毎にエッジ強調処理、平滑化処理した後、各特性の処理結果を合成することにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できるようにする。
【背景技術】
【０００２】
従来、画像処理においては、例えば線型補間処理、バイキュービック変換処理により、解像度を変換するようになされており、例えば特開２００３−２２４７１５号公報には、このような画像処理を簡易な構成により実行する方法が提案されている。
【０００３】
しかしながらこのような画像処理においては、エッジの部分にジャギーが発生し、ジャギーが目立たなくなるように線型補間処理の特性、バイキュービック変換処理の特性を設定すると、画像より高周波成分が失われてシャープさの欠けたぼけた画像となる問題がある。なおこのような画像のぼけは、テクスチャーの部分で著しいことにより、テクスチャーの部分でこのような処理の特性を切り換えることも考えられるが、この場合、特性の切り換え箇所で異質感、ちらつきが発生する。
【特許文献１】特開２００３−２２４７１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は以上の点を考慮してなされたもので、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００５】
かかる課題を解決するため請求項１の発明においては、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備え、前記複数の画像処理部は、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【０００６】
また請求項１１の発明においては、入力画像データを処理して出力画像データを出力する画像処理方法において、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記複数の画像処理のステップは、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【０００７】
また請求項１３の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムに適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記複数の画像処理のステップは、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【０００８】
また請求項１４の発明においては、演算処理手段による実行により、入力画像データを処理して出力画像データを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理のステップと、前記複数の画像処理のステップから出力される前記画像データを合成して前記出力画像データを生成する統合のステップとを備え、前記複数の画像処理のステップは、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにする。
【０００９】
請求項１の構成により、入力画像データを処理して出力画像データを出力する画像処理装置に適用して、前記入力画像データの各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、前記エッジ勾配方向と直交するエッジ方向を検出し、前記エッジ勾配方向、前記エッジ方向にそれぞれ前記入力画像データをエッジ強調処理、平滑化処理して画像データを出力する複数の画像処理部と、前記複数の画像処理部から出力される前記画像データを合成して前記出力画像データを生成する統合部とを備えるようにすれば、高周波成分の喪失、ジャギーの発生を防止して、画質を向上することができる。また前記複数の画像処理部が、前記エッジ勾配方向、前記エッジ方向の検出に供する特性が異なる特性に設定されているようにすれば、１つの画像処理部でエッジ方向、エッジ勾配方向を検出できない場合、誤り検出した場合等であっても、他の画像処理部では、エッジ方向、エッジ勾配方向を正しく検出することができ、これにより確実に、画質を向上することができる。
【００１０】
これにより請求項１１、請求項１３、請求項１４の構成によれば、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上することができる画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１１】
本発明によれば、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１３】
（１）実施例の構成
図１は、本発明の実施例１に係る画像処理装置を示す機能ブロック図である。この画像処理装置１は、演算処理手段である例えばディジタルシグナルプロセッサにより形成され、この演算処理手段により所定の処理プログラムを実行することにより、入力画像データである画像データＤ１の解像度を図示しないコントローラにより指示された解像度に変換して出力する。これによりこの画像処理装置１では、画像データＤ１による画像を拡大、縮小した出力画像データＤ３を生成し、表示手段等に出力する。
【００１４】
なおこの実施例において、この演算処理手段に係る処理プログラムにおいては、この画像処理装置にプリインストールされて提供されるようになされているものの、このような処理プログラムの提供にあっては、例えばインターネット等によるネットワークを介したダウンロードにより提供するようにしてもよく、さらには種々の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体においては、光ディスク、メモリカード、着脱可能なハードディスク装置等、種々の記録媒体に広く適用することができる。
【００１５】
この画像処理装置１において、補間処理部２は、例えば線型補間処理、バイキュービック変換処理により、画像データＤ１の解像度を変換して出力画像データＤ３に対応するサンプリングピッチによる画素値Ｐａを出力する。
【００１６】
画像処理部３Ａ〜３Ｅは、それぞれ画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向を入力画像データＤ１の各画素毎に検出し、この検出したエッジ勾配方向、エッジ方向にそれぞれエッジ強調処理、平滑化処理して画像データＤ１の解像度を出力画像データＤ３の解像度に変換する。画像処理部３Ａ〜３Ｅは、一連の処理による解像度変換結果を補間処理部２から出力される画素値Ｐａによる画像データＳ１１と合成して画像データＤ２Ａ〜Ｄ２Ｅにより処理結果を出力し、これにより自然画における過度の輪郭強調を有効に回避する。
【００１７】
これら画像処理部３Ａ〜３Ｅは、このようなエッジ勾配方向、エッジ方向の検出に係る特性が異なる以外、同一に構成される。
【００１８】
レイヤ統合部４は、これら複数の画像処理部３Ａ〜３Ｅによる処理結果を合成して出力画像データＤ３を出力する。これによりこの画像処理装置１では、種々の特性による処理結果を統合して出力画像データＤ３を生成して、特定パターン等を表示する場合であっても、確実に、高周波成分の喪失、ジャギーの発生を防止して画像データＤ１の解像度を変換する。
【００１９】
図２は、画像処理部３Ａの構成を詳細に示すブロック図である。この画像処理部３Ａにおいて、エッジ検出部１２は、画像データＤ１の各画素毎に、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向と直交するエッジ方向を検出する。すなわちエッジ検出部１２において、勾配行列生成部１３は、例えばラスタ走査順に順次注目画素を切り換え、図３に示すように、この注目画素を中心とした範囲Ｗにおける画素値を用いた演算処理により、次式により表される輝度勾配の行列Ｇを各画素毎に生成する。なおここで図３は、注目画素を中心にしたｘ方向及びｙ方向の±３画素をこの範囲Ｗに設定した例である。
【００２０】
【数１】
2006221403.tif 000003
【００２１】
またｗ(i,j) は、（２）式により表されるガウス型の重みであり、ｇは、画像輝度Ｉのｘ方向の偏微分ｇx と、画像輝度Ｉのｙ方向の偏微分ｇy とにより（３）式で表される輝度勾配である。
【００２２】
【数２】
2006221403.tif 000004
【００２３】
【数３】
2006221403.tif 000005
【００２４】
これによりエッジ検出部１２において、勾配行列生成部１３は、注目画素を中心とした所定範囲Ｗについて、注目画素を基準にして重み付け処理してなる輝度勾配を検出する。
【００２５】
エッジ検出部１２において、続く固有値、固有ベクトル検出部１４は、この勾配行列生成部１３で生成した輝度勾配の行列Ｇを処理することにより、図４に示すように、注目画素において、画素値の勾配が最も大きい方向であるエッジ勾配方向ｖ１、このエッジ勾配方向ｖ１に直交する方向であるエッジ方向ｖ２を検出する。またこれらエッジ勾配方向ｖ１、エッジ方向ｖ２について、それぞれ画素値の勾配の分散を示す固有値λ１、λ２を検出する。
【００２６】
具体的に、固有値、固有ベクトル検出部１４は、次式の演算処理により、エッジ勾配方向ｖ１、エッジの方向ｖ２、固有値λ１、λ２（λ１≧λ２）を検出する。
【００２７】
【数４】
2006221403.tif 000006
【００２８】
【数５】
2006221403.tif 000007
【００２９】
【数６】
2006221403.tif 000008
【００３０】
【数７】
2006221403.tif 000009
【００３１】
但し、ａは、次式による。
【００３２】
【数８】
2006221403.tif 000010
【００３３】
エッジ方向処理部１５は、このようにしてエッジ検出部１２で検出された画像データＤ１の注目画素に係るエッジ方向ｖ２に基づいて、解像度変換後の画像データＤ２に係る各画素のエッジ方向ｖｃを計算し、このエッジ方向ｖｃに基づく内挿処理により出力画像データＤ２の各画素Ｐｃに対応する画素値を順次計算する。
【００３４】
すなわちエッジ方向処理部１５は、図５に示すように、計算対象である出力画像データＤ２の画素（以下、画像データＤ２に係る注目画素と呼ぶ）Ｐｃに隣接してなる画像データＤ１の各画素（この図５の例ではＰ３、Ｐ４、Ｐ９、Ｐ１０）について、次式の演算処理を実行することにより、画像データＤ１に係るこれら隣接する画素のエッジ方向ｖ２（ｖ3 、ｖ4 、ｖ9 、ｖ10）を用いた内挿処理により注目画素Ｐｃのエッジ方向ｖｃを計算する。
【００３５】
【数９】
2006221403.tif 000011
【００３６】
なおここで、ｔx 、ｔy は、それぞれ画像データＤ１によるサンプリング点Ｐ３、Ｐ４、Ｐ９、Ｐ１０をｘ方向及びｙ方向に内分する注目画素の座標値であり、０≦ｔx ≦１、０≦ｔy ≦１である。
【００３７】
さらにエッジ方向処理部１５は、このようにして計算される注目画素Ｐｃのエッジ方向ｖｃより、注目画素Ｐｃのサンプリング点からエッジ方向ｖｃの直線上に、画像データＤ１のサンプリングピッチによるサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２を所定個数だけ設定する。さらにこのサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２と注目画素Ｐｃとについて、画像データＤ１の画素値を用いた補間演算処理によりそれぞれ画素値を計算し、これによりエッジ検出部２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖｃに延長する直線上に、入力画像データＤ１の内挿処理によるエッジ方向の内挿画像データを生成する。
【００３８】
またこのとき後述するエッジ方向範囲の決定部１６による計算結果に従って、このようにして設定するサンプリング点の数を切り換え、また続くフィルタリングの処理を切り換え、これにより注目画素のエッジ方向ｖｃに係るエッジの信頼度に応じてフィルタリング処理のタップ数を切り換える。具体的に、例えば続くフィルタリングの処理を３タップのフィルタリングにより実行する場合、注目画素Ｐｃについては、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にして前後のサンプリング点Ｐ−１、Ｐ１については、それぞれＰ２、Ｐ３、Ｐ８、Ｐ９及びＰ４、Ｐ５、Ｐ１０、Ｐ１１を用いた線型補間により画素値を計算する。これに対して例えば続くフィルタリングの処理を５タップのフィルタリングにより実行する場合、注目画素Ｐｃについては、周辺画素Ｐ３、Ｐ４、Ｐ９、Ｐ１０を用いた線型補間により画素値を計算し、また同様にしてサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２について、画素値を計算する。
【００３９】
続いてエッジ方向処理部１５は、このようにして計算したサンプリング点Ｐ−２、Ｐ−１、Ｐ１、Ｐ２及び注目画素Ｐｃの画素値をフィルタリング処理により平滑化処理し、注目画素Ｐｃの画素値Ｐｃ’を決定する。すなわち３タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。
【００４０】
【数１０】
2006221403.tif 000012
【００４１】
これに対して５タップのフィルタリングによる場合には、例えば次式の演算処理により注目画素Ｐｃの画素値Ｐｃ’を計算する。
【００４２】
【数１１】
2006221403.tif 000013
【００４３】
これらによりこの実施例においては、エッジ方向の内挿画像データの平滑化処理により、出力画像データＤ２の画素に対応する画素値を計算するようになされ、これにより高周波成分の喪失を有効に回避しつつ、エッジにおけるジャギーの発生を防止するようになされている。なおこれら内挿画像データの生成に供する補間演算処理にあっては、隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた種々の補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、（１０）式、（１１）式について上述した演算処理に限らず、種々の重み付け係数による補間演算処理を広く適用することができる。
【００４４】
ところでこのように画素毎にエッジ方向を検出して画像データＤ２に係る画素値を計算する場合、エッジでは無い箇所で輝度勾配と直交する方向に平滑化処理する恐れもある。このような場合に、大きな範囲である多くのタップ数によりフィルタリング処理したのでは、却って画質を劣化することになる。しかしながらこれとは逆に、エッジの部分では、大きな範囲でフィルタリング処理して、一段と確実にジャギーの発生を防止して滑らかなエッジを形成することができる。
【００４５】
これによりこの実施例では、画素毎にフィルタリング処理するタップ数を切り換え、これにより画素毎にエッジ方向に平滑化処理する範囲を可変する。またこのような平滑化処理する範囲をエッジ方向ｖｃへのエッジの信頼度により可変し、これにより平滑化処理による画質劣化を防止する。
【００４６】
具体的に、この実施例では、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１により、このようなエッジ方向ｖｃへのエッジの信頼度を検出する。すなわちこの比率λ２／λ１が小さい場合には、この注目画素においては、エッジ勾配方向ｖ１の画素値の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりエッジ方向処理範囲の決定部１６は、図６に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｐｍａｘ及び最小値ｐｍｉｎとなるパラメータｐを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｐを生成する。
【００４７】
またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりエッジ方向処理範囲の決定部１６は、図７に示すように、所定の範囲λ１ｍｉｎ、λ１ｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λ１ｍｉｎ、λ１ｍａｘより値の小さい側及び大きい側では、それぞれ下限値ｑｍｉｎ、上限値ｑｍａｘとなるパラメータｑを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｑを生成する。
【００４８】
エッジ方向処理範囲の決定部１６は、これら２つのパラメータｐ及びｑについて、次式により表される乗算処理を実行し、これによりエッジ方向処理に係るフィルタリング処理の範囲ｒを計算する。
【００４９】
【数１２】
2006221403.tif 000014
【００５０】
なおエッジ方向処理範囲の決定部１６においては、エッジ方向処理部１５の処理に係る画像データＤ２のサンプリング点に対応するように、画像データＤ１のサンプリング点による固有値λ１、λ２を画像データＤ２のサンプリング点に係る固有値に変換してフィルタリング処理の範囲ｒを計算する。この場合に、画像データＤ１のサンプリング点によりフィルタリング処理の範囲ｒを計算した後、この計算結果の内挿処理により画像データＤ２のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよく、またこれとは逆に、画像データＤ１のサンプリング点に係る固有値λ１、λ２を内挿処理して画像データＤ２のサンプリング点に係る固有値λ１、λ２を計算した後、この計算結果から画像データＤ２のサンプリング点に係るフィルタリング処理の範囲ｒを計算するようにしてもよい。
【００５１】
しかしてエッジ方向処理部１５は、このようにして計算される範囲ｒによりフィルタリング処理のタップ数を切り換えて画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。
【００５２】
このフィルタリングの処理において、エッジ方向処理部１５は、フィルタリング結果の融合処理を実行することにより、実数値のタップ数によりフィルタリング処理を実行し、これにより整数値のタップ数によりフィルタリング処理した場合の、タップ数の切り換え時における不自然さを解消する。
【００５３】
すなわちエッジ方向処理部１５では、次式により示される整数値によるタップ数のフィルタが定義される。なおここでこの実施例において、この整数値のタップ数は、１、３、５、……による奇数値が適用される。
【００５４】
【数１３】
2006221403.tif 000015
【００５５】
ここでｆｌｏｏｒ（ｎ）は、ｎを越えない最大の整数のタップ数であり、ｃｅｉｌ（ｎ）は、ｎ以上の最小の整数のタップ数である。またｎｒｅａｌは、（１２）式により計算された範囲ｒが適用される。これによりｎ＝３．５の場合、ｆｌｏｏｒ（ｎ）はタップ数３であり、ｃｅｉｌ（ｎ）はタップ数５となる。
【００５６】
フィルタリング結果の融合処理は、これら２種類のフィルタリング処理結果を用いて次式の演算処理を実行することにより、実数値によるフィルタリング処理結果ｆ（ｎ）を計算して実行される。これによりエッジ方向処理部１５は、フィルタリング処理の範囲ｒによりこれら２種類のタップ数によるフィルタリング処理を実行し、さらにこれら２種類のフィルタリング処理結果を用いて（１４）式の演算処理を実行することにより、画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算する。これによりエッジ方向処理部１５は、エッジ方向へのエッジの信頼度に応じたタップ数によりフィルタリング処理して画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を計算するようにして、このタップ数を少数点以下の単位で可変するようになされている。
【００５７】
【数１４】
2006221403.tif 000016
【００５８】
エッジ勾配方向処理部１７は、このようにしてエッジ方向処理部１５で計算される画像データＤ２に係る注目画素Ｐｃの画素値Ｐｃ’を用いて、エッジ勾配方向ｖ１に輪郭強調処理を実行する。すなわちエッジ勾配方向処理部１７は、図８に示すように、エッジ方向処理部１５において、画像データＤ２に係る注目画素Ｐｃでエッジ方向ｖｃを計算したと同様にして、画像データＤ１に係る隣接するサンプリング点のエッジ勾配方向ｖ１より、画像データＤ２に係る注目画素Ｐｃｃのエッジ勾配方向ｖｇを計算する。
【００５９】
さらにエッジ勾配方向処理部１７は、このようにして計算される注目画素Ｐｃｃのエッジ勾配方向ｖｇより、注目画素Ｐｃｃのサンプリング点からエッジ勾配方向ｖｇの直線上に、画像データＤ２のサンプリングピッチによるサンプリング点Ｐｃ−１、Ｐｃ＋１を所定個数だけ設定する。さらにこのサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃとについて、エッジ方向処理部１５から出力される画素値を用いた補間演算処理によりそれぞれ画素値を計算する。これによりエッジ勾配方向処理部１７は、エッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖｇに延長する直線上に、エッジ方向処理部１５から出力される画素値による画像データの内挿処理によるエッジ勾配方向の内挿画像データを生成する。
【００６０】
続いてエッジ勾配方向処理部１７は、このようにして計算したサンプリング点Ｐｃ−１、Ｐｃ＋１と注目画素Ｐｃｃの画素値をフィルタリング処理し、注目画素Ｐｃｃの画素値Ｐｃｃ’を決定する。しかしてこの図８の例にあっては、３タップにより注目画素Ｐｃｃの画素値Ｐｃｃ’を計算する場合であり、サンプリング点Ｐｃ−１の画素値にあっては、周辺のサンプリング点Ｐｃ１、Ｐｃ２、Ｐｃ４、Ｐｃｃによる線型補間により生成され、またサンプリング点Ｐｃ＋１の画素値にあっては、周辺のサンプリング点Ｐｃｃ、Ｐｃ５、Ｐｃ７、Ｐｃ８による線型補間により生成される。これによりエッジ勾配方向処理部１７は、エッジを横切る方向に輪郭強調する。なおこれら内挿画像データの生成に供する補間演算処理にあっては、このような隣接する近傍画素の画素値を用いた線型補間に限らず、種々の周辺画素を用いた補間演算処理方法を広く適用することができる。またこの内挿画像データを用いたフィルタリング処理に係る演算処理についても、種々の重み付け係数による補間演算処理を広く適用することができる。
【００６１】
信頼度計算部１８は、エッジ勾配方向、エッジ方向についての信頼度ｆを計算する。このため信頼度計算部１８は、図９に示すように、処理対象の注目画素におけるエッジ方向ｖ２を用いて、この注目画素の近傍の前後、エッジ方向ｖ２に、一定のサンプリングピッチにより信頼度計算用のサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ（黒丸により示す）を設定し、これら各サンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値をエッジ方向処理部１５から出力される画素値より求める。なおエッジ方向処理部１５から出力される画像データより、これらサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値が得られない場合、信頼度計算部１８は、各サンプリング点の周辺画素の画素値を補間演算処理してそれぞれサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値を求める。因みにこの図９の例は、水平方向のサンプリングピッチを出力画像データＤ２のサンプリングピッチに設定して、注目画素の前後に２つのサンプリング点をそれぞれ設定した例である。
【００６２】
また信頼度計算部１８は、注目画素におけるエッジ勾配方向ｖ１を用いて、各信頼度計算用のサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄ、注目画素の前後、エッジ勾配方向ｖ１に、信頼度計算用のサブサンプリング点（白丸により示す）を設定し、これら各サブサンプリング点の画素値をエッジ方向処理部１５から出力される対応する画素値より求める。なおこの場合も、エッジ方向処理部１５から出力される画像データより、これらサブサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素値が得られない場合、信頼度計算部１８は、各サブサンプリング点の周辺画素の画素値を補間演算処理してそれぞれサブサンプリング点の画素値を求める。因みに、この図９の例は、垂直方向のサンプリングピッチを出力画像データＤ２のサンプリングピッチに設定して、エッジ方向ｖ２に係る各サンプリング点、注目画素の前後にそれぞれ１つのサンプリング点を設定した例である。
【００６３】
さらに信頼度計算部１８は、破線により示すように、注目画素、この注目画素のエッジ勾配方向ｖ１の前後のサンプリング点Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの画素について、それぞれエッジ勾配方向ｖ１の前後のサブサンプリング点の画素値との間で加算値Σ１〜Σ５を計算する。ここでこの注目画素において、エッジの延長する方向にはっきりとしたエッジが形成されている場合、このようにして計算される加算値Σ１〜Σ５にあっては、ほぼ等しい値が得られる。しかしながらこの注目画素において、エッジ方向ｖ２のエッジがはっきりとしたものではない場合、これらの加算値Σ１〜Σ５にあっては、ばらつきが大きくなる。
【００６４】
これにより信頼度計算部１８は、矢印Ａ１〜Ａ４により示すように、これら加算値Σ１〜Σ５において、隣接するサンプリング点による加算値Σ１及びΣ２、Σ２及びΣ３、Σ３及びΣ４、Σ４及びΣ５間でそれぞれ減算値を計算する。またこのようにして計算される各減算値を絶対値化して加算し、加算値ＳＡＤを計算する。
【００６５】
信頼度計算部１８は、図１０に示すように、所定の範囲ＳＡＤｍｉｎ、ＳＡＤｍａｘで、ＳＡＤに応じてほぼ直線的に値が減少し、これらの範囲ＳＡＤｍｉｎ、ＳＡＤｍａｘより値の小さい側及び値の大きい側では、それぞれ上限値１．０、下限値０となる信頼度のパラメータｅを生成する。
【００６６】
これにより信頼度計算部１８は、エッジ方向に一定の間隔によりサンプリング点を設定し、入力画像データＤ１よりサンプリング点における画素値を求め、この画素値の比較により信頼度を検出するようになされている。またこのとき、エッジ勾配方向に、各サンプリング点の前後にサブサンプリング点を設定し、このサブサンプリング点における画素値との合計値により、各サンプリング点に係る画素値を求めるようになされている。
【００６７】
さらに信頼度計算部１８は、次式により示すように、エッジ方向処理部１５から出力される対応する画素値より、注目画素の画素値Ｉ０から、この注目画素の水平方向に隣接する画素値Ｉ-1  、Ｉ+1  、この注目画素の垂直方向に隣接する画素値Ｉ-v、Ｉ+v、をそれぞれ減算して減算値ｄｉｆｆh1、ｄｉｆｆh2、ｄｉｆｆv1、ｄｉｆｆv2を計算する。
【００６８】
【数１５】
2006221403.tif 000017
【００６９】
ここでこのようにして計算される水平方向に係る減算値ｄｉｆｆh1、ｄｉｆｆh2、垂直方向に係る減算値ｄｉｆｆv1、ｄｉｆｆv2において、正負を示す符号が同符号の場合、この同符号の減算値が得られる方向については、注目画素で画素値が立ち上がっている場合であることにより、この方向については、エッジであることの信頼度は低いと言える。これにより信頼度計算部１８は、次式により示すように、水平方向及び垂直方向に係る減算値ｄｉｆｆh1、ｄｉｆｆh2及びｄｉｆｆv1、ｄｉｆｆv2について、それぞれ符号の一致不一致を判定する。また符号が一致する場合、この一致する方向の１組の減算値を絶対値化した後、値の小さな側を選択して水平方向及び垂直方向の総合の差分値ｄｉｆｆh 、ｄｉｆｆv に設定する。また符号が一致しない場合、水平方向及び垂直方向の総合の差分値ｄｉｆｆh 、ｄｉｆｆv を値０に設定する。
【００７０】
【数１６】
2006221403.tif 000018
【００７１】
さらに次式により示すように、このようにして計算される垂直方向の総合の差分値ｄｉｆｆh 、ｄｉｆｆv から値の大きい側を選択して信頼度計算用のパラメータｄｉｆｆを求める。
【００７２】
【数１７】
2006221403.tif 000019
【００７３】
信頼度計算部１８は、図１２に示すように、信頼度計算用のパラメータｄｉｆｆが所定の範囲ｄｉｆｆｍｉｎ、ｄｉｆｆｍａｘで、パラメータｄｉｆｆに応じてほぼ直線的に値が減少し、これらの範囲ｄｉｆｆｍｉｎ、ｄｉｆｆｍａｘより値の小さい側及び値の大きい側では、それぞれ上限値１．０、下限値０となる信頼度のパラメータｓ０を生成する。
【００７４】
さらに次式により示すように、このようにして求めた信頼度のパラメータｓ０を、信頼度のパラメータｅと乗算し、エッジの信頼度を示すパラメータｆを生成する。
【００７５】
【数１８】
2006221403.tif 000020
【００７６】
これにより信頼度計算部１８は、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、この差分値の比較により、信頼度を検出するようになされている。なおこれら信頼度の計算に供する画像データにあっては、必要に応じて、エッジ方向処理部１５の出力データに代えて、入力画像データＤ１を用いるようにしてもよい。
【００７７】
ブレンド比決定部１９は、エッジ方向ｖｃへのエッジの信頼度に応じてブレンド用の重み付け係数を生成する。すなわち上述したようにエッジ方向に平滑化処理し、エッジと直交する方向に輪郭強調する場合にあっては、自然画において、不自然に輪郭強調する場合がある。このためこの実施例においては、別途、補間処理部２で従来手法により生成した画像データＤ２に係る画素値Ｐａと、エッジ勾配方向処理部１７で生成される画素値Ｐｃｃ’とをブレンド処理部２０により重み付け加算して画像データＤ２を生成し、ブレンド比決定部１９は、この重み付け加算処理に係る重み付け係数を可変する。またこの重み付け係数の可変を、エッジ方向へのエッジの信頼度により可変し、これにより過度なエッジに係る処理の不自然さを防止する。またこのエッジ方向へのエッジの信頼度に、エッジ方向ｖ２の固有値λ２と、エッジ勾配方向ｖ１の固有値λ１との比率λ２／λ１、信頼度計算部１８で計算した信頼度ｆを適用して処理する。
【００７８】
具体的に、この比率λ２／λ１が小さい場合、この注目画素においては、エッジ勾配方向ｖ１の勾配が支配的であり、エッジ方向ｖ２に強いエッジであると判断することができる。これによりブレンド比決定部１９は、図１３に示すように、この比率λ２／λ１が一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘにおいては、比率λ２／λ１の値が低下するに従ってほぼ直線的に値が増加し、変数比率λ２／λ１の値がこの一定の範囲λ２／λ１ｍｉｎ、λ２／λ１ｍａｘ以外の場合には、それぞれ最大値ｓｍａｘ及び最小値ｓｍｉｎとなるパラメータｓを生成する。これによりエッジ方向へのエッジの信頼度に応じて値の変化するパラメータｓを生成する。
【００７９】
またエッジ勾配方向ｖ１の固有値λ１が大きい場合、エッジを挟んでコントラストが大きい場合であり、はっきりとしたエッジであると言える。これによりブレンド比決定部１９は、図１４に示すように、所定の範囲λｍｉｎ、λｍａｘで、固有値λ１に応じてほぼ直線的に値が増加し、これらの範囲λｍｉｎ、λｍａｘでは、それぞれ下限値ｔｍｉｎ、上限値ｔｍａｘとなるパラメータｔを生成する。これによりエッジの立ち上がりに応じて値の変化するパラメータｔを生成する。
【００８０】
ブレンド比決定部１９は、次式により示すように、これらパラメータｓ、ｔ、信頼度計算部１８で計算した信頼度のパラメータｆを乗算して、ブレンド用の重み付け係数β（０≦β≦１）を計算する。
【００８１】
【数１９】
2006221403.tif 000021
【００８２】
なおブレンド比決定部１９は、画像データＤ２に係るサンプリング点に対応するように、画像データＤ１のサンプリング点による固有値λ１、λ２を画像データＤ２のサンプリング点に係る固有値に変換してブレンド用の重み付け係数βを計算する。
【００８３】
ブレンド処理部２０は、次式の演算処理を実行することにより、エッジ勾配方向処理部１７で計算される画素値Ｐｃｃ’による画像データＳ３と、補間処理部２で計算される画素値Ｐａによる画像データＳ１１とをブレンド比決定部１９による重み付け係数βにより重み付け加算処理し、その処理結果を画像データＤ２により出力する。
【００８４】
【数２０】
2006221403.tif 000022
【００８５】
このようにしてそれぞれ画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向を検出して各方向にそれぞれエッジ強調処理、平滑化処理するようにして、画像処理部３Ａ〜３Ｅは、勾配行列生成部１３でｘ方向及びｙ方向の偏微分ｇx 及びｇy を計算する際の微分演算子の設定により、エッジ方向、エッジ勾配方向の検出に供する特性が異なる特性に設定される。
【００８６】
具体的に、第１〜第５の画像処理部３Ａ〜３Ｅは、（２１）〜（２５）式により表される微分演算子により、これらｘ方向及びｙ方向の偏微分ｇx 及びｇy をそれぞれ計算する。これによりこの画像処理装置１では、これら複数の画像処理部３Ａ〜３Ｅにおける微分演算子の位相特性を異ならせて、エッジ方向、エッジ勾配方向の検出に供する特性が異なるように設定され、１つ又は複数の画像処理部でエッジ方向、エッジ勾配方向を正しく検出できない場合、誤り検出した場合等にあっても、何れか１つの画像処理部では、これらを正しく検出できるようになされている。なおこのような微分演算子にあっては、位相特性に代えて、又は位相特性に加えて、周波数特性を異ならせるようにしてもよい。
【００８７】
【数２１】
2006221403.tif 000023
【００８８】
【数２２】
2006221403.tif 000024
【００８９】
【数２３】
2006221403.tif 000025
【００９０】
【数２４】
2006221403.tif 000026
【００９１】
【数２５】
2006221403.tif 000027
【００９２】
しかしてレイヤ統合部４は、これら複数の画像処理部３Ａ〜３Ｅのうちの１つで検出されるエッジ方向に係る画素値の勾配の分散λ１とエッジ勾配方向に係る画素値の勾配の分散λ２との比率に応じて、各画像処理部３Ａ〜３Ｅから出力される画像データＤ２Ａ〜Ｄ２Ｅの重み付け係数γを設定し、次式により示すように、この重み付け係数γにより画像データＤ２Ａ〜Ｄ２Ｅを重み付け加算して、出力画像データＤ３を生成する。
【００９３】
【数２６】
2006221403.tif 000028
【００９４】
なおこの実施例においては、（２１）〜（２５）式により判るように、第１の画像処理部３Ａにおける微分演算子の設定を基準にして、第２及び第５の画像処理部３Ｂ及び３Ｅ、第３及び第４の画像処理部３Ｃ及び３Ｄでそれぞれ微分演算子の設定が対称となるように設定され、レイヤ統合部４は、この基準となる第１の画像処理部３Ａで検出される分散λ１、λ２を用いて重み付け係数を生成する。
【００９５】
ここで図１４は、この重み付け係数γ０〜γ４の設定の１例を示す特性曲線図である。この図１４の例は、対称的に微分演算子が設定された２組の画像処理部についての重み付け係数の設定を示すものであり、レイヤ統合部４は、この対称的に微分演算子が設定された画像処理部の組毎に、所定の範囲で、相補的に値が変化するように重み付け係数を設定する。これによりこの図１４の例では、重み付け係数γ０及びγｎ、γ１及びγｎ−１がそれぞれ組を形成するようになされている。
【００９６】
なおこれによりレイヤ統合部４は、最終的に、重み付け係数の合計値が値１になるように、重み付け加算結果を正規化して出力画像データＤ３を出力する。またこれによりこのような複数の画像処理部３Ａ〜３Ｅの１つで検出される分散λ１、λ２による重み付け係数の設定による重み付け加算に代えて、各画像処理部３Ａ〜３Ｅで検出される分散λ１、λ２によりそれぞれ各画像処理部３Ａ〜３Ｅの重み付け係数を設定して重み付け加算した後、正規化するようにしてもよい。
【００９７】
（２）実施例の動作
以上の構成において、この画像処理装置１において（図１及び図２）、入力画像データＤ１は、第１の画像処理部３Ａのエッジ検出部１２に入力され、ここで各画素毎に、画素値の勾配が最も大きなエッジ勾配方向ｖ１と、このエッジ勾配方向ｖ１と直交するエッジ方向ｖ２とが順次検出される（（１）〜（８）式、図３及び図４）。また入力画像データＤ１は、エッジ方向処理部１５に入力され、ここでエッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ方向ｖ２に画像データを平滑化処理して、出力画像データＤ２の各画素に対応する画素値Ｐｃが順次計算される（（９）〜（１４）式、図５）。またこの計算結果による画素値Ｐｃがエッジ勾配方向処理部１７に入力され、ここでエッジ検出部１２の検出結果に基づいて、出力画像データＤ２の各画素毎に、エッジ勾配方向ｖ１に輪郭強調処理され、出力画像データＤ２の画素値が計算される（（９）〜（１４）式、図８）。
【００９８】
これにより入力画像データＤ１は、エッジ方向ｖ２には平滑化処理されることにより、ジャギーの発生を有効に回避することができる。またエッジ方向ｖ２と直交する方向であるエッジ勾配方向ｖ１には、輪郭強調され、これによりエッジ方向と直交する方向については、高周波成分が強調され、これらにより高周波成分の喪失を有効に回避しつつ、ジャギーの発生を防止して画像データＤ２に変換される。
【００９９】
しかしながらこのようにしてエッジ方向、エッジ勾配方向を検出して平滑化処理、輪郭強調処理する場合、エッジ方向、エッジ勾配方向の検出に供する特性によっては、エッジを正しく検出できない場合もあり、これにより例えば特定のパターンでエッジを正しく処理できないことが判った。
【０１００】
これによりこの画像処理装置１において、入力画像データＤ１は、この第１の画像処理部３Ａと同一の構成であって、エッジ方向、エッジ勾配方向の検出に供する特性が異なる第２〜第５の画像処理部３Ｂ〜３Ｅにも入力され、それぞれ画像処理部３Ａと同様にしてエッジ方向、エッジ勾配方向が検出されて平滑化処理、輪郭強調処理される。また第１〜第５の画像処理部３Ａ〜３Ｅによる処理結果がレイヤ統合部４により合成される（（２６）式）。
【０１０１】
これによりこの画像処理装置１では、これら５つの画像処理部３Ａ〜３Ｅのうちの１つの画像処理部でエッジ方向、エッジ勾配方向を検出できない場合、誤り検出した場合等であっても、他の画像処理部では、エッジ方向、エッジ勾配方向を正しく検出することができ、これにより異質感、ザラツキを防止して、確実に、画質を向上することができる。またエッジとテクスチャーとの弁別性能が向上し、これによっても画質を向上することができる。
【０１０２】
このようにして一連の処理を実行するにつき、入力画像データＤ１は、各画像処理部３Ａ〜３Ｅにおいて、それぞれエッジ検出部１２の勾配行列生成部１３で、各画素毎に輝度勾配の行列Ｇが生成され、この輝度勾配の行列Ｇが続く固有値、固有ベクトル検出部１４により処理されて、エッジ勾配方向ｖ１、エッジ方向ｖ２が検出される。
【０１０３】
各画像処理部３Ａ〜３Ｅにおいては、この輝度勾配の行列Ｇの生成に供する微分演算子が、異なる位相特性に設定され（（２１）〜（２５）式）、これによりそれぞれ異なる特性によりエッジ方向、エッジ勾配方向が検出される。これによりこの画像処理装置１では、特性の異なる複数の画像処理部３Ａ〜３Ｅを設けるようにして、これら画像処理部３Ａ〜３Ｅのほとんどを同一に構成し得、その分、全体の処理を簡略化することができる。
【０１０４】
また入力映像信号Ｓ１は、この輝度勾配の行列Ｇの処理により、併せてエッジ勾配方向ｖ１、エッジ方向ｖ２に係る画素値の勾配の分散を示す固有値λ１、λ２が計算される。ここでこれら固有値λ１、λ２による比率λ２／λ１にあっては、検出されたエッジ方向の確からしさを示し、この比率λ２／λ１は小さい場合、他の演算処理部による処理結果を採用した方が、正しくエッジを処理できることになる。
【０１０５】
これによりこの画像処理装置１では、第１の画像処理部３Ａで検出される固有値λ１、λ２がレイヤ統合部４に入力され、ここで固有値λ１、λ２の比率λ２／λ１に応じて各画像処理部３Ａ〜３Ｅによる処理結果の重み付け係数γが計算され（図１５）、この重み付け係数γを用いた重み付け加算により出力画像データＤ３が生成される（（２６）式）。これによりこの画像処理装置１では、一段と確実に画質を向上することができる。
【０１０６】
また各画像処理部３Ａ〜３Ｅでは、エッジ方向処理範囲の決定部１６において、固有値λ１、λ２の比率λ２／λ１によりエッジの信頼度を示すパラメータｐが生成され（図６）、また固有値λ１にあってはエッジの強さを示すことにより、この固有値λ１によりパラメータｐに対応するパラメータｑが生成される（図７）。またこれらパラメータｐ及びｑの乗算により、エッジ方向処理部１５におけるフィルタリング処理の範囲ｒが計算される。
【０１０７】
また入力画像データＤ１は、エッジ方向処理部１５において、エッジ方向の内挿画像データＰｃをフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’を生成する際に、このようにしてエッジ方向処理範囲の決定部１６で生成されたフィルタリング処理の範囲ｒによりフィルタリング処理のタップ数が切り換えられ、エッジの信頼度が高い場合には、広い範囲によりエッジ方向の内挿画像データＰｃをフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’が生成されるのに対し、エッジの信頼度が低い場合には、狭い範囲によりフィルタリング処理して出力画像データＤ２の画素値Ｐｃ’が生成される。これにより入力画像データＤ１は、エッジ方向ｖ２に係るフィルタリング処理のタップ数が、エッジの信頼度により切り換えられ（（１０）〜（１４）式）、エッジ以外の部位における過度の平滑化処理が防止され、画質劣化が有効に回避される。
【０１０８】
またこのようにして平滑化処理するにつき、画像データＤ１は、エッジ方向ｖ２へのエッジの信頼度に応じて、フィルタリング処理の重み付け係数αを切り換え（（１２）式）、この重み付け係数αを用いてタップ数の異なるフィルタリング処理結果を重み付け加算（（１４）式）することにより、このようなタップ数の切り換えが小数点以下の単位により実行され、これにより整数値によるタップ数の切り換え時における不自然さが解消される。
【０１０９】
ところでこのようにして映像信号を処理するにつき、各画像処理部３Ａ〜３Ｅによる処理結果においては、自然画において、過度に輪郭を強調する場合がある。これにより画像データＤ１は、補間処理部２において、従来手法による補間処理により出力画像データＤ２の各画素毎に画素値Ｐａ’が計算される。しかしてこのようにして補間処理部２で従来手法により生成される画像データＳ１１は、高周波成分が失われているものの、過度には輪郭が強調されていないことになる。
【０１１０】
各画像処理部３Ａ〜３Ｅにおいては、この補間処理部２からの画像データＳ１１と、エッジ勾配方向処理部１７からの画像データＳ３とが、ブレンド処理部２０において、画像に応じて重み付け加算処理されて出力画像データＤ２が生成される（（２０）式）。またエッジ方向処理範囲の決定部１６においてフィルタリング処理範囲ｒを計算した場合と同様に、ブレンド比決定部１９において、固有値λ１、λ２による比率λ２／λ１によりエッジの信頼度を示すパラメータｓが計算され（図１３）、また固有値λ１によって同様にエッジの信頼度を示すパラメータｔが生成され（図１４）、これらパラメータｓ、ｔにより重み付け係数βが計算される（（１９）式）。これにより過度に輪郭が強調されている部位については、従来手法による画素値Ｐａ’により補正されて出力画像データＤ２が生成される。これによりこの実施例では、過度な輪郭強調による画質劣化が防止される。
【０１１１】
また信頼度計算部１８において、注目画素の前後、エッジ方向ｖ２に、一定の間隔によりサンプリング点を設定し、エッジ方向処理部１５の出力データにより、各サンプリング点における画素値が求められ、この画素値の比較により、エッジ勾配方向、エッジ方向の信頼度を示す信頼度のパラメータｅが検出される（（１８）式、図９及び図１０）。またこの信頼度のパラメータｅによりブレンド比決定部１９で生成される重み付け係数βが補正され（（１９）式）、これにより特定のパターンにおける誤った処理が防止される。なおこのような特定のパターンにあっては、例えば信号レベルが大きく変化するエッジに、直線が直交している場合、２つのエッジが交差している場合等である。
【０１１２】
またこのとき、各サンプリング点及び注目画素の前後、エッジ勾配方向ｖ１に、それぞれサブサンプリング点を設定し、このサブサンプリング点における画素値との合計値により、サンプリング点における画素値が求められ、これによりこのような特定パターンにおける誤った処理が確実に防止される。
【０１１３】
また信頼度計算部１８において、注目画素に対して、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値が計算され、これら差分値の比較により、エッジ勾配方向、エッジ方向の信頼度を示す信頼度のパラメータｓ０が検出される（（１５）〜（１７）式、図１１及び図１２）。またこの信頼度のパラメータｓ０によってもブレンド比決定部１９で生成される重み付け係数βが補正され（（１９）式）、これによっても特定のパターンにおける誤った処理が防止される。なおこのような特定のパターンにあっては、例えば画素ピッチでモザイク状に明暗が繰り返される場合等である。
【０１１４】
（３）実施例の効果
以上の構成によれば、画素値の勾配が最も大きなエッジ勾配方向、このエッジ勾配方向に直交するエッジ方向にそれぞれエッジ強調処理、平滑化処理して画質を向上するようにして、異なる特性によりエッジ勾配方向、エッジ方向を検出し、各特性毎にエッジ強調処理、平滑化処理した後、各特性の処理結果を合成することにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できる。
【０１１５】
すなわち複数の画像処理部を設け、各画像処理部に、エッジ勾配方向、エッジ方向を検出するエッジ検出部と、このエッジ検出部の検出結果に基づいて、エッジ方向に平滑化処理するエッジ方向処理部と、このエッジ検出部の検出結果に基づいて、エッジ勾配方向に輪郭強調処理するエッジ勾配方向処理部とを設けることにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できる。
【０１１６】
またこのエッジ検出部において、処理対象の画素を中心とした一定範囲の画素値を微分して、エッジ勾配方向、エッジ方向を検出するようにして、この画素値の微分に供する微分演算子を異ならせて、エッジ勾配方向、エッジ方向の検出に供する特性を複数の画像処理部で異ならせることにより、これら複数の画像処理部における主要な構成を共通に構成して全体構成、全体の処理を簡略化することができる。
【０１１７】
また各画像処理部に、エッジ勾配方向、エッジ方向の信頼度を検出する信頼度計算部と、この信頼度計算部で検出される信頼度に応じて、エッジ勾配方向処理部から出力される画素値を入力画像データによる画素値により補正するブレンド部とを設けることにより、自然画における過度の輪郭強調を防止することができる。
【０１１８】
また注目画素の前後、エッジ方向に、一定の間隔によりサンプリング点を設定し、これらサンプリング点における画素値の比較によりこの信頼度を検出することにより、方向の異なる２つのエッジが接しているような特定のパターンにおける誤った処理を防止することができ、これにより確実に画質を向上することができる。
【０１１９】
またこの処理において、注目画素及びサンプリングの前後、エッジ勾配方向に、それぞれサブサンプリング点を設定し、このサブサンプリング点における画素値との合計値により、各サンプリング点における画素値を求めることにより、確実に、この種の特定パターンにおける誤った処理を防止することができ、これによっても画質を向上することができる。
【０１２０】
またこの処理において、注目画素と、垂直方向及び水平方向に隣接する隣接画素の画素値との差分値を計算し、これら差分値の比較により、信頼度を検出することにより、画素ピッチによりモザイク状に明暗が繰り返されるような特定のパターンにおける誤った処理を防止することができ、これによっても確実に画質を向上することができる。
【０１２１】
また複数の画像処理部による処理結果を合成する統合部において、画像処理部で検出される、エッジ方向に係る画素値の勾配の分散とエッジ勾配方向に係る画素値の勾配の分散との比率に応じて、各画像処理部から出力される画像データの重み付け係数を設定し、この重み付け係数により画像データを重み付け加算することにより、高周波成分の喪失、ジャギーの発生を防止して確実に画質を向上できる。
【実施例２】
【０１２２】
図１６は、本発明の第２の実施例に係る画像処理装置に適用される画像処理部を示すブロック図である。この画像処理装置は、図１について上述した第２〜第５の画像処理部３Ａ〜３Ｅに代えて、この図１６に示す画像処理部３３Ｂ〜３３Ｅが適用される点を除いて、実施例１に係る画像処理装置１と同一に構成される。またこの図１６に示すこれら画像処理部３３Ｂ〜３３Ｅにおいて、第１の画像処理部３Ａと同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【０１２３】
ここで第１の画像処理部３Ａ、これら画像処理部３３Ｂ〜３３Ｅは、エッジ検出部１２、４２においてエッジ勾配方向、エッジ方向に供する一定範囲が異なる範囲に設定され、これによりエッジ勾配方向、エッジ方向の検出に供する特性が異なる特性に設定される。
【０１２４】
より具体的に、これら画像処理部３３Ｂ〜３３Ｅにおいて、エッジ検出部４２は、それぞれダウンコンバータ４３Ｂ〜４３Ｅを介して勾配行列生成部１３に入力画像データＤ１を入力する。ここで第２の画像処理部３３Ｂに係るダウンコンバータ４３Ｂは、垂直方向及び水平方向に入力画像データＤ１のサンプリング数を１／２に低減して出力する。これに対して第３及び第４の画像処理部３３Ｃ及び３３Ｄに係るダウンコンバータ４３Ｃ及び４３Ｄは、垂直方向及び水平方向に入力画像データＤ１のサンプリング数をそれぞれ１／４、１／８に低減して出力する。また第５の画像処理部３３Ｅに係るダウンコンバータ４３Ｅは、垂直方向及び水平方向に入力画像データＤ１のサンプリング数を１／１６に低減して出力する。
【０１２５】
これらによりこの画像処理装置では、入力画像データＤ１のダウンサンプリングによる処理に供するサンプリング数の設定により、第１の画像処理部３Ａ、これら画像処理部３３Ｂ〜３３Ｅでエッジ勾配方向、エッジ方向に供する一定範囲を異なる範囲に設定するようになされている。なおこれらダウンコンバータ４３Ｂ〜４３Ｅは、間引きによるサンプリング数の低減により、又はフィルタを用いたサンプリング数の低減により、入力画像データＤ１のサンプリング数を低減する。
【０１２６】
またこれに対応してこれら画像処理部３３Ｂ〜３３Ｅは、それぞれエッジ方向処理範囲の決定部１６の出力値、ブレンド比決定部１９に入力する固有値λ１、λ２を、アップコンバータ４４Ｂ〜４４Ｅ、４５Ｂ〜４５Ｅによりアップコンパートする。
【０１２７】
なおこれらアップコンバータ４４Ｂ〜４４Ｅ、４５Ｂ〜４５Ｅは、前置補間によるサンプリング数の増大により、又はフィルタを用いたサンプリング数の増大により、アップコンパートの処理を実行する。
【０１２８】
この実施例のように、エッジ勾配方向、エッジ方向に供する一定範囲を異なる範囲に設定して、複数の画像処理部でエッジ勾配方向、エッジ方向の検出に供する特性を異なる特性に設定するようにしても、実施例１と同様の効果を得ることができる。
【０１２９】
またこの異なる範囲の設定を、入力画像データのダウンサンプリングによる処理に供するサンプリング数の設定により実行することにより、これら複数の画像処理部の主要な構成を共通化することができ、その分、全体の構成、処理を簡略化することができる。
【実施例３】
【０１３０】
なお上述の実施例２においては、エッジ方向処理部、ブレンド比決定部１９の入力でアップコンバートの処理を実行する場合について述べたが、本発明はこれに限らず、アップコンバートの処理においては、例えば各画像処理部の出力段で実行する場合等、必要に応じて種々の箇所に設定することができる。なおこのように画像処理部の出力段でアップコンバートの処理を実行する場合には、エッジ方向処理部１５、エッジ勾配方向処理部１７においても、ダウンコンバートして画像データを処理することが必要になり、これによりアップコンバートする箇所によって、適宜、ダウンコンバータを配置することが必要になる。
【０１３１】
また上述の実施例２においては、垂直方向及び水平方向の双方に、順次、サンプリング数を１／２に低減する場合について述べたが、本発明はこれに限らず、例えば垂直方向又は水平方向のみについてサンプリング数を１／２に低減する場合、さらにはこれらを組み合わせる場合等、ダウンコンバートの方向にあっては、種々に設定することができる。
【０１３２】
また上述の実施例２においては、ダウンコンバートによるサンプリング数の設定により、エッジ方向、エッジ勾配方向の検出に供する範囲を複数の画像処理部で異ならせる場合について述べたが、本発明はこれに限らず、エッジ方向、エッジ勾配方向の検出に供するフィルタ自体のタップ数を異ならせることにより、エッジ方向、エッジ勾配方向の検出に供する範囲を複数の画像処理部で異ならせるようにしてもよい。
【０１３３】
また上述の実施例においては、信頼度計算部１８において、２つの手法により信頼度のパラメータｅ及びｓ０を検出する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合、パラメータｅ又はｓ０のみを使用するようにしてもよい。
【０１３４】
また上述の実施例においては、タップ数の切り換えによりエッジ方向に係る平滑化処理範囲を可変する場合について述べたが、本発明はこれに限らず、平滑化処理に係る重み付け係数の可変により、等化的にタップ数を切り換えるようにしてもよい。
【０１３５】
また上述の実施例においては、平滑化処理範囲、ブレンド処理部における重み付け加算処理を固有値λ２、λ１の比率、固有値λ１により可変する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、固有値λ２、λ１の比率だけで可変するようにしてもよい。またこのような固有値λ２、λ１の比率、固有値λ１によるエッジの信頼度の検出に代えて種々の輪郭検出手法を適用することもできる。またブレンド処理部の重み付け加算処理に係る過度の輪郭補正にあっては、自然画において、木の葉が密集しているような箇所で発生することにより、例えば周波数特性等により検出される画像各部の特徴により可変するようにしてもよい。
【０１３６】
また上述の実施例においては、平滑化処理範囲、ブレンド処理部における重み付け加算処理を可変する場合について述べたが、本発明はこれに限らず、実用上十分な特性を確保できる場合には、これらの処理を省略するようにしてもよく、さらには画像の種類によって、これら何れかの処理、これら双方の処理を省略するようにしてもよい。
【０１３７】
また上述の実施例においては、入力画像データＤ１のサンプリングピッチを可変して画像を拡大、縮小する場合について述べたが、本発明はこれに限らず、単なる輪郭補正の処理にも広く適用することができる。この場合、エッジ方向処理部、エッジ勾配方向処理部においては、入力画像データのサンプリングピッチと等しい出力画像データのサンプリングピッチにより一連の処理を実行するようにし、また補間処理の構成を省略して、ブレンド処理部２０においては、エッジ勾配方向処理部１７の出力データと入力画像データとを重み付け加算することにより、単に入力画像データを輪郭強調することができる。
【０１３８】
また上述の実施例においては、演算処理手段により所定のプログラムを実行して画像データを処理する場合について述べたが、本発明はこれに限らず、ハードウエアの構成により画像データを処理する場合にも広く適用することができる。
【産業上の利用可能性】
【０１３９】
本発明は、例えば解像度の変換に適用することができる。
【図面の簡単な説明】
【０１４０】
【図１】本発明の実施例に係る画像処理装置の構成を示す機能ブロック図である。
【図２】図１の画像処理装置に係る画像処理部を示す機能ブロック図である。
【図３】画素勾配の行列の生成に供する略線図である。
【図４】エッジ勾配方向及びエッジ方向の説明に供する略線図である。
【図５】エッジ方向処理部の動作の説明に供する略線図である。
【図６】平滑化処理範囲の設定に供するパラメータを示す特性曲線図である。
【図７】平滑化処理範囲の設定に供する他のパラメータを示す特性曲線図である。
【図８】エッジ勾配方向処理部の動作の説明に供する略線図である。
【図９】信頼度計算部における信頼度の検出の説明に供する略線図である。
【図１０】信頼度のパラメータを示す特性曲線図である。
【図１１】信頼度計算部における他の信頼度の検出の説明に供する略線図である。
【図１２】図１１に係る他の信頼度のパラメータを示す特性曲線図である。
【図１３】ブレンド処理部の設定に供するパラメータを示す特性曲線図である。
【図１４】ブレンド処理部の設定に供する他のパラメータを示す特性曲線図である。
【図１５】統合部の処理に係るパラメータを示す特性曲線図である。
【図１６】他の実施例に係る画像処理装置の第２〜第５の画像処理部を示す機能ブロック図である。
【符号の説明】
【０１４１】
１……画像処理装置、２……補間処理部、３Ａ〜３Ｅ、３３Ｂ〜３３Ｅ……画像処理部、４……レイヤ統合部、１２、４２……エッジ検出部、１３……勾配行列生成部、１４……固有値、固有ベクトル検出部、１５……エッジ方向処理部、１６……エッジ方向処理範囲の決定部、１７……エッジ勾配方向処理部、１８……信頼度計算部、１９……ブレンド比決定部、２０……ブレンド処理部、４３Ｂ〜４３Ｅ……ダウンコンバータ、４４Ｂ〜４４Ｅ、４５Ｂ〜４５Ｅ……アップコンバータ
【図１】
2006221403.tif 000029
【図２】
2006221403.tif 000030
【図３】
2006221403.tif 000031
【図４】
2006221403.tif 000032
【図５】
2006221403.tif 000033
【図６】
2006221403.tif 000034
【図７】
2006221403.tif 000035
【図８】
2006221403.tif 000036
【図９】
2006221403.tif 000037
【図１０】
2006221403.tif 000038
【図１１】
2006221403.tif 000039
【図１２】
2006221403.tif 000040
【図１３】
2006221403.tif 000041
【図１４】
2006221403.tif 000042
【図１５】
2006221403.tif 000043
【図１６】
2006221403.tif 000044