(57)【要約】画像のそれぞれの画素について関連性を示す値を決定する画素の関連性を決定する装置が開示される。当該画素の関連性を決定する装置１００は、第一の画素値のグループに基づいて画素のうちの第一の画素３００の第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素３００の周辺に位置される画素のうちの第二の画素３０８の第二のエッジの方向を決定するエッジ決定手段１０２、及び、第一のエッジの方向を第二のエッジの方向と比較することに基づいて、画素のうちの第一の画素３００に対応して関連性を示す値のうちの第一の値を割り当てる割り当て手段１０４を有する。
2007520823.tif 000002
【特許請求の範囲】
【請求項１】
画像のそれぞれの画素について関連性を示す値を決定する画素の関連性を決定する装置であって、
当該画素の関連性を決定する装置は、
第一の画素値のグループに基づいて画素のうちの第一の画素の第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素の第二のエッジの方向を決定するエッジ決定手段と、
前記第一のエッジの方向を第二のエッジの方向と比較することに基づいて、前記画素の第一の画素に対応して関連性を示す値のうちの第一の値を割り当てる割り当て手段と、
を有することを特徴とする画素の関連性を決定する装置。
【請求項２】
前記割り当て手段は、前記第一のエッジの方向と前記第二のエッジの方向との間の角度が比較的小さい場合に、比較的大きい値を前記画素のうちの前記第一の画素に割り当てるために構成される、
請求項１記載の画素の関連性を決定する装置。
【請求項３】
前記第一の画素値のグループは、前記画素のうちの前記第一の画素を囲んでいる第一の画素のグループのそれぞれのルミナンス値に対応する、
請求項１記載の画素の関連性を決定する装置。
【請求項４】
前記第一の画素値のグループは、前記画素のうちの前記第一の画素を囲んでいる第一の画素のグループのそれぞれのカラー値に対応する、
請求項１記載の画素の関連性を決定する装置。
【請求項５】
前記エッジ決定手段は、ハイパスフィルタを有する、
請求項１記載の画素の関連性を決定する装置。
【請求項６】
前記割り当て手段は、前記画素のうちの前記第一の画素に対応する第一のエッジの勾配が予め決定された閾値を下回る場合に、比較的小さい関連性の値を前記画素のうちの前記第一の画素に割り当てるために構成される、
請求項２記載の画素の関連性を決定する装置。
【請求項７】
画像を表す信号を受信する受信手段と、
画像のそれぞれの画素について関連性を示す値を決定する、請求項１記載の画素の関連性を決定する装置と、
前記画像及び前記関連性の値に基づいて、出力画像を計算するフィルタリング手段と、
を有することを特徴とする画像処理装置。
【請求項８】
前記フィルタリング手段は、ピーキング手段を有し、前記画像の特定の画素について前記ピークング手段のピーキングゲインは、前記特定の画素に割り当てられている特定の関連性を示す値に依存する、
請求項７記載の画像処理装置。
【請求項９】
画像のそれぞれの画素について関連性を示す値を決定する方法であって、
第一の画素値のグループに基づいて前記画素のうちの第一の画素の第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素の第二のエッジの方向を決定するステップと、
前記第一のエッジの方向を第二のエッジの方向と比較することに基づいて、前記画素の第一の画素に対応して関連性を示す値のうちの第一の値を割り当てるステップと、
を含むことを特徴とする方法。
【請求項１０】
画像のそれぞれの画素について関連性を示す値を決定するための命令を含む、処理手段及びメモリを有するコンピュータ装置によりロードされるコンピュータプログラムプロダクトであって、
当該コンピュータプログラムプロダクトは、ロードされた後に、
第一の画素値のグループに基づいて前記画素のうちの第一の画素の第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素の第二のエッジの方向を決定することと、
前記第一のエッジの方向を第二のエッジの方向と比較することに基づいて、前記画素の第一の画素に対応して関連性を示す値のうちの第一の値を割り当てることと、
を実行する機能を前記処理手段に提供することを特徴とするコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のそれぞれの画素の関連性を示す値を決定する画素の関連性を決定する装置に関する。  
さらに、本発明は、画像を表す信号を受信する受信手段、先に記載された、画像のそれぞれの画素の関連性を示す値を決定する画素の関連性を決定する装置、並びに、画像とかかる決定装置の関連性の値とに基づいて出力画像を計算するフィルタリング手段とを有する画像処理装置に関する。
【０００２】
さらに、本発明は、画像のそれぞれの画素の関連性の値を決定する方法に関する。  
さらに、本発明は、画像のそれぞれの画素の関連性の値を決定するための命令を含む、処理手段及びメモリを有するコンピュータ装置によりロードされるコンピュータプログラムプロダクトに関する。
【背景技術】
【０００３】
開始節で記載された種類の方法の実施の形態は、米国特許ＵＳ６，１９２，１６２号から知られている。この特許では、計算されたパラメータに基づいて画素が分類される仕様が開示されている。計算されたパラメータは、画像の画素の周りのルミナンス値での遷移の指向性に対応する。それは、考慮されているそれぞれの画素について、少なくとも２つの指向性が、考慮されている画素に関連する水平方向又は垂直方向のそれぞれに位置される画素の画素値のペアを減算することで計算される。計算された指向性の値は、可能性のあるクラスの１つで対応する画素を分類するために閾値と比較される。その後、画素の割り当てられた画素の分類の値は、画像のエンハンスメントのためのブースト値を導出するために使用される。公知の分類方法の問題点は、雑音に対して感度が高いことである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、雑音に対して感度が低い開始節で記載された種類の画素の関連性を決定する装置を提供することにある。  
本発明の上記目的は、画素の関連性を決定する装置が、第一の画素値のグループに基づいて画素のうちの第一の画素について第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素について第二のエッジの方向を決定するエッジ決定手段、及び、第一のエッジの方向を第二のエッジの方向と比較することに基づいて、画素のうちの第一の画素に対応して関連性の値のうちの第一の画素を割り当てる割り当て手段を有する点で達成される。
【０００５】
関連性の値の割り当て、すなわち関連性の分類は、周辺の画素の推定される向きを比較することに基づいている。これは、画素の周辺の第二の画素の推定される第二のエッジの方向は、画素のうちの第一の画素の分類が考慮されることを意味する。典型的に、割り当て手段は、第一のエッジの方向と第二のエッジの方向との間の角度が比較的小さい場合に、比較的高い関連性の値を画素の第一の画素に割り当てるために構成される。これは、第一のエッジの方向と第二のエッジの方向との間の差が比較的小さい場合、画素の第一の画素の関連性の値は比較的高いことを意味する。これは、雑音がランダムであり、周辺の画素間の相関しない画素値の差となる一方で、比較的高い数の画素を通して延びるという仮設に基づいている。
【０００６】
典型的に、画素のうちの第一の画素及び画素のうちの第二の画素が接続される。接続された状態で、以下が意味される。一般に、画像における画素は、８つの周辺の画素に接続され、すなわち２つの画素が画素に関して水平方向に位置され、２つの画素が画素に関して垂直方向に位置され、４つの画素が画素に関して対角線上に位置される。
【０００７】
本発明に係る画素の関連性を決定する装置の実施の形態では、第一の画素値のグループは、画素のうちの第一の画素を囲んでいる画素の第一のグループのそれぞれのルミナンス値に対応する。任意に、画素のうちの第一の画素のルミナンス値は、第一のエッジの方向を計算するために適用される。典型的に、第一の画素のグループは、３*３又は５*５画素のアパーチャをもつカーネルにおける画素のうちの第一の画素の周囲に対称的に配置される。第二の画素値のグループは、画素の第二の画素を囲んでいる第二の画素のグループのそれぞれのルミナンス値に対応する。典型的に、第一の画素のグループは、第二の画素のグループと部分的にオーバラップする。
【０００８】
本発明に係る画素の関連性を決定する装置の他の実施の形態では、第一の画素値のグループは、画素のうちの第一の画素を囲んでいる第一の画素グループのそれぞれのカラーの値に対応する。任意に、ルミナンス及びカラー値の両者は、エッジ検出及びエッジの方向の推定のために使用される。
【０００９】
本発明に係る画素の関連性を決定する装置の実施の形態では、割り当て手段は、画素のうちの第一の画素に対応する第一のエッジの急勾配が予め決定された閾値以下にある場合、画素のうちの第一の画素に比較的に低い関連性の値を割り当てるために構成される。周囲の画素のエッジの方向を比較する以外に、エッジの勾配が分類のために考慮される。第一の画素グループの画素間の差が比較的低い場合、すなわち小さな遷移のみが存在する場合、エッジは関連性がないか、又は殆ど関連性がないと考えられる。それは、比較的低い関連性の値となる。  
典型的に、エッジ決定手段は、ハイパスフィルタを有する。たとえば１以上のソーベルフィルタである。
【００１０】
本発明の更なる目的は、雑音に対して感度が低い、開始節で記載された種類の画素の関連性を決定する装置を有する画像処理装置を提供することにある。
【００１１】
上記目的は、画素の関連性を決定する装置が、第一の画素値のグループに基づいて画素のうちの第一の画素について第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素について第二のエッジの方向を決定するエッジ決定手段、及び、第一のエッジの方向を第二のエッジの方向と比較することに基づいて、画素の第一の画素に対応して関連性の値のうちの第一の画素を割り当てる割り当て手段を有する点で達成される。
【００１２】
本発明の更なる目的は、雑音に対する感度が低い、開始節で記載された種類の方法を提供することにある。  
本発明の上記目的は、本方法が、第一の画素値のグループに基づいて画素のうちの第一の画素について第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素について第二のエッジの方向を決定するステップ、及び、第一のエッジの方向を第二のエッジの方向と比較することに基づいて、画素の第一の画素に対応して関連性の値のうちの第一の画素を割り当てるステップを含む点で達成される。
【００１３】
本発明の更なる目的は、雑音に対する感度が低い、開始節で記載された種類のコンピュータプログラムプロダクトを提供することにある。  
本発明の上記目的は、コンピュータプログラムプロダクトが、ロードされた後に、第一の画素値のグループに基づいて画素のうちの第一の画素について第一のエッジの方向を決定し、第二の画素値のグループに基づいて、前記第一の画素の周辺に位置される画素のうちの第二の画素について第二のエッジの方向を決定し、及び、第一のエッジの方向を第二のエッジの方向と比較することに基づいて、画素の第一の画素に対応して関連性の値のうちの第一の画素を割り当てることを実行する機能を前記処理手段に提供することで達成される。
【００１４】
画素の関連性を決定する装置の変更及びその変形例は、記載される画像処理装置、方法及びコンピュータプログラムプロダクトの変更及び変形に対応する場合がある。  
本発明に係る、画素の関連性を決定する装置、画像処理装置、方法、コンピュータプログラムプロダクトのこれらの態様及び他の態様は、添付図面を参照して以下に記載される実現及び実施の形態に関して明らかにされるであろう。同じ参照符号は、図面を通して類似の部材を示すために使用される。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明に係る画素の関連性を決定する装置１００の実施の形態を示すブロック図である。画素の関連性を決定する装置１００には、その入力コネクタ１０６で画像データが供給される。この画像データは、静止画に対応する場合がある。代替的に、画像データは、ビデオ画像の系列に対応する。画素の関連性を決定する装置は、それぞれの画像について画素の関連性のマップを計算するために構成される。画素の関連性のマップは、関連性の値からなる二次元のアレイである。二次元のアレイのそれぞれのエレメントは、入力画像のそれぞれの画素に対応する。画素の関連性のマップは、画素の関連性を決定する装置１００の出力コネクタ１０８で提供される。
【００１６】
画素の関連性を決定する装置１００は、入力画像の画素のエッジの方向を計算するエッジの方向を計算するユニット１０２と、計算されたエッジの方向に基づいて入力画像の画素に対応する関連する値を割り当てる画素の関連性を割り当てる装置１０４とを有する。エッジの方向を計算する装置１０２は、第一の画素値のグループに基づいて画像の画素のうちの第一の画素の第一のエッジ方向を決定し、第二の画素値のグループに基づいて画素のうちの第二の画素の第二のエッジ方向を決定するために構成され、画素のうちの第二の画素は、画素のうちの第一の画素の周囲に位置される。エッジの方向を計算する１０２は、ソーベルフィルタの組み合わせに基づいており、このカーネル係数は、以下に示される。
【００１７】
【数１】
2007520823.tif 000003
エッジの方向を計算する装置１０２は、ソーベルフィルタの小さな出力信号をクリップする手段、及び、２つのソーベルフィルタの２つのクリップされた出力間の比を計算する計算手段を更に有する。かかる比の値は、エッジの方向に直接関係しており、カーネルの中央に位置される対応する画素に時間的な結果として割り当てられる。特定の画素及び特定の画素が接続される画素のエッジの方向が計算された後、特定の画素の関連性の値は、画素の関連性の割り当て装置１０４により計算される。この画素の関連性の割り当てユニット１０４は、図３Ａ及び図３Ｂと共に更に詳細に記載される。好ましくは、画像の画素は行毎のスキャン、又は列毎のスキャンで処理される。
【００１８】
要約すると、画素の関連性を決定する装置１００は、画像の画素の関連性を決定するために構成される。特定の画素の関連性は、この特定の画素がエッジに属するか、周囲の画素のエッジの方向がこの特定の画素のエッジの方向と実質的に整合するかに依存する。画素の関連性のマップは、画像のエンハンスメントを制御するために使用されるのが好ましい。関連する画素が強調され、典型的に無関係の画素は強調されないか、さらにぼやける。好ましくは、エンハンスメントの量は、関連性の値に直接関連する。雑音の多い画像は、鮮鋭度が保持されたままで多数の雑音を失うこと、比較的多くのブロッキングアーチファクトをもつ画像は、鮮鋭度が保持されたままでこれらブロッキングアーチファクトの大部分を失うこと、クリーンな画像、すなわち雑音が殆どない画像はそれらの鮮鋭度が保持されたままであることを実験が示している。
【００１９】
図２は、本発明に係る画素の関連性を決定する装置１００を有する画像エンハンスメント装置２００の実施の形態を示すブロック図である。画像エンハンスメント装置２００には、その入力コネクタ２０６で入力画像が提供され、その出力コネクタ２０８で出力画像を供給するように構成される。画像エンハンスメント装置２００は、供給された入力画像に基づいて低域成分がろ波された中間画像を計算するために構成されるロウパスフィルタ２０２を有する。画素の関連性を決定する装置１００は、それぞれの画像について、図１と共に記載されるように、画素の関連性のマップを計算するために構成される。画像エンハンスメント装置２００は、ハイパスフィルタ２０４、すなわちピーキングフィルタを更に有し、このピーキングフィルタは、ロウパスフィルタリングされた中間画像とそれぞれの画素の関連性のマップとに基づいて出力画像を計算するために構成される。ハイパスフィルタ２０４は、画素毎に制御され、これは、それぞれの画素のピーキング量が対応する画素の関連性の値により決定されることを意味する。特定の画素について、画素の関連性の値は比較的高く、ピーキングのゲインも比較的高い。
【００２０】
エッジの方向を計算する装置１０２、画素の関連性を割り当てる装置１０４、ロウパスフィルタ２０２及びハイパスフィルタ２０４は、１つのプロセッサを使用して実現される場合がある。通常、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行の間、通常は、ソフトウェアプログラムプロダクトはＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、若しくは磁気及び／又は光ストレージのようなバックグランドメモリからロードされるか、又はインターネットのようなネットワークを介してロードされる場合がある。任意に、特定用途向け集積回路は、開示された機能を提供する。
【００２１】
図３Ａは、画像の画素３００〜３１６のグループを示す。１つの中央の画素３００と、この中央の画素３００に接続される８つの周辺の画素３０２〜３１６が存在する。図３Ａは、グループの異なる画素３００〜３１６について推定されるエッジの方向の値２，４，６，８を示している。周囲の画素のうちの画素３０６について、エッジの方向を計算することができない。これは、周辺の画素のうちの画素３０６のエッジ計算の結果が予め決定された閾値を下回っていたことを意味する。エッジの方向の値の意味は、図３Ｂに示されており、すなわち円のセグメントがエッジの方向に対応する。中央の画素３００は値２に等しいエッジの方向が割り当てられていることがわかる。４つの隣接する画素３０２，３０４，３０８及び３１４は、同じエッジの方向、すなわち２が割り当てられている。これら４つの隣接する画素は、それらが同じエッジの方法を有するため、中央の画素３００の画素の関連性の値に比較的高く寄与する。右の隣接する画素３１０は、中央の画素のエッジの方向とは僅かに異なる。したがって、この特定の画素への寄与は、先に記載された他の４つの画素３０２，３０４，３０８及び３１４のそれぞれの寄与よりも小さい。同じことが参照符号３１２をもつ画素について当てはまる。参照符号３１６をもつ画素の寄与は、さらに小さい。
【００２２】
言い換えれば、中央の画素３００の関連性の値は、そのエッジ方法をその近隣の画素のそれぞれのエッジの方向と比較することで計算される。中央の画素３００の関連性の値は、整合の結果の累積により計算される。全体的に、８つの整合、すなわち接続された隣接する画素３０２〜３１６のそれぞれによる整合が実行される。整合の結果は、中央の画素３００のエッジの方向とそれぞれ隣接する画素３０２〜３１６の間の差に依存する。図１に示されるような画素の関連性を割り当てる装置１０４は、整合の結果のこれらのタイプの整合及び累積を実行するために構成される。
【００２３】
なお、これら８つの画素を超える画素による整合も可能である。代替的に、全ての隣接する画素が考慮されない。更なる代替は、一時的な隣接する画素、すなわち考慮されている画像が属する画像の系列の他の画像からの画素を考慮することに基づいている。そのケースでは、アパーチャは、いわゆる空間−時間アパーチャである。
【００２４】
図４は、本発明に係る画像処理装置４００の実施の形態を示す図であり、以下の構成を有している。受信手段４０２は、入力画像を表す信号を受信する。画像エンハンスメント装置２００は、図２と共に記載される装置である。ディスプレイ装置４０４は、画像処理装置２００の出力画像を表示する。
【００２５】
信号は、アンテナ又はケーブルを介して受信されたブロードキャスト信号であるが、ＶＣＲ（Video  Cassette  Recorder）又はＤＶＤ（Digital  Versatile  Disc）のようなストレージ装置からの信号である場合もある。信号は、入力コネクタ４０６で供給される。画像処理装置４００は、たとえばＴＶである場合がある。代替的に、画像処理装置４００は、任意のディスプレイ装置を有するが、ディスプレイ装置４０６を有する装置に出力画像を供給する。次いで、画像処理装置４００は、たとえばセットトップボックス、サテライトチューナ、ＶＣＲプレーヤ、ＤＶＤプレーヤ又はレコーダである場合がある。任意に、画像処理装置４００は、ハードディスクのようなストレージ手段、又はたとえば光ディスクといった取り外し可能なメディアへの記憶手段を有する。画像処理装置４００は、フィルムスタジオ又はブロードキャスタにより適用されるシステムである場合がある。
【００２６】
なお、先に記載された実施の形態は、本発明を限定するよりはむしろ例示するものであって、当業者であれば、特許請求の範囲から逸脱することなしに、代替的な実施の形態を設計することができる。請求項では、括弧の間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「有する“comprising”」は、請求項に列挙されていないエレメント又はステップの存在を排除するものではない。エレメントに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメントの存在を排除するものではない。本発明は、幾つかの個別のエレメントを有するハードウェアにより、及び適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙している装置の請求項では、これらの手段の幾つかが同一アイテムのハードウェアで実施することができる。単語「第一“first”」、「第二“second”」及び「第三“third”」等の使用は、いずれかの順序を示すものではない。これらの単語は名前として解釈されるべきである。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る画素の関連性を決定する装置の実施の形態を示すブロック図である。
【図２】本発明に係る画素の関連性を決定する装置を有する画像エンハンスメント装置の実施の形態を示すブロック図である。
【図３】図３Ａは画像の画素のグループを示し、図３Ｂは多数のエッジの方向を示すブロック図である。
【図４】本発明に係る画像処理装置を示すブロック図である。
【図１】
2007520823.tif 000004
【図２】
2007520823.tif 000005
【図３Ａ】
2007520823.tif 000006
【図３Ｂ】
2007520823.tif 000007
【図４】
2007520823.tif 000008
【国際調査報告】
2007520823.tif 000009
2007520823.tif 000010