(57)【特許請求の範囲】
【請求項１】
ピクセル値を有するカラーデジタルイメージを画質向上させるためのデジタルイメージ処理方法であって、
ａ）前記カラーデジタルイメージにおいて対象ピクセルｉｊ（すなわち第ｉ行第ｊ列のピクセルのこと。ただし、ｉ，ｊは正の整数）を特定するステップと、
ｂ）カラー空間内のカラー領域ｋ（ｋは正の整数）を特定するステップと、
ｃ）前記対象ピクセルｉｊのピクセル値と前記カラー領域ｋとのカラー空間内での距離に基づき、前記対象ピクセルｉｊについてのカラー重み付け係数ωijを計算するステップであって、前記対象ピクセルｉｊのピクセル値と前記カラー領域ｋとの距離が小さくなるほど大きいカラー重み付け係数ωijを算出するステップと、
ｄ）前記対象ピクセルｉｊの周囲のローカル近傍のピクセル群の中から、前記対象ピクセルｉｊについての前記カラー重み付け係数ωijが大きくなるほど、より多くのピクセルをサンプリングし、前記ローカル近傍からサンプリングしたピクセル群の値を使用して、ノイズが低減されたピクセル値を計算するステップと、
ｅ）前記対象ピクセルのピクセル値を前記ノイズが低減されたピクセル値で置換するステップと、
ｆ）前記カラーイメージにおける他のピクセルに対して、ステップ（ａ）〜ステップ（ｅ）を繰り返すステップと、
を包含し、
前記ステップ（ｃ）では、
カラー領域ｋと前記対象ピクセルｉｊのピクセル値との、前記カラー空間におけるクロミナンスＧＭ及びＩＬについての距離ｙijk及びｘijkをそれぞれ求め、
求めた距離ｙijk及びｘijkと、カラー領域ｋの相対的強度を決定するカラーポール強調係数αkと、大きなカラー距離におけるカラー領域ｋの値を決定する数値定数αokと、カラー領域ｋのカラー距離の影響の範囲を決定するパラメータσxk及びσykとを用いて、次式、
φijk＝
αok＋αk・exp(−ｘijk2／２σxk2−ｙijk2／２σyk2)
に従って、カラー領域重み付け係数φijkを求め、
求めたカラー領域重み付け係数φijkと、カラー重み付け係数のデフォルト値を決定する数値定数φoとを用いて、
ωij＝φo＋Σkφijk
又は、
ωij＝φo＋Πkφijk
に従って、カラー重み付け係数ωijを計算する、
ことを特徴とする、方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラーデジタルイメージを処理してノイズを低減する方法、装置、及びコンピュータプログラムに関する。
【０００２】
【従来の技術】
カラーデジタルイメージのイメージ構造は、信号成分とノイズ成分という２つの成分からできていると考えることができる。多くのデジタルイメージングアプリケーションでは、信号成分を増幅すると同時にノイズ成分を低減することが望ましい。カラーデジタルイメージ処理アプリケーションに対するこれらの両方のゴールを同時に達成する際の困難さは、信号成分及びノイズ成分の本質的な判別可能性に由来している。現時点では、どのような技術を用いても、イメージデータをこれら２つの成分に完全に分解することはできない。このため、現在のイメージ処理ノイズ低減アルゴリズムは、信号成分がいくらか失われるか、またはノイズ成分の除去が十分にできないか、あるいはその両方が生じる結果となる。イメージ写真分野では、異なる実世界対象物のカラーを使用することで信号及びノイズ処理に関する効果（advantage）が得られると認識されている。
【０００３】
米国特許第５，６８２，４４３号においてゴー及びマクドナルド（Gough and MacDonald）は、空間的シャープネス特性を強調（エンハンスメント；enhancement）する目的でカラーデジタルイメージを処理する方法を開示している。この開示内容においてはアンシャープ（非シャープ）マスキング方法が論じられているが、これは、オリジナルカラーデジタルイメージの空間周波数成分に基づいてオリジナルカラーデジタルイメージを２つの部分に分離するというものである。オリジナルのピクセル値とそのオリジナルピクセル値の低空間周波数成分との間の差が干渉縞成分、すなわち高空間周波数成分を形成する。ゴー及びマクドナルドは、低空間周波数成分又はオリジナルのピクセル値のいずれかのカラーに基づいて干渉縞成分を改変する方法を教示している。彼らの方法はまた、この特徴を実現する好適な方法がカラーの連続した数学的関数を使用することも開示している。ゴー及びマクドナルドによって開示された方法は、空間的ディテールを強調するためのイメージ特性としてカラーを利用する。しかし、ゴー及びマクドナルドによって使用されたアンシャープマスキング手順は、信号成分の増幅を変えるように設計されており、ノイズ成分を低減するという目的に対しては効果的ではない。
【０００４】
米国特許第４，６８９，６６６号においてハタナカ（Hatanaka）は、カラーデジタルイメージのノイズ成分を低減する目的で、そのカラーデジタルイメージのカラー特性を利用する方法を開示している。開示された方法において、ハタナカは、そのイメージにおける各画素についてのカラーデータを抽出し、その抽出されたカラーデータに基づいてカラーデジタルイメージ中で特定のカラーを示す領域を識別し、その特定のカラーを示す領域とそれを示していない領域とでは処理条件が異なるようにイメージ信号に空間的イメージ処理を施して、ノイズを除去することを論じている。これより、ハタナカによって教示されている方法は、特定のカラーに属しているか属していないかに関して各ピクセルをセグメント化または識別化するという基礎的なステップを有している。このカラー識別ステップは、カラー同定プロセスのオン／オフ性（on/off nature）のために、処理されたイメージに不均一さ（unevenness）をもたらすことがある。
【０００５】
【発明が解決しようとする課題】
これより、カラーデジタルイメージのカラー特性を使用して、判定ベースの方法（decision based methods）に基づくセグメント化にて典型的に生じる切り換え欠陥（スイッチング・アーティファクト；switching artifacts）を生じることなく、平滑で且つ均等な方法でのノイズ低減プロセスという効果を得ることができるノイズ低減アルゴリズムが必要とされている。
【０００６】
【課題を解決するための手段】
本発明によれば、上記の必要性は、ピクセル値を有するカラーデジタルイメージのノイズを低減するためのデジタルイメージ処理方法を提供することによって満たされる。この方法は、カラー空間において１つ又はそれ以上のカラー領域を特定するステップと、前記カラーデジタルイメージにおける対象ピクセルを特定するステップと、前記対象ピクセルに対して前記１つ又はそれ以上のカラー領域の近連続関数であるカラー重み付け係数を計算するステップと、前記カラー重み付け係数と前記対象ピクセルの周囲のローカル近傍ピクセル群からサンプリングされたピクセル値とを使用して、ノイズが低減されたピクセル値を計算するステップと、前記対象ピクセルのオリジナルの値を前記ノイズが低減されたピクセル値で置換するステップと、前記カラーデジタルイメージにおける他のピクセルに対して、上記ステップ群を繰り返すステップと、を包含する。
【０００７】
【発明の実施の形態】
カラーデジタルイメージは、２つ又はそれ以上のデジタルイメージチャンネルから構成されている。各デジタルイメージチャンネルは、ピクセルの２次元アレイから構成されている。各ピクセルの値は、そのピクセルの位置的領域（geometrical domain）に対応したイメージ獲得装置によって受光された光量に関係している。カラーイメージングアプリケーションに対しては、カラーデジタルイメージは、典型的には赤、緑、及び青のデジタルイメージチャンネルからなっている。例えばシアン、マゼンタ、及びイエローのデジタルイメージチャンネルのような他の構成も実施される。モノクロームアプリケーションに対しては、デジタルイメージは一つのデジタルイメージチャンネルからなっている。モーションイメージングアプリケーションは、複数のカラーデジタルイメージの時間列（タイムシーケンス）と考えることができる。当業者は、本発明が上述のアプリケーションの何れについてのカラーデジタルイメージに対しても適用できるが、それに限られるものではないことを認識するであろう。
【０００８】
本実施例では、デジタルイメージチャンネルを行および列に配列されたピクセル値の２次元アレイとして記述するが、当業者は、本発明をモザイク状（直線的でない（non rectilinear））アレイに適用しても等しい効果が得られることを認識するであろう。当業者はまた、本実施例ではオリジナルのピクセル値を階調明度が調整されたピクセル値で置換することを記述しているが、新しいカラーデジタルイメージをノイズが除去されたピクセル値を用いて形成し、オリジナルのピクセル値を保持してもよいことを認識するであろう。
【０００９】
図１は、本発明の重要な局面（アスペクト；aspects）の一つの写真ダイアグラムである。例示的なソースカラーデジタルイメージが第１の処理モジュールに対する入力として示されており、この第１の処理モジュールは、各ピクセルに対するカラー差値を生成する。第２の処理モジュールは、カラー重み付けマスクを生成する。このカラー重み付けマスクは、ノイズが低減されたカラーデジタルイメージを生成する第３の処理モジュールによって使用される。
【００１０】
［デジタルイメージングアプリケーションの一般的な説明］
本発明は、コンピュータハードウエアに実現されてもよい。図２を参照すると、以下の説明はデジタルイメージングシステムに関しており、このシステムは、イメージ獲得（キャプチャ）装置１０、デジタルイメージプロセッサ２０、イメージ出力装置３０、及び汎用制御コンピュータ４０を含んでいる。このシステムは、コンピュータコンソール又はペーパプリンタのようなモニタ装置５０を含んでいてもよい。このシステムはまた、キーボードやマウスポインタのようなオペレータ用入力装置コントロールを含んでもよい。さらにまた、本願明細書にて使用されているように、本発明はコンピュータプログラムとして実現されてもよく、コンピュータメモリ装置７０、すなわちコンピュータ読み取り可能記憶媒体に記憶されてもよい。コンピュータ読み取り可能記憶媒体には、例えば、（フレキシブルディスクのような）磁気ディスク又は磁気テープのような磁気的記憶媒体、光ディスク、光テープ、又は機械読み取り可能バーコードのような光学的記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリーメモリ（ＲＯＭ）のような固体電子記憶装置、あるいはコンピュータプログラムを記憶するために使用される任意の他の物理的装置又は媒体が含まれ得る。本発明を説明する前に、本発明がパーソナルコンピュータのような任意の良く知られたコンピュータシステム上で好ましくは使用されることを記すことで、理解が容易になる。
【００１１】
複数の獲得装置１０が示されており、様々なイメージング装置から得られたカラーデジタルイメージに対して本発明が使用され得ることを描いている。例えば、図２はデジタル写真仕上げシステムなどであり、ここではイメージ獲得装置１０は、カラーネガ又はスライドフィルム上にシーンを捉える従来の写真フィルムカメラ、及びフィルム上の現像されたイメージをスキャンしてカラーデジタルイメージを生成するフィルムスキャナである。デジタルイメージプロセッサ２０は、カラーデジタルイメージを処理して、所期の出力装置又は媒体上に満足のいく見た目のイメージを生成する手段を提供する。複数のイメージ出力装置３０が示されており、本発明がデジタル写真プリンタ及びソフトコピーディスプレーを含み得る様々な出力装置と共に使用され得ることを描いている。デジタルイメージプロセッサ２０はカラーデジタルイメージを処理して、満足のいく見た目のイメージがイメージ出力装置３０によって生成されるような方法でカラーデジタルイメージの全体的明度及び／又は階調スケールを調整する。これらの処理ステップ間の相互作用は、以下にさらに詳細に説明される。
【００１２】
［デジタルイメージプロセッサ２０の一般的な説明］
図２に示されているデジタルイメージプロセッサ２０が、図３にさらに詳細に描かれている。本実施例によって使用されるデジタルイメージプロセッサ２０の一般的な形態は、イメージ処理モジュールのカスケードチェーンである。ソースカラーデジタルイメージがデジタルイメージプロセッサ２０によって受け取られ、デジタルイメージプロセッサ２０は、処理されたカラーデジタルイメージを出力として生成する。デジタルイメージプロセッサ２０の内部に含まれる各イメージ処理モジュールは、カラーデジタルイメージを受け取って、そのカラーデジタルイメージを改変するか又はそのカラーデジタルイメージから何らかの情報を取り出してから、その出力カラーデジタルイメージを次のイメージ処理モジュールに渡す。２つの強調（エンハンスメント）変換モジュール２２が、デジタルイメージプロセッサ２０の内部における最初及び最後のイメージ処理モジュールとして示されており、本発明が他のイメージ処理モジュールと共に使用されることができることを描いている。強調変換モジュール２２の例は、空間的ディテールのシャープ化、カラーの強調、コントラストの強調、及びカラーデジタルイメージの階調スケールの強調を行うように設計されたモジュールを含み得るが、これらに限定されるものではない。本発明の説明の文脈において、入力カラーデジタルイメージ及び出力カラーデジタルイメージという用語が、イメージ処理モジュールで受け取られたカラーデジタルイメージ及びイメージ処理モジュールで生成されたカラーデジタルイメージをそれぞれ指していることを理解されたい。
【００１３】
［好適なデジタルイメージプロセッサ２０］
本実施例によって使用されるイメージ処理モジュールのカスケードチェーンが、図４に示されている。獲得装置１０によって生成されたソースカラーデジタルイメージが、カラー変換モジュール２４によって受け取られる。カラー変換モジュール２４によって生成された出力カラーデジタルイメージは、対数変換モジュール２６によって受け取られる。対数変換モジュール２６によって生成された出力カラーデジタルイメージは、ノイズ低減モジュール１００によって受け取られる。ノイズ低減モジュール１００によって生成された出力カラーデジタルイメージは、図２に示されたデジタルイメージプロセッサ２０によって生成されたノイズ低減カラーデジタルイメージを構成する。
【００１４】
［カラー変換モジュール２４の詳細］
獲得装置１０によって生成されたカラーデジタルイメージの特性のうちで本実施例の効果に大きな影響を与えることができるものに、そのカラーデジタルイメージを生成する、獲得装置に関連したカラー空間の測定規準（metric）がある。典型的には、獲得装置１０は３つのカラースペクトルフィルタを組み込んでおり、これらが感光性トランスデューサ素子によって受光されたカラー光の相対的な量を決定する。スペクトルフィルタの特性に依存して、ノイズ低減モジュール１００の適用に先立ってカラーデジタルイメージにカラー変換が適用されれば、本発明によってよりよい結果を達成し得る。本発明を実行するにあたってカラー変換の適用が必要とされるものではないが、入力及び／又は出力装置のスペクトル特性に基づいてカラー変換が適用されれば、最適な結果が達成され得る。
【００１５】
本発明によって使用されるカラー変換方法は、３×４マトリクス変換である。この変換は、新しいカラーピクセル値を入力カラーピクセル値の線形結合として生成する。入力カラーデジタルイメージは、赤、緑、及び青の各デジタルイメージチャンネルからなっている。各デジタルイメージチャンネルは同数のピクセルを含んでいる。ここでＲｉｊ、Ｇｉｊ、及びＢｉｊが第ｉ行第ｊ列に位置する赤、緑、及び青の各デジタルイメージチャンネルに対応するピクセル値を指すとする。また、Ｒ'ｉｊ、Ｇ'ｉｊ、及びＢ'ｉｊが出力カラーデジタルイメージの変換されたピクセル値を指すとする。入力及び出力ピクセル値に関係する３×４マトリクス変換は、以下のようになる。
【００１６】
［数１］
Ｒ'ｉｊ＝τ１１Ｒｉｊ＋τ１２Ｇｉｊ＋τ１３Ｂｉｊ＋τ１０    （１）
Ｇ'ｉｊ＝τ２１Ｒｉｊ＋τ２２Ｇｉｊ＋τ２３Ｂｉｊ＋τ２０
Ｂ'ｉｊ＝τ３１Ｒｉｊ＋τ３２Ｇｉｊ＋τ３３Ｂｉｊ＋τ３０
ここで、τｍｎ項は３×４マトリクス変換の係数である。これらの１２個の数は、図２に示された獲得装置１０のスペクトル特性と所期のイメージ出力装置３０とに対応した固有のものである。
【００１７】
カラー変換をカラーデジタルイメージに適用するためには、異なる方法もある。例えば、３次元ＬＵＴ（ルックアップテーブル）は、計算コストはより多いもののさらに良い結果を達成し得る。もしτ１０、τ２０、及びτ３０の値が零に設定されると、結果的には、単純化された３×３マトリクス変換となる。本発明の目的のためには、３×３マトリクス変換、３×４マトリクス変換、及び３次元ＬＵＴは全て、カラー変換の例とみなすことができる。
【００１８】
［対数変換プロセッサ２６の詳細］
獲得装置１０によって生成されたカラーデジタルイメージの特性のうちで本発明の効果に大きな影響を与えることができるものに、カラーデジタルイメージを生成する獲得装置に関連したコード値領域（範囲）がある。典型的には、獲得装置１０は感光性トランスデューサ素子を組み込んでおり、これがイメージングされた光をアナログ電気信号に変換する。アナログ−デジタルコンバータ装置がそれから使用されて、そのアナログ電気信号をデジタルコード値のセットに変換する。これらのデジタルコード値は、獲得装置１０によって生成された出力カラーデジタルイメージの数値的ピクセル値を構成する。獲得装置１０のコード値領域特性は、出力デジタルコード値と受光した光の入力強度との間の数学的関係を記述する。
【００１９】
多くの感光性トランスデューサ素子は線形特性応答を有している。すなわち、生成された電気的アナログ信号は、受光した光の強度に線形に比例する。多くのアナログ−デジタルコンバータ装置は線形特性応答を有している。すなわち、生成されたデジタルコード値は受領した電気的アナログ信号の強度に線形に比例する。もし線形トランスデューサ素子と線形アナログ−デジタルコンバータとが獲得装置によって使用されれば、結果として得られる出力コード値は、受光した光の強度に関して線形関係を有することになる。これより、この線形関係を示す獲得装置によって生成されたカラーデジタルイメージは、オリジナルの光強度に対して線形関係を有する数値的ピクセル値を有する。そのようなカラーデジタルイメージは、線形コード値領域特性を有すると称される。
【００２０】
本発明は、線形コード値領域特性を有するカラーデジタルイメージに対して適用されても良い。しかし、入力カラーデジタルイメージが対数コード値領域特性を有していると、すなわち数値的ピクセル値がオリジナルの光強度に対して対数的関係を有すると、本発明によってより良い結果が得られる。図４に示されている対数変換モジュール２６は、明度階調スケールモジュール１００に入力されたカラーデジタルイメージのコード値領域特性を変更するために使用される。この対数変換モジュール２６は、ルック・アップ・テーブル（ＬＵＴ）のインデックスに対して対数的関係を有する数値を含むＬＵＴ変換を生成する。ここで、ｐｉｊが第ｉ行第ｊ列に位置するデジタルイメージチャンネルに対応するピクセル値を指すとする。また、ｐ'ｉｊが、ＬＵＴ変換にて生成された出力カラーデジタルイメージの変換されたピクセル値を指すとする。入力及び出力ピクセル値に関するＬＵＴ変換は、以下のようになる。
［数２］
ｐ'ｉｊ＝ＬＵＴ[ｐｉｊ]                        （２）
【００２１】
ここで、[]という記号はＬＵＴ索引操作を示す。すなわち、出力ピクセル値ｐ'ｉｊが、ＬＵＴ内にて入力ピクセル値ｐｉｊによって与えられるインデックスに記憶された数値によって与えられる。ＬＵＴ内に記憶された値は、以下の数学的関係によって計算されても良い。
【００２２】
［数３］
ＬＵＴ[ｋ]＝Ｌｏ＋Ｌｌｌｏｇ（ｋ＋ｋｏ）      （３）
ここで、定数Ｌｏ及びＬｌは出力ピクセル値のスケールを決定するために使用され、定数ｋｏは零の対数を計算することを避けるために使用される。
【００２３】
対数変換モジュール２６によって実行される数学的操作は、単値関数変換の一例である。すなわち、各入力値が単一の対応する出力値を有している。この操作は、コンピュータハードウエア又はソフトウエアにおける一連の数学的操作（加算、ｌｏｇ、乗算、加算）として実現されてもよい。しかし、大きなカラーデジタルイメージに対しては、同じ操作がＬＵＴ変換として、計算上、より効率的に実現される。本発明の目的のためには、このＬＵＴによる実現及び一連の数学的操作による実現が、対数変換と呼ばれる。
【００２４】
［ノイズ低減モジュール１００の好適な実施形態の詳細］
図４に描かれたノイズ低減モジュール１００が、図５にさらに詳細に描かれている。このノイズ低減モジュール１００は、カラー重み付けマスクを計算し、このカラー重み付けマスクをノイズ低減フィルタと共に使用してソースカラーデジタルイメージを改変して、ソースカラーデジタルイメージの場合よりも認知され得るノイズが少ないノイズ低減済みカラーデジタルイメージを生成するという作業を実行する。ここで、ソースカラーデジタルイメージとは、デジタルイメージプロセッサ２０内の先行するイメージ処理モジュールによって生成されたカラーデジタルイメージを指すとする。
【００２５】
図５を参照すると、ソースカラーデジタルイメージのソースカラーデジタルイメージチャンネル、典型的には赤、緑、及び青のピクセル情報に対応する３つのチャンネルが、輝度−クロミナンスモジュール１１０によって受け取られる。このモジュールは、３つのデジタルイメージチャンネル、すなわち一つの輝度デジタルイメージチャンネルと２つのクロミナンスデジタルイメージチャンネルとを生成する。クロミナンスデジタルイメージチャンネルはカラー重み付け係数生成器１２０によって受け取られ、この生成器１２０がカラー重み付けマスクを生成する。ノイズフィルタモジュール１３０はカラー重み付けマスクとソースカラーデジタルイメージとを受け取って、ノイズ低減済みカラーデジタルイメージを生成する。
【００２６】
［輝度−クロミナンスモジュール１１０の詳細］
図５に描かれたノイズ低減モジュール１００の分析フェーズは、輝度−クロミナンスモジュール１１０を使用して、入力デジタルイメージの輝度／クロミナンス版、すなわちＬＣＣカラーデジタルイメージ版を生成する。このＬＣＣカラーイメージは、一つの輝度デジタルイメージチャンネルとＧＭ及びＩＬと記す２つのクロミナンスデジタルイメージチャンネルとからなる。輝度−クロミナンスモジュール１１０は３×３マトリクス変換を使用して、赤、緑、及び青のピクセル値を輝度及びクロミナンスピクセル値に変換する。ここでＲｉｊ、Ｇｉｊ、及びＢｉｊが第ｉ行第ｊ列に位置する赤、緑、及び青の各デジタルイメージチャンネルに対応するピクセル値を指すとする。また、Ｌｉｊ、ＧＭｉｊ、及びＩＬｉｊがそれぞれ、出力ＬＣＣカラーデジタルイメージの変換された輝度、第１のクロミナンス、及び第２のクロミナンスを指すとする。入力及び出力ピクセル値に関する３×３マトリクス変換は、以下のようになる。
［数４］
Ｌｉｊ  ＝０．３３３Ｒｉｊ＋０．３３３Ｇｉｊ＋０．３３３Ｂｉｊ  （４）
ＧＭｉｊ＝−０．２５Ｒｉｊ＋０．５０Ｇｉｊ−０．２５Ｂｉｊ
ＩＬｉｊ＝−０．５０Ｒｉｊ＋０．５０Ｂｉｊ
【００２７】
当業者は、輝度／クロミナンスマトリクス変換における係数に使用される正確な数が変更され得ることがあること、及びそれでもなお実質的に同じ効果を示すことがあることを認識するであろう。代替的な実施形態は、以下の数学式を使用する。
［数５］
Ｌｉｊ  ＝０．３７５Ｒｉｊ＋０．５０Ｇｉｊ＋０．１２５Ｂｉｊ   （５）
ＧＭｉｊ＝−０．２５Ｒｉｊ＋０．５０Ｇｉｊ−０．２５Ｂｉｊ
ＩＬｉｊ＝−０．５０Ｒｉｊ＋０．５０Ｂｉｊ
【００２８】
［カラー重み付け係数生成器１２０の詳細］
カラー重み付けマスクは、数値的重み付け係数の２次元アレイである。カラー重み付けマスクの数値的重み付け係数は、ピクセル位置の相対的重要性に関係している。カラー重み付けマスクは、本実施例によってデジタルイメージチャンネルと共に使用されて、カラーデジタルイメージのピクセル値の空間的処理を調整又は調節する。
【００２９】
図５を参照すると、カラー重み付け係数生成器１２０は、輝度−クロミナンスモジュール１１０と所定のカラー領域ポールのセットとからクロミナンスデジタルイメージチャンネルを受け取る。各カラー領域ポール（極）は、ＧＭ及びＩＬ値を含む。これらの２つの値は、カラー空間における２次元座標位置を形成する。ここで、ＧＭｋ及びＩＬｋがｋ番目のカラー領域ポールの値を指し、Ｎがそのセットにおけるカラー領域ポールの数を指すとする。各カラー領域ポールは、ソースカラーデジタルイメージのノイズ低減処理が優先的に取り扱われる対象になっている２次元カラー空間における特有のカラーを表す。
【００３０】
図６を参照すると、ノイズ低減処理のために区別された３つの領域が、青い空領域１２２、緑の芝生領域１２４、及び皮膚領域１２６として示されている。これらの各カラー領域の中心は、対応するカラー領域ポールの位置である。カラー領域ポールのＧＭ及びＩＬ成分の実際の数値は、使用されているカラー及び／又は対数変換に依存する。所与のデジタルイメージングアプリケーションに対して、カラー及び／又は対数変換の試行が典型的な画像に１回使用されて、そのカラー領域ポールのＧＭ及びＩＬ値の数値が決定される。
【００３１】
各カラー領域ポールは、デジタルイメージ処理アプリケーションの設計ゴールの好みに応じて、カラーデジタルイメージのピクセル値が強調される（emphasized）ノイズ低減処理、又は非強調される（de-emphasized）ノイズ低減処理のいずれかを指定することができる。本発明の好適な実施形態では、カラーデジタルイメージにおけるノイズを低減するという設計ゴールは、カラー空間の青い空領域に対するカラー領域ポールがノイズ低減をより強調する一方で、緑の芝生領域に対するカラー領域ポールがノイズ低減をより非強調する（有効性のより低いノイズ低減になる）、ということを含む。このために、本発明のこの構成を用いて処理されたカラーデジタルイメージは、イメージの緑の芝生領域からよりもイメージの青い空領域から、多くのノイズが除去されるという結果になる。
【００３２】
ノイズ低減処理の強調（emphasis）又は非強調（de-emphasis）は、処理される各ピクセルに対するカラー重み付け係数を計算することによって達成される。カラー重み付け係数は単一の数値であって、カラー領域ポールのセットに含まれる全カラー領域ポールからの強調及び非強調効果の合計を含む。各カラー領域ポールに対して、ｘ及びｙによって表される２つのクロミナンス距離値が、ｉｊ番目のピクセルのカラー空間における位置からｋ番目のカラー領域ポールまでの距離として、各カラー空間次元に関して計算される。ここで、ｙｉｊｋがｋ番目のカラー領域ポールＧＭ値とｉｊ番目のピクセルのＧＭ値との間の距離を、
［数６］
ｙｉｊｋ＝ＧＭｉｊ−ＧＭｋ                    （６）
として表し、また、ｘｉｊｋがｋ番目のカラー領域ポールＩＬ値とｉｊ番目のピクセルのＩＬ値との間の距離を、
［数７］
ｘｉｊｋ＝ＩＬｉｊ−ＩＬｋ                    （７）
として表すとする。
【００３３】
ｋ番目のカラー領域ポールのカラー距離の影響の範囲は、２つの対応するポールパラメータσｘｋ及びσｙｋによって決定される。これらのポールパラメータがより大きな数値に設定されると、ｋ番目のカラー領域ポールの影響はより大きくなる。ｋ番目のカラー領域ポール及びｉｊ番目のピクセルに対応するカラーポール重み付け係数φｋは、
［数８］
φｉｊｋ＝
αｏｋ＋αｋ・exp(−ｘｉｊｋ２／２σｘｋ２−ｙｉｊｋ２／２σｙｋ２)（８）
によって与えられる。ここで、αｋは、ｋ番目のカラー領域ポールの相対的強度を決定するカラーポール強調係数であり、αｏｋは、大きなカラー距離におけるｋ番目のカラー領域ポールの値を決定する数値定数である。正のカラーポール強調係数は、ノイズ低減処理がより強調されることを示し、負のカラーポール強調係数は、ノイズ低減処理があまり強調されないこと、すなわち非強調を示す。
【００３４】
加えて、ガウス量（クアンション：quantion）をカラー空間内で回転して、カラー領域を定義するに際しての柔軟性を増すことができる。ここで、θｋがｋ番目のカラー領域ポールに対するカラー空間内での回転角度を示し、ｘ'ｉｊｋ及びｙ'ｉｊｋが回転された座標を示し、以下の等式によって与えられるとする。
【００３５】
［数９］
ｘ'ｉｊｋ＝ｘｉｊｋｃｏｓ(q)−ｙｉｊｋｓｉｎ(q)        （９）
ｙ'ｉｊｋ＝ｘｉｊｋｓｉｎ(q)＋ｙｉｊｋｃｏｓ(q)
ｋ番目のカラー領域ポール及びｉｊ番目のピクセルに対応するカラーポール重み付け係数φｋは、変数ｘ'ｉｊｋ及びｙ'ｉｊｋから等式（８）を用いて得られる。
【００３６】
カラーポール強調係数αｋの値は、デジタルイメージングアプリケーションに応じて、より多く又はより少ない効果をもたらすように調整されることができる。本発明の好適な実施形態は、αｏに対しては１．０という値を使用し、αｋは、空カラー領域及び肌カラー領域では０．２５、緑の芝生カラー領域に対しては−０．２５という値を使用する。σｘｋ及びσｙｋの値は、肌のカラー領域、緑の芝生カラー領域、及び青い空カラー領域に対して特有に特定された値に設定される。本発明は、クロミナンス値の記述の多くの異なる選択と共に実現されることができる。しかし、最適の結果を得るためには、（５）によって与えられるもの以外の等式を使用してクロミナンス値を生成するならば、変数σｘｋ及びσｙｋの値を調整すべきである。
【００３７】
ｉｊ番目のピクセルに対するカラー重み付け係数ωｉｊは、個々のカラーポール重み付け係数φｋ全ての和によって、
［数１０］
ωｉｊ＝φｏ＋Σｋφｋ                      （１０）
として得られる。ここで、φｏはカラー重み付け係数のデフォルト値を決定する数値定数である。これより、ソースカラーデジタルイメージの全ピクセルに対して計算されたカラー重み付け係数ωｉｊは、カラー重み付けマスクを構成する。
【００３８】
本発明の代替的な実施形態では、カラー重み付け係数ωｉｊを、個々のカラーポール重み付け係数φｋを乗法的に結合すること（すなわち、φｋの乗積）によって、
［数１１］
ωｉｊ＝φｏ＋Πｋφｋ                （１１）
として得られる。
【００３９】
本発明の代替的な実施形態では、座標対ＧＭ及びＩＬの値が、ソースカラーデジタルイメージピクセル群の空間的フィルタリング処理済みバージョンに基づく。高空間周波数変調の振幅を減らすように設計された空間的平滑化フィルタを使用して、ソースカラーデジタルイメージのフィルタリングが行われる。２次元ガウスフィルタが、この空間的平滑化フィルタとして使用される。カラーデジタルイメージのフィルタリングされたバージョンが輝度−クロミナンスモジュール１１０で処理されて、本発明の好適な実施形態によって使用されるようなカラー空間座標が生成される。本発明のこの代替的な実施形態は、空間的フィルタリングという付加的な処理ステップのために、よりたくさんの計算上のリソースを必要とする。しかし、非常にノイズの多いカラーデジタルイメージに対しては、この実施形態の効果として、ノイズ低減のより漸進的な調整（more gradual regulation）が達成される。
【００４０】
本発明の他の代替的な実施形態は、ソースカラーデジタルイメージ内の各ピクセルに対してカラー重み付け係数ωｉｊを計算し、それらの値をカラー重み付けマスクの中にまとめる。このカラー重み付けマスクはそれから、高空間周波数変調の振幅を低減するように設計された空間的平滑化フィルタにてフィルタリングされる。この結果として得られる空間的にフィルタリングされたカラー重み付けマスクが、それから上記と同様の方法で使用される。
【００４１】
当業者は、本発明が３つのカラー領域に限られるものではなく、任意の数のカラー領域と共に実行され得ることを認識するであろう。デジタルイメージングアプリケーションに応じて、異なるレベルのノイズ低減を必要とすることが試行を通じて見出される任意のカラー領域を、クロミナンスポール座標対としてターゲットとすることができる。
【００４２】
２つのクロミナンスデジタルイメージチャンネルのクロミナンスピクセル値は、ソースカラーデジタルイメージのピクセルに由来したカラー差値の例である。本発明は単純性及び計算上の効率のために２次元カラー空間表現を使用しているが、当業者は、他のカラー空間表現、すなわちＣＩＥＬＡＢ（ａ＊、ｂ＊又はＣ＊、Ｈ＊）、ＣＩＥＬＵＶ、及び一般化されたＲＧＢ（但しこれらに限定されるものではない）にて計算される他の形式のカラー差値から計算されるカラー重み付け係数を用いて本発明が実行され得ることを認識するであろう。
【００４３】
［ノイズフィルタモジュール１３０の詳細］
図５を参照すると、ノイズフィルタモジュール１３０はソースカラーデジタルイメージとカラー重み付け係数生成器１２０からのカラー重み付けマスクとを受け取って、このカラー重み付けマスクを使用してノイズ低減処理を調整する。
【００４４】
ヨン・セン・リー（Jong-Sen Lee）によって「デジタルイメージの平滑化及びシグマフィルタ（Digital Image Smoothing and the Sigma Filter）」Computer Vision, Graphics, and Image Processing、Vol.24、pp.255-269（1983）に記述されたシグマフィルタは、カラーデジタルイメージの視覚的な見た目を強調するように設計されたノイズ低減アルゴリズムである。ローカル近傍ピクセル群、すなわちｎ×ｎ（ここでｎは行、列方向のピクセルの長さを示す）のピクセルに含まれているピクセル値が、中心ピクセルすなわち対象ピクセルと比較される。ｓ個のローカル近傍ピクセル群における各ピクセルには、対象ピクセルの値とそのローカル近傍ピクセルの値との間の絶対的な差に基づいて、１又は０の重み付け係数が与えられる。ピクセル値の差の絶対値が閾値ε以下であれば重み付け係数は１に設定され、そうでなければ重み付け係数は０に設定される。数値定数εは、ノイズ標準偏差期待値の２倍に設定される。数学的には、ノイズが低減されたピクセル値の計算表現は、
［数１２］
ｑｉｊ＝Σｍｎａｍｎｐｍｎ／Σｍｎａｍｎ            （１２）
ただし、
|ｐｍｎ−ｐｉｊ|≦εであれば  ａｍｎ＝１
|ｐｍｎ−ｐｉｊ|＞εであれば  ａｍｎ＝０
として与えられる。ここで、ｐｍｎはローカル近傍ピクセルに含まれるｍｎ番目のピクセルを表し、ｐｉｊはｉ行ｊ列に位置する対象ピクセルの値を表し、ａｍｎは重み付け係数を表し、ｑｉｊはノイズ低減されたピクセル値を表し、εはノイズ低減プロセスの閾値変数を表す。Σｍｎはｍ及びｎについての総和を示す。好適な実施例では、方形状のローカル近傍ピクセル内の全ピクセルを使用することはしない。５×５の方形状ローカル近傍ピクセル内で使用される放射状ピクセルパターンが、図７に示されている。対象ピクセルｐｉｊはＸ（参照番号２０２）とマークされ、ローカル近傍ピクセルのピクセルはＡ（参照番号２０３）とマークされている。
【００４５】
カラーデジタルイメージの多くのソースのノイズ形態は、信号に依存する。本実施形態の信号依存ノイズ及びクロミナンス依存特性は、
［数１３］
ε＝Ｓfacωｉｊσｎ（ｐｉｊ）              （１３）
によって与えられるεの表現内に取り込まれる。ここでσｎは、中心ピクセル値ｐｉｊにて評価されたソースイメージのノイズ標準偏差を表す。パラメータＳfacを使用して、ノイズ低減の程度を変えることができる。Ｓfac及びεの両変数が、ノイズ調整パラメータの例である。それから、２つの合計の割り算として、ノイズが低減されたピクセル値ｑｉｊが計算される。このプロセスはデジタルイメージチャンネル内に含まれるいくつか又は全てのピクセルに対して、及びカラーデジタルイメージに含まれるいくらか又は全てのデジタルイメージチャンネルに対して、完了される。これらのノイズ低減されたピクセル値が、ノイズ低減されたデジタルイメージを構成する。
【００４６】
本発明を使用して、カラー重み付け係数ωｉｊに基づいてローカル近傍ピクセル群のサイズを変えることによって、達成されるノイズ低減レベルを変えてもよい。図８は、より多くのノイズ低減を達成するために使用される５×５ピクセルのローカル近傍ピクセル群を示しており、図９は、より少ないノイズ低減を達成するために使用される３×３ピクセルのローカル近傍ピクセル群を示している。前述と同じカラー重み付け係数ωｉｊを使用して、ローカル近傍ピクセル群のサイズが決定される。ωｉｊの値の範囲が、ローカル近傍ピクセル群の異なるサイズに関係した異なるセグメントに分割される。例えば、ωｉｊの値の範囲のうちで小さいほうの１／３における値を有する対応したカラー重み付け係数を持つ対象ピクセルは、３×３ピクセルのローカル近傍ピクセル群を使用し、中間の１／３のωｉｊ値は５×５ピクセルのローカル近傍ピクセル群を使用し、大きい方の１／３のωｉｊ値は７×７ピクセルのローカル近傍ピクセル群を使用する。
【００４７】
リー（Ｌｅｅ）によって記述されたようなシグマフィルタは、本発明にて使用されることができるピクセル差フィルタの一例である。ピクセル差フィルタの中心的局面は、対象ピクセルの周囲におけるローカル近傍ピクセル群内のピクセル値に基づいてノイズのないピクセル推定値を計算する空間フィルタである。このとき、各ローカルピクセルの影響は、ローカルピクセル値とローカル近傍内のピクセル群から導き出されたリファレンス数値との間の差に基づく。本発明にて使用されるピクセル差フィルタの好適な実施形態は、リファレンス数値として対象ピクセルを使用する。ローカル近傍におけるピクセル群の平均のような他の値も、リファレンス数値として使用されることができる。
【００４８】
ピクセル差フィルタの他の例は、Ｄ．Ｃ．Ｃ．ワングら（D.C.C.Wang et al.）により刊行論文「勾配逆重み付け平滑化手法及びその性能の評価（Gradient Inverse Weighted Smoothing Scheme and the Evaluation of its Performance）」Computer Graphics and Image Processing、Vol.15、pp.167-181（1981）に記載されている逆勾配フィルタ（Inverse Gradient Filter）である。このアルゴリズムは、中心ピクセルの周囲の方形状サンプリング領域からローカルピクセル値の非線型重み付けを取ることによって、ノイズが除去された（noise cleaned）イメージを生成した。重み付け係数は、中心ピクセルとそれを取り囲むピクセル値との間の強度差に基づいていた。
【００４９】
本発明の他の代替的な実施形態は、基本的ノイズ低減論理としてメジアンフィルタを使用して、ノイズが低減されたピクセル値を形成する。上述のように、カラー重み付け係数ωｉｊを使用して、ローカル近傍ピクセルのサイズを変える。
【００５０】
本発明の好適な及び代替的な実施形態は、いずれもソースカラーデジタルイメージ内のピクセルのカラー情報を使用して、達成されるノイズ低減のレベルを変えるために使用される重み付け係数を計算する。使用されるローカル近傍ピクセル群のサイズを調整することによって、又は調整変数を直接的に変えることによってノイズ低減の程度を変えることができることを示した。カラー情報に基づいた重み付け係数（カラー重み付け係数ωｉｊ）が対象ピクセルカラー座標の近連続関数（３つ以上の値（関数値）を想定することができる関数）に基づいているので、結果として達成されるノイズ低減もまた連続又は近連続である。これより、本発明にて処理されたカラーデジタルイメージは、ノイズ低減におけるシャープな又は不連続な変動を示さない。
【００５１】
本発明は、カラー空間の異なる領域を優先的に連続的な様式で取り扱うようにノイズ低減が適用されて、空間的アーティファクトが避けられるという効果を有する。さらに本発明は、皮膚、空、及び芝生のような異なるカラー領域を異なるように取り扱って満足のいくイメージを得ることができるという効果も有する。
【図面の簡単な説明】
【図１】  カラーデジタルイメージと、本発明のアプリケーションを用いて生成されるカラーベースのノイズ低減処理の視覚化とを示す図である。
【図２】  本発明を実行するために適したイメージ処理システムの例を示すブロック図である。
【図３】  本発明のある実施形態に従ったイメージ処理を示すブロック図である。
【図４】  本発明の好適な実施形態に従ったイメージ処理を示すブロック図である。
【図５】  本発明の好適な実施形態に従ったノイズ低減モジュールを示すブロック図である。
【図６】  本発明によって実現される異なったカラー領域を示すダイアグラムである。
【図７】  本発明によって使用される放射状パターンのローカル近傍ピクセルを示すブロック図である。
【図８】  本発明によって使用される５×５ピクセルの方形状ローカル近傍ピクセルモジュールを示すブロック図である。
【図９】  本発明によって使用される３×３ピクセルの方形状ローカル近傍ピクセルモジュールを示すブロック図である。
【符号の説明】
１０  イメージ獲得装置、２０  デジタルイメージプロセッサ、２２  強調変換モジュール、２４  カラー変換モジュール、２６  対数変換モジュール、３０イメージ出力装置、４０  汎用制御コンピュータ、５０  モニタ装置、６０  入力制御装置、７０  コンピュータメモリ装置、１００  ノイズ低減モジュール、１１０  輝度−クロミナンスモジュール、１２０  カラー重み付け係数生成器、１２２  青色空領域、１２４  緑色芝生領域、１２６  皮膚領域、１３０  ノイズフィルターモジュール、１４０  ＲＧＢ変換器モジュール、２０２  対象ピクセル、２０３  ローカルピクセル。
【図１】
0004804660.tif 000002
【図２】
0004804660.tif 000003
【図３】
0004804660.tif 000004
【図４】
0004804660.tif 000005
【図５】
0004804660.tif 000006
【図６】
0004804660.tif 000007
【図７】
0004804660.tif 000008
【図８】
0004804660.tif 000009
【図９】
0004804660.tif 000010