(57)【特許請求の範囲】
【請求項１】
デジタル画像からノイズを低減する方法であって、
前記デジタル画像を輝度−クロミナンス空間の画像に変換するステップと、
輝度チャネルおよびクロミナンスチャネルのそれぞれに対するエッジ検出処理に基づいて、前記輝度チャネルおよび前記クロミナンスチャネルの各エッジマップを作成するステップと、
前記輝度チャネルのエッジマップおよび前記クロミナンスチャネルのエッジマップを複合し、複合エッジマップを作成するステップと、
平均化近隣領域を求める近隣領域決定工程を前記デジタル画像の各画素について実行するステップであって、前記近隣領域決定工程は、
前記デジタル画像の１つの画素に対応する前記複合エッジマップの値を基準値とし、当該１つの画素から所定の方向に隣接する１つの画素、または、当該１つの画素から所定の方向に位置する複数の画素のそれぞれを検査対象画素とし、当該検査対象画素に対応する前記複合エッジマップの値と前記基準値との差がしきい値より小さい場合に当該検査対象画素を前記平均化近隣領域に加える工程である、ステップと、
前記クロミナンスチャネルの値を前記平均化近隣領域内で平均化するステップと、
前記輝度−クロミナンス空間に変換された前記デジタル画像を、平均化された前記クロミナンスチャネルに基づいて元の色空間の画像に変換するステップと、
を含むことを特徴とする方法。
【請求項２】
デジタル画像からノイズを低減するためのコンピュータプログラムが記憶され、コンピュータによって読み取り可能な記録媒体であって、
前記コンピュータプログラムは、
前記デジタル画像を輝度−クロミナンス空間の画像に変換するステップと、
輝度チャネルおよびクロミナンスチャネルのそれぞれに対するエッジ検出処理に基づいて、前記輝度チャネルおよび前記クロミナンスチャネルの各エッジマップを作成するステップと、
前記輝度チャネルのエッジマップおよび前記クロミナンスチャネルのエッジマップを複合し、複合エッジマップを作成するステップと、
平均化近隣領域を求める近隣領域決定工程を前記デジタル画像の各画素について実行するステップであって、前記近隣領域決定工程は、
前記デジタル画像の１つの画素に対応する前記複合エッジマップの値を基準値とし、当該１つの画素から所定の方向に隣接する１つの画素、または、当該１つの画素から所定の方向に位置する複数の画素のそれぞれを検査対象画素とし、当該検査対象画素に対応する前記複合エッジマップの値と前記基準値との差がしきい値より小さい場合に当該検査対象画素を前記平均化近隣領域に加える工程である、ステップと、
前記クロミナンスチャネルの値を前記平均化近隣領域内で平均化するステップと、
前記輝度−クロミナンス空間に変換された前記デジタル画像を、平均化された前記クロミナンスチャネルに基づいて元の色空間の画像に変換するステップと、
を前記コンピュータに実行させる、
ことを特徴とする記録媒体。
【請求項３】
デジタル画像からノイズを低減するノイズ低減装置であって、
前記デジタル画像を輝度−クロミナンス空間の画像に変換するステップと、
輝度チャネルおよびクロミナンスチャネルのそれぞれに対するエッジ検出処理に基づいて、前記輝度チャネルおよび前記クロミナンスチャネルの各エッジマップを作成するステップと、
前記輝度チャネルのエッジマップおよび前記クロミナンスチャネルのエッジマップを複合し、複合エッジマップを作成するステップと、
平均化近隣領域を求める近隣領域決定工程を前記デジタル画像の各画素について実行するステップであって、前記近隣領域決定工程は、
前記デジタル画像の１つの画素に対応する前記複合エッジマップの値を基準値とし、当該１つの画素から所定の方向に隣接する１つの画素、または、当該１つの画素から所定の方向に位置する複数の画素のそれぞれを検査対象画素とし、当該検査対象画素に対応する前記複合エッジマップの値と前記基準値との差がしきい値より小さい場合に当該検査対象画素を前記平均化近隣領域に加える工程である、ステップと、
前記クロミナンスチャネルの値を前記平均化近隣領域内で平均化するステップと、
前記輝度−クロミナンス空間に変換された前記デジタル画像を、平均化された前記クロミナンスチャネルに基づいて元の色空間の画像に変換するステップと、
を実行することを特徴とするノイズ低減装置。
【請求項４】
前記近隣領域決定工程は、
前記複合エッジマップの値の標準偏差に基づいて前記しきい値を決定する工程を含むことを特徴とする、
請求項１に記載の方法、請求項２に記載の記録媒体、または請求項３に記載のノイズ低減装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野及び発明が解決しようとする課題】
本発明は、ノイズの少ない平滑化されたデジタル画像の提供に関する。
【０００２】
【従来の技術】
デジタルカメラの画像に見られるノイズの一種に、例えば人の顔などの低い空間周波数領域での低周波の色付きシミとして出現するものがある。このシミはクロマノイズの一種であり、他の空間的に平坦な領域では斑点模様となる。この色付きシミは不規則な形をしており、通常一方向で５〜２５またはそれ以上の数の画素からなる。
【０００３】
多くのデジタル画像のクロマノイズ低減方法が先行技術により検討されている。その中で多くの特許に、デジタルカメラ内に設置された光学ブレ（ｂｌｕｒ）フィルタを用いて第一の場所でのエイリアシング誘起クロマノイズを防止したクロマノイズ低減方法が記載されている。しかしながら、このブレフィルタは一般に高周波のクロマノイズのみを対象としたものであり、低周波のクロマノイズに対しては有効でない。
【０００４】
もう一つのきわめて一般的なクロマノイズの低減法として、事実上各色チャネルを独立したグレイスケール画像として扱う標準的なグレイスケール画像ノイズ低減方法を、単純に画像の各色チャネルに適用したものがある。一つのフルカラー画像を三つの無関係なグレイスケール画像として扱うことにより、色チャネル間の相互作用や相関は全て無視することができる。後述するように、デジタル画像の色平面間の固有の関係を用いることで（例えば、真の場面内容から画像ノイズをより簡単に分離することができる別の色空間に画像を変換することによって）、より効果的にクロマノイズのクリーニングを行うことができる。
【０００５】
ノイズ低減方法の中には、特にクロマノイズアーティファクトを低減または除去するデジタル画像処理方法を用いたものがある。一群のデジタルカメラの特許に、カラーフィルタアレー（ＣＦＡ）補間操作の改善によって高周波のクロマノイズアーティファクトを低減または消去することが開示されている。また、別の特許群には、異なる画素形状（すなわち方形の代わりに矩形など）と異なる画素配置（例えば各列は先行の列から半分の画素幅分偏移しているなど）をＣＦＡ補間操作と併用してクロマノイズアーティファクトを低減または消去することが開示されている。これらの方法もまた、高周波のクロマノイズのみを対象としたものであり、一般に低周波のクロマノイズに対しては有効でない。
【０００６】
クロマノイズアーティファクトをもつデジタル画像を対象として、画像をＣＩＥＬＡＢなどの輝度−クロミナンス空間に変換し、クロミナンスチャネルをブレ処理（ｂｌｕｒｒｉｎｇ）した後、画像を変換して元の色空間に戻すことは、文献に公開されている周知の方法である。この操作は、クロマノイズを解決する上での標準的な方法である。この方法の問題点の一つに、前記ブレ処理過程においてクロマノイズアーティファクトと真のクロマ場面のディテールとの間の区別がつかないことがある。その結果、ブレ処理が激しくなるにしたがって明瞭な色付き画像エッジに色の滲みだしが生じてくる。通常、低周波の色付きシミの大半が画像から除去される前に、この色の滲みだしは受容できない程度に成長する。また、この画像に次の画像処理が続けて行われると、色の滲みだしの目視度合が増幅される可能性がある。この方法の第二の問題点は、この色の滲みだしの問題に対処するには小さい固定されたブレカーネルが必要であるが、一方で、低周波の色付きシミを解決するために、大きなブレカーネルを用いて所望のノイズクリーニングを行う必要があることである。
【０００７】
本発明の目的は、明瞭な色付きエッジで色の滲みだしを生じることなく、大きなブレカーネルを用いることのできるクロマノイズ低減方法を提供することである。
【０００８】
本発明のもう一つの目的は、形状可変の画素近隣領域のブレカーネルを用いて、クロマノイズがクリーニングされたより高画質のデジタル画像を提供することである。
【０００９】
本発明のもう一つの目的は、形状可変の画素近隣領域のブレカーネルを用いることにより、低周波の色付きシミをデジタル画像から除去できるようにすることである。
【００１０】
【課題を解決するための手段】
これらの目的は、デジタル画像の画素群から一画素ずつノイズを除去する方法であって、
デジタル画像の特徴のマップを作成、
前記特徴マップから得た対象画素（ｐｉｘｅｌ  ｏｆ  ｉｎｔｅｒｅｓｔ）の元の値を格納、
前記マップから得た特徴値を用いて、前記対象画素の元の値に関してクリーニング（ｃｌｅａｎｉｎｇ）画素からなる形状可変の近隣領域を決定、
前記クリーニング画素からなる近隣領域と対象画素の値を用いて、ノイズがクリーニングされていくようにデジタル画像内の対象画素の元の値を変更、
および他の対象画素について上記ステップを繰り返し、
の各ステップを含む方法により達成される。
【００１１】
本発明は、先ず画像内の全てのエッジと境界を識別した後、各推定近隣領域をエッジまたは境界に出会うまで周囲に適合させて成長させることによって、「クロマブレトリック」（ｃｈｒｏｍａ  ｂｌｕｒ  ｔｒｉｃｋ）の限界を克服する。その結果、色の滲みだしを防止しつつ大面積のブレ処理操作を用いてクロマノイズアーティファクトを消去することができる。
【００１２】
本発明の特徴は、
１）自動操作（利用者は操作する必要はない、ただし画像修正のアグレシィブネス（ａｇｇｒｅｓｓｉｖｅｎｅｓｓ）を制御するいくつかのアルゴリズムパラメータにアクセスする必要がある）、
および２）局所的に適合する、寸法可変の推定近隣領域（きわめて低い空間周波数のアーティファクトは、空間的にビジーな区域の場合と同様の大寸法の推定近隣領域を無理に用いることなく、平坦な領域で消去することができる）、を含む。
【００１３】
本発明の新規な一態様は、局所的に適合する、寸法可変の推定近隣領域の使用であって、エッジ特徴マップをキーオフして真の場面のディテールに有意な劣化をもたらすことなくクロマノイズを最大限に除去することのできる近隣領域の使用である。
【００１４】
【発明の実施の形態】
デジタル画像のノイズをクリーニングするアルゴリズムは周知であるため、本説明は、特に本発明による装置と方法の一部となる（もしくは連動する）構成要素について言及する。本明細書に特に図示または記載していない構成要素は従来技術で周知のものから選択される。電子カメラで作成したデジタル画像に関して本発明の説明を行うが、本発明は電子カメラ画像作成装置に限定されず、他の画像源から得たデジタル原画像を用いることもできることは従来技術から明らかである。
【００１５】
図１を参照する。ブロック１０は元の画像が用意された状態である。ブロック１２で、画像はＣＩＥＬＡＢなどの輝度−クロミナンス空間に変換される。ＣＩＥＬＡＢは好適な色空間であるが、他の色空間も本発明において使用可能であることは従来技術から明らかである。ブロック１４，１６および１８で、前記輝度−クロミナンス情報から特徴マップすなわちエッジマップが作成される。このマップを作成するために、四つのエッジ検出器フィルタが各チャネルに設置されており、検出結果が合計されてエッジマップが作成される。この四つのフィルタは、水平方向の「ｈ」、垂直方向の「ｖ」、斜め方向の「ｓ」、および逆斜め方向の「ｂ」からなる。チャネル画像をｆ（ｘ）、得られたエッジマップチャネルをｇ（ｘ）とすると、ｇ（ｘ）は、
【数１】
0004755749.tif 000002
で表される。式中、ｘは輝度チャネル（Ｌ*）またはクロミナンスチャネル（ａ*，ｂ*のどちらか一方）のいずれか、**は二次元回転操作を表し、各成分の絶対値が合計される。四つのエッジ検出器カーネルは５×５に配列した角錐台フィルタであり、ノイズを含む情報検出の際の強健性が得られるように選択されている。大きいカーネルを使用する程ノイズ低減度合は高まる。本実施例で用いたカーネルは、
【数２】
0004755749.tif 000003
である。
【００１６】
ブロック２０で、三つのチャネルエッジマップを合計することにより最終的な複合エッジマップ、ｇ、が作成される。すなわち、
【数３】
0004755749.tif 000004
各成文は全て既に正の値であるため、この合算に絶対値操作を付加する必要はない。
【００１７】
前記特徴エッジマップに基づいてしきい値が決定される。一般に、初期の概算では、画像中の平坦な領域が選択され、その領域でのエッジマップ値の標準偏差（ｓｔｄｖ）が計算される。標準偏差を三倍した値（３ｓｔｄｖ）がしきい値になる。このアルゴリズムが対話的に実行されている場合は、上記しきい値はノブ（ｋｎｏｂ）の一つとして利用者に示される。アプリケーションによって、しきい値が画像毎に有意な変化をしない場合は、しきい値はいったんオフライン扱いにされた後、将来の利用のために固定値として残される。
【００１８】
この段階でクロミナンスチャネル（ａ*，ｂ*）は平滑化されている。言い換えるとノイズはクリーニングされている。ブロック２２で、画像内の各画素において、対応するエッジマップ値が基準値として扱われる。この後アルゴリズムは、エッジマップ値を検査しながら、八つの範囲方向、Ｎ，ＮＥ，Ｅ，ＳＥ，Ｓ，ＳＷ，Ｗ，ＮＷの各々に一度に一画素ずつ動かす。エッジマップ値と基準値との差がしきい値より小さい場合は、その画素は平滑化近隣領域に加えられてアルゴリズムが続けられる。エッジマップ値と基準値との差がしきい値より大きくなった場合は、その範囲方向の平滑化近隣領域の成長は停止される。図２に、全範囲方向が検査された後の典型的な平滑化近隣領域を示す。この構成では、八つの隣接画素が対象画素を囲んでいるため八つの方向が示されている。しかしながら、連続した近隣領域ということが本発明の必須要件ではない。重要なことは、この近隣領域は形状と寸法が変化し得ることである。図１に戻る。ブロック２４で、平滑化近隣領域内で、ａ*およびｂ*チャネル値は平均化され、この平均値が図２の画素Ａのａ*およびｂ*チャネル値に置き換わる。このようにして画像内の各画素の処理が行われる。ブロック２６（図１）で、最終的に得られた画像が変換されて元の色空間に戻される。
【００１９】
全ての範囲方向において近隣領域を拡張できる最大半径は制限され、莫大な近隣領域が広い平坦領域に用いられることがないようにされる。この最大半径の値は５０〜１００画素の範囲にある。
【００２０】
本発明は、コンピュータプログラム製品として供給されるソフトウェアプログラムであって、デジタル画像の画素群から一画素ずつノイズを除去するためのコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体をもつソフトウェアプログラムによって実現される。このコンピュータプログラムは、
（ａ）デジタル画像の特徴のマップを作成、
（ｂ）前記特徴マップから得た対象画素の元の値を格納、
（ｃ）前記マップから得た特徴値を用いて、対象画素の元の値に関してクリーニング画素からなる形状可変の近隣領域を決定、
（ｄ）前記クリーニング画素からなる近隣領域と対象画素の値を用いて、ノイズがクリーニングされていくようにデジタル画像内の対象画素の元の値を変更、
および（ｅ）他の対象画素について（ａ）〜（ｄ）のステップを繰り返し、
の各ステップを実行する。
【００２１】
前記コンピュータ読み取り可能な記憶媒体は、例えば、（フロッピーディスクなどの）磁気ディスクや磁気テープなどの磁気記憶媒体、光ディスクや光テープなどの光記憶媒体、機械読み取り式メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、または他の各種フィジカルデバイスあるいは媒体を含む。
【図面の簡単な説明】
【図１】  本発明を実施してより高画質のデジタル画像を得るための処理フローを示すブロックダイアグラムである。
【図２】  本発明で使用される典型的な形状可変の画素近隣領域を示す図である。
【符号の説明】
１０  元の画像、１２  色空間変換ブロック、１４  輝度のエッジマップ作成ブロック、１６  第一のクロミナンスチャネルのエッジマップ作成ブロック、１８  第二のクロミナンスチャネルのエッジマップ作成ブロック、２０  複合エッジマップ作成ブロック、２２  画素近隣領域決定ブロック、２４  クロミナンス平滑化ブロック、２６  色空間変換ブロック。
【図１】
0004755749.tif 000005
【図２】
0004755749.tif 000006