(57)【要約】【課題】デジタル画像を改良するために、その後の処理において使用できる、デジタル画像のノイズ予測値を提供する。【解決手段】本発明によるノイズ予測方法は、ａ）複数の画素を有するソースデジタル画像を受け取るステップと、ｂ）１つの注目画素を選択するステップと、ｃ）注目画素に対して複数の方位を設定するステップと、ｄ）ソースデジタル画像における勾配解析及び複数の方位を用いて、注目画素に対してノイズを予測する最適な方位を選択するステップと、ｅ）注目画素において選択された方位を用いて、注目画素に対し、ノイズの無い予測画素値を決定するステップと、ｆ）注目画素以外の他の注目画素に対して、ステップｂ）からステップｅ）を繰り返し、それらのノイズの無い予測画素値を用いて、ソースデジタル画像の、ノイズ予測値を示すノイズ特性値を計算するステップとを備える。【選択図】　図２
2004005675.tif 000002
【特許請求の範囲】
【請求項１】
連続した画像処理で用いられるデジタル画像におけるノイズを予測するノイズ予測方法であって、
ａ）複数の画素を有するソースデジタル画像を受け取る受け取りステップと、
ｂ）１つの注目画素を選択する第１の選択ステップと、
ｃ）前記注目画素に対して複数の方位を設定する設定ステップと、
ｄ）ソースデジタル画像における勾配解析及び複数の前記方位を用いて、前記注目画素に対してノイズを予測する最適な方位を選択する第２の選択ステップと、
ｅ）前記注目画素において選択された前記方位を用いて、前記注目画素に対し、ノイズの無い予測画素値を決定する決定ステップと、
ｆ）前記注目画素以外の他の注目画素に対して、ステップｂ）からステップｅ）を繰り返し、それらの前記ノイズの無い予測画素値を用いて、前記ソースデジタル画像の、ノイズ予測値を示すノイズ特性値を計算する計算ステップと
を備える方法。
【請求項２】
ステップｄ）が、前記注目画素の２以上の方向強度勾配値を計算する計算ステップを含み、前記方向強度勾配値の各々が、前記注目画素について異なる空間方位に対応する請求項１に記載のノイズ予測方法。
【請求項３】
ステップｅ）が、前記ノイズの無い予測画素値と前記注目画素の値とを用いて、残差画素値を計算するステップを含む請求項１に記載のノイズ予測方法。
【請求項４】
ステップｆ）が、前記残差画素値を用いて、前記ノイズ特性値を計算するステップを含む請求項３に記載のノイズ予測方法。
【請求項５】
前記方向強度勾配値の各々が、前記注目画素の値から独立している請求項２に記載のノイズ予測方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像からノイズを除去するために使用できるノイズ予測値の提供に関する。
【０００２】
【従来の技術】
デジタル画像の外観を改良するよう設計されたデジタル画像処理用途には、そのデジタル画像に関連したノイズ特性を利用するものがある。例えば、Ｋｅｙｅｓ等は、ノイズ予測システムを用いてデジタル画像におけるノイズ成分を測定し、ノイズ予測値を生成するステップと、そのノイズ予測値を用いる画像鮮鋭化システムを用いて、デジタル画像を鮮鋭化するステップとを含むデジタル画像の鮮鋭化方法を説明する（例えば、特許文献１参照）。同様に、Ａｎｄｅｒｓｏｎ等によって説明される方法のように、デジタル画像生成用途は、処理されたデジタル画像におけるノイズを低減する目的で、自動ノイズ予測方法を組み込む（例えば、特許文献２参照）。
【０００３】
Ｓｙｎｄｅｒ等は、デジタル画像のノイズ特性を予測し、そのノイズ特性を、ノイズ除去システムと共に使用して、そのデジタル画像におけるノイズ量を低減するステップを含む画像処理方法を開示する（例えば、特許文献３）。Ｓｙｎｄｅｒ等によって開示される方法は、個々のデジタル画像に対して働くように設計され、ノイズ特性予測処理のために複数のステップ処理を含む。第１の残差信号は、空間フィルタを適用することによって得られるデジタル画像から形成される。この第１の残差は、デジタル画像のどの領域が画像構造コンテンツを含む可能性が大きいか及び少ないかを判断するマスク信号を形成するために解析される。最後のステップは、第２の残差信号を形成し、第１の残差信号によって示されるように画像構造を含むとは考えにくい画像領域において、第２の残差信号を抽出することを含む。Ｓｙｎｄｅｒ等によって教示される方法は、第２の残差画像を計算するために使用される空間フィルタが、画像構造コンテンツを十分にフィルタ処理しないという事実により、正確なノイズ予測値を生成するために、マスク信号の使用を必要とする。
【０００４】
【特許文献１】
米国特許第６１１８９０６号
【特許文献２】
米国特許第５８０９１７８号
【特許文献３】
米国特許第５９２３７７５号
【０００５】
【発明が解決しようとする課題】
任意のノイズ予測方法において、画像構造コンテンツを含まない純粋なノイズである残差信号を得ることが望まれる。これは、画像におけるノイズ特性の、より正確な予測につながる。現存する技術は、ノイズを予測するために使用される残差信号に画像構造が混じるという問題がある。言い換えると、残差信号を生成する空間フィルタは、画像構造を十分に除去しない。マスク技術は、残差信号から画像構造画素を十分に除去できない。
【０００６】
本発明の目的は、デジタル画像を改良するために、その後の処理において使用できる、デジタル画像のノイズ予測値を提供することである。
【０００７】
本発明の更なる目的は、ノイズ予測値を使用するデジタル画像のノイズ低減及び空間鮮鋭化処理を提供することである。
【０００８】
【課題を解決するための手段】
本発明に係るノイズ予測方法は、連続した画像処理で用いられるデジタル画像におけるノイズを予測する方法である。そのノイズ予測方法は、ａ）複数の画素を有するソースデジタル画像を受け取る受け取りステップと、ｂ）１つの注目画素を選択する第１の選択ステップと、ｃ）前記の注目画素に対して複数の方位を設定する設定ステップと、ｄ）ソースデジタル画像における勾配解析及び複数の前記の方位を用いて、前記の注目画素に対してノイズを予測する最適な方位を選択する第２の選択ステップと、ｅ）前記の注目画素において選択された前記の方位を用いて、前記の注目画素に対し、ノイズの無い予測画素値を決定する決定ステップと、ｆ）前記の注目画素以外の他の注目画素に対して、ステップｂ）からステップｅ）を繰り返し、それらの前記のノイズの無い予測画素値を用いて、前記のソースデジタル画像の、ノイズ予測値を示すノイズ特性値を計算する計算ステップとを備える。
【０００９】
好ましくは、前記のノイズ予測方法において、ステップｄ）は、前記の注目画素の２以上の方向強度勾配値を計算する計算ステップを含む。前記の方向強度勾配値の各々は、前記の注目画素について異なる空間方位に対応する。
【００１０】
好ましくは、前記のノイズ予測方法において、ステップｅ）は、前記のノイズの無い予測画素値と前記の注目画素の値とを用いて、残差画素値を計算するステップを含む。
【００１１】
好ましくは、前記のノイズ予測方法において、ステップｆ）は、前記の残差画素値を用いて、前記のノイズ特性値を計算するステップを含む。
【００１２】
好ましくは、前記のノイズ予測方法において、前記の方向強度勾配値の各々は、前記の注目画素の値から独立している。
【００１３】
【発明の効果】
本発明の効果は、ノイズ予測空間フィルタの特徴として勾配解析を用いることにより、デジタル画像に存在するノイズの大きさの予測値を示すノイズ特性値が計算され、それが、デジタル画像からノイズを除去するために使用されることである。本発明の更なる目的は、そのノイズ特性値が、ノイズの増幅を最小限にする一方、デジタル画像の空間的細部を改良するために使用できることである。
【００１４】
【発明の実施の形態】
以下に、添付の図面を参照して、本発明の実施の形態について説明する。
以下の説明において、本発明の好ましい実施の形態は、ソフトウェアプログラムとして述べられる。当業者は、そのようなソフトウェアと均等なものが、ハードウェアにおいても構成できると容易に認識するであろう。画像操作アルゴリズム及びシステムは周知であるため、本明細書の説明は、特に、本発明による方法の一部を形成する、又は、本発明による方法とより直接的に連携するアルゴリズム及びシステムに向けられる。本明細書で特に図示又は説明されない、そのようなアルゴリズム及びシステム、並びに、それに関連した、画像信号を生成又は処理するハードウェア及び／又はソフトウェアの他の態様は、当業界で既知のそのようなシステム、アルゴリズム、構成要素及び素子から選択できる。以下の説明を考えると、その全てのソフトウェア実行が従来のものであり、当該技術分野における通常の知識の範囲内である。
【００１５】
本発明は、コンピュータハードウェアで実行できる。図１を参照すると、以下の説明は、撮像装置１０ａ、デジタル画像処理装置２０、画像出力装置３０ａ及び一般的な制御コンピュータ４０を含むデジタル画像生成システムに関する。そのシステムは、コンピュータコンソールや用紙プリンタ等のモニタ装置５０を含んでもよい。また、そのシステムは、キーボードやマウスポインタ等の、操作者のための入力制御装置６０を含んでもよい。複数の撮像装置１０ａ，１０ｂ，１０ｃは、本発明が、種々の画像生成装置から得られるデジタル画像に使用できることを示す。例えば、図１は、撮像装置１０ａが、フィルムスキャナ装置と一体化された従来の写真フィルムカメラであるデジタル写真仕上げシステムを示すことができる。写真フィルムカメラは、カラーネガフィルム又はカラー反転フィルム上にシーンを撮像する。フィルムスキャナ装置は、フィルム上の現像画像を検知し、デジタル画像を生成する。「スキャナ」という語は、検知装置を、写真フィルム試料を通り過ぎて物理的にスキャン又は移動させるデジタル画像生成装置をいう場合があるが、本発明は、固定画像検知装置を採用してデジタル画像を生成する写真フィルムスキャナ及びプリントスキャナも含む。デジタル画像処理装置２０は、デジタル画像を処理して、意図される出力装置又は出力媒体上に満足の行く外観の画像を生成する手段を提供する。複数の画像出力装置３０ａ及び３０ｂは、本発明が、デジタル写真プリンタやソフトコピーディスプレイを含みうる種々の出力装置と共に使用できることを示す。デジタル画像処理装置２０は、デジタル画像を処理し、画像出力装置３０ａによって、満足のいく外観の画像が生成されるように、デジタル画像の全体の輝度、色階調、画像構造等を調整する。当業者は、本発明が、これら上述の画像処理モジュールに限定されないことを認識するであろう。
【００１６】
図１に示される一般的な制御コンピュータ４０は、本発明を、コンピュータが読み取り可能な記憶媒体に記憶されるコンピュータプログラムとして記憶することができる。その記憶媒体は、例えば、（フロッピーディスク等の）磁気ディスク又は磁気テープ等の磁気記憶媒体、光ディスク、光テープ又は機械読み取り可能バーコード等の光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）等の固体電子記憶装置を含んでよい。また、本発明の関連したコンピュータプログラムの実施は、オフライン記憶装置７０によって示されるコンピュータプログラムを記憶するために採用された他の物理的装置又は物理的媒体に記憶されてもよい。本発明について説明する前に、本発明は、好ましくは、パーソナルコンピュータ等の他の既知のコンピュータシステムで使用されることに留意することは、理解を容易にする。
【００１７】
また、ソフトウェア及び／又はハードウェアを組み合せたものにおいて実行される本発明は、同じ物理的位置内で物理的に接続及び／又は位置される装置に限られないことにも留意すべきである。図１に示される１以上の装置は、離れて位置され、無線接続を介して接続されてもよい。
【００１８】
デジタル画像は、１以上のデジタル画像チャネルを含む。各々のデジタル画像チャネルは、画素の２次元配列を含む。各々の画素値は、その画素の幾何学的領域に対応する撮像装置１０ａによって受け取られた光の量に関する。カラー画像生成用途に関して、デジタル画像は、典型的に、赤色、緑色及び青色デジタル画像チャネルから成る。また、他の構造、例えば、シアン、マゼンタ及びイエローのデジタル画像チャネルが実施されてもよい。動画形成用途は、デジタル画像の時間系列として考えられてよい。当業者は、本発明が、上記用途の任意のものについて、デジタル画像チャネルに適用されるが、それに限られないことを認識するであろう。本発明は、デジタル画像チャネルを、縦列及び横列に配列された画素値の２次元配列として説明し、当業者は、本発明の手順が、同等の効果をもってモザイク（非直線）配列に適用できることを認識するであろう。
【００１９】
図１に示されるデジタル画像処理装置２０が、図２において、より詳細に示される。本発明によって採用されるデジタル画像処理装置２０の一般的な形態は、画像処理モジュールのカスケード式連鎖である。ソースデジタル画像１０１は、デジタル画像処理装置２０によって受け取られる。デジタル画像処理装置２０は、出力において、改良されたデジタル画像１０２及びノイズ特性テーブル１０５、すなわち、ソースデジタル画像のノイズ規模の予測を示すノイズ特性値のテーブルを生成する。ノイズ予測モジュール１１０は、ソースデジタル画像１０１を受け取り、ノイズ特性テーブル１０５を生成する。デジタル画像処理装置２０内に含まれる各々の画像処理モジュールは、デジタル画像を受け取り、そのデジタル画像を修正し、処理されたデジタル画像を生成し、その処理されたデジタル画像を、次の画像処理モジュールに送る。デジタル画像処理装置２０内に示される２つの改良変換モジュールは、ノイズ低減モジュール２２及び空間鮮鋭化モジュール２３である。これらの２つのモジュールは、ノイズ予測モジュール１１０によって生成されたノイズ特性テーブル１０５を使用し、改良されたデジタル画像１０２を生成する。当業者は、ノイズ特性テーブルを使用する他の任意の画像処理モジュールが、本発明とともに使用できることを認識するであろう。
【００２０】
図２に示されるノイズ予測モジュール１１０は、図３において、より詳細に示される。ソースデジタル画像１０１は、１以上の異なる色に対応する画素を含み、典型的に、赤色、緑色及び青色に対応する画素を有する３つのデジタル画像チャネルを含む。残差変換モジュール１２０は、ソースデジタル画像１０１を受け取り、空間フィルタ及びそのソースデジタル画像１０１の画素データを使用して、残差デジタル画像１０７、すなわち、ソースデジタル画像１０１における各々の原画素値に対応する残差画素値を計算する。従って、残差デジタル画像１０７は、ソースデジタル画像１０１の１以上の異なる色に対応する値を有する画素を含む。残差統計累算器１３０は、残差デジタル画像１０７を受け取り、残差デジタル画像１０７から１組の残差ヒストグラムを計算する。ノイズテーブル計算器１４０は、１組の残差ヒストグラムを受け取り、ノイズ特性テーブル１０５を生成する。
【００２１】
残差変換モジュール１２０は、ソースデジタル画像１０１の画素データにおいて空間フィルタ処理を実行する。すなわち、残差画素値は、ソースデジタル画像１０１における選択された注目画素の各々に対して生成される。一般的に、ソースデジタル画像１０１の全て又はほとんど全ての画素は、注目画素として選択される。しかし、本発明は、ソースデジタル画像１０１の画素の一部を用いて実行でき、正確なノイズ特性テーブルを生成できることに留意することが重要である。各々の注目画素に対して、注目画素の周囲の局所領域において抽出された画素値の集合は、注目画素に対する２以上のノイズの無い予測画素値（以下、「ノイズ無し予測画素値」という。）を計算するために使用される。最終的なノイズ無し予測画素値が選択され、残差画素値は、最終的なノイズ無し予測画素値と、注目画素の値との間の差として計算される。残差変換モジュール１２０は、各々のカラーデジタル画像チャネルに個別に空間フィルタ処理を実行し、各々のカラーデジタル画像チャネルの各々の画素に対して残差画素値を形成する。すなわち、赤色画素値の空間フィルタ処理は、緑色画素値を使用せず、また、緑色画素値の空間フィルタ処理は、赤色画素値を使用しない。その処理は、以下に、数学的に示される。
【００２２】
仮に、ｇ（ｘ，ｙ）が、ソースデジタル画像１０１の個々のカラーデジタル画像チャネルに対応した画素値の配列を示すものとする。カラーデジタル画像チャネルが、追加のノイズ源によって影響を受けることを想定すると、ｇ（ｘ，ｙ）は、ノイズ成分ｎ（ｘ，ｙ）と信号成分ｆ（ｘ，ｙ）の項で定義でき、式（１）によって与えられる。
【数１】
2004005675.tif 000003
信号成分ｆ（ｘ，ｙ）の予測値は、空間フィルタを用いて得られる。その後、ｇ（ｘ，ｙ）と信号成分ｆ（ｘ，ｙ）との差を計算することによって、ノイズ成分ｎ（ｘ，ｙ）が得られる。全体的なノイズ予測処理の効果は、主として、使用される空間フィルタの効果による。ｆ（ｘ，ｙ）の近似が良ければ良いほど、ノイズ成分ｎ（ｘ，ｙ）の予測値が良好なものになる。結局、目的は、ノイズのみから成るノイズ成分（残差デジタル画像１０７）ｎ（ｘ，ｙ）を生成することである。すなわち、残差デジタル画像１０７において、画像構造信号コンテンツは、全く存在すべきでない。
【００２３】
本発明の好ましい実施の形態は、ソースデジタル画像１０１の画素に勾配解析を使用し、注目画素のノイズを予測するのに最も適した方位を選択する。勾配解析は、４つの空間フィルタを適用することによって実行される。その空間フィルタの各々は、注目画素と交わり、注目画素の周囲で抽出される局所領域において４つの方向強度勾配値を得る。４つの空間フィルタの各々は、エッジ検知に関して異なる暗黙の方位を有するので、４つの空間フィルタは、注目画素に対する複数の方位を示す。特に、４つの空間フィルタは、注目画素の周囲に方位付けされる４つの空間的な方向、例えば、０度、９０度、４５度及び１３５度における信号の勾配の測定を提供する。方向強度勾配値を得るために使用される４つの空間フィルタは、以下に与えられる。
【数２】
2004005675.tif 000004
【数３】
2004005675.tif 000005
【数４】
2004005675.tif 000006
【数５】
2004005675.tif 000007
式（２）の空間フィルタは、０度方向の方向強度勾配値を生成し、式（３）の空間フィルタは、９０度方向の方向強度勾配値を生成し、式（４）の空間フィルタは、４５度方向の方向強度勾配値を生成し、式（５）の空間フィルタは、１３５度方向の方向強度勾配値を生成する。所定の注目画素ｇ（ｘ０，ｙ０）に対して、４５度方位に対応する方向強度勾配値ｇ’４５（ｘ０，ｙ０）は、以下の式（６）に示されるように、式（４）の空間フィルタを、ソースデジタル画像で畳み込むことによって計算される。
【数６】
2004005675.tif 000008
ここで、ｇ’４５（ｘ０，ｙ０）は、注目画素ｇ（ｘ０，ｙ０）での４５度方位の強度勾配の予測値である。同様に、他の空間方位の方向強度勾配値は、式（６）の項ｈ４５（ｉ，ｊ）に対応する空間フィルタを置き換えることによって計算される。式（２）から式（５）に説明される空間フィルタは、既知のＳｏｂｅｌ勾配フィルタである。当業者は、他の類似の勾配検知空間フィルタが存在し、方向強度勾配値を計算するために使用できることを認識するであろう。例えば、式（２）から式（５）に示される空間フィルタの代わりに、以下の２つの単純な空間フィルタが使用できる。
【数７】
2004005675.tif 000009
【数８】
2004005675.tif 000010
ここで、空間フィルタｈ０は、式（８）で示されるように、ｈ９０の転置として与えられる。式（７），（８）に示される空間フィルタは、実行がずっと容易であり、０度及び９０度の空間方位の方向に対して、２つの方向強度勾配値を計算するために使用できる空間フィルタを示す。使用できる一組の空間フィルタの別の例は、２．０の値を有する要素が、１．０の値を有する要素で置き換えられることを除いて、式（２），（３），（４）及び（５）によって示されるフィルタと同じＳｏｂｅｌ空間フィルタである。
【００２４】
本発明の重要な態様は、異なる空間方向に対して計算された複数の方向強度勾配値の使用である。ｆ（ｘ，ｙ）によって示される、構成の基礎を成す画像構造は、かなりしばしば、特定の方向に沿って空間的な相関関係を示す。目的は、ｆ（ｘ，ｙ）の最も頑強な予測値を得ること、従って、ノイズを排除することである。同様に、ノイズ予測の目的で、ｆ（ｘ，ｙ）の頑強な予測値は、ｎ（ｘ，ｙ）がｆ（ｘ，ｙ）からの残差空間構造を全く含まないことを保証する。言い換えると、重要なことは、空間構造とノイズを区別することである。ノイズの空間周波数が、一般的に、高いと仮定するなら、空間構造の空間周波数が低いとき、ノイズは空間構造と容易に区別できる。加工しない画像による実験は、局所的な勾配（すなわち、注目画素の近くにおいて）が、構成の基礎をなす空間構造の空間周波数をよく表示しうることを示す。特に、方向強度勾配値の大きさは、基礎を成す空間構造の方位の表示として使用できる。それ故、大きさが最小の方向強度勾配値、すなわち、最小絶対値は、空間構造の空間周波数が最も低い方向を示す。従って、大きさが最小の方向強度勾配値に基づいて好ましい空間方位を選択することにより、頑強なノイズ予測値が得られる。
【００２５】
また、上記の勾配空間フィルタにおいて、注目画素の値が、方向強度勾配値の計算に使用されないことにも留意すべきである。それ故、各々の方向強度勾配値は、注目画素の値から独立している。
【００２６】
式（２）から式（５）の空間フィルタを画像画素データに適用するとき、４つの方向強度勾配値が注目画素に対して計算される。その後、その方向強度勾配値は、注目画素に対する好ましい空間方位を選択するために使用される。その後、選択された好ましい空間方位は、信号ｆ（ｘ，ｙ）に関して注目画素に対するノイズ無し予測画素値を計算するために使用される。注目画素に対するノイズ無し予測画素値は、注目画素の周囲で抽出された画素の値を用いて計算される。デジタル画像データによる実験は、低い信号変調を特徴とする画像領域に対して、ノイズ予測処理の正確さが改善されることを示した。それ故、本発明は、好ましい空間方位によって示される方向、すなわち、最も低い空間周波数変調に対応する方向に沿って、優先的に画素を重み付けすることにより、ノイズ無し予測画素値を計算する。４つの方向強度勾配値を使用する場合、以下の論理を用いて、ノイズ無し予測画素値が得られる。
ｉｆ　ｍａｘ｛ｇ’０（ｘ０，ｙ０），　ｇ’９０（ｘ０，ｙ０），　ｇ’４５（ｘ０，ｙ０），　ｇ’１３５（ｘ０，ｙ０）｝＝　ｇ’０（ｘ０，ｙ０），
ｔｈｅｎ　ｆ（ｘ０，ｙ０）＝（Ａ４＋Ａ５＋Ａ６）／３
Ｅｌｓｅ，　ｍａｘ｛ｇ’０（ｘ０，ｙ０），　ｇ’９０（ｘ０，ｙ０），　ｇ’４５（ｘ０，ｙ０），　ｇ’１３５（ｘ０，ｙ０）｝＝　ｇ’９０（ｘ０，ｙ０），
ｔｈｅｎ　ｆ（ｘ０，ｙ０）＝（Ａ２＋Ａ５＋Ａ８）／３
Ｅｌｓｅ，　ｍａｘ｛ｇ’０（ｘ０，ｙ０），　ｇ’９０（ｘ０，ｙ０），　ｇ’４５（ｘ０，ｙ０），　ｇ’１３５（ｘ０，ｙ０）｝＝　ｇ’４５（ｘ０，ｙ０），
ｔｈｅｎ　ｆ（ｘ０，ｙ０）＝（Ａ３＋Ａ５＋Ａ７）／３
Ｅｌｓｅ，　ｍａｘ｛ｇ’０（ｘ０，ｙ０），　ｇ’９０（ｘ０，ｙ０），　ｇ’４５（ｘ０，ｙ０），　ｇ’１３５（ｘ０，ｙ０）｝＝　ｇ’１３５（ｘ０，ｙ０），
ｔｈｅｎ　ｆ（ｘ０，ｙ０）＝（Ａ１＋Ａ５＋Ａ９）／３
ここで、上述のＡ１からＡ９の値は、注目画素の周囲で抽出された局所領域における画素であり、ｆ（ｘ０，ｙ０）は、画像の座標（ｘ０，ｙ０）に位置された注目画素に対するノイズ無し予測画素値である。ノイズ無し予測画素値を得るために使用される局所領域は、図４に、より詳細に示される。式（２）から式（５）と図４からわかるように、本発明の好ましい実施の形態は、注目画素の周囲で抽出された３×３の局所領域を使用する。しかし、種々の大きさの局所領域が使用できることに留意すべきである。例えば、５×５の局所領域が望まれてもよい。当業者は、我々の目的とするフレームワークが、そのような任意の場合について容易に拡張されることに留意するであろう。
【００２７】
上述の空間フィルタ処理技術は、ノイズ予測及びノイズ除去に使用できる。以下に述べられるように、ノイズ無し予測画素値は、注目画素から減じられ、ノイズコンテンツの予測値が導き出せるノイズ残差画像を形成する。また、本発明は、空間フィルタ処理技術を使用して、ノイズ無し予測画素値から、改良されたデジタル画像を形成する。
【００２８】
注目画素に対してノイズ無し予測値ｆ（ｘ，ｙ）を得たとき、そのノイズｎ（ｘ，ｙ）の予測値は、式（１）を整理することによって得られる。
【数９】
2004005675.tif 000011
従って、ノイズ残差画像１０７は、対応する注目画素の値から、ノイズ無し予測画素値を減算することによって得られる。
【００２９】
上述のように、ソースデジタル画像１０１の画素データは、撮影された対象に関連する信号成分ｆ（ｘ、ｙ）とノイズ成分ｎ（ｘ，ｙ）の２つの成分を持つものとして概念的に説明できる。結果として得られる残差画素値は、ソースデジタル画像１０１の画素データの、信号成分よりもノイズ成分と、より密接な関係にある統計特性を有する。ノイズ成分は、副成分を含む場合があるが、そのノイズ成分の確率論的な副成分は、０平均ガウス確率分布関数（ａ　ｚｅｒｏ　ｍｅａｎＧａｕｓｓｉａｎ　ｐｒｂａｂｉｌｉｔｙ　ｄｉｓｔｒｉｂｔｉｏｎ　ｆｕｎｃｔｉｏｎ）によって十分にモデル化される。第一次について、ソースデジタル画像１０１の画素データのノイズ成分が、標準偏差と、０の平均値とによって特徴付けできる。第二次について、ノイズ成分の標準偏差が、信号長と色に依存するものとしてモデル化できる。
【００３０】
図３を参照すると、残差統計累算器１３０は、残差画素値を解析し、これらの値を、カラーデジタル画像チャネルと画素値の関数として、一組の残差ヒストグラムの形態で記録する。それ故、所定の残差ヒストグラムＨｉｋは、ｉ番目のカラーデジタル画像チャネルとｋ番目の画素値の部分的範囲とに関する。処理されたカラーデジタル画像チャネルにおけるｐｍｎ（ｍ番目の横列とｎ番目の縦列の位置に対応する）によって示された各々の注目画素に対して、ヒストグラムビンインデックスｋが計算される。例えば、もし、画素値の数値範囲が０から２５５であるなら、２５６の有用なヒストグラム、すなわち、起こりうる画素値の各々に対して１つのヒストグラムが存在できる。一般的に、ほとんどのノイズ源は、画素値のスローな関数であるノイズの標準偏差を有するものとして特徴付けできる。それ故、本発明の好ましい実施の形態は、０から２５５の画素値の数値範囲をカバーする８つのヒストグラムを使用する。従って、計算されたヒストグラムビンインデックスと対応する画素値の部分的範囲が、以下の表１によって与えられる。
【表１】
2004005675.tif 000012
当業者は、本発明が、任意の数値範囲を持つデジタル画像画素データで実行できることを認識するであろう。各々のカラーデジタル画像チャネルに対して使用される残差ヒストグラムの数は、特定のデジタル画像生成用途に対して必要とされる結果の正確さに依存する。
【００３１】
各々のおおよその残差ヒストグラムは、所定のカラーデジタル画像チャネルに対して種々の画素値に対する統計情報を記録し、その残差ヒストグラムは、各々の注目画素ｐｍｎに関連した残差画素値の周波数を記録する。残差画素値の分布の期待される平均は０であるので、残差画素値は、正と負の両方の値を示す。それ故、おおよその残差ヒストグラムは、周波数、すなわち、残差画素値の事例の数、残差画素値の全ての可能な事例の数を記録しなければならない。上記の例について、残差画素値は、−２５５から＋２５５までの範囲であってよい。残差画素値の可能な事例と同じ数の記録ビンで、残差ヒストグラムを構成することは可能であるが、一般的に、必要とされない。ほとんどのデジタル画像について、ほんのわずかの残差画素値は、可能な範囲の極端に近い値を示す。本発明は、各々の残差ヒストグラムについて、総数１０１個の記録ビンを使用する。記録ビンの１つは、５０以上の残差画素値に対応する。同様に、他の１つの記録ビンは、−５０以下の残差画素値に対応する。他の９９の記録ビンの各々は、−４９から＋４９の数値範囲の信号残差画素値に対応する。
【００３２】
図３を参照すると、ノイズテーブル計算器１４０は、一組の残差ヒストグラムを受け取り、ノイズ特性テーブルを計算する。特定のカラーデジタル画像チャネルや画素値範囲に関連した残差ヒストグラムの各々について、ノイズテーブル計算器１４０は、更新された残差ヒストグラムの記録セルの値から、ノイズ標準偏差値を得る。これは、ノイズ残差画素値の標準偏差を計算することに等しい。本発明の好ましい実施の形態は、式（１０）を使用して、標準偏差値σｎを計算する。
【数１０】
2004005675.tif 000013
ここで、変数ｘは、表１によって与えられるｋ番目の記録セルにおいて累積された残差画素値の平均画素値を示し、ＲＣｖ（ｋ）は、ｋ番目の記録セルによって累積された残差画素値の数を示す。
【数１１】
2004005675.tif 000014
【数１２】
2004005675.tif 000015
変数ｘｍは、式（９）によって与えられた対応する残差画素値の計算上の平均値を示し、変数Ｎは、式（１３）によって与えられる更新された残差ヒストグラムによって記録される残差画素値の総数を示す。
【数１３】
2004005675.tif 000016
【００３３】
本発明の別の実施の形態は、アルファトリム（ａｌｐｈａ−ｔｒｉｍｍｅｄ）標準偏差計算を実行する。この実施の形態において、標準偏差σｅに対する第１の概算が、上述の方法を用いて計算される。その後、σｎの計算は、０の限られた範囲内にある対応する残差画素値を有する記録セルのみを用いて計算される。標準偏差計算σｎの式は、式（１４）によって与えられる。
【数１４】
2004005675.tif 000017
ここで、変数γは、式（１５）によって与えられる。
【数１５】
2004005675.tif 000018
ここで、変数αは、３．０に設定される。この本発明の別の実施の形態は、前述の好ましい実施の形態よりも、計算上集約的であるが、範囲外にある残差画素値が、標準偏差σｎの値の計算に不利に寄与することを排除することによって、より正確な結果を生み出す。
【００３４】
以下の表２は、本発明で生成されるノイズ特性テーブルの例である。
【表２】
2004005675.tif 000019
当業者は、本発明が、デジタル画像に存在するノイズに関連した標準偏差以外の計算された量で実行できることを認識すべきである。例えば、統計分散又は統計中央値も、残差ヒストグラムから得られ、ノイズ特性値の表を形成するために使用される。表２からわかるように、ノイズ特性値は、ソースデジタル画像画素の数値、すなわち、ソースデジタル画像において示される光強度値の関数として報告される。加えて、もし、ソースデジタル画像が、（表２の場合のように）２以上のカラーチャネルを含むなら、ノイズ特性値も、ソースデジタル画像画素の色値及び数値の関数として計算できる。
【００３５】
本発明によって生成されるノイズ特性値の予測値の正確さは、残差画素値の追加の微調整を行うことで改良できる。例えば、もし、ソースデジタル画像が、２以上のカラーチャネルを含むなら、２以上のカラーチャネルの残差画素値は、カラー重み係数を計算するために使用できる。その後、このカラー重み係数は、ノイズ特性値の計算から、残差画素値を除去するために使用できる。当業者は、この微調整の種類が、文献において十分に立証され、本発明と容易に結合できることに留意するであろう。
【００３６】
本発明は、計算された統計を記録する一組の残差ヒストグラムを使用する。一組のヒストグラムは、ノイズ特性テーブルが得られる統計テーブルの一例である。従って、一組の残差ヒストグラムは、統計テーブルを構成する。当業者は、本発明が、統計テーブルの他の形態を用いて実行できることを認識すべきである。例えば、残差デジタル画像が記憶され、統計テーブルとして記憶されてよい。
【００３７】
計算されたノイズ特性テーブルは、ソースデジタル画像１０１を改良する目的で、空間フィルタと共に使用され、従って、改良されたデジタル画像１０２を生成する。空間フィルタは、注目画素に取って代わる改良された画素値を計算するために、注目画素の周囲の局所領域から抽出された画素値を使用する任意の方法である。処理されたデジタル画像からノイズを除去する目的で、少なくともいくつかの画素に対して、空間変調を減じるこれらの空間フィルタは、ノイズ除去フィルタとしてみなされる場合がある。処理されたデジタル画像において空間的に細部のノイズを改良する目的で、少なくともいくつかの画素に対して、それらの空間変調を増大させる空間フィルタは、空間鮮鋭化フィルタとしてみなされる場合がある。１つの信号空間フィルタが、空間鮮鋭化フィルタとノイズ低減フィルタの両方としてみなされる可能性があることに留意すべきである。本発明は、改良されたデジタル画像１０２を生成するために、ノイズ特性テーブルを使用する任意のデジタル画像処理方法で使用できる。画素の色値又は数値のいずれかの関数として処理制御パラメータを調整する空間フィルタは、適応できる空間フィルタである。本発明は、ノイズ特性テーブルに応答するノイズ低減フィルタと空間鮮鋭化フィルタを使用する。
【００３８】
図２を参照すると、本発明の好ましい実施の形態は、改良されたデジタル画像１０２を生成する画像処理方法の一部として、ノイズ低減モジュール２２を採用する。従って、ソースデジタル画像１０１とノイズ特性テーブル１０５は、出力としてノイズが低減されたデジタル画像を生成するノイズ低減モジュール２２によって受け取られる。
【００３９】
多くの実際のデジタル画像生成画像システムに対して、他の画像処理装置が含まれる必要があることに留意することが重要である。これらの他の画像処理装置が、入力としてデジタル画像を受け取り、出力としてデジタル画像を生成する限り、より多くのこれらの種類の画像処理モジュールが、ノイズ低減モジュール２２と空間鮮鋭化モジュール２３との間の画像処理連鎖に挿入できる。
【００４０】
本発明は、１９８３年の「Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｇｒａｐｈｉｃｓ，　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ」の第２４巻の２５５頁から２６９頁に掲載された、学術論文「Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｓｍｏｏｔｈｉｎｇ　ａｎｄ　ｔｈｅ　Ｓｉｇｍａ　Ｆｉｌｔｅｒ」において、処理されたデジタル画像の外観を改良するノイズ低減フィルタとして、Ｊｏｎｇ−Ｓｅｎ　Ｌｅｅによって説明されたシグマ（Ｓｉｇｍａ）フィルタの変形された実行を使用する。ｎが縦列又は横列方向における画素の長さを示すとき、抽出された局所領域に含まれる、ｎ×ｎ個の画素の値は、中心画素、すなわち注目画素の値と比較される。抽出された局所領域における各々の画素は、注目画素の値と局所領域画素値との間の絶対差に基づいて、１又は０の重み係数が与えられる。もし、その画素値の差の絶対値が、閾値εより小さい又は等しいなら、重み係数は１に設定される。それ以外の場合、重み係数は０に設定される。定数εは、期待されるノイズ標準偏差の２倍に設定される。数学的に、ノイズが低減された画素値（以下、「ノイズ低減画素値」という。）の計算の表示は、以下の式（１６）で与えられる。
【数１６】
2004005675.tif 000020
ここで、ｐｉｊは、抽出された局所領域に含まれるｉｊ番目の画素を示し、ｐｍｎは、縦列ｍ及び横列ｎに位置された注目画素の値を示し、ａｉｊは、重み係数を示し、ｑｍｎは、ノイズ低減画素値を示す。典型的に、その中心が中心画素である長方形の抽出領域が使用される。インデックスｉ及びｊは、局所画素値を抽出するために変化する。
【００４１】
信号に依存したノイズ特性は、式（１７）に与えられるεの表示に組み込まれる。
【数１７】
2004005675.tif 000021
ここで、σｎは、上述の式（１０）及び式（１４）によって記載された中心画素値ｐｍｎにおいて予測されるソースデジタル画像のノイズ標準偏差を示す。パラメータＳｆａｃは、ノイズ低減の程度を変化させるために使用できるスケール係数とよばれるものである。パラメ−タＳｆａｃの最適値は、実験を通して、１．５であることがわかったが、１．０から３．０の範囲の値も、許容できる結果を生じうる。その後、２つの合計の除算としてのノイズ低減画素値ｑｍｎの計算がなされる。その処理は、デジタル画像チャネルに含まれるいくつか又は全ての画素、及びデジタル画像に含まれるいくつか又は全てのデジタル画像チャネルに対して完了される。ノイズ低減画素値は、ノイズが低減されたデジタル画像を構成する。シグマフィルタの変形された実行は、ノイズ特性テーブルを使用するノイズ低減フィルタの例であり、それ故、画素の色及び数値の関数として除去されるノイズ量を変化させる適用可能なノイズ低減フィルタである。
【００４２】
図２を参照すると、本発明の好ましい実施の形態は、改良されたデジタル画像１０２を生成する画像処理方法の一部として、空間鮮鋭化ジュール２３を採用する。従って、ノイズ低減デジタル画像及びノイズ特性テーブル１０５は、出力として改良されたデジタル画像１０２を生成する空間鮮鋭化モジュール２３によって受け取られる。
【００４３】
本発明は、処理されたデジタル画像の空間的細部を鮮鋭化するためにノイズ特性の従来の知識を使用する任意の空間鮮鋭化フィルタで使用できる。好ましい実施の形態は、米国特許第５０８１６９２号にＫｗｏｎ等によって述べられる方法の変形された実行を使用する。この空間鮮鋭化方法は、入力されたデジタル画像を、（２．０画素の標準偏差によって特徴付けられる）空間平均２次元ガウスフィルタで、フィルタ処理することにより、不鮮明マスク処理を実行し、結果として不鮮明なデジタル画像となる。不鮮明なデジタル画像は、入力デジタル画像から除去され、ハイパス残差を形成する。Ｋｗｏｎ等によって開示される方法において、注目画素の周囲の局所分散が、ハイパス残差からの画素データを用いることにより計算される。局所分散の値に基づき、鮮鋭化係数が、小さな振幅信号よりも大きな振幅信号をより増幅するように調整される。それ故、増幅係数Φは、局所分散νの係数、すなわち、Φ（ν）である。
【００４４】
本発明は、Ｋｗｏｎ等によって教示された方法を変形して、増幅係数Φ（ν）を、予測されたノイズの関数、すなわち、Φ（ν，σｎ）にする。増幅関数ｆは、ガンマ関数によって与えられるか、又は、式（１８）に示されるようにガウス確率関数の積分によって与えられる。
【数１８】
2004005675.tif 000022
ここで、ｙｏは、最小増幅係数を示し、ｙｍａｘは、最大増幅係数を示し、νｍａｘは、変数νの横座標の最大値を示し、νｏは、変換パラメータを示し、ｓは、変換率パラメータを示す。変数νｏは、式（１９）に示されるようにノイズ標準偏差値σｎの関数である。
【数１９】
2004005675.tif 000023
ここで、スケーリング係数Ｓｆａｃ２は、ノイズに対する感度の鮮鋭化を決定し、ノイズ標準偏差値σｎは、式（１０）や式（１４）に示される。式（１９）で使用される変数の最適値は、デジタル画像生成用途に依存する。本発明は、ｙｏに対して１．０の値を使用し、ノイズ領域に対して全く空間鮮鋭化がない。しかし、ｙｍａｘに対して３．０の値が使用される。この変数は、２．０から４．０の範囲の値を有するユーザプレファレンスに対して敏感であり、許容できる結果を生成する。Ｓｆａｃ２の値は、１．０から２．０までの間に設定され、最適値は、１．５である。変数は、妥当な結果に対して、ｖ０／２からｖ０／１０の範囲の値に設定されるべきである。変数ｖｍａｘは、期待されたノイズよりもずっと大きい値、例えば、σｎの２０倍の値に設定されるべきである。
【００４５】
本発明の好ましい実施の形態は、ノイズ特性テーブルを計算し、その後、続いて、ノイズ特性テーブルを使用して改良されたデジタル画像を生成するが、いくつかのデジタル画像生成システムは、改良段階と計算段階を分離するように構成できる。本発明の別の実施の形態において、計算されたノイズ特性テーブルは、メタデータ、すなわち、非画素情報として、ソースデジタル画像１０１と共に記憶される。メタデータを有するソースデジタル画像１０１は、その後に、又は別のサイトで使用するために、遠隔サイトに伝送され、又は、安全に保管するために記憶されてもよい。上述の任意のノイズ特性テーブルは、メタデータとして記憶できる。一般的に、ノイズ特性テーブルは、一組の残差ヒストグラムよりもずっと小さいメモリ記憶装置を要する。しかし、一組の残差ヒストグラムが、ソースデジタル画像１０１と共に、メタデータとして記憶されてもよい。
【００４６】
本発明は、ソースデジタル画像１０１から残差デジタル画像１０７を計算するために空間フィルタを使用し、残差デジタル画像１０７からノイズ特性値を得る。当業者は、本発明が、その方法の統計に基づく正確さを改善するために、共通に譲渡された米国特許第５９２３７７５号において、Ｓｎｙｄｅｒ等によって述べられた方法等の空間マスク技術とともに使用できることを認識するであろう。
【００４７】
上述の４つの方向空間フィルタは、ノイズ低減フィルタとして使用できる。本発明のこの実施の形態において、最終的なノイズ無し予測画素値は、ソースデジタル画像１０１における各々の画素に対して計算される。それ故、最終的なノイズ無し予測画素値は、ノイズ低減デジタル画像、すなわち、ノイズが除去されたソースデジタル画像１０１の表示を形成する。他のノイズ低減方法よりも優れた本発明の効果は、本発明が、ソースデジタル画像１０１のノイズ特性の従来の知識を必要としないという事実である。
【図面の簡単な説明】
【図１】本発明を実行するのに適したデジタル画像処理システムのブロック図。
【図２】図１に示されるデジタル画像処理装置の詳細を示すブロック図。
【図３】図２に示されるノイズ予測モジュールの詳細を示すブロック図。
【図４】ノイズ無し予測画素値を計算するために使用される当該画素についての局所領域における画素の配置を示す図。
【符号の説明】
２０　デジタル画像処理装置
２２　ノイズ低減モジュール
２３　空間鮮鋭化モジュール
１０１　ソースデジタル画像
１０２　改良されたデジタル画像
１１０　ノイズ予測モジュール
【図１】
2004005675.tif 000024
【図２】
2004005675.tif 000025
【図３】
2004005675.tif 000026
【図４】
2004005675.tif 000027