(57)【要約】  ターゲットデジタル画像が、画像センサから受信される。画像は、参照デジタル画像で表される大きさのわからないノイズが混入されている。ターゲットデジタル画像及び参照デジタル画像の統計的分析を用いて、ターゲットデジタル画像の少なくともいくつかのピクセルについてのノイズの大きさを評価するプロセスが用いられる。
2010500125.tif 000002
【特許請求の範囲】
【請求項１】
参照デジタル画像によって表される大きさのわからないノイズが混入されているターゲットデジタル画像を画像センサから受信するステップと、
前記ターゲットデジタル画像及び前記参照デジタル画像の統計的分析を用いるプロセスを適用して、前記ターゲットデジタル画像の少なくともいくつかのピクセルについてのノイズの大きさを評価するステップと、
を含む方法。
【請求項２】
前記センサは、ＣＭＯＳセンサを含むことを特徴とする請求項１記載の方法。
【請求項３】
前記センサは、ＣＣＤセンサを含むことを特徴とする請求項１記載の方法。
【請求項４】
前記ノイズは、暗電流ノイズを含むことを特徴とする請求項１記載の方法。
【請求項５】
前記プロセスは、前記ターゲットデジタル画像のあらゆるピクセルについて前記暗電流の大きさを評価することを特徴とする請求項４記載の方法。
【請求項６】
前記プロセスを適用するステップは、プログラム命令を実行するステップを含むことを特徴とする請求項１記載の方法。
【請求項７】
前記統計的分析は、前記ターゲットデジタル画像及び前記参照デジタル画像に関する無相関分析を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記暗電流レベル評価は、センサ温度または露光時間についての情報を必要とせずに生成されることを特徴とする請求項４記載の方法。
【請求項９】
前記プロセスは、固定縦縞パターンを、ピクセルごとに、ターゲットデジタル画像から引くことを特徴とする請求項１記載の方法。
【請求項１０】
前記プロセスは、暗電流除去関数を前記縦縞パターンが修正されたデジタル画像に適用して、暗電流が修正されたデジタル画像を生成することを特徴とする請求項４記載の方法。
【請求項１１】
前記プロセスは、オフセット評価及び減算関数を前記暗電流が修正されたデジタル画像に適用してオフセットを除去することを特徴とする請求項１記載の方法。
【請求項１２】
あらゆるピクセルに対して前記評価された暗電流レベルを用いて前記ターゲットデジタル画像のあらゆるピクセルの前記ノイズを低減するステップを更に含むことを特徴とする請求項４記載の方法。
【請求項１３】
前記センサによって捕捉された画像の特徴を分析するのに用いるプロセッサに、前記ノイズが低減されたターゲットデジタル画像を与えるステップを更に含むことを特徴とする請求項１記載の方法。
【請求項１４】
前記画像は、悪性病変を含むことがあることを特徴とする請求項１３記載の方法。
【請求項１５】
前記参照デジタル画像は、縦縞パターンが実質的になくてかつ異なる露光時間を用いてそれぞれ得られるグレイ画像デジタル画像と黒画像デジタル画像とから生成されている暗電流デジタル画像に基づいていることを特徴とする請求項４記載の方法。
【請求項１６】
前記参照デジタル画像は、修正された暗電流デジタル画像に基づいていており、前記修正された暗電流デジタル画像は、前記センサの前記ピクセルにわたる低頻度空間トレンドの影響を低減するように処理されていることを特徴とする請求項４記載の方法。
【請求項１７】
前記参照データは、トレンド除去された暗電流デジタル画像と黒画像デジタル画像との無相関性に基づいていることを特徴とする請求項４記載の方法。
【請求項１８】
前記画像センサは、単色センサを含むことを特徴とする請求項１記載の方法。
【請求項１９】
前記画像センサは、２つ以上の異なるスペクトル帯で同時に撮像するセンサを含むことを特徴とする請求項１記載の方法。
【請求項２０】
前記画像センサは、赤帯域、緑帯域、及び青帯域（ＲＧＢ）で撮像することを特徴とする請求項１７記載の方法。
【請求項２１】
前記参照画像は、外部光なしで前記センサから得られることを特徴とする請求項４記載の方法。
【請求項２２】
前記画像センサは、可視領域または赤外領域で画像を生成することを特徴とする請求項１記載の方法。
【請求項２３】
前記画像センサは、Ｘ線照射または超音波照射を用いて画像を生成することを特徴とする請求項１記載の方法。
【請求項２４】
装置であって、
ソフトウェアプロセッサを含み、
前記ソフトウェアプロセッサは、
参照デジタル画像によって表される大きさのわからないノイズが混入されているターゲットデジタル画像を画像センサから受信し、
前記ターゲットデジタル画像及び前記参照デジタル画像の統計的分析を用いるプロセスを適用して、前記ターゲットデジタル画像の少なくともいくつかのピクセルについての前記ノイズの大きさを評価する、
ことを特徴とする装置。
【請求項２５】
ノイズが低減された前記ターゲットデジタル画像を前記評価された暗電流レベルを用いて分析して、悪性病変の可能性の有無を判断するデバイスを更に含むことを特徴とする請求項２４記載の装置。
【請求項２６】
装置であって、
参照デジタル画像によって表される大きさのわからないノイズが混入されているターゲットデジタル画像を画像センサから受信する手段と、
得られた前記ターゲットデジタル画像及び前記参照デジタル画像の統計的分析を用いて、前記ターゲットデジタル画像の少なくともいくつかのピクセルについての前記ノイズの大きさを評価するプロセスを適用する手段と、
を含む装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、デジタル画像のノイズを低減する方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ画像センサによって生成されるデジタル画像などのデジタル画像に現れる特徴が（例えば、医学的応用においてなど）量的に分析されることになっているとき、分析の前に画像からノイズを低減するかまたは除去することは有用である。デジタル画像を生成する信号がノイズと比べて低い場合に、画像からノイズを低減するかまたは除去することは同様に有用である。
【０００３】
画像を作るピクセル値におけるある特定の種類のノイズ（暗電流ノイズと称される。図１を参照せよ）は、ランダムなノイズレベルを示す。ノイズレベルは、光がセンサによって受信されていてもいなくても、ＣＭＯＳセンサアレイのそれぞれのピクセルによって生成される。（文言「ピクセル」は２つの異なる意味で用いられることがある。即ち、一つは、センサアレイの特定の位置にある光電性エレメントを言い、もう一つは、画像の特定の位置にありかつ輝度に対応する値を有するピクチャエレメントを言う。用語「デジタル画像」は、画像を作るピクセルアレイの値を述べるのに用いられることがある。）温度は別として、その暗電流レベルに影響を与える各センサピクセルの物理的特徴は、時間とともに変化しない。しかしながら、ピクセルの暗電流レベルは、ピクセルの温度による。さらに、ピクセルの暗電流は、時間とともに帯電を形成させる。それゆえピクセル値への暗電流の影響はピクセルの露光時間による。
【０００４】
画像の他のアーチファクトは、縦縞パターン（固定パターンノイズとも称される）、オフセット、及びショットノイズを含む。縦縞パターン（図２を参照せよ）は、アレイの異なるカラムのそれぞれの読み出し回路の動作における意図せざる差によるものであり、通常、時間がたっても変化しない。オフセットは、画像から画像までの全信号レベル（輝度）における差を示し、差は、読み出し回路の特定の電気特性における変化によって生じる。センサアレイによって生成される各ピクセル値は、信号値に比例する変動を有するランダムなショットノイズを含む。
【０００５】
他の種類の画像センサによって生成されるデジタル画像も暗電流ノイズの影響を受けやすいかもしれない。
【発明の開示】
【課題を解決するための手段】
【０００６】
一般に、ターゲットデジタル画像は、画像センサから受信される。画像は、参照デジタル画像で表される大きさのわからないノイズが混入されている。ターゲットデジタル画像及び参照デジタル画像の統計的分析を用いてターゲットデジタル画像の少なくともいくつかのピクセルについてノイズの大きさを評価するプロセスが用いられる。
【０００７】
実施には以下の特徴のうちの１つまたは複数が含まれてもよい。センサは、ＣＭＯＳセンサまたはＣＣＤセンサである。ノイズは、暗電流ノイズを含む。プロセスは、ターゲットデジタル画像のあらゆるピクセルについて暗電流の大きさを評価する。プロセスは、プログラム命令を含む。統計的分析は、ターゲットデジタル画像と参照デジタル画像に関する無相関分析を含む。暗電流の大きさの評価は、センサ温度または露光時間についての情報を必要とせずに生成される。参照デジタル画像は暗電流デジタル画像に基づいており、暗電流デジタル画像は、実質的に縦縞パターンがなくて、それぞれ異なる露光時間を用いて得られるグレーデジタル画像と黒デジタル画像とから生成される。参照デジタル画像は、修正された暗電流デジタル画像に基づいており、修正された暗電流デジタル画像は、ＣＭＯＳセンサのピクセルにわたって低頻度空間トレンドの影響を低減するように処理されている。参照デジタル画像は、トレンド除去された暗電流画像と黒デジタル画像との無相関性に基づいている。プロセスは、ターゲットデジタル画像からピクセルごとに縦縞パターンを引いて、縦縞パターンが修正されたデジタル画像を生成する。プロセスは、暗電流除去関数を縦縞パターンが修正されたデジタル画像に適用して、暗電流が修正されたデジタル画像を生成する。ターゲットデジタル画像のあらゆるピクセルのノイズは、評価された暗電流レベルを用いて低減される。プロセスは、オフセット評価及び減算関数を暗電流が修正されたデジタル画像に適用してオフセットを除去する。ノイズの低減されたターゲットデジタル画像は、ＣＭＯＳセンサによって捕捉された画像の特徴の分析に用いるプロセッサに与えられる。ターゲットデジタル画像は、悪性病変を含んでいることがあるかもしれない。
【０００８】
これらの特徴及び他の特徴並びに態様は、装置、方法、システム、プログラム製品、及び他の方法で表現されてもよい。
【０００９】
他の利点及び特徴は、以下の詳細な説明及び請求の範囲から明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】暗電流の画像を示す図である。
【図２】縦縞パターンの画像を示す図である。
【図３】フローチャートである。
【図４Ａ】フローチャートである。
【図４Ｂ】フローチャートである。
【図５】較正プロセス段階の画像を示す図である。
【図６】較正プロセス段階の別の画像を示す図である。
【図７】較正プロセス段階のまた別の画像を示す図である。
【図８】グラフを示す図である。
【図９】別のグラフを示す図である。
【発明を実施するための形態】
【００１１】
図３に示すように、ターゲットシーン１６（例えば、色素性病変１８のある皮膚）から光学素子２０を介して受信される光１４に応じてＣＭＯＳセンサアレイ１２によって生成される入力デジタル画像１０（ターゲットとして、Ｔと称される）は、ノイズリダクションソフトウェア２２（プロセッサ２４によって実行される）によって（ストレージ３８で一時的に記憶された後に）処理されて（例えば、ニューヨーク州アーヴィントンのエレクトロ‐オプティカルサイエンス社のメラノーマ検出製品であるメラファインド（ＭｅｌａＦｉｎｄ）（登録商標）を用いて、病斑が悪性メラノーマであるか否かを判断する(３０)ために）、定量分析２８で用いる出力デジタル画像２６（Ｏと称される）を生成することができる。
【００１２】
ノイズリダクションを医学的診断との関係におけるデジタル画像で実行する例が説明されているが、本ノイズリダクションプロセスは、いかなる目的に対するかついかなる状況下におけるいかなる画像センサアレイによって生成されるいかなるデジタル画像に対しても広く適用できる。例には、ノイズを低減したデジタル画像が、デジタル画像のノイズが問題になる最近の分析の対象となるいかなる例をも含んでいる。
【００１３】
縦縞パターン及びオフセットを低減する特定の方法も説明されているが、本明細書で説明されるデジタル画像の暗電流（及び参照デジタル画像で特徴付けられる他のノイズ）を低減する技術は、縦縞パターン及びオフセットがない限り、様々な用途で用いられてもよいし、または、当該技術において、他の種類のノイズが低減されてもよいし低減されなくてもよく、低減される場合には、リダクションは、本明細書で説明された例で説明される方法で行われてもよいし行われなくてもよい、ということが注目される。
【００１４】
他の種類の処理がまた、様々な用途においてセンサで生成されるデジタル画像に関して必要とされるかもしれない。他の種類の処理には、特定のレンズ及び照明器に付随する光学的影響を修正する処理を含む。よって、本明細書で説明されるノイズリダクション技術には、あらゆる光学的修正または特定の種類の光学的修正によって限定されない用途がある。
【００１５】
図４Ａ及び４Ｂに示すように、入力デジタル画像のノイズリダクション処理の前に、参照情報を取得して処理する。
【００１６】
参照情報を展開処理するあるステップにおいて、グレーデジタル画像３４の複数の独立したセットが、既知のセンサ温度または既知でないセンサ温度において暗部で取得されてストレージ３８に記憶される。露光時間は、長時間露光からの飽和状態を回避してなお暗電流の信頼できる測定が行えるような中間範囲内にある。図５は、暗部で取得されるグレー画像の例（表示のために１５倍の明度である）を示す。
【００１７】
複数のグレーデジタル画像は、平均化されて（３９）、平均デジタル画像４０（Ｇと称される）が生成され、平均デジタル画像４０では、個々のピクセルのショットノイズのレベルが低減される。
【００１８】
また、入力デジタル画像のノイズリダクション処理の前に、縦縞パターンなどの固定パターンノイズがある場合、黒デジタル画像の複数の独立したセットが、暗部で取得される。黒のセットに対する露光時間は、グレーのセットに対するよりも短くて（例えば、ハードウェアが許容するできるだけ短い露光時間）、固定パターンノイズの信頼できる測定を行って黒のセットの暗電流レベルを最小にする。
【００１９】
複数の黒画像は、平均化されて（３９）、平均黒デジタル画像４４（Ｂと称される）を生成し、平均黒デジタル画像４４では、平均グレーデジタル画像についてのように、個々のピクセルのショットノイズの影響が低減される。
【００２０】
平均黒デジタル画像Ｂが平均グレーデジタル画像Ｇから引かれて（４６）、暗電流デジタル画像４８（Ｄ）が生成される。グレーデジタル画像からの黒デジタル画像を引くことによって、純粋な暗電流の画像（縦縞パターンがない）が生成される。図６は、縦縞パターンを引いた後の図５の画像（表示のために１５倍の明度である）を示す。
【００２１】
次に、トレンド除去関数が暗電流デジタル画像４８に適用されて（５０）、データ４８のピクセルから低頻度空間トレンドが除去される。なんとなれば、暗電流デジタル画像のトレンドは、ターゲットデジタル画像と相関性があるからである。このトレンド除去は、暗電流デジタル画像４８のアレイ全体をＮピクセル×Ｎピクセルのサブアレイに再分割することによって行われる。各サブアレイ内で、暗電流デジタル画像値が、最小二乗適合を用いて、２つの変数の二次関数に適用される。次に、各ピクセルに対するこの二次関数の値は、当該ピクセルの実際の暗電流値から引かれる。実際には、Ｎ＝３で良好な結果が得られた。結果は、トレンド除去した暗電流デジタル画像５２（Ｓ）である。
【００２２】
次に、純粋な縦縞パターンデジタル画像Ｖ５６が、暗電流除去関数（５４）をＢに最初に適用することによって生成される。一般に、除去関数は、デジタル画像を返す。デジタル画像は、（ｉ）入力デジタル画像と、（ｉｉ）暗電流デジタル画像Ｄを要因Ａ１倍した積と、の間のピクセルごとの差を示す。
Ｖ＝Ｂ−Ａ１＊Ｄ
ここで、無相関関数は、２セットのデジタル画像、即ちＢ及びＳに関して要因Ａ１を見出す。
相関（Ｂ−Ａ１＊Ｓ，Ｓ）＝０
ここで、相関は、画像の特定領域内のすべてのピクセルにわたって算出される。
【００２３】
言い換えると、無相関関数は、画像のいくつかの領域にわたってデジタル画像Ｓからデジタル画像Ｂを無相関にする要因Ａ１を決定する。図４の特定のステップ５４に関して、無相関によって、黒画像Ｂにおける暗電流Ｄの大きさ（Ａ１）が決定される。
【００２４】
無相関関数は、センサ温度または露光時間を知る必要なしにターゲットピクセルからかつ参照ピクセルから暗電流ノイズが決定され得るようにする統計的分析の例である。分散最小化分析などの他の統計的方法が用いられてもよい。図のステップ５４の結果は、純粋な縦縞パターンのデジタル画像Ｖ５６である。
【００２５】
図７は、暗電流ノイズを引いた後の図６の画像を示す（１５レベル及び１００レベルで乗算された明度が表示のために各ピクセルに加えられた）。
【００２６】
図８は、明度を調節していない図５、６及び７の画像の標本図を示す。図８では、ＶＲｅｍは、固定パターンノイズを引いた後の明度である。ＤＣＲｅｍは、固定パターンノイズ及び暗電流を引いた後の明度である。ＯｆｆＲｅｍは、固定パターンノイズ、暗電流、及びオフセットを引いた後の明度である。図５のオリジナル画像では、ショットノイズは、約７−８レベルであり、ショットノイズは、較正プロセスによって除去されない。ショットノイズのリダクションは、画像についての空間の平均化または一時的な平均化のいずれかを必要とするかもしれない。
【００２７】
上述のステップは、例えば、係数較正の間一度だけ実行される必要があり、得られる較正デジタル画像は、長期にわたって多数のターゲット画像のために記憶されて用いられてもよい。ターゲット画像が捕捉されるたびに再び較正画像情報を展開処理する必要はない。
【００２８】
図４Ｂに示したように、Ｔのノイズを低減するために、純粋な縦縞パターンのデジタル画像Ｖが、Ｔから、ピクセルごとに引かれて、縦縞パターンが修正されたデジタル画像Ｔ１が得られる(６０)。
Ｔ１＝Ｔ−Ｖ
次に、画像のいくつかの領域にわたって無相関関数（５４）を用いて、画像Ｔ１の当該領域の暗電流Ｄの大きさＡ２が、
相関（Ｔ１−Ａ２＊Ｓ，Ｓ）＝０
から決定され、次に、暗電流がＴ１から除去されて、暗電流の修正されたデジタル画像Ｔ２が生成される(６４)。
Ｔ２＝Ｔ１−Ａ２＊Ｄ
ＣＭＯＳセンサは、（ターゲットからのあらゆる光を含む）光から映されるアレイの（例えば、コーナーのまたはエッジの１つに沿った）黒領域を有するように配置され得る。黒領域からのデジタル画像は、画像内のオフセットを修正するために用いられ得る。黒領域デジタル画像は、前に説明した縦縞パターン除去ステップ及び暗電流除去ステップによって最初に処理され、得られた処理済みの黒領域データが、平均化されて（６６）、平均黒領域値ＮＢが生成される（６８）。平均黒領域値が、画像の暗電流が修正されたデジタル画像Ｔ２のあらゆるピクセルから引かれて（７０）、ターゲット画像からオフセットが排除される。得られたオフセットが修正されたデジタル画像Ｔ３（７２）は、状況により追加の処理を受けてもよい。
【００２９】
例えば、画像システムによって与えられる不均一性（一様でないターゲット照明または不均一なセンサ応答など）によるデジタル画像Ｔ３からのアーチファクトを除去することに関心があるかまたはデジタル画像Ｔ３の実際の反射率を決定することに関心がある場合、較正デジタル画像Ｗは、既知の拡散反射率を有する均一のホワイトターゲットを撮像することによって取得されてもよい。次に、このホワイトターゲットデジタル画像は、縦縞パターン除去（該当する場合、Ｖを引くこと）、無相関性をＷ‐Ｖ及びＳに適用することによって暗電流の大きさを決定すること、暗電流除去、並びに、オフセット除去、を含む一連の工程を受けてＷ１を生成する。反射率較正７８は、デジタル画像Ｔ３に適用されて、（ピクセルごとに実行される）以下の計算によって反射率デジタル画像Ｔ４が生成されてもよい（８０）。
Ｔ４＝（Ｔ３／Ｗ）＊（Ｅ（Ｗ）／Ｅ（Ｔ３））＊ρ
ここで、Ｅは露光時間であり、ρはホワイト較正ターゲットの反射率である。反射率較正７８は、画像システムによって与えられる不均一性をデジタル画像Ｔ３から除去する。
【００３０】
必要に応じ追加の処理がＴ４に行われて、出力画像Ｏを生成する。
【００３１】
上述のプロセスは、センサアレイのすべての位置においてセンサ温度が均一であると仮定する。温度はセンサ全域で変化するという事実に対応させるために、暗電流は、センサの異なる部分で独立して評価されてもよく、独立した評価は入力デジタル画像の対応する部分に別個に適用された。
【００３２】
上述のプロセスは、センサによって提供される単色のデジタル画像に適用され得る。いくつかの例では、プロセスは、センサによって同時に生成される異なるスペクトル領域の複数のデジタル画像に適用されてもよい（例えば、赤、緑、及び青‐ＲＧＢ）。かかる場合、異なるスペクトル領域のデジタル画像は、上記のように独立して処理されてもよい。
【００３３】
プロセスは、いくつかのセンサに対して、暗電流ノイズの影響を低減する方法として温度または露光時間を制御する必要性を減らす統計的分析を利用してもよい。
【００３４】
上述のプロセスは、ハードウェア、ソフトウェア、もしくはファームウェア、またはそれらの任意の組み合わせで実行されてもよい。
【００３５】
暗電流評価技術の検証は、上述の評価技術によって予測される暗電流レベルに対して温度と湿度等が調整された環境において様々な露光時間で特に得られる暗画像から取り出された暗電流レベルを比較することによって実行された。無相関ベースの推定器は、図９に示したように、避けられないショットノイズが出現した場合においてでさえ個々の画像の実際の暗電流レベルを正確に予測することができるということが証明された。
【００３６】
他の実施例は、請求の範囲内にある。例えば、分散最小化分析が、無相関分析に代替されてもよい。
【００３７】
本明細書で説明した技術は、可視領域及び赤外領域内のセンサ動作に対してだけでなく、ｘ線及び場合によっては超音波に対して、即ち、暗電流ノイズの除去または暗電流ノイズと同様の影響の除去に有用であるかもしれないいかなるセンサに対しても有用であるだろう。
【００３８】
上記の検討は、暗電流ノイズ修正を対象としているが、同様の技術は、参照画像の任意のノイズが既知であるかまたは取得され得る他の状況でかつターゲットデジタル画像のノイズの大きさが分からないといった他の状況で用いられてもよい。
【図１】
2010500125.tif 000003
【図２】
2010500125.tif 000004
【図３】
2010500125.tif 000005
【図４Ａ】
2010500125.tif 000006
【図４Ｂ】
2010500125.tif 000007
【図５】
2010500125.tif 000008
【図６】
2010500125.tif 000009
【図７】
2010500125.tif 000010
【図８】
2010500125.tif 000011
【図９】
2010500125.tif 000012
【国際調査報告】
2010500125.tif 000013
2010500125.tif 000014