(57)【要約】  アレイによってキャプチャされた画像に対応する、行および列(56、58)に配置されたセンサ素子(18)の矩形アレイ(16)から信号を受信するステップを含む方法。方法は、また、1つまたは複数のローカル変極点を識別するために、行および列に沿って信号を解析するステップと、キャプチャされた画像中の固定パターンノイズを認識するために、識別された1つまたは複数のローカル変極点を処理するステップとを含む。方法は、さらに、画像中の固定パターンノイズを低減するために、識別されたローカル変極点のセンサ素子からの信号の値を補正するステップを含む。
2015534369.tif 000002
【特許請求の範囲】
【請求項１】
行および列に配置されたセンサ素子の矩形アレイから、前記アレイによってキャプチャされた画像に対応する信号を受信するステップと、
1つまたは複数のローカル変極点を識別するために、行または列に沿って前記信号を解析するステップと、
前記キャプチャされた画像中の固定パターンノイズを認識するために、前記識別されたローカル変極点での前記信号を処理するステップと、
前記画像中の前記固定パターンノイズを低減するために、前記識別されたローカル変極点の前記センサ素子からの前記信号の値を補正するステップと
を含む方法。
【請求項２】
前記1つまたは複数のローカル変極点が、1つまたは複数の極小値を含む、請求項1に記載の方法。
【請求項３】
前記固定パターンノイズを認識するために前記信号を処理するステップが、前記1つまたは複数の極小値での前記信号の差の絶対値が所定のしきい値未満であることを判断するステップを含む、請求項2に記載の方法。
【請求項４】
前記所定のしきい値が、前記センサ素子のノイズレベルの関数であり、前記信号の前記値を補正するステップが、前記ノイズレベルを前記1つまたは複数の極小値での前記信号に加算するステップを含む、請求項3に記載の方法。
【請求項５】
前記1つまたは複数のローカル変極点が、1つまたは複数の極大値を含む、請求項1に記載の方法。
【請求項６】
前記固定パターンノイズを認識するために前記信号を処理するステップが、前記1つまたは複数の極大値での前記信号の差の絶対値が所定のしきい値未満であることを判断するステップを含む、請求項5に記載の方法。
【請求項７】
前記所定のしきい値が、前記センサ素子のノイズレベルの関数であり、前記信号の前記値を補正するステップが、前記ノイズレベルを前記1つまたは複数の極大値での前記信号から減算するステップを含む、請求項6記載の方法。
【請求項８】
前記行または前記列に沿って前記信号を解析するステップが、前記行または前記列に沿った所与のセンサ素子の信号および前記所与のセンサ素子の最近傍のセンサ素子の信号を評価するステップを含む、請求項1に記載の方法。
【請求項９】
前記最近傍のセンサ素子が、第1のセンサ素子および第2のセンサ素子を含み、前記第1のセンサ素子、前記所与のセンサ素子、および前記第2のセンサ素子が、隣接している、請求項8に記載の方法。
【請求項１０】
前記最近傍のセンサ素子が、第1の複数のセンサ素子および第2の複数のセンサ素子を含み、前記第1および第2の複数のセンサ素子が、共通部分を持たず、前記所与のセンサ素子が、前記第1および第2の複数のセンサ素子の間に存在する、請求項8に記載の方法。
【請求項１１】
前記行または前記列に沿った前記センサ素子が、第1の色を検出するように構成された第1の素子と、第1の色とは異なる第2の色を検出するように構成された第2の素子とを備え、前記行または前記列に沿って前記信号を解析するステップが、前記1つまたは複数のローカル変極点を識別するために、前記第1の素子からの前記信号を解析するステップを含む、請求項1に記載の方法。
【請求項１２】
行および列に配置されたセンサ素子の矩形アレイから、前記アレイによってキャプチャされた画像に対応する信号を受信するステップと、
第1の行、および前記第1の行と隣接する第2の行を識別するステップと、
前記第2の行から第2の行信号を受信する前に、
前記第1の行から第1の行信号を受信するステップと、
1つまたは複数の第1の行のローカル変極点を識別するために、前記第1の行に沿って前記第1の行信号を解析するステップと、
前記キャプチャされた画像中の固定パターンノイズを認識するために、前記識別された第1の行のローカル変極点での前記第1の行信号を処理するステップと、
前記画像中の前記固定パターンノイズを低減するために、前記識別された第1の行のローカル変極点の前記センサ素子からの前記第1の行信号の値を補正するステップと
を含む方法。
【請求項１３】
前記1つまたは複数の第1の行のローカル変極点が、1つまたは複数の第1の行の極小値を含む、請求項12に記載の方法。
【請求項１４】
前記1つまたは複数の第1の行のローカル変極点が、1つまたは複数の第1の行の極大値を含む、請求項12に記載の方法。
【請求項１５】
行および列に配置されたセンサ素子の矩形アレイから、前記アレイによってキャプチャされた画像に対応する信号を受信するステップと、
1つまたは複数のローカル変極点を識別するために、前記アレイの対角線に沿って前記信号を解析するステップと、
前記キャプチャされた画像中の固定パターンノイズを認識するために、前記識別されたローカル変極点での前記信号を処理するステップと、
前記画像中の前記固定パターンノイズを低減するために、前記識別されたローカル変極点の前記センサ素子からの前記信号の値を補正するステップと
を含む方法。
【請求項１６】
行および列に配置されたセンサ素子の矩形アレイであって、前記アレイによってキャプチャされた画像に対応する信号を出力するように構成されたセンサ素子の矩形アレイと、
1つまたは複数のローカル変極点を識別するために、行または列に沿って前記信号を解析し、
前記キャプチャされた画像中の固定パターンノイズを認識するために、前記識別されたローカル変極点での前記信号を処理し、
前記画像中の前記固定パターンノイズを低減するために、前記識別されたローカル変極点の前記センサ素子からの前記信号の値を補正するように構成されたプロセッサと
を備える装置。
【請求項１７】
行および列に配置されたセンサ素子の矩形アレイであって、前記アレイによってキャプチャされた画像に対応する信号を出力するように構成されたセンサ素子の矩形アレイと、
第1の行、および前記第1の行と隣接する第2の行を識別し、
前記第2の行から第2の行信号を受信する前に、
前記第1の行から第1の行信号を受信し、
1つまたは複数の第1の行のローカル変極点を識別するために、前記第1の行に沿って前記第1の行信号を解析し、
前記キャプチャされた画像中の固定パターンノイズを認識するために、前記識別された第1の行のローカル変極点での前記第1の行信号を処理し、
前記画像中の前記固定パターンノイズを低減するために、前記識別された第1の行のローカル変極点の前記センサ素子からの前記第1の行信号の値を補正するように構成されたプロセッサと
を備える装置。
【請求項１８】
行および列に配置されたセンサ素子の矩形アレイであって、前記アレイによってキャプチャされた画像に対応する信号を出力するように構成されたセンサ素子の矩形アレイと、
1つまたは複数のローカル変極点を識別するために、前記アレイの対角線に沿って前記信号を解析し、
前記キャプチャされた画像中の固定パターンノイズを認識するために、前記識別されたローカル変極点での前記信号を処理し、
前記画像中の前記固定パターンノイズを低減するために、前記識別されたローカル変極点の前記センサ素子からの前記信号の値を補正するように構成されたプロセッサと
を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般には、撮像に関し、詳細には、画像中の固定パターンノイズの低減に関する。
【背景技術】
【０００２】
センサ素子のアレイからの固定パターンノイズ(Fixed pattern noise(FPN))は、画像中のエッジに対する観察者の固有の感度により、画像を見る人間の観察者には容易に明らかである。その結果、観察者に提示される画像中のFPNを低減する任意のシステムは、有利であろう。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施形態は、
行および列に配置されたセンサ素子の矩形アレイから、アレイによってキャプチャされた画像に対応する信号を受信するステップと、
1つまたは複数のローカル変極点(turning point)を識別するために、行または列に沿って信号を解析するステップと、
キャプチャされた画像中の固定パターンノイズを認識するために、識別されたローカル変極点での信号を処理するステップと、
画像中の固定パターンノイズを低減するために、識別されたローカル変極点のセンサ素子からの信号の値を補正するステップと
を含む方法を提供する。
【０００４】
開示される実施形態では、1つまたは複数のローカル変極点は、1つまたは複数の極小値を含む。固定パターンノイズを認識するために信号を処理するステップは、1つまたは複数の極小値での信号の差の絶対値が所定のしきい値未満であることを判断するステップを含むことができる。所定のしきい値は、センサ素子のノイズレベルの関数であり得、信号の値を補正するステップは、ノイズレベルを1つまたは複数の極小値での信号に加算するステップで構成され得る。
【０００５】
代替の開示される実施形態では、1つまたは複数のローカル変極点は、1つまたは複数の極大値を含む。固定パターンノイズを認識するために信号を処理するステップは、1つまたは複数の極大値での信号の差の絶対値が所定のしきい値未満であることを判断するステップを含むことができる。所定のしきい値は、センサ素子のノイズレベルの関数であり得、信号の値を補正するステップは、ノイズレベルを1つまたは複数の極大値での信号から減算するステップを含むことができる。
【０００６】
代替的な実施形態では、行または列に沿って信号を解析するステップは、行または列に沿った所与のセンサ素子の信号および所与のセンサ素子の最近傍のセンサ素子の信号を評価するステップを含む。最近傍のセンサ素子は、第1のセンサ素子および第2のセンサ素子を含むことができ、第1のセンサ素子、所与のセンサ素子、および第2のセンサ素子は、隣接することができる。代替的には、最近傍のセンサ素子は、第1の複数のセンサ素子および第2の複数のセンサ素子を含み、第1および第2の複数のセンサ素子は、共通部分を持たなくてよく、所与のセンサ素子は、第1および第2の複数のセンサ素子の間に存在することができる。
【０００７】
さらなる代替的な実施形態では、行または列に沿ったセンサ素子は、第1の色を検出するように構成された第1の素子と、第1の色とは異なる第2の色を検出するように構成された第2の素子とを含み、行または列に沿って信号を解析するステップは、1つまたは複数のローカル変極点を識別するために、第1の素子からの信号を解析するステップを含むことができる。
【０００８】
本発明の一実施形態によれば、
行および列に配置されたセンサ素子の矩形アレイから、アレイによってキャプチャされた画像に対応する信号を受信するステップと、
第1の行、および第1の行と隣接する第2の行を識別するステップと、
第2の行から第2の行信号を受信する前に、
第1の行から第1の行信号を受信するステップと、
1つまたは複数の第1の行のローカル変極点を識別するために、第1の行に沿って第1の行信号を解析するステップと、
キャプチャされた画像中の固定パターンノイズを認識するために、識別された第1の行のローカル変極点での第1の行信号を処理するステップと、
画像中の固定パターンノイズを低減するために、識別された第1の行のローカル変極点のセンサ素子からの第1の行信号の値を補正するステップと
を含む方法がさらに提供される。
【０００９】
典型的には、1つまたは複数の第1の行のローカル変極点は、1つまたは複数の第1の行の極小値を含む。
【００１０】
代替的または付加的には、1つまたは複数の第1の行のローカル変極点は、1つまたは複数の第1の行の極大値を含む。
【００１１】
本発明の一実施形態によれば、
行および列に配置されたセンサ素子の矩形アレイから、アレイによってキャプチャされた画像に対応する信号を受信するステップと、
1つまたは複数のローカル変極点を識別するために、アレイの対角線に沿って信号を解析するステップと、
キャプチャされた画像中の固定パターンノイズを認識するために、識別されたローカル変極点での信号を処理するステップと、
画像中の固定パターンノイズを低減するために、識別されたローカル変極点のセンサ素子からの信号の値を補正するステップと
を含む方法がさらに提供される。
【００１２】
本発明の一実施形態によれば、
行および列に配置されたセンサ素子の矩形アレイであって、アレイによってキャプチャされた画像に対応する信号を出力するように構成されたセンサ素子の矩形アレイと、
1つまたは複数のローカル変極点を識別するために、行または列に沿って信号を解析し、
キャプチャされた画像中の固定パターンノイズを認識するために、識別されたローカル変極点での信号を処理し、
画像中の固定パターンノイズを低減するために、識別されたローカル変極点のセンサ素子からの信号の値を補正するように構成されたプロセッサと
を含む装置がさらに提供される。
【００１３】
本発明の一実施形態によれば、
行および列に配置されたセンサ素子の矩形アレイであって、アレイによってキャプチャされた画像に対応する信号を出力するように構成されたセンサ素子の矩形アレイと、
第1の行、および第1の行と隣接する第2の行を識別し、
第2の行から第2の行信号を受信する前に、
第1の行から第1の行信号を受信し、
1つまたは複数の第1の行のローカル変極点を識別するために、第1の行に沿って第1の行信号を解析し、
キャプチャされた画像中の固定パターンノイズを認識するために、識別された第1の行のローカル変極点での第1の行信号を処理し、
画像中の固定パターンノイズを低減するために、識別された第1の行のローカル変極点のセンサ素子からの第1の行信号の値を補正するように構成されたプロセッサと
を含む装置がさらに提供される。
【００１４】
本発明の一実施形態によれば、
行および列に配置されたセンサ素子の矩形アレイであって、アレイによってキャプチャされた画像に対応する信号を出力するように構成されたセンサ素子の矩形アレイと、
1つまたは複数のローカル変極点を識別するために、アレイの対角線に沿って信号を解析し、
キャプチャされた画像中の固定パターンノイズを認識するために、識別されたローカル変極点での信号を処理し、
画像中の固定パターンノイズを低減するために、識別されたローカル変極点のセンサ素子からの信号の値を補正するように構成されたプロセッサと
を含む装置がさらに提供される。
【００１５】
本発明は、図面と併せてその実施形態の以下の詳細な説明からより完全に理解されるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による固定パターンノイズ低減システムの概略図である。
【図２】本発明の一実施形態による画面上に生成された第1の表示の概略図である。
【図３】本発明の一実施形態による画面上に生成された第2の表示の概略図である。
【図４】本発明の一実施形態による、固定パターンノイズをチェックし、見つかったときにノイズを補正する上でプロセッサによって実行されるステップのフローチャートである。
【図５】本発明の代替実施形態による、固定パターンノイズをチェックし、見つかったときにノイズを補正する上でプロセッサによって実行されるステップのフローチャートである。
【発明を実施するための形態】
【００１７】
概要
本発明の一実施形態によれば、矩形アレイ内のセンサ素子によって生成された固定パターンノイズの存在は、補償される。素子は、行および列に配置され、アレイに入射する光から画像をキャプチャする。素子は、今度は、アレイによってキャプチャされた画像に対応するそれぞれの信号を生成する。
【００１８】
素子の信号は、信号が1つまたは複数の変極点、すなわち、1つもしくは複数の極大値または1つもしくは複数の極小値を形成する素子を識別するために、列に沿って、行に沿って、または任意の他の直線に沿って解析される。識別された素子からの信号は、信号が固定パターンノイズに対応することを認識するために、典型的には、ローカル変極点の振幅を測定することによって処理される。
【００１９】
固定パターンノイズを生成するものとして識別された素子に関して、素子からの信号の値は、画像中の固定パターンノイズを低減するために補正される。補正は、典型的には、(アレイの素子によって生成されたノイズの)ノイズレベルを、識別された極小値に加算することによって、または、ノイズレベルを、識別された極大値から減算することによって達成される。
【００２０】
固定パターンノイズの存在の補償は、「グレースケール」およびカラーアレイの両方に関して実行され得る。補償は、適度な計算/ハードウェア要求での実時間実施に適するように設計され、素子のアレイの事前のオフラインまたはオンラインキャリブレーションを必要としない。
【００２１】
詳細な説明
ここで、本発明の一実施形態による固定パターンノイズ低減システム10の概略図である図1を参照する。システム10は、本明細書では例として光検出器を備えるものとするセンサ素子の矩形アレイを使用して画像が生成される任意の撮像システムに適用され得る。本明細書では、例として、システム10は、医療処置を受ける患者の体腔14を撮像している内視鏡12によって生成された画像に適用されるものとする。その撮像を実施するために、内視鏡12は、実質的に同様の個々のセンサ素子18の矩形アレイ16、ならびに、光をセンサ素子に集束させるレンズ系20を備える。本明細書の説明では、必要に応じて、センサ素子18は、識別番号に付加された文字を有することによって、互いに区別される(その結果、アレイ16は、センサ素子18A、18B、18C、...を含むものとみなされ得る)。
【００２２】
図1は、内視鏡の遠位端部にあるようにアレイ16およびレンズ系20を示しているが、アレイおよび/またはレンズ系は、内視鏡の近位端部の場所、および内視鏡の外部の場所を含む任意の便利な場所にあり得ることが理解されるであろう。以下の説明で別段に示されている場合を除き、単純化のため、および例として、アレイの個々のセンサ素子は、入射光の強度に応じた、入射光の色に関係ない出力レベルを生成する「グレースケール」センサ素子を備えるものとする。典型的には、アレイ16は、センサ素子18の電荷結合デバイス(CCD)アレイを備える。しかしながら、アレイ16は、相補型金属酸化膜半導体(CMOS)検出器またはハイブリッドCCD/CMOS検出器などの、当該技術分野で公知の任意の他のタイプのセンサ素子を備えることができる。
【００２３】
アレイ16は、周期的に動作し、その結果、所与の期間内に、そのセンサ素子の電圧レベルを、値のセットとして出力する。本明細書の説明では、アレイの動作の1周期の間に出力される値のセットは、フレームと呼ばれる。アレイ16は、60フレーム/秒(動作の周期が1/60秒である場合)などの標準フレームレートで動作することができる。代替的には、アレイ16は、60フレーム/秒の標準フレームレートよりも高いまたは低くてもよい任意の他のフレームレートで動作することができる。
【００２４】
システム10は、メモリ26と通信するプロセッサ24を備える内視鏡モジュール22のビデオ信号を供給される。内視鏡モジュール22は、また、固定パターンノイズ(FPN)低減モジュール28を備え、FPN低減モジュール28は、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェアの組み合わせで実現され得る。内視鏡モジュール22およびFPN低減モジュール28の機能は、以下に説明される。単純化および明瞭化のために、FPNモジュール28およびプロセッサ24は、内視鏡モジュール12とは別個のものとして示されているが、これは、本発明の実施形態のための要件ではない。したがって、一実施形態では、FPNモジュール28、および、(FPNモジュールの動作のために)プロセッサ24によって使用される機能は、内視鏡のハンドルに組み込まれる。そのような実施形態は、内視鏡モジュールから実質的に独立した、スタンドアロンシステムとして動作することができる。
【００２５】
プロセッサ24は、システム10を動作させるために、メモリ26に記憶されたソフトウェア、ならびにFPNモジュール28を使用する。プロセッサ24によって実行される動作の結果は、画面32上で医療専門家オペレーティングシステム10に提示され得、画面32は、典型的には、処置を受けている体腔14の画像を表示する。プロセッサ24によって使用されるソフトウェアは、例えば、ネットワークを介して電子的形態でプロセッサにダウンロードされ得、または、代替的もしくは付加的には、磁気的、光学的、もしくは電子的メモリなどの非一時的な有形の媒体で提供および/もしくは記憶され得る。
【００２６】
図2は、本発明の一実施形態による画面32上に生成された第1の表示34の概略図である。表示34は、プロセッサ24によって、アレイ16によって出力された信号フレームから、ピクセル52の矩形アレイ50として生成され、ピクセルは、識別番号に文字を付加することによって、必要に応じて区別される。アレイ50およびアレイ16は、一対一の対応を有し、その結果、各ピクセル52A、52B、52C、...は、対応するセンサ素子18A、18B、18C、...によって記録された光の強度を表すレベルまたは値を有する。別段に示される場合を除いて、ピクセル52は、例として、値が0(黒色)から255(白色)まで変化する256のグレーレベルを有するものとする。以下の説明では、アレイは、N行×M列を有するものとし、ここで、N、Mは、正の整数である。典型的には、必ずしも必要ではないが、N、Mは、業界標準の値であり、(N、M)は、例えば、(1080、1920)に等しくてよい。
【００２７】
理論的には、アレイ16が、アレイにわたって一定の強度を有する光で照らされている場合、アレイ50内の各ピクセル52のレベルは、等しい。したがって、アレイ16が、アレイ全体にわたって等しい強度を有する低強度の光で照らされている場合、各ピクセル52のピクセル値は、同じでなければならず、図2では、値は、値24を有するものとする。実際には、ランダムノイズが、ピクセル値のランダムな変化を引き起こすが、単純化のため、および、説明の目的のため、そのようなランダムノイズは、無視される。
【００２８】
アレイ50の領域54は、吹き出し56中により詳細に示され、ピクセルの例示的なレベルは、吹き出し中に与えられる。吹き出し中に示されているように、大部分のピクセルのレベルは、24である。しかしながら、2つの列は、24とは異なり、列58は、概して24よりも大きいピクセル値を有し、列60は、概して24よりも小さいピクセル値を有する。24の期待値との差異は、典型的には、センサ素子18の個々の応答および/もしくは構造の僅かな差異、ならびに/または、センサ素子の前の増幅段での差異のような、実施上の制限のためである。期待値との差異は、周囲のピクセルと比較してより明るいまたはより暗いピクセルとして画面32上に表れ、人間の視覚系の特性のため、曲線に沿った空間的にコヒーレントな差異は、特に明瞭である。(CCD/CMOSセンサでは、そのような一般的な曲線は、列58または60などの行または列である。)固定パターンノイズと呼ばれる差異は、システム10によって補正される。
【００２９】
図3は、本発明の一実施形態による画面32上に生成された第2の表示70の概略図である。表示70は、アレイ16の単一のフレームから生成され、体腔14の画像に発生するような、変化するグレーレベルを有する。吹き出し72は、変化するグレーレベルの数値を示し、プロセッサが表示の領域74に関するセンサ素子16から発生するピクセル52のレベルを与える。吹き出し72の横の破線は、吹き出しの両側の(その値が示されていない)ピクセルの存在を表す。全体として、N行×M列のピクセルが存在し、ピクセル76および78ならびに列80および82の重要性が、以下に説明される。
【００３０】
図4は、本発明の一実施形態による、固定パターンノイズをチェックし、見つかったときにノイズを補正する上でプロセッサによって実行されるステップのフローチャートである。プロセッサは、フローチャートによって要求されるように補正された値を画面32に表示する前に、アレイ16から受信したピクセル値の各フレームにステップを実行する。フローチャートのステップは、典型的には、セットがプロセッサによって受信されると、ピクセル値のセットに順次に実行され、その結果、所与のセット内のピクセルの値に必要とされるどのような補正も、後続のピクセルセットが受信される前に行われ得る。代替的には、ステップは、プロセッサによる完全なフレームの受信後、直後のフレームの受信の前に実行され得る。いずれの場合にも、フローチャートによって生成されるどのような補正も、実時間で実行され得る。
【００３１】
フローチャートは、特定のピクセルに関する補正値を生成することができるが、補正値は、画面32上の表示を生成する上でのみ使用されることが理解されるであろう。どのような補正ピクセル値も、フローチャートの後続の反復で使用されない。
【００３２】
フローチャートの説明では、0≦m≦M、m∈I、0≦n≦N、n∈I、およびM、Nは、上記で定義されている通りである。値m、nは、ピクセル(m,n)を定義し、フローチャートでは、m、nは、カウンタとしても使用される。ピクセル(m,n)は、ピクセル値p(m,n)を有する。
【００３３】
最初のステップ102では、プロセッサは、アレイ16によって生成されたノイズレベルNLを測定する。使用されるノイズレベルは、二乗平均平方根レベルまたは平均レベルなどの、当該技術分野で公知の任意の簡便なノイズレベルを含むことができる。典型的には、必ずしも必要ではないが、ノイズレベルは、アレイ16がシステム10で撮像のために使用される前に、例えば、アレイを製造する設備で測定され得る。いくつかの実施形態では、システム10のオペレータは、プロセッサが実際の測定を行う必要なしに、ノイズレベルNLの値をプロセッサに提供することができる。
【００３４】
ノイズレベルから、プロセッサは、フローチャートの後続のステップで適用される補正係数Xを設定し、ここでXは、NLの関数である。いくつかの実施形態では、Xは、NLに等しく設定される。
【００３５】
行定義ステップ104では、プロセッサは、フレームの第1の行を解析するために、nを1に等しく設定する。列定義ステップ106では、プロセッサは、行内の第2のピクセルを解析するために、mを2に等しく設定する。(さらに以下に説明されるように、プロセッサは、3つのピクセルのセットを考慮し、セットの中心のピクセルを解析する。したがって、解析される第1のピクセルは、行の第2のピクセルである。)
【００３６】
第1のローカル変極点108では、プロセッサは、解析されているピクセルの直前および直後のピクセルの値が、両方とも解析されているピクセルの値p(m,n)未満であるかどうかをチェックする。条件は、解析されているピクセル、すなわち、考慮されているセットの3つのピクセルの中心のピクセルが、ローカル変極点、この場合には、極大値であるかどうかをチェックする。
【００３７】
条件108が、有効なリターンを提供する場合、オプションの条件ステップ110では、プロセッサは、差の絶対値Δ1およびΔ2が、補正係数Xの事前定義された倍数K未満であるかどうかをチェックする。項KXは、しきい値として作用する。ステップ110では、
Δ1=p(m-1,n)-p(m,n)
Δ2=p(m+1,n)-p(m,n)  (1)
である。
【００３８】
ステップ110でプロセッサによってチェックされる条件は、
|Δ1|<KXおよび|Δ2|<KX  (2)
である。
【００３９】
典型的には、K>2である。1つの例示的な実施形態では、K=4である。
【００４０】
ステップ110は、検出された変極点の振幅が大きい場合に起こり得るような、システム10が画像のエッジを変形させることを防ぐために適用され得る。それが適用される場合には、Kの適切な値は、過度の実験をすることなく、システム10のオペレータによって、および/または、アレイ16の製造者によって決定され得る。典型的には、Kのより低い値は、より少ないノイズ除去のコストで、よりよいエッジ保存をもたらし、より高いKの値は、よりよいノイズ除去をもたらすが、弱いエッジを変更するより大きな可能性を有する。
【００４１】
条件110が成立する場合、第1の調整ステップ112では、値p(m,n)は、Xだけ減少され、フローチャートは、次いで、ピクセル増分ステップ114に続く。条件110が成立しない場合、フローチャートは、ステップ114に直接進む。ステップ110が適用されない場合、条件108への有効なリターンは、直接第1の調整ステップ112につながる。
【００４２】
第1の変極点条件108が成立しない場合、フローチャートは、第2のローカル変極点条件116に続く。
【００４３】
第2の変極点条件116では、プロセッサは、条件108ですでにチェックされたピクセルのセットをチェックする。条件116では、プロセッサは、解析されているピクセル、すなわち、ピクセルのセット{p(m-l,n),p(m,n),p(m+l,n)}の中心ピクセルp(m,n)が極小値であるかどうかをチェックする。条件116が成立する場合、プロセッサは、オプションの条件ステップ118を適用することができ、ステップ118は、上記で説明したオプションの条件ステップ110と実質的に同じであり、同じ機能を実行する。典型的には、必ずしも必要ではないが、ステップ110が適用される実施形態では、ステップ118も適用される。
【００４４】
条件118が成立する場合、第2の調整ステップ120では、値p(m,n)は、Xだけ増加され、フローチャートは、ピクセル増分ステップ114に続く。条件118が成立しない場合、フローチャートは、ステップ114に進む。ステップ118が適用されない場合、条件116への有効なリターンは、直接第2の調整ステップ120につながる。
【００４５】
行チェック条件122では、プロセッサは、チェックされている行の終わりに達したかどうかをチェックする。終わりに達していない場合、フローチャートは、条件108に戻り、行内の次のピクセルの解析を開始する。
【００４６】
条件122が、行の終わりに達したことを示す有効なリターンを提供する場合、プロセッサは、増分行ステップ124で、行カウンタnを1だけ増分する。プロセッサは、次いで、最後行条件126で、アレイ16の最後の行に達したかどうかをチェックする。最後の行に達していない場合、フローチャートは、アレイ16の次の行の解析を開始するために、ステップ106に戻る。
【００４７】
条件126が有効なリターンを提供し、その結果、アレイ16のすべての行が解析されている場合、フローチャートは、終了する。
【００４８】
図3に戻って参照すると、吹き出し72のピクセルへのフローチャートの適用は、ピクセル76が極小値であることを判断し、その結果、プロセッサは、画面32上にピクセルを表示する前に、その値をXだけ減少させることが理解されるであろう。同様に、列80の他のピクセルへのフローチャートの適用は、列の他のピクセルの大部分が極大値であり、Xだけ減少されたそれらの値を有すると判断する。吹き出し72から、ピクセル78は、極小値であり、その結果、プロセッサは、画面32上に表示する前に、その値をXだけ増加させる。同様に、行82の他のピクセルの大部分は、極小値であり、極小値であるこれらは、Xだけ増加されたそれらの値を有する。
【００４９】
フローチャートの検討は、フローチャートのステップを実行する上で、プロセッサ24が、3つの隣接するピクセルの連続的なセットをチェックすることを示す。各セットでは、プロセッサは、中心ピクセルがローカル変極点であるかどうか、すなわち、条件108が有効である極大値であるかどうか、または、条件116が有効である極小値であるかどうかをチェックする。中心ピクセルが極大値である場合、その値は、増加され、中心ピクセルが極小値である場合、その値は、減少される。
【００５０】
フローチャートの説明から明らかであるように、FPNを低減するための従来技術の方法とは異なり、フローチャートのステップの実施前にアレイ16のキャリブレーションを必要としない。
【００５１】
図5は、本発明の代替実施形態による、固定パターンノイズをチェックし、見つかったときにノイズを補正する上でプロセッサ24によって実行されるステップのフローチャートである。以下に説明する相違を除いて、図5のフローチャートのステップは、図4のフローチャートのステップのものとほぼ同様であり、両方のフローチャート中の同じ参照番号によって示されたステップは、実施されるとき、ほぼ同様である。
【００５２】
図4のフローチャート(プロセッサが3つの隣接するピクセルのセット内の中心ピクセルを解析する)と対照的に、図5のフローチャートでは、プロセッサ24は、ローカル変極点である中心ピクセルを識別するために、3つより多くの離接するピクセル、典型的には奇数の数のピクセルのセット内の中心ピクセルを解析する。
【００５３】
第1のステップ132は、ステップ102の動作を含む。加えて、ステップ132では、整数cの値が選択される。cの値は、式、
S=2c+1  (3)
にしたがって、プロセッサによって解析されるセット内のピクセルの数Sを定義する。
【００５４】
以下の説明では、整数cは、例として、4であるとし、その結果、S=9であり、すなわち、プロセッサ24は、9ピクセルのセットを考慮する。
【００５５】
列定義ステップ136では、プロセッサは、9ピクセルの第1のセット内の中心ピクセルを解析するために、mをc+1に等しく設定する。この例では、m=5であり、したがって、プロセッサは、考慮されている行内の第5のピクセルを解析することによって開始する。
【００５６】
第1のローカル変極点条件138は、上記で説明した条件108の動作を含み、ここで、中心ピクセルがローカル変極点、この場合には極大値であるかどうかを判断するために、中心ピクセルは、その最近傍のピクセルと比較される。
【００５７】
加えて、最近傍のピクセルの比較が有効であるとすると、条件138では、プロセッサは、また、中心ピクセルを、その次の最近傍のピクセルおよび後続の次の最近傍のピクセルと繰り返し比較する。繰り返しは、フローチャートでは、以下に式(4)で定義される「a」の値が増分する増分ステップ149、および線150によって示される。9ピクセルのセットに関して、最近傍のピクセルに加えて、次の最近傍のピクセル、次の次の最近傍のピクセル、および次の次の次の最近傍のピクセルが存在し、その結果、3回の繰り返しが存在する。比較が有効である場合、プロセッサは、変極点パラメータGaを1となるように割り当てる。比較が無効である場合、Gaは、0となるように割り当てられる。
【００５８】
条件138の式は、
【００５９】
【数１】
2015534369.tif 000003
【００６０】
である。
【００６１】
オプションの条件ステップ140は、ステップ110とほぼ同様であり、差の絶対値Δ1およびΔ2が(上記で説明した)事前定義された値K未満であることをチェックするために、条件138の各繰り返しに適用され得る。条件ステップ140では、
Δ1=p(m-a,n)-p(m,n)
Δ2=p(m+a,n)-p(m,n)  (5)
a=1,2,...,c
である。
【００６２】
判断152では、プロセッサは、条件138で判断されたGaのすべての値を、それらがステップ140で検証されていると仮定して、評価する。評価が有効である場合、フローチャートは、ステップ112に進み、ここで、値Xは、p(m,n)から減算される。評価が無効である場合、p(m,n)は、変更されず、フローチャートは、ステップ114に続く。
【００６３】
概して、判断152では、変極点パラメータGaのcの値が存在し、値の各々は、0または1である。第1の実施形態では、値の50%以上が1である場合、判断152の評価は、有効が返される。第2の実施形態では、値の75%以上が1である場合、判断は、有効である。他の実施形態では、判断152が有効であることの条件は、別の事前設定された単位値の分数である。いくつかの実施形態では、重み付けは、Gaの異なる値に付けられ得、例えば、G1(変極点パラメータの最近傍値)に対する重みは、G2(変極点パラメータの次の最近傍値)に対する重みよりも高い重みが割り当てられ得る。
【００６４】
条件138での最近傍ピクセル比較が無効である場合、フローチャートは、第2のローカル変極点条件146に続く。条件146は、条件116の動作を含み、ここで、その最近傍ピクセルと比較することによって、プロセッサは、中心ピクセルが極小値であるかどうかを判断する。
【００６５】
加えて、条件146での最近傍ピクセル比較が有効であるとすると、プロセッサは、中心ピクセルの後続の次の最近傍のピクセルに対して繰り返し処理を実行する。繰り返し処理は、実質的には、条件138に関して上記で説明したようであり、フローチャート中で、線154および増分ステップ153によって示され、上記で説明したステップ149とほぼ同様である。条件146では、プロセッサは、式(6)にしたがって、変極点パラメータGaの値を評価する。
【００６６】
【数２】
2015534369.tif 000004
【００６７】
オプションの条件ステップ148は、上記で説明したステップ140と実質的に同じである。
【００６８】
判断156は、上記で説明した判断152と実質的に同じである。したがって、判断156では、プロセッサは、条件146で判断されたGaのすべての値を、それらがステップ148で検証されていると仮定して、評価する。評価が有効である場合、フローチャートは、ステップ120に進み、ここで、値Xは、p(m,n)に加算される。評価が無効である場合、p(m,n)は、変更されず、フローチャートは、ステップ114に続く。
【００６９】
図3に戻って参照し、cが4に等しく設定されているとすると、ピクセル76への図5のフローチャートの適用は、G1=1、G2=0、G3=0、およびG4=0を与える。したがって、上記の第1または第2の実施形態のいずれに関しても、調節は、ピクセル76の値に対して行われない。ピクセル78の場合、G1=1、G2=1、G3=1、およびG4=1である。したがって、上記の第1または第2の実施形態のいずれに関しても、Xは、ピクセル78の値に加算される。
【００７０】
図5のフローチャートの検討は、中心のアレイ素子からの信号が、中心素子の両側の複数の素子からの信号と比較されることを示す。比較のすべての素子は、隣接し、2つの複数の素子は、共通部分を持たない。
【００７１】
上記の説明は、アレイ16から得られたピクセル値の解析が、行単位であることを想定していた。そのような解析は、所与の行データがプロセッサに利用可能になると実行され得、プロセッサは、典型的には、所与の行の直後の行からのデータがプロセッサに利用可能になる前に、その解析を実行することができる。代替的には、行単位での解析は、データの完全なフレームがプロセッサに利用可能になったとき、プロセッサによって行われ得る。この場合には、解析は、典型的には、データの直後のフレームがプロセッサに利用可能になる前に完了する。
【００７２】
データの完全なフレームがプロセッサに利用可能である場合には、本発明の第1の代替実施形態は、フレームデータを列単位で解析するステップを含む。行単位での解析と同様に、すべての列は、直後のフレームがプロセッサに利用可能になる前に解析され得る。当業者は、列単位でのピクセル値の解析のために、必要な変更を加えて、図4および図5のフローチャートの説明を適用させることができることになる。
【００７３】
加えて、データの完全なフレームが利用可能である場合に実施され得る第2の代替実施形態では、データは、対角線単位で解析され得る。そのような実施形態は、後続の要素が「1つ横に、1つ上に」単位で生成されるように、+1の傾きを有するか、後続の要素が「1つ横に、1つ下に」単位で生成されるように、-1の傾きを有する対角線上に素子がある「単純な」対角線には限定されない。むしろ、本発明の実施形態は、対角線が、
y=ax+b  (7)
の形の式を有する任意の直線である対角線単位での解析を含み、ここで、「a」および「b」は、実数であり、「a」は、対角線の傾きであり、それぞれの直交軸上の変数を表す。
【００７４】
傾き「a」の任意の所与の値に対して、式(7)中の「b」の連続した値は、上記で言及した対角線単位のために使用され得る平行な対角線のファミリを定義することが理解されるであろう。当業者は、上記のフローチャートの説明を、対角線単位などでのピクセル値の解析に適用することができることになる。
【００７５】
上記で説明した解析の異なるタイプにかかわらず、すべての解析は、実時間で達成され得ることが理解されるであろう。
【００７６】
単純化のために、上記の説明は、アレイ16のセンサ素子が、光の色と無関係に、素子に入射する光の強度に応じてグレースケール値を生成することを想定していた。本発明の実施形態は、入射光の色に依存する素子を有するアレイを備える。本明細書では「カラー素子」と呼ばれるそのような素子は、典型的には、素子の前面にカラーフィルタを有し、例えば、ベイヤー構成で配置され得る。カラー素子を有するアレイの場合には、上記で説明した解析は、同じ色を有するカラー素子のサブアレイに対する。したがって、RGB(赤色、緑色、青色)アレイに関して、解析は、素子の赤色サブアレイ、素子の緑色サブアレイ、および素子の青色サブアレイに対して実行される。
【００７７】
上記で説明した実施形態は、例として引用されており、本発明は、本明細書で上記に具体的に示し、説明したものに限定されないことが理解されよう。むしろ、本発明の範囲は、本明細書で上記に説明した様々な特徴の組み合わせと部分的組み合わせの両方、ならびに、前述の説明を読むと当業者に生じることになり、従来技術で開示されていない、その変形および変更を含む。
【符号の説明】
【００７８】
10  固定パターンノイズ低減システム
12  内視鏡
14  体腔
16  矩形アレイ
18  センサ素子
20  レンズ系
22  内視鏡モジュール
24  プロセッサ
26  メモリ
28  FPNモジュール
32  画面
34  表示
50  矩形アレイ
52  ピクセル
54  領域
56  吹き出し
58  列
60  列
70  表示
72  吹き出し
74  領域
76  ピクセル
78  ピクセル
80  列
82  列
【図１】
2015534369.tif 000005
【図２】
2015534369.tif 000006
【図３】
2015534369.tif 000007
【図４】
2015534369.tif 000008
【図５】
2015534369.tif 000009
【国際調査報告】
2015534369.tif 000010
2015534369.tif 000011
2015534369.tif 000012