(57)【要約】【課題】固定パターンノイズを高い精度で除去する。【解決手段】タイミングコントローラは撮像素子に２００ｎｓの露光時間で画像信号を生成させる。Ａ／Ｄコンバータ２５は画像信号を画像データに変換する。画像処理部３０は領域平均化回路３１、判別回路３２、ＦＰＮ作成回路３３、ＦＰＮ補正回路３４を有する。領域平均化回路３１は画像データを構成する擬似黒色画素データをＤＲＡＭ２７に格納する。領域平均化回路３１はＤＲＡＭ２７に格納された全擬似黒色画素データを平均化する。判別回路３２は基準輝度範囲と平均化した擬似黒色画素データとに基づいて擬似黒色画素データをノイズデータに用いるか否かを判別する。ＦＰＮ作成回路３３はノイズデータに用いると判別された擬似黒色画素データにより行方向および列方向ノイズデータを生成する。ＦＰＮ補正回路３４はノイズデータを用いて撮像画素データからＦＰＮを除去する。【選択図】図２
2010193042.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子に配置される複数の画素が受光量に応じて生成する画素信号を受信する受信部と、
前記撮像素子における前記画素の露光時間を第１の露光時間または前記第１の露光時間より短い第２の露光時間に切替えることにより、前記第１の露光時間における受光量に応じた前記画素信号である撮像画素信号または前記第２の露光時間における受光量に応じた前記画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、
異なる前記画素において生成された前記擬似黒色画素信号によって算出される所定のパラメータと第１の閾値とに基づいて、前記擬似黒色画素信号を対応する前記画素における固定パターンノイズと見做せるか否かを判別する判別部と、
前記判別部により前記固定パターンノイズと見做された前記擬似黒色画素信号に基づくノイズ信号を、前記撮像画素信号から減じる減算部とを備える
ことを特徴とする固定パターンノイズ除去ユニット。
【請求項２】
前記減算部は、前記判別部により前記固定パターンノイズと見做された前記擬似黒色画素信号を前記画素の並ぶ行毎に平均化し、平均化された行毎の前記擬似黒色画素信号を前記ノイズ信号として対応する行における前記撮像画素信号から減じることを特徴とする請求項１に記載の固定パターンノイズ除去ユニット。
【請求項３】
前記減算部は、行毎の前記擬似黒色画素信号の信号レベルの分布範囲の中で中央値を含む所定の範囲または所定の数の前記擬似黒色画素信号を平均化することを特徴とする請求項２に記載の固定パターンノイズ除去ユニット。
【請求項４】
前記減算部は、前記判別部により前記固定パターンノイズと見做された複数の前記擬似黒色画素信号を前記画素の並ぶ列毎に平均化し、平均化された列毎の前記擬似黒色画素信号を前記ノイズ信号として対応する列における前記撮像画素信号から減じることを特徴とする請求項２または請求項３に記載の固定パターンノイズ除去ユニット。
【請求項５】
前記撮像素子制御部は、前記撮像素子に前記第２の露光時間の撮像を複数回実行させることにより、前記画素毎に対応する複数の前記擬似黒色画素信号を生成させ、
前記減算部は、複数の前記擬似黒色画素信号の中で前記判別部により前記固定パターンノイズとして見做された前記擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
ことを特徴とする請求項１〜請求項４のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項６】
前記減算部は、複数回の前記第２の露光時間の撮像により生成された前記複数の擬似黒色画素信号であって前記判別部により前記固定パターンノイズと見做された前記複数の擬似黒色画素信号を前記画素毎に平均化し、平均化された前記擬似黒色画素信号を前記ノイズ信号として前記画素毎の前記撮像画素信号から減じる
ことを特徴とする請求項５に記載の固定パターンノイズ除去ユニット。
【請求項７】
前記撮像素子制御部は、同一の前記画素において前記判別部により前記固定パターンノイズと見做される前記擬似黒色画素信号がｍ個（ｍは２以上の整数）になるまで前記撮像素子に前記第２の露光時間での撮像を繰返させ、
前記減算部は、前記固定パターンノイズと見做された同一の前記画素における複数の前記擬似黒色画素信号を平均化する
ことを特徴とする請求項６に記載の固定パターンノイズ除去ユニット。
【請求項８】
前記撮像素子に配置されるすべてまたは一部の前記画素に対応する前記擬似黒色画素信号を平均化することにより平均化信号を生成する平均化部を備え、
前記判別部は、前記黒色画素信号に基づいて、前記平均化信号を前記固定パターンノイズと見做せるか否かを判別する
ことを特徴とする請求項１〜請求項４のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項９】
前記撮像素子制御部は、前記撮像素子に前記第２の露光時間の撮像を複数回実行させることにより、前記画素毎に対応する複数の前記擬似黒色画素信号を生成させ、
前記減算部は、前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた前記擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
ことを特徴とする請求項８に記載の固定パターンノイズ除去ユニット。
【請求項１０】
前記減算部は、複数回の前記第２の露光時間の撮像により生成された前記複数の擬似黒色画素信号であって前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた複数の前記擬似黒色画素信号を前記画素毎に平均化し、平均化された前記画素毎の前記擬似黒色画素信号を前記ノイズ信号として前記撮像画素信号から減じることを特徴とする請求項９に記載の固定パターンノイズ除去ユニット。
【請求項１１】
前記撮像素子制御部は、前記判別部により前記固定パターンノイズと見做される前記平均化信号がｍ個（ｍは２以上の整数）になるまで前記撮像素子に前記第２の露光時間での撮像を繰返させ、
前記減算部は、前記固定パターンノイズと見做されたｍ個の前記平均化信号の生成に用いられた前記擬似黒色画素信号を平均化する
ことを特徴とする請求項１０に記載の固定パターンノイズ除去ユニット。
【請求項１２】
前記画素が配置された全領域の一部の領域である第１、第２の小領域における複数の前記画素に対応する前記擬似黒色画素信号を平均化することにより平均化信号を生成する平均化部を備え、
前記判別部は、前記黒色画素信号に基づいて、前記平均化信号を前記固定パターンノイズと見做せるか否かを、前記第１、第２の小領域毎に判別する
ことを特徴とする請求項１〜請求項４に記載の固定パターンノイズ除去ユニット。
【請求項１３】
前記撮像素子制御部は、前記撮像素子に前記第２の露光時間の撮像を複数回実行させることにより、前記画素毎に対応する複数の前記擬似黒色画素信号を生成させ、
前記減算部は、前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた前記擬似黒色画素信号に基づく前記ノイズ信号を、前記撮像画素信号から減じる
ことを特徴とする請求項１２に記載の固定パターンノイズ除去ユニット。
【請求項１４】
前記減算部は、複数回の前記第２の露光時間の撮像により生成された前記複数の擬似黒色画素信号であって前記判別部により前記固定パターンノイズと見做された前記平均化信号の生成に用いられた複数の前記擬似黒色画素信号を前記画素毎に平均化し、平均化された前記画素毎の前記擬似黒色画素信号を前記ノイズ信号として前記画素毎の前記撮像画素信号から減じることを特徴とする請求項１３に記載の固定パターンノイズ除去ユニット。
【請求項１５】
前記撮像素子制御部は、前記判別部により前記固定パターンノイズと見做される前記平均化信号が前記第１、第２の小領域毎にｍ個（ｍは２以上の整数）になるまで前記撮像素子に前記第２の露光時間での撮像を繰返させ、
前記減算部は、前記固定パターンノイズと見做された複数の前記平均化信号の生成に用いられた前記擬似黒色画素信号を平均化する
ことを特徴とする請求項１４に記載の固定パターンノイズ除去ユニット。
【請求項１６】
前記撮像素子制御部は、前記撮像素子に前記第２の露光時間での撮像をｎ回（ｎはｍより大きな整数）実行したときに、前記第２の露光時間での撮像を停止することを特徴とする請求項７、請求項１１、および請求項１５のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項１７】
前記撮像素子制御部は、前記固定パターンノイズ除去ユニットが設けられる撮像装置の起動時に、前記画素の露光時間を前記第２の露光時間に切替えて前記擬似黒色画素信号を生成させることを特徴とする請求項１〜請求項１６のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項１８】
前記擬似黒色画素信号を生成するコマンドを入力する入力部を備え、
前記入力部に前記擬似黒色画素信号を生成するコマンドが入力されるときに、前記撮像素子制御部は前記画素の露光時間を前記第２の露光時間に切替えて前記擬似黒色画素信号を生成させる
ことを特徴とする請求項１〜請求項１６のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項１９】
前記撮像素子制御部は、前記画素の露光時間を前記第１の露光時間に設定して生成させた前記撮像画素信号の輝度成分が第２の閾値未満である場合に、前記画素の露光時間を前記第２の露光時間に切替えて前記擬似黒色画素信号を生成させ、
前記判別部が前記擬似黒色画素信号を前記固定パターンノイズと見做した場合に、前記撮像素子制御部が前記画素の露光時間を前記第１の露光時間に戻して前記撮像画素信号を生成させる
ことを特徴とする請求項１〜請求項１６のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項２０】
前記判別部が前記擬似黒色画素信号を前記固定パターンノイズと見做すまで、直近に生成した前記撮像画素信号を出力し続ける出力部を備えることを特徴とする請求項１８または請求項１９に記載の固定パターンノイズ除去ユニット。
【請求項２１】
前記第１の閾値は、前記擬似黒色画素信号が前記固定パターンノイズと見做せる場合の前記所定のパラメータに定められることを特徴とする請求項１〜請求項２０のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項２２】
前記所定のパラメータは、前記複数の擬似黒色画素信号の信号レベルの平均値、最大値、中央値、ＭＳＥ、およびＰＳＮＲの少なくとも一つであることを特徴とする請求項１〜請求項２１のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項２３】
前記複数の擬似黒色画素信号の信号レベルの標準偏差も、前記所定のパラメータとして用いることを特徴とする請求項２２に記載の固定パターンノイズ除去ユニット。
【請求項２４】
前記撮像素子の受光面にはレンズが配置され、
前記判別部は、前記レンズの光軸から離れた領域に配置された前記画素の前記擬似黒色画素信号を、前記固定パターンノイズと見做せるか否か判別し、
前記減算部は、前記判別部が前記固定パターンノイズと見做した前記擬似黒色画素信号に基づくノイズ信号を前記撮像画素信号から減じる
ことを特徴とする請求項１〜請求項２３のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項２５】
前記第２の露光時間は、前記有効画素への積算露光量が黒色に相当する積算露光量と見做せる時間未満に定められることを特徴とする請求項１〜請求項２４のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項２６】
前記第２の露光時間は、前記撮像素子に設定可能な最短の露光時間であることを特徴とする請求項１〜請求項２４のいずれか１項に記載の固定パターンノイズ除去ユニット。
【請求項２７】
複数の画素を有し、前記画素の受光量に応じて生成する画素信号を出力する撮像素子と、
前記撮像素子における前記画素の露光時間を第１の露光時間または前記第１の露光時間より短い第２の露光時間に切替えることにより、前記第１の露光時間における受光量に応じた前記画素信号である撮像画素信号または前記第２の露光時間における受光量に応じた前記画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、
異なる前記画素において生成された前記擬似黒色画素信号によって算出される所定のパラメータと第１の閾値とに基づいて、前記擬似黒色画素信号を対応する前記画素における固定パターンノイズと見做せるか否かを判別する判別部と、
前記判別部により前記固定パターンノイズと見做された前記擬似黒色画素信号に基づくノイズ信号を、前記撮像画素信号から減じる減算部とを備える
ことを特徴とする撮像ユニット。
【請求項２８】
請求項２７に記載の撮像ユニットを有する電子内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳ撮像素子などのように画素毎に異なる固定パターンノイズを簡易な構成で効果的に除去する固定パターンノイズ除去ユニット、撮像ユニット、および固定パターンノイズの除去された画像を作成する電子内視鏡システムに関する。
【背景技術】
【０００２】
消費電力および製造コストの低減化することが可能なＣＭＯＳ撮像素子が知られている。ＣＭＯＳ撮像素子は各画素にアンプが設けられるため、画素毎に個別の固定パターンノイズが発生する。
【０００３】
固定パターンノイズを除去するために、メカニカルシャッタを閉じた状態で撮像を行うことにより固定パターンノイズ成分を生成させ、撮像時の画像データから固定パターンノイズ成分を除去することが提案されている（特許文献１参照）。
【０００４】
また、固定パターンノイズを除去するために、一部の画素を遮光したオプティカルブラックを形成し、オプティカルブラックが生成する画素信号を固定パターンノイズ成分として、撮像時の画像データから固定パターンノイズ成分を除去することが提案されている（特許文献２参照）。
【０００５】
しかし、このような固定パターンノイズの除去は、メカニカルシャッタまたはオプティカルブラックを設ける必要があるため、撮像装置の複雑化および製造コストの増加が問題であった。また、メカニカルシャッタを設けることの難しい撮像装置、例えば電子内視鏡システムに適用することは困難であった。
【０００６】
また、撮像装置の製造時に撮像素子を遮光して生成させた固定パターンノイズ成分を記憶させ、通常使用時に画像データから固定パターンノイズ成分を除去することも知られている。
【０００７】
しかし、予め固定パターンノイズ成分を生成させて、記憶させるためにはＥＥＰＲＯＭやフラッシュメモリなどの大容量の不揮発性メモリを設ける必要があるため、基板の大型化および製造コストの増加が問題であった。また、製造時において固定パターンノイズ成分の生成工程および格納工程が必要であり、工数が増加することおよび撮像装置にこのような工程を実行するための装置が必要となることが問題であった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平８−５１５７１号公報
【特許文献２】特開２００４−１５７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明では製造工程を簡潔化しながら、メカニカルシャッタおよびオプティカルブラックを設けること無く、簡潔な構成で固定パターンノイズを高い精度で除去する固定パターンノイズ除去ユニットを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の固定パターンノイズ除去ユニットは、撮像素子に配置される複数の画素が受光量に応じて生成する画素信号を受信する受信部と、撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短い第２の露光時間に切替えることにより第１の露光時間における受光量に応じた画素信号である撮像画素信号または第２の露光時間における受光量に応じた画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、異なる画素において生成された擬似黒色画素信号によって算出される所定のパラメータと第１の閾値とに基づいて擬似黒色画素信号を対応する画素における固定パターンノイズと見做せるか否かを判別する判別部と、判別部により固定パターンノイズと見做された擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じる減算部とを備えることを特徴としている。
【００１１】
さらに、減算部は、判別部により固定パターンノイズと見做された擬似黒色画素信号を画素の並ぶ行毎に平均化し、平均化された行毎の擬似黒色画素信号をノイズ信号として対応する行における撮像画素信号から減じることが好ましい。
【００１２】
また、減算部は、行毎の擬似黒色画素信号の信号レベルの分布範囲の中で中央値を含む所定の範囲または所定の数の擬似黒色画素信号を平均化することが好ましい。
【００１３】
また、減算部は、判別部により固定パターンノイズと見做された複数の擬似黒色画素信号を画素の並ぶ列毎に平均化し、平均化された列毎の擬似黒色画素信号をノイズ信号として対応する列における撮像画素信号から減じることが好ましい。
【００１４】
また、撮像素子制御部は撮像素子に第２の露光時間の撮像を複数回実行させることにより画素毎に対応する複数の擬似黒色画素信号を生成させ、減算部は複数の擬似黒色画素信号の中で判別部により固定パターンノイズとして見做された擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。
【００１５】
また、減算部は複数回の第２の露光時間の撮像により生成された複数の擬似黒色画素信号であって判別部により固定パターンノイズと見做された複数の擬似黒色画素信号を画素毎に平均化し、平均化された擬似黒色画素信号をノイズ信号として画素毎の撮像画素信号から減じることが好ましい。
【００１６】
また、撮像素子制御部は同一の画素において判別部により固定パターンノイズと見做される擬似黒色画素信号がｍ個（ｍは２以上の整数）になるまで撮像素子に第２の露光時間での撮像を繰返させ、減算部は固定パターンノイズと見做された同一の画素における複数の擬似黒色画素信号を平均化することが好ましい。
【００１７】
また、撮像素子に配置されるすべてまたは一部の画素に対応する擬似黒色画素信号を平均化することにより平均化信号を生成する平均化部を備え、判別部は黒色画素信号に基づいて平均化信号を固定パターンノイズと見做せるか否かを判別することが好ましい。
【００１８】
また、撮像素子制御部は撮像素子に第２の露光時間の撮像を複数回実行させることにより画素毎に対応する複数の擬似黒色画素信号を生成させ、減算部は判別部により固定パターンノイズと見做された平均化信号の生成に用いられた擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。
【００１９】
また、減算部は複数回の第２の露光時間の撮像により生成された複数の擬似黒色画素信号であって判別部により固定パターンノイズと見做された平均化信号の生成に用いられた複数の擬似黒色画素信号を画素毎に平均化し、平均化された画素毎の擬似黒色画素信号をノイズ信号として撮像画素信号から減じることが好ましい。
【００２０】
また、撮像素子制御部は判別部により固定パターンノイズと見做される平均化信号がｍ個（ｍは２以上の整数）になるまで撮像素子に第２の露光時間での撮像を繰返させ、減算部は固定パターンノイズと見做されたｍ個の平均化信号の生成に用いられた擬似黒色画素信号を平均化することが好ましい。
【００２１】
また、画素が配置された全領域の一部の領域である第１、第２の小領域における複数の画素に対応する擬似黒色画素信号を平均化することにより平均化信号を生成する平均化部を備え、判別部は黒色画素信号に基づいて平均化信号を固定パターンノイズと見做せるか否かを第１、第２の小領域毎に判別することが好ましい。
【００２２】
また、撮像素子制御部は撮像素子に第２の露光時間の撮像を複数回実行させることにより画素毎に対応する複数の擬似黒色画素信号を生成させ、減算部は判別部により固定パターンノイズと見做された平均化信号の生成に用いられた擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。
【００２３】
また、減算部は複数回の第２の露光時間の撮像により生成された複数の擬似黒色画素信号であって判別部により固定パターンノイズと見做された平均化信号の生成に用いられた複数の擬似黒色画素信号を画素毎に平均化し、平均化された画素毎の擬似黒色画素信号をノイズ信号として画素毎の撮像画素信号から減じることが好ましい。
【００２４】
また、撮像素子制御部は判別部により固定パターンノイズと見做される平均化信号が第１、第２の小領域毎にｍ個（ｍは２以上の整数）になるまで撮像素子に第２の露光時間での撮像を繰返させ、減算部は固定パターンノイズと見做された複数の平均化信号の生成に用いられた擬似黒色画素信号を平均化することが好ましい。
【００２５】
また、撮像素子制御部は撮像素子に第２の露光時間での撮像をｎ回（ｎはｍより大きな整数）実行したときに、第２の露光時間での撮像を停止することが好ましい。
【００２６】
また、撮像素子制御部は固定パターンノイズ除去ユニットが設けられる撮像装置の起動時に、画素の露光時間を第２の露光時間に切替えて擬似黒色画素信号を生成させることが好ましい。
【００２７】
また、擬似黒色画素信号を生成するコマンドを入力する入力部を備え、入力部に擬似黒色画素信号を生成するコマンドが入力されるときに撮像素子制御部は画素の露光時間を第２の露光時間に切替えて擬似黒色画素信号を生成させることが好ましい。
【００２８】
また、撮像素子制御部は画素の露光時間を第１の露光時間に設定して生成させた撮像画素信号の輝度成分が第２の閾値未満である場合に画素の露光時間を第２の露光時間に切替えて擬似黒色画素信号を生成させ、判別部が擬似黒色画素信号を固定パターンノイズと見做した場合に撮像素子制御部が画素の露光時間を第１の露光時間に戻して撮像画素信号を生成させることが好ましい。
【００２９】
また、判別部が擬似黒色画素信号を固定パターンノイズと見做すまで、直近に生成した撮像画素信号を出力し続ける出力部を備えることが好ましい。
【００３０】
また、第１の閾値は擬似黒色画素信号が固定パターンノイズと見做せる場合の所定のパラメータに定められることが好ましい。
【００３１】
また、所定のパラメータは複数の擬似黒色画素信号の信号レベルの平均値、最大値、中央値、ＭＳＥ、およびＰＳＮＲの少なくとも一つであることが好ましい。
【００３２】
また、複数の擬似黒色画素信号の信号レベルの標準偏差も所定のパラメータとして用いることが好ましい。
【００３３】
また、撮像素子の受光面にはレンズが配置され、判別部はレンズの光軸から離れた領域に配置された画素の前記擬似黒色画素信号を固定パターンノイズと見做せるか否か判別し、減算部は判別部が固定パターンノイズと見做した擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じることが好ましい。
【００３４】
また、第２の露光時間は有効画素への積算露光量が黒色に相当する積算露光量と見做せる時間未満に定められることが好ましい。
【００３５】
また、第２の露光時間は撮像素子に設定可能な最短の露光時間であることが好ましい。
【００３６】
本発明の撮像ユニットは、複数の画素を有し画素の受光量に応じて生成する画素信号を出力する撮像素子と、撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短い第２の露光時間に切替えることにより第１の露光時間における受光量に応じた画素信号である撮像画素信号または第２の露光時間における受光量に応じた画素信号である擬似黒色画素信号を生成させる撮像素子制御部と、異なる画素において生成された擬似黒色画素信号によって算出される所定のパラメータと第１の閾値とに基づいて擬似黒色画素信号を対応する画素における固定パターンノイズと見做せるか否かを判別する判別部と、判別部により固定パターンノイズと見做された擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じる減算部とを備えることを特徴としている。
【００３７】
本発明の電子内視鏡システムは、複数の画素を有し画素の受光量に応じて生成する画素信号を出力する撮像素子と撮像素子における画素の露光時間を第１の露光時間または第１の露光時間より短い第２の露光時間に切替えることにより第１の露光時間における受光量に応じた画素信号である撮像画素信号または第２の露光時間における受光量に応じた画素信号である擬似黒色画素信号を生成させる撮像素子制御部と異なる画素において生成された擬似黒色画素信号によって算出される所定のパラメータと第１の閾値とに基づいて擬似黒色画素信号を対応する画素における固定パターンノイズと見做せるか否かを判別する判別部と判別部により固定パターンノイズと見做された擬似黒色画素信号に基づくノイズ信号を撮像画素信号から減じる減算部とを備える撮像ユニットを有することを特徴としている。
【発明の効果】
【００３８】
本発明によれば、製造工程を簡潔化しながら、メカニカルシャッタ、オプティカルブラック、および不揮発性メモリを設けること無く、簡潔な構成で固定パターンノイズを高い精度で除去することが可能となる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。
【図２】第１の実施形態の画像処理部の内部構成を概略的に示すブロック図である。
【図３】第１の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。
【図４】第１の実施形態におけるノイズデータ生成のサブルーチンを説明するためのフローチャートである。
【図５】第２の実施形態の画像処理部の内部構成を概略的に示すブロック図である。
【図６】第２の実施形態におけるＦＰＮ成分の除去の処理を説明するためのフローチャートである。
【図７】第２の実施形態におけるノイズデータ生成のサブルーチンを説明するための第１のフローチャートである。
【図８】第２の実施形態におけるノイズデータ生成のサブルーチンを説明するための第２のフローチャートである。
【図９】第３の実施形態においてノイズデータの生成に用いる擬似黒色画素データに対応する画素が配置される領域を示すために撮像素子と対物レンズの位置関係を示す図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の第１の実施形態を適用した固定パターンノイズ除去ユニットを有する電子内視鏡システムの内部構成を概略的に示すブロック図である。
【００４１】
電子内視鏡システム１０は、電子内視鏡２０、内視鏡プロセッサ４０、およびモニタ１１によって構成される。内視鏡プロセッサ４０は、電子内視鏡２０、及びモニタ１１に接続される。
【００４２】
内視鏡プロセッサ４０には光源ユニット（図示せず）が設けられる。光源ユニットから照射する照明光が、電子内視鏡２０のコネクタ２１から挿入管２２の先端まで延設されるライトガイド（図示せず）によって挿入管２２の先端まで伝達される。
【００４３】
ライトガイドにより伝達された照明光が挿入管２２の先端付近に照射される。照明光を照射された被写体が電子内視鏡２０により撮像される。電子内視鏡２０の撮像により生成する画像信号が内視鏡プロセッサ４０に送られる。
【００４４】
内視鏡プロセッサ４０は画像処理回路４１を有しており、画像処理回路４１において電子内視鏡２０から得られた画像信号に対して所定の信号処理が施される。所定の信号処理を施した画像信号はモニタ１１に送信され、送信された画像信号に相当する画像がモニタ１１に表示される。
【００４５】
なお、光源ユニットおよび画像処理回路４１は、内視鏡プロセッサ４０に設けられるシステムコントローラ４２により動作が制御される。また、システムコントローラ４２は、電子内視鏡２０にも接続され、電子内視鏡２０の各部位の動作も制御する。
【００４６】
なお、内視鏡プロセッサ４０には入力部４３が設けられる。使用者によるコマンドが入力されると、入力されたコマンドに応じたオーダー信号が入力部４３からシステムコントローラ４２に送信される。システムコントローラ４２は、受信したオーダー信号に応じて各部位の動作を制御する。
【００４７】
電子内視鏡２０には、対物レンズ２３、撮像素子２４、Ａ／Ｄコンバータ２５（受信部）、画像処理部３０、Ｄ／Ａコンバータ２６、ＤＲＡＭ２７、タイミングコントローラ２８（撮像素子制御部）などが設けられる。
【００４８】
前述のように、照明光が照射された被写体の光学像が対物レンズ２３を介して、撮像素子２４の受光面に到達する。タイミングコントローラ２８の駆動に基づいて、撮像素子２４は受光面に到達した光学像に相当する画像信号を生成する。
【００４９】
撮像素子２４はＣＭＯＳ撮像素子であり、受光面には行列状に複数の画素が配置される。各画素では、受光量に応じた画素信号が生成される。
【００５０】
各画素において生成される画素信号は、固定パターンノイズ（ＦＰＮ）成分および受光量成分を有する。ＦＰＮ成分は、各画素固有のノイズ成分であり、露光時間に関わらず一定の大きさである。また、受光量成分は、画素への積算露光量、すなわち入射光の光量および露光時間の積に応じた大きさである。
【００５１】
なお、一般的に、画素固有のＦＰＮ成分は、画素が配置される行および列に応じて信号レベルが変化する傾向がある。それゆえ、各画素のＦＰＮ成分は行方向成分と列方向成分を有する。行方向成分は同じ行に配置される画素に共通し、列方向成分は同じ列に配置される画素に共通する。
【００５２】
タイミングコントローラ２４により各画素が生成する画素信号の出力時期が制御され、画素信号が撮像素子２４から順番に出力される。受光面に配置されたすべての画素が生成した画素信号によって１フレームの画像信号が構成される。
【００５３】
なお、後述するように、タイミングコントローラ２８は画素の露光時間を制御することも可能である。さらに、タイミングコントローラ２８により、Ａ／Ｄコンバータ２５および画像処理部３０における動作のタイミングも制御される。
【００５４】
生成された画像信号は、撮像素子２４からＡ／Ｄコンバータ２５に送信される。Ａ／Ｄコンバータ２５によりＡ／Ｄ変換が施され、アナログ画像信号がデジタル画像データに変換される。なお、画像データは、画素信号をＡ／Ｄ変換した画素データによって構成される。
【００５５】
画像データは、画像処理部３０に送信される。画像処理部３０では、ＦＰＮ除去を含む所定の画像処理が画像データに対して施される。なお、画像処理部３０はＤＲＡＭ２７に接続される。ＤＲＡＭ２７には、後述するように、ＦＰＮ除去のための画素データが格納される。
【００５６】
所定の画像処理が施された画像データは、Ｄ／Ａコンバータ２６に送信される。Ｄ／Ａコンバータ２６によりＤ／Ａ変換が施され、デジタル画像データがアナログ画像信号に変換される。変換された画像信号は内視鏡プロセッサ４０の画像処理回路４１に送信される。前述のように、画像処理回路４１では画像信号に対して所定の画像処理が施される。画像処理後、画像信号はモニタ１１に送信され、画像信号に相当する画像がモニタ１１に表示される。
【００５７】
次に、画像処理部３０の構成とともに、画像処理部３０において実行されるＦＰＮ除去について説明する。図２に示すように、画像処理部３０は、領域平均化回路３１（平均化部）、判別回路３２（判別部）、ＦＰＮ作成回路３３（減算部）、ＦＰＮ補正回路３４（減算部、出力部）、および一般画像処理回路３５などによって構成される。
【００５８】
画素信号からＦＰＮ成分を除去するためには、各有効画素固有のＦＰＮ成分であるノイズ信号が必要である。なお、前述のように、ＦＰＮ成分は行方向成分と列方向成分を有しており、ＦＰＮ除去のためにノイズ信号の行方向成分と列方向成分とが行毎および列毎に必要である。ＦＰＮ除去の前に、画像処理部３０により行方向ノイズデータおよび列方向ノイズデータが生成される。
【００５９】
ノイズデータを生成するために、電子内視鏡２０の起動時にタイミングコントローラ２８は設定可能な最短の露光時間、例えば２００ｎｓの露光時間で、撮像素子２４に画像信号を生成させる。露光時間が２００ｎｓの場合には、生成した画素信号は擬似黒色画素データとして領域平均化回路３１に送信される。
【００６０】
領域平均化回路３１は、受信した擬似黒色画素データをＤＲＡＭ２７に格納させる。ＤＲＡＭ２７には、各画素の格納領域が定められており、順番に受信する擬似黒色画素データが定められた格納領域に格納される。
【００６１】
１フレームの画像データを構成する擬似黒色画素データがＤＲＡＭ２７に格納されると、領域平均化回路３１により１フレームの画像データを構成するすべての擬似黒色画素データが読出され、輝度データ成分が平均化される。また、領域平均化回路３１により輝度データ成分の標準偏差が算出される。
【００６２】
平均化された擬似黒色画素データである平均擬似黒色データおよび標準偏差データが、判別回路３２に送信される。判別回路３２はＲＯＭ（図示せず）を有しており、輝度データ成分の平均値および標準偏差を比較するための基準輝度範囲データおよび基準標準偏差データが格納されている。判別回路３２では平均擬似黒色データと基準輝度範囲データとが、標準偏差データと基準標準偏差データとが比較される。
【００６３】
判別回路３１により、平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲内であるか否かが判別される。また、判別回路３１により、標準偏差データのデータレベルが基準標準偏差データのデータレベル未満であるか否かが判別される。
【００６４】
擬似黒色画素データすなわち画素データには、前述のようにＦＰＮ成分と受光量成分とが含まれる。前述のように、受光量成分は入射光の光量および露光時間の積に応じた大きさである。したがって、入射光量および露光時間が十分に短ければ、受光量成分の信号レベルがゼロとみなせる擬似黒色画素信号が生成される。しかし、露光時間を十分に短くしても、入射光量が大きい場合には、ゼロより大きな信号レベルの受光量成分を含む擬似黒色画素信号が生成される。
【００６５】
そこで、判別回路３２において、平均擬似黒色データと基準輝度範囲データとの比較および標準偏差データと基準標準偏差データとの比較により、撮像素子２４への入射光量が十分に小さく擬似黒色画素信号が実質的にＦＰＮ成分のみを有しているか否かを判別可能である。
【００６６】
平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲外であるか、または標準偏差データのデータレベルが基準標準偏差データのデータレベルを超える場合には、平均擬似黒色データの生成に用いたフレームの画像データが、ＤＲＡＭ２７から消去される。
【００６７】
一方、平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲内で、かつ標準偏差データのデータレベルが基準標準偏差データのデータレベル未満である場合には、平均擬似黒色データの生成に用いたフレームの画像データは、そのままＤＲＡＭ２７に格納される。
【００６８】
１フレームの画像データのＤＲＡＭ２７への格納、領域平均化回路３１における平均化と標準偏差の算出、および判別回路３２における判別を完了すると、タイミングコントローラ２８は再び２００ｎｓの露光時間で撮像素子２４に画像信号を生成させる。
【００６９】
前述のように、新たに生成した１フレームの画像データのＤＲＡＭ２７への格納、領域平均化回路３１における平均化と標準偏差の算出、および判別回路３２による判別が行なわれる。判別回路３２に消去されない画像データが２０フレームになるまで、ＤＲＡＭ２７への格納、領域平均化回路３１における平均化、および判別回路３２による判別が行なわれる。判別回路３２により消去されない画像データが２０フレームになると、２００ｎｓの露光時間による撮像が停止される。
【００７０】
判別回路３２により消去されなかった２０フレームの画像データが、ＦＰＮ作成回路３３に読出される。ＦＰＮ作成回路３３により、行方向ノイズデータおよび列方向ノイズデータが行毎および列毎に生成される。
【００７１】
行方向ノイズデータと列方向ノイズデータとの生成のために、同じ画素に対応しフレームの異なる２０の擬似黒色画素データが平均化される。次に、平均化された擬似黒色画素データを用いて、以下の手順で行方向ノイズデータと列方向ノイズデータとが生成される。
【００７２】
平均化した擬似黒色画素データが、行毎および列毎に抽出される。次に、抽出された行毎および列毎の平均化した擬似黒色画素データがデータレベルの昇順に並べ替えられる。次に並べ替えられた平均化した擬似黒色画素データの中央値を含む所定の数の平均化擬似黒色画素データが抽出される。例えば、６００×６００の画素が配置されている場合に、中央値を含む２００画素の擬似黒色画素データが行毎および列毎に抽出される。
【００７３】
次に、抽出した２００画素の平均化擬似黒色画素データの平均値が算出される。算出した平均値が、各行および各列に対応する行方向ノイズデータおよび列方向ノイズデータとして生成される。生成した行方向ノイズデータおよび列方向ノイズデータが、ＤＲＡＭ２７に格納される。
【００７４】
ノイズデータがＤＲＡＭ２７に格納されると、タイミングコントローラ２８は通常の画像を撮影するための露光時間、例えば１／６０ｓの露光時間で、撮像素子２４に画像信号を生成させる。前述のように、１フレームの画像信号を構成する各画素信号が撮像画素信号として順番にＡ／Ｄコンバータ２５を介して、画像処理部３０に送信される。
【００７５】
露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３４に送信される。ＦＰＮ補正回路３４には、受信した撮像画素データの行および列に対応する行方向ノイズデータおよび列方向ノイズデータがＤＲＡＭ２７から読出される。ＦＰＮ補正回路３４により、撮像画素データから行方向ノイズデータおよび列方向ノイズデータが減じられることにより、ＦＰＮ成分が除去される。
【００７６】
ＦＰＮ成分が除去された補正撮像画素データは一般画像処理回路３５に送信され、色補間処理やガンマ補正処理などの所定の画像処理が施される。所定の画像処理の施された補正撮像画素データが、前述のように、Ｄ／Ａコンバータ２６に送信される。
【００７７】
次に、タイミングコントローラ２８および画像処理部３０によって行われるノイズデータ作成および撮像画素データからのＦＰＮ成分の除去の処理を図３、図４のフローチャートを用いて説明する。
【００７８】
図３は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。図４は、行方向ノイズデータおよび列方向ノイズデータ生成のサブルーチンを説明するためのフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。
【００７９】
ステップＳ１００において電子内視鏡２０を起動させると、ステップＳ２００に進み、行方向ノイズデータおよび列方向ノイズデータを行毎、列毎に生成させる。ノイズデータの生成が終わるとステップＳ１０１に進む。
【００８０】
ステップＳ１０１では、撮像素子２４に被写体を撮像させて１フレームの画像信号を生成させる。なお、後述するように、撮像素子２４の露光時間は１／６０ｓに設定されている。１フレームの画像信号を生成すると、ステップＳ１０２に進む。
【００８１】
ステップＳ１０２では、ステップＳ１０１で生成させた画像信号からＦＰＮ成分を除去する。すなわち、画像信号をＡ／Ｄ変換した画像データを構成する各撮像画素データから、ステップＳ２００においてＤＲＡＭ２７に格納した行方向ノイズデータおよび列方向ノイズデータを減じることにより、各撮像画素データ固有のＦＰＮ成分を除去する。全撮像画素データのＦＰＮ成分を除去すると、ステップＳ１０３に進む。
【００８２】
ステップＳ１０３では、色補間処理やガンマ処理などの所定の画像処理を、ＦＰＮ成分を除去した画像データに施す。所定の画像処理を施すとステップＳ１０４に進み、動画表示を終了するコマンドが入力されているか否かを判別する。
【００８３】
動画表示を終了するコマンドが入力されていない場合には、ステップＳ１０１に戻り、動画表示を終了するコマンドが入力されるまでステップＳ１０１〜ステップＳ１０４を繰返す。動画表示を終了するコマンドが入力されている場合に、ＦＰＮ成分除去の処理を終了する。
【００８４】
次に、ノイズデータ生成のサブルーチンについて説明する。前述のように、電子内視鏡２０の起動後（ステップＳ１００）、ノイズデータ生成のサブルーチンを開始する。ステップＳ２０１において、撮像素子２４の露光時間を２００ｎｓに設定する。撮像素子２４の露光時間の設定後、ステップＳ２０２に進む。
【００８５】
ステップＳ２０２では、撮像素子２４に被写体を撮像させて１フレームの画像信号を生成させる。次のステップＳ２０３では、画像信号をＡ／Ｄ変換した画像データを構成する擬似黒色画素データをＤＲＡＭ２７に格納する。１フレームの画像データを構成するすべての擬似黒色画素データをＤＲＡＭ２７に格納すると、ステップＳ２０４に進む。
【００８６】
ステップＳ２０４では、ＤＲＡＭ２７から全擬似黒色画素データを読出し、輝度データ成分を平均化することにより、平均擬似黒色データを生成する。また、輝度データの標準偏差を算出することにより、標準偏差データを生成する。平均擬似黒色データおよび標準偏差データの算出後、ステップＳ２０５に進む。
【００８７】
ステップＳ２０５では、ステップＳ２０４で生成した平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲内であるか否かを判別する。範囲内である場合には、ステップＳ２０６に進む。一方、範囲外である場合には、ステップＳ２０７に進む。
【００８８】
ステップＳ２０６では、ステップＳ２０４で生成した標準偏差データのデータレベルが基準標準偏差データのデータレベル未満であるか否かを判別する。標準偏差データのデータレベルが基準標準偏差データのデータレベルを超える場合には、ステップＳ２０７に進む。標準偏差データのデータレベルが基準標準偏差データのデータレベル未満である場合には、ステップＳ２０８に進む。
【００８９】
ステップＳ２０７では、直近のステップＳ２０３でＤＲＡＭ２７に格納した擬似黒色画素データを消去する。データの消去後、ステップＳ２０２に戻る。以後、ステップＳ２０５およびステップＳ２０６において、平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲内に入り、かつ標準偏差データのデータレベルが基準標準偏差データのデータレベル未満になるまで、ステップＳ２０２〜ステップＳ２０７の処理を繰返す。
【００９０】
ステップＳ２０８では、２０フレームの画像データがＤＲＡＭ２７に格納されているか否かを判別する。２０フレームの画像データを格納していない場合には、ステップＳ２０２に戻る。以後、ステップＳ２０８において２０フレームの画像データを格納していると判別するまでステップＳ２０２〜ステップＳ２０８の処理を繰返す。２０フレームの画像データを格納している場合には、ステップＳ２０９に進む。
【００９１】
ステップＳ２０９では、ＤＲＡＭ２７に格納された２０フレームの画像信号を構成する擬似黒色画素データを画素毎に平均化させる。全画素に対して擬似黒色画素データを平均化すると、ステップＳ２１０に進む。
【００９２】
ステップＳ２１０では、行方向ノイズデータおよび列方向ノイズデータを行毎、列毎に生成する。前述のように、各行の平均化擬似黒色画素データをデータレベルの昇順に並べ替え、中央値を含む２００画素の平均化擬似黒色画素データを平均化することにより、行方向ノイズデータを生成する。また、各列の平均化擬似黒色画素データをデータレベルの昇順に並べ替え、中央値を含む２００画素の平均化擬似黒色画素データを平均化することにより、列方向ノイズデータを生成する。
【００９３】
生成したノイズデータをＤＲＡＭ２７に格納する。全行および全列の行方向ノイズデータおよび列方向ノイズデータを生成し格納すると、ステップＳ２１１に進む。
【００９４】
ステップＳ２１１では、撮像素子２４の露光時間を１／６０ｓに設定する。撮像素子２４の露光時間の設定後、前述のようにステップＳ１０１に進む。
【００９５】
以上のような第１の実施形態を適用した固定パターンノイズ除去ユニットによれば、メカニカルシャッタ、オプティカルブラック、および大容量の不揮発性メモリを設けること無く、ＦＰＮを除去することが可能になる。
【００９６】
また、前述のように、擬似黒色画素信号を生成するときの撮像素子２４への入射光量が大きいときには、露光時間を短くして生成させた擬似黒色画素信号を用いてもＦＰＮを高い精度で除去することが困難であった。しかし、本実施形態の固定パターンノイズ除去ユニットでは、予めＦＰＮ成分として想定される輝度の範囲に基づいて、擬似黒色画素信号を固定パターンノイズの除去に用いることが適当か否かを判別しているので、高い精度で固定パターンノイズを除去することが可能である。
【００９７】
また、一部の画素において擬似黒色画素信号に無視出来ない受光量成分が含まれる場合であっても、全画素の輝度データ成分の平均値が基準輝度範囲データの範囲内に含まれることがある。このようなフレームの画像信号はノイズ除去に不適であるが、本実施形態の固定パターンノイズ除去ユニットでは、基準標準偏差と標準偏差を比較することにより、擬似黒色画素信号を固定パターンノイズの除去に用いることが適当か否かを判別しているので、更に高い精度で固定パターンノイズを除去することが可能である。
【００９８】
次に本発明の第２の実施形態を適用した固定パターンノイズ除去ユニットについて説明する。第２の実施形態は、ノイズデータの生成時期と生成方法とが第１の実施形態と異なっている。以下、第１の実施形態と異なる部位を中心に、第２の実施形態について説明する。なお、同じ機能を有する部位には、同じ符号を付す。
【００９９】
第２の実施形態の電子内視鏡のタイミングコントローラ、画像処理部およびＤＲＡＭ以外の部位の構成および機能は、第１の実施形態の電子内視鏡と同じである。また、第２の実施形態において内視鏡プロセッサおよびモニタは、第１の実施形態の内視鏡プロセッサとモニタと同一である。
【０１００】
第２の実施形態の画像処理部の構成および機能とともに、画像処理部において実行されるＦＰＮ除去について説明する。図５に示すように、画像処理部３００は、領域平均化回路３１０、判別回路３２０、ＦＰＮ作成回路３３、ＦＰＮ補正回路３４、および一般画像処理回路３５等によって構成される。
【０１０１】
第１の実施形態と同じく、ＦＰＮ除去の前に画像処理部３００により行方向ノイズデータおよび列方向ノイズデータが生成される。第１の実施形態と異なり、電子内視鏡２０の起動時にはノイズデータが生成されず、電子内視鏡２０による観察中にノイズデータ生成に適した時期が判別され、そのときにノイズデータが生成される。
【０１０２】
以下に説明するように、画像信号の輝度が算出され、算出された輝度に基づいてノイズデータ生成に適した時期が判別される。
【０１０３】
電子内視鏡２０の起動後、タイミングコントローラ２８は通常の画像を撮影するための露光時間、例えば１／６０ｓの露光時間で撮像素子２４に画像信号を生成させる。１フレームの画像信号を構成する各画素信号が撮像画素信号としてＡ／Ｄコンバータ２５を介して画像処理部３００に送信される。
【０１０４】
露光時間が１／６０ｓであってＤＲＡＭ２７にノイズデータが格納されていない場合には、生成されＡ／Ｄ変換された撮像画素データは、領域平均化回路３１０およびＦＰＮ補正回路３４に送信される。
【０１０５】
なお、電子内視鏡２０の起動後ノイズデータが生成されるまで、ＤＲＡＭ２７にはノイズデータが格納されていないため、電子内視鏡２０の起動後ノイズデータの生成が開始されるまで、撮像画素データは領域平均化回路３１０およびＦＰＮ補正回路３４に送信される。
【０１０６】
ＦＰＮ補正回路３４では、第１の実施形態と同じく、撮像画素データからＤＲＡＭ２７に格納された行方向ノイズデータおよび列方向ノイズデータが減じられる。ただし、電子内視鏡２０の起動後ノイズデータが生成されるまで、ＤＲＡＭ２７にはノイズデータが格納されていないため、電子内視鏡２０の起動後ノイズデータの生成が開始されるまでＦＰＮ補正回路３４において撮像画素データからノイズデータが減じられずに出力される。
【０１０７】
領域平均化回路３１０は受信した撮像画素データをＤＲＡＭ２７に格納させる。１フレームの画像データを構成する撮像画素データがＤＲＡＭ２７に格納されると、領域平均化回路３１０により１フレームの画像データを構成するすべての撮像画素データが読出され、輝度データ成分が平均化される。
【０１０８】
平均化された輝度データ成分が判別回路３２０に送信される。判別回路３２０はＲＯＭを有しており、輝度データと比較するための輝度閾値データが格納されている。判別回路３２０では平均化された輝度データと輝度閾値データとが比較される。
【０１０９】
判別回路３２０により平均化した輝度データのデータレベルが輝度閾値データのデータレベル未満であるか否かが判別される。露光時管を短縮してノイズデータを生成する場合には、強度の弱い光が撮像素子２４に入射している状態が好ましい。そこで、平均化した輝度データのデータレベルが輝度閾値データのデータレベル未満である場合に、ノイズデータ生成に適した時期と判別可能である。
【０１１０】
平均化した輝度データのデータレベルが輝度閾値データのデータレベル未満である場合に、タイミングコントローラ２８は、ノイズデータ生成のために設定可能な最短の露光時間、例えば２００ｎｓの露光時間で、撮像素子２４に画像信号を生成させる。
【０１１１】
画像信号をＡ／Ｄ変換した画像データを構成する擬似黒色画素データは、ＦＰＮ補正回路３４には送信されず、領域平均化回路３１０のみに送信される。第１の実施形態と同じく、領域平均化回路３１０は受信した擬似黒色画素データをＤＲＡＭ２７に格納させる。
【０１１２】
第１の実施形態と異なり、１フレームの画像データを構成する擬似黒色画素データがＤＲＡＭ２７に格納されると、領域平均化回路３１０により一部の擬似黒色画素データが読出され、輝度データ成分が平均化される。
【０１１３】
領域平均化回路３１０が読出す一部の擬似黒色画素データについて説明する。撮像素子２４の受光面を縦横１６×１６の２５６個に分類した第１〜第２５６の小領域が定められる。第１の小領域に配置される画素の擬似黒色画素データが領域平均化回路３１０に読出され、輝度データ成分が平均化される。また、領域平均化回路３１０により、第１の小領域に配置される画素の輝度データ成分の標準偏差が算出される。
【０１１４】
平均化された第１の小領域の擬似黒色画素データの輝度成分である第１の平均擬似黒色データと第１の小領域の擬似黒色画素データの輝度成分の標準偏差に相当する第１の標準偏差データとが、判別回路３２０に送信される。
【０１１５】
第１の実施形態と同じく、判別回路３２０はＲＯＭ（図示せず）を有しており基準輝度範囲データおよび基準標準偏差データが格納されている。第１の実施形態と同様に、判別回路３２０では第１の平均擬似黒色データと基準輝度範囲データとが、標準偏差データと、基準標準偏差データとが比較される。
【０１１６】
第１の実施形態と同様に、第１の平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲外であるか、または標準偏差データのデータレベルが基準標準偏差データのデータレベルを超える場合には、第１の小領域に配置される画素の擬似黒色画素データが、ＤＲＡＭ２７から消去される。
【０１１７】
また、第１の実施形態と同様に、第１の平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲内で、かつ第１の標準偏差データのデータレベルが基準標準偏差データのデータレベル未満である場合には、第１の平均擬似黒色データの生成に用いたフレームの画像データは、そのままＤＲＡＭ２７に格納される。
【０１１８】
第１の小領域に対応する第１の平均擬似黒色データと同様にして、第２〜第２５６の小領域に対応する第２〜第２５６の平均擬似黒色データが生成され、小領域毎に擬似黒色画素データを消去するか否かが判別される。
【０１１９】
第１の実施形態と同様に、全小領域に対応する平均擬似黒色データに対して判別回路３２０による判別を完了すると、タイミングコントローラ２８は再び２００ｎｓの露光時間で撮像素子２４に画像信号を生成させる。
【０１２０】
以後、判別回路３２０に消去されない各小領域の擬似黒色画素データが２０フレームになるまで、ＤＲＡＭ２７への格納、領域平均化回路３１０における平均化と標準偏差の算出、および判別回路３２０による判別が行なわれる。判別回路３２０により消去されない各小領域の擬似黒色画素データが２０フレームになると、２００ｎｓの露光時間による撮像が停止される。
【０１２１】
ただし、判別回路３２０に消去されない擬似黒色画素データが２０フレームにならなくても、所定のフレーム数、例えば４０フレームの画像信号を作成したときにも、２００ｎｓの露光時間による撮像が停止される。
【０１２２】
第１の実施形態と同様に、ＦＰＮ作成回路３３により、行方向ノイズデータおよび列方向ノイズデータが行毎および列毎に生成される。なお、第１の実施形態と異なり、一部の画素においては２０フレームの擬似黒色画素データが格納されていない場合がある。２０フレームの擬似黒色画素データが格納されていない画素については、ノイズデータの生成から除外される。第１の実施形態と同じく、生成したノイズデータはＤＲＡＭ２７に格納される。
【０１２３】
なお、第１の実施形態と異なり、ノイズデータの生成開始時からノイズデータの生成を完了するまで、２００ｎｓの露光時間に切替える直前の１／６０ｓの露光時間による撮像により生成された画像信号がＦＰＮ補正回路３４から出力される。このように、直近の１／６０ｓの露光時間による画像信号を繰返して出力することにより、モニタ１１には常に画像を表示し続けることが可能になる。
【０１２４】
第１の実施形態と同じく、行方向ノイズデータおよび列方向ノイズデータがＤＲＡＭ２７に格納されると、タイミングコントローラ２８は１／６０ｓの露光時間で撮像素子２４に画像信号を生成させる。また、１フレームの画像信号を構成する各撮像画素信号が順番にＡ／Ｄコンバータ２５を介して、画像処理部３００に送信される。
【０１２５】
第１の実施形態と同じく、露光時間が１／６０ｓの場合には、生成されＡ／Ｄ変換された撮像画素データは、ＦＰＮ補正回路３４に送信される。第１の実施携帯と同じく、ＤＲＡＭ２７に格納された行方向ノイズデータおよび列方向ノイズデータを撮像画素データから減じることにより、ＦＰＮ成分が除去される。
【０１２６】
次に、タイミングコントローラ２８および画像処理部３００によって行われるノイズデータ作成の処理および撮像画素データからのＦＰＮ成分の除去の処理を図６〜図８のフローチャートを用いて説明する。
【０１２７】
図６は、ＦＰＮ成分の除去の処理を説明するためのフローチャートである。図７は、ノイズデータ生成のサブルーチンを説明するための第１のフローチャートである。図８は、ノイズデータ生成のサブルーチンを説明するための第２のフローチャートである。ＦＰＮ成分の除去の処理は、電子内視鏡システム１０の電源をＯＮにするときに開始される。
【０１２８】
ステップＳ３００において電子内視鏡２０を起動させると、ステップＳ３０１に進み、撮像素子２４の露光時間を１／６０ｓに設定する。撮像素子２４の露光時間の設定後、ステップＳ３０２に進む。
【０１２９】
ステップＳ３０２では、撮像素子２４に被写体を撮像させて１フレームの画像信号を生成させる。画像信号を生成させるとステップＳ３０３に進み、ＤＲＡＭ２７に行方向ノイズデータおよび列方向ノイズデータが格納されているか否かを判別する。ノイズデータが格納されていない場合には、ステップＳ３０４に進む。ノイズデータが格納されている場合には、ステップＳ３０５に進む。
【０１３０】
ステップＳ３０４では、ステップＳ３０２で生成させた画像信号全体の平均輝度が輝度閾値未満であるか否かを判別する。平均輝度が輝度閾値未満である場合には、ステップＳ４００に進み、行方向ノイズデータおよび列方向ノイズデータを行毎および列毎に生成させる。平均輝度が輝度閾値を超える場合またはステップＳ４００におけるノイズデータの生成後、ステップＳ３０５をスキップしてステップＳ３０６に進む。
【０１３１】
ステップＳ３０５では、ステップＳ３０２で生成させた画像信号からＦＰＮ成分を除去する。すなわち、画像信号をＡ／Ｄ変換した画像データを構成する各撮像画素データから、ステップＳ４００においてＤＲＡＭ２７に格納した行方向ノイズデータおよび列方向ノイズデータを減じることにより、ＦＰＮ成分を除去する。全撮像画素データのＦＰＮ成分を除去すると、ステップＳ３０６に進む。
【０１３２】
以後第１の実施形態におけるステップＳ１０３およびステップＳ１０４と同じ処理を、ステップＳ３０６およびステップＳ３０７で実行する。
【０１３３】
次に、ノイズデータ生成のサブルーチンについて説明する。前述のように、ステップＳ３０４において平均輝度が輝度閾値未満である場合に、ノイズデータ生成のサブルーチンを開始する。ステップＳ４０１〜ステップＳ４０３では、第１の実施形態におけるステップＳ１０１〜ステップＳ１０３と同じ処理を実行する。
【０１３４】
ステップＳ４０４では、平均擬似黒色データを生成する小領域の番号ｎを１に設定する。小領域の番号ｎの設定後、ステップＳ４０５に進む。ステップＳ４０５では、ＤＲＡＭ２７から第ｎの小領域に配置された全画素の擬似黒色画素データを読出し、輝度データ成分を平均化することにより第ｎの平均擬似黒色データを生成する。また、第ｎの小領域に配置された全画素の擬似黒色画素データの標準偏差を算出する。第ｎの平均擬似黒色データおよび標準偏差データの生成後ステップＳ４０６に進む。
【０１３５】
ステップＳ４０６では、ステップＳ４０５で生成した平均擬似黒色データのデータレベルが基準輝度範囲データのデータレベルの範囲内であるか否かを判別する。範囲内である場合には、ステップＳ４０７に進む。一方、範囲外である場合には、ステップＳ４０８に進む。
【０１３６】
ステップＳ４０７では、ステップＳ４０５で生成した標準偏差データのデータレベルが基準標準偏差データのデータレベル未満であるか否かを判別する。標準偏差データのデータレベルが基準標準偏差データのデータレベルを超える場合には、ステップＳ４０８に進む。標準偏差データのデータレベルが基準標準偏差データのデータレベル未満である場合には、ステップＳ４０９に進む。
【０１３７】
ステップＳ４０８では、直近のステップＳ４０３でＤＲＡＭ２７に格納した擬似黒色画素データの中で、第ｎの小領域に対応する擬似黒色画素データを消去する。データの消去後、ステップＳ４０９に進む。
【０１３８】
ステップＳ４０９では、小領域の番号ｎが２５６であるか否かを判別する。ｎが２５６で無い場合にはステップＳ４１０に進み、ｎに１を加えてステップＳ４０５に戻る。以後、ステップＳ４０９においてｎが２５６になるまで、ステップＳ４０５〜ステップＳ４１０の処理を繰返す。ステップＳ４０９においてｎが２５６である場合には、ステップＳ４１１に進む。
【０１３９】
ステップＳ４１１では、ステップＳ４０２における撮像動作が４０回に達しているか否かを判別する。４０回に達していない場合には、ステップＳ４１２に進む。４０回に達している場合には、ステップＳ４１２をスキップしてステップＳ４１３に進む。
【０１４０】
ステップＳ４１２では、全小領域において２０フレームの擬似黒色画素データがＤＲＡＭ２７に格納されているか否かを判別する。２０フレームの擬似黒色画素データが格納されていない小領域がある場合には、ステップＳ４０２に戻る。以後、全小領域において２０フレームの擬似黒色画素データが格納されるまで、ステップＳ４０２〜ステップＳ４１２の処理を繰返す。全小領域において２０フレームの擬似黒色画素データを格納している場合には、ステップＳ４１３に進む。
【０１４１】
以後のステップＳ４１３〜ステップＳ４１５では、第１の実施形態におけるステップＳ２０９〜ステップＳ２１１と同じ処理を実行し、ノイズデータの生成およびＤＲＡＭ２７への格納、１／６０ｓへの露光時間の設定を行なう。露光時間の設定後、ステップＳ４１６に進む。
【０１４２】
ステップＳ４１６では、ステップＳ３０２において直近に生成させた露光時間が１／６０ｓである画像信号を繰返して出力させる。露光時間が１／６０ｓである画像信号の出力後、前述のようにステップＳ３０６に進む。
【０１４３】
以上のような第２の実施形態を適用した固定パターンノイズ除去ユニットによっても、第１の実施形態と同じ効果を得ることが出来る。
【０１４４】
また、本実施形態によれば、電子内視鏡２０による観察中にノイズデータを生成するのに適した時期が判別されノイズデータの生成が開始されるので、ノイズデータを生成するのに十分なフレームの擬似黒色画素データを早期に取得することが可能になる。
【０１４５】
また、本実施形態によれば、撮像素子２４において部分的に入射光量が大きくても、効率的にノイズデータを生成することが可能になる。例えば、撮像素子２４において部分的に入射光量が大きい場合において、他の領域の擬似黒色画素データは受光量成分を含んでいなくてもノイズデータの生成に用いることが出来ないことがある。しかし、本実施形態によれば、小領域毎にノイズデータの作成に用いるか否かを判別するので、ノイズデータ生成の高速化が図られる。
【０１４６】
また、本実施形態によれば、４０回の撮像後に２００ｎｓの露光時間での撮像を停止する構成なので、必要なフレームの擬似黒色画素データが格納されていなくてもノイズデータの生成が開始される。したがって、ノイズデータ生成の高速化が図られる。
【０１４７】
次に本発明の第３の実施形態を適用した固定パターンノイズ除去ユニットについて説明する。第３の実施形態は、ノイズデータの生成に用いる擬似黒色画素信号を生成する画素の位置を限定する点において第１の実施形態と異なっている。以下、第１の実施形態と異なる部位を中心に、第３の実施形態について説明する。なお、同じ機能を有する部位には、同じ符号を付す。
【０１４８】
第３の実施形態では、領域平均化回路以外の機能は第１の実施形態と同じである。第３の実施形態における領域平均化回路は、受信する擬似黒色画素データの中で、以下に説明するように特定の領域に配置された画素に対応する擬似黒色画素データのみをＤＲＡＭ２７に格納する。
【０１４９】
図９に示すように、対物レンズ２３の光軸と撮像素子２４の中心Ｃとが重なるように、両者の位置が調整される。撮像素子２４の端部周辺の領域（図９網線部参照）に配置された画素における擬似黒色画素データのみが、ノイズデータを生成するために用いられる。
【０１５０】
前述のように、理想的な擬似黒色画素データを生成するときには、画素への入射光量が低いことが望ましい。対物レンズを透過する光の光量は、出射方向と光軸との間の角度が大きくなるほど、すなわち撮像素子２４の中心から離れるほど減少する。
【０１５１】
それゆえ、撮像素子２４の端部周辺の画素により生成される擬似黒色画素データを用いることにより、撮像素子２４への入射光量が大きくても受光量成分を実質的に含まないノイズデータを生成させることが可能になる。
【０１５２】
なお、第１〜第３の実施形態において、行方向ノイズデータおよび列方向ノイズデータを生成させ、撮像画素データから減じる構成であるが、いずれか一方のノイズデータのみ生成させ、減じる構成であってもよい。筋状のノイズが強く出る方向のノイズデータのみを撮像画素データから減じてもＦＰＮ成分を十分に除去可能である。
【０１５３】
また、第１〜第３の実施形態において、各行および各列のすべての擬似黒色画素データの中央値を含む所定の数の擬似黒色画素データを用いてノイズデータを生成する構成であるが、中央値を中心とした所定の範囲のデータレベルである擬似黒色画素データを用いてもよい。
【０１５４】
また、第１〜第３の実施形態において、各行、および各列の一部の擬似黒色画素データを用いて行方向ノイズデータおよび列方向ノイズデータを生成する構成であるが、例えば中央値などの単一の擬似黒色画素データを用いてもよいし、行毎、列毎のすべての擬似黒色画素データを用いて生成してもよい。ただし、単一でなく複数の擬似黒色データを用いることにより、ノイズデータの精度が向上する。また、一部の擬似黒色画素データが受光量成分を有する場合であっても、一部の擬似黒色画素データを用いることにより、受光量成分を有する擬似黒色画素データをノイズデータの生成から排除することが可能である。
【０１５５】
また、第１〜第３の実施形態において、行毎および列毎に行方向ノイズデータおよび列方向ノイズデータを生成して、撮像画素データから減じる構成であるが、画素毎にノイズデータを生成して、撮像画素データから減じる構成であってもよい。
【０１５６】
また、第１、第３の実施形態においては全画素の擬似黒色画素データを平均化して、第２の実施形態においては受光面を複数の小領域に分割して小領域毎に擬似黒色画素データを平均化して、受光量成分が十分に小さいか否かを判別する構成であるが、画素毎に行なってもよい。
【０１５７】
また、第１〜第３の実施形態において、２０フレームの擬似黒色画素データを平均化することによりノイズデータを生成する構成であるが、平均化するフレーム数は２０に限定されない。複数の擬似黒色画素データを平均化してもよいし、単一の擬似黒色画素データをノイズデータとしてもよい。ただし、ノイズデータを作成するための擬似黒色画素データが多くなるほど、ノイズデータの精度が向上する。
【０１５８】
また、第１〜第３の実施形態において、２０フレームの擬似黒色画素データを平均化することによりノイズデータを生成する構成であるが、ノイズデータの生成方法は平均化に限られない。複数の擬似黒色画素データを用いる他の方法によりノイズデータを生成してもよい。
【０１５９】
また、第２の実施形態において、２００ｎｓの露光時間での４０回の撮像、すなわち４０フレームの画像信号の生成後に２００ｎｓの露光時間での撮像を停止する構成であるが、撮像する回数は何回に設定されてもよいし、設定されずに２０フレームの擬似黒色画素データが格納されるまで撮像を停止しなくてもよい。ただし、前述のようにノイズデータ生成の高速化を図るために、所定の回数の撮像後、短い露光時間での撮像を停止することが好ましい。また、このような短時間露光の撮像を４０回で停止させる構成は、第１、第３の実施形態にも適用可能である。
【０１６０】
また、第１、第３の実施形態では電子内視鏡２０の起動直後、第２の実施形態では電子内視鏡による被写体の観察中に自動的に、ノイズデータの生成およびＤＲＡＭ２７への格納が実行される構成であるが、いずれの実施形態においても、電子内視鏡２０の起動直後、被写体の観察中自動的に、ノイズデータを生成開始してもよい。さらには、入力部４３へのノイズデータ生成のコマンド入力に基づいて、ノイズデータの生成を開始してもよい。
【０１６１】
また、第２の実施形態において、ノイズデータの生成に適した時期を判別して、ノイズデータの生成を開始する構成であるが、適した時期を判別することなくノイズデータの生成を開始してもよい。
【０１６２】
また、第２の実施形態において、ノイズデータの生成開始後、ＤＲＡＭ２７への格納が完了するまでの間に、直近のフレームの撮像画素データを有する画像データ、すなわち１／６０ｓを露光時間として生成させた画像データがＦＰＮ補正回路３４から繰返し出力される構成であるが、繰返し出力されなくてもよい。ただし、モニタ１１に画像が表示されなくなるので、直近の画像データが出力され続けることが好ましい。
【０１６３】
また、第１〜第３の実施形態において、複数の擬似黒色画素データのデータレベルの平均値が算出され、平均値が基準輝度範囲内であるか否かを判別する構成であるが、平均値で無く他のパラメータが算出され閾値と比較することによりノイズデータの生成に適した擬似黒色画素データであるか否かを判別してもよい。例えば、最大値、中央値、ＰＳＮＲ、ＭＳＥなどを算出してもよい。尚、ＰＳＮＲまたはＭＳＥを使用する場合には、例えば、複数の疑似黒色画素データのデータレベルの平均値を基準として、ＰＳＮＲまたはＭＳＥが算出される。
【０１６４】
また、第１〜第３の実施形態において、複数の擬似黒色画素データのデータレベルの標準偏差が算出され、基準標準偏差と比較される構成であるが、標準偏差と基準標準偏差を比較しなくてもよい。ただし、前述のように、標準偏差と基準標準偏差を比較することにより、ノイズデータの精度を向上させることが可能である。
【０１６５】
また、第１〜第３の実施形態において、ノイズデータ生成のために撮像素子２４に設定可能な最短の露光時間で撮像するように撮像素子２４を駆動する構成であるが、積算露光量が黒色であるときの値と見做せる露光時間に設定されてもよい。積算露光量は被写体そのものの輝度にも影響されるので、少なくとも通常撮影が可能な露光時間より短い露光時間で撮像されれば、ノイズデータの生成に用いることが可能となり得る。
【０１６６】
また、第１〜第３の実施形態において、固定パターンノイズ除去ユニットは電子内視鏡システムに適用される構成であるが、デジタルスチルカメラやデジタルビデオカメラなどの他の撮像装置に適用されてもよい。
【０１６７】
また、第１〜第３の実施形態において、撮像素子２４はＣＭＯＳ撮像素子であるが、各画素にアンプが設けられ、画素固有の固定パターンノイズが生じる他の種類の撮像素子に対しても適用可能である。
【符号の説明】
【０１６８】
１０  電子内視鏡システム
２０  電子内視鏡
２３  対物レンズ
２４  撮像素子
２５  Ａ／Ｄコンバータ
２７  ＤＲＡＭ
２８  タイミングコントローラ
３０、３００  画像処理部
３１、３１０  領域平均化回路
３２、３２０  判別回路
３３  ＦＰＮ作成回路
３４  ＦＰＮ補正回路
４０  内視鏡プロセッサ
４２  システムコントローラ
４３  入力部
【図１】
2010193042.tif 000003
【図２】
2010193042.tif 000004
【図３】
2010193042.tif 000005
【図４】
2010193042.tif 000006
【図５】
2010193042.tif 000007
【図６】
2010193042.tif 000008
【図７】
2010193042.tif 000009
【図８】
2010193042.tif 000010
【図９】
2010193042.tif 000011