(57)【要約】【課題】  補正処理時の環境に関係なく、適正にＦＰＮ補正する。【解決手段】インターライン型ＣＣＤなどのイメージセンサ１４を備えた内視鏡装置において、垂直転送レジスタ１４Ｂを駆動停止させながら水平転送レジスタ１４Ｃを駆動させ、読み出される所定数ライン分の補正用画素信号から１水平ラインに沿った画素平均値をＦＰＮ補正値として算出する。そして、閾値以上の画素平均値をもつ異常画素範囲ＵＡの画素に対し、その平均画素値を、それ以外の正常画素範囲ＰＡの画素平均値に置き換える。【選択図】図４
2017055155.tif 000002
【特許請求の範囲】
【請求項１】
画素配列に沿って垂直転送レジスタと水平転送レジスタとを有する電荷転送型撮像素子と、
前記撮像素子を駆動して画素信号を読み出す撮像素子駆動部と、
前記撮像素子駆動部を制御し、前記垂直転送レジスタの動作を停止させる一方で前記水平転送レジスタを動作させることによって補正用画素信号を前記撮像素子から出力させる制御部と、
補正用画素信号に基づき、水平ラインに沿って画素ごとに補正値を算出し、補正値に基づいてＦＰＮ（固定パターンノイズ）補正を実行する補正部とを備え、
前記補正部が、閾値以上の補正値を有する画素に対し、閾値より小さい補正値を有する画素の中でＦＰＮ周期特性に適合する画素の補正値への置き換えを行うことを特徴とする内視鏡装置。
【請求項２】
前記補正部が、閾値以上の補正値を有する高輝度画素の範囲に対し、高輝度画素の補正値を、それ以外の閾値未満画素範囲において対応する画素の補正値に置き換えることを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記補正部が、前記高輝度画素範囲の境界画素に関して、ＦＰＮ周期内での対応画素の順位を特定することを特徴とする請求項２に記載の内視鏡装置。
【請求項４】
前記補正部が、所定ライン数の補正用画素信号を読み出し、前記閾値未満画素範囲の画素の補正用画素信号の平均値を、補正値として算出することを特徴とする請求項２乃至３のいずれかに記載の内視鏡装置。
【請求項５】
画素配列に沿って垂直転送レジスタと水平転送レジスタとを有する電荷転送型撮像素子と、
前記撮像素子を駆動して画素信号を読み出す撮像素子駆動部と、
前記撮像素子駆動部を制御し、前記垂直転送レジスタの動作を停止させる一方で前記水平転送レジスタを動作させることによって補正用画素信号を前記撮像素子から出力させる制御部と、
補正用画素信号に基づき、水平ラインに沿って画素ごとに補正値を算出し、補正値に基づいてＦＰＮ（固定パターンノイズ）補正を実行する補正部とを備え、
前記補正部が、閾値以上の補正値を有する画素に対し、閾値より小さい補正値を有する画素の中でＦＰＮ周期特性に適合する画素の補正値への置き換えを行うことを特徴とする撮像装置。
【請求項６】
画素配列に沿って垂直転送レジスタと水平転送レジスタとを有する電荷転送型撮像素子を駆動して画素信号を読み出し、
前記撮像素子駆動部を制御し、前記垂直転送レジスタの動作を停止させる一方で前記水平転送レジスタを動作させることによって補正用画素信号を前記撮像素子から出力させ、
補正用画素信号に基づき、水平ラインに沿って画素ごとに補正値を算出し、補正値に基づいてＦＰＮ（固定パターンノイズ）補正を実行させ、
閾値以上の補正値を有する画素に対し、閾値より小さい補正値を有する画素の中でＦＰＮ周期特性に適合する画素の補正値への置き換えを行うことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、患部などの被写体を観察する内視鏡装置に関し、特に、固定パターンノイズ（以下、ＦＰＮとする）の補正処理に関する。
【背景技術】
【０００２】
電子内視鏡装置では、ビデオスコープ（内視鏡）の先端部に設けられたイメージセンサ（撮像素子）から読み出される画素信号に基づいてカラー画像を生成し、モニタなどに表示する。イメージセンサでは、配線構成、駆動信号等などに起因する基板固有のＦＰＮが生じる。そのため、イメージセンサの有効受光領域の周囲に遮光領域を設け、受光領域の画素値から遮光領域の画素値を減算し、ＦＰＮ補正する。
【０００３】
内視鏡装置においても、イメージセンサの画素数の向上、高解像度による適切な患部診断を目指すことなどから、ＦＰＮを確実に除去することが要求されている。しかしながら、イメージセンサに光が入射したとき、その光が遮光領域の一部に漏れこむことによってＦＰＮ補正を適正に行うことができない場合がある。部分的に光を遮光するためにビデオスコープ先端部にメカニカルシャッタを設けることは、先端部が細径であることから難しい。
【０００４】
そこで、ＣＣＤなどのイメージセンサに設けられた垂直転送レジスタの動作を停止させる一方で水平転送レジスタを動作させ、画素の蓄積電荷が含まれない画素信号をイメージセンサから読み出す。読み出された画素信号に基づいて算出された補正値によって、ＦＰＮ補正を行うことができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−９１５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＦＰＮ補正処理は、ビデオスコープを体内へ挿入した状況で行うのではなく、電源投入時など内視鏡作業前に行われる。この場合、室内照明などによって高輝度の光がイメージセンサに入射すると、垂直転送レジスタを停止させても、その一部のフォトダイオードから漏れた電荷が垂直転送レジスタを伝わって水平転送レジスタにまで入り込む。その結果、画素の蓄積電荷が含まれる画素信号に基づいて補正値が算出され、誤ったＦＰＮ補正が行われてしまう。
【０００７】
したがって、ＦＰＮ補正処理時の環境に影響されることなく、適正にＦＰＮ補正を行うことが求められる。
【課題を解決するための手段】
【０００８】
本発明の内視鏡装置は、画素配列に沿って垂直転送レジスタと水平転送レジスタとを有する電荷転送型撮像素子と、撮像素子を駆動して画素信号を読み出す撮像素子駆動部と、撮像素子駆動部を制御し、垂直転送レジスタの動作を停止させる一方で水平転送レジスタを動作させることによって補正用画素信号を撮像素子から出力させる制御部と、補正用画素信号に基づき、水平ラインに沿って画素ごとに補正値を算出し、補正値に基づいてＦＰＮ（固定パターンノイズ）補正を実行する補正部とを備え、補正部が、閾値以上の補正値を有する画素に対し、閾値より小さい補正値を有する画素の中でＦＰＮ周期特性に適合する画素の補正値への置き換えを行う。
【０００９】
補正部は、閾値以上の補正値を有する高輝度画素の範囲に対し、高輝度画素の補正値を、それ以外の閾値未満画素範囲において対応する画素の補正値に置き換えることができる。補正部は、高輝度画素範囲の境界画素に関して、ＦＰＮ周期内での対応画素の順位を特定することができる。また、補正部は、所定ライン数の補正用画素信号を読み出し、閾値未満画素範囲の画素の補正用画素信号の平均値を、補正値として算出することができる。
【００１０】
本発明の他の態様における撮像装置は、画素配列に沿って垂直転送レジスタと水平転送レジスタとを有する電荷転送型撮像素子と、前記撮像素子を駆動して画素信号を読み出す撮像素子駆動部と、前記撮像素子駆動部を制御し、前記垂直転送レジスタの動作を停止させる一方で前記水平転送レジスタを動作させることによって補正用画素信号を前記撮像素子から出力させる制御部と、補正用画素信号に基づき、水平ラインに沿って画素ごとに補正値を算出し、補正値に基づいてＦＰＮ（固定パターンノイズ）補正を実行する補正部とを備え、前記補正部が、閾値以上の補正値を有する画素に対し、閾値より小さい補正値を有する画素の中でＦＰＮ周期特性に適合する画素の補正値への置き換えを行う。
【００１１】
本発明の他の態様における撮像方法は、画素配列に沿って垂直転送レジスタと水平転送レジスタとを有する電荷転送型撮像素子を駆動して画素信号を読み出し、前記撮像素子駆動部を制御し、前記垂直転送レジスタの動作を停止させる一方で前記水平転送レジスタを動作させることによって補正用画素信号を前記撮像素子から出力させ、補正用画素信号に基づき、水平ラインに沿って画素ごとに補正値を算出し、補正値に基づいてＦＰＮ（固定パターンノイズ）補正を実行させ、閾値以上の補正値を有する画素に対し、閾値より小さい補正値を有する画素の中でＦＰＮ周期特性に適合する画素の補正値への置き換えを行う。
【発明の効果】
【００１２】
このように本発明によれば、補正処理時の環境に関係なく、適正にＦＰＮ補正することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態である電子内視鏡装置のブロック図である。
【図２】ＦＰＮ補正処理のフローを示した図である。
【図３】イメージセンサに対する駆動信号のタイミングチャートを示した図である。
【図４】撮影画像とそのとき得られる補正用画素信号の水平ラインに沿った平均出力レベルを示した図である。
【図５】補正用画素信号の平均出力レベルの周期的特性を示した図である。
【発明を実施するための形態】
【００１４】
以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。
【００１５】
図１は、本実施形態である電子内視鏡装置のブロック図である。
【００１６】
電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ１０と、プロセッサ３０とを備え、ビデオスコープ１０はプロセッサ３０に対して着脱自在に接続される。プロセッサ３０には、モニタ６０が接続されている。
【００１７】
プロセッサ３０内の光源３２から放射された光は、ビデオスコープ１０内に設けられたライトガイド１２に入射する。ライトガイド１２に入射した光は、配光レンズ（図示せず）を介してスコープ先端部１０Ｔから射出し、被写体（観察部位）に照射される。
【００１８】
被写体で反射した光は、スコープ先端部１０Ｔに配置された対物レンズ１１によって結像し、スコープ先端部１０Ｔに設けられたイメージセンサ１４の受光面に被写体像が形成される。イメージセンサ１４は、電荷転送型撮像素子によって構成されており、ここではインターライン型ＣＣＤが適用されている。イメージセンサ１４の受光面上には、Ｃｙ、Ｙｅ、Ｇ、Ｍｇ、あるいはＲ、Ｇ、Ｂなどのカラーエレメントから成る色フィルタアレイが配設されている。
【００１９】
イメージセンサ１４の受光面上には、複数の画素（フォトダイオード）１４Ａをマトリクス配列させており、各列の間に垂直転送レジスタ１４Ｂが並んで設けられている。また、水平転送レジスタ１４Ｃが、最後の行の垂直転送レジスタに隣接するように配置されている（以下では、画素、レジスタが１つもしくは複数いずれについても、垂直転送レジスタ、水平転送レジスタという）。
【００２０】
イメージセンサ１４では、駆動回路１３から送られてくる駆動信号に従い、１フィールドもしくは１フレーム（以下、１フィールド／フレームと表す）分の画像信号が、所定の時間間隔（例えばＮＴＳＣ方式の場合１／６０秒間隔、ＰＡＬ方式の場合１／５０秒間隔）で読み出される。読み出されたアナログ画素信号は、アナログ信号処理回路１５において増幅処理など施される。
【００２１】
プロセッサ３０のＡ／Ｄ変換回路３３においてデジタル化された画素信号は、出力コントローラ３４を経由して画像信号処理回路３５へ送られると、ガンマ処理、ホワイトバランス処理、色補間処理、色変換処理等など施される。これによってＲ，Ｇ，Ｂなどのデジタルカラー画像信号が生成される。生成された画像信号がモニタ６０に出力されることにより、観察画像がモニタ６０に表示される。
【００２２】
システムコントロール回路４０は、光源３２、タイミングコントローラ（図示せず）などへ制御信号を出力し、プロセッサ全体の動作を制御する。タイミングコントローラは、各回路へクロックパルス信号を出力し、信号入出力タイミング、画素信号読み出しタイミング等を調整する。
【００２３】
また、システムコントロール回路４０は、ＦＰＮ補正を行うため、駆動回路１３の水平ＣＣＤタイミングジェネレータ１６、垂直ＣＣＤタイミングジェネレータ１７の動作を制御し、画素の蓄積電荷が含まれない画素信号をイメージセンサ１４から出力させる。読み出される画素信号は、イメージセンサ１４に遮光部を設けた場合にその画素から読み出されるオプティカルブラック信号と同等の出力特性をもち、駆動信号などに起因する基板固有、すなわち接続されたビデオスコープ１０に設けられたイメージセンサ１４特有のＦＰＮが含まれている。
【００２４】
ＦＰＮ演算回路３６は、メモリなどの記憶部３７に記憶されたイメージセンサ１４のＦＰＮ特性データを用いて、補正用画素信号から補正値を算出する。出力コントローラ３４は、算出された補正値に基づいてＦＰＮ補正処理を実行する。
【００２５】
以下、図２〜５を用いて、ＦＰＮ補正処理について説明する。ＦＰＮ補正処理は、ここではプロセッサ３０の電源投入時に実行開始される。
【００２６】
図２は、ＦＰＮ補正処理のフローを示した図である。図３は、イメージセンサに対する駆動信号のタイミングチャートを示した図である。
【００２７】
システムコントロール回路４０は、駆動回路１３を制御し、垂直転送レジスタ１４Ｂの駆動を停止させる一方、水平転送レジスタ１４Ｃを動作させる（Ｓ１０１、Ｓ１０２）。図３に示すように、駆動回路１３は垂直ＣＣＤタイミングジェネレータ１７からの駆動信号出力を停止する一方、水平ＣＣＤタイミングジェネレータ１６を動作させる。
【００２８】
これによって、垂直転送レジスタ１４Ｂから電荷が転送されない状態で１水平ライン分の画素信号（以下、補正用画素信号という）が水平転送レジスタ１４Ｃから送られてくる。あらかじめ定められた所定ライン数分の補正用画素信号が読み出される（Ｓ１０３）と、読み出された補正用画素信号の平均画素値Ａを算出する（Ｓ１０４）。例えば、全ラインのうち上半分のラインの画素信号を読み出す。
【００２９】
図４は、撮影画像とそのとき得られる補正用画素信号の水平ラインに沿った平均出力レベルを示した図である。図５は、補正用画素信号の平均出力レベルの周期的特性を示した図である。
【００３０】
図４には、部分的に高輝度エリアＨＬが含まれる撮影画像ＩＭを示している。高輝度エリアＨＬは、室内照明光の入射などによって生じる。高輝度エリアＨＬ以外の画像エリアでは、高輝度の光は入射されていないため、ＦＰＮの周期特性が現れた補正用画素信号Ｐが検出される。
【００３１】
ここで示す補正用画素信号Ｐの平均出力レベルは、ステップＳ１０４で演算された各列（垂直方向ライン）の平均画素値を並べたものである。ＦＰＮに起因して周期的に現れる特性が水平ライン間で類似していることから、１ライン分に渡って求められた平均画素値を、各水平ライン共通のＦＰＮ補正値として用いることができる。
【００３２】
図５に示すように、補正用画素信号Ｐでは、１水平ラインの中で所定数の画素範囲の出力レベルＰＩが繰り返し現れる。しかしながら、高輝度エリアＨＬ内に位置する画素に対しては、非常に高輝度（光量大）の光が入射したことにより、出力レベルＰＩとは異なる高出力レベルＨＰをもつ補正用画素信号が検出される（図４参照）。これは、画素の蓄積電荷が漏れて水平転送レジスタ１４Ｃに移動したことに起因する。
【００３３】
そこで、補正用画素信号Ｐで表される１ライン分の画素値を、正常な周期的出力レベルＰＩが得られる画素範囲（以下、正常画素範囲という）ＰＡと、異常な高出力レベルＨＰが検出される画素範囲（以下、異常画素範囲という）ＵＡとに分別し、異常画素範囲ＵＡの平均画素値を、正常画素範囲ＰＡの平均画素値によって置き換える。
【００３４】
具体的には、１水平ラインに沿って求められた各平均画素値Ａが所定の閾値（Ｍ）以上であるか否かを判断する。そして、平均画素値が閾値（Ｍ）より小さい正常画素範囲ＰＡの画素に対し、周期特性に従って画素平均値を算出し、置換用の画素平均値とする（図２のＳ１０５、Ｓ１０６）。すなわち、周期的出力レベルＰＩに従って画素同士をマッチングさせ、マッチングする画素同士の平均値を周期的出力レベルＰＩの１周期内の画素に対して算出する。
【００３５】
一方、閾値（Ｍ）以上の平均画素値Ａをもつ異常画素範囲ＵＡに対し、その異常画素範囲の境界画素が、図５に示す１周期において何番目の画素に対応するか特定する（Ｓ１０５、Ｓ１０７）。すなわち、１周期分の出力レベルＰＩに含まれる画素の中で、最初に異常画素範囲ＵＡに分類される画素を特定する。記憶部３７には、図５に示す周期的出力レベルＰＩに関するデータがあらかじめ記憶されており、このデータに基づいて該当する画素順位を特定する。図４に示す異常画素範囲ＵＡが特定される場合、出力レベルＰＩの中で４番目の画素が該当する。
【００３６】
そして、異常画素範囲ＵＡの画素に対して求められた画素平均値を、正常画素範囲ＰＡに対して求められた置換用の画素平均値に置き換える（Ｓ１０８）。このとき、異常画素範囲ＵＡで最初に位置する画素にマッチングする画素の置換用画素平均値を割り当て、周的出力レベルＰＩに合わせて残りの画素平均値についても置換用画素平均値に置き換える。
【００３７】
これによって、異常画素範囲ＵＡの出力レベルＨＰは、正常画素範囲ＰＡと同じ出力レベルＨＰ’に変更されることとなり、図４に示す１水平ライン全体に渡って周期特性が現れる補正用画素信号ＰＩ’に基づくＦＰＮ補正値が得られる（Ｓ１０９）。
【００３８】
ＦＰＮ補正値が得られると、所定期間ＭＴに渡る垂直転送レジスタ１４Ｂの駆動停止の後、駆動回路１３が垂直転送レジスタ１４Ｂを駆動して、１フィールド／フレーム分の画素信号をイメージセンサ１４から読み出す。そして、画素１４Ａの蓄積電荷によって得られる１フレーム分の画素信号に対し、ＦＰＮ補正処理が実行される（Ｓ１１０）。
【００３９】
このように本実施形態によれば、インターライン型ＣＣＤなどのイメージセンサ１４を備えた内視鏡装置において、垂直転送レジスタ１４Ｂを駆動停止させながら水平転送レジスタ１４Ｃを駆動させ、読み出される所定数ライン分の補正用画素信号から１水平ラインに沿った画素平均値をＦＰＮ補正値として算出する。そして、閾値（Ｍ）以上の画素平均値をもつ異常画素範囲ＵＡの画素に対し、その平均画素値を、それ以外の正常画素範囲ＰＡの画素平均値に置き換える。
【００４０】
これにより、高輝度の光入射に起因する電荷漏れによって異常な出力レベルの画素信号が含まれたとしても、１水平ライン全体に渡って適正なＦＰＮ補正値を得ることができる。特に、あらかじめ記憶されたＦＰＮの周期特性に関するデータを参照しながら、異常画素範囲ＵＡに切り替わる最初の画素に対し、周期的出力レベルＰＩの１周期内での順番を特定することにより、置き換えられる画素平均値と、置換用の画素平均値のマッチングを適正に行うことができる。
【００４１】
なお、内視鏡装置以外の撮像素子を備えた撮像装置に適用することも可能である。
【符号の説明】
【００４２】
１０  ビデオスコープ
１３  駆動回路（撮像素子駆動部）
１４  イメージセンサ（電荷転送型撮像素子）
１４Ａ  画素
１４Ｂ  垂直転送レジスタ
１４Ｃ  水平転送レジスタ
３０  プロセッサ
３４  出力コントローラ（補正部）
３６  ＦＰＮ演算回路（補正部）
４０  システムコントロール回路（制御部）
ＵＡ  異常画素範囲（閾値以上画素範囲）
ＰＡ  正常画素範囲（閾値未満画素範囲）
【図１】
2017055155.tif 000003
【図２】
2017055155.tif 000004
【図３】
2017055155.tif 000005
【図５】
2017055155.tif 000006
【図４】
2017055155.tif 000007