(57)【特許請求の範囲】
【請求項１】
分光特性の異なる光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像したときに得られる、該被写体の画像に対する検出処理を行う画像検出装置であって、
現周期にて撮像された被写体の画像と、該現周期と同じ分光特性の光で照射された該被写体の過去の周期の画像との比較結果に基づいて、該被写体のずれベクトルを検出するずれベクトル検出手段
を備える、
画像検出装置。
【請求項２】
前記現周期にて撮像された被写体の画像の注目画素と、該現周期と同じ分光特性の光で照射された該被写体の過去の周期の画像の画素であって、該注目画素に対応する対応注目画素の周辺に位置する第一の周辺画素とを比較する第一の比較手段と、
前記現周期の画像の注目画素と、前記過去の周期の画像の前記対応注目画素の周辺に位置する画素であって、該対応注目画素に対して前記第一の周辺画素よりも離れて位置する第二の周辺画素とを比較する第二の比較手段と、
を備え、
前記ずれベクトル検出手段は、
前記第一の比較手段及び前記第二の比較手段による比較結果に基づいて前記ずれベクトルを検出する、
請求項１に記載の画像検出装置。
【請求項３】
前記第一の周辺画素は、
前記対応注目画素に隣接する画素であり、
前記第二の周辺画素は、
前記対応注目画素との間に前記第一の周辺画素を挟んで位置する画素である、
請求項１又は請求項２に記載の画像検出装置。
【請求項４】
前記現周期の画像の前記注目画素と前記過去の周期の画像の前記対応注目画素は、
同一アドレスの画素である、
請求項１から請求項３の何れか一項に記載の画像検出装置。
【請求項５】
前記過去の周期の画像は、
前記現周期と同じ分光特性の光を前回照射した時に撮像された画像である、
請求項１から請求項４の何れか一項に記載の画像検出装置。
【請求項６】
前記ずれベクトル検出手段は、
前記第一の比較手段による比較結果に基づいて前記ずれベクトルの候補を検出すると共に、前記第二の比較手段による比較結果に基づいて該ずれベクトルの候補を検出し、
前記候補の中で誤差が最も少ないものを前記被写体のずれベクトルとして検出する、
請求項１から請求項５の何れか一項に記載の画像検出装置。
【請求項７】
前記現周期の被写体撮像時に照射された第一の光と、該現周期より前の前周期の被写体撮像時に照射された第二の光との共通波長域において、該現周期と該前周期との画像の輝度レベルの差が所定の許容差内となるように、該前周期の画像の輝度レベルを補正する補正手段と、
前記補正手段による補正後の前記前周期の画像と前記現周期の画像とを比較する第三の比較手段と、
を備え、
前記ずれベクトル検出手段は、
前記第一、前記第二及び前記第三の比較手段による比較結果に基づいて前記ずれベクトルを検出する、
請求項２を引用する、請求項３から請求項６の何れか一項に記載の画像検出装置。
【請求項８】
前記ずれベクトル検出手段は、
前記第三の比較手段による比較結果に基づいて暫定的な前記ずれベクトルを検出し、
検出された暫定的な前記ずれベクトルと、前記候補の中で誤差が最も少ないずれベクトルとを所定の係数で重み付けして加算することにより、確定的な前記ずれベクトルを求める、
請求項６を引用する請求項７に記載の画像検出装置。
【請求項９】
前記現周期と同じ分光特性の光が照射された前記過去の周期は、
前記前周期よりも前の周期である、
請求項７又は請求項８の何れか一項に記載の画像検出装置。
【請求項１０】
異なる波長域の光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像したときに得られる、該被写体の画像に対する検出処理を行う画像検出装置であって、
前記現周期の被写体撮像時に照射された第一の光と、該現周期より前の前周期の被写体撮像時に照射された第二の光との共通波長域において、該現周期と該前周期の画像の輝度レベルの差が所定の許容差内となるように、該前周期の画像の輝度レベルを補正する補正手段と、
前記補正手段による補正後の前記前周期の画像と前記現周期の画像とを比較する比較手段と、
前記比較手段による比較結果に基づいて前記被写体のずれベクトルを検出するずれベクトル検出手段と、
を備える、
画像検出装置。
【請求項１１】
前記共通波長域に高い感度を持つ規定の被写体を前記第一の光で照射した時の撮影画像と、該被写体を前記第二の光で照射した時の撮影画像との輝度レベルの差に基づいて予め算出された補正値を記憶する記憶手段
を備え、
前記補正手段は、
前記記憶手段に記憶された補正値を用いて前記前周期の画像の輝度レベルを補正する、
請求項７から請求項１０の何れか一項に記載の画像検出装置。
【請求項１２】
前記前周期は、
前記現周期の１つ前の周期である、
請求項７から請求項１１の何れか一項に記載の画像検出装置。
【請求項１３】
分光特性の異なる光を循環的に射出する光源装置と、
前記分光特性の異なる光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像する撮像装置と、
前記撮像装置により撮像された被写体の画像に対する検出処理を行う、請求項１から請求項６の何れか一項に記載の画像検出装置と、
を備える、
画像検出システム。
【請求項１４】
分光特性の異なる光を循環的に射出する光源装置と、
前記分光特性の異なる光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像する撮像装置と、
前記撮像装置により撮像された被写体の画像に対する検出処理を行う、請求項７から請求項１２の何れか一項に記載の画像検出装置と、
を備え、
前記光源装置により時間軸上で隣接する周期に射出される光は、
互いに共通する、前記共通波長域を含む分光特性を持つ、
画像検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対する所定の検出処理を行う画像検出装置及び画像検出システムに関する。
【背景技術】
【０００２】
分光特性の異なる光で照射される被写体を照射の周期と同期したタイミングで撮像し、撮像によって得られる複数の分光画像データに基づいて所定の画像処理を行うシステムが知られている。例えば特許文献１に、この種のシステムの具体的構成が記載されている。
【０００３】
特許文献１に記載のシステムでは、光源より射出される白色光が分光フィルタによって４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光に順次フィルタリングされる。体腔内の生体組織等の被写体は、分光フィルタでフィルタリングされた狭帯域光によって順次照射されると、電子スコープにより、照射の周期と同期したタイミングで順次撮像される。次いで、各狭帯域光の照射時に被写体を撮像することによって得られた分光画像データを用いて所定の画像処理が行われる。例えば、中心波長が４３５ｎｍ、５４５ｎｍ、７００ｎｍとなる３つの分光画像データを用いて通常のＲＧＢ画像と同程度のカラー画像が生成されたり、中心波長が５４０ｎｍ、５６０ｎｍ、５８０ｎｍとなる３つの分光画像データを用いて酸素化ヘモグロビンの濃度指数が演算されたりする。演算された酸素化ヘモグロビンの濃度指数は、例えば、酸素化ヘモグロビン濃度に応じたカラーマップ画像の生成に用いられる。
【０００４】
特許文献１において、各狭帯域光に対応する分光画像は、時間軸上で分離されたタイミングで被写体を撮像したものである。ここで、各分光画像を撮像しているときに体腔内で電子スコープを固定する手段がない。そのため、各分光画像の撮像中、術者が電子スコープを静止させようと努めても、体腔内の被写体と電子スコープとの相対位置（言い換えると、撮影画像内における被写体の位置）がずれてしまう。従って、分光画像間で被写体の位置ずれが発生する。例えば、４３５ｎｍ、５４５ｎｍ、７００ｎｍの分光画像間で被写体の位置がずれているため、これらの分光画像データを合成することによって生成されるカラー画像には色ずれが生じる。また、５４０ｎｍ、５６０ｎｍ、５８０ｎｍの分光画像間で被写体の位置がずれているため、各分光画像の対応画素（同一アドレスの画素）が被写体の同一部分を写したものとなっていない。そのため、酸素化ヘモグロビンの濃度指数の演算結果に誤差が生じる。
【０００５】
特許文献２に、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各画像を面順次方式で撮像してＲＧＢのカラー画像を生成するシステムが記載されている。特許文献２に記載のシステムは、体腔内の被写体の位置ずれに起因する色ずれの発生を抑えるべく、Ｒ、Ｇ、Ｂの画像間の相互相関値を計算し、その値が最大となるときの画像間の相対的な位置関係を示すずれベクトルを検出し、検出されたずれベクトルに基づいて該画像間の相対位置を補正する構成となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２０１３／４７０５４号パンフレット
【特許文献２】特開２００１−１３６５４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２に記載の構成を特許文献１に記載のシステムに適用することにより、体腔内の被写体の位置ずれに起因する色ずれの発生や、酸素化ヘモグロビンの濃度指数の演算誤差が抑えられるものと思われる。しかし、被写体は、Ｒ、Ｇ、Ｂの波長域毎に反射特性（感度）が異なる。そのため、Ｒ、Ｇ、Ｂの画像間でそもそも、撮像画像内に含まれる被写体の情報が異なっている。従って、特許文献２に例示される、画像間の相互相関値に基づく方法では、ずれベクトルを精度良く検出することが難しい。
【０００８】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、分光特性の異なる光で照射された被写体の画像間のずれベクトルを精度良く検出することが可能な画像検出装置及び画像検出システムを提供することである。
【課題を解決するための手段】
【０００９】
本発明の一実施形態に係る画像検出装置は、分光特性の異なる光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像したときに得られる、該被写体の画像に対する検出処理を行う装置であり、現周期にて撮像された被写体の画像と、該現周期と同じ分光特性の光で照射された該被写体の過去の周期の画像との比較結果に基づいて、該被写体のずれベクトルを検出するずれベクトル検出手段を備える。
【００１０】
本発明の一実施形態によれば、照射光の分光特性が同一の画像同士でずれベクトルが検出されるため、被写体に照射される光の分光特性の違いによるずれベクトルの検出誤差が抑えられる。
【００１１】
また、本発明の一実施形態に係る画像検出装置は、現周期にて撮像された被写体の画像の注目画素と、該現周期と同じ分光特性の光で照射された該被写体の過去の周期の画像の画素であって、該注目画素に対応する対応注目画素の周辺に位置する第一の周辺画素とを比較する第一の比較手段と、現周期の画像の注目画素と、過去の周期の画像の対応注目画素の周辺に位置する画素であって、該対応注目画素に対して第一の周辺画素よりも離れて位置する第二の周辺画素とを比較する第二の比較手段とを備える構成としてもよい。この構成において、ずれベクトル検出手段は、第一の比較手段及び第二の比較手段による比較結果に基づいてずれベクトルを検出する。
【００１２】
また、本発明の一実施形態において、第一の周辺画素は、例えば、対応注目画素に隣接する画素である。また、第二の周辺画素は、例えば、対応注目画素との間に第一の周辺画素を挟んで位置する画素である。
【００１３】
また、本発明の一実施形態において、現周期の画像の注目画素と過去の周期の画像の対応注目画素は、例えば、同一アドレスの画素である。
【００１４】
また、本発明の一実施形態において、過去の周期の画像は、例えば、現周期と同じ分光特性の光を前回照射した時に撮像された画像である。
【００１５】
また、本発明の一実施形態において、ずれベクトル検出手段は、第一の比較手段による比較結果に基づいてずれベクトルの候補を検出すると共に、第二の比較手段による比較結果に基づいて該ずれベクトルの候補を検出し、候補の中で誤差が最も少ないものを被写体のずれベクトルとして検出する構成としてもよい。
【００１６】
また、本発明の一実施形態に係る画像検出装置は、現周期の被写体撮像時に照射された第一の光と、該現周期より前の前周期の被写体撮像時に照射された第二の光との共通波長域において、該現周期と該前周期との画像の輝度レベルの差が所定の許容差内となるように、該前周期の画像の輝度レベルを補正する補正手段と、補正手段による補正後の前周期の画像と現周期の画像とを比較する第三の比較手段とを備える構成としてもよい。この構成において、ずれベクトル検出手段は、第一、第二及び第三の比較手段による比較結果に基づいてずれベクトルを検出する。
【００１７】
また、本発明の一実施形態において、ずれベクトル検出手段は、第三の比較手段による比較結果に基づいて暫定的なずれベクトルを検出し、検出された暫定的なずれベクトルと、候補の中で誤差が最も少ないずれベクトルとを所定の係数で重み付けして加算することにより、確定的なずれベクトルを求める構成としてもよい。
【００１８】
また、本発明の一実施形態において、現周期と同じ分光特性の光が照射された過去の周期は、例えば、前周期よりも前の周期である。
【００１９】
また、本発明の一実施形態に係る画像検出装置は、異なる波長域の光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像したときに得られる、該被写体の画像に対する検出処理を行う装置であり、現周期の被写体撮像時に照射された第一の光と、該現周期より前の前周期の被写体撮像時に照射された第二の光との共通波長域において、該現周期と該前周期の画像の輝度レベルの差が所定の許容差内となるように、該前周期の画像の輝度レベルを補正する補正手段と、補正手段による補正後の前周期の画像と現周期の画像とを比較する比較手段と、比較手段による比較結果に基づいて被写体のずれベクトルを検出するずれベクトル検出手段とを備える。
【００２０】
また、本発明の一実施形態に係る画像検出装置は、共通波長域に高い感度を持つ規定の被写体を第一の光で照射した時の撮影画像と、該被写体を第二の光で照射した時の撮影画像との輝度レベルの差に基づいて予め算出された補正値を記憶する記憶手段を備える構成としてもよい。この構成において、補正手段は、記憶手段に記憶された補正値を用いて前周期の画像の輝度レベルを補正する。
【００２１】
また、本発明の一実施形態において、前周期は、例えば、現周期の１つ前の周期である。
【００２２】
また、本発明の一実施形態に係る画像検出システムは、分光特性の異なる光を循環的に射出する光源装置と、分光特性の異なる光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像する撮像装置と、撮像装置により撮像された被写体の画像に対する検出処理を行う上記の画像検出装置とを備える。
【００２３】
また、本発明の一実施形態に係る画像検出システムは、分光特性の異なる光を循環的に射出する光源装置と、分光特性の異なる光で循環的に照射される被写体を該照射の周期と同期したタイミングで撮像する撮像装置と、撮像装置により撮像された被写体の画像に対する検出処理を行う上記の画像検出装置とを備える。光源装置により時間軸上で隣接する周期に射出される光は、互いに共通する、共通波長域を含む分光特性を持つ。
【発明の効果】
【００２４】
本発明の一実施形態によれば、分光特性の異なる光で照射された被写体の画像間のずれベクトルを精度良く検出することが可能な画像検出装置及び画像検出システムが提供される。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。
【図２】本発明の一実施形態に係る回転フィルタ部を集光レンズ側から見た正面図である。
【図３】本発明の一実施形態に係る回転式ターレットに備えられる特殊光用フィルタの分光特性例を示す図である。
【図４】本発明の一実施形態に係る画像検出回路による画像検出処理のフローチャートを示す図である。
【図５】図４の処理ステップＳ１５にて実行される暫定ずれベクトル検出処理のフローチャートを示す図である。
【図６】図５の暫定ずれベクトル検出処理の説明を補助する図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
【００２７】
［電子内視鏡システム１の構成］
図１は、本発明の一実施形態に係る電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。
【００２８】
プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を備えている。システムコントローラ２０２は、メモリ２１２に記憶された各種プログラムを実行し、電子内視鏡システム１全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２１４に接続されている。システムコントローラ２０２は、操作パネル２１４より入力される術者からの指示に応じて、電子内視鏡システム１の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム１の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モードと特殊モードがある。タイミングコントローラ２０４は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各回路に出力する。
【００２９】
ランプ２０８は、ランプ電源イグナイタ２０６による始動後、照射光Ｌを射出する。ランプ２０８は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプやＬＥＤ（Light Emitting Diode）である。照射光Ｌは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光（又は少なくとも可視光領域を含む白色光）である。
【００３０】
図２は、回転フィルタ部２６０を集光レンズ２１０側から見た正面図である。回転フィルタ部２６０は、回転式ターレット２６１、ＤＣモータ２６２、ドライバ２６３及びフォトインタラプタ２６４を備えている。
【００３１】
回転式ターレット２６１は、図示省略された周知の機構により照射光Ｌの光路に配置及び退避可能に構成されている。より詳細には、回転式ターレット２６１は、電子内視鏡システム１の動作モードが通常モードに設定されているときには照射光Ｌの光路より退避され、電子内視鏡システム１の動作モードが特殊モードに設定されているときには照射光Ｌの光路に配置される。従って、ランプ２０８より射出された照射光Ｌは、通常モード時には、回転式ターレット２６１を介することなく集光レンズ２１０に入射され、特殊モード時には、回転式ターレット２６１を介して集光レンズ２１０に入射される。
【００３２】
図２に示されるように、回転式ターレット２６１には、特殊光用フィルタＦ１、Ｆ２、Ｆ３が円周方向に順に並べて配置されている。各特殊光用フィルタは扇形状を有しており、フレーム周期に応じた角度ピッチ（ここでは約１２０°の角度ピッチ）で配置されている。各特殊光用フィルタは、何れも誘電体多層膜フィルタであるが、他の方式の光学フィルタ（例えば、誘電体多層膜を反射膜として用いたエタロンフィルタ等）であってもよい。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、１／３０秒、１／６０秒である。
【００３３】
特殊光用フィルタＦ１〜Ｆ３は、ランプ２０８より入射される照射光Ｌを特定の分光特性を持つ光にフィルタリングする光バンドパスフィルタである。図３（ａ）〜図３（ｄ）に、特殊光用フィルタＦ１〜Ｆ３の分光特性を例示する。図３（ａ）〜図３（ｄ）の各図中、縦軸は透過率（単位：％）を示し、横軸は波長（単位：ｎｍ）を示す。図３（ａ）に示されるように、特殊光用フィルタＦ１〜Ｆ３は、それぞれ異なる分光特性を持つ。また、図３（ｂ）に示されるように、特殊光用フィルタＦ１とＦ３は、一部の透過波長域（図３（ｂ）中、斜線部の波長域）が共通している。また、図３（ｃ）に示されるように、特殊光用フィルタＦ１とＦ２は、一部の透過波長域（図３（ｃ）中、斜線部の波長域）が共通している。また、図３（ｄ）に示されるように、特殊光用フィルタＦ２とＦ３は、一部の透過波長域（図３（ｄ）中、斜線部の波長域）が共通している。
【００３４】
以下、説明の便宜上、特殊光用フィルタＦ１とＦ３とで共通する透過波長域を「共通波長域ＣＷＢ３−１」と記し、特殊光用フィルタＦ１とＦ２とで共通する透過波長域を「共通波長域ＣＷＢ１−２」と記し、特殊光用フィルタＦ１とＦ２とで共通する透過波長域を「共通波長域ＣＷＢ２−３」と記す。また、特殊光用フィルタＦ１によってフィルタリングされた照射光Ｌを「特殊光Ｌ１」と記し、特殊光用フィルタＦ２によってフィルタリングされた照射光Ｌを「特殊光Ｌ２」と記し、特殊光用フィルタＦ３によってフィルタリングされた照射光Ｌを「特殊光Ｌ３」と記す。また、通常モード時に回転式ターレット２６１を介することなく集光レンズ２１０に入射される照射光Ｌを「通常光Ｌｎ」と記す。
【００３５】
ドライバ２６３は、システムコントローラ２０２による制御下でＤＣモータ２６２を駆動する。ＤＣモータ２６２は、ドライバ２６３より駆動電流が供給されると、回転式ターレット２６１をモータ軸２６２ａ中心に一定速度で回転させる。回転式ターレット２６１が一定速度で回転することにより、特殊光用フィルタＦ１、Ｆ２、Ｆ３の各光学フィルタが撮像周期（フレーム周期）と同期したタイミングで照射光Ｌの光路に順次挿入される。これにより、ランプ２０８より入射された照射光Ｌから、分光特性の異なる特殊光Ｌ１〜Ｌ３がフレーム周期と同期したタイミングで順次取り出される。附言するに、回転式ターレット２６１の回転が繰り返されることにより、ランプ２０８より入射された照射光Ｌから、特殊光Ｌ１〜Ｌ３が循環的に取り出される。なお、回転式ターレット２６１の回転位置や回転の位相は、回転式ターレット２６１の外周付近に形成された開口（不図示）をフォトインタラプタ２６４によって検出することにより制御される。
【００３６】
集光レンズ２１０に入射された照射光（通常光Ｌｎ、特殊光Ｌ１、Ｌ２又はＬ３）は、集光レンズ２１０によって集光されながら羽根絞り（不図示）を介して適正な光量に制限されて、ＬＣＢ（Light Carrying Bundle）１０２の入射端面に集光されてＬＣＢ１０２内に入射される。
【００３７】
ＬＣＢ１０２内に入射された照射光（通常光Ｌｎ、特殊光Ｌ１、Ｌ２又はＬ３）は、ＬＣＢ１０２内を伝播して電子スコープ１００の先端に配置されたＬＣＢ１０２の射出端面より射出され、配光レンズ１０４を介して被写体（例えば体腔内の生体組織）に照射される。より詳細には、通常モード時には、通常光Ｌｎが被写体に照射される。特殊モード時には、特殊光Ｌ１〜Ｌ３の各特殊光が被写体に循環的に照射される。照射光により照射された被写体からの戻り光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
【００３８】
固体撮像素子１０８は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１０８は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。以下、固体撮像素子１０８より順次出力される各画素（各画素アドレス）の画像信号を「画素信号」と記す。なお、固体撮像素子１０８は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１０８はまた、補色系フィルタを搭載したものであってもよい。
【００３９】
回転フィルタ部２６０による各照射光（特殊光Ｌ１、Ｌ２又はＬ３）の切り換えのタイミングは、固体撮像素子１０８における撮像期間（フレーム期間）の切り換えのタイミングと同期している。従って、特殊モード時において、固体撮像素子１０８は、１フレーム期間中、特殊光Ｌ１にて照射された被写体からの戻り光を受光して特殊観察用画像信号Ｓ１を生成して出力し、続く１フレーム期間中、特殊光Ｌ２にて照射された被写体からの戻り光を受光して特殊観察用画像信号Ｓ２を生成して出力し、続く１フレーム期間中、特殊光Ｌ３にて照射された被写体からの戻り光を受光して特殊観察用画像信号Ｓ３を生成して出力する。すなわち、固体撮像素子１０８により、特殊観察用画像信号Ｓ１、Ｓ２、Ｓ３が順次生成されて出力される。なお、固体撮像素子１０８は、通常モード時には、各フレーム期間中、通常光Ｌｎにて照射された被写体からの戻り光を受光して通常観察用画像信号Ｓｎを生成して出力する。
【００４０】
電子スコープ１００の接続部内には、ドライバ信号処理回路１１０が備えられている。通常モード時、ドライバ信号処理回路１１０には、通常光Ｌｎにて照射された被写体の通常観察用画像信号Ｓｎが固体撮像素子１０８よりフレーム周期で入力される。また、特殊モード時、ドライバ信号処理回路１１０には、各特殊光Ｌ１〜Ｌ３にて照射された被写体の特殊観察用画像信号Ｓ１〜Ｓ３が固体撮像素子１０８よりフレーム周期で順次入力される。ドライバ信号処理回路１１０は、固体撮像素子１０８より入力される画像信号をプロセッサ２００の前段信号処理回路２２０に出力する。
【００４１】
ドライバ信号処理回路１１０はまた、メモリ１１２にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１２に記録される電子スコープ１００の固有情報には、例えば、固体撮像素子１０８の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路１１０は、メモリ１１２より読み出された固有情報をシステムコントローラ２０２に出力する。
【００４２】
システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成された制御信号を用いて、プロセッサ２００に接続されている電子スコープに適した処理がなされるようにプロセッサ２００内の各種回路の動作やタイミングを制御する。
【００４３】
タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１０にクロックパルスを供給する。ドライバ信号処理回路１１０は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８をプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
【００４４】
［通常モード時の動作］
通常モード時のプロセッサ２００での信号処理動作を説明する。
【００４５】
前段信号処理回路２２０は、ドライバ信号処理回路１１０よりフレーム周期で入力される通常観察用画像信号Ｓｎの各画素信号に対してデモザイキング、マトリックス演算、ホワイトバランス調整、ガンマ補正等の所定の信号処理を施して、画面表示に適した画素データを生成する。生成された画素データは、フレームメモリ２３０を介して後段信号処理回路２４０に入力される。
【００４６】
後段信号処理回路２４０は、フレームメモリ２３０より入力される画素データに所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、被写体の通常のカラー画像がモニタ３００の表示画面に表示される。
【００４７】
［特殊モード時の動作］
次に、特殊モード時のプロセッサ２００での信号処理動作を説明する。
【００４８】
前段信号処理回路２２０は、ドライバ信号処理回路１１０よりフレーム周期で順次入力される特殊観察用画像信号Ｓ１〜Ｓ３の各画素信号に対してデモザイキング、マトリックス演算、ホワイトバランス調整、ガンマ補正等の所定の信号処理を施してフレームメモリ２３０に出力する。フレームメモリ２３０には、直近４フレーム（現在のフレーム、現在のフレームよりも１フレーム前、２フレーム前、３フレーム前のフレーム）の特殊観察用画像信号が逐次書き込まれて保持される。以下、説明の便宜上、現在のフレームを「現フレーム」と略記し、現フレームよりも１フレーム前、２フレーム前、３フレーム前のフレームをそれぞれ、「１つ前のフレーム」、「２つ前のフレーム」、「３つ前のフレーム」と略記する。
【００４９】
［画像検出処理］
図４は、プロセッサ２００に備えられる画像検出回路２５０による画像検出処理のフローチャートを示す。図４の画像検出処理は、電子内視鏡システム１の動作モードが特殊モードに切り替えられると開始される。
【００５０】
［図４のＳ１１（各フレームの特殊観察用画像信号を取得）］
本処理ステップＳ１１では、フレームメモリ２３０に保持された、１つ前のフレーム、３つ前のフレームの特殊観察用画像信号が取得される。
【００５１】
［図４のＳ１２（１つ前のフレームの特殊観察用画像信号の補正）］
メモリ２１２には、第１〜第３の補正値が予め記憶されている。第１の補正値は、共通波長域ＣＷＢ３−１に高い感度を持つ規定の被写体を撮像したときの特殊観察用画像信号Ｓ１と特殊観察用画像信号Ｓ３との輝度レベルの差が所定の許容差内となるように、該輝度レベルの差に基づいて予め算出された値である。第２の補正値は、共通波長域ＣＷＢ１−２に高い感度を持つ規定の被写体を撮像したときの特殊観察用画像信号Ｓ１と特殊観察用画像信号Ｓ２との輝度レベルの差が所定の許容差内となるように、該輝度レベルの差に基づいて予め算出された値である。第３の補正値は、共通波長域ＣＷＢ２−３に高い感度を持つ規定の被写体を撮像したときの特殊観察用画像信号Ｓ２と特殊観察用画像信号Ｓ３との輝度レベルの差が所定の許容差内となるように、該輝度レベルの差に基づいて予め算出された値である。
【００５２】
本処理ステップＳ１２では、第１〜第３の補正値の中から対応する補正値がメモリ２１２より読み出されて、１つ前のフレームの特殊観察用画像信号の輝度レベルが補正される。具体的には、現フレームが特殊光Ｌ１にて照射された被写体の撮像フレームである場合、第１の補正値がメモリ２１２より読み出されて、１つ前のフレームの特殊観察用画像信号Ｓ３の輝度レベルが補正される。また、現フレームが特殊光Ｌ２にて照射された被写体の撮像フレームである場合、第２の補正値がメモリ２１２より読み出されて、１つ前のフレームの特殊観察用画像信号Ｓ１の輝度レベルが補正される。また、現フレームが特殊光Ｌ３にて照射された被写体の撮像フレームである場合、第３の補正値がメモリ２１２より読み出されて、１つ前のフレームの特殊観察用画像信号Ｓ２の輝度レベルが補正される。
【００５３】
すなわち、本処理ステップＳ１２では、現フレームと１つ前のフレームとの共通波長域での輝度レベルの差に応じた補正値を用いて補正処理が行われることにより、撮影条件（ここでは照射光の分光特性）の違いによる、現フレームと１つ前のフレームとの輝度レベルの差（言い換えると、被写体情報の差）が軽減される。
【００５４】
［図４のＳ１３（注目画素の選択）］
本処理ステップＳ１３では、前段信号処理回路２２０より入力される現フレームの全ての画素の中から所定の順序に従い、一つの注目画素が選択される。また、１つ前、３つ前の各フレームの特殊観察用画像信号の全ての画素の中から該注目画素に対応する対応注目画素が選択される。注目画素と対応注目画素は、例えば同一アドレスの画素である。
【００５５】
［図４のＳ１４（第１の暫定ずれベクトルの検出）］
本処理ステップＳ１４では、処理ステップＳ１２（１つ前のフレームの特殊観察用画像信号の補正）にて補正された１つ前のフレームの特殊観察用画像信号の対応注目画素データと、現フレームの特殊観察用画像信号の注目画素データとが比較され、注目画素について暫定的なずれベクトル（第１の暫定ずれベクトル）が検出される。
【００５６】
本実施形態において、ずれベクトルとは、撮影画像内における被写体の単位時間当たりの動き（方向、量）を示すパラメータである。ずれベクトルは、リアルタイムな検出を実現するため、処理負荷の軽い勾配法（オプティカルフロー）を用いて推定される。勾配法では、水平（ｘ）方向の隣接画素との画素値の勾配をＩｘと定義し、垂直（ｙ）方向の隣接画素との画素値の勾配をＩｙと定義し、時間軸方向の画素値の勾配をＩｔと定義し、ずれベクトルを（ｕ，ｖ）と定義した場合に、ずれベクトルは、次式により計算される。
Ｉｘ・ｕ＋Ｉｙ・ｖ＋Ｉｔ＝０
【００５７】
なお、ずれベクトルは、勾配法に代えて、ブロックマッチング法や撮影画像の周波数解析に基づく推定処理など、他の周知の推定技術を用いて推定されてもよい。
【００５８】
［図４のＳ１５（第２の暫定ずれベクトルの検出）］
本処理ステップＳ１５では、被写体に照射された特殊光の分光特性が同じ２つのフレーム間、具体的には、現フレームと３つ前のフレームの特殊観察用画像信号の画素データ同士が比較されて、暫定的なずれベクトル（第２の暫定ずれベクトル）が検出される。一例として、現フレームが特殊光Ｌ１にて照射された被写体の撮像フレームである場合、３つ前のフレームも特殊光Ｌ１にて照射された被写体の撮像フレームである。この場合、現フレームと３つ前のフレームの特殊観察用画像信号Ｓ１の画素データ同士が比較されて、第２の暫定ずれベクトルが検出される。
【００５９】
すなわち、本処理ステップＳ１５では、撮影条件（ここでは照射光の分光特性）が同一のフレームの画素データ同士が比較されるため、撮影条件の違い（言い換えると、被写体情報の差）による誤差が排除された状態で、第２の暫定ずれベクトルが検出される。
【００６０】
図５は、本処理ステップＳ１５にて実行される暫定ずれベクトル検出処理のフローチャートを示す。また、図６に、図５の暫定ずれベクトル検出処理の説明を補助する図を示す。
【００６１】
・図５のＳ１５ａ
本処理ステップＳ１５ａでは、現フレームの注目画素データと、３つ前のフレームの対応注目画素に水平・垂直（ｘ，ｙ）方向で隣接する第一の周辺画素（図６中、符号１が付された画素）の画素データとを用いて、勾配法により、第２の暫定ずれベクトルの候補（以下、説明の便宜上「第１の候補」と記す。）が検出される。
【００６２】
・図５のＳ１５ｂ
本処理ステップＳ１５ｂでは、現フレームの注目画素データと、３つ前のフレームの対応注目画素に水平・垂直（ｘ，ｙ）方向において第一の周辺画素を挟んで位置する第二の周辺画素（図６中、符号２が付された画素）の画素データとを用いて、勾配法により、第２の暫定ずれベクトルの候補（以下、説明の便宜上「第２の候補」と記す。）が検出される。
【００６３】
・図５のＳ１５ｃ
本処理ステップＳ１５ｃでは、現フレームの注目画素データと、３つ前のフレームの対応注目画素に水平・垂直（ｘ，ｙ）方向において第一及び第二の周辺画素を挟んで位置する第三の周辺画素（図６中、符号３が付された画素）の画素データとを用いて、勾配法により、第２の暫定ずれベクトルの候補（以下、説明の便宜上「第３の候補」と記す。）が検出される。
【００６４】
・図５のＳ１５ｄ
勾配法では、画像輝度の時間・空間微分が計算されるため、時間及び空間のサンプリング周波数が細かいほど、ずれベクトルを精度良く検出することが可能である。言い換えると、ずれベクトルを精度良く検出するためには、時間・空間の双方のサンプリング周波数を細かくする必要がある。
【００６５】
時間と空間の少なくとも一方のサンプリング周波数が粗い場合には、検出されるずれベクトルに大きな誤差が含まれる虞がある。例えば、空間のサンプリング周波数が細かく、時間のサンプリング周波数が粗い場合を考える。この場合、被写体の動き量が小さければ、ずれベクトルの検出誤差が小さいが、被写体の動き量が大きければ、ずれベクトルの検出誤差が大きくなる。この種の検出誤差を抑えるためには、被写体の動き量に合わせて空間のサンプリング周波数を大きく（粗く）設定すればよいものと考えられる。
【００６６】
そこで、時間のサンプリング周波数が粗い（ずれベクトルの検出が２フレーム期間空いたフレーム（現フレームと３つ前のフレーム）で行われる）場合において、処理ステップＳ１５ａでは、空間のサンプリング周波数が細かく（１画素ピッチ相当に）設定され、処理ステップＳ１５ｂでは、空間のサンプリング周波数が中程度に（２画素ピッチ相当に）設定され、処理ステップＳ１５ｃでは、空間のサンプリング周波数が粗く（３画素ピッチ相当に）設定されている。すなわち、被写体の動き量が小さい場合、中程度の場合、大きい場合のそれぞれを想定して、第２の暫定ずれベクトルが検出されている。
【００６７】
本処理ステップＳ１５ｄでは、第１〜第３の候補の中から誤差（勾配法によるずれベクトルの検出誤差）の最も少ない候補が、第２の暫定ずれベクトルとして検出される。
【００６８】
［図４のＳ１６（ずれベクトルの確定）］
本処理ステップＳ１６では、処理ステップＳ１４（第１の暫定ずれベクトルの検出）にて検出された第１の暫定ずれベクトルと、処理ステップＳ１５（第２の暫定ずれベクトルの検出）にて検出された第２の暫定ずれベクトルとが所定の係数で重み付けされて加算されることにより、注目画素についてずれベクトルの値が確定される。この係数は、ユーザ操作により任意に設定することができる。
【００６９】
［図４のＳ１７（全画素に対する処理の実行完了判定）］
本処理ステップＳ１７では、現フレームの全ての画素に対して処理ステップＳ１３〜１６が実行されたか否かが判定される。
【００７０】
処理ステップＳ１３〜Ｓ１６が未実行の画素が残っている場合（Ｓ１７：ＮＯ）、図４の画像検出処理は、次の注目画素に対して処理ステップＳ１３〜Ｓ１６を実行するため、処理ステップＳ１３（注目画素の選択）に戻る。
【００７１】
［図４のＳ１８（終了判定）］
本処理ステップＳ１８は、処理ステップＳ１７（全画素に対する処理の実行完了判定）にて現フレームの全ての画素に対して処理ステップＳ１３〜１６が実行されたと判定された場合（Ｓ１７：ＹＥＳ）に実行される。本処理ステップＳ１８では、電子内視鏡システム１の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合（Ｓ１８：ＮＯ）、図４の画像検出処理は、処理ステップＳ１１（各フレームの特殊観察用画像信号を取得）に戻る。一方、別のモードに切り替えられたと判定される場合（Ｓ１８：ＹＥＳ）、図４の画像検出処理は終了する。
【００７２】
［特殊モードの画像の生成及び表示］
特殊画像生成処理回路２５２は、図４の画像検出処理にて検出されたずれベクトル（図４の処理ステップＳ１６（ずれベクトルの確定）にて確定された各画素のずれベクトル）に基づいて、各特殊光Ｌ１〜Ｌ３にて照射された被写体の撮影画像間の相対的な位置関係を補正する。例えば、現フレームと１フレーム前とのずれベクトルが水平（右）方向に一画素であり、１フレーム前と２フレーム前とのずれベクトルが水平（右）方向に二画素である場合を考える。この場合、現フレームの画素（ｘ，ｙ）、１フレーム前の画素（ｘ−１，ｙ）及び２フレーム前の画素（ｘ−３，ｙ）が所定の係数で重み付けされて加算されることにより、現フレームの画素（ｘ，ｙ）が補正される。
【００７３】
特殊画像生成処理回路２５２は、次いで、補正後の各撮影画像を合成したカラー画像や特殊画像（特定部位を強調表示する画像等）の各画素データを生成したり、酸素化ヘモグロビンの濃度指数を演算し、演算結果に基づいて酸素化ヘモグロビン濃度のカラーマップ画像の各画素データを生成したりする。
【００７４】
特殊画像生成処理回路２５２にて生成された画素データは、後段信号処理回路２４０に入力される。後段信号処理回路２４０は、特殊画像生成処理回路２５２より入力される画素データに所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ３００に出力される。これにより、被写体のカラー画像や特殊画像、酸素化ヘモグロビン濃度のカラーマップ画像等がモニタ３００の表示画面に表示される。
【００７５】
このように、本実施形態によれば、特殊光の分光特性の違いによる輝度レベルの差が補正されたうえで（図４の処理ステップＳ１２（１つ前のフレームの特殊観察用画像信号の補正）参照）、ずれベクトルの検出が行われる（図４の処理ステップＳ１４（第１の暫定ずれベクトルの検出）参照）。また、特殊光の分光特性が同一のフレーム同士でずれベクトルの検出が行われる（図４の処理ステップＳ１５（第２の暫定ずれベクトルの検出）参照）。すなわち、撮影条件の違いが極力排除された状態でずれベクトルの検出が行われるため、ずれベクトルの検出精度が向上する。
【００７６】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【００７７】
上記の実施形態では、処理ステップＳ１４（第１の暫定ずれベクトルの検出）にて検出された第１の暫定ずれベクトルと、処理ステップＳ１５（第２の暫定ずれベクトルの検出）にて検出された第２の暫定ずれベクトルの双方に基づいて注目画素のずれベクトルを検出しているが、本発明はこれに限らない。別の一実施形態では、第１の暫定ずれベクトルをずれベクトルの確定値としてもよく（すなわち、第２の暫定ずれベクトルを検出しなくてもよく）、また、第２の暫定ずれベクトルをずれベクトルの確定値としてもよい（すなわち、第１の暫定ずれベクトルを検出しなくてもよい。）。
【符号の説明】
【００７８】
１  電子内視鏡システム
１００  電子スコープ
１０２  ＬＣＢ
１０４  配光レンズ
１０６  対物レンズ
１０８  固体撮像素子
１１０  ドライバ信号処理回路
１１２  メモリ
２００  プロセッサ
２０２  システムコントローラ
２０４  タイミングコントローラ
２０６  ランプ電源イグナイタ
２０８  ランプ
２１０  集光レンズ
２１２  メモリ
２１４  操作パネル
２２０  前段信号処理回路
２３０  フレームメモリ
２４０  後段信号処理回路
２５０  画像検出回路
２５２  特殊画像生成処理回路
２６０  回転フィルタ部
２６１  回転式ターレット
Ｆ１〜Ｆ３  特殊光用フィルタ
２６２  ＤＣモータ
２６３  ドライバ
２６４  フォトインタラプタ
【図１】
0006309489.tif 000002
【図２】
0006309489.tif 000003
【図３】
0006309489.tif 000004
【図４】
0006309489.tif 000005
【図５】
0006309489.tif 000006
【図６】
0006309489.tif 000007