(57)【要約】【課題】所望の深度の被写体画像を短時間で把握することが可能な共焦点内視鏡装置を得る。【解決手段】ｋ回目及びｋ＋ｉ回目に撮像された共焦点観察画像を用いて、ｋ＋ｎ回目に撮像された共焦点観察画像を予測する。ここで、ｉは１以上の整数であり、ｎはｎ＞ｉの整数である。共焦点内視鏡が起動されてからｋ回目に撮像された共焦点観察画像において、座標（ｘ，ｙ）における画素の輝度をｇ（ｋ，ｘ，ｙ）とし、ｋ回目に撮像された共焦点観察画像の観察深度をｄ（ｋ）とすると、目標観察深度における共焦点観察画像の輝度ｇ（ｋ＋ｎ，ｘ，ｙ）は以下の式により求められる。ｇ（ｋ＋ｎ，ｘ，ｙ）＝ｇ（ｋ＋ｉ，ｘ，ｙ）＋｛ｇ（ｋ＋ｉ，ｘ，ｙ）−ｇ（ｋ，ｘ，ｙ）｝・｛ｄ（ｋ＋ｎ）−ｄ（ｋ＋ｉ）｝／｛ｄ（ｋ＋ｉ）−ｄ（ｋ）｝【選択図】図１
2011167448.tif 000002
【特許請求の範囲】
【請求項１】
共焦点効果を用いて被写体の深度方向に対して複数の被写体像を撮像し複数の画像を出力する撮像部と、
前記複数の画像の輝度と撮影深度との対応関係を用いて、目標観察深度における画像の輝度を予測する輝度算出部と、
前記輝度算出部が予測した輝度を用いて目標観察深度における画像を作成する画像作成部とを備える共焦点内視鏡装置。
【請求項２】
前記撮像部は、２つの深度でそれぞれ被写体像を撮像して２つの画像を出力し、
前記画像作成部は、前記２つの画像における輝度の差を前記２つの画像における撮影深度の差で除し、得られた値に目標観察深度を乗じることにより、目的深度における画像の輝度を予測する請求項１に記載の共焦点内視鏡装置。
【請求項３】
前記撮像部が出力した画像の低周波成分のみを通過させて中間画像を作成するローパスフィルタをさらに備え、
前記輝度算出部は、前記中間画像を用いて目標観察深度における画像の輝度を予測する請求項１に記載の共焦点内視鏡装置。
【請求項４】
前記画像作成部は、目標観察深度に最も近い深度で撮影された画像の輝度を、前記目標観察深度における画像の輝度とすることにより、目標観察深度における画像を作成する請求項１から３に記載の共焦点内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を深度方向に撮像可能な共焦点内視鏡装置に関する。
【背景技術】
【０００２】
被写体の深度方向に対して複数の被写体像を撮像可能な共焦点内視鏡装置が知られている。共焦点内視鏡装置に所望の深度をユーザが入力すると、共焦点内視鏡装置は、所望の深度の被写体像を撮像可能となるようにピンホールの位置を移動し、そして所望の深度の被写体像を撮像する（特許文献１）。これにより撮像された被写体画像をユーザが観察する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２６４０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の構成では、ピンホールの位置を移動して所望の深度の被写体像を撮像するために時間がかかり、ユーザが所望の深度の被写体画像を把握するには、撮像が完了するまで待機せざるを得ない。このような機構を内視鏡装置に用いると、観察時間が長くなって被験者の負担が増大するおそれがあり、好ましくない。
【０００５】
本発明はこれらの問題に鑑みてなされたものであり、所望の深度の被写体画像を短時間で把握することが可能な共焦点内視鏡装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
本願発明による共焦点内視鏡装置は、共焦点効果を用いて被写体の深度方向に対して複数の被写体像を撮像し複数の画像を出力する撮像部と、複数の画像の輝度と撮影深度との対応関係を用いて、目標観察深度における画像の輝度を予測する輝度算出部と、輝度算出部が予測した輝度を用いて目標観察深度における画像を作成する画像作成部とを備えることを特徴とする。
【０００７】
撮像部は、２つの深度でそれぞれ被写体像を撮像して２つの画像を出力し、画像作成部は、２つの画像における輝度の差を２つの画像における撮影深度の差で除し、得られた値に目標観察深度を乗じることにより、目的深度における画像の輝度を予測することが好ましい。
【０００８】
撮像部が出力した画像の低周波成分のみを通過させて中間画像を作成するローパスフィルタをさらに備え、輝度算出部は、中間画像を用いて目標観察深度における画像の輝度を予測することが好ましい。より高精細な画像を作成することができる。
【０００９】
画像作成部は、目標観察深度に最も近い深度で撮影された画像の輝度を、目標観察深度における画像の輝度とすることにより、目標観察深度における画像を作成することが好ましい。より目標観察深度に近い画像を得る。
【発明の効果】
【００１０】
本発明によれば、所望の深度の被写体画像を短時間で把握することが可能な共焦点内視鏡装置を得る。
【図面の簡単な説明】
【００１１】
【図１】共焦点内視鏡装置を示したブロック図である。
【図２】共焦点内視鏡装置による撮像を説明する図である。
【図３】輝度と深度との関係を示した図である。
【図４】目標共焦点観察画像の算出手段を示した図である。
【図５】第１の共焦点観察画像を示した図である。
【図６】第２の共焦点観察画像を示した図である。
【図７】目標観察深度の共焦点観察画像の推定画像を示した図である。
【図８】深度変更処理を示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明による内視鏡装置１００について添付図面を参照して説明する。
【００１３】
図１を用いて内視鏡装置１００の構成について説明する。
【００１４】
内視鏡装置１００は、被験者の体内に挿入される内視鏡スコープ２００と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ３００と、内視鏡プロセッサ３００に接続される通常光モニタ４０１及び共焦点モニタ４０２とを主に備える。
【００１５】
内視鏡スコープ２００は、被験者の体内に挿入される可撓部と、術者が保持する操作部とを主に備える。
【００１６】
可撓部の遠位端は被験者の体内に挿入され、その近位端は操作部を経て内視鏡プロセッサ３００と接続される。
【００１７】
遠位端には、被写体像を電気信号に変換するＣＣＤイメージセンサ２１１と、ＣＣＤイメージセンサ２１１に被写体像を結像させるレンズユニット２１２と、スキャナユニット２２１とが設けられる。ＣＣＤイメージセンサ２１１は、レンズユニット２１２を介して被写体を撮像し、これにより得られた通常撮影画像をアンプ・Ａ／Ｄコンバータ２１３に送信する。アンプ・Ａ／Ｄコンバータ２１３は、受信した通常撮影画像を増幅して通常デジタル画像に変換する。そして、通常デジタル画像を内視鏡プロセッサ３００に送信する。ＣＣＤレンズユニット、レンズユニット２１２、及びアンプ・Ａ／Ｄコンバータ２１３は、通常光により被写体を撮像するために用いられる。
【００１８】
スキャナユニット２２１は、共焦点効果を用いた撮像を行うために用いられ、内視鏡プロセッサ３００からの信号に応じて、観察対象物からの反射光を内視鏡プロセッサ３００に送信する。共焦点効果を用いる撮像については後述する。
【００１９】
内視鏡プロセッサ３００は、内視鏡プロセッサ３００の動作を制御する制御回路３２５と、通常光を用いて撮像を行う要素と、共焦点効果を用いて撮像を行う要素とを主に有する。まず、通常光を用いて撮像を行う要素について説明する。
【００２０】
通常光を用いて撮像を行う要素は、通常画像処理回路３１１である。通常画像処理回路３１１は、アンプ・Ａ／Ｄコンバータ２１３から通常デジタル画像を受信して、通常観察画像を作成する。通常観察画像は、通常光モニタ４０１に送信される。通常光モニタ４０１は通常観察画像を表示する。通常画像処理回路３１１は、制御回路３２５により制御されてこれらの処理を実行する。
【００２１】
共焦点効果を用いて撮像を行う要素は、レーザダイオードにより構成されるレーザ光源３２１、ＰＭＴ（光電子増倍管）３２２、ＰＭＴＡ／Ｄコンバータ３２３、及び共焦点画像処理回路３２４である。
【００２２】
レーザ光源３２１は、光ファイバを介してスキャナユニット２２１にレーザ光を送る。ＰＭＴ３２２は、光ファイバを介してスキャナユニット２２１から反射光を受光し、周期的に電気信号を出力する。受光から電気信号の出力までを撮像という。ＰＭＴ３２２及びスキャナユニット２２１が撮像部を成す。
【００２３】
ＰＭＴＡ／Ｄコンバータ３２３は、ＰＭＴ３２２から電気信号を受信して、共焦点デジタル信号に変換する。共焦点デジタル信号は、共焦点画像処理回路３２４に送信される。
【００２４】
共焦点画像処理回路３２４は、共焦点デジタル信号を画像処理して共焦点観察画像に変換する。共焦点観察画像は、共焦点モニタ４０２に送信される。共焦点モニタ４０２は共焦点観察画像を表示する。共焦点画像処理回路３２４は、制御回路３２５により制御される。共焦点画像処理回路３２４が輝度算出部と画像作成部とを成す。
【００２５】
制御回路３２５には、＋ボタン３０２及び−ボタン３０１が接続される。ユーザが＋ボタン３０２または−ボタン３０１を操作すると、信号が制御回路３２５に送信される。制御回路３２５は、その信号に応じて通常画像処理回路３１１及び共焦点画像処理回路３２４を制御する。
【００２６】
共焦点画像処理回路３２４は、＋ボタン３０２または−ボタン３０１が押し下げられた回数に応じて観察深度を変更する。観察深度は、共焦点観察画像を撮像したときにおける観察対象物表面からの深度であり、詳細については後述する。
【００２７】
次に、共焦点効果を用いた撮像について図１及び２を用いて説明する。ここでは、人体の粘膜を観察対象物とする。
【００２８】
まず、スキャナユニット２２１が粘膜にレーザ光を集光させる。レーザ光は、粘膜の深さ方向に入射して一定の深さまで達し、反射される。反射光はスキャナユニット２２１に入射する。スキャナユニット２２１は、入射した反射光のうち、任意の深さで反射された反射光のみを取り出し、ＰＭＴ３２２に送る。ＰＭＴ３２２に入射する光が反射された部位の深さ、すなわち表面からの距離を、観察深度という。本実施形態による共焦点内視鏡は、任意の観察深度における共焦点観察画像を得る。
【００２９】
図３を用いて共焦点観察画像に含まれる画素の輝度と観察深度との関係を説明する。
【００３０】
ユーザが＋ボタン３０２または−ボタン３０１を操作すると、制御回路３２５からスキャナユニット２２１に所望の深さを示す目標深度信号が送信される。スキャナユニット２２１は、目標深度信号に応じて内部の部材を駆動し、目標観察深度で反射された反射光のみを取り出す。目標観察深度は、ユーザが観察を所望する被写体深度である。
【００３１】
スキャナユニット２２１が内部の部材を駆動するには所定の時間を要する。スキャナユニット２２１内部の部材が駆動を開始してから目標観察深度の観察に適した位置に達するまで、また目標観察深度から離れるにつれて、共焦点観察画像に含まれる画素の輝度が変化する。輝度は、スキャナユニット２２１内部の部材が目標観察深度の観察に適した位置に達したとき、最大輝度となる。達する以前は、最大輝度まで単調増加し、達した後は、最大輝度から単調減少する。
【００３２】
スキャナユニット２２１が内部の部材を駆動するには所定の時間を要するため、ユーザが＋ボタン３０２または−ボタン３０１を操作してから目標観察深度における共焦点観察画像を参照するまでに、ユーザは一定時間待つことになる。そのため、共焦点画像処理回路３２４は深度変更処理を実行して、所望の観察深度における共焦点観察画像を予測及び作成して、共焦点モニタ４０２に表示する。
【００３３】
深度変更処理は、観察深度と輝度との関係を表すグラフの傾きに応じて、共焦点観察画像の輝度を変更する処理である。つまり、ｋ回目及びｋ＋ｉ回目に撮像された共焦点観察画像を用いて、ｋ＋ｎ回目に撮像された共焦点観察画像を予測する。ここで、ｉは１以上の整数であり、ｎはｎ＞ｉの整数である。共焦点内視鏡が起動されてからｋ回目に撮像された共焦点観察画像において、座標（ｘ，ｙ）における画素の輝度をｇ（ｋ，ｘ，ｙ）とし、ｋ回目に撮像された共焦点観察画像の観察深度をｄ（ｋ）とすると、目標観察深度における共焦点観察画像の輝度ｇ（ｋ＋ｎ，ｘ，ｙ）の推定値ｇ’（ｋ＋ｎ，ｘ，ｙ）は以下の式により求められる。
ｇ’（ｋ＋ｎ，ｘ，ｙ）＝ｇ（ｋ＋ｉ，ｘ，ｙ）＋｛ｇ（ｋ＋ｉ，ｘ，ｙ）−ｇ（ｋ，ｘ，ｙ）｝・｛ｄ（ｋ＋ｎ）−ｄ（ｋ＋ｉ）｝／｛ｄ（ｋ＋ｉ）−ｄ（ｋ）｝
なお、スキャナユニット２２１は周期的に光ファイバをスキャンするため、ｋ回目からｋ＋ｉ回目までの期間は、光ファイバの位置を検出することで容易に算出される。そのため、目標観察深度における共焦点観察画像を得るための残り撮像回数も算出可能である。
【００３４】
次に、図４を参照して、所望の観察深度における共焦点観察画像の輝度を算出する手段について説明する。図４はｋ回目に撮像された第１の共焦点観察画像とｋ＋ｉ回目に撮像された第２の共焦点観察画像とを用いて、ｋ＋ｎ回目に撮像される目標共焦点観察画像を予測する例を示している。ここで、ｋ＋ｎ回目に撮像される共焦点観察画像が目標観察深度における共焦点観察画像である。図５は、第１の共焦点観察画像を示し、図６は第２の共焦点観察画像を示す。第２の共焦点観察画像の輝度は、第１の共焦点観察画像の輝度よりも概ね明るい。以下の説明は、第１の共焦点観察画像、第２の共焦点観察画像、目標共焦点観察画像の順で輝度が増加する実施例に関するものである。
【００３５】
まず、第１の共焦点観察画像に含まれる画素の輝度及び第２の共焦点観察画像に含まれる画素の輝度にローパスフィルタ（ＬＰＦ）を適用し、低周波成分のみを通過させて中間画像を作成する（ポイントＰ４１参照）。ローパスフィルタを適用することにより、より高精細な目標共焦点観察画像を得る。中間画像の輝度は、それぞれｇｕｓ（ｋ，ｘ，ｙ）、ｇｕｓ（ｋ＋ｉ，ｘ，ｙ）で表される。そして、ポイントＰ４２において、中間画像の輝度どうしの差を求める。
【００３６】
ポイントＰ４３では、第２の深度ｄ（ｋ＋ｉ）から第１の深度ｄ（ｋ）を減じ、ポイントＰ４４では、目標観察深度ｄ（ｋ＋ｎ）から第２の深度ｄ（ｋ＋ｉ）を減じる。そして、ポイントＰ４４で求められた値をポイントＰ４３で求められた値で除する（ポイントＰ４５参照）。ポイントＰ４６では、ポイントＰ４２で求められた値をポイントＰ４５で求められた値で除する。
【００３７】
ポイントＰ４２で求められた値を、第２の深度ｄ（ｋ＋ｉ）から第１の深度ｄ（ｋ）で除することにより、観察深度と輝度との関係を表すグラフの傾きが求められる。
【００３８】
そして、ポイントＰ４６で求められた値に、第２の共焦点観察画像による中間画像の輝度ｇｕｓ（ｋ＋ｉ，ｘ，ｙ）を加算する（ポイントＰ４７参照）。これにより、目標共焦点観察画像の輝度の推定値ｇ’（ｋ＋ｎ，ｘ，ｙ）が求められる。図７に目標共焦点観察画像を示す。
【００３９】
同様にして、第１の共焦点観察画像、第２の共焦点観察画像、目標共焦点観察画像の順で輝度が減少する場合も目標共焦点観察画像を算出可能である。
【００４０】
次に、図８を用いて深度変更処理について説明する。深度変更処理は共焦点内視鏡の電源が投入されたときに実行される。
【００４１】
ステップＳ８１では、＋ボタン３０２が押し下げられているか否かを判断する。押し下げられているとき、処理はステップＳ８２に進む。押し下げられていないとき、処理はステップＳ８３に進む。
【００４２】
ステップＳ８２では、目標観察深度に深度ピッチΔｄを加算する。つまり、＋ボタン３０２が押し下げる回数だけ、深度ピッチΔｄが目標観察深度に加算されて目標観察深度が深くなる。
【００４３】
ステップＳ８３では、−ボタン３０１が押し下げられているか否かを判断する。押し下げられているとき、処理はステップＳ８４に進む。押し下げられていないとき、処理はステップＳ８５に進む。
【００４４】
ステップＳ８４では、目標観察深度から深度ピッチΔｄを減じる。つまり、−ボタン３０１が押し下げる回数だけ、深度ピッチΔｄが目標観察深度から減じられて目標観察深度が浅くなる。
【００４５】
ステップＳ８５では、目標観察深度が現在の観察深度と等しいか否かを判断する。等しいとき、処理はステップＳ８６に進む。等しくないとき、処理はステップＳ８７に進む。
【００４６】
ステップＳ８６では、現在得られている共焦点観察画像を共焦点モニタ４０２に表示する。現在得られている共焦点観察画像の輝度は、ｇ（ｋ＋１，ｘ，ｙ）で示される。
【００４７】
ステップＳ８７では、直前に得られた共焦点観察画像及び現在得られている共焦点観察画像から、目標共焦点観察画像を作成する。直前に得られた共焦点観察画像の輝度はｇ（ｋ，ｘ，ｙ）で表され、目標共焦点観察画像の輝度ｇ（ｋ＋ｎ，ｘ，ｙ）の推定値ｇ’（ｋ＋ｎ，ｘ，ｙ）で表される。そして、目標共焦点観察画像を共焦点モニタ４０２に表示し、ステップＳ８８に進む。
【００４８】
ステップＳ８８では、所定の期間、例えば１００ミリ秒だけ処理を停止した後、処理をステップＳ８１に戻す。
【００４９】
これにより、目標共焦点観察画像が共焦点モニタ４０２に表示される。
【００５０】
本実施形態によれば、ユーザが所望の目標観察深度を入力すると、直ちに目標観察深度における共焦点観察画像を観察することができる。
【００５１】
なお、第１の共焦点観察画像に含まれる画素の輝度及び第２の共焦点観察画像に含まれる画素の輝度にローパスフィルタを適用しなくてもよい。このとき、図９に示すような目標共焦点観察画像を得る。
【００５２】
また、ＣＣＤイメージセンサはＣＣＤに限定されず、その他の撮像素子であってもよい。
【符号の説明】
【００５３】
１００  内視鏡装置
２００  内視鏡スコープ
２１１  ＣＣＤイメージセンサ
２１２  レンズユニット
２１３  アンプ・Ａ／Ｄコンバータ
２２１  スキャナユニット
３００  内視鏡プロセッサ
３０１  −ボタン
３０２  ＋ボタン
３１１  通常画像処理回路
３２１  レーザ光源
３２２  ＰＭＴ
３２３  ＰＭＴＡ／Ｄコンバータ
３２４  共焦点画像処理回路
３２５  制御回路
４０１  通常光モニタ
４０２  共焦点モニタ
【図１】
2011167448.tif 000003
【図２】
2011167448.tif 000004
【図３】
2011167448.tif 000005
【図４】
2011167448.tif 000006
【図８】
2011167448.tif 000007
【図５】
2011167448.tif 000008
【図６】
2011167448.tif 000009
【図７】
2011167448.tif 000010