(57)【要約】【課題】  高速のＣＰＵを用いることなく、被写体までの距離を高速で計測して、表示できるようにした計測用内視鏡装置及び内視鏡用プログラムを提供する。【解決手段】  被写体の観察画像上の所定の座標に測距点を表す照準７１を表示し、照準７１の中心を測距点として観察画像を取得し、測距点での被写体の物体距離を三角測量の原理で計算する際に、左画像については、測距点の近傍の画像のみを取り込み、右画像については、エピポーラライン７７の周辺の画像のみを取り込みを行う。このように、測距に必要な画像部分だけを取り込み、測距に必要な部分の画像だけを用いてマッチング演算を行うことで、取り込み時間やマッチング処理にかかる時間が大幅に短縮する。【選択図】        図９
2006325741.tif 000002
【特許請求の範囲】
【請求項１】
観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて、前記撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の前記制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える計測用内視鏡装置において、
被写体の観察画像上の所定の座標に測距点を表す照準を表示する照準表示処理部と、
前記測距点の座標を元に、画像取得領域情報を求める画像取得領域計算処理部と、
前記画像取得領域情報を元に観察画像の一部を取得する部分画像取得処理部と、
前記部分画像取得処理部で得た画像の歪補正処理を行う部分歪補正処理部と、
前記部分歪補正処理部の結果を用いて、前記測距点での被写体の物体距離を三角測量の原理で計算する測距処理部と
を具えたことを特徴とする計測用内視鏡装置。
【請求項２】
前記照準の位置を変更する照準位置操作手段と、前記照準の座標を得る照準座標取得処理部とを具えたことを特徴とする請求項１に記載の計測用内視鏡装置。
【請求項３】
測距点の画面座標が所定の計測可能領域外である場合に前記測距処理を中止する範囲外測距中止手段と、前記計測可能領域の境界を前記観察画像に表示する計測可能領域境界表示手段とを具えたことを特徴とする請求項２に記載の計測用内視鏡装置。
【請求項４】
前記物体距離表示処理部は、前記物体距離情報を前記観察画像に表示することを特徴とする請求項１、２、又は３に記載の計測用内視鏡装置。
【請求項５】
観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて、前記撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の前記制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える内視鏡用プログラムにおいて、
被写体の観察画像上の所定の座標に測距点を表す照準を表示する照準表示処理ステップと、
前記測距点の座標を元に、画像取得領域情報を求める画像取得領域計算処理ステップと、
前記画像取得領域情報を元に観察画像の一部を取得する部分画像取得処理ステップと、
前記部分画像取得処理ステップで得た画像の歪補正処理を行う部分歪補正処理ステップと、
前記部分歪補正処理ステップの結果を用いて、前記測距点での被写体の物体距離を三角測量の原理で計算する測距処理ステップと
を具えたことを特徴とする内視鏡用プログラム。
【請求項６】
前記照準の位置を変更する照準位置操作ステップと、前記照準の座標を得る照準座標取得処理ステップとを具えたことを特徴とする請求項５に記載の内視鏡用プログラム。
【請求項７】
測距点の画面座標が所定の計測可能領域外である場合に前記測距処理を中止する範囲外測距中止ステップと、前記計測可能領域の境界を前記観察画像に童畳して表示する計測可能領域境界表示ステップとを具えたことを特徴とする請求項６に記載の内視鏡用プログラム。
【請求項８】
前記物体距離表示処理ステップは、前記物体距離情報を前記観察画像に表示することを特徴とする請求項５、６、又は７に記載の内視鏡用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元計測が行えるようにした計測用内視鏡装置及び内視鏡用プログラムに関するもので、特に、被写体までの距離をリアルタイムで表示できるようにしたものに関する。
【背景技術】
【０００２】
近年、体腔内に細長の挿入部を挿入することにより、体腔内臓器等を観察したり、必要に応じ処置具チャンネル内に挿通した処置具を用いて各種治療処置を行える内視鏡が広く利用されている。また、工業用分野においても、ボイラ、タービン、エンジン、化学プラント等の内部の傷、腐食等の観察、検査に工業用内視鏡が広く用いられている。
【０００３】
上述のように使用される内視鏡には挿入部の先端部に光学像を画像信号に光電変換するＣＣＤなどの撮像素子を配設した電子内視鏡（以下内視鏡と略記する）がある。この内視鏡では、撮像素子に結像した観察像の画像信号を画像処理部で映像信号に生成し、その映像信号をモニタに出力することによって画面上に内視鏡画像を表示させて観察を行える。
【０００４】
そして、特に工業用の内視鏡では、検査箇所に応じた観察を行えるように複数種類の光学アダプタが用意されており、必要に応じて内視鏡挿入部の先端部に着脱自在に装着できるようになっている。光学アダプタとしては、特許文献１及び特許文献２に示されるように、観察光学系に左右の２つの観察視野を形成したステレオ光学アダプタがある。
【０００５】
上述のような左右の２つの観察視野を形成したステレオ光学アダプタでは、同一の被写体像を左右の光学系で捉えたときの左右の光学系での座標に基づいて、三角測量の原理を使って被写体の三次元空間座標を求めている。
【０００６】
つまり、図１２は、ｘ，ｙ，ｚ  軸をもつ三次元座標系上の右左２画像位置関係を示す図であって、計測対象となる測距点Ｐが撮像素子の右結像面１０１Ｒ、左結像面１０１Ｌ上に結像した状態を示している。図１２において、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、さらに、距離Ｌを点ＯＲ−点ＯＬ間の距離とする。
【０００７】
図１２において、直線ＱＲ−ＯＲから次式が成立する。すなわち、
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）…（１）
また、直線ＱＬ−ＯＬから次式が成立する。すなわち、
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）…（２）
この式をｘ、ｙ、ｚ  について解けば、点Ｐの三次元座標が得られる。
【０００８】
このような三次元計測では、計測対象となる被写体との距離が離れる程、奥行き方向の分解能が下がり、計測精度が低下する。このため、精度の高い三次元計測を行うためには、ある程度まで被写体に近づく必要がある。
【０００９】
ところが、内視鏡等の機器においては、良好な観察画像が得られるように被写体深度が深い光学系が用いられており、挿入部の先端周辺の状況を操作者が確認することが難しい。このため、三次元計測機能を起動し、計測点を指定するまで、十分な計測精度が得られるまで物体に近づいているかどうかを判断することが難しい。
【００１０】
そこで、被写体の距離をライブ状態の撮像画面中に表示することが考えられる。被写体の距離をライブ状態の撮像画面中に表示されれば、操作者は、この被写体までの距離を見ることで、精度の高い三次元計測用画像を取得できるかどうかを判断でき、精度の高い三次元計測用画像を取得できる位置まで十分近づいてから、三次元計測に切り換えることができる。
【特許文献１】特開２００４−３３４７８号公報
【特許文献２】特開２００４−４９６３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところが、被写体までの距離を計測するためには、左右の画像を取り込み、画像の歪み補正を行い、測距点の対応点を探索し、空間座標を計算する必要がある。左右の画像を全て取り込むには、取り込み時間が必要である。また、全画像を対象として対応点の探索を行った場合、マッチングの処理の演算が膨大になる。このため、通常のＣＰＵでは、処理時間が長くなり、リアルタイムに被写体までの距離を表示させることが難しい。リアルタイムに被写体までの距離を表示させるために、高速のＣＰＵを用いることも考えられるが、高速のＣＰＵを用いると、コストアップになると共に、消費電力が増大するという問題が生じる。
【００１２】
本発明は、上述の課題を鑑み、被写体までの距離を高速で測定することができ、高速のＣＰＵを用いることなく、被写体までの距離をリアルタイムでライブ画像に表示できるようにした計測用内視鏡装置及び内視鏡用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
請求項１の発明は、観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて、撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える計測用内視鏡装置において、被写体の観察画像上の所定の座標に測距点を表す照準を表示する照準表示処理部と、測距点の座標を元に、画像取得領域情報を求める画像取得領域計算処理部と、画像取得領域情報を元に観察画像の一部を取得する部分画像取得処理部と、部分画像取得処理部で得た画像の歪補正処理を行う部分歪補正処理部と、部分歪補正処理部の結果を用いて、測距点での被写体の物体距離を三角測量の原理で計算する測距処理部とを具えたことを特徴とする。
【００１４】
請求項２の発明は、照準の位置を変更する照準位置操作手段と、照準の座標を得る照準座標取得処理部とを具えたことを特徴とする。
【００１５】
請求項３の発明は、測距点の画面座標が所定の計測可能領域外である場合に測距処理を中止する範囲外測距中止手段と、計測可能領域の境界を観察画像に表示する計測可能領域境界表示手段とを具えたことを特徴とする。
【００１６】
請求項４の発明は、物体距離表示処理部は、物体距離情報を観察画像に表示することを特徴とする。
【００１７】
請求項５の発明は、観察のための撮像部を有する電子内視鏡と、この電子内視鏡に接続されていて、撮像部からの撮像信号を受け映像信号を生成する画像処理部と、この画像処理部で生成された映像信号を入力画像として計測処理を行う計測処理部を有する制御部等を具えた制御装置と、この制御装置の制御部の指示に基づいて出力される出力画像を受けてその画像を表示する表示装置とを具える内視鏡用プログラムにおいて、被写体の観察画像上の所定の座標に測距点を表す照準を表示する照準表示処理ステップと、測距点の座標を元に、画像取得領域情報を求める画像取得領域計算処理ステップと、画像取得領域情報を元に観察画像の一部を取得する部分画像取得処理ステップと、部分画像取得処理ステップで得た画像の歪補正処理を行う部分歪補正処理ステップと、部分歪補正処理ステップの結果を用いて、測距点での被写体の物体距離を三角測量の原理で計算する測距処理ステップとを具えたことを特徴とする。
【００１８】
請求項６の発明は、照準の位置を変更する照準位置操作ステップと、照準の座標を得る照準座標取得処理ステップとを具えたことを特徴とする。
【００１９】
請求項７の発明は、測距点の画面座標が所定の計測可能領域外である場合に測距処理を中止する範囲外測距中止ステップと、計測可能領域の境界を観察画像に童畳して表示する計測可能領域境界表示ステップとを具えたことを特徴とする。
【００２０】
請求項８の発明は、物体距離表示処理ステップは、物体距離情報を観察画像に表示することを特徴とする。
【発明の効果】
【００２１】
本発明によれば、被写体の観察画像上の所定の座標に測距点を表す照準を表示し、照準の中心を測距点として観察画像を取得し、測距点での被写体の物体距離を三角測量の原理で計算している。このとき、左画像については、例えば、測距点の近傍の画像のみを取り込み、右画像については、例えば、エピポーララインの周辺の画像のみを取り込みを行うようにしている。このように、測距に必要な画像部分だけを取り込み、測距に必要な部分の画像だけを用いてマッチング演算を行うことで、取り込み時間やマッチング処理にかかる時間が短縮される。これにより、高速のＣＰＵを用いることなく、被写体までの距離を高速で測定して、リアルタイムでライブ画像に表示できる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明の内視鏡装置の全体構成を示すものである。図１に示すように本実施形態の内視鏡装置１は、細長な挿入部２０を有する内視鏡２と、この内視鏡２の挿入部２０を収納する収納部を備えた制御装置であるコントロールユニット３と、装置全体の各種動作制御を実行する際に必要な操作を行うリモートコントローラ４と、内視鏡画像や操作制御内容（例えば後述する処理メニュー）等の表示を行う表示装置である液晶モニタ（以下、ＬＣＤと記載）５と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視可能にするフェイスマウントディスプレイ（以下、ＦＭＤと記載）６と、このＦＭＤ６に画像データを供給するＦＭＤアダプタ６ａ等で主に構成されている。
【００２３】
挿入部２０は先端側から順に硬質な先端部２１、例えば上下左右に湾曲可能な湾曲部２２（図２）と柔軟性を有する可撓管部を連設して構成され、先端部２１には観察視野を２つ有するステレオ光学アダプタ７ａ、７ｂあるいは観察視野が１つの通常観察光学アダプタ７ｃ等、各種光学アダプタが着脱自在な構成になっている。
【００２４】
図２に示すようにコントロールユニット３内には内視鏡ユニット８、画像処理部であるカメラコントロールユニット（以下、ＣＣＵと記載）９及び制御部である制御ユニット１０が設けられており、挿入部２０の基端部は内視鏡ユニット８に接続されている。
【００２５】
内視鏡ユニット８は、観察時に必要な照明光を供給する光源装置（不図示）、挿入部２０を構成する湾曲部２２を湾曲させる湾曲装置（不図示）を備えて構成されている。
【００２６】
ＣＣＵ９には、挿入部２０の先端部２１に内蔵されている固体撮像素子２ａから出力された撮像信号が入力する。この撮像信号は、ＣＣＵ９内で例えばＮＴＳＣ信号等の映像信号に変換されて、制御ユニット１０へ供給される。
【００２７】
制御ユニット１０内には音声信号処理回路１１、映像信号が入力される映像信号処理回路１２、ＲＯＭ１３、ＲＡＭ１４、ＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと記載）１５、ＵＳＢインターフェイス（以下、ＵＳＢ  Ｉ／Ｆと記載）１６及びＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２Ｃ  Ｉ／Ｆと記載）１７等と、これら各種機能を主要プログラムに基づいて実行させて動作制御を行うＣＰＵ１８とが設けられている。
【００２８】
ＲＳ−２３２Ｃ  Ｉ／Ｆ１７にはＣＣＵ９、内視鏡ユニット８及びこれらＣＣＵ９、内視鏡ユニット８等の制御及び動作指示を行うリモートコントローラ４がそれぞれ接続されている。このことにより、リモートコントローラ４の操作に基づいてＣＣＵ９、内視鏡ユニット８を動作制御する際に必要な通信が行われる。
【００２９】
ＵＳＢ  Ｉ／Ｆ１６は、コントロールユニット３とパーソナルコンピュータ３１とを電気的に接続するためのインターフェイスである。このＵＳＢ  Ｉ／Ｆ１６を介してコントロールユニット３とパーソナルコンピュータ３１とを接続することによって、パーソナルコンピュータ３１側で内視鏡画像の表示指示や計測時における画像処理などの各種の指示制御を行うことが可能になるとともに、コントロールユニット３とパーソナルコンピュータ３１との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
【００３０】
また、ＰＣカードＩ／Ｆ１５には、ＰＣＭＣＩＡメモリカード３２やコンパクトフラッシュ（登録商標）メモリカード３３等の記録媒体であるいわゆるメモリカードが自由に着脱されるようになっている。メモリカードをＰＣカードＩ／Ｆ１５に装着することにより、ＣＰＵ１８による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータの取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行える。
【００３１】
映像信号処理回路１２では、ＣＣＵ９から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、ＣＣＵ９からの映像信号をＣＰＵ１８の制御により生成する操作メニューに基づく表示信号との合成処理や、ＬＣＤ５の画面上に表示するのに必要な処理等を施してＬＣＤ５に供給する。また、この映像信号処理回路１２では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、ＬＣＤ５の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
【００３２】
音声信号処理回路１１には、マイク３４によって集音されて生成された、メモリカード等の記録媒体に記録する音声信号、メモリカード等の記録媒体の再生によって得られた音声信号、あるいはＣＰＵ１８によって生成された音声信号が供給される。この音声信号処理回路１１では、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ３５に出力する。このことによって、スピーカ３５から音声が出力される。
【００３３】
そして、ＣＰＵ１８は、ＲＯＭ１３に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。
【００３４】
図３に示すようにリモートコントローラ４の一面には、ジョイスティック４１、レバースイッチ４２、フリーズスイッチ４３、ストアースイッチ４４及び計測実行スイッチ４５が設けられている。また、ズームレバー４７が設けられている。
【００３５】
ジョイスティック４１は、湾曲部２２の湾曲動作を指示するスイッチであり、傾倒操作することによって湾曲部２２がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、レバースイッチ４２は、グラフィック表示される各種メニュー操作や計測を行う場合のポインター移動操作を行うスイッチであり、ジョイスティック４１と略同様に構成されている。フリーズスイッチ４３はＬＣＤ５表示に関わるスイッチである。ストアースイッチ４４は、フリーズスイッチ４３の押下によって静止画像を表示され、この静止画像をメモリカードに記録する場合に用いるスイッチである。計測実行スイッチ４５は、計測ソフトを実行する際に用いるスイッチである。
【００３６】
なお、フリーズスイッチ４３、ストアースイッチ４４及び計測実行スイッチ４５は、オン／オフの指示を押下操作によって行う例えば押下式を採用して構成されている。符号４６はＦＭＤアダプタ７から伸びる電気ケーブルが接続されるコネクタ部であり、このコネクタ部４６に電気ケーブルを接続することによってＦＭＤ６を通してステレオ観察を行えるようになっている。ズームレバー４７は、手前と奥とに倒せる方向スイッチで、電子ズームの制御を行う。奥に倒すとテレ（拡大）、手前に倒すとワイド（縮小）に動作する。
【００３７】
図４及び図５は、本実施形態の内視鏡装置１で用いられる光学アダプタの１つであるステレオ光学アダプタ７ａの一例の構成を示すものである。図４及び図５に示すように直視型のステレオ光学アダプタ７ａの先端面には一対の照明レンズ５１、５２と２つの対物レンズ系５３，５４とが設けられており、図５に示すように、固定リング５０の雌ねじ５０ａを先端部２１に形成されている雄ねじ２１ａに螺合することによって一体的に固定されるようになっている。
【００３８】
図５に示すように、２つの対物レンズ系５３，５４により、先端部２１内に配設された固体撮像素子２ａの撮像面上に２つの光学像が結像される。そして、この固体撮像素子２ａで光電変換された撮像信号は、電気的に接続された信号線２ｂ及び内視鏡ユニット８を介してＣＣＵ９に供給されて映像信号に変換され、その後、映像信号処理回路１２に供給される。
【００３９】
本実施形態の内視鏡装置１では、次の（ａ１）〜（ｄ）に示すように、各内視鏡２特有の撮像光学系の光学データが測定され、その光学データが記録媒体である例えばメモリカード（ＰＣＭＣＩＡメモリカード３１やメモリカード３３等）に記録される。
【００４０】
上述の特有の光学データは、
（ａ１）２つの対物光学系の幾何学的歪み補正テーブル
（ａ２）像伝送光学系の幾何学歪み補正テーブル
（ｂ）左右の結像光学系それぞれの焦点距離
（ｃ）左右の結像光学系の主点間の距離
（ｄ）左右の結像光学系それぞれの画像上での光軸位置座標
である。
【００４１】
上記特有の光学データの収集を行った後の内視鏡装置１にパソコン３１を接続して、次に示す（１）〜（５）の処理を行って各種寸法計測を行うことができる。すなわち、
（１）上記メモリカードから上記（ａ１）〜（ｄ）の光学データを読み込む。
（２）本内視鏡２にて被写体である被計測物を撮像し、画像を取り込む。
（３）上記の取り込んだ画像を、上記（ａ１）〜（ｄ）の光学データをもとに座標変換する。（歪み補正）
（４）座標変換された画像を基に、撮像データのマッチングにより任意の点の三次元座標を求める。
（５）上記三次元座標を基に各種三次元計測を行う。
【００４２】
また、本実施形態の内視鏡装置１では、被写体との距離をリアルタイムでライブ画面上に表示させることができる。このため、操作者は、カメラと被写体の位置関係が容易に認識できない場合でも、現在画面上で観察できている被写体までの距離を操作者がライブ画像を見ながら知ることができる。
【００４３】
図６は、本発明の第１の実施形態の測距表示画面を示すものである。図６に示すように、左画像６５に照準７１が示される。この照準７１を測距点として、測距点までの距離がリアルタイムで計測される。この測距点までの距離は、画面６４上に、距離表示キャラクタ７２として表示される。
【００４４】
また、画面６４上には、測距点までの距離が距離表示バーグラフ７３でグラフィカルに表示される。距離表示バーグラフ７３は、図７に示すように、緑色のバーグラフ７３ｇ、黄色のバーグラフ７３ｙ、赤色バーグラフ７３ｒの三色に分けて表示される。緑色のバーグラフ７３ｇは、精度の高い三次元計測が可能な範囲を示している。黄色のバーグラフ７３ｙは、精度はやや落ちるが、三次元計測が可能な範囲であることを示している。赤色のバーグラフ７３ｒは、満足する三次元計測が不可能な範囲であることを示している。
【００４５】
このように、本実施形態の内視鏡装置１では、ライブ画面と共に、被写体までの距離がリアルタイムで画面上に表示される。操作者は、この被写体までの距離を見ることで、精度の高い三次元画像を映すことができるかどうかを判断でき、精度の高い三次元画像を映せる位置まで十分近づいてから、三次元計測に切り換えることができる。
【００４６】
次に、上述のように、被写体までの距離をライブ画面と共に、画面上に表示するための処理について説明する。前述の図１２に示したように、点ＯＲ，ＯＬを光学系の主点とし、距離ｆを焦点距離とし、点ＱＲ，ＱＬを点Ｐの結像位置とし、距離Ｌを点ＯＲ−点ＯＬ間の距離とすると、直線ＱＲ−ＯＲから次式が成立する。
ｘ／ｘＲ＝｛ｙ−（Ｌ／２）｝／｛ｙＲ−（Ｌ／２）｝＝ｚ／（−ｆ）…（１）  
また、直線ＱＬ−ＯＬから次式が成立する。
ｘ／ｘＬ＝｛ｙ＋（Ｌ／２）｝／｛ｙＬ＋（Ｌ／２）｝＝ｚ／（−ｆ）…（２）
この式をｘ、ｙ、ｚ  について解けば、点Ｐの三次元座標が得られ、これにより、被写体までの距離が求まる。
【００４７】
ここで、光学系の主点ＯＲ及び点ＯＬ間の距離、及び結像光学系の焦点距離は、光学データとして予め記録されている。点ＱＬの座標は、座用は測距点とされた照準７１の座標そのものである。点ＱＲは、測距点に対応する点を右画像６６の中から探索することで得ることができる。
【００４８】
このことから、例えば、左画像を基準とした場合には、左画像での測距点（ＱＬ）に対応する右画像の対応点（ＱＲ）をマッチング処理により探索し、右画像の対応点が探索されたら、上式により空間座標を計算することで、測距点までの距離を求めることができる。
【００４９】
なお、ここでは、左画像６５を基準画像とし、左画像６５に照準７１を表示しているが、勿論、右画像６６を基準画像としても良い。この場合には、照準７１は右画像６６側に表示される。
【００５０】
左画像での測距点に対応する右画像をマッチング処理により探索する際に、右画像の全ての点においてマッチング演算を行うと、画像の取り込み時間がかかり、処理が膨大になる。
【００５１】
そこで、本発明の実施形態では、測距に必要な画像部分だけを取り込み、測距に必要な部分の画像だけを歪補正し、それを用いてマッチング演算を行うことで、取り込み時間、歪補正時間やマッチング処理にかかる時間を短縮して、高速処理を可能としている。
【００５２】
具体的には、左画像については、測距点の近傍の画像のみを取り込み、右画像については、エピポーララインの周辺の画像のみを取り込みを行う。そして、エピポーララインの周辺の画像とのみマッチング演算を行うことで、マッチング演算の時間を大幅に削減している。
【００５３】
つまり、エピポーラ拘束によれば、２つのカメラで３次元画像を撮影した場合、基準カメラに写ったある点は、もう一方の画像のエピポーラライン上に投影される。このことから、エピポーララインの近傍の画像だけを取り込み、エピポーララインの近傍の画像とだけマッチングを行えば良いことになる。このようにすれば、１画面すべての画像を取り込んでマッチングを行う場合に比べて、画像の取り込み処理にかかる時間や、マッチング処理にかかる時間が大幅に短縮される。
【００５４】
また、一般にレンズ系による画像には光学的な歪みがある。計測を行う場合にはこの歪みが大きな誤差原因となるため、幾何学的歪み補正テーブルにより、座標変換が行われる。そして、変換画面１ピクセルにつき、そのピクセルが撮像画面上の光学上の幾何学的歪み上対応する座標の４つのピクセルの輝度データにウエイトテーブルＷ１〜Ｗ４の比率を乗じ、変換画面ピクセルの画素の輝度データを求めている。このような画像の歪み補正処理では、その処理量は膨大であり、計算時間のかかる処理である。
【００５５】
そこで、本発明の実施形態では、歪補正を取り込んだ画像に対してのみ行った上で、歪み補正処理に用いるウェイト係数を２の累乗倍して整数化している。これにより、ウェイト係数の乗算をビットシフトで行うことができ、歪み補正処理の時間が短縮される。
【００５６】
図８は、本発明の第１の実施形態における測距表示処理を示すフローチャートである。この例では、上述のように、測距に必要な画像部分だけを取り込み、測距に必要な部分の画像だけを歪補正し、それを用いてマッチング演算を行うことで、取り込み時間、歪補正時間やマッチング処理にかかる時間を短縮している。また、歪み補正処理に用いるウェイト係数を２の累乗倍して整数として、ウェイト係数の乗算を整数演算としてビットシフトにより輝度を求める除算を行って、歪み補正処理にかかる時間を短縮している。
【００５７】
図８において、測距機能が起動されたら、ステップＳ１で、初期化処理を行う。測距機能は、以下の起動条件で、ズームレバー４７をワイド端側に設定することで起動される。
（１）光学アダプタの設定がステレオ光学アダプタになっている。
（２）ライブ画像表示、あるいは、フリーズ画像表示中である。
（３）電子ズームがワイド端（電子ズームが１倍）である。
【００５８】
そして、ステップＳ２で、左画像及び右画像の取り込み範囲の計算を行う。左画像の取り込み範囲としては、図９に示すように、測距点の近傍の画像である。図９において、測距点Ｐの座標を（ｌｘ，ｌｙ）とし、左取得幅をＬ＿ＷＩＤＴＨ、左取得高さをＬ＿ＨＥＩＧＨＴとしたとき、左画像取得範囲ＬＡＲＥＡの基点ＳＰＬの座標は、
（ｌｘ−Ｌ＿ＷＩＤＴＨ／２，ｌｙ−Ｌ＿ＨＥＩＧＨＴ／２）
となる。
【００５９】
また、右画像の取得範囲ＲＡＲＥＡは、図９に示すように、エピポーラライン７７の近傍の画像である。エピポーラライン７７の具体的な求め方は、以下の通りである。
【００６０】
光学データから、左基準点ＯＬの座標と、右基準点ＯＲの座標を読み込む。左基準点ＯＬ及び右基準点ＯＲは、光学中心付近の同一観察対象の座標であり、光学データ生産時に設定される。この左基準点ＯＬの座標を（ｏｌｘ，ｏｌｙ）とし、右基準点ＯＲの座標を（ｏｒｘ，ｏｒｙ）とする。
【００６１】
右画像の左端のＸ座標をｒｓｘとすると、エピポーラライン７７の始点ＥＳの座標（ｅｓｘ，ｅｓｙ）は、
（ｅｓｘ，ｅｓｙ）＝（ｒｓｘ，ｌｙ−ｏｌｙ＋ｏｒｙ）
となる。また、エピポーララインの終点ＥＥの座標（ｅｅｘ，ｅｅｙ）は、取得幅をＲ＿ＷＩＤＴＨとすると、
（ｅｅｘ，ｅｅｙ）＝（ｒｓｘ＋Ｒ＿ＷＩＤＴＨ，ｌｙ−ｏｌｙ＋ｏｒｙ）
となる。
【００６２】
よって、取得高さをＲ＿ＨＥＩＧＨＴとすると、右画像の取得範囲ＲＡＲＥＡの基点ＳＰＲの座標は、
（ｅｓｘ，ｅｓｙ−Ｒ＿ＨＥＩＧＨＴ／２）
となる。
【００６３】
なお、エピポーララインの求め方は、上記に限られるものではなく、一般的なステレオビジョンの分野で公知である他の求め方によっても良い。
【００６４】
図８において、ステップＳ２で、画像の取得範囲が計算されたら、求められた取得範囲に基づいて、ステップＳ３で右画像を取得し、ステップＳ４で左画像を取得する。そして、ステップＳ５で右画像の部分の画像歪み補正を行い、ステップＳ６で左画像の部分の画像歪み補正を行う。なお、画像歪み補正におけるウエイトテーブルＷ１〜Ｗ４としては、ウェイト値を２の累乗倍した整数が用いられ、輝度を求める除算はビットシフトで行われる。
【００６５】
ステップＳ５、Ｓ６で、画像の歪み補正が行われたら、ステップＳ７で、測距点に対応する点の探索処理を行う。つまり、左画像６５には、図６に示したように、照準７１が表示される。この照準７１の中心位置を測距点とし、テンプレートを作成し、このテンプレートを使って、パターンマッチングにより相関を求め、右画像６６中から、測距点に対応する点を探索する。
【００６６】
ステップＳ８で、三角測量の原理から、（１）式、（２）式に基づいて、空間座標を計算し、測距点の距離を求める。ここで、光学系の主点ＯＲ及び点ＯＬ間の距離、及び結像光学系の焦点距離は、光学データとしてメモリカードに記録されている。点ＱＬの座標は、座用は測距点とされた照準７１の座標そのものであり、点ＱＲは、ステップＳ７で、測距点に対応する点を右画像６６の中から探索することで得ることができる。
【００６７】
ステップＳ９で、上述のようにして求められた測距点までの物体距離を画面上に表示する。つまり、図６に示したように、被写体までの距離を、画面６４上で距離表示キャラクタ７２として表示する。また、被写体までの距離を、距離表示バーグラフ７３で表示する。
【００６８】
図８において、ステップＳ１０で、測距表示処理を終了するかどうかを判断し、終了しなければ、ステップＳ２にリターンする。ステップＳ２〜Ｓ１０の処理を、測距点の距離表示を終了するまで繰り返し行う。これにより、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、リアルタイムで被写体の距離表示を行うことができる。ステップＳ１０で、測距表示処理を終了すると判断すると、処理は終了となる。
【００６９】
（第２の実施形態）
図１０は、本発明の第２の実施形態の測距表示処理を示すものである。前述の第１の実施形態では、照準７１を画面上に固定している。これに対して、この実施形態では、照準７１を操作者が自在に移動させることができるようにしている。操作者は、リモートコントローラ４のレバースイッチ４２を操作することで、照準７１を画面上で上下左右に移動させることができる。画面上には、計測可能範囲７５が表示される。照準７１で示される測距点がこの計測可能範囲７５内にあれば、測距が可能である。なお、光学アダプタによって左画像の位置は異なるので、計測可能範囲７５の座標は、メモリカードの光学データとして保持される。
【００７０】
図１１は、本発明の第２の実施形態の測距表示処理の動作を示すフローチャートである。図１１において、ステップＳ１０１で初期化処理を行い、ステップＳ１０２で、測距点の座標が計測可能範囲かどうかを判断し、計測可能範囲内に入るまで、測距処理の実行を中止し、計測可能範囲内になったら、ステップＳ１０３で観察画像の取得処理を行い、画像をメモリ上に展開する。
【００７１】
ステップＳ１０４で、照準７１の座標が変化したかどうかを判断し、照準７１の座標が変化したら、ステップＳ１０２に戻り、座標の範囲確認から実行し直す。
【００７２】
ステップＳ１０４で照準７１の座標が変化していなければ、ステップＳ１０５で、右画像及び左画像の取得範囲を計算する。具体的には、左画像については、測距点の近傍の画像を取得範囲とし、右画像については、エピポーララインの周辺の画像を取得範囲とする。そして、設定された取得範囲に基づいて、ステップＳ１０６で右画像６６の画像の切り出し処理を行い、ステップＳ１０７で左画像６５の画像の切り出し処理を行う。
【００７３】
ステップＳ１０８で、右画像６６の画像の歪み補正処理を行い、ステップＳ１０９で左画像６５の画像の歪み補正処理を行う。歪みの補正は、前述のメモリカードに記録されている光学的データを用いて行われる。
【００７４】
ステップＳ１１０で、測距点に対応する点の探索処理を行う。ステップＳ１１１で、メモリカードから読み出された光学系の主点ＯＲ及び点ＯＬ間の距離、及び結像光学系の焦点距離と、測距点に対応する点の探索処理で求められた点ＱＲ及びＱＬの座標から、三角測量の原理から、空間座標を計算し、測距点の距離を求める。
【００７５】
ステップＳ１１２で、照準７１の座標が変化したかどうかを判断し、照準７１の座標が変化したら、ステップＳ１０２に戻り、座標の範囲確認から実行し直す。
【００７６】
ステップＳ１１２で照準７１の座標が変化していなければ、ステップＳ１１３で、上述のようにして求められた測距点までの物体距離を画面上に表示する。
【００７７】
ステップＳ１１４で、測距表示処理を終了するかどうかを判断し、終了しなければ、ステップＳ１３にリターンする。これにより、ライブ画像表示（あるいはフリーズ画面の表示）と並行して、リアルタイムで被写体の距離表示を行うことができる。ステップＳ２３で、測距表示処理を終了すると判断すると、処理は終了となる。
【００７８】
このように、この実施形態では、計測しようとする被写体が画面の端にあるような場合、レバースイッチ４２を操作して照準７１を移動させ、計測しようとする被写体に照準を合わせることができる。
【００７９】
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【００８０】
本発明は、三次元計測が行えるようにした計測用内視鏡及び内視鏡用プログラムに用いて好適である。
【図面の簡単な説明】
【００８１】
【図１】本発明が適用できる内視鏡装置の構成を示す斜視図である。
【図２】本発明が適用できる内視鏡装置の構成を説明するブロック図ある。
【図３】リモートコントローラの説明に用いる斜視図である。
【図４】ステレオ光学アダプタの構成を示す斜視図である。
【図５】ステレオ光学アダプタの構成を示す断面図である。
【図６】本発明の第１の実施形態に係る測距表示の画面構成の説明図である。
【図７】距離のバーグラフ表示の説明図である。
【図８】本発明の第１の実施形態に係る測距表示処理の説明に用いるフローチャートである。
【図９】本発明の第１の実施形態における画像取得範囲の説明図である。
【図１０】本発明の第２の実施形態に係る測距表示の画面構成の説明図である。
【図１１】本発明の第２の実施形態に係る測距表示処理の説明に用いるフローチャートである。
【図１２】測距の原理の説明図である。
【符号の説明】
【００８２】
１  内視鏡装置
２  内視鏡
３  コントロールユニット
４  リモートコントローラ
５  液晶モニタ（ＬＣＤ）
６５  左画面
６６  右画面
７１  照準
７２  距離表示キャラクタ
７３  距離表示バーグラフ
【図１】
2006325741.tif 000003
【図２】
2006325741.tif 000004
【図３】
2006325741.tif 000005
【図４】
2006325741.tif 000006
【図５】
2006325741.tif 000007
【図６】
2006325741.tif 000008
【図７】
2006325741.tif 000009
【図８】
2006325741.tif 000010
【図９】
2006325741.tif 000011
【図１０】
2006325741.tif 000012
【図１１】
2006325741.tif 000013
【図１２】
2006325741.tif 000014