(57)【要約】【課題】  内視鏡装置の位置を変更することなく観察範囲を変更することができ、かつ、内視鏡装置により得られる画像の情報と透視画像の情報との位置関係を術者が容易に把握できるようにすること。【解決手段】  内視鏡装置１０を架台保持装置５０によって患者付近に固定し、内視鏡装置１０の硬性内視鏡１０ａ内の対物光学系を含む第１撮影光学系により形成される広角像と対応する透過画像とを重畳して第１モニター２に表示すると同時に、第２撮影光学系により形成される拡大像と対応する透過画像と重畳して第２モニター３に表示する。第２撮影光学系に含まれるペシャンプリズム２４を光軸に対して垂直な面内でシフトさせることにより、拡大像の撮影範囲を移動させることができ、これに応じて透過画像の表示範囲をシフトさせることにより、ずれのない重畳表示が可能である。【選択図】  図１
2005205184.tif 000002
【特許請求の範囲】
【請求項１】
被検体の内部構造を光学系を介して撮像素子上に結像させて撮影する内視鏡装置と、
該内視鏡装置を前記被検体に対して固定可能に保持する保持装置と、
前記内視鏡装置により撮影された前記被検体の所定部位の内視鏡画像に、断層診断装置により得られた断層画像に基づいて生成された前記所定部位の透視画像を重畳する画像合成手段と、
該画像合成手段により合成された画像を表示する表示手段と、
前記内視鏡装置の光学系による結像位置と前記撮像素子の位置とを前記光学系の光軸に対して垂直な面内で相対的にシフトさせる第１のシフト手段と、
該第１のシフト手段によるシフトに伴う前記内視鏡画像の撮影範囲の変化に対応させて前記透視画像の表示範囲をシフトさせる第２のシフト手段とを備え、
前記第１のシフト手段によるシフト後の内視鏡画像と前記第２のシフト手段によるシフト後の透視画像とを前記画像合成手段により合成して前記表示手段に表示させることを特徴とする診断支援装置。
【請求項２】
前記断層診断装置は、ＣＴ装置、またはＭＲＩ装置であることを特徴とする請求項１に記載の診断支援装置。
【請求項３】
前記第１のシフト手段は、前記内視鏡装置の光学系に含まれるペシャンプリズムと、該ペシャンプリズムを光軸に垂直な面内で二次元的に移動させるプリズム移動機構とを備えることを特徴とする請求項１または２に記載の診断支援装置。
【請求項４】
前記内視鏡装置は、被検体の像を形成する対物光学系と、該対物光学系により形成される被検体の像の所定範囲を再結像させる第１再結像光学系と、該第１再結像光学系により形成される像を撮影する第１撮像素子と、前記対物光学系により形成される像の前記所定範囲の一部を拡大して再結像させる第２再結像光学系と、該第２再結像光学系により形成される像を撮影する第２撮像素子とを備え、
前記画像合成手段は、前記第１撮像素子により撮影された第１の内視鏡画像とこれに対応する範囲の前記透視画像とを合成して第１の合成画像を生成すると共に、前記第２撮像素子により撮影された第２の内視鏡画像とこれに対応する範囲の前記透視画像とを合成して第２の合成画像を生成し、
前記第１のシフト手段は、前記第２撮影光学系による結像位置と前記第２撮像素子の位置とを相対的にシフトさせ、
前記第２のシフト手段は、前記第２の合成画像を構成する透視画像の表示範囲をシフトさせ、
前記表示手段は、前記第１の合成画像を表示する第１の表示装置と、前記第２の合成画像を表示する第２の表示装置とを含むことを特徴とする請求項１〜３のいずれかに記載の診断支援装置。
【請求項５】
内視鏡設置時に内視鏡装置の基準位置を第１の座標値、透視画像の基準位置を第２の座標値として測定する位置測定装置と、
第１撮影光学系と、
前記第１撮影光学系を介して所定範囲の視野の像を撮像して第１画像信号を出力する第１撮像デバイスと、
少なくとも一枚のレンズを含み、前記所定範囲の視野中の少なくとも一部の像を形成する第２撮影光学系と、
前記第２撮影光学系を介して、前記像を撮像して第２画像信号を出力する第２撮像デバイスと、
前記第２撮影光学系中のレンズの光軸と前記第２撮像デバイスとを相対的にシフトさせることによって、前記第２撮影光学系を介して前記第２撮像デバイスによる撮像範囲を、前記所定範囲の視野内で移動させるシフト装置と、
前記シフト装置によってシフトされた前記レンズの光軸と前記第２撮像デバイスとのシフト量を第３の座標値として出力する内視鏡装置と、
前記第１の座標値と前記第２の座標値に基づいて第１画像信号に透視画像を合成し、前記第１の座標値と前記第2の座標値と第３の座標値に基づいて第２画像信号に透視画像を合成する画像合成装置と、
当該画像合成装置から出力された前記第１の画像信号を表示する第1の表示装置と、
第２の画像信号を表示する、第２の表示装置を備えることを特徴とする診断支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子内視鏡装置により撮影された体内の内視鏡画像と、ＣＴ、ＭＲＩ等の断層診断装置により得られた透視画像とをモニター画面上で重畳して施術者に表示することにより診断の支援をする診断支援装置に関する。
【背景技術】
【０００２】
術中に内視鏡画像と断層診断装置により得られた透視画像とをモニター画面上に重畳して表示する装置は従来から知られている。例えば、特許文献１には、術前に断層診断装置により測定された被検体のデータに基づいて手術による変形を織り込んで被検体の変形後の三次元情報を生成してデータベースに記憶し、術中に計測された被検体の形状に類似する三次元情報を読み出して透視画像(データ画像)を生成し、硬性鏡により撮影された内視鏡画像に重畳してモニターに出力する手術ナビゲーション装置が開示されている。
【０００３】
なお、透視画像とは、断層診断装置により得られた物体の断層画像を三次元データに再構築し、これに基づいて任意の視点から見たときに物体内部構造がどのように見えるかを計算してレタリングされた二次元画像をいう。レタリングの方法としては、コンピュータグラフィックスや画像診断装置において利用されている一般的な手法を用いることができる。例えば、三次元物体の特定表面(例えば空気と空気以外の物質との境界面)を抽出するサーフェースレタリング、物体内の各点の物理的特性を表す数値に基づいて擬似的に透視するボリュームレタリング、あるいは、物体の内部構造のうち目的に応じて重要とみなされる部分(例えば血管)の概観形状を三次元的な線画で表して透視するワイヤーフレームレタリングなどがある。
【０００４】
また、特許文献２には、接続される硬性鏡等の機器の機種の違いや個体差をデータとして記録しておき、術前に断層診断装置により測定された被検体のデータに基づいて生成された透視画像を硬性鏡により撮影された内視鏡画像と重畳する際に、上記の個体差を考慮して両画像の相対位置関係を補正する手法が開示されている。
【０００５】
一方、透視画像に内視鏡の観察部位を示すカーソルや、手術具の位置を重畳して表示する装置も従来から知られている。例えば、特許文献３には、先端を移動させずに撮影範囲を移動させるため、接続されたテレビカメラにＣＣＤ移動機構を備えた硬性鏡が開示されている。この文献に記載された術部観察システムは、術前にＣＴ，ＭＲＩ等により測定された被検体のデータに基づいて生成された透視画像上に、上記の移動機構によるシフトを考慮に入れて硬性鏡の観察位置をカーソルとして重畳してモニター上に表示する。
【０００６】
また、特許文献４は、手術具の位置を透視画像上に表示する装置を開示している。この文献に開示される装置は、被検体および手術具の３次元位置姿勢情報に基づいて、術前にＣＴ，ＭＲＩ等により測定された被検体の断層像情報から対応する断層像を抽出し、手術具の３次元位置姿勢を抽出された断層像上に重畳して表示する。
【０００７】
さらに、特許文献５は、被検体と手術具の３次元位置姿勢情報に基づいて、術前にＣＴ，ＭＲＩ等により測定された被検体の断層像情報から対応する断層像を抽出し、手術具の３次元位置姿勢を抽出された断層像上に重畳し、さらに、被検体と手術具との距離を測定し、その距離情報に基づいて表示される画像の大きさを変化させる手術ナビゲーション装置を開示している。
【特許文献１】特開２００２−１０２２４９号公報
【特許文献２】特開２００２−２２４１３８号公報
【特許文献３】特開２００１−１９８１４１号公報
【特許文献４】特開２００１−２９３００６号公報
【特許文献５】特開２００２−１７７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１，２に開示される手術ナビゲーション装置は、内視鏡装置自体を移動させなければ観察範囲を変更することができないため、観察範囲をわずかに移動させる際にも内視鏡装置の位置を再設定しなければならず、操作が煩雑である。一方、特許文献３〜５に開示される装置は、内視鏡装置の観察位置、あるいは手術具の位置が透視画像上に重畳して表示されるのみであるため、内視鏡装置を利用する場合には、内視鏡装置により得られる画像の情報(体腔壁の形状等)と、透視画像の情報(血管の位置等)との位置関係を直接把握することができない。
【０００９】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、内視鏡装置の位置を変更することなく観察範囲を変更することができ、かつ、内視鏡装置により得られる画像の情報と透視画像の情報との位置関係を術者が容易に把握できる診断支援装置を提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明にかかる診断支援装置は、上記の目的を達成させるため、被検体の内部構造を光学系を介して撮像素子上に結像させて撮影する内視鏡装置と、内視鏡装置を被検体に対して固定可能に保持する保持装置と、内視鏡装置により撮影された被検体の所定部位の内視鏡画像に、断層診断装置により得られた断層画像に基づいて生成された所定部位の透視画像を重畳する画像合成手段と、画像合成手段により合成された画像を表示する表示手段と、内視鏡装置の光学系による結像位置と撮像素子の位置とを相対的にシフトさせる第１のシフト手段と、第１のシフト手段によるシフトに伴う内視鏡画像の撮影範囲の変化に対応させて透視画像の表示範囲をシフトさせる第２のシフト手段とを備え、第１のシフト手段によるシフト後の内視鏡画像と第２のシフト手段によるシフト後の透視画像とを画像合成手段により合成して表示手段に表示させることを特徴とする。
【００１１】
断層診断装置としては、ＣＴ装置、またはＭＲＩ装置を用いることができる。また、第１のシフト手段は、例えば、内視鏡装置の光学系がペシャンプリズムを含む場合には、このペシャンプリズムと、これを光軸に垂直な面内で二次元的に移動させるプリズム移動機構とから構成することができる。
【００１２】
さらに、内視鏡装置は、被検体の像を形成する対物光学系と、対物光学系により形成される被検体の像の所定範囲を再結像させる第１撮影光学系と、第１撮影光学系により形成される像を撮影する第１撮像素子と、対物光学系により形成される像の所定範囲の一部を拡大して再結像させる第２撮影光学系と、第２撮影光学系により形成される像を撮影する第２撮像素子とを備えることが望ましい。この場合、画像合成手段は、第１撮像素子により撮影された第１の内視鏡画像とこれに対応する範囲の透視画像とを合成して第１の合成画像を生成すると共に、第２撮像素子により撮影された第２の内視鏡画像とこれに対応する範囲の透視画像とを合成して第２の合成画像を生成する。そして、第１のシフト手段は、第２撮影光学系による結像位置と第２撮像素子の位置とを相対的にシフトさせ、第２のシフト手段は、第２の合成画像を構成する透視画像の表示範囲をシフトさせる。表示手段は、第１の合成画像を表示する第１の表示装置と、第２の合成画像を表示する第２の表示装置とを含むことが望ましい。
【発明の効果】
【００１３】
本発明によれば、第１のシフト手段により内視鏡装置の位置を変更することなく観察範囲を変更することができ、かつ、このシフトにあわせて第２のシフト手段により透視画像をシフトさせることにより、シフト後も内視鏡画像と透視画像とを正確に重畳して表示することができるため、内視鏡画像により表される部位と透視画像により表される部位との位置関係を術者が容易に把握することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明にかかる診断支援装置の実施形態を説明する。図１は、実施形態にかかる診断支援装置の概略を示すブロック図である。
【００１５】
図１に示すように、実施形態の診断支援装置は、被検体の内部構造を光学系を介して撮像素子上に結像させて撮影する内視鏡装置１０と、内視鏡装置１０を被検体に対して固定可能に保持する保持装置５０と、内視鏡装置１０の位置を測定する位置測定装置７０と、内視鏡装置１０により撮影された被検体の所定部位の内視鏡画像に、ＣＴ装置、あるいはＭＲＩ装置等の断層診断装置１００により得られた断層画像に基づいて生成された所定部位の透視画像を重畳する画像合成装置８０と、画像合成装置８０により合成された画像を表示する表示手段としての第１モニター２及び第２モニター３とを備えている。なお、符号９０は、断層診断装置１００により断層画像を取得する際に被検体に貼り付けられ、位置測定装置７０によりその位置が測定される透視画像基準マーカーである。
【００１６】
内視鏡装置１０には、後述するように撮影範囲のサイズが異なる２系統の撮影手段が備えられており、一方の撮影手段で撮影された内視鏡画像とこれに対応する透視画像とを重畳した広角画像が図２(Ａ)に示すように第１モニター２に表示され、他方の撮影手段で撮影された内視鏡画像とこれに対応する透視画像とを重畳した拡大画像が図２(Ｂ)に示すように第２モニター３に表示される。図２では、内視鏡画像に含まれる体内の構造物２ａ、３ａと、透視画像に含まれる臓器内の構造物、例えば血管等の簡略イメージ２ｂ、３ｂが重畳して表示されている。
【００１７】
内視鏡装置１０は、図３に示されるように、被検体である患者の腹壁に嵌め込まれたトラカール等を介して先端が体腔内に挿入される硬性内視鏡１０ａと、この硬性内視鏡１０ａが取り付けられた像分離装置２０と、この像分離装置２０の内部に組み込まれる光学系によりリレーされる像を撮像する撮像素子としての第１及び第２のＣＣＤカメラ４０，３０とを有する。
【００１８】
硬性内視鏡１０ａは、体腔内の像を形成してリレーするための対物光学系と，体腔内を照明するために図示せぬ光源装置からの照明光を先端部へ導く図示せぬライトガイドとを、直線状の管の内部に有している。対物光学系は、対物レンズ群１１と複数のリレーレンズ１２とから構成されている。対物レンズ群１１は、広い範囲（例えば、１２０°以上の画角）の視野の像を形成可能なレトロフォーカス型のレンズである。この対物レンズ群１１により形成される体腔内の像は、結像面１１ｉに形成される。この結像面１１ｉ上の像は、各リレーレンズ１２により夫々の結像面１２ｉに順次形成されてリレーされ、最終のリレーレンズ１２の結像面１２ｉに形成される。
【００１９】
像分離装置２０は、その内部に、半透明鏡２１、折り返しミラー２２、第１再結像レンズ(第１再結像光学系)２３、ペシャンプリズム２４、フォーカスレンズ２５、第１乃至第３レンズ群２６ａ〜２６ｃからなる第２再結像レンズ(第２再結像光学系)２６を備える。半透明鏡２１は、硬性内視鏡１０内部の対物光学系からの光束の光路上に配置され、この光束の一部を反射し、残りの光束を透過させる。半透明鏡２１により反射された光束は、折り返しミラー２２により反射され、第１再結像レンズ２３を介して第１のＣＣＤカメラ４０の撮像面に被検体の像の所定範囲を再結像させる。対物光学系から第１再結像レンズ２３に至るまでの光学系が第１撮影光学系に相当する。第１のＣＣＤカメラ４０は、この第１撮影光学系により形成される像を撮影する第１撮像素子に相当する。一方、半透明鏡２１を透過した光束は、ペシャンプリズム２４内で反射され、フォーカスレンズ２５、第２再結像レンズ２６を介して第２のＣＣＤカメラ３０の撮像面に被写体の像の所定範囲の一部を拡大して再結像させる。対物光学系から第２再結像レンズ２６に至るまでの光学系が第２撮影光学系に相当する。第２のＣＣＤカメラ３０は、この第２撮影光学系により形成される像を撮影する第２撮像素子に相当する。
【００２０】
第１及び第２ＣＣＤカメラ４０，３０は、一般的な固体撮像素子（ＣＣＤ）を利用した動画撮影用のカメラであり、撮像面に入射する光束を画像信号としての電気信号に変換して、第１，第２画像信号を画像合成装置８０に出力する。
【００２１】
第１撮影光学系内では、対物光学系の光軸Axは、半透明鏡２１によって直角に折り曲げられ、折り返しミラー２２によって更に直角に折り曲げられ、第１再結像レンズ２３の中心を通過して、第１ＣＣＤカメラ４０の撮像領域の中心を垂直に貫く。
【００２２】
一方、第２撮影光学系を構成するペシャンプリズム２４は、光軸シフト光学素子及び像反転光学系としての機能を有し、移動機構２７によって駆動されるＸＹステージ２７ａにより、対物光学系の光軸Axに直交する平面内で互いに直交するＸ方向とＹ方向とに平行移動可能に保持されている。図４は、このペシャンプリズム２４の斜視図である。図３及び図４に示すように、ペシャンプリズム２４は、三角柱の一側面にこの側面から突出するダハ面２４１ｆ，２４１ｇが（その稜線２４１ｈが底面と平行な状態で）形成されたのと等価な形状を有するダハプリズム２４１と、このダハプリズム２４１におけるダハ面２４１ｆ，２４１ｇ以外の一側面２４１ｄに対してその一側面２４２ｂが平行に近接するように配置された四角柱状の補助プリズム２４２とから構成されている。
【００２３】
第２撮影光学系内では、対物光学系の光軸Axは、補助プリズム２４２の一側面２４２ａに対して垂直に交差し、この側面２４２ａに隣接する２つの側面２４２ｂ，２４２ｃの内面によって２回折り曲げられ、補助プリズム２４２の側面２４２ｂとダハプリズム２４１の側面２４１ｄとに対して垂直に交差する。そして、光軸Axは、ダハプリズム２４１内で側面２４１ｅとダハ面２４１ｆ，２４１ｇと側面２４１ｄの内面によって各々折り曲げられ、側面２４１ｅに対して垂直に（補助プリズム２４２に入る前の光軸Axと平行な方向に）交差する。ペシャンプリズム２４に入る前の光軸Axがペシャンプリズム２４から出た後の光軸Axと同軸になるペシャンプリズム２４の位置を、以下、初期位置という。ペシャンプリズム２４が初期位置に設定されているとき、光軸Axは、フォーカスレンズ２５、第２再結像レンズ２６の中心を通り、第２ＣＣＤカメラ３０の撮像領域の中心を垂直に貫く。
【００２４】
第２再結像レンズ２６の変倍レンズである第１及び第２レンズ群２６ａ，２６ｂは、ズーム鏡筒２６０によって、それらの光軸に沿って移動可能に保持されており、第３レンズ群２６ｃは固定されている。ズーム鏡筒２６０を構成する図示せぬカム環が光軸周りに回転することにより、カム環に形成されている各カム溝に係合したカムフォロワを一体に有するこれら第１及び第２レンズ群２６ａ，２６ｂが光軸方向に移動される。これにより、第２再結像レンズ２６の倍率は、任意に調整される。カム環の駆動源としては、ＤＣサーボモータやステッピングモータ等を有する図示せぬズーミング用アクチュエータが用いられる。
【００２５】
以上のように配置されているために、半透明鏡２１を透過した光束は、ペシャンプリズム２４を介してフォーカスレンズ２５と第２再結像レンズ２６とを順次透過し、第２ＣＣＤカメラ３０の撮像面に入射する。このとき、ペシャンプリズム２４は、硬性内視鏡１０ａ内の対物光学系（対物レンズ群１１及び複数のリレーレンズ１２）により形成される像を倒立させ、第２再結像レンズ２６は、ペシャンプリズム２４により倒立された対物光学系による像の一部領域を所定の倍率に拡大して、第２ＣＣＤカメラ３０の撮像面上に再結像させる。
【００２６】
なお、ペシャンプリズム２４をＸＹ面内で移動させる移動機構２７は、例えばＤＣサーボモータやステッピングモータ等からなる駆動用アクチュエータ及びこの駆動用アクチュエータの駆動力を伝達するギア機構を、Ｘステージ及びＹステージの各々について有し、各ステージを独立に駆動する。この移動機構２７とペシャンプリズム２４とにより、内視鏡装置の光学系による結像位置と撮像素子の位置とを相対的にシフトさせる第１のシフト手段(シフト装置)が構成されている。また、この移動機構２７は、十字方向に可倒なジョイスティックを有する図示せぬ操作装置に接続されている。そして、この図示せぬ操作装置のジョイスティックが作業者によって操作されることにより、そのジョイスティックの倒し込み量及び倒し込み方向に応じた信号が移動機構２７に通知され、その通知を受けた移動機構２７がＸステージ及びＹステージをジョイスティックの操作量及び操作方向に応じて駆動し、移動機構２７によって駆動されるＸＹステージ２７ａがペシャンプリズム２４をＸＹ面内で移動する。なお、上記の図示せぬ操作装置は、回転可能に保持されたトラックボールが操作者によって回転されることによりそのトラックボールの回転量及び回転方向に応じた信号を出力するタイプのものであっても良いし、Ｘ方向に対応するレバーとＹ方向に対応するレバーとを備えて各レバーの倒し込み量に応じた信号を出力するタイプのものであってもよい。なお、XYステージの座標系は図３に示す通り、(XS, YS)で定義される。
【００２７】
図４には、対物光学系の光軸Axがペシャンプリズム２４によってシフトする様子も示されている。図４に示すように、入射側の光軸Axを初期位置からＸ方向における正の方向（図４では左方）へ距離ｗだけ移動させてAx’とした場合、射出側の光軸Ax’は移動前の光軸Axに対してＸ方向における負の方に距離ｗだけ移動する。これは、一定位置にある対物光学系の光軸Axに対してペシャンプリズム２４をＸ方向における負の方（図４では右方）に距離ｗだけ移動させた場合に相当し、ペシャンプリズム２４から出た後の対物光学系の光軸Ax’は、ペシャンプリズム２４に入る前の光軸Ax’に対して、距離２ｗだけＸ方向における負の向きにシフトする。逆に、ペシャンプリズム２４をＸ方向における正の方へ移動した場合には、対物光学系の光軸Axは、Ｘ方向における正の向きに、ペシャンプリズム２４の移動量の２倍の量だけシフトされる。また、このペシャンプリズム２４をＹ方向（図４では上下方向）に移動したときにも同様に、ペシャンプリズム２４から出た後の対物光学系の光軸Ax”は、ペシャンプリズム２４に入る前の光軸Ax”に対して、ペシャンプリズム２４が移動された向きに、ペシャンプリズム２４の移動量の２倍の量だけシフトされる。
【００２８】
このようにしてペシャンプリズム２４がＸＹ面内でシフトされると、ペシャンプリズム２４から出た後の対物光学系の光軸Axが、第２再結像レンズ２６の光軸Bxを含む直線上からシフトされる。このときの様子も図３に示されている。ペシャンプリズム２４の初期位置においては、対物光学系の光軸上を進む光線は、ペシャンプリズム２４から射出された後でも、第２再結像レンズ２６の光軸Bx上を進行し、第２のＣＣＤカメラ３０の撮像面の中心に入射する。この状態から、図４に示すように、ペシャンプリズム２４がＸＹ面内で移動されると、ペシャンプリズム２４から出た後の光軸Axは、第２再結像レンズ２６の光軸Bxからシフトされる。従って、対物光学系の光軸Ax上を進む光線は、ペシャンプリズム２４から射出された後は、第２再結像レンズ２６の光軸Bxからシフトした状態で第２再結像レンズ２６に入射し、第２ＣＣＤカメラ３０の撮像面の中心からシフトした位置に入射する。これにより、第２ＣＣＤカメラ３０の撮像範囲がシフトする。
【００２９】
なお、硬性内視鏡１０ａの対物光学系は、その対物レンズ群１１が広角な視野を有するとともに、対物レンズ群１１による像を各リレーレンズ１２でリレーする構成となっているために、大きな像面湾曲を持つ。そのため、上述したようにペシャンプリズム２４をＸＹ面内で移動させることによって、対物光学系によって形成される像の像面を第２再結像レンズ２６の視野に対してＸＹ方向にシフトさせた場合、第２ＣＣＤカメラ３０の撮像面と共役な点に対して像が光軸Bx方向に移動する。これにより、第２ＣＣＤカメラ３０の映像には多少ピンぼけが生じることがある。そこで、対物光学系の光軸Axの第２再結像レンズ２６の光軸Bxに対するシフトし量に応じて、図示せぬフォーカシング制御回路が、移動機構２７と同期して上記フォーカシングアクチュエータを駆動する。これにより、対物光学系の像面と、第２再結像レンズ２６に関して撮像面と等価な面とを一致させ、ピントを合わせることができる。
【００３０】
さらに、像分離装置２０は、図示せぬズーミング用アクチュエータにより第２再結像レンズ２６の光軸に沿って移動される第１及び第２レンズ群２６ａ，２６ｂの位置を検出して画像合成装置８０に通知する位置検出器２９を備えている。
【００３１】
具体的には、位置検出器２９は、第１及び第２レンズ群２６ａ，２６ｂを保持するズーム鏡筒２６０のカム環の回転位置を、エンコーダによって読み取り、読み取ったカム環の回転位置を示す情報を、第１及び第２レンズ群２６ａ，２６ｂの位置情報（ズーム位置情報）として、画像合成装置８０に通知する。
【００３２】
以上のように構成された内視鏡装置１０は、光学シフト機構により第２ＣＣＤカメラ３０による観測範囲を自由に移動することができるため、一旦、内視鏡を固定した後、内視鏡装置１０を動かすことなく観測範囲を変更することができる。
【００３３】
次に、内視鏡装置１０の位置を測定するための機構について説明する。内視鏡装置１０の像分離装置２０の側面には、図５に示されるように、３個の内視鏡マーカー６６が設けられている。各内視鏡マーカー６６は、表面に再帰反射光学部材が貼り付けられた球形状のマーカーである。これらのマーカーの位置を位置測定装置７０により測定することにより、内視鏡装置１０の３次元位置を特定することができる。
【００３４】
内視鏡装置１０のローカル座標系は、図５に示されるように定義される。
内視鏡装置の座標系：(XE, YE, ZE)
なお、内視鏡ローカル座標原点６７は、硬性鏡１０ａの瞳位置である。また、軸XE, YEは、それぞれ軸XS, YSと平行である。
【００３５】
内視鏡装置１０を保持する内視鏡保持装置５０は、図６に示されるように、複数のリンク５１、関節５２、固定部５３によりアーム状に構成される。内視鏡保持装置５０は、内視鏡装置１０との図示せぬ接続部を持ち、内視鏡装置１０を脱着が可能である。また、内視鏡保持装置５０は、固定部５３により手術室のベッド等へ固定が可能である。内視鏡装置１０を取り付けた保持装置５０をベッドに固定した後、所望の位置に内視鏡を移動させて配置する。
【００３６】
位置測定装置７０は、内視鏡装置１０と透視画像基準マーカー９０との位置を測定するものであり、具体的にはPOLARIS(Northern Digital Inc製)がある。図７(A),(C)に示す通り、位置測定装置７０は直方形状であり、その一つの側面に２つ送光受光部７２ａ、７２ｂを持つ。各送光受光部７２ａ、７２ｂは、赤外波長の光線を発し、内視鏡装置１０に取り付けられた内視鏡マーカー６６、及び、透視画像基準マーカー９０からの反射光を受光し、内視鏡装置１０及び透視画像基準マーカー９０の３次元位置座標を測定する。７１ａ，７１ｂは送光受光部７２ａ、７２ｂそれぞれの測定可能範囲を示し、７１ａ、７１ｂの重なる領域７３が３次元座標測定可能領域である。
【００３７】
位置測定装置７０により測定される３次元座標は、透視画像を合成する上で基準となる座標系であり、図８に示すように定義される。
位置測定装置の座標系：(XG, YG, ZG)
【００３８】
なお、透視画像基準マーカー９０は、透視画像座標系と内視鏡座標系とを合成するための基準となる。透視画像基準マーカー９０は、図９に示すように３個の反射球９１から構成される。各反射球の表面には、再帰反射光学部材が貼り付けられている。これらの反射球９１からの反射光を位置測定装置７０で受光することによりにより、透視画像基準マーカー９０の３次元位置を測定することができる。マーカー材質はＣＴによる撮像が可能な材質であり、人体の骨と同等以上のＸ線遮蔽能があればよい。なお、符号９２は、透視画像基準マーカー座標の原点である。
【００３９】
透視画像基準マーカーの座標系は、図９に示されるように定義される。
透視画像基準マーカーの座標系：(XM, YM, ZM)
透視画像撮影時には、患者の体表面に透視画像基準マーカー９０を固定し、断層診断装置１００により患者と透視画像基準マーカー９０を同時に撮影し、透視画像内の透視画像基準マーカーを基準に内視鏡画像と合成する。
【００４０】
断層診断装置１００はＣＴ，ＭＲＩ等の装置であり、その座標系は図１０に示されるように定義される。
断層診断装置の座標系：(XCT, YCT, ZCT)
【００４１】
画像合成装置８０は、内視鏡装置１０により撮影された内視鏡画像と、断層診断装置１００により取得された透視画像とを合成する装置であり、図１１に示すように、ＣＰＵ８０ａ、ＲＡＭ８０ｂ、第１インターフェース回路８０ｃ、第２インターフェース回路８０ｄ、第１Ｉ／Ｏポート８０ｅ、第２Ｉ／Ｏポート８０ｆ、第３のＩ／Ｏポート８０ｊ、第４のＩ／Ｏポート８０ｋ、第３インターフェース回路８０ｈ、第４インターフェース回路８０ｉを有する。
【００４２】
ＣＰＵ８０ａは、各ハードウエア８０ｂ〜８０ｋを統合的に制御する中央処理装置である。ＲＡＭ８０ｂは、このＣＰＵ８０ａが読み出した各種のプログラムをキャッシュするともに、ＣＰＵ８０ａによる作業領域が展開されるランダムアクセスメモリである。ＲＯＭ８０ｇは、データや画像合成プログラムを含む各種のプログラムが格納する。
【００４３】
第１インターフェース回路８０ｃは、第１ＣＣＤカメラ４０からの画像信号の受信を司る。第２インターフェース回路８０ｄは、第１モニタ３への画像信号の送信を司る。第１Ｉ／Ｏポート８０ｅは、ＣＰＵ８０ａからの命令に従って、Ｘステージ及びＹステージの移動量（すなわち、光軸Axのシフト量）を示す情報（Ｘステージ移動量情報，Ｙステージ移動量情報）を移動機構２７から受信する。第２Ｉ／Ｏポート８０ｆは、ＣＰＵ８０ａからの命令に従って、位置検出器２９からのズーム位置情報を受信する。第３のＩ／Ｏポート８０ｊは、ＣＰＵ８０ａからの命令に従って、位置検出装置７０から内視鏡装置１０、及び透視画像基準位置マーカー９０の位置情報を受信する。第４のＩ／Ｏポート８０ｋは、ＣＰＵ８０ａからの命令に従って、断層診断装置１００から３次元画像情報を受信する。第３インターフェース回路８０ｈは、第２ＣＣＤカメラ３０からの画像信号の受信を司る。第４インターフェース回路８０ｉは、第２モニタ３への画像信号の送信を司る。
【００４４】
次に、画像合成処理について図１２のフローチャートに基づいて説明する。画像合成処理は、ＣＰＵ８０ａが第１インターフェース回路８０ｃを介して第１ＣＣＤカメラ４０からの画像信号を受信することによって開始する。処理がスタートすると、ＣＰＵ８０ａは、移動機構２７からのＸステージ移動量情報及びＹステージ移動量情報を、第１のＩ／Ｏポート８０ｅを介して受信する(S101)。
【００４５】
続いてＣＰＵ８０ａは、位置検出器２９からのズーム位置情報を、第２Ｉ／Ｏポート８０ｆを介して受信し(S102)、位置測定装置７０から内視鏡装置１０の位置座標を第３Ｉ／Ｏポート８０ｊを介して受信し(S103)、位置測定装置７０から透視画像基準マーカー９０の位置座標を第３Ｉ／Ｏポート８０ｊを介して受信し(S104)、断層診断装置１００から透視画像データを第４Ｉ／Ｏポート８０ｋを介して受信する(S105)。
【００４６】
次に、ＣＰＵ８０ａは、Ｘステージ移動量情報及びＹステージ移動量情報に基づいてＲＡＭ８０ｂ上に記憶している各ステージの位置を更新し、第１ＣＣＤカメラ４０により生成された画像信号に基づいて表示される画像領域を定義する平面座標における第２再結像レンズ２６の光軸Bxの位置を示す座標値を、Ｘステージ移動量情報及びＹステージ移動量情報に基づいて算出する(S106)。これは、第２再結像レンズ２６の光軸Bxの位置が、ＸＹステージ２７ａによって移動されるペシャンプリズム２４のＸＹ平面内での位置に依存することに因る。
【００４７】
次に、ＣＰＵ８０ａは、ズーム位置情報に基づいて、第２再結像レンズ２６の倍率を算出する(S107)。
【００４８】
続いてＣＰＵ８０ａは、透視画像の座標系を断層診断装置１００の座標系から透視画像基準マーカーの座標系に変換する(S108)。すなわち、断層診断装置１００で患者と透視画像基準マーカー９０とを同時に撮像し、断層診断装置１００の座標系と透視画像基準マーカー９０の座標系とのズレ量、回転角を測定し、その測定値に基づいて座標変換を行う。
【００４９】
次にＣＰＵ８０ａは、透視画像基準マーカー座標系に変換された透視画像データを位置測定装置７０の座標系（グローバル座標系）に変換する(S109)。すなわち、位置測定装置７０により透視画像基準マーカー９０の座標軸原点位置、及び座標軸の回転量データを測定し、その数値に基づいて透視画像データの座標変換を行う。
【００５０】
次にＣＰＵ８０ａは、グローバル座標に変換された透視画像データを内視鏡装置ローカル座標に変換する(S110)。すなわち、位置測定装置７０により測定した透視画像基準マーカー９０の原点位置、座標回転量、内視鏡装置１０の原点位置、座標回転量より透視画像データを内視鏡ローカル座標系(XE, YE, ZE)に変換する。
【００５１】
次にＣＰＵ８０ａは、硬性鏡１０ａのディストーションによる影響を補正するため、透視画像データ(XE, YE, ZE)を円筒座標系（r, θ, ZE）に変換する(S111)。すなわち、図１３に示されるように、内視鏡のローカル座標（直交座標）を円筒座標系に変換する。
r = √(XE2 + YE2),
r = ZE・tanω
XE = r・cosθ
YE = r・sinθ
【００５２】
次に円筒座標に変換された透視画像データのディストーションDISTを補正する(S112)。図１４に示されるように、高さｒの物体の硬性鏡一次結像面上での像高は、ディストーションが無いときはR、ディストーションがあるときはR’となる。像高R’は、像高Rを用いて以下のように表わされる。
R’ = R + ξ3・R3 + ξ5・R5 + ξ7・R7 + …
但し、R = f・tanω = f・r/Z、
f は硬性鏡の焦点距離、Zは物体距離、
DIST = ξ3・R2 + ξ5R4 + ξ7・R6 + …である。
【００５３】
次に硬性鏡１次結像面上の極座標系の画像データを、直交座標系に変換する。硬性鏡像面上の直交座標(XE’, YE’)と定義すると以下の様に変換することができる。
XE’ = R’・cosθ
YE’ = R’・sinθ
【００５４】
続いて、上記のように変換された座標系を用いて透視画像を変換し、第１ＣＣＤカメラ４０により撮影された第１の内視鏡画像、及び第２ＣＣＤカメラ３０により撮影された第２の内視鏡画像と合成する。これらの処理は、画像合成装置８０が複数のＣＰＵを備える場合には並列処理として、単一のＣＰＵを備える場合には時分割で実行される。
【００５５】
第１の内視鏡画像と合成される透視画像は、第１の内視鏡画像と同一の倍率となるよう補正される(S121)。第１撮影光学系の光学倍率をm1とすると、透視画像と第１の内視鏡画像との画像サイズを同一にするためには硬性鏡一次結像面の座標系に変換された透視画像に前記倍率を乗する。ここで、第１ＣＣＤカメラ４０上の座標系を(T, U)とすると、
T = m1・XE’
U = m1・YE’
となる。
【００５６】
次に、倍率補正後の透視画像を第１の内視鏡画像に合成し(S122)、透視画像を重畳した第１の内視鏡画像を第２のインターフェイス回路８０ｄから出力し、第１モニター２に表示する(S123)。
【００５７】
一方、第２の内視鏡画像と合成される透視画像は、第１のシフト手段によるシフトに伴う第２撮影光学系の内視鏡画像の撮影範囲の変化に対応させて表示範囲がシフト補正される(S113)。このシフト補正の処理が、第２のシフト手段に相当する。シフト補正は、第１Ｉ／Ｏポート８０ｅから受信したＸステージ及びＹステージの移動量（すなわち、光軸Axのシフト量）を示す情報（Ｘステージ移動量情報＝DXS，Ｙステージ移動量情報＝DYS）に基づいて実行される。第２撮影光学系の光軸シフト量はプリズム移動量の２倍にあたるため、シフト補正後の透視画像の座標(XE”, YE”)は、以下のように表される。
XE″ = XE´ - ΔXS × 2
YE″ = YE´ - ΔYS × 2
【００５８】
次に、シフト補正後の透視画像が第２の内視鏡画像と同一の倍率となるように、透視画像の倍率変換を行う(S114)。第２Ｉ／Ｏポート８０ｆを介して受信した位置検出器２９からのズーム位置情報から第２撮影光学系の光学倍率m2を算出し、透視画像と第２の内視鏡画像との倍率を同一にするため、シフト補正後の透視画像に前記倍率m2を乗する。ここで、第２ＣＣＤカメラ３０上の座標系を(V, W)とすると、
V = m2・XE″
W = m2・YE″
となる。
【００５９】
次に、倍率補正後の透視画像を第２の内視鏡画像に合成し(S115)、透視画像を重畳した第２の内視鏡画像を第４のインターフェイス回路８０ｉから出力し、第２モニター３に表示する(S116)。
【００６０】
ステップS103〜S123までの処理は、繰り返し実行され、これにより内視鏡装置１０の位置はリアルタイムに検出され、その位置に基づいて内視鏡画像とＣＴ等の断層診断装置で撮影した患者体内の構造物とを重畳した広角及び拡大の画像が第１モニター２、第２モニター３上に動画として表示される。
【００６１】
実施形態の診断支援装置によれば、内視鏡装置１０を架台保持装置５０によって患者付近に固定し、内視鏡装置１０の硬性内視鏡１０ａ内の対物光学系を含む第１撮影光学系により形成される像を対応する範囲の透視画像に重畳して第１モニタ２上に表示すると同時に、この対物光学系を含む第２撮影光学系により形成される像を対応する範囲の透視画像に重畳して第２モニタ３上に表示できる。
【００６２】
また、ペシャンプリズム２４を移動させて第２撮影光学系の撮影範囲を変更した場合には、その移動量に応じて透視画像の表示範囲が移動されるため、両画像の範囲を一致させて重畳表示することができる。なお、通常は位置測定装置７０により内視鏡装置１０と患者との相対位置を測定し、透視画像との位置関係を計算して画像を重畳する。しかしながら、第２撮影光学系の撮影範囲は、内視鏡装置１０を固定したままペシャンプリズムの移動によって移動させることができるため、一時的に位置測定装置７０と内視鏡装置１０との間の空間が施術者や他の装置等によって遮られ、内視鏡装置１０の位置を測定できない場合にも、撮影範囲を変更し、かつ、それに対応させて重畳される透視画像の表示範囲も変更することができ、手術を中断することがなく、手術時間を短縮して患者の負担を軽減することができる。なお、実施形態の画像合成処理では、内視鏡装置の位置を常時検出しているため、意図しない患者の動きがあった場合や、手術の進行に伴って内視鏡装置の位置を移動させた場合にも、座標変換と画像の合成が可能である。
【００６３】
以下、各座標系を一覧で示す。
内視鏡装置１０ローカル座標系：(XE, YE, ZE)
視野シフト機構部の座標系：(XS, YS)
位置測定装置の座標系（グローバル座標系）：(XG, YG, ZG)
透視画像基準マーカーの座標系：(XM, YM, ZM)
断層診断装置の座標系：(XCT, YCT, ZCT)
内視鏡装置１０のローカル円筒座標系：(r, θ, ZE)
内視鏡装置１０の１次結像面のローカル円筒座標系：(R’, θ)
内視鏡装置１０の１次結像面のローカル直交座標系：(XE’, YE’)
内視鏡装置１０の第１の撮像素子上の座標系：(T, U)
内視鏡装置１０の第２の撮像素子上の座標系：(V, W)
【図面の簡単な説明】
【００６４】
【図１】本発明の実施形態にかかる診断支援装置の概略を示すブロック図である。
【図２】(Ａ)は、図１の診断支援装置に含まれる第１のモニターに表示される画面例、(Ｂ)は第２のモニターに表示される画像例をそれぞれ示す説明図である。
【図３】図１の診断支援装置に含まれる内視鏡装置の光学構成及び内部構成を概略的に示す説明図である。
【図４】図３の内視鏡装置に用いられるペシャンプリズムの拡大斜視図である。
【図５】図１の診断支援装置に含まれる内視鏡装置に取り付けられた内視鏡マーカーの説明図であり、(Ａ)は平面図、(Ｂ)は側面図である。
【図６】図１の診断支援装置に含まれる保持装置の説明図である。
【図７】図１の診断支援装置に含まれる位置測定装置の説明図であり、(Ａ)は平面図、(Ｂ)は側面図、(Ｃ)は正面図である
【図８】図７の位置測定装置の座標を示す説明図であり、(Ａ)は斜視図、(Ｂ)は側面図である。
【図９】実施形態における透視画像基準位置マーカーの説明図である。
【図１０】実施形態における断層診断装置の座標を示す説明図である。
【図１１】図１の診断支援装置に含まれる画像合成装置の概略構成を示すブロック図である。
【図１２】図１１の画像合成装置により実行される画像合成処理の内容を示すフローチャートである。
【図１３】円筒座標のローカル座標への座標変換を示す説明図である。
【図１４】図１の診断支援装置に含まれる内視鏡内の結像状態を示す説明図である。
【符号の説明】
【００６５】
２，３      モニター
１０        内視鏡装置
１０ａ      硬性鏡
１１        対物レンズ群
１２        リレーレンズ
２３        第１再結像レンズ
２４        ペシャンプリズム
２５        フォーカスレンズ
２６        第２再結像レンズ
２７        移動機構
２７ａ      ＸＹステージ
２７ｂ      シフト量測定装器
２９        位置検出器
３０，４０  ＣＣＤカメラ
５０        内視鏡保持装置
６６        内視鏡マーカー
６７        内視鏡ローカル座標原点
７０        位置測定装置
８０        画像合成装置
８０ａ      ＣＰＵ
８０ｂ      ＲＡＭ
８０ｇ      ＲＯＭ
９０        透視画像基準位置マーカー
１００      断層診断装置
【図１】
2005205184.tif 000003
【図２】
2005205184.tif 000004
【図３】
2005205184.tif 000005
【図４】
2005205184.tif 000006
【図５】
2005205184.tif 000007
【図６】
2005205184.tif 000008
【図７】
2005205184.tif 000009
【図８】
2005205184.tif 000010
【図９】
2005205184.tif 000011
【図１０】
2005205184.tif 000012
【図１１】
2005205184.tif 000013
【図１２】
2005205184.tif 000014
【図１３】
2005205184.tif 000015
【図１４】
2005205184.tif 000016