(57)【要約】  【課題】  簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることのできるバーチャル画像表示装置を提供する。  【解決手段】  本発明のバーチャル画像表示装置１は、術者３１の位置に対応した見やすい位置（視野方向）に、内視鏡画像用モニタ１３ａとバーチャル画像用モニタ１７を有する術者用モニタ３２を設置している。内視鏡２を挿通するトラカール３７には、内視鏡２の挿入部３７Ａの腹部領域への挿入角度等の情報を検出するセンサ３ａが装着されている。ＣＰＵ２５はセンサ３ａの検出結果に基づきバーチャル画像データを生成し、生成したバーチャル画像データに基づくバーチャル画像を内視鏡画像とともに前記術者用モニタ３２のバーチャル画像用モニタ１７ａに表示させる。【選択図】  図１  
2005211533.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡の挿入部の観察方向を示す情報を検出する検出手段と、
被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と
前記検出手段により検出された情報に基づき前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データを処理するバーチャル画像データ処理手段と、
前記バーチャル画像データに基づくバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能なバーチャル画像表示手段の表示制御を行うバーチャル画像表示制御手段と、
を具備したことを特徴とするバーチャル画像表示装置。
【請求項２】
前記検出手段は、前記内視鏡を挿通するトラカールの基端側に設けたことを特徴とする請求項１に記載のバーチャル画像表示装置。
【請求項３】
前記内視鏡の挿入部の軸上に前記検出手段の装着が可能な取付手段を有し、この取付け手段は、前記内視鏡を用いる術者の腕部に前記検出手段を貼り付けて装着することを特徴とする請求項１に記載のバーチャル画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示することにより術者を支援するためのバーチャル画像表示装置に関する。
【背景技術】
【０００２】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ   Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。  
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているが一般的である。
【特許文献１】特開２０００−１３５２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や、関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。  
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の内視鏡システムと併用して実際の手術に使用することはできず、術者に対して必要な被検体の生体画像情報を提供することはできない。
【０００８】
また、例えば実際に手術を行う内視鏡システムと、画像システムとを用いてシステムを構築することも考えられるが、手術中の術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムはなく、実際にこのようなシステムを構築しようとすると、３次元画像を作成するのに必要な情報を得るためのセンサの内視鏡への装着によって内視鏡の操作部自体が重くなり、内視鏡の操作性に影響を及ぼしたり、また、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。
【０００９】
また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、内視鏡視野方向が限定される気管支などの体内の管路への内視鏡挿入時のナビゲーションには使い勝手が良いが、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡観察下においては、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができないといった不都合があった。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることのできるバーチャル画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために請求項１の発明のバーチャル画像表示装置は、内視鏡の挿入部の観察方向を示す情報を検出する検出手段と、被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記検出手段により検出された情報に基づき前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データを処理するバーチャル画像データ処理手段と、前記バーチャル画像データに基づくバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能なバーチャル画像表示手段の表示制御を行うバーチャル画像表示制御手段と、を具備したことを特徴とするものである。
【００１２】
請求項２の発明のバーチャル画像表示装置は、請求項１に記載のバーチャル画像表示装置において、前記検出手段は、前記内視鏡を挿通するトラカールの基端側に設けたことを特徴とするものである。
【００１３】
請求項３の発明のバーチャル画像表示装置は、請求項１に記載のバーチャル画像表示装置において、前記内視鏡の挿入部の軸上に前記検出手段の装着が可能な取付手段を有し、この取付け手段は、前記内視鏡を用いる術者の腕部に前記検出手段を貼り付けて装着することを特徴とするものである。
【発明の効果】
【００１４】
本発明のバーチャル画像表示装置は、簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができるといった利点がある。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施例を説明する。  
【実施例１】
【００１６】
図１乃至図９は本発明のバーチャル画像表示装置の第１実施例を示し、図１はバーチャル画像表示装置を備えた内視鏡システムの全体構成を示す概略構成図、図２は図１の内視鏡システムの全体構成を示すブロック図、図３は図１の内視鏡の外観構成を示す斜視図、図４は取付対象部が術者の腕部の場合の構成例を示す斜視図、図５はセンサを装着する取付対象部であるトラカールの外観構成を示す斜視図、図６は取付対象部の第１変形例を示す構成斜視図、図７は取付対象部の第２変形例を示す構成斜視図である。また、図８及び図９は本実施例のバーチャル画像表示装置の表示動作を説明するもので、図８は図１に示す術者用モニタの表示例を示し、図９はバーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャートをそれぞれ示している。
【００１７】
図１に示すように、本実施例のバーチャル画像表示装置１は、内視鏡システムと組み合わせて構成され、具体的には、観察手段としての内視鏡２、センサ３ａ、センサ３ａを内視鏡２装着するための取付対象部３Ａ（例えばトラカール３７）、ＣＣＵ（カメラコントロールユニット）４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された術者用モニタ３２を有している。
【００１８】
内視鏡２は、図３及び図４に示すような腹腔鏡を用いている。この腹腔鏡は、被検体の体腔内に挿入するための挿入部３７Ａと、挿入部３７Ａの基端側に設けられた把持部３７Ｂと、この把持部３７Ｂに設けられた接眼部３７Ｃとから構成される。また、挿入部３７Ａの内部には、照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能である。把持部３７Ｂには、ライトガイドコネクタ２ａが設けられている。このライトガイドコネクタ２ａには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置５からの照明光により観察部位を照明する。
【００１９】
接眼部３７Ｃには、図４に示すようにＣＣＤを内蔵したカメラヘッド２Ａが接続される。このカメラヘッド２Ａには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２Ｂが設けられている。このカメラヘッド２Ａの後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。
【００２０】
このような内視鏡（腹腔鏡）２は、手術時、後述するセンサ３ａを装着するための取付対象部であるトラカール３７（図５参照）に挿通されて用いられるようになっている。  
このトラカール３７は、図５に示すように、被検体の体腔内に挿入するための挿入部３７Ａ１と、挿入部３７Ａ１の基端側に設けられた本体部３７Ｂ１と、この本体部３７Ｂ１の外周上に延設された延設部３７ｂとを有しており、この延設部３７ｂ上に前記センサ３ａが装着されている。本体部３７Ｂ１には、送気用コネクタ７ａが設けられている。この送気用コネクタ７ａには、一端を気腹器７に接続された送気用チューブの他端に設けられたコネクタが接続される。これにより、気腹器７からの送気により腹腔内を膨らませて内視鏡２の視野や処置のための空間領域を確保する。
【００２１】
内視鏡２は、上記構成のトラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部３７Ａを腹部領域に挿入して、観察光学系を介して得られた腹腔内の観察像をカメラヘッド２Ａを介してＣＣＵ４に供給する。
【００２２】
ＣＣＵ４は、図２に示すように、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。
【００２３】
ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。
【００２４】
光源装置５は、ライトガイドケーブル内のライトガイドを介して内視鏡２に設けられた照明光学系に対して照明光を供給するための光源装置である。  
電気メス装置６は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。  
また気腹器７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に空気を送気するものである。
【００２５】
これらの光源装置５，電気メス装置６，気腹器７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。
【００２６】
また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び術者用モニタ３２が配されている。  
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、前記術者用モニタ３２が設置されるようになっている。  
術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有している。
【００２７】
また、本実施例では、内視鏡２の視野方向に基づくバーチャル画像を生成し表示するために、術者３１の腕部や、内視鏡２を挿通するトラカール３７等の取付対象部３Ａにセンサ３ａが装着されている。このセンサ３ａは、例えばジャイロセンサ等のセンサがユニットに収容されており、トラカール３７などの取付対象部３Ａの腹部領域への挿入角度等の情報を検出し、接続線１１ａを介して後述するバーチャル画像生成部１１に供給する。なお、センサ３ａは、接続線１１ａを介して前記バーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。また、前記取付対象部３Ａの具体的な構成については後述する。
【００２８】
システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。
【００２９】
通信Ｉ／Ｆ１８は、ＣＣＵ４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。
【００３０】
このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の参照用モニタ１３やバーチャル画像表示用のモニタ１７、あるいは術者用モニタ３２に表示される表示画像に対応したホワイトバランスボタン、気腹器７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャルエンドスコピー画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。
【００３１】
なお、本実施例では、前記センサ３ａを有するユニットに例えば押下式のスイッチを設け、このスイッチを押下操作することにより、前記リモコン１２Ａの各ボタンによる機能の実行が可能となるように構成しても良い。  
したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。
【００３２】
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。
【００３３】
表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを切替部２１Ａを介して参照用モニタ１３及び後述する内視鏡画像用モニタ１３ａに出力する。これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。この場合、前記切替部２１Ａは、ＣＰＵ２０による切替え制御によって、内視鏡ライブ画像データの出力を切替えて、前記参照用モニタ１３、内視鏡画像用モニタ１３ａに対し出力することが可能である。  
また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａは、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。
【００３４】
ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａの表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。
【００３５】
一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。  
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。
【００３６】
ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ   Ｖｅｒｓａｔｉｌｅ   Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。
【００３７】
メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。
【００３８】
通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、取付対象部３Ａに設けられたセンサ３ａに接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記センサ３ａからの検出信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。
【００３９】
表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用モニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用モニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用モニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。
【００４０】
前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
【００４１】
ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００４２】
また、ＣＰＵ２５には、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、前記術者３１に設けられたセンサ３ａからの検出結果に基づき、バーチャル画像を生成する画像処理手段を備えている。ＣＰＵ２５は、この画像処理手段を用いて生成された、検出結果に応じたバーチャル画像、すなわち、内視鏡リアル画像に対応したバーチャル画像を、切替部２７Ａにより切替えて指定したモニタ１７、１７ａに表示させる表示制御を行う。
【００４３】
なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。
【００４４】
次に、前記取付対象部３Ａによるセンサの装着方法について図５を参照しながら説明する。  
本実施例では、センサ３ａは、図５に示すように、術者３１により用いられる取付対象部３Ａとしてのトラカール３７に設けられている。  
このトラカール３７は、上述したように本体部３７Ｂ１の外周上に延設された延設部３７ｂを有し、この延設部３７ｂ上に前記センサ３ａが装着されている。なお、このセンサ３ａは、図中に示す波線のように前記本体部３７Ｂ１の外周上に装着しても良く、あるいは図示はしないが本体部３７Ｂ１の外周に着脱自在に嵌合する延設部を設け、この延設部に装着するように構成しても良い。
【００４５】
したがって、このようにセンサ３ａをトラカール３７に装着することにより、このトラカール３７に挿通される内視鏡２の挿入方向がトラカール３７の挿入方向と略一致することになるので、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。
【００４６】
また、本実施例では、前記取付対象部３Ａは、前記トラカール３７に替えて、図１及び図４に示すように、術者３１の腕部とし、この腕部にセンサ３ａを装着しても良い。この場合、センサ３ａは、袋状に形成された滅菌処理済みのテープ部材３Ｂに収容されて術者３１の腕部に貼着されるようになっている。したがって、この場合も術者３１の腕部の方向は、トラカール３７に挿通される内視鏡２のスコープ方向（挿入方向）と類似するものであることから、上記同様に一致させることが可能となり、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。
【００４７】
なお、本実施例では、前記取付対象部３Ａとして、例えば、図６の第１変形例に示すように、滅菌処理可能なワンタッチ式のアームバンド４０を設け、このアームバンド４０の内周面にテープ部材３Ｂに収容したセンサ３ａを取付けても良い。また、アームバンド４０自体が滅菌処理済みの袋状に形成されたものである場合には、テープ部材３Ｂに収容せずにセンサ３ａをその袋状のアームバンド４０に収容して動かないように固定すれば良い。  
第１変形例では、このようなアームバンド４０には、両端側に着脱自在なマジックテープ状の凸部４０ａ、凹部４０ｂが設けられているので、術者３１によるセンサ３ａの装着が容易となる。
【００４８】
また、本実施例では、前記取付対象部３Ａとして、例えば、図７の第２変形例に示すように、内視鏡（腹腔鏡）２を手術台４１に保持するとともに、自在に移動可能なスコープホルダ４２を用いても良い。  
このスコープホルダ４２は、例えば図７に示すように、手術台４１に固定する固定部４３と、この固定部４３に固定される支持部４４と、この支持部４４に第１の腕部４６を上下方向に移動可能に支持する第１の接続部４５と、前記第１の接続部４５とは反対側に設けられ、スライド支持部４７Ａが回転自在に接続された第２の接続部４７と、前記スライド支持部４７Ａ上をスライド可能なスライド部４８を有し、このスライド部４８に伸縮可能に設けられた第２の腕部４９と、前記スライド部４８とは反対側に設けられ、内視鏡２を保持するための第３の接続部５０とを有している。この第３の接続部５０は、内視鏡２の把持部３７Ｂ（具体的には内視鏡２の挿入部３７Ａと把持部３７Ｂの境付近）を保持固定するための保持部５０Ａを有し、この保持部５０Ａにより内視鏡２を回転自在に保持している。
【００４９】
第２変形例のスコープホルダ４２では、前記第３の接続部５０の例えば側面側にテープ部材３Ｂに収容したセンサ３ａを取付けることにより、上述した図５に示すトラカール３７の構成例と同様に、保持部５０Ａにより保持される内視鏡２の挿入方向が第３の接続部の移動方向と略一致することになるので、センサ３ａによって内視鏡２の挿入角度等の情報を検出することが可能となる。
【００５０】
なお、本実施例では、前記センサ３ａをトラカール３７、あるいは術者３１の腕部、あるいはスコープホルダ４２の第３の接続部５０に装着した場合について説明したが、これに限定されることはなく、例えば、術者３１の帽子や、スリッパ等に装着しても良い。
【００５１】
次に、本実施例のバーチャル画像表示装置の制御例を図８及び図９を参照しながら説明する。  
図１に示すバーチャル画像表示装置１を有する内視鏡システムを用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、該内視鏡システムの電源が投入されているものとすると、バーチャル画像生成部１１のＣＰＵ２５は、オペレータがマウス１５またはキーボード１６を用いてバーチャル画像表示の指示を受け付けると、図示しない記録部に記録されているバーチャル画像表示用プログラムを起動する。すると、ＣＰＵ２５は、バーチャル画像を表示するのに必要な画面をモニタ１７表示させる。
【００５２】
そして、オペレータは、このモニタ１７上に表示された画面を見ながら、例えば患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。
【００５３】
図示しない画像処理手段は、入力された情報に基づき、内視鏡２の挿入点及び注目点に対応するバーチャル画像を生成する。ＣＰＵ２５は、生成されたバーチャル画像データをバーチャル画像用モニタ１７、及び術者用モニタ３２に表示する。
【００５４】
このとき、手術を行っている術者側の術者用モニタ３２内の内視鏡画像用モニタ１３ａには、システムコントローラ１０のＣＰＵ２０の表示制御により、内視鏡ライブ画像が表示され、この表示を見ながら術者３１は手術を行うことになる。この場合、内視鏡２は、図５に示すようなトラカール３７にセンサ３ａがセットされた状態にて使用されている。
【００５５】
手術を行っている場合、本実施例では、バーチャル画像生成部１１のＣＰＵ２５は、図９に示す検出プログラムを起動する。この検出プログラムは、センサ３ａによってトラカール３７や術者３１の腕部の挿入方向（センサ３ａが術者３１の帽子やスリッパ等に装着されている場合には術者の視点方向）を検出し、この検出結果に基づくバーチャル画像を表示するためのプログラムである。
【００５６】
例えば、いま、手術中に、術者３１によって内視鏡２の挿入部の腹部領域に対する傾きが生じたものとする。この場合、参照用モニタ１３及び内視鏡画像用モニタ１３ａ（図８参照）に内視鏡２の傾きに応じた内視鏡ライブ画像が表示されているとすると、本実施例では、ＣＰＵ２５による制御によって、内視鏡２の傾きがセンサ３ａによって常に検出され（ステップＳ１）、この検出結果に基づくバーチャル画像をＣＰＵ２５内の画像処理手段によって生成し(ステップＳ２）、生成した画像をモニタ１７及び術者用モニタ３２のバーチャル画像用モニタ１７ａ（図８参照）に表示させる（ステップＳ３）。
【００５７】
これにより、内視鏡２の挿入部が傾いたときの内視鏡ライブ画像に対応するバーチャル画像を、バーチャル画像用モニタ１７ａに表示させることができるので、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報（バーチャル画像）を得ることが可能となる。
【００５８】
したがって、本実施例によれば、センサ３ａをトラカール３７あるいは術者３１の腕部に装着するだけで、内視鏡２の挿入角度に対応するバーチャル画像を自動的に内視鏡ライブ画像とともに表示することができるので、術者は、手術をしながらも内視鏡観察画像の観察領域の被検体の生体画像情報（バーチャル画像）を確実に得られて手術を円滑に行うことが可能となり、使い勝手が良く、しかも簡単な構成で且つ低コストでバーチャル表示装置を実現できる。
【００５９】
また、本実施例では、内視鏡２を挿通するトラカール３７，あるいは術者３１の腕部にセンサ３ａが設けられているので、内視鏡２の操作部の軽量化を図ることができるため、内視鏡２の操作性を向上させることも可能である。
【００６０】
さらに、本実施例では、前記センサ３ａを術者３１の帽子や、スリッパ等に装着した場合には、術者３１が見たい方向に頭や足を移動させることにより、センサ３ａによって術者の向き（視点方向）を検出することができるので、ＣＰＵ２５による制御によって術者のその向き（視点方向）に応じたバーチャル画像を表示させることができる。すなわち、術者３１は、見たい方向からへ体を動かすだけで、その見たい方向からのバーチャル画像の表示が可能であるため、術者３１は内視鏡画像に表示されている観察部位の後ろに配された血管等の立体的な位置関係を容易に把握することができ、処置を確実に行うことが可能となる。
【００６１】
なお、本実施例では、内視鏡２を挿通するトラカール３７のみにセンサ３ａを設けた場合について説明したが、例えば内視鏡２を操作する術者、処置具を用い手鉗子処置を行う術者及び助手の術者で手術を行う場合には、内視鏡２を挿通するトラカール３７以外にも各処置具を挿通するそれぞれのトラカール３７にセンサ３ａをそれぞれ設けるとともに、各術者に対応する術者用モニタを設けてそれぞれのセンサ３ａの検出結果に基づくバーチャル画像を表示させるように構成しても良い。
【００６２】
また、本実施例では、前記内視鏡２は、挿入部の先端部が自在に湾曲可能な湾曲部を有する内視鏡であっても良い。この場合、前記センサ３ａに前記湾曲部の湾曲角度を検出する機能を設ければ、この湾曲部の湾曲角度に応じたバーチャル画像の表示が可能となる。また、センサ３ａを収容するユニットに磁気センサを設けるとともに、この磁気センサに磁気を照射する手段を設ければ、ＣＰＵ２５による演算処理によって内視鏡２の挿入量も検出することができ、すなわち、内視鏡２の挿入量に基づくバーチャル画像を表示することも可能である。この場合、磁気センサではなく、ロータリーエンコーダを用いて内視鏡２の挿入量を検出するように構成しても良い。
【００６３】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００６４】
［付記］  
（１）内視鏡の挿入部の観察方向を示す情報を検出する検出手段と、
被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と
前記検出手段により検出された情報に基づき前記バーチャル画像データ記憶手段に記憶されたバーチャル画像データを処理するバーチャル画像データ処理手段と、
前記バーチャル画像データに基づくバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能なバーチャル画像表示手段の表示制御を行うバーチャル画像表示制御手段と、
を具備したことを特徴とするバーチャル画像表示装置。
【００６５】
（２）前記検出手段は、前記内視鏡を挿通するトラカールの基端側に設けたことを特徴とする付記（１）に記載のバーチャル画像表示装置。
【００６６】
（３）前記内視鏡の挿入部の軸上に前記検出手段の装着が可能な取付手段を有し、この取付け手段は、前記内視鏡を用いる術者の腕部に前記検出手段を貼り付けて装着することを特徴とする付記（３）に記載のバーチャル画像表示装置。
【００６７】
（４）前記検出手段は、ジャイロセンサを有するセンサユニットで構成されたものであることを特徴とする付記（２）に記載のバーチャル画像表示装置。
【００６８】
（５）前記センサユニットは、滅菌処理済みの袋状のテープ部に収容されたもので、このテープ部は、前記内視鏡を操作する術者の腕部に貼着されたことを特徴とする付記（４）に記載のバーチャル画像表示装置。
【００６９】
（６）前記内視鏡を、術者の操作により上下左右方向に移動可能に保持するスコープホルダを備え、このスコープホルダと前記内視鏡との接続部分に前記センサユニットを設けたことを特徴とする付記（４）に記載のバーチャル画像表示装置。
【００７０】
（７）前記センサユニットは、術者の帽子、あるいはスリッパに装着したことを特徴とする付記（４）に記載のバーチャル画像表示装置。
【産業上の利用可能性】
【００７１】
本発明のバーチャル画像表示装置は、簡単な構成で且つ低コストで、内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることができるので、内視鏡観察画像では得られない被検体の生体画像情報がさらに必要な症例等の手術を行う場合には特に有効である。
【図面の簡単な説明】
【００７２】
【図１】本発明のバーチャル画像表示装置の第１実施例を示し、装置を備えた内視鏡システムの全体構成を示す概略構成図。
【図２】図１の内視鏡システムの全体構成を示すブロック図。
【図３】図１の内視鏡の外観構成を示す斜視図。
【図４】取付対象部が術者の腕部の場合の構成例を示す斜視図。
【図５】センサを装着する取付対象部であるトラカールの外観構成を示す斜視図
【図６】取付対象部の第１変形例を示す構成斜視図。
【図７】取付対象部の第２変形例を示す構成斜視図。
【図８】本実施例の表示動作を説明するもので、図１に示す術者用モニタの表示例を示す図。
【図９】本実施例の表示動作を説明するもので、バーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャート。
【符号の説明】
【００７３】
１…バーチャル画像表示装置、
２…内視鏡、
２Ａ…カメラヘッド、
２Ｂ…リモートスイッチ、
２ａ…ライトガイドコネクタ、
３Ａ…取付対象部、
３Ｃ…テープ部材、
３ａ…センサ、
４…ＣＣＵ、
５…光源装置、
６…電気メス装置、
７…気腹器、
８…超音波駆動電源、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャル画像生成部、
１１ａ…接続線、
１２Ａ…リモコン、
１２Ｂ…音声入力マイク
１３…参照用モニタ、
１３ａ…内視鏡画像用モニタ、
１５…マウス、
１６…キーボード、
１７…モニタ、
１７ａ…バーチャル画像用モニタ、
２４…メモリ、
２４、２５…ＣＰＵ、
３０…患者、
３１…術者、
３２…術者用モニタ、
３７…トラカール、
３７Ａ…挿入部、
３７Ｂ…把持部、
３７Ｃ…接眼部、
３７Ａ１…挿入部、
３７Ｂ１…本体部、
３７ｂ…延設部、
４０…アームバンド、
４１…手術台、
４２…スコープホルダ、
５０Ａ…保持部。  
代理人    弁理士    伊藤  進
【図１】
2005211533.tif 000003
【図２】
2005211533.tif 000004
【図３】
2005211533.tif 000005
【図４】
2005211533.tif 000006
【図５】
2005211533.tif 000007
【図６】
2005211533.tif 000008
【図７】
2005211533.tif 000009
【図８】
2005211533.tif 000010
【図９】
2005211533.tif 000011