(57)【要約】【課題】  手技支援に適したバーチャル画像をリアルタイムに手技中に提供する。【解決手段】  手技の進行に応じて術者が例えば「バーチャル進行」等の音声を発し手技バーチャル画像の遷移指示を行うと、該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識し、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、モニタ１７ａに手技iバーチャル画像を表示するように指示する。【選択図】  図３
2005287893.tif 000002
【特許請求の範囲】
【請求項１】
手技の手順に応じた被検体に関する複数のバーチャル画像データを格納した記憶部より前記バーチャル画像データを読み出す画像読み出し手段と、
前記手技の手順を指定する指定手段と、
前記指定手段が指定した前記手技の手順に基づき画像読み出し手段を制御する制御手段と
を備えたことを特徴とする手技支援システム。
【請求項２】
被検体の体腔内を撮像する撮像手段を有する内視鏡と、
前記撮像手段からの撮像信号により内視鏡画像を生成する内視鏡画像生成手段と、
手技の手順に関する情報と、前記被検体に関するバーチャル画像データとを関連づけて記憶する記憶手段と、
前記記憶手段から前記バーチャル画像データを読み出す画像読み出し手段と、
前記内視鏡画像観察下において、前記手技の手順に関する情報を指定する指定手段と、
前記指定手段により指定された前記手技の手順に関する情報に基づいて、前記画像読み出し手段によるバーチャル画像データの読み出しを制御する制御手段と
を備えたことを特徴とする手技支援システム。
【請求項３】
前記記憶部に格納される前記複数のバーチャル画像データを前記被検体の関心部位へのアプローチ毎に管理するバーチャル画像管理手段と
を備えたことを特徴とする請求項１または２に記載の手技支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体に関するバーチャル画像データを生成し、該バーチャル画像データに基づき手技の支援を行う手技支援システムに関する。
【背景技術】
【０００２】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ   Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。  
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
【特許文献１】特開２０００−１３５２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。  
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。
【０００８】
また、例えば実際に手術を行う内視鏡システムに前記画像システムからバーチャル画像を提供して手技を支援する手技支援システムを構築することが考えられるが、リアルな内視鏡画像に支援可能なバーチャル画像を提供する形態が確立できていないために、効果的な手技支援を行うことが困難な状況にある。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することのできる手技支援システムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明の手技支援システムは、手技の手順に応じた被検体に関する複数のバーチャル画像データを格納した記憶部より前記バーチャル画像データを読み出す画像読み出し手段と、前記手技の手順を指定する指定手段と、前記指定手段が指定した前記手技の手順に基づき画像読み出し手段を制御する制御手段とを備えて構成される。
【発明の効果】
【００１１】
本発明によれば、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができるという効果がある。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の実施例について述べる。
【実施例１】
【００１３】
図１ないし図１９は本発明の実施例１に係わり、図１は手技支援システムの構成を示す構成図、図２は図１の内視鏡の構成を示す図、図３は図１の手技支援システムの要部構成を示すブロック図、図４は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第１の図、図５は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第２の図、図６は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第３の図、図７は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第４の図、図８は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第５の図、図９は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第６の図、図１０は図５の手技バーチャル画像を格納するデータベース部の構成を示す図、図１１は図１の手技支援システムの手技中の作用を説明するフローチャート、図１２は図１１の処理を説明する第１の図、図１３は図１１の処理を説明する第２の図、図１４は図１１の処理を説明する第３の図、図１５は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第１の図、図１６は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第２の図、図１７は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第３の図、図１８は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第４の図、図１９は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第５の図である。
【００１４】
図１に示すように、本実施例の手技支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、被検体の体腔内を観察可能な観察手段としての内視鏡２、内視鏡画像生成手段としてのＣＣＵ４、光源５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された内視鏡画像用モニタ１３及びバーチャル画像用モニタ１７ａを有して構成されている。
【００１５】
本実施例では内視鏡２として、図２に示すような腹腔鏡を用いている。この内視鏡（腹腔鏡）２は、被検体の腹腔内に挿入するための挿入部２ｂと、挿入部２ｂの基端側に設けられた把持部２ａとを有して構成される。挿入部２ｂの内部には照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能となっている。
【００１６】
把持部２ａにはライトガイドコネクタ２ｃが設けられ、該ライトガイドコネクタ２ｃには、一端が光源装置５に接続されたライトガイドケーブル２ｆ（図１参照）の他端に接続され、これにより、挿入部２ｂ内の照明光学系を介して光源装置５からの照明光を観察部位に照射できるようになっている。
【００１７】
把持部２ａに設けられた図示しない接眼部には、ＣＣＤ等の撮像手段を有するカメラヘッド２ｄが接続され、このカメラヘッド２ｄには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２ｇが設けられている。また、このカメラヘッド２ｄの基端側にはカメラケーブル２ｅが延設されており、カメラケーブル２ｅの他端にはＣＣＵ４に電気的に接続するための接続コネクタ（図示せず）が設けられている。
【００１８】
図１に戻り、内視鏡２は、手術時、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部を腹部領域に挿入して、ＣＣＤ等の撮像部により腹部領域を撮像し、撮像した撮像信号をカメラヘッド２ｄを介してＣＣＵ４に供給する。
【００１９】
ＣＣＵ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０に供給する。また、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４からＶＴＲ９に選択的に出力される。なお、システムコントローラ１０の詳細な構成ついては後述する。
【００２０】
ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。
【００２１】
光源装置５は、ライトガイドを介して前記内視鏡２に照明光を供給するための光源装置である。  
電気メス装置６は、例えば患者の腹部領域内の異常部を電気メスプローブ（図示せず）による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源８は、超音波プローブ（図示せず）で前記異常部を切断あるいは凝固したりする手術処置装置である。
【００２２】
また気腹装置７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。
【００２３】
これらの光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。
【００２４】
また、手術室内には、上述したＣＣＵ４、ＶＴＲ９、光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８等の各種機器の他にシステムコントローラ１０及び内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが配されている。  
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、患者３０に対して図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが設置されるようになっている。
【００２５】
システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図３に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御手段としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。
【００２６】
通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５，電気メス装置６，気腹装置７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び指定手段としての音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。
【００２７】
このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の内視鏡画像用モニタ１３やバーチャル画像表示用のモニタ１７、あるいはバーチャル（仮想）画像用モニタ１７ａに表示される表示画像に対応したホワイトバランスボタン、気腹装置７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を生成する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際の３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。
【００２８】
したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。
【００２９】
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。
【００３０】
表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び内視鏡画像用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡画像用モニタ１３に出力する。これにより、内視鏡画像用モニタ１３は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。
【００３１】
また、内視鏡画像用モニタ１３は、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。
【００３２】
ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２１による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡画像用モニタ１３の表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。
【００３３】
一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。  
バーチャル画像生成部１１は、図３に示すように、記憶手段としてのＣＴ画像等を格納するデータベース部２３、メモリ２４、画像読み出し手段としてのＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。
【００３４】
データベース部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ   Ｖｅｒｓａｔｉｌｅ   Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。また、データベース部２３にはＣＴ画像データの他に該ＣＴ画像データより生成した生体の各部のレンダリング画像であるバーチャル画像も格納される。
【００３５】
メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。
【００３６】
通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。
【００３７】
表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用のモニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用のモニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。
【００３８】
前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
【００３９】
ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００４０】
なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。
【００４１】
次にこのように構成された本実施例の作用について説明する。本実施例では、バーチャル画像生成部１１において、手技前に被検体のバーチャル画像を元に、例えば臓器切除を行う場合、図４に示すように手技の進行に応じた手技バーチャル画像１１０を生成し、該手技バーチャル画像をデータベース部２３に登録する。
【００４２】
なお、図５ないし図９に各手技バーチャル画像の一例を示す。例えば図５は内視鏡２での観察下での関心臓器１００を含む各臓器の配置を確認するための手技1バーチャル画像１１０（１）を示し、図６は図５において脂肪組織１０１を除去した手技2バーチャル画像１１０（２）を示し、図７は図６において関心臓器１００を覆う他臓器１０２を移動した状態の手技3バーチャル画像１１０（３）を示し、図８は図７において関心臓器１００の血管１０３をクリッピングした状態の手技4バーチャル画像１１０（４）を示し、図９は図８において関心臓器１００の患部組織１０４を除去した状態の手技5バーチャル画像１１０（５）を示している。
【００４３】
これにより、データベース部２３には、図１０に示すように、３次元画像データ（ＣＴ画像データ）からなるＣＴ画像データベース２３ａ，手技バーチャル画像１１０からなるレンダリング画像データベース２３ｂが構築されることになる。
【００４４】
このように、レンダリング画像データベース２３ｂを構築した後に、術者による手技が開始され、カメラヘッド２ｄにより被検体内の観察像が撮像されると、図１１に示すように、ステップＳ１１にて内視鏡画像用モニタ１３に図１２に示すような内視鏡画像２００が表示される。ステップＳ１２ではｉに１を設定する。
【００４５】
そして、ステップＳ１３にて手技の進行に応じて術者が例えば「バーチャル表示」等の音声を発すると、ステップＳ１４にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識し、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、図１２に示すように、モニタ１７ａに図５に示した手技1バーチャル画像１１０（１）を表示するように指示する。
【００４６】
そして、ステップＳ１５にて、この手技1バーチャル画像１１０（１）をモニタ１７ａで参照しながら、モニタ１３の内視鏡画像を観察しながら手技を進行させる。
【００４７】
次に、ステップＳ１６にて、手技の進行に応じて術者が例えば「バーチャル進行」等の音声を発し手技バーチャル画像の遷移指示を行うと、ステップＳ１７にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識しｉをインクリメントし、ステップＳ１４に戻り、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、図１３に示すように、モニタ１７ａに手技iバーチャル画像１１０（ｉ）を表示するように指示する。なお、図１３では図６に示した手技2バーチャル画像１１０（２）が表示された状態を示している。
【００４８】
なお、モニタ１３に内視鏡画像を表示すると共に、モニタ１７ａにバーチャル画像を表示するとしたが、図１４に示すように、モニタ１７ａに内視鏡画像及びバーチャル画像を表示するようにしてもよい。
【００４９】
上記のステップＳ１４〜Ｓ１７をくり返すことで、図５の手技1バーチャル画像１１０（１）→図６の手技2バーチャル画像１１０（２）→図７の手技3バーチャル画像１１０（３）→図８の手技4バーチャル画像１１０（４）→図９の手技5バーチャル画像１１０（５）→手技nバーチャル画像１１０（ｎ）という各手技バーチャル画像１１０が術者の音声指示に基づいて順次、手技の進行に応じてモニタ１７ａに表示される。
【００５０】
このように本実施例では、モニタ１３での内視鏡画像の観察下で手技を実施中に、手技進行（手順）に応じて、術者が音声指示を行うだけで、手技に参照するのに最適な各手技バーチャル画像１１０を順次モニタ１７ａに表示することができるので、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することが可能となる。
【００５１】
なお、図１５ないし図１９に示すように、各手技バーチャル画像１１０に各手技進行に応じた手技内容を文字データとして重畳してよい。図１５は手技1バーチャル画像１１０（１）に手技1の内容を示す「臓器配置確認」という文字データを重畳した状態を示し、図１６は手技2バーチャル画像１１０（２）に手技2の内容を示す「脂肪除去」という文字データを重畳した状態を示し、図１７は手技3バーチャル画像１１０（３）に手技3の内容を示す「処置対象外臓器移動」という文字データを重畳した状態を示し、図１８は手技4バーチャル画像１１０（４）に手技1の内容を示す「血管クリッピング」という文字データを重畳した状態を示し、図１９は手技1バーチャル画像１１０（５）に手技5の内容を示す「患部除去」という文字データを重畳した状態を示している。
【実施例２】
【００５２】
図２０は本発明の実施例２に係る手技支援システムの手技中の作用を説明するフローチャートである。
【００５３】
実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【００５４】
実施例１では特定のアプローチ方向のみの手技を支援するための手技バーチャル画像を提供可能であったが、一般に、関心臓器内の患部位置によって鉗子等の処置具の患部へのアプローチ方向を内視鏡観察下での手技開始時に決定することがある。
【００５５】
そこで、本実施例では、手技前に患部への複数のアプローチ方向を想定し、想定したアプローチ方向毎に手技進行に応じた手技バーチャル画像を生成し、データベース部２３のレンダリング画像データベース２３ｂに格納する。レンダリング画像データベース２３ｂに格納されたアプローチ方向毎に手技進行に応じた手技バーチャル画像は、アプローチ方向毎の例えば表１ないし表３に示すアプローチ1テーブル、アプローチ2テーブル、アプローチ3テーブルによってＣＰＵ２０により管理される。
【表１】
2005287893.tif 000003
【表２】
2005287893.tif 000004
【表３】
2005287893.tif 000005
【００５６】
このようにアプローチ方向毎に手技進行に応じた手技バーチャル画像をデータベース部２３のレンダリング画像データベース２３ｂに格納した後、術者による手技が開始され、カメラヘッド２ｄにより被検体内の観察像が撮像されると、図２０に示すように、ステップＳ３１にて内視鏡画像用モニタ１３に内視鏡画像２００が表示される。
【００５７】
そして、ステップＳ３２にて手技の進行に応じて術者が例えば「バーチャル表示」等の音声を発すると、ステップＳ３３にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識し、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、モニタ１７ａに図５に示した手技1バーチャル画像１１０（１）を表示する。
【００５８】
なおこの手技1バーチャル画像１１０（１）はデフォルトでは、アプローチ1テーブルを参照して選択される。
【００５９】
次に、ステップＳ３４にて術者が例えば「アプローチ１」等の音声を発しアプローチ方向を指定すると、指定したアプローチ方向の番号「ｉ」のアプローチiテーブルを参照してアプローチiの手技1バーチャル画像１１０（１）をモニタ１７ａに表示する。
【００６０】
その後は、実施例１で説明したように、手技の進行に応じて術者が例えば「バーチャル進行」等の音声を発し手技バーチャル画像の遷移指示を行うことで、各手技バーチャル画像１１０が術者の音声指示に基づいて順次、手技の進行に応じてモニタ１７ａに表示される。
【００６１】
このように本実施例では、実施例１の効果に加え、関心臓器内の患部位置によって鉗子等の処置具の患部へのアプローチ方向を内視鏡観察下での手技開始時に決定した場合でも、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することが可能となる。
【００６２】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施例１に係る手技支援システムの構成を示す構成図
【図２】図１の内視鏡の構成を示す図
【図３】図１の手技支援システムの要部構成を示すブロック図
【図４】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第１の図
【図５】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第２の図
【図６】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第３の図
【図７】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第４の図
【図８】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第５の図
【図９】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第６の図
【図１０】図５の手技バーチャル画像を格納するデータベース部の構成を示す図
【図１１】図１の手技支援システムの手技中の作用を説明するフローチャート
【図１２】図１１の処理を説明する第１の図
【図１３】図１１の処理を説明する第２の図
【図１４】図１１の処理を説明する第３の図
【図１５】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第１の図
【図１６】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第２の図
【図１７】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第３の図
【図１８】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第４の図
【図１９】図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第５の図
【図２０】本発明の実施例１に係る手技支援システムの手技中の作用を説明するフローチャート
【符号の説明】
【００６４】
１…手技支援システム
２…内視鏡、
４…ＣＣＵ
５…光源装置
６…電気メス装置
７…気腹装置
８…超音波駆動電源
９…ＶＴＲ
１０…システムコントローラ
１１…バーチャル画像生成部
代理人    弁理士    伊藤  進
【図１】
2005287893.tif 000006
【図２】
2005287893.tif 000007
【図３】
2005287893.tif 000008
【図４】
2005287893.tif 000009
【図５】
2005287893.tif 000010
【図６】
2005287893.tif 000011
【図７】
2005287893.tif 000012
【図８】
2005287893.tif 000013
【図９】
2005287893.tif 000014
【図１０】
2005287893.tif 000015
【図１１】
2005287893.tif 000016
【図１２】
2005287893.tif 000017
【図１３】
2005287893.tif 000018
【図１４】
2005287893.tif 000019
【図１５】
2005287893.tif 000020
【図１６】
2005287893.tif 000021
【図１７】
2005287893.tif 000022
【図１８】
2005287893.tif 000023
【図１９】
2005287893.tif 000024
【図２０】
2005287893.tif 000025