(57)【要約】【課題】容易に内視鏡の光学特性に応じたレンダリング画像が得られる手術支援システムを実現する。【解決手段】手術支援システム１は、医療用画像データに基づき、手術対象部位周辺の仮想的な体腔内画像データを表示するように構成されている。手術支援システム１は、医療用画像に対し、手術対象部位周辺の仮想的な体腔内画像データを生成する画像データ生成手段としてバーチャル画像生成部１１の制御部２５と、内視鏡の光学特性データを記憶する記憶手段としてのＲＦＩＤタグ４４と、このＲＦＩＤタグ４４から内視鏡の光学特性データを取得し、この内視鏡の光学特性データに応じてバーチャル画像生成部１１の制御部２５が行う画像生成処理を指示制御する制御手段として、システムコントローラ１０の制御部２０とを具備して構成されている。【選択図】図７
2006218129.tif 000002
【特許請求の範囲】
【請求項１】
医療用画像データに基づき、手術対象部位周辺の仮想的な体腔内画像データを表示する手術支援システムであって、
前記医療用画像データに対し、手術対象部位周辺の仮想的な体腔内画像データを生成する画像データ生成手段と、
内視鏡の光学特性データを記憶する記憶手段と、
前記記憶手段から内視鏡の光学特性データを取得し、この内視鏡の光学特性データに応じて前記画像データ生成手段が行う画像生成処理を指示制御する制御手段と、
を具備したことを特徴とする手術支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手術支援システムに係り、特に仮想的な３次元画像を参照画像として用いる手術支援システムに関する。
【背景技術】
【０００２】
近年、コンピュータの処理速度の高速化により、内視鏡システムは、手術支援システムと組み合わされて使用されるようになってきている。  
上記手術支援システムは、３次元領域の医療用画像データを用いて仮想的な３次元画像としてボリュームレンダリング画像（以下、単にレンダリング画像）を再構築し、内視鏡等を被検体の対象部位へ導くためのナビゲーション画像や対象部位周辺を確認するための参照画像としてモニタの表示画面に表示可能である。
【０００３】
このような従来の手術支援システムは、例えば、特開２０００−１３５２１５号公報に記載されているように気管支内視鏡装置に用いられている。  
上記公報に記載の手術支援システムは、被検体の３次元領域の医療用画像データに基づいて被検体内の管路の３次元像を作成し、この３次元像上で管路に沿って目的点までの経路を求め、経路に沿った管路の仮想的なレンダリング画像を医療用画像データに基づいて作成しモニタに表示することで、気管支内視鏡を対象部位に案内（ナビゲーション）するものである。
【０００４】
上記気管支内視鏡装置に用いられる手術支援システムは、特に術者が途中で操作指示することなく、予め指定した経路のレンダリング画像が表示される。このため、上記手術支援システムは、視線方向が限定される気管支などの体内の管路への気管支内視鏡の案内（ナビゲーション）において使い勝手が良い。  
一方、これに対して、従来の手術支援システムは、外科手術に用いられる場合、内視鏡画像の他に、レンダリング画像を参照画像として表示するようになっている。
【０００５】
一般に、外科手術において、術者は、内視鏡画像を見ながら電気メス等の処置具を用いて外科的処置を施している。このとき、術者は、例えば、臓器周辺の血管がどのようにはっているかや臓器の裏側はどうなっているかなど確認するために手術対象部位周辺のレンダリング画像を参照している。
【０００６】
したがって、上記手術支援システムは、気管支内視鏡等のナビゲーションに用いる場合に比べて、手術中、その場で、術者の見たい参照画像としてレンダリング画像を表示させる必要がある。  
このため、上記従来の手術支援システムは、術者の指示に基づき、看護師又はオペレータがマウスやキーボード等を操作してレンダリング画像を表示させている。
【０００７】
しかしながら、上記従来の手術支援システムは、手術中において、術者が所望のレンダリング画像を看護師又はオペレータに説明することが面倒であり、また、時間も掛かるので所望のレンダリング画像を表示することが困難であった。  
また、上記従来の手術支援システムは、音声入力手段により術者が直接、システムコントローラに音声指示を発してシステム全体を制御できるように構成されているが、所望のレンダリング画像をモニタに表示させるためには複雑な操作が必要であり、レンダリング操作に熟練したオペレータでないと所望のレンダリング画像を表示することが困難であった。
【特許文献１】特開２０００−１３５２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、内視鏡は、直視型内視鏡や斜視型内視鏡等その種類によって視野方向や観察倍率等の光学特性が異なっている。このため、従来の手術支援システムでは、内視鏡の視野方向や観察倍率等の光学特性を考慮してレンダリング画像を表示する必要があり、そのための操作が煩雑である。
【０００９】
本発明は、上記事情に鑑みてなされたもので、容易に内視鏡の光学特性に応じたレンダリング画像が得られる手術支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、医療用画像データに基づき、手術対象部位周辺の仮想的な体腔内画像データを表示する手術支援システムであって、前記医療用画像データに対し、手術対象部位周辺の仮想的な体腔内画像データを生成する画像データ生成手段と、内視鏡の光学特性データを記憶する記憶手段と、前記記憶手段から内視鏡の光学特性データを取得し、この内視鏡の光学特性データに応じて前記画像データ生成手段が行う画像生成処理を指示制御する制御手段と、を具備したことを特徴としている。
【発明の効果】
【００１１】
本発明の手術支援システムは、容易に内視鏡の光学特性に応じたレンダリング画像を得ることができるという効果を有する。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の一実施例を説明する。
【実施例１】
【００１３】
図１ないし図１２は本発明の一実施例に係り、図１は一実施例の手術支援システムの全体構成図、図２は図１の内視鏡の外観構成を示す斜視図、図３は図２の内視鏡の接眼部にカメラヘッドを取り付けて術者が把持している際の様子を示す斜視図、図４はセンサを装着する取付対象部であるトラカールの外観構成を示す斜視図、図５は直視型内視鏡の挿入部先端部を示す概略図、図６は斜視型内視鏡の挿入部先端部を示す概略図、図７は図１の手術支援システムのブロック図、図８は図１の手術支援システムの作用を説明するフローチャート、図９は内視鏡画像の第１表示例を示す図、図１０は図９の内視鏡画像に対応したバーチャル画像の表示例を示す図、図１１は内視鏡画像の第２表示例を示す図、図１２は図１１の内視鏡画像に対応したバーチャル画像の表示例を示す図である。
【００１４】
図１に示すように、本実施例の手術支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、被検体の体腔内を観察可能な観察手段としての内視鏡２、被検体の処置を行う少なくとも２つの第１、第２の処置具３８，３９、各センサ３ａを前記内視鏡２及び第１、第２の処置具３８，３９にそれぞれ装着するための取付対象部３Ａ（例えばトラカール３７）、内視鏡画像生成手段としてのＣＣＵ４、光源装置５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された３つの第１〜第３術者用モニタ３２，３４，３６を有している。
【００１５】
内視鏡２としては、図２に示すような腹腔鏡を用いている。この腹腔鏡は、被検体の体腔内に挿入するための挿入部３７Ａと、挿入部３７Ａの基端側に設けられた把持部３７Ｂと、この把持部３７Ｂに設けられた接眼部３７Ｃとを有して構成されている。  
挿入部３７Ａの内部には、照明観察光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能である。
【００１６】
把持部３７Ｂには、ライトガイドコネクタ２ａが設けられている。このライトガイドコネクタ２ａには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、内視鏡２は、照明光学系を介して光源装置５からの照明光により観察部位を照明するようになっている。
【００１７】
図３に示すように接眼部３７Ｃには、ＣＣＤを内蔵したカメラヘッド２Ａが接続されるようになっている。このカメラヘッド２Ａには、観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２Ｂが設けられている。このカメラヘッド２Ａの後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。
【００１８】
このような内視鏡（腹腔鏡）２は、手術時、後述するセンサ３ａを装着するための取付対象部であるトラカール３７に挿通されて用いられるようになっている。また、このトラカール３７は、内視鏡２の他、第１、第２術者３１，３５によって用いられる第１、第２処置具３８，３９を挿通して装着することができるようになっている。
【００１９】
本実施例では、内視鏡２及び第１、第２の処置具３８、３９の挿入方向に基づくバーチャル画像表示を生成し表示するために、第１〜第３術者３１，３３，３５の腕部や内視鏡２及び第１、第２処置具３８，３９をそれぞれ挿通するトラカール３７等の取付対象部３Ａにセンサ３ａが装着されている。
【００２０】
図４に示すように、前記トラカール３７は、被検体の体腔内に挿入するための挿入部３７Ａ１と、挿入部３７Ａ１の基端側に設けられた本体部３７Ｂ１と、この本体部３７Ｂ１の外周上に延設された延設部３７ｂとを有している。  
本体部３７Ｂ１には、送気用コネクタ７ａが設けられている。この送気用コネクタ７ａには、一端を気腹装置７に接続された送気用チューブの他端に設けられたコネクタが接続されている。これにより、トラカール３７は、気腹装置７からの送気により腹腔内を膨らませて内視鏡２の視野や処置のための空間領域を確保可能である。
【００２１】
このようなトラカール３７は、延設部３７ｂ上にスイッチ３Ｂを有するセンサ３ａが装着されている。尚、このセンサ３ａは、図中に示す波線のように前記本体部３７Ｂ１の外周上に装着しても良く、或いは図示はしないが本体部３７Ｂ１の外周に着脱自在に嵌合する延設部を設け、この延設部に装着するように構成しても良い。
【００２２】
これらのセンサ３ａは、例えばジャイロセンサ等のセンサがユニットに収容されており、トラカール３７などの取付対象部３Ａの腹部領域への挿入角度等の情報を検出し、それぞれ接続線（不図示）を介して後述するバーチャル画像生成部１１に供給するようになっている。
【００２３】
尚、各センサ３ａは、接続線を介して前記バーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。また、センサ３ａには、術者によってバーチャル画像の表示モードの実行或いは変更、切替え等の操作を行うための押しボタン式のスイッチ３Ｂが設けられている。
【００２４】
したがって、本実施例では、センサ３ａをトラカール３７に装着することにより、このトラカール３７に挿通される内視鏡２や第１，第２処置具３８，３９の挿入方向がトラカール３７の挿入方向と略一致することになるので、各センサ３ａによって内視鏡２及び第１，第２処置具３８，３９の挿入角度等の情報を検出することが可能となる。
【００２５】
前記内視鏡２は、手術時、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部３７Ａを腹部領域に挿入される。内視鏡２は、対物光学系により取り込んだ内視鏡像をカメラヘッド２Ａに内蔵されたＣＣＤ等の撮像部により腹部領域を撮像される。この撮像信号は、ＣＣＵ４に供給されるようになっている。
【００２６】
また、内視鏡２は、図５に示す直視型内視鏡４０Ａや図６に示す斜視型内視鏡４０Ｂ等その種類によって視野方向や観察倍率等の光学特性が異なっている。尚、図５及び図６において、符号４１は照明光学系であり、符号４２は対物光学系であり、符号４３は処置具挿通用チャンネルの開口部である。  
内視鏡２の光学特性には、例えば、表１に示すように視野方向、視野角、観察深度、観察距離、視野範囲、観察倍率等がある。
【表１】
2006218129.tif 000003
【００２７】
本実施例では、例えば、表１に示すような内視鏡の光学特性に応じてバーチャル画像を画像処理するようになっている。  
図７に示すように内視鏡２は、その種類に応じた光学特性データを記憶した記憶手段として例えば、ＲＦＩＤ（ Radio Frequency IDentification ）タグ４４を設けている。このＲＦＩＤタグ４４は、無線通信により内視鏡の個別の光学特性データを前記ＣＣＵ４に送信するようになっている。尚、内視鏡の光学特性データを記憶する記憶手段としては、ＲＦＩＤタグ４４に限らず、ＩＣメモリ等のメモリであってもよい。また、公知の内視鏡識別手段を設けることにより、前記ＣＣＵ４に記憶手段を設けるように構成してもよい。
【００２８】
前記ＣＣＵ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０に供給するようになっている。また、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画或いは動画に基づく画像データがＣＣＵ４からＶＴＲ９に選択的に出力されるようになっている。尚、システムコントローラ１０の詳細な構成ついては後述する。
【００２９】
また、前記ＣＣＵ４は、前記内視鏡２に設けられてＲＦＩＤタグ４４から送信される内視鏡２の光学特性データを図示しない受信部により受信して前記システムコントローラ１０の制御部２０に送信するようになっている。  
光源装置５は、ライトガイドを介して前記内視鏡２に照明光を供給するようになっている。電気メス装置６は、例えば患者の腹部領域内の異常部を電気メスプローブ（図示せず）による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源８は、超音波プローブ（図示せず）で前記異常部を切断或いは凝固したりする手術処置装置である。また、気腹装置７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。
【００３０】
これらの光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。  
また、上述したように手術室内には、上記各種機器の他にシステムコントローラ１０及び第１〜第３術者用モニタ３２，３４，３６が配されている。
【００３１】
本実施例では、図１に示したように内視鏡２を操作する術者、鉗子処置を行う術者及び助手の術者の３人の術者による手術を行う場合に対応可能としている。  
この場合、内視鏡の観察下で行う手術等は、例えば、鉗子等の第１の処置具３８を用いて患者３０の被検体の鉗子処置を行う術者を第１術者３１、前記内視鏡２を操作する術者を第２術者３３、第２処置具３９を用いて第１術者の補助作業を行う助手の術者を第３術者３５とし、第１〜第３術者３１，３３，３５は、例えば図１に示した位置で処置を行うものとしている。
【００３２】
このため、本実施例では、第１〜第３術者３１，３３，３５の位置に対応した見やすい位置（視野方向）に、第１〜第３術者用モニタ３２，３４，３６が設置されるようになっている。更に具体的に説明すると、第１術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有し、第１術者３１の見やすい位置に設置されている。また、第２術者用モニタ３４は、内視鏡画像用モニタ１３ｂとこれに並設されるバーチャル画像用モニタ１７ｂとを有し、第２術者３３の見やすい位置に設置されている。さらに、第３術者用モニタ３６は、内視鏡画像用モニタ１３ｃとこれに並設されるバーチャル画像用モニタ１７ｃとを有し、第３術者３５の見やすい位置に設置されている。
【００３３】
システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御手段としての制御部２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。
【００３４】
通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５，電気メス装置６，気腹装置７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、又は内視鏡画像データの送受信を制御部２０によって制御される。尚、通信Ｉ／Ｆ１８は、遠隔操作手段としての術者用のリモコン１２Ａ及び操作指示部としての音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号或いは音声入力マイク１２Ｂの音声指示信号を取り込み、前記制御部２０に供給するようになっている。
【００３５】
このリモコン１２Ａは、図示はしないがホワイトバランスボタン、気腹ボタン、圧力ボタン、録画ボタン、フリーズボタン及びレリーズボタン、画像表示ボタン、２次元表示操作ボタン、３次元表示操作ボタンで、挿入点ボタン、注目点ボタン、表示倍率指示ボタン、表示色ボタン、トラッキングボタン、決定実行操作ボタン、テンキー等を有している。
【００３６】
ホワイトバランスボタンは、例えば内視鏡ライブ画像用の内視鏡画像用モニタ１３やバーチャル画像表示用のモニタ１７、或いはバーチャル画像用モニタ１７ａ〜１７ｃに表示される表示画像に対応したホワイトバランスを行うためのボタンである。
【００３７】
気腹ボタンは、気腹装置７を駆動するためのボタンである。圧力ボタンは、気腹装置７が駆動した際の腹腔内圧力を調整するためのボタンである。録画ボタンは、内視鏡ライブ画像を録画実行するためのボタンである。フリーズボタンは、フリーズを実行するためのボタンである。レリーズボタンは、レリーズを実行するためのボタンである。
【００３８】
画像表示ボタンは、内視鏡ライブ画像或いはバーチャル画像表示を実行するための表示ボタンである。２次元表示操作ボタンは、バーチャル画像を生成する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）である。３次元表示操作ボタンは、バーチャル画像を表示する際の３次元表示（３Ｄ表示）を実行するための操作ボタンである。
【００３９】
挿入点ボタンは、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタンである。注目点ボタンは、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタンである。表示倍率指示ボタンは、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）である。
【００４０】
表示色ボタンは、表示色を変更するためのボタンである。トラッキングボタンは、トラッキングを実行するためのボタンである。決定実行操作ボタンは、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行うボタンである。テンキーは、数値等を入力するためのキーボタンである。
【００４１】
したがって、これらの各ボタンを備えたリモコン１２Ａ（又はスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。  
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記制御部２０によって制御がなされるようになっている。
【００４２】
表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データ或いはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを切替部２１Ａを介して参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃに出力するようになっている。
【００４３】
これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示するようになっている。  
この場合、前記切替部２１Ａは、制御部２０による切替え制御によって、内視鏡ライブ画像データの出力を切替えて、指定された前記参照用モニタ１３、内視鏡画像用モニタ１３ａ〜１３ｃに対し出力することが可能である。
【００４４】
また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃは、内視鏡ライブ画像の表示の他に、前記制御部２０の表示制御により、内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。  
制御部２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２１による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃの表示制御、さらにはリモコン１２Ａ（又はスイッチ）或いはスイッチ３Ｂの操作信号に基づく各種動作制御等を行う。
【００４５】
一方、前記システムコントローラ１０は、バーチャル画像生成部１１に電気的に接続されている。このバーチャル画像生成部１１は、ＣＴ画像データを格納するＣＴ画像データベース２３、メモリ２４、画像データ生成手段としての制御部２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。
【００４６】
ＣＴ画像データベース２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された画像データを取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだＣＴ画像データを格納するようになっている。尚、ＣＴ画像データ取り込み部は、例えばＭＯ( Magneto-Optical disk )装置やＤＶＤ( Digital Versatile Disc )装置等、可搬型の記憶媒体を介して画像データを取り込むようになっている。この画像データの読み出しや書き込みは、制御部２５によって制御される。
【００４７】
メモリ２４は、例えば前記画像データや制御部２５によりこの画像データに基づき生成されたバーチャル画像等のデータを記憶するようになっている。これらのデータの記憶、及び読み出しは、前記制御部２５によって制御がなされるようになっている。
【００４８】
通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、第１〜第３術者３１，３３，３５の取付対象部３Ａに設けられた各センサ３ａ及びスイッチ３Ｂに接続されている。この通信Ｉ／Ｆ２６は、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信を行うようになっている。この制御信号の送受信は、制御部２５によって制御され、制御部２５内に取り込まれるようになっている。
【００４９】
表示Ｉ／Ｆ２７は、前記制御部２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａ〜１７ｃに出力するようになっている。これにより、バーチャル画像用のモニタ１７，１７ａ〜１７ｃは、供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、制御部２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ１７，１７ａ〜１７ｃに出力することが可能である。尚、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用のモニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。
【００５０】
前記制御部２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。
【００５１】
制御部２５は、前記バーチャル画像生成部１１内の各種動作、即ち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａ〜１７ｃの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００５２】
この制御部２５は、レンダリング画像として手術内容に応じたバーチャル画像を生成するようになっており、このバーチャル画像に対して内視鏡２の光学特性データに応じて画像処理するようになっている。尚、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。
【００５３】
次にこのように構成された本実施例の作用について説明する。  
このように、手術支援システム１では、カメラヘッド２Ａにより被検体内の観察像が撮像されると、図８に示すように、ステップＳ１にて内視鏡画像用モニタ１３ａ〜１３ｃに内視鏡画像が表示される。
【００５４】
また、手術支援システム１では、看護師等がバーチャル画像表示前に初期設定を行う。先ず、看護師等は、バーチャル画像表示用のモニタ１７上に表示された画面を見ながら、ば患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。尚、本実施例では、図示はしないが、第１，第２の処置具３８，３９についても同様にそれぞれ必要な情報を画面を見ながら入力する。
【００５５】
そして、手術支援システム１では、ステップＳ２にて手術の進行に応じて術者が例えば「バーチャル表示」等の音声を発すると、ステップＳ３にてこの音声を例えば音声入力マイク１２Ｂが検知し、システムコントローラ１０の制御部２０が音声認識処理により術者の指示を認識する。
【００５６】
システムコントローラ１０の制御部２０は、内視鏡２のＲＦＩＤタグ４４に記憶されている光学特性データを前記ＣＣＵ４を介して取得し（ステップＳ３）、この光学特性データに応じてバーチャル画像を表示するように前記バーチャル画像生成部１１内の制御部２５に対して指示する。
【００５７】
バーチャル画像生成部１１では、入力された情報に基づき制御部２５が、内視鏡２の挿入点及び注目点、第１、第２の処置具３８，３９の挿入点及び注目点に対応するバーチャル画像を生成すると共に、システムコントローラ１０の制御部２０からの制御指示に基づき内視鏡の光学特性データに応じてバーチャル画像を生成する。
【００５８】
上述したように内視鏡２の光学特性には、表１に示す視野方向、視野角、観察深度、観察距離、視野範囲、観察倍率等があり、これらの光学特性データに応じて制御部２５はバーチャル画像を生成する。  
例えば、制御部２５は、内視鏡の観察倍率が５倍であるなら、その倍率に応じてバーチャル画像を拡大表示する。あるいは、制御部２５は、内視鏡の視野方向が例えば４５°であるなら、その視野方向に応じてバーチャル画像を生成する。
【００５９】
制御部２５は、生成したバーチャル画像をバーチャル画像用モニタ１７、及びバーチャル画像用モニタ１７ａ〜１７ｃに表示する。この場合、バーチャル画像用モニタ１７には、主に内視鏡２に対応するバーチャル画像が表示されるが、これ以外にも第１、第２処置具３８，３９に対応するバーチャル画像を指定し表示させるようにしても良い。
【００６０】
図９に示す肝臓付近の内視鏡画像１００に対してバーチャル画像用モニタ１７、及びバーチャル画像用モニタ１７ａ〜１７ｃの表示画面には、例えば図１０に示すようにバーチャル画像１０１が表示される。  
そして、手術を行っている第１〜第３術者側の第１〜第３術者用モニタ３２，３４，３６内の内視鏡画像用モニタ１３ａ〜１３ｃには、システムコントローラ１０の制御部２０の表示制御により、図９に示す内視鏡画像が表示され、この表示を見ながら第１〜第３術者３１，３３，３５は手術を行うことになる。この場合、内視鏡２及び第１、第２の処置具３８，３９は、図４に示したトラカール３７にセンサ３ａがセットされた状態にて使用されている。
【００６１】
手術を行っている際、バーチャル画像生成部１１の制御部２５は、内視鏡画像と一致するように、内視鏡２のセンサ３ａからの検出結果に基づきバーチャル画像を制御部２５によって生成し、生成したバーチャル画像をモニタ１７及び第２術者用モニタ３４のバーチャル画像用モニタ１７ｂに表示させる。また、同時に制御部２５は、第１、第２の処置具３８，３９のセンサ３ａからの検出結果に基づきバーチャル画像を制御部２５によってそれぞれ生成し、生成したバーチャル画像を第１、第３術者用モニタ３２，３６のバーチャル画像用モニタ１７ａ，１７ｃにそれぞれ表示させる。
【００６２】
例えば、手術中に、第２術者３４によって内視鏡２の挿入部の腹部領域に対する回転方向が変わったものとする。この場合、例えば、図１１に示すように参照用モニタ１３や内視鏡画像用モニタ１３ａ〜１３ｃに内視鏡２の回転方向に応じた内視鏡画像１０２が表示される。  
この内視鏡２の回転方向がセンサ３ａによって検出され、制御部２５はこの検出結果に基づくバーチャル画像を生成し、図１２に示すようにバーチャル画像１０３をモニタ１７及び第２術者用モニタ３４のバーチャル画像用モニタ１７ｂに表示させる（ステップＳ５，６）。
【００６３】
尚、制御部２５は、第１，第２の処置具３８．３９についても同様に、各センサ３ａによる各検出結果に基づくバーチャル画像を制御部２５によってそれぞれ生成し、バーチャル画像を第１、第３術者用モニタ３２，３６のバーチャル画像用モニタ１７ａ，１７ｃにそれぞれ表示させる。  
これにより、内視鏡２の挿入部や第１、第２の処置具３８，３９が回転したときの内視鏡画像に対応する各バーチャル画像を、それぞれ対応するバーチャル画像用モニタ１７ａ〜１７ｂに表示させることができ、第１〜第３術者３１，３３，３５は内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることが可能となる。
【００６４】
この結果、本実施例によれば、容易に内視鏡の光学特性に応じたレンダリング画像を得ることができる。
【００６５】
尚、本実施例では、３次元画像について説明しているが２次元画像でも当然本実施例によるフィルタリング処理が可能である。  
また、本実施例では、手術内容の一例として胆管手術の場合について説明しているが、その他の手術例えば、十二指腸手術などの場合についても同様に本実施例による画像生成処理が可能であることは言うまでもない。  
尚、上述した実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。
【産業上の利用可能性】
【００６６】
本発明の手術支援システムは、容易に内視鏡の光学特性に応じたレンダリング画像を得ることができることにより、体腔内観察に適している。
【図面の簡単な説明】
【００６７】
【図１】一実施例の手術支援システムの全体構成図である。
【図２】図１の内視鏡の外観構成を示す斜視図である。
【図３】図２の内視鏡の接眼部にカメラヘッドを取り付けて術者が把持している際の様子を示す斜視図である。
【図４】センサを装着する取付対象部であるトラカールの外観構成を示す斜視図である。
【図５】直視型内視鏡の挿入部先端部を示す概略図である。
【図６】斜視型内視鏡の挿入部先端部を示す概略図である。
【図７】図１の手術支援システムのブロック図である。
【図８】図１の手術支援システムの作用を説明するフローチャートである。
【図９】内視鏡画像の第１表示例を示す図である。
【図１０】図９の内視鏡画像に対応したバーチャル画像の表示例を示す図である。
【図１１】内視鏡画像の第２表示例を示す図である。
【図１２】図１１の内視鏡画像に対応したバーチャル画像の表示例を示す図である。
【符号の説明】
【００６８】
１  手術支援システム
２  内視鏡
３ａ  センサ
１０  システムコントローラ
１１  バーチャル画像生成部
１２Ｂ  音声入力マイク
１３  参照用モニタ
１３ａ〜１３ｃ  内視鏡画像用モニタ
１７  モニタ
１７ａ〜１７ｃ  バーチャル画像用モニタ
２０  制御部
２３  ＣＴ画像データベース
２５  制御部
３２  第１術者用モニタ
３４  第２術者用モニタ
３６  第３術者用モニタ
３７  トラーカール
３８  第１の処置具
３９  第２の処置具
４４  ＲＦＩＤタグ
代理人    弁理士    伊藤  進
【図１】
2006218129.tif 000004
【図２】
2006218129.tif 000005
【図３】
2006218129.tif 000006
【図４】
2006218129.tif 000007
【図５】
2006218129.tif 000008
【図６】
2006218129.tif 000009
【図７】
2006218129.tif 000010
【図８】
2006218129.tif 000011
【図９】
2006218129.tif 000012
【図１０】
2006218129.tif 000013
【図１１】
2006218129.tif 000014
【図１２】
2006218129.tif 000015