(57)【要約】【課題】内視鏡観察下において、内視鏡観察画像にこの内視鏡観察画像ではみえない周辺部のバーチャル画像を重畳表示することにより、外科手術等の手術をより円滑に行えるように支援する。【解決手段】本発明の手術支援システム１は、内視鏡画像５１Ａと、この内視鏡画像５１Ａの視点位置に合わせたバーチャル画像とを表示して術者３１を支援するもので、前記内視鏡画像５１Ａでは見えてない周辺部（血管５３Ａ等）に関するバーチャル画像データを取得し、このバーチャル画像データに基づくバーチャル画像５２Ａを前記内視鏡画像５１Ａに重畳して表示する重畳表示制御手段（ＣＰＵ２５、合成回路２５Ａ）を有している。【選択図】  図２
2006198032.tif 000002
【特許請求の範囲】
【請求項１】
内視鏡画像と、この内視鏡画像の視点位置に合わせたバーチャル画像とを表示して術者を支援する手術支援システムであって、
前記内視鏡画像では見えてない周辺部に関するバーチャル画像データを取得し、このバーチャル画像データに基づくバーチャル画像を前記内視鏡画像に重畳して表示する重畳表示制御手段を有していることを特徴とする手術支援システム。
【請求項２】
前記重畳表示制御手段は、前記内視鏡画像に重畳表示するバーチャル画像を、前記内視鏡画像に対して識別可能とする色で表示することを特徴とする請求項１に記載の手術支援システム。
【請求項３】
前記重畳表示制御手段は、前記内視鏡画像に重畳表示するバーチャル画像を、前記内視鏡画像に対して識別可能な輝度レベルで表示することを特徴とする請求項１又は請求項２に記載の手術支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示することにより術者を支援する手術支援システムに関する。
【背景技術】
【０００２】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ   Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。
【０００４】
このような３次元画像を用いる方法は、例えば外科手術等における低浸襲手術を行う場合にも利用される。  
一般に、外科手術等における低浸襲手術では、大きく切開する手術に比べて術野が制限されるので術者は治療部位と手術処置具との位置関係を直接的に把握することが困難である。  
このため、例えば特開２００１−２９３００６号公報等では、手術処置具及び被検体の３次元位置姿勢情報を計測し、この３次元位置姿勢情報に基づいて予め記憶された被検体の断層像情報から所望の断層像を抽出し、この抽出された断層像上に手術処置具の三次元位置姿勢情報に基づく投影像を付加して表示することで、術者が表示される画像と現在の視点との位置姿勢関係を容易に把握できる手術ナビゲーション装置が提案されている。
【０００５】
また、腹部領域の体内の臓器を被検体とする診断においては、従来より、主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。  
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているが一般的である。
【特許文献１】特開２００１−２９３００６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来より、内視鏡観察下で脳内の被検体に対する脳外科手術等を行う場合、内視鏡観察画像の観察領域の被検体の生体画像情報（動脈、静脈の配置の画像情報や、関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。  
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった腹部領域の術前に使用するものであり、実際の内視鏡システムと併用して実際の脳外科手術等に使用することはできず、術者に対して必要な被検体の生体画像情報を提供することはできない。
【０００７】
内視鏡観察下で脳内の被検体に対する脳外科手術等は、開頭された小さな孔を介して硬性鏡などの手術処置具を挿入して手術を行わなければならないため、前記したように術野が制限されてしまい、脳の狭い血管（静脈や静脈）部分しか観察することができない。
【０００８】
このため、前記従来の特開２００１−２９３００６号公報に記載の手術ナビゲーション装置は、断層像上に手術処置具の三次元位置姿勢情報に基づく投影像を付加して表示することで、術者が表示される画像と現在の視点との位置姿勢関係を容易に把握できるが、さらに被検体の詳細な生体画像情報を得ることができないため、結果として、術者は狭い観察視野状態となるために細心の注意を払いながら血管のパイパス手術等を行わなければならず、手術に多くの時間を費やしてしまうといった問題点があった。
【０００９】
本発明は、前記問題点に鑑みてなされたものであり、内視鏡観察下において、内視鏡観察画像にこの内視鏡観察画像ではみえない周辺部のバーチャル画像を重畳表示することにより、外科手術等の手術をより円滑に行えるように支援することができる手術支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の手術支援システムは、内視鏡画像と、この内視鏡画像の視点位置に合わせたバーチャル画像とを表示して術者を支援する手術支援システムであって、前記内視鏡画像では見えてない周辺部に関するバーチャル画像データを取得し、このバーチャル画像データに基づくバーチャル画像を前記内視鏡画像に重畳して表示する重畳表示制御手段を有していることを特徴とするものである。
【発明の効果】
【００１１】
本発明の手術支援システムは、内視鏡観察下において、内視鏡観察画像にこの内視鏡観察画像ではみえない周辺部のバーチャル画像を重畳表示することにより、外科手術等の手術をより円滑に行えるように支援することができるといった利点がある。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施例を説明する。  
【実施例１】
【００１３】
図１乃至図１０は本発明の手術支援システムの実施例１に係り、図１は実施例１の手術支援システムの全体構成を示す概略構成図、図２は図１の手術支援システムの全体構成を示すブロック図、図３は硬性鏡の位置に応じたバーチャル画像を生成するのに必要な座標変換を示す説明図、図４は硬性鏡の内視鏡画像の一例を示す表示図、図５は本実施例の表示例を示し、内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図、図６は脳内の基本となる血管の配置状態を示し、図６（Ａ）は動脈、図６（Ｂ）は静脈を示し、図７は図６（Ａ）の動脈上の所定箇所の内視鏡画像を示す表示図、図８は図７の観察視野内の内視鏡画像を拡大すると同時にこの内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図、図９はバーチャル画像生成部のＣＰＵによるメイン制御手順を示すフローチャート、図１０は図９の手術実行モード実行処理のサブルーチンを示すフローチャートである。
【００１４】
図１に示すように、本実施例の手術支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、観察手段としての硬性鏡２Ｂを有する内視鏡装置２、ＣＣＵ（カメラコントロールユニット）４、光源装置５、電気メス装置６、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、情報入力手段であるマウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された術者用モニタ３２を有している。
【００１５】
内視鏡装置２は、脳外科手術等を行うための観察手段である硬性鏡２Ｂと、この硬性鏡２Ｂを固定する機能を備え、この硬性鏡２Ｂにより撮像された内視鏡画像を表示する表示部２ｂ及び接眼部２ａ等を有する固定装置２Ａとを有している。
【００１６】
硬性鏡２Ｂは、図３に示すように開頭された孔を介して術部領域内に挿入するための挿入部と、挿入部の基端側に設けられた把持部と、この把持部に設けられた接眼部とから構成され、例えば把持部及び接眼部が前記固定装置２Ａ内に固定されるようになっている。挿入部の内部には、照明光学系及び観察光学系が設けられており、被検体の観察部位を照明し、被検体の観察像を得ることが可能である。  
なお、図示はしないが把持部には、ライトガイドコネクタが設けられている。このライトガイドコネクタには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置５からの照明光により観察部位を照明する。
【００１７】
また、図示しない接眼部には、前記固定装置２Ａ内に設けられた、ＣＣＤを内蔵したカメラヘッド（図示せず）が接続される。このカメラヘッド（図示せず）の後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。
【００１８】
固定装置２Ａの内部には、前記カメラケーブルに接続された表示部２ｂが設けられている。この表示部２ｂは、硬性鏡２Ｂにより撮像された被検体の観察像を表示する。固定装置２Ａの所定箇所には、術者がこの表示部２ｂに表示された被検体の観察像を見ながら手術を行うための接眼部２ａが設けられている。  
また、固定装置２Ａの側面側には、観察像のズームイン／アウトなどの操作や表示モードの変更操作／実行操作などの操作を行うためのリモートスイッチ２Ｃが設けられている。
【００１９】
なお、本実施例では、硬性鏡２Ｂが固定装置２Ａに固定された一体型の内視鏡装置２について説明したが、これに限定されることはなく、例えば硬性鏡２Ｂと固定装置２Ａとを別体にしても良い。また、硬性鏡２Ｂのみの構成や、電子顕微鏡を用いた構成としても良い。
【００２０】
硬性鏡２Ｂは、前記固定装置２Ａによって患者頭部内に保持されながら前記挿入部を開頭された孔を介して頭部領域に挿入して、観察光学系を介して得られた頭部内の観察像をカメラヘッドを介してＣＣＵ４に供給する。
【００２１】
ＣＣＵ４は、図２に示すように、硬性鏡２Ｂからの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡ライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。
【００２２】
ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。
【００２３】
光源装置５は、ライトガイドケーブル内のライトガイドを介して硬性鏡２Ｂに設けられた照明光学系に対して照明光を供給するための光源装置である。  
電気メス装置６は、例えば患者の術部（脳内）の異常部を電気熱を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。  
これらの光源装置５，電気メス装置６及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。
【００２４】
また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び術者用モニタ３２が配されている。  
本実施例では、例えば患者３０の頭部領域内に硬性鏡２の挿入部を挿入して被検体を撮像する術者３１が、図１に示すような位置で処置を行うものとすると、この術者３１は前記内視鏡装置２内の表示部２ｂを見ながら手術を行うことになるが、他の術者用として同じ内視鏡画像等を表示可能な前記術者用モニタ３２が設置されるようになっている。  
術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有している。
【００２５】
システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。
【００２６】
通信Ｉ／Ｆ１８は、ＣＣＵ４、光源装置５、電気メス装置６、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。    キャプチャ回路１８Ａは、ＣＣＵ４からの内視鏡画像データが供給され、ＣＰＵ２０の制御により、表示部２ｂや前記参照用モニタ１３及び内視鏡画像用モニタ１３ａ等に表示する静止画あるいは動画の内視鏡画像データを取り込み、画像ファイルとして通信Ｉ／Ｆ１８を介してバーチャル画像生成部１１に出力する。
【００２７】
なお、通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ、リモートスイッチ２Ｃ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａやリモートスイッチ２Ｃの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。
【００２８】
このリモコン１２Ａ及びリモートスイッチ２Ｃは、図示はしないが例えば内視鏡ライブ画像用の参照用モニタ１３やバーチャル画像表示用のモニタ１７、あるいは術者用モニタ３２や表示部２ｂに表示される表示画像に対応したホワイトバランスボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（硬性鏡２Ｂの術部領域に対する挿入情報で、例えば硬性鏡２Ｂを挿入する術部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する術部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。
【００２９】
なお、硬性鏡２Ｂの術部領域に対する挿入情報は、図２に示すマウス１５やキーボード１６を有して構成される情報入力部３Ｂを用いて入力しても良い。
【００３０】
したがって、これらの各ボタンを備えたリモートスイッチ２Ｃ（またはリモコン１２Ａ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。
【００３１】
メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。
【００３２】
表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを参照用モニタ１３及び後述する内視鏡画像用モニタ１３ａに出力する。これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。
【００３３】
また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａは、内視鏡ライブ画像の表示の他に、ＣＰＵ２０の表示制御により、内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。
【００３４】
ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２１による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａの表示制御、さらにはリモートスイッチ２Ｃ（またはリモコン１２Ａ）の操作信号に基づく各種動作制御等を行う。
【００３５】
一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。  
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７を有している。
【００３６】
ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ   Ｖｅｒｓａｔｉｌｅ   Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。
【００３７】
メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。
【００３８】
通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、例えば硬性鏡２Ｂに設けられたセンサ３Ａ（図２参照）に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記センサ３Ａからの検出信号の受信やリモートスイッチ２Ｃからの操作信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。
【００３９】
表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像をバーチャル画像用のモニタ１７、１７ａ及び内視鏡装置２内の表示部２ｂに出力する。これにより、バーチャル画像用モニタ１７、１７ａ及び表示部２ｂは供給されたバーチャル画像を表示する。
【００４０】
前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、前記したようにこのバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための情報入力部である。
【００４１】
ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａ及び表示部２ｂの表示制御、さらにはリモートスイッチ２Ｃ、マウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。
【００４２】
また、ＣＰＵ２５には、ＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、前記硬性鏡２Ｂの挿入位置情報またはセンサ３Ａからの検出結果に基づき、バーチャル画像をそれぞれ生成する合成回路２５Ａを備えている。ＣＰＵ２５は、この合成回路２５Ａを用いて生成された、硬性鏡２Ｂの挿入位置に応じたバーチャル画像、すなわち、内視鏡ライブ画像に対応したバーチャル画像をモニタ１７、１７ａ及び表示部２ｂに表示させる表示制御を行う。
【００４３】
なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。
【００４４】
また、本実施例では、硬性鏡２Ｂの術部領域に対する挿入情報は、硬性鏡２Ｂが固定装置２Ａによって固定されているので、予め挿入方向及び挿入位置等の情報を入力しておけば硬性鏡２Ｂの挿入移動量についてはＣＰＵ２５よる演算処理によって求めることができる。この場合、必要な数値入力は、前記リモートスイッチ２Ｃやリモコン１２Ａ、あるいは情報入力部であるマウス１５やキーボード１６を用いて行えば良い。
【００４５】
また、硬性鏡２Ｂの術部領域に対する挿入情報は、前記硬性鏡２Ｂに図２に示すようにセンサ３Ａを設けて、硬性鏡２Ｂの術部領域に対する挿入情報を取得しても良い。  
また、本実施例では、図３に示す方法によって、硬性鏡２Ｂの術部領域に対する挿入情報を取得しても良い。この方法は、例えば特開２００１−２９３００６号公報に記載されているように、硬性鏡２Ｂに赤外線ＬＥＤを三角形状に配置したセンシングプレート２Ｄを設けるとともに、患者３０の頭部に同様のセンシングプレート２Ｅをテープにて貼り付け、このセンシングプレート２Ｄ、２Ｅが計測範囲内に位置するように図示しないセンサアセンブリを配置する。そして、このセンサアセンブリは、これら赤外線ＬＥＤが発光している状態を映像で捉え、この捉えた映像を基に次元位置情報を計測し、計測結果を通信Ｉ／Ｆ２６を介してＣＰＵ２５に供給する。
【００４６】
そして、ＣＰＵ２５は、図３に示すように、予め計測結果に基づき算出した座標変換行列ｅＨｃ３３、座標変換行列ｐＨｅ３４、座標変換行列ｍＨｐ３５を用いて、予めメモリ２４に記憶された硬性鏡２Ｂの後端３６の位置をオブジェクト座標系ｍ上の座標値へ変換する。また、同時に、カメラ座標系ｃの原点に一致する硬性鏡２Ｂの先端３７の位置も、座標変換行列ｐＨｅ３４、座標変換行列ｍＨｐ３５を用いて、オブジェクト座標系ｍ上の座標値へ変換する。また、ＣＰＵ２５は、オブジェクト座標系ｍ上の座標値へ変換された硬性鏡２Ｂの先端３７の位置を用いてモニタ１７、１７ａ、（表示部２ｂ）上で表示する三方向の断層像を抽出し、被検体の断層像データ３０Ａとしてメモリ２４またはＣＴ画像ＤＢ部２３に記憶しておく。
【００４７】
次に、実施例１の手術支援システム１の制御例を図１、図２及び図４〜図１０を参照しながら説明する。  
最初に、手術支援システム１のバーチャル画像表示機能における基本動作を説明する。
【００４８】
図１に示すバーチャル画像生成部１１を有する内視鏡システムを用いて、患者の頭部領域内の被検体の手術を行うものとする。このとき、内視鏡システムの電源が投入されているものとすると、バーチャル画像生成部１１のＣＰＵ２５は、オペレータがマウス１５またはキーボード１６を用いてバーチャル画像表示の指示を受け付けると、図示しない記録部に記録されているバーチャル画像表示用プログラムを起動する。すると、ＣＰＵ２５は、バーチャル画像を表示するのに必要な画面をモニタ１７に表示させる。
【００４９】
そして、オペレータは、このモニタ１７上に表示された画面を見ながら、例えば患者の術部領域のどの位置に硬性鏡２Ｂを挿入するかの情報（術部領域のＺ方向の数値（挿入点）、必要であれば術部領域のＸ方向、Ｙ方向も含む）を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、硬性鏡２Ｂを術部領域に挿入した際の硬性鏡２Ｂの軸方向（注目点）の数値を入力する。
【００５０】
バーチャル画像生成部１１の合成回路２５Ａは、入力された情報に基づき、硬性鏡２Ｂの挿入点及び注目点に対応するバーチャル画像を生成する。ＣＰＵ２５は、生成されたバーチャル画像データをバーチャル画像用モニタ１７、１７ａ及び内視鏡装置２の表示部２ｂに表示する。
【００５１】
このとき、手術を行っている術者側の術者用モニタ３２内の内視鏡画像用モニタ１３ａ及び内視鏡装置２内の表示部２ｂには、システムコントローラ１０のＣＰＵ２０及びバーチャル画像生成部１１のＣＰＵ２５の表示制御により、内視鏡ライブ画像が表示され、この表示を見ながら術者３１は手術を行うことになる。
【００５２】
手術を行っている場合、本実施例では、バーチャル画像生成部１１のＣＰＵ２５は、内視鏡ライブ画像と一致するように、硬性鏡２Ｂのセンサ３Ａからの検出結果や情報入力部３Ｂからの入力情報の演算結果に基づきバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をバーチャル画像用モニタ１７、１７ａ及び表示部２ｂに表示させる。
【００５３】
例えば、いま、手術中に、術者３１によって硬性鏡２Ｂの挿入部が術部領域の挿入方向（Ｚ方向）に移動が生じたものとする。この場合、参照用モニタ１３や内視鏡画像用モニタ１３ａに硬性鏡２Ｂの移動に応じた内視鏡ライブ画像が表示されているとすると、本実施例では、この硬性鏡２Ｂの移動がセンサ３Ａや演算処理によって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をバーチャル画像用モニタ１７、１７ａ及び表示部２ｂに表示させる。
【００５４】
これにより、硬性鏡２Ｂの挿入部が挿入方向に移動したときの内視鏡ライブ画像に対応するバーチャル画像を、対応するバーチャル画像用モニタ１７ａ及び表示部２ｂに表示させることができ、術者３１は内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることが可能となる。
【００５５】
なお、本実施例では、内視鏡装置２は、脳外科手術を行う場合に硬性鏡２Ｂを固定装置２Ａによって予め挿入方向を固定しているので、手術中に傾きが生じないものとして説明したが、硬性鏡２Ｂの傾きが生じた場合でも、この傾きに応じた内視鏡ライブ画像に対応するバーチャル画像を表示することも可能である。
【００５６】
図４に、本実施例の手術支援システム１により表示された、脳外科手術を行う際の内視鏡ライブ画像の一例が示されている。  
図４に示すように、内視鏡装置２内の表示部２ｂ（またはバーチャル画像用モニタ１７ａ）には、脳外科手術を行うため、固定装置２Ａにより患者の頭部領域（脳）内に固定された硬性鏡２Ｂにより撮像された術部の内視鏡ライブ画像５１が表示される。
【００５７】
この場合、表示部２ｂは、この内視鏡ライブ画像５１を観察視野５０内に表示することになる。また、表示部２ｂは、観察視野５０外の領域については例えば黒色等でなにも表示されない無表示部５２を表示している。
【００５８】
術者３１は、接眼部２ａを介して内視鏡装置２内の表示部２ｂに表示された観察視野５０内の内視鏡ライブ画像５１を観察しながら術部（脳内）内の手術を行う。
【００５９】
ところが、図４に示すように、観察視野５０が狭いために、術者３１は内視鏡ライブ画像５１内の周囲の血管５３等の状態に注意をしながら血管５３のパイパス手術等を行わなければならない。このような場合には、単に内視鏡ライブ画像５１のみの表示では、周囲の血管５３の状態を十分に把握出来にくい場合がしばしばある。  
例えば、図４に示すように、壊死状態に近い血管部分５３ａを周囲の正常な血管５３に接続しようとしても、周囲の血管５３が接続して良い血管５３か否かの判断を簡単に行えないで、その判断に時間を要してしまう場合がある。
【００６０】
しかしながら、本実施例の手術支援システム１は、予め容易した同じ部位の周囲の血管５３の状態が解るようなバーチャル画像５２Ａ（内視鏡ライブ画像５１では見えない周辺部のバーチャル画像）を補助画像として生成し、内視鏡ライブ画像５１に重畳して表示する。  
なお、補助画像（バーチャル画像５２Ａ）を生成するのに必要な画像データは、手術を行う患者３０から検査等によって予め取得し、図２のＣＴ画像ＤＢ部２３等に記憶されるようになっている。
【００６１】
図５に、図４に示す内視鏡ライブ画像に観察視野内の背景のバーチャル画像が重畳された表示部の表示例が示されている。図５に示すように、重畳表示制御手段としてのＣＰＵ２５は、観察視野５０内に図４に示すものと同様の内視鏡ライブ画像５１Ａを表示すると同時に、観察視野５０外の領域には内視鏡ライブ画像５１Ａ内の背景の予め決められたバーチャル画像５２Ａを重畳して表示する。
【００６２】
この場合、ＣＰＵ２５は、前記バーチャル画像５２Ａの表示については、補助画像であることがわかるように内視鏡ライブ画像５１Ａとは識別し易い色で表示する。また、ＣＰＵ２５は、表示するバーチャル画像５２Ａとしては、内視鏡ライブ画像５１Ａの血管５３の周囲の血管５３Ａの状態が解るように表示する。
【００６３】
なお、観察視野５０内の内視鏡ライブ画像５１Ａは、必要であれば図５に示すように主要部分のバーチャル画像（例えばバイパス画像５３ｂ等）を重畳表示しても良いし、表示色の輝度レベルを周辺部よりも下げて表示するようにしても良い。また、これらの設定は、術者等によって自在に選択することができるようになっている。
【００６４】
このようにすることにより、術者３１は表示部２ｂに表示されたバーチャル画像５２Ａを参照することによって、観察視野５０の周囲の血管５３Ａの状態を把握し易くなり、手術を円滑に進めることが可能となる。
【００６５】
なお、本実施例では、図６（Ａ）及び図６（Ｂ）に示すように、動脈ａや静脈ｂの世代１、２、３、…を分岐の状態に応じて色分けするなどして表示させても良い。すなわち、手術を行う患者３０から検査等によって図６（Ａ）及び図６（Ｂ）に示すような動脈ａや静脈ｂの分岐状態を予め取得していれば、バーチャル画像５２Ａとして分岐の状態に応じて色分けすることにより、周囲の血管の状態や世代等を考慮して手術を円滑に進めることができるように支援が可能となる。
【００６６】
次に、このようなバーチャル画像表示モードを実行可能とする制御例を図９及び図１０を参照しながら説明する。なお、上述した図５に示すようなバーチャル画像５２Ａを表示するバーチャル画像表示モードを手術実行モードと称すことにする。
【００６７】
いま、手術開始時等に術者３１等によって内視鏡システムの電源を投入したとすると、バーチャル画像生成部１１のＣＰＵ２５は、図示しない記録部に記録されている図９に示すプログラムを起動し、ステップＳ１の処理を実行する。
【００６８】
ステップＳ１の処理では、ＣＰＵ２５は、表示モードの設定を行う。例えば、内視鏡ライブ画像のみの表示モードや、バーチャル画像を表示する表示モード、あるいは術者に支援を行うのに必要なバーチャル画像を重畳する手術実行モード等の表示モードの設定を行う。
【００６９】
そして、ＣＰＵ２５は、続くステップＳ２の判断処理により、その設定された表示モードが内視鏡画像の視点情報に基づく表示モード、つまり内視鏡ライブ画像を表示する表示モードであるか否かを判定し、そうである場合は次のステップＳ３に移行し、そうでない場合にはステップＳ６の処理に移行する。
【００７０】
ステップＳ３の処理では、ＣＰＵ２５は、内視鏡ライブ画像のみの表示モードだと判断して、硬性鏡２Ｂにより撮像された内視鏡ライブ画像を図４に示すように表示部２ｂや参照用モニタ１３及び内視鏡画像用モニタ１３ａに表示させる。その後、ＣＰＵ２５は、続くステップＳ４の判断処理に移行する。
【００７１】
一方、ステップＳ６の処理では、ＣＰＵ２５は、図５にて説明したように予め容易した同じ部位の周囲の血管５３の状態が解るようなバーチャル画像５２Ａを補助画像として合成回路２５Ａによって生成し、内視鏡ライブ画像５１に重畳して表示する手術実行モードを実行する。なお、詳しい処理については図１０のサブルーチンを参照しながら後述する。  そして、ＣＰＵ２５は、次のステップＳ４の判断処理に移行する。
【００７２】
ステップＳ４の判断処理では、ＣＰＵ２５は、表示モードが変更になったか否かを判断し、その後の操作によって変更になったと判断した場合にはステップＳ２に処理を戻し、変更になってないと判断した場合にはステップＳ５の処理により、内視鏡ライブ画像表示モードまたは前記手術実行モードに基づく表示制御を行う。
【００７３】
次に、前記ステップＳ６が実行された場合の制御処理について図１０を参照しながら説明する。  
図９に示すステップＳ６の処理が実行されると、ＣＰＵ２５は、ステップＳ１の処理にて設定された表示モードが図５にて説明した手術実行モードであると判断して、図１０に示すサブルーチンのプログラムを実行する。
【００７４】
すなわち、ＣＰＵ２５は、ステップＳ１０の処理にて内視鏡ライブ画像の視点情報、すなわち、硬性鏡２Ｂの挿入情報をマウス１５やキーボード１６などの情報入力部３Ｂ等から取得し、次のステップＳ１１に移行する。
【００７５】
そして、ＣＰＵ２５は、ステップＳ１１の処理により、情報入力部３Ｂからの入力情報（挿入情報）や硬性鏡２Ｂのセンサ３Ａからの検出結果に基づき、内視鏡ライブ画像と一致するバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し取得する。
【００７６】
その後、ＣＰＵ２５は、ステップＳ１２の処理により、図５に示すように観察視野５０外の内視鏡ライブ画像５１Ａの背景（周辺部）の予め決められたバーチャル画像５２Ａを生成するのに必要な画像データを図２のＣＴ画像ＤＢ部２３等から取得し、そして、合成回路２５Ａによってこの画像データに基づき内視鏡ライブ画像５１Ａの背景のバーチャル画像５２Ａを生成し取得する。
【００７７】
この場合、ＣＰＵ２５は、リモートスイッチ２Ｃ（またはリモコン１２Ａ）等によってズームアップ（拡大処理）操作が合った場合には、この操作信号に基づく倍率で拡大処理を行う。もちろん、拡大処理だけではなく、縮小処理を行うことも可能である。
【００７８】
例えば、患者３０の術部が図６（Ａ）に示す動脈ａであり、硬性鏡２Ｂによって撮像された観察視野５０内の術部が図６（Ａ）に示す動脈ａの世代３，４近傍であるとすると、表示部２ｂは、図７に示すような観察視野５０内の内視鏡ライブ画像６０と、観察視野５０外の無表示部５２を表示する。  
この場合、術者３１が、内視鏡ライブ画像６０内の分岐部６０Ａ近傍に関心部位があり、ズームアップ操作を行ったとすると、ＣＰＵ２５は、合成回路２５Ａによって該当する画像データを拡大処理を行うことにより、例えば図８に示すような所定の倍率で拡大された観察視野５０内の内視鏡ライブ画像６０Ｂ及び観察視野５０外のバーチャル画像５２Ｂを表示部２ｂに表示させることができる。
【００７９】
そして、ＣＰＵ２５は、続くステップＳ１３の処理により、前記ステップＳ１２にて生成されたバーチャル画像５２Ａを、内視鏡ライブ画像５１（図４参照）が表示されている観察視野５０外の無表示部５２に重畳するように合成回路２５Ａによって合成して表示する。
【００８０】
このことにより、表示部２ｂ（またはバーチャル画像用モニタ１７ａ）には、図５に示すような内視鏡ライブ画像５１Ａの他に、観察視野５０外にはこの内視鏡ライブ画像５１Ａの周囲（周辺部）の血管５３Ａ等のバーチャル画像５２Ａが色別に重畳表示されることになる。
【００８１】
したがって、術者３１は表示部２ｂに表示されたバーチャル画像５２Ａを参照することによって、観察視野５０の周囲の血管５３Ａの状態を把握し易くなり、手術を円滑に進めることが可能となる。  
また、前記内視鏡装置２内に、術野とは別に設けられた視野内表示部に本発明の表示部２ｂの表示内容を表示してもよい。
【００８２】
なお、本実施例では、脳外科手術を行うのに適した手術支援システム１について説明したが、これに限定されることはなく、腹部の体腔内の手術を行う場合にも適用可能である。この場合、硬性鏡２Ｂの傾きについても検出することが必要であるとともに、臓器が手術内容によっては動く可能性があるのでこの動きに応じた補正処理（例えば硬性鏡２Ｂの位置補正等）を行う必要がある。
【００８３】
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施例１の手術支援システムの全体構成を示す概略構成図。
【図２】図１の手術支援システムの全体構成を示すブロック図。
【図３】硬性鏡の位置に応じたバーチャル画像を生成するのに必要な座標変換を示す説明図。
【図４】硬性鏡の内視鏡画像の一例を示す表示図。
【図５】本実施例の表示例を示し、内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図。
【図６】脳内の基本となる血管（動脈及び静脈）の配置状態を示す図。
【図７】図６（Ａ）の動脈上の所定箇所の内視鏡画像を示す表示図。
【図８】図７の観察視野内の内視鏡画像を拡大すると同時にこの内視鏡画像に観察視野内の背景のバーチャル画像が重畳された表示図。
【図９】バーチャル画像生成部のＣＰＵによるメイン制御手順を示すフローチャート。
【図１０】図９の手術実行モード実行処理のサブルーチンを示すフローチャート。
【符号の説明】
【００８５】
１…手術支援システム、
２…内視鏡装置、
２Ａ…固定装置、
２Ｂ…硬性鏡、
２Ｃ…リモートスイッチ、
２ａ…接眼部、
２ｂ…表示部、
３Ａ…センサ、
３Ｂ…情報入力部、
５…光源装置、
６…電気メス装置、
８…超音波駆動電源、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャル画像生成部、
１２Ａ…リモコン、
１２Ｂ…音声入力マイク、
１３…参照用モニタ、
１３ａ…内視鏡画像用モニタ、
１５…マウス、
１６…キーボード、
１７、１７ａ…バーチャル画像用モニタ、
１９…メモリ、
２３…ＣＴ画像ＤＢ部、
２４…メモリ、
２５…ＣＰＵ、
２５Ａ…合成回路、
３０…患者、
３１…術者、
５０…観察視野、
５１、５１Ａ、６０…内視鏡ライブ画像、
５２…無表示部、
５２Ａ、５２Ｂ…バーチャル画像、
５３…血管、
５３ｂ…バイパス画像、
６０Ａ…分岐部。  
代理人    弁理士    伊藤  進
【図１】
2006198032.tif 000003
【図２】
2006198032.tif 000004
【図３】
2006198032.tif 000005
【図４】
2006198032.tif 000006
【図５】
2006198032.tif 000007
【図６】
2006198032.tif 000008
【図７】
2006198032.tif 000009
【図８】
2006198032.tif 000010
【図９】
2006198032.tif 000011
【図１０】
2006198032.tif 000012