(57)【要約】【課題】操作し易く、所望のレンダリング画像が得られる内視鏡手術システムを実現する。【解決手段】内視鏡手術システムは、３次元領域の医療用画像データに基づき生成した対象部位周辺の仮想的な体腔内３次元画像としての体腔内レンダリング画像に対し、操作指示部３２の指示により画像表示に関する所定パラメータを設定指示して所定部位を抽出して抽出画像である処理パターン画像を生成する画像抽出処理部と、この画像抽出処理部が生成した複数の処理パターン画像を合成処理して合成画像を生成する合成処理部とを具備したレンダリング画像生成装置２８Ａを備えて構成されている。【選択図】図２
2005211532.tif 000002
【特許請求の範囲】
【請求項１】
３次元領域の医療用画像データに基づき生成した対象部位周辺の仮想的な体腔内３次元画像に対し、操作指示部の指示により画像表示に関する所定パラメータを設定指示して所定部位を抽出して抽出画像を生成する画像抽出処理手段と、
前記画像抽出処理手段が生成した複数の抽出画像を合成処理して合成画像を生成する合成処理手段と、
を具備したことを特徴とする内視鏡手術システム。
【請求項２】
生成した合成画像に対して指示手段による前記抽出画像への切り換え指示に基づき、当該指示された抽出画像に切り換える切換手段を設けたことを特徴とする請求項１に記載の内視鏡手術システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡手術システムに関し、特に仮想的な３次元画像を参照画像として用いる内視鏡手術システムに関する。
【背景技術】
【０００２】
医療用分野及び工業用分野において、内視鏡装置は、広く用いられている。上記内視鏡装置は、光学式内視鏡の接眼部にテレビカメラを装着したテレビカメラ外付け内視鏡や、挿入部の先端部に撮像装置を内蔵した電子内視鏡により、得られた内視鏡画像をモニタに表示し、この内視鏡画像を見ながら観察・処置を行っている。
【０００３】
上記内視鏡装置を用いた内視鏡手術システムは、内視鏡に照明光を供給する光源装置や内視鏡画像を表示するための映像信号処理回路を備えたカメラコントロールユニット（以下、ＣＣＵ）や内視鏡画像を表示するＴＶモニタの他に、複数の周辺装置として例えば、気腹装置や高周波焼灼電源装置（以下、電気メス）等を用いて、内視鏡観察下において手術を行える。上記内視鏡手術システムは、通常、上記複数の周辺装置をシステムコントローラに接続して集中制御するようになっている。
【０００４】
また、最近、コンピュータの処理速度の高速化により、上記内視鏡手術システムは、３次元領域の医療用画像データを用いて仮想的な３次元画像としてボリュームレンダリング画像（以下、単にレンダリング画像）を再構築し、内視鏡等を被検体の対象部位へ導くためのナビゲーション画像や対象部位周辺を確認するための参照画像としてモニタの表示画面に表示可能になってきている。
【０００５】
このような従来の内視鏡手術システムは、例えば、特開２０００−１３５２１５号公報に記載されているように気管支内視鏡装置に用いられるシステムが提案されている。  
上記公報に記載の内視鏡手術システムは、被検体の３次元領域の医療用画像データに基づいて被検体内の管路の３次元像を作成し、この３次元像上で管路に沿って目的点までの経路を求め、経路に沿った管路の仮想的なレンダリング画像を医療用画像データに基づいて作成しモニタに表示することで、気管支内視鏡を対象部位に案内（ナビゲーション）するものである。
【０００６】
上記気管支内視鏡装置に用いられる内視鏡手術システムは、特に術者が途中で操作指示することなく、予め指定した経路のレンダリング画像が表示される。このため、上記内視鏡手術システムは、視線方向が限定される気管支などの体内の管路への気管支内視鏡の案内（ナビゲーション）において使い勝手が良い。  
一方、これに対して、従来の内視鏡手術システムは、外科手術に用いられる場合、内視鏡画像の他に、レンダリング画像を参照画像として表示するようになっている。
【０００７】
一般に、外科手術において、術者は、内視鏡画像を見ながら電気メス等の処置具を用いて外科的処置を施している。このとき、術者は、例えば、臓器周辺の血管がどのようにはっているかや臓器の裏側はどうなっているかなど確認するために対象部位周辺のレンダリング画像を参照している。
【０００８】
従って、上記内視鏡手術システムは、気管支内視鏡等のナビゲーションに用いる場合に比べて、手術中、その場で、術者の見たい参照画像としてレンダリング画像を表示させる必要がある。  
このため、上記従来の内視鏡手術システムは、清潔域にいる術者の指示に基づき、不潔域にいる看護師又はオペレータがマウスやキーボード等を操作してレンダリング画像を表示させている。
【特許文献１】特開２０００−１３５２１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来の内視鏡手術システムは、手術中において、術者が所望のレンダリング画像を看護師又はオペレータに説明することが面倒であり、また、時間も掛かるので所望のレンダリング画像を表示することが困難であった。
【００１０】
また、上記従来の内視鏡手術システムは、音声入力手段により術者が直接、システムコントローラに音声指示を発してシステム全体を制御できるように構成されているが、所望のレンダリング画像をモニタに表示させるためには複雑な操作が必要であり、レンダリング操作に熟練したオペレータでないと所望のレンダリング画像を表示することが困難であった。
【００１１】
本発明は、上記事情に鑑みてなされたもので、操作し易く、所望のレンダリング画像が得られる内視鏡手術システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明による第１の内視鏡手術システムは、３次元領域の医療用画像データに基づき生成した対象部位周辺の仮想的な体腔内３次元画像に対し、操作指示部の指示により画像表示に関する所定パラメータを設定指示して所定部位を抽出して抽出画像を生成する画像抽出処理手段と、前記画像抽出処理手段が生成した複数の抽出画像を合成処理して合成画像を生成する合成処理手段と、を具備したことを特徴としている。  
また、本発明による第２の内視鏡手術システムは、上記第１の内視鏡手術システムにおいて、生成した合成画像に対して指示手段による前記抽出画像への切り換え指示に基づき、当該指示された抽出画像に切り換える切換手段を設けたことを特徴としている。
【発明の効果】
【００１３】
本発明の内視鏡手術システムは、操作し易く、所望のレンダリング画像が得られるという効果を有する。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の一実施例を説明する。
【実施例１】
【００１５】
図１ないし図７は本発明の一実施例に係わり、図１は内視鏡手術システムを示す全体構図、図２は図１の内視鏡装置及びレンダリング装置の回路ブロック図、図３は図１のレンダリング画像生成装置が行う画像処理のフローチャート、図４は図１のレンダリング画像生成装置が生成した対象部位周辺の体腔内レンダリング画像を示す画像表示例、図５は図４の体腔内レンダリング画像から抽出される処理パターン画像及び、これら処理パターン画像を合成処理して生成される合成画像を示す概念図、図６は図５の合成画像に対して減算処理を行った際の画像表示例、図７は図５の合成画像に対して直接、切換表示を指示して所望のレンダリング画像を得る際の概念図である。
【００１６】
図１に示すように本発明の一実施例の内視鏡手術システム１は、手術台２に横たわる患者３の腹腔に図示しないトラカールを介して挿入され、撮像装置を内蔵したＴＶカメラヘッド４が装着された硬性内視鏡（以下、単に内視鏡）５を設けている。
【００１７】
また、前記内視鏡手術システム１は、気腹を行うための気腹用ガイド管６と、患部に電気的に焼灼処置を行う電気メス用プローブ７とが患者３に穿刺されて設けられている。
【００１８】
そして、前記内視鏡手術システム１には、前記ＴＶカメラヘッド４に接続された信号ケーブル８、前記内視鏡５に接続されたライトガイドケーブル９、前記気腹用ガイド管６に接続された気腹チューブ１０、前記電気メス用プローブ７に接続された信号ケーブル１１がトロリ１２に搭載されたＣＣＵ１３、光源装置（以下では光源と略記）１４、気腹器１５、電気メス１６にそれぞれ接続されている。
【００１９】
前記トロリ１２には、前記ＴＶカメラヘッド４に内蔵した撮像装置に対する信号処理を行う前記ＣＣＵ１３、照明光を供給する前記光源１４、気腹用の気体を供給する前記気腹器１５、焼灼用高周波電力を供給する前記電気メス１６の他に、全体の制御を行うシステムコントローラ１７、ＣＣＵ１３から出力される画像信号を記録するＶＴＲ１８、また、ＣＣＵ１３から出力される画像信号を内視鏡画像として表示する内視鏡用モニタ１９が搭載されている。
【００２０】
また、前記内視鏡手術システム１には、集中操作を行うための集中操作パネル２１、集中表示を行うための集中表示パネル２２がトロリ１２に取り付けられ、更にリモート制御操作を行うリモコン２３が手術台２等に着脱可能に設けてある。  
尚、上記ＣＣＵ１３等の各医療機器は図示しない通信ケーブルでシステムコントローラ１７と接続されており、前記集中操作パネル２１及びリモコン２３により集中操作されるようになっている。
【００２１】
また、システムコントローラ１７は、指示手段として音声を取り込むマイクロフォン（以下、マイク）２４を有して構成されている。このマイク２４は、ヘッドセット２５から延出する信号ケーブルによってシステムコントローラ１７に着脱自在に接続されるようになっている。尚、マイク２４は、例えば、ピン方式のマイクでも良い。
【００２２】
更に、また、システムコントローラ１７とヘッドセット２５とは、赤外線等の無線通信で音声情報の通信を行うように構成しても良い。また、マイク２４は、図示しない顔面装着型映像表示装置ＦＭＤ（ Face Mount Display 又はＨＭＤ； Head Mount Display  とも呼ばれる）と呼ばれるゴーグル型、眼鏡型の装置に取り付けて構成しても良い。
【００２３】
また、システムコントローラ１７は、遠隔操作手段としてフットスイッチ２６が接続されている。尚、システムコントローラ１７には、フットスイッチ２６の代わりに図示しないハンドスイッチが接続されていても良い。
【００２４】
また、システムコントローラ１７は、ＣＣＵ１３から出力される画像信号を受信し、ＶＴＲ１８等に記録させるようになっている。また、システムコントローラ１７は、図示しないレリーズスイッチが押下操作されたときに、ＣＣＵ１３からの静止画像データを受信し、記憶するようになっている。
【００２５】
また、本実施例の内視鏡手術システム１は、３次元領域の医療用画像データを用いて仮想的な体腔内３次元画像としてレンダリング画像を生成して表示可能なレンダリング装置２８を設けて構成されている。  
従来では、清潔域にいる術者の指示に基づき、不潔域にいる看護師又はオペレータがキーボード等を操作して参照画像としてレンダリング画像を表示させている。
【００２６】
本実施例の内視鏡手術システム１は、マイク２４により術者が直接、音声指示を発して、操作し易く、対象部位周辺の所望のレンダリング画像が得られるようにしている。尚、術者からの指示は、マイク２４のみ限らずマウスやキーボード又はリモコン等により行うようにしても良い。  
また、レンダリング画像の画像データは、分配器４１を介して切替器４２に出力され、この切替器４２によりシステムコントローラ１７からの周辺機器情報と切り替えられて表示パネル２２に出力されるようになっている。
【００２７】
図２に示すように、内視鏡５は、ＴＶカメラヘッド４とＣＣＵ１３と内視鏡用モニタ１９とにより内視鏡装置２９を構成している。内視鏡５には、内視鏡挿入部の先端部と被検体との相対的な位置関係を検出するセンサ３１が設けられており、挿入部のひねり角、挿入長等の位置関係情報が検出されるようになっている。尚、本実施例では、硬性内視鏡を用いているが、挿入部が軟性の軟性内視鏡を用いた場合、位置関係情報としては挿入部の挿入速さや湾曲部の湾曲角度等も検出できるようにする。
【００２８】
このセンサ３１により検出された位置関係情報は、システムコントローラ１７に取り込まれ、レンダリング装置２８へ出力されるようになっている。尚、センサ３１は、赤外線等の無線通信を行うように構成してレンダリング装置２８に直接、位置関係情報を与えるようにしても良い。
【００２９】
そして、レンダリング装置２８は、前記センサ３１から得られた位置関係情報に基づき、内視鏡５の挿入部の先端部に追随した、即ち、内視鏡用モニタ１９に表示される内視鏡画像に同期した体腔内レンダリング画像を再構築してレンダリング用モニタ２７に表示するようになっている。
【００３０】
レンダリング装置２８は、レンダリング画像生成装置２８Ａにマウスやキーボード等の操作指示部３２が接続されて構成されている。また、レンダリング装置２８は、レンダリング画像生成装置２８Ａに接続されるパターン画像記憶部３３が設けられている。
【００３１】
レンダリング画像生成装置２８Ａは、前記操作指示部３２の指示により画像表示に関する所定パラメータを設定指示されることで、対象部位周辺の体腔内レンダリング画像から所定部位を抽出して抽出画像を生成するようになっている。そして、レンダリング画像生成装置２８Ａは、生成した抽出画像データをパターン画像記憶部３３に出力し、このパターン画像記憶部３３に記憶させるようになっている。
【００３２】
上記抽出処理を更に、具体的に説明すると、レンダリング装置２８は、対象部位周辺の体腔内レンダリング画像に対して、予め操作指示部３２の設定指示により抽出処理を行って、例えば表１に示すような処理パターン画像を複数生成するようになっている。
【表１】
2005211532.tif 000003
【００３３】
尚、表１は、手術の進行に従って対象臓器に対する処理パターン画像として、対象臓器手前の画像、対象臓器血管画像、対象臓器画像の３つについての処理パターンを示している。  
この表１に示すパラメータは、例えば環境光，拡散光，鏡面光，光強度，透明度，鮮明度等があり、これらのパラメータに基づいて後述する上記処理パターン画像が設定されるようになっている。
【００３４】
ここで、環境光は直接、周囲にある光であり、拡散光は散乱した光であり、鏡面光は拡散状の反射面で、反射波が決まった方向に進む光であり、鮮明度は画像の境界の明瞭さ（コントラスト）である。尚、上記パラメータとしては、他に光減衰度、画角等も有る。
【００３５】
また、レンダリング画像生成装置２８Ａは、抽出した複数の処理パターン画像に対して合成処理を行い、合成画像を生成するようになっている。即ち、レンダリング画像生成装置は、画像抽出処理部及び合成処理部を備えている。尚、レンダリング画像生成装置２８Ａは、合成画像に対して減算処理を行い、減算処理画像を生成するように構成しても良い。
【００３６】
そして、レンダリング装置２８は、対象部位周辺の体腔内レンダリング画像に対して、術者の音声指示がマイク２４からシステムコントローラ１７を介してレンダリング画像生成装置２８Ａに伝達されると、この音声指示に従ってパターン画像記憶部３３から読み出した上記処理パターン画像から合成画像を生成して所望のレンダリング画像をレンダリング用モニタ２７に表示するようになっている。尚、マイク２４は、赤外線等の無線通信で音声情報の通信を行うように構成してレンダリング画像生成装置２８Ａに直接、音声指示を与えるようにしても良い。
【００３７】
このように構成されている内視鏡手術システム１は、図１で説明したように構成されて内視鏡下手術に用いられる。  
ここで、レンダリング画像生成装置２８Ａは、図３に示すフローチャートに基づいて画像処理を行う。
【００３８】
先ず、手術前にレンダリング画像生成装置２８Ａは、術者又は看護師又はオペレータのにより操作指示部３２を操作されて、図４に示す対象部位周辺の体腔内レンダリング画像から表１で説明したパラメータを設定され、抽出処理を行う（ステップＳ１）。そして、レンダリング画像生成装置２８Ａは、図５に示すような処理パターン画像を生成する。尚、血管は、例えば手前の臓器から透けて見えるような画像処理を施している。  
ここで、処理パターン画像としては、表１で設定されたパラメータに従って、対象臓器手前の画像、対象臓器血管画像、対象臓器画像が生成される。  
上記生成された処理パターン画像は、パターン画像記憶部３３に記憶される。  
以上、ここまでが内視鏡下手術前の準備段階である。
【００３９】
そして、術者は、内視鏡下手術に臨む。  
内視鏡５は、挿入部が患者の体腔内へ挿入されてこの内視鏡５で得られた内視鏡像がＴＶカメラヘッド４により撮像される。ＴＶカメラヘッド４は、内視鏡像を撮像して光電変換し、撮像信号をＣＣＵ１３へ出力する。ＣＣＵ１３は、撮像信号を信号処理して画像信号を生成し、この画像信号を内視鏡用モニタ１９に出力して内視鏡画像を内視鏡用モニタ１９に表示させる。
【００４０】
術者は、内視鏡画像を見ながら、レンダリング画像を参照して電気メス１６等を使用し、処置を行う。  
このとき、レンダリング画像生成装置２８Ａは、前記センサ３１から得られた位置関係情報に基づき、内視鏡５の挿入部の先端部に追随した、即ち、内視鏡用モニタ１９に表示される内視鏡画像に同期した体腔内レンダリング画像を再構築してレンダリング用モニタ２７に表示している。
【００４１】
ここで、術者は、レンダリング用モニタ２７に表示された対象部位周辺の体腔内レンダリング画像（図４参照）に対して、マイク２４から「画像合成」を指示する。  
すると、レンダリング画像生成装置２８Ａは、マイク２４からの音声指示が有るか否かを判断し（ステップＳ２）、音声指示が「画像合成」で有る場合、パターン画像記憶部３３から上記３つの処理パターン画像を読み出して図５に示すように上記３つの処理パターン画像を合成処理し（ステップＳ３）、生成した合成画像をレンダリング用モニタ２７に表示する。
【００４２】
そして、手術の進行に従って、術者は、マイク２４から音声指示を発して上記合成画像に対して所望のレンダリング画像をレンダリングモニタ２７に表示させる。  
ここで、術者は、内視鏡画像を見ながらレンダリング画像を参照しつつ、対象臓器に対して電気メス等により処置を行う。そして、レンダリング画像生成装置２８Ａは、術者が終了させるまで次の音声指示に従い、上記Ｓ２，Ｓ３を繰り返す。
【００４３】
これにより、術者は、所望のレンダリング画像を参照でき、内視鏡画像が見にくくなったときに所望のレンダリング画像により対象臓器を確認できる。  
従って、本実施例の内視鏡手術システム１は、操作し易く、所望のレンダリング画像が得られる。
【００４４】
尚、レンダリング画像生成装置２８Ａは、合成処理として図６に示すような減算処理を行っても良い。  
更に、具体的に説明すると、術者が「対象臓器手前  削除」と音声指示を発すると、レンダリング画像生成装置２８Ａは、合成画像に対して対象臓器手前の画像を減算処理し、対象臓器に血管がはっている画像をレンダリング用モニタ２７に表示する。
【００４５】
更に、術者が「対象臓器血管  削除」と音声指示を発すると、レンダリング画像生成装置２８Ａは、上記対象臓器に血管がはっている画像から対象臓器血管画像を減算処理し、対象臓器のみの対象臓器画像をレンダリング用モニタ２７に表示する。  
これにより、術者は、手術の進行に従ったレンダリング画像を参照でき、内視鏡画像が見にくくなったときにレンダリング画像により対象臓器を確認できる。
【００４６】
尚、内視鏡手術システム１は、手術の進行に従わなくても、図７に示すように直接、切換表示を指示して合成画像に対して所望のレンダリング画像を得るようにしても構わない。更に、具体的に説明すると、術者が「対象臓器画像」と音声指示を発すると、レンダリング画像生成装置２８Ａは、パターン画像記憶部３３に記憶されている処理パターン画像から「対象臓器画像」データを読み出し、合成画像から直接、対象臓器画像に切り換える。  
これにより、術者は、手術の進行に従わなくても、直接、所望のレンダリング画像を得ることができる。
【００４７】
尚、本実施例の内視鏡手術システム１は、内視鏡挿入部の先端部と被検体との相対的な位置関係として挿入部のひねり角、挿入長等の位置関係情報を検出するセンサ３１を設けて構成しているが、本発明はこれに限定されず、内視鏡画像の画像処理により、体腔内組織の位置、角度を検出することで内視鏡挿入部の先端部と被検体との相対的な位置関係を検出するように構成しても良い。
【００４８】
また、本発明は、以上述べた実施例のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【００４９】
［付記］
（付記項１）
３次元領域の医療用画像データに基づき生成した対象部位周辺の仮想的な体腔内３次元画像に対し、操作指示部の指示により画像表示に関する所定パラメータを設定指示して所定部位を抽出して抽出画像を生成する画像抽出処理手段と、
前記画像抽出処理手段が生成した複数の抽出画像を合成処理して合成画像を生成する合成処理手段と、
を具備したことを特徴とする内視鏡手術システム。
【００５０】
（付記項２）
生成した合成画像に対して指示手段による前記抽出画像への切り換え指示に基づき、当該指示された抽出画像に切り換える切換手段を設けたことを特徴とする付記項１に記載の内視鏡手術システム。
【００５１】
（付記項３）
前記画像抽出処理手段が生成した抽出画像を記憶するパターン画像記憶部を有し、
前記合成処理手段は、前記パターン画像記憶部から前記抽出画像を読出して合成処理して合成画像を生成する
ことを特徴とする付記項１に記載の内視鏡手術システム。
【００５２】
（付記項４）
前記パラメータは、環境光，拡散光，鏡面光，光強度，透明度，鮮明度，減衰度，画角であることを特徴とする付記項１に記載の内視鏡手術システム。
【００５３】
（付記項５）
前記処理パターン画像は、対象臓器手前の画像，対象臓器血管画像、対象臓器画像であることを特徴とする付記項１に記載の内視鏡手術システム。
【００５４】
（付記項６）
３次元領域の医療用画像データに基づき生成した対象部位周辺の仮想的な体腔内３次元画像に対し、操作指示部の指示により画像表示に関する所定パラメータを設定指示して所定部位を抽出して抽出画像を生成する画像抽出処理手段と、
前記画像抽出処理手段が生成した複数の抽出画像を合成処理して合成画像を生成する合成処理手段と、
を具備したことを特徴とする画像処理装置。
【００５５】
（付記項７）
前記合成処理手段は、生成した合成画像に対して指示手段による前記抽出画像への切り換え指示に基づき、当該指示された抽出画像に切り換えることを特徴とする付記項６に記載の画像処理装置。
【００５６】
（付記項８）
前記画像抽出処理手段が生成した抽出画像を記憶するパターン画像記憶部を有し、
前記合成処理手段は、前記パターン画像記憶部から前記抽出画像を読出して合成処理して合成画像を生成する
ことを特徴とする付記項６に記載の画像処理装置。
【００５７】
（付記項９）
前記パラメータは、環境光，拡散光，鏡面光，光強度，透明度，鮮明度，減衰度，画角であることを特徴とする付記項６に記載の画像処理装置。
【００５８】
（付記項１０）
前記処理パターン画像は、対象臓器手前の画像，対象臓器血管画像、対象臓器画像であることを特徴とする付記項６に記載の画像処理装置。
【図面の簡単な説明】
【００５９】
【図１】内視鏡手術システムを示す全体構図である。
【図２】図１の内視鏡装置及びレンダリング装置の回路ブロック図である。
【図３】図１のレンダリング画像生成装置が行う画像処理のフローチャートである。
【図４】図１のレンダリング画像生成装置が生成した対象部位周辺の体腔内レンダリング画像を示す画像表示例である。
【図５】図４の体腔内３次元画像から抽出される処理パターン画像及び、これら処理パターン画像を合成処理して生成される合成画像を示す概念図である。
【図６】図５の合成画像に対して減算処理を行った際の画像表示例である。
【図７】図５の合成画像に対して直接、切換表示を指示して所望のレンダリング画像を得る際の概念図である。
【符号の説明】
【００６０】
１  内視鏡手術システム
４  ＴＶカメラヘッド
５  内視鏡
１３  ＣＣＵ
１７  システムコントローラ
１９  内視鏡用モニタ
２４  マイク
２７  レンダリング用モニタ
２８  レンダリング装置
２８Ａ  レンダリング画像生成装置
２９  内視鏡装置
３１  センサ
３２  操作指示部
３３  パターン画像記憶部
代理人    弁理士    伊藤  進
【図１】
2005211532.tif 000004
【図２】
2005211532.tif 000005
【図３】
2005211532.tif 000006
【図４】
2005211532.tif 000007
【図５】
2005211532.tif 000008
【図６】
2005211532.tif 000009
【図７】
2005211532.tif 000010