(57)【要約】【課題】簡単でかつリアルタイムに、ライブの内視鏡画像に対応した仮想画像を提供することで手術を支援する。【解決手段】手術支援装置１は、硬性鏡２、ＶＥ画像生成装置３、システムコントローラ４、ＣＣＵ５、光源装置６、気腹器７、電気メス８、超音波処置装置９、ＶＴＲ１０等より構成され、ＶＥ画像生成装置３は、複数のＣＴ画像より構築されたＣＴ画像ＤＢを格納している記録部３１と、挿入量検出部２１、傾斜角センサ２２、ＸＹ挿入点計測装置２５、Ｚ点挿入点計測装置２７及びシステムコントローラ４とデータの送受を行う通信Ｉ／Ｆ部３３と、通信Ｉ／Ｆ部３３により得られた各種データ及びＣＴ画像ＤＢのＣＴ画像に基づきＶＥ画像を構築するＶＥ画像構築部３４とを備えて構成される。【選択図】  図１
2005021355.tif 000002
【特許請求の範囲】
【請求項１】
視野方向を特定可能な内視鏡を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で行われる手術を支援する手術支援装置において、
前記体腔内の複数のＣＴ画像データを記憶するＣＴ画像記憶手段と、
前記内視鏡の前記体腔内への挿入位置を検出する挿入位置検出手段と、
前記内視鏡の挿入量を検出する挿入量検出手段と、
前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、
前記挿入位置、前記挿入量及び前記挿入傾斜角に基づき、前記複数のＣＴ画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想画像構築手段と
を備えたことを特徴とする手術支援装置。
【請求項２】
前記仮想内視鏡像は、前記内視鏡画像と視線方向及び倍率が一致した画像である
ことを特徴とする請求項１に記載の手術支援装置。
【請求項３】
前記仮想内視鏡像は、前記内視鏡画像での血管配置を示す血管配置仮想画像である
ことを特徴とする請求項１または２に記載の手術支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を用いて手術を支援する手術支援装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ    Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ  ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【０００７】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【００１０】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の清潔域である内視鏡システムと併用して実際の手術に使用することはできず、つまり、術者に対して必要な被検体の情報を提供することはできない。
【００１１】
また、例えば実際に手術を行う清潔域の内視鏡システムと、非清潔域の前記画像表示システムをオペレータ側に配置してシステムを構築することも考えられるが、手術中の術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムは未だに提案されてはおらず、実際にこのようなシステムを構築しようとすると、煩雑な構成であるためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。
【００１２】
また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、この３次元画像を表示することはできるが、上述したようにこの３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示して、気管支内視鏡を目的部位にナビゲーションする目的のものであって、内視鏡視野方向が限定される気管支などの体内の管路への内視鏡挿入時のナビゲーションには使い勝手が良いが、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡の挿入方向が限定されない体腔内のバーチャル画像を見たい症例には使い勝手が悪く、つまり、腹腔鏡を含む内視鏡支システムには適合してはいないといった不都合があった。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、簡単でかつリアルタイムに、ライブの内視鏡画像に対応した仮想画像を提供することで手術を支援することのできる手術支援装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
本発明の手術支援装置は、視野方向を特定可能な内視鏡を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で行われる手術を支援する手術支援装置において、前記体腔内の複数のＣＴ画像データを記憶するＣＴ画像記憶手段と、前記内視鏡の前記体腔内への挿入位置を検出する挿入位置検出手段と、前記内視鏡の挿入量を検出する挿入量検出手段と、前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、前記挿入位置、前記挿入量及び前記挿入傾斜角に基づき、前記複数のＣＴ画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想画像構築手段とを備えて構成される。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１６】
図１ないし図２４は本発明の一実施の形態に係わり、図１は手術支援装置の硬性を示す構成図、図２は図１の硬性鏡の使用状態を示す図、図３は図２の硬性鏡の構成を示す図、図４は図２のトラカールの要部の構成を示す図、図５は図１のＸＹ挿入点計測装置の上面を示す上面図、図６は図１のＸＹ挿入点計測装置の側面を示す側面図、図７は図１のＸＹ挿入点計測装置の背面を示す背面図、図８は図１のＺ挿入点計測装置の構成を示す図、図９は図１の手術支援装置の処理の流れを示すフローチャート、図１０は図９のＸＹ挿入点計測処理の流れを示すフローチャート、図１１は図１０のＸＹ挿入点計測処理を説明する第１の図、図１２は図１０のＸＹ挿入点計測処理を説明する第２の図、図１３は図１０のＸＹ挿入点計測処理を説明する第３の図、図１４は図９のＺ挿入点計測処理の流れを示すフローチャート、図１５は図１４のＺ挿入点計測処理を説明する第１の図、図１６は図１４のＺ挿入点計測処理を説明する第２の図、図１７は図９の処理で構築・生成されたＶＥ画像を表示するＶＥ表示画面を示す図、図１８は図１の内視鏡画像表示モニタに表示される内視鏡画像の第１の例を示す図、図１９は図１８の内視鏡画像に対応して表示されるＶＥ表示画面を示す図、図２０は図１の内視鏡画像表示モニタに表示される内視鏡画像の第２の例を示す図、図２１は図２０の内視鏡画像に対応して表示されるＶＥ表示画面を示す図、図２２は図１の内視鏡画像表示モニタに表示される内視鏡画像の第３の例を示す図、図２３は図２２の内視鏡画像に対応して表示されるＶＥ表示画面を示す図、図２４は図２３のＶＥ画像の倍率を変更したＶＥ表示画面を示す図である。
【００１７】
図１に示すように、本実施の形態の手術支援装置１は、硬性鏡２、ＶＥ画像生成装置３、システムコントローラ４、ＣＣＵ５、光源装置６、気腹器７、電気メス８，超音波処置装置９、ＶＴＲ１０等を手術室に配置して構成される。
【００１８】
硬性鏡２の撮像部１１で撮像された撮像信号はＣＣＵ５に伝送され画像処理された後に画像を録画するＶＴＲ１０及びシステムコントローラ４に出力される。
【００１９】
システムコントローラ４は、ＣＣＵ５、光源装置６、気腹器７、電気メス８、超音波処置装置９、ＶＴＲ１０の各装置と設定情報を送受する通信Ｉ／Ｆ部１２と、各種プログラムを格納しているメモリ１３と、ＣＣＵ５からの画像信号を内視鏡画像表示モニタ１４に表示させる表示Ｉ／Ｆ部１５と、これら各部を制御するＣＰＵ１６とから構成される。なお、ＣＰＵ１６には通信Ｉ／Ｆ部１２を介してリモコン１７が接続され、このリモコン１７により各種データの入力が可能となっている。
【００２０】
硬性鏡２には、後述するように、硬性鏡２の挿入量を検出する挿入量検出部２１、硬性鏡２の挿入傾斜角を検出する傾斜角センサ２２、硬性鏡２の挿入点のＸＹ座標を測定する光学イメージセンサ２３及びスイッチ２４からなるＸＹ挿入点計測装置２５及び硬性鏡２の挿入点のＺ座標を測定する電磁誘導センサ２６からなるＺ点挿入点計測装置２７が設けられている。
【００２１】
ＶＥ画像生成装置３は、予めＣＴ装置（図示せず）により得られたＣＴ画像に基づき硬性鏡２が撮像した内視鏡画像にリアルタイムで且つ視線方向が一致した仮想的な画像であるバーチャルエンドスコピー画像（ＶＥ画像）を生成する装置である。
【００２２】
具体的には、ＶＥ画像生成装置３は、複数のＣＴ画像より構築されたＣＴ画像ＤＢ（データベース）を格納している記録部３１と、各種プログラムを格納しているメモリ３２と、挿入量検出部２１、傾斜角センサ２２、ＸＹ挿入点計測装置２５、Ｚ点挿入点計測装置２７及びシステムコントローラ４の通信Ｉ／Ｆ部１２とデータの送受を行う通信Ｉ／Ｆ部３３と、通信Ｉ／Ｆ部３３により得られた各種データ及びＣＴ画像ＤＢのＣＴ画像に基づきＶＥ画像を構築するＶＥ画像構築部３４と、ＶＥ画像構築部３４が構築したＶＥ画像をＶＥ画像表示モニタ３５に表示させる表示Ｉ／Ｆ部３６と、これら各部を制御するＣＰＵ３７とから構成され、ＣＰＵ３７には各種データを入力するためのキーボード３８及びマウス３９が接続されている。
【００２３】
硬性鏡２は、図２に示すように、トラカール４１，４２を介して電気メス６や超音波処置装置等の処置具４３と共に患者４０の体内に挿入される。
【００２４】
硬性鏡２は、図３に示すように、挿入基端側にＴＶカメラ４４を備え、さらに挿入基端側の把持部４５には傾斜角センサ２２が設けられている。この傾斜角センサ２２はジャイロ等により硬性鏡２の挿入傾斜角を計測しＶＥ画像生成装置３に出力する。
【００２５】
また、図４に示すように、硬性鏡２の挿入部４６を患者４０の体内へと導くトラカール４１の基端側には挿入量検出部２１が設けられており、挿入量検出部２１は、挿入部４６の外周面と接触し挿入部４６の挿入に従って回転するローラ４７と、ローラ４７の回転量を検出し挿入部４６の挿入量としてＶＥ画像生成装置３に出力するロータリーエンコーダ４８とから構成される。
【００２６】
ＸＹ挿入点計測装置２５は、図５ないし図７に示すように、公知の光学式マウスとほぼ同様な構成をなしており、上面に挿入点を確定するためのスイッチ２４を有し、背面には移動量を検出する光学イメージセンサ２３及びスイッチ２４と連動して患者４０の体表面にマーカをプリントするポインタ４９を有している。
【００２７】
Ｚ点挿入点計測装置２７は、図８に示すように、患者４０が横たわる手術台５０に鉛直方向に支持棒５１を支持・固定する固定部材５２と、トラカール４１を支持棒５１より直角に延出したトラカール４１を保持するトラカール保持部５３と、トラカール保持部５３の支持棒５１の軸方向（Ｚ方向）の移動量を検出しＶＥ画像生成装置３に出力する電磁誘導センサ２６を内蔵した計測部５４とから構成される。
【００２８】
このように構成された本実施の形態の作用について説明する。図９に示すように、ステップＳ１においてＸＹ挿入点計測装置２５によるＸＹ挿入点計測処理を実行する。このＸＹ挿入点計測処理の詳細は後述する。
【００２９】
ＸＹ挿入点計測装置２５によりＸＹ挿入点計測がなされると、ステップＳ２においてＸＹ挿入点計測装置２５のポインタ５０によりマークされた位置にトラカール４１を配置して患者４０の体内に刺入し、ステップＳ３においてＺ挿入点計測装置２７によるＺ挿入点計測処理を実行する。このＺ挿入点計測処理の詳細は後述する。
【００３０】
このステップＳ１〜Ｓ３の処理により硬性鏡２の挿入点が決定される。硬性鏡２をトラカール４１を介して挿入する。そこで、ステップＳ４において傾斜角センサ２２により硬性鏡２の挿入傾斜角を計測し、ステップＳ５において挿入傾斜角に基づき硬性鏡２が撮像する内視鏡画像の視線方向を決定する。
【００３１】
そして、ステップＳ６において硬性鏡２の挿入が開始されると、ステップＳ７において挿入量検出部２１により硬性鏡２の挿入量を測定し、ステップＳ８において挿入量に基づきＶＥ画像の表示倍率を決定する（距離に応じて臓器に近い場合は倍率を高く、遠い場合には倍率を低くする）。
【００３２】
このように視線方向及び表示倍率が決定されると、ステップＳ９においてＶＥ画像構築部３４により視線方向及び表示倍率に基づきＶＥ画像が生成され、ステップＳ１０において表示Ｉ／Ｆ部３６を介してＶＥ画像表示モニタ３５に表示させ、処理を終了する。
【００３３】
ステップＳ１におけるＸＹ挿入点計測処理は、図１０に示すように、ステップＳ１１において開始点を患者４０の「へそ」として図１１に示すように、「へそ」上にＸＹ挿入点計測装置２５を配置し、ステップＳ１２でスイッチ２４を押下する。これによりｘｙ平面での原点（０，０）が決定される。
【００３４】
次に、ステップＳ１３において図１２に示すように、ＸＹ挿入点計測装置２５をトラカール４１の挿入位置まで移動させ、ステップＳ１４においてスイッチ２４を押下することで、ステップＳ１５において図１３に示すように、この位置にマーカがスタンプされる。これにより硬性鏡２のＸＹ平面での挿入点（ｘ０，ｙ０）が決定される。
【００３５】
ステップＳ３におけるＺ挿入点計測処理は、Ｚ点挿入点計測装置２７に保持されたトラカール４１を挿入点（ｘ０，ｙ０）に配置・刺入した後、図１４に示すように、ステップＳ２１において気腹器７の送気スタートで、図１５に示すように、ｚ方向の原点位置（ｘ０，ｙ０，０）を検出しＺ挿入点計測を開始する。
【００３６】
そして、ステップＳ２２において気腹器７により腹腔圧を設定圧力にし、ステップＳ２３において、図１６に示すように、Ｚ点挿入点計測装置２７により設定圧力時のトラカール４１の移動量ΔＺを計測し、ステップＳ２４において移動量ΔＺを硬性鏡２のｚ方向での挿入点ｚ０とする。
【００３７】
上記のＸＹ挿入点計測処理及びＺ挿入点計測処理により硬性鏡２の挿入点（ｘ０，ｙ０，ｚ０）が決定決定される。
【００３８】
次に、ＶＥ画像表示モニタ３５に表示されるＶＥ表示画面について説明する。ＶＥ表示画面１０１は、図１７に示すように、ＶＥ画像構築部３４により生成されたＶＥ画像を表示するＶＥ画像表示エリア１０２、ＶＥ画像に関連した複数の２次元ＣＴ画像を表示する２次元画像表示エリア１０３と、ＸＹ挿入点計測処理及びＺ挿入点計測処理により決定された硬性鏡２の挿入点（ｘ０，ｙ０，ｚ０）（＝（＠＠，＠＠，＠＠））を表示する挿入点表示欄１０４等より構成される。
【００３９】
例えば図１８に示すようなライブの内視鏡画像１４ａが内視鏡画像表示モニタ１４に表示される際は、ＶＥ表示画面１０１においては、このライブの内視鏡画像１４ａの視線方向と大きさ（倍率）一致したリアルタイムの、図１９に示すような例えば臓器部分を消した血管配置仮想画像１０２ａがＶＥ画像表示エリア１０２に表示される。
【００４０】
また、図１８の状態から硬性鏡２を傾け、図２０に示すようなライブの内視鏡画像１４ｂが内視鏡画像表示モニタ１４に表示されると、これに追随（トラッキング）してライブの内視鏡画像１４ｂの視線方向と大きさ（倍率）一致したリアルタイムの、図２１に示すような例えば臓器部分を消した血管配置仮想画像１０２ｂがＶＥ画像表示エリア１０２に表示される。
【００４１】
さらに、図２２に示すようなライブの内視鏡画像１４ｃが内視鏡画像表示モニタ１４に表示される際には、上述したように、このライブの内視鏡画像１４ｃの視線方向と大きさ（倍率）一致したリアルタイムの、図２３に示すような例えば臓器部分を消した血管配置仮想画像１０２ｃがＶＥ画像表示エリア１０２に表示されるが、キーボード３８等を操作することで、図２４に示すように倍率を変更した血管配置仮想画像１０２ｄをＶＥ画像表示エリア１０２に表示することが可能となっており、倍率は任意に設定可能となっている。図２４では倍率を１．５倍に拡大した様子を示しており、拡大倍率が倍率表示エリア１１０に表示される。
【００４２】
このように本実施の形態では、硬性鏡２の挿入点、挿入傾斜角、挿入量を計測し、これらの挿入点、挿入傾斜角、挿入量の各データに基づき、ライブの内視鏡画像の視線方向と大きさ（倍率）一致したリアルタイムのＶＥ画像を生成・表示するので、手技の際に必要な情報（例えば血管配置情報）をビジュアルで確認でき、手技を安全且つ適切に支援することができる。
【００４３】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００４４】
【発明の効果】
以上説明したように本発明によれば、簡単でかつリアルタイムに、ライブの内視鏡画像に対応した仮想画像を提供することで手術を支援することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る手術支援装置の硬性を示す構成図
【図２】図１の硬性鏡の使用状態を示す図
【図３】図２の硬性鏡の構成を示す図
【図４】図２のトラカールの要部の構成を示す図
【図５】図１のＸＹ挿入点計測装置の上面を示す上面図
【図６】図１のＸＹ挿入点計測装置の側面を示す側面図
【図７】図１のＸＹ挿入点計測装置の背面を示す背面図
【図８】図１のＺ挿入点計測装置の構成を示す図
【図９】図１の手術支援装置の処理の流れを示すフローチャート
【図１０】図９のＸＹ挿入点計測処理の流れを示すフローチャート
【図１１】図１０のＸＹ挿入点計測処理を説明する第１の図
【図１２】図１０のＸＹ挿入点計測処理を説明する第２の図
【図１３】図１０のＸＹ挿入点計測処理を説明する第３の図
【図１４】図９のＺ挿入点計測処理の流れを示すフローチャート
【図１５】図１４のＺ挿入点計測処理を説明する第１の図
【図１６】図１４のＺ挿入点計測処理を説明する第２の図
【図１７】図９の処理で構築・生成されたＶＥ画像を表示するＶＥ表示画面を示す図
【図１８】図１の内視鏡画像表示モニタに表示される内視鏡画像の第１の例を示す図
【図１９】図１８の内視鏡画像に対応して表示されるＶＥ表示画面を示す図
【図２０】図１の内視鏡画像表示モニタに表示される内視鏡画像の第２の例を示す図
【図２１】図２０の内視鏡画像に対応して表示されるＶＥ表示画面を示す図
【図２２】図１の内視鏡画像表示モニタに表示される内視鏡画像の第３の例を示す図
【図２３】図２２の内視鏡画像に対応して表示されるＶＥ表示画面を示す図
【図２４】図２３のＶＥ画像の倍率を変更したＶＥ表示画面を示す図
【符号の説明】
１…手術支援装置
２…硬性鏡
３…ＶＥ画像生成装置
４…システムコントローラ
５…ＣＣＵ
６…光源装置
７…気腹器
８…電気メス
９…超音波処置装置
１０…ＶＴＲ
１１…撮像部
２１…挿入量検出部
２２…傾斜角センサ
２５…ＸＹ挿入点計測装置
２７…Ｚ点挿入点計測装置
３１…記録部（ＣＴ画像ＤＢ）
３２…メモリ
３３…通信Ｉ／Ｆ部
３４…ＶＥ画像構築部
３５…ＶＥ画像表示モニタ
３６…表示Ｉ／Ｆ部
３７…ＣＰＵ
【図１】
2005021355.tif 000003
【図２】
2005021355.tif 000004
【図３】
2005021355.tif 000005
【図４】
2005021355.tif 000006
【図５】
2005021355.tif 000007
【図６】
2005021355.tif 000008
【図７】
2005021355.tif 000009
【図８】
2005021355.tif 000010
【図９】
2005021355.tif 000011
【図１０】
2005021355.tif 000012
【図１１】
2005021355.tif 000013
【図１２】
2005021355.tif 000014
【図１３】
2005021355.tif 000015
【図１４】
2005021355.tif 000016
【図１５】
2005021355.tif 000017
【図１６】
2005021355.tif 000018
【図１７】
2005021355.tif 000019
【図１８】
2005021355.tif 000020
【図１９】
2005021355.tif 000021
【図２０】
2005021355.tif 000022
【図２１】
2005021355.tif 000023
【図２２】
2005021355.tif 000024
【図２３】
2005021355.tif 000025
【図２４】
2005021355.tif 000026