(57)【要約】  【課題】  内視鏡手術の安全性を向上する。  【解決手段】  本発明の内視鏡手術操作支援システムは、手術器具を操作可能なマニピュレータの可動範囲を表示する内視鏡手術操作支援システムにおいて、前記マニピュレータの駆動領域と前記マニピュレータの一部が接触する可能性のある対象臓器との位置関係を算出する位置検出部３１と、前記算出された位置関係に応じた接近又は接触条件を数段階の警告レベルとして設定する処理部３２１と、前記設定した警告レベルを術者の視覚へ報知する表示部３２２と、を備える。【選択図】      図３
2007029232.tif 000002
【特許請求の範囲】
【請求項１】
手術器具を操作可能なマニピュレータの可動範囲と患者の画像情報とを対応づけて表示するマニピュレータ操作支援システムにおいて、
前記マニピュレータの駆動領域と前記マニピュレータの一部が接触する可能性のある対象臓器との位置関係を算出する位置算出手段と、
前記算出された位置関係に応じた接近又は接触条件を数段階の警告レベルとして設定する警告レベル設定手段と、
前記設定した警告レベルを術者へ報知する報知手段と、
を備えたことを特徴とする内視鏡手術操作支援システム。
【請求項２】
前記警告レベル設定手段によって設定された警告レベルに応じて前記マニピュレータを停止させる機構部をさらに備えたことを特徴とする請求項１に記載の内視鏡手術操作支援システム。
【請求項３】
前記報知手段は、前記警告レベルを示す表示によって術者に報知することを特徴とする請求項１、２の何れか１項に記載の内視鏡手術操作支援システム。
【請求項４】
前記報知手段は、前記警告レベルを示す音又は音声の少なくとも一方によって術者に報知することを特徴とする請求項１〜３の何れか１項に記載の内視鏡手術操作支援システム。
【請求項５】
前記報知手段は、前記警告レベルを示す振動によって術者に報知することを特徴とする請求項１〜４の何れか１項に記載の内視鏡手術操作支援システム。
【請求項６】
前記報知手段における表示は、前記患者の画像情報と前記手術器具を画像上に重ねて表示することを特徴とする請求項３に記載の内視鏡手術操作支援システム。
【請求項７】
前記報知手段における表示は、前記患者の画像情報を内視鏡像と仮想内視鏡像重ねて表示し、その重畳画像に前記手術器具をさらに重ねて表示することを特徴とする請求項３に記載の内視鏡手術操作支援システム。
【請求項８】
前記報知手段における表示は、前記患者の画像情報と前記手術器具を重ねて表示し、さらに前記手術器具の関節の駆動領域を重ねて表示することを特徴とする請求項３に記載の内視鏡手術操作支援システム。
【請求項９】
前記報知手段における表示は、前記患者の画像情報と前記手術器具を重ねて表示し、さらに患部を重篤度に基づいて表示形態を異ならせて表示することを特徴とする請求項３に記載の内視鏡手術操作支援システム。
【請求項１０】
前記報知手段における表示は、前記患者の画像情報と前記手術器具を重ねて表示し、さらに前記対象臓器との接触の度合いを示す指標を表示することを特徴とする請求項３に記載の内視鏡手術操作支援システム。
【請求項１１】
前記報知手段における表示は、前記患者の画像情報と前記手術器具のシュミレーションを画像上に重ねて表示することを特徴とする請求項３、６〜１０の何れかに記載の内視鏡手術操作支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、医用画像診断装置によって撮影された医用診断画像中の対象臓器と、その対象臓器と内視鏡及びマニピュレータの駆動領域を対応づけて表示し、内視鏡手術操作を安全に支援する技術に関するものである。
【背景技術】
【０００２】
外科手術は、従来の開腹によるもの、又は、従来の内視鏡手術によるものから、例えば、微細なマニュピレータを用いて鍛錬された医師が手術を行う内視鏡手術に移行しつつある。この内視鏡手術は従来の執刀による開腹などを行わないで済むから低侵襲手術として期待されている。また、マスタスレーブ方式を採用することにより医師が患者の居る場所に出向かなくても手術ができる遠隔医療としても期待されている。
【０００３】
内視鏡手術では、医用画像診断装置(ここではMRI装置)を用いて患者の体内の状態を確認しながら行っている(例えば、特許文献1)。
【特許文献１】特開2001-104333号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献1では、医用診断画像中での手術器具の可動範囲の明示とその可動範囲外となったときの警告表示とについて言及されているが、単にマニピュレータの可動範囲を表示することに過ぎず、術者へ様々なレベルの危険度に対応する警告の情報を提供することや最終的にはマニピュレータを停止して安全を確保することについて言及されていない。
【０００５】
そこで、本発明の目的は、術者へ様々なレベルの危険度に対応する情報を提供することで内視鏡手術の安全性を向上することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の内視鏡手術操作支援システムは、手術器具を操作可能なマニピュレータの可動範囲を表示する内視鏡手術操作支援システムにおいて、前記マニピュレータの駆動領域と前記マニピュレータの一部が接触する可能性のある対象臓器との位置関係を算出する位置算出手段と、前記算出された位置関係に応じた接近又は接触条件を数段階の警告レベルとして設定する警告レベル設定手段と、前記設定した警告レベルを術者へ報知する報知手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、内視鏡手術の安全性を向上することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を添付図面に基づいて説明する。なお、本発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【０００９】
内視鏡外科手術システムは、図1において、医用画像診断装置1と、硬性内視鏡又は軟性内視鏡(以下、「内視鏡装置」と略記する)2と、医用画像診断装置1及び内視鏡装置2と信号伝達可能に接続される画像重畳装置3と、外科医側に設置されるマスタ装置4と、患者側に設置されるスレーブ装置5とを備える。
【００１０】
医用画像診断装置1は、例えばMRI装置やX線CT装置で、患者の外部から断層像などの患者内部の診断画像を取得する。内視鏡装置2は、患者に手術器具でもって空けた小さな穴などにプローブを挿入し、そのプローブが挿入された位置での患者内部の画像を取得する。画像重畳装置3は内視鏡装置2からの内視鏡像と医用画像診断装置1からの医用診断画像を用いて手術対象の臓器抽出や重畳処理を行う。マスタ装置4は外科医が直接操作する。スレーブ装置5は術者の操作を反映して内視鏡及びマニピュレータを動作させる。
【００１１】
まず、内視鏡外科手術システムの機能について図2を用いて説明する。
この内視鏡外科手術システムは、術中ガイドイメージング技術の一つとして医用診断画像を内視鏡像に画像重畳することによって、術者の視覚情報をさらに強化して情報の質と量の増大(強化現実：オーグメンテッドリアリティ)を図る必要がある。
【００１２】
このため、画像重畳装置3は、位置検出装置31で、医用画像診断装置1(実施形態1ではMRI装置)の術中画像位置情報や、内視鏡装置2の内視鏡位置マニピュレータの位置情報を取得する。ここで、位置検出装置31は、光学式・磁気式の位置検出装置、または医用診断画像上に表示される位置検出用マーカーから位置検出する。画像処理部32は術中画像と内視鏡像を同時に取得し、取得された両画像間のスケール変換を行って位置合わせ(レジストレーション)を処理部321で行う。前記両画像が等方性であれば、そのまま重畳し、表示部322で重畳表示する。画像重畳装置3はまたシステム全体を制御するシステムコントローラの機能も有している。
【００１３】
本明細書で定義する「重畳」とは、すべての画素の位置が正確に一致していることを言い、要求に合わせて重ねて表示したり参照したりできる構造のことである。
一方、前記両画像が異方性であれば、一方の画像に歪み補正処理を施し、両画像を等方性画像に変換するか、または歪みの等しい異方性画像に変換する。歪み補正方法として、ヒルベルト変換を用いた歪み補正方法や共線性の条件を用いた歪み補正方法を用いてもよいし、予め歪み量が解析された医用診断画像の場合、事前に算出した歪み量から歪み補正を行ってもよい。
【００１４】
画像重畳装置3が行う前処理には、医用診断画像から、内視鏡が挿入される臓器や手術対象臓器、手術による損傷を回避したい血管や神経線維等を予めリージョングローイング法等で領域抽出する。領域抽出されたデータはマスタスレーブ装置に転送され、後述のマニピュレータ駆動領域設定時に用いられる。
【００１５】
マスタスレーブ装置は、一般的にユニラテラル制御方式とバイラテラル制御方式という2つの制御方式に分類することができる。
【００１６】
ユニラテラル制御方式はマスタ装置からスレーブ装置に指令を送るが、それ以降の対象物に対する動作はマスタ装置が関与せず、スレーブ装置のみがその作用を受ける。つまり、スレーブ装置の機械的作業情報がマスタ装置にフィードバックされない。
【００１７】
バイラテラル制御方式はマスタ装置から指令を受けたスレーブ装置と対象物に対する動作はマスタ装置とスレーブ装置両方に作用する。従って、スレーブ装置と対象物との接触等による触覚/力覚情報がマスタ装置を扱う術者に提示される。ただし、術者の視覚情報によるフィードバックはどちらの制御方法でも行われ、その情報から再び指令を出すことができる。
【００１８】
本実施形態は触覚/力覚の代わりに重畳画像から算出された領域によってマニピュレータと対象物に対する動作や駆動領域の制限を行うものであり、ユニラテラル制御方式でもバイラテラル制御方式でも適用できる。
【００１９】
次に、ユニラテラル制御方式のマスタスレーブ装置の構成について図3を用いて説明する。
マスタスレーブ装置は、マスタ装置4(モータ41、位置検出部42)と、モータ41のモータ制御部6(位置制御部61、力制御部62)と、スレーブ装置5(アクチュエータ51)と、画像重畳装置3(スレーブ装置5の位置検出部31、画像重畳処理部321、画像重畳表示部322)と、アクチュエータ制御部7(位置制御部71、力制御部72)とを有する。
【００２０】
マスタ装置4は、術者によって操作される操作部(図示省略)と、その操作部にスレーブ装置5からの反力と同等の駆動力を付与するモータ41と、術者がその駆動力に対して操作部を操作した位置を検出する位置検出部42とを具備し、検出された位置情報L1がモータ制御部6、アクチュエータ制御部7に伝達される。
【００２１】
スレーブ装置5は、マスタ装置4からの指令により動作するスレーブ装置5の内視鏡およびマニピュレータを制御するアクチュエータ51からなる。スレーブ装置5の内視鏡およびマニピュレータの位置情報L2は、画像重畳処理部の位置検出部31を用いて、モータ制御部、アクチュエータ制御部に入力される。
【００２２】
また、位置情報L1、L2は位置検出部42,52により検出され、画像処理部321に入力される。モータ制御部6の切替部63およびアクチュエータ制御部7の切替部73は、画像重畳処理部3から入力される制御信号C1、C2により選択的に位置制御部または力制御部を切り替える。装置起動時の初期状態では、切替部63及び73は位置制御部側に選択される。
【００２３】
画像処理部321は位置検出部42、52により検出された位置情報L1、L2と、内視鏡及びマニュピレータの駆動領域との接触判定によって内視鏡及びマニュピレータの駆動を制御するためにモータ制御部6やアクチュエータ制御部7に指令を与える。マニュピレータが駆動領域に存在するとき、マスタ側装置4ではL1、L2の変移量が等しくなるように、モータ制御部6の位置制御部61からモータ41へ情報を伝達する。
【００２４】
スレーブ側装置5はL1、L2変移量が等しくなるように、アクチュエータ制御部7の位置制御部71からアクチュエータ51へ情報を伝達する。マニュピレータが駆動制限領域(マニピュレータが対象臓器と接触する可能性のある領域)に到達しそうな場合、その到達する位置のレベルにおいて、マスタ側装置4では制御信号C1をモータ制御部6の切替部63に伝達し、力制御部62から操作部の移動前の情報をモータ41へ伝達し、スレーブ側装置5では制御信号C2をアクチュエータ制御部7の切替部73に伝達し、力制御部72から操作部の移動前の情報をモータ51へ情報を伝達する。これにより、マスタスレーブ装置を操作部の移動指令前の情報で保持させることになる。
【００２５】
さらに、マスタスレーブ装置はその安全性を増すために、マスタ側の操作部の操作量が対象臓器との安全距離を保たれない状態となったら、スレーブ側を強制停止する機構を設ける。この強制停止機構は伝達されるマニピュレータと対象臓器との位置関係(距離)の実測値が、使用状態において常時センサで測定され、そのセンサ出力と安全距離が位置制御部71により比較判定され、前記実測値が安全距離に対して所定量、例えば110％となったら、マニピュレータを強制停止する。強制停止機構そのものは、マニピュレータを駆動させるギアを信号によって断続できる公知のものを用いる。この信号は前記実測値が所定量以下となるか所定量を超えるかの1ビットで足りる。この制御例は、前記実測値が所定量以下となったならば、マニピュレータを駆動させるギアを外し、所定量を超えたら前記ギアの接続を復旧する。
これによって、画像重畳処理部3で設定された領域に基づいて、マニピュレータを制御(駆動と停止)することができる。
【００２６】
次に、画像重畳処理部3で設定される内視鏡手術支援システムの駆動領域設定方法および表示方法の実施の一形態を図4、図5、図6及び図7に示す。
【００２７】
図4(a)は、実際の内視鏡像上8と仮想内視鏡像92の重畳画像上に、さらに鉗子やマニピュレータ等の手術器具の仮想画像91を重畳表示する例を示している。この表示例では、内視鏡像の歪みに合わせて重畳する画像を歪ませ、重畳表示している。仮想内視鏡像92はX線CT装置やMRI装置で被検体の体軸方向の複数の断層像を得て、その得られた断層像から得るものである(例えば、特許文献2参照)。
【特許文献２】特許第3632862号公報  これにより、術者が内視鏡での手術に習熟していれば、使い慣れた画像を用いて内視鏡手術の安全性を向上することができる。
【００２８】
また、重畳表示は仮想内視鏡像92の表示の可否を切換えることにより実際の内視鏡像8のみを表示することも可能である。これにより、術者は内視鏡のみで足りる場合でも内視鏡手術の安全性を向上することができる。
【００２９】
図4(b)は、マニピュレータのすべての関節の駆動領域931を表示する例である。この例ではマニピュレータの回転範囲を示す球が重畳して表示されている。これによって、術者はマニピュレータの各関節の可動範囲を内視鏡像と対応づけて直ちに知ることができるから、マニピュレータの各関節の動きに考慮して内視鏡手術の安全性を向上することができる。
【００３０】
図4(c)は、駆動領域931と対象臓器8との位置関係(距離)と重篤度による重みを付加した接触条件が重篤度による重みと駆動領域931と対象臓器8との距離の積により、駆動域と対象臓器との接触による駆動制限領域表示932を設定する。これによって、術者は症状が重篤な箇所対応づけて直ちに知ることができ、その治療を優先させることで手術を効率的に支援することができ、その効率化と相俟って内視鏡手術の安全性を向上することができる。
【００３１】
図4(d)は、バイリテラル制御方式のマスタスレーブ装置を採用すれば、駆動制限領域表示と同時に触覚や反力をマスタ装置に伝えることが可能である。その際には、モータ制御部6の力制御部からモータに対して負荷を与える信号を反力として伝達すればよい。駆動制限領域932においては、接触条件によってマニピュレータの駆動領域や駆動制限領域に接近および接触したことの警告レベルを2次元94および3次元画像933でカラー表示などを行う。カラー表示に代えて又は同時に警告音や振動として発してもよい。また、警告音と振動は同時に発してもよい。2次元画像94は棒グラフや円グラフとして警告の強さを示してもよい。
これにより、手術器具と対象臓器の位置関係(距離)に応じて接触レベルにおいて注意を喚起することができるため、その注意喚起により内視鏡手術の安全性を向上することができる。
【００３２】
図5(a)は、接触条件によってマニピュレータ8の駆動領域や駆動制限領域に接近および接触したことの警告レベルを内視鏡像上にカラー表示98を行う。カラー表示98は図示される接触の可能性に応じて色分けされている。
これにより、手術器具と対象臓器の位置関係(距離)に応じた接触レベルが内視鏡像に直接対応づけられて表示されるため、その対応表示により内視鏡手術の安全性を向上することができる。
【００３３】
図5(b)は、接触条件によってマニピュレータ8の駆動領域や駆動制限領域に接近および接触したことの警告レベルを内視鏡像上に展開した臓器情報99の表示を行う。臓器情報99はMRI装置等で取得した医用画像から3次元画像を作成し、その作成された3次元画像を内視鏡像の座標系に合わせて歪ませ、その歪ませた3次元画像を内視鏡像に重畳表示する。
これにより、手術器具と対象臓器の位置関係(距離)が直感的に表示されるため、その直感的表示により内視鏡手術の安全性を向上することができる。
【００３４】
図5(c)は、マニピュレータ8を仮想的に移動させた場合、その仮想移動されたマニピュレータ8が接触条件によってその駆動領域や駆動制限領域に接近および接触したことに対応するものである。即ち、駆動制限領域932においては、接触条件によってマニピュレータの駆動領域や駆動制限領域に接近および接触したことの警告レベルを2次元94でカラー表示などを行う。
これにより、仮想移動した状態の手術器具と対象臓器の位置関係(距離)が表示されるため、その仮想移動表示により注意を喚起することができ、内視鏡手術の安全性を向上することができる。
【００３５】
図5(d)は、マニピュレータ8を仮想的に移動させた場合、その仮想移動されたマニピュレータ8が対象臓器等に接近しない安全距離を保った移動を示したものである。即ち、マニピュレータ8が移動前後において安全距離を保つ移動を示す矢印91を表示する。
これにより、仮想移動した状態の手術器具と対象臓器の位置関係(距離)のうちの安全範囲が表示されるため、その安全範囲の表示により術者が安心して操作することができ、内視鏡手術の安全性を向上することができる。
【００３６】
駆動制限領域は、図4(b)(c)(d)のように3次元画像で示す例や図6(a)(b)(c)のようにアキシャル画像上95、サジタル画像上96、コロナル画像上97に重畳表示することができる。合わせて仮想的にマニピュレータをその駆動制限領域の断面や切断面934に投影して表示する。
これにより、手術器具と多面的な方向の画像とから立体的に把握できるため、その立体的な把握により内視鏡手術の安全性を向上することができる。
【００３７】
重篤度による重みは図7のようにモニタ110で確認しながら、抽出した臓器毎(object毎104)に自由曲線、直線、矩形等103で設定し、臓器内の重篤度により変更するやり方もある。重篤度の重み付けは形状を問わず、図8のようにグラフィカルユーザーインターフェース100により、自由にユーザがマウス105を使って設定する。従って、図8(a)のように、臓器内の複雑に絡み合った対象物毎に非線形の重み係数111を与え、危険の度合いを設定する。また、図8(b)のように手術上で接触を回避すべき部位(例えば血管や神経)に大きな重みを設定したり、手術対象部位に小さな重みを設定したりすることで重みを矩形112で与え、マニピュレータと対象臓器との不用意な衝突の回避や対象臓器への正確に位置決めを行うことができ、その位置決めにより内視鏡手術の安全性を向上することができる。
【００３８】
図9はバイラテラル制御方式のマスタスレーブ装置の構成を示す。図3に追加されたところはF1という信号で、モータ制御部6、アクチュエータ制御部7に伝達され、力制御部62、72でそれぞれ変換され、モータ41やアクチュエータ51を駆動制御する。
【００３９】
本実施形態は、術者の目や耳に内視鏡手術支援に必要な情報を得ることができ、バックアップでマニピュレータの駆動と停止の制御を行う。例えば、実内視鏡に仮想情報を重畳することにより以下の応用例が考えられる。
【００４０】
(a)仮想内視鏡像に画像処理で得られたシミュレーション情報を付加することができる。
情報を付加した仮想内視鏡像を表示・非表示または合成表示することで、例えば、実内視鏡像だけでは判断のつき難い病変の広がりや浸潤の程度を理解することができる。また、実内視鏡像で確認できる臓器であっても、手術中に水や泡などで見にくくなる場合があるが、重畳された仮想内視鏡像で一時的に情報を補うことができる。仮想内視鏡像は変換前の実空間の位置情報を持っているため、実内視鏡像上で正確な三次元位置を算出することができる。これら利点から、より安全で精確な内視鏡外科手術が期待できる。
(b)内視鏡だけでは視認不可能な臓器の正確な位置関係を直感的に把握できることになり、視認性の高い内視鏡外科手術が期待できる。
(c) 術具と仮想内視鏡像が正確に重畳されていることから、術中に仮想のマニピュレータだけを動かし、実内視鏡と同じ環境で(a)(b)および図4で示した駆動制限領域といった情報を術者に視覚的に知らせることにより近未来の術前状況をシミュレーションで    き、安全な内視鏡外科手術が可能になる。
(d) なおかつ、図9の画像重畳処理部にマスタ装置の位置検出部からの位置情報L1を入力し、画像重畳処理部からシミュレーションで得られた位置情報L1'、L2'を出力するように変更することによって、シミュレーション情報を実際のマニピュレータに反映することができる。尚、シミュレーションが行われていない場合は、L1'、L2'には位置検出部から入力された情報をそのまま出力すればよい。
【００４１】
その際のマニピュレータにおけるマスタスレーブ装置の動作例について図10、11を用いて説明する。
まず、画像重畳装置3は画像重畳装置3画像重畳装置3画像重畳処理およびマスタスレーブ装置の制御処理を終了するか否かを判定する(S1)。
画像重畳装置3は、制御処理を終了しない場合、手術シミュレーションを行うためにスレーブ装置をロックするか否かを判定する(S2)。
その際には実内視鏡像と仮想内視鏡像および仮想のマニピュレータの画像が正確に重畳されていることが前提となる。ロック機構は実内視鏡像と仮想内視鏡像を切り離す機構で、ロック機構が無効(オフ)の時には、L1、L2を取得し、マスタ装置の操作に追随してスレーブ装置が動作するよう制御を行う(S3)。
【００４２】
ロック機構の有効(オン)／無効(オフ)のスイッチは術者の入力によって行われる。この入力の装置はマウス、フットスイッチなど入力信号を送る機構であればどのような形態でも構わない。ロック機構が有効の時には、マスタ装置の動きをシミュレーション後に再現するために、L1、L2を保存する(S4)。
マスタ装置4の操作部は仮想なマニピュレータや仮想内視鏡像のみを動作する。スレーブ装置は停止状態となっている。L1はマスタ装置の位置情報を随時保持し続け、L2はロック機構が有効になったときのスレーブの位置のみを保持する。次に、画像重畳装置3はロック機構の状態遷移を判定する。ロック機構が無効から有効へ遷移する場合または有効から無効へ遷移する場合、初期状態でロック機構が有効でない場合やロック機構が解除された場合はS6に移行する(S5)。
手術シミュレーションを行わない場合、マスタ装置4の位置検出部42で位置情報L1を、画像重畳装置3の位置検出部31で位置情報L2を検出し、処理部321を介してモータ制御部6およびアクチュエータ制御部7にL1'、L2'として送信する。マスタ側装置ではL1'、L2'の変移量が等しくなるように、モータ制御部6の位置制御部61からモータ41へ情報を伝達する。スレーブ側ではL1'、L2'の変移量が等しくなるように、アクチュエータ制御部7の位置制御部71からアクチュエータ51へ情報を伝達する(S7)。L1'が画像重畳処理で設定された駆動制限領域に入っていない場合、L1'、L2'をモータ制御部6、アクチュエータ制御7に入力し、モータが作動し、マスタ装置を負荷なく動かすことが可能である(S6)。
【００４３】
画像重畳装置3は、その際、L1とL2の大小によりスレーブ側を駆動する(S7)。
画像重畳装置3は、L1が駆動警戒領域であるか否かを判定し、駆動警戒領域であればS11へ移行し駆動警戒領域でなければS9へ移行する(S8)。
画像重畳装置3は、モータ制御部6にモータ41の作動をさせる(S9)
【００４４】
画像重畳装置3は、円滑にマスタ装置の動きをスレーブ装置5に伝達し、スレーブ装置5に接続されるアクチュエータ51を作動させる(S10)。これらの一連のステップは手術が終了するまで随時に行う。
次に、L1が駆動制限領域である場合、画像重畳処理部からの力制御信号F1に従って、力制御部62、72によりモータ41に負荷が供給されることになる。
画像重畳装置3は、モータ制御部6にモータ41に供給される負荷に応じて作動をさせる(S11)。
画像重畳装置3は、アクチュエータ51にも負荷をかける(S12)。
モータ41とアクチュエータ51にかかる負荷は徐々に増大していき、最終的には、マスタスレーブ装置ともに停止する。
【００４５】
次に、ロック機構が無効から有効に遷移し、手術シミュレーションが可能な場合は、スレーブ装置は停止し、マスタ装置のみ動かすことができる(S13)。
画像重畳装置3は、ロック機構が無効のときと同様に、L1が駆動制限領域外に存在する場合はモータを作動するか、L1が駆動制限領域内に存在する場合は負荷をかけるかを判定する(S14)。
画像重畳装置3は、L1が駆動制限領域外に存在するのでモータ41を作動する(S15)。
【００４６】
画像重畳装置3は、L1が駆動制限領域外に存在するのでモータ41に負荷を与える(S16)。
画像重畳装置3は、ロック機構が有効から無効へ遷移する場合、マニピュレータの動作シミュレーションの結果を再現するか否かを判定し、その判定結果がシミュレーションを再現しない場合にS1へ移行し、シミュレーションを再現する場合はS18へ移行する(S17)。
画像重畳装置3は、再現途中でロック機構が無効になる場合を想定し、ロック機構の有効／無効を判定する。その判定の結果、無効(オフ)であればS1へ移行し、有効(オン)であればS19に移行する(S18)。
【００４７】
画像重畳装置3は、シミュレーション再現中に保存されたL1、L2を読出す(S19)。
画像重畳装置3は、L1とL2の変移量に誤差がなくなるまで、S6〜S12の処理を繰り返す(S20)。
画像重畳装置3は、L1とL2が等しくなったときは次のL1としてL1のデータ更新する(S21)。
このような操作は、内視鏡及びマニピュレータを患者の体表から患部に至るまで同様の処理を繰り返す。
【００４８】
このようにして鉗子や内視鏡手術マニピュレータの仮想画像の動きが実際の鉗子や内視鏡手術マニピュレータに反映される。尚、警告レベルに応じて、実際の鉗子や内視鏡手術マニピュレータを停止させる安全機構は、シミュレーション中、シミュレーションの結果を実際に実現している途中でも働く。
また、手術する臓器へアプローチしたい場合に駆動制限領域を大きくすることによって、その安全機構を解除することも可能とする。
【００４９】
また、本実施形態は、図2の位置検出装置31として光学式・磁気式の位置検出装置の変わりに、図11のように鉗子やマニピュレータにマーカー120を取り付け、医用画像診断装置1でそのマーカーを読み取ることにより、鉗子や内視鏡手術マニピュレータの動きを検出することができる。当然、図2のシステム構成で図11の位置検出方法を用いることも可能である。
【００５０】
マーカーはX線CT装置やMRI装置で高輝度または低輝度に撮影される物質を低輝度または高輝度で撮影されるカプセルに内包したものを使用してもよい。
また、マーカーは、MRI装置に限定すれば、Active Tracking Systemのために使用されるコイルを内蔵していてもよい。
【００５１】
また、3個以上のマーカーからなる座標群を「ツール」と定義すると、鉗子や内視鏡手術マニピュレータ毎に取り付けるツール毎のマーカーの配置を換えることによって、異なるツールとして(つまり、鉗子やマニピュレータの部品毎のツールとして)認識させてもよい。
上記ツールは一度医用画像診断装置で認識してしまえば、連続的に画像を撮影できる撮像方法で図11のようにツールの断面画像130または断面画像を含むボリューム画像を撮影し、その画像情報からツールを抽出することができる。
そして、ツールの複数のマーカーの座標から基準点(例えば、重心)を算出し、基準点から鉗子や内視鏡手術マニピュレータの相対的位置より、鉗子や内視鏡手術マニピュレータの位置や方向を算出することができる。鉗子や内視鏡手術マニピュレータの位置が、術前または術中に撮影された医用診断画像のボリュームデータ上のどの位置にあるかがわかることから、図5の応用例に使用することができる。
【００５２】
また、画像重畳装置3は、マスタ装置に視覚的フィードバックおよび力覚フィードバックを行わせるのであれば、医用画像診断装置と内視鏡装置からなる簡易的なシステムで本実施形態を実現できる。
これは、術者への視覚的フィードバックと力覚フィードバックが医用画像診断装置から得られる画像情報のみから生成されるためである。この方法はスレーブ装置へ力覚情報がフィードバックされないため、術中医用診断画像で内視鏡を誘導する内視鏡手術であるが、システムを簡易化でき、通常の手術手技を変えない点でメリットがある。
【００５３】
本実施形態によれば、術者のマスタの不用意な操作でも対象臓器とマニピュレータとの危険な接触を回避し、安全な内視鏡外科手術を施行することができる。
【産業上の利用可能性】
【００５４】
本発明の内視鏡手術操作支援システムは、医用画像診断装置によって撮影された医用診断画像中の対象臓器と、その対象臓器と内視鏡及びマニピュレータの駆動領域を対応づけて表示するので、内視鏡手術操作を安全に支援できる。
【図面の簡単な説明】
【００５５】
【図１】本実施形態の内視鏡手術操作支援システムの装置構成図。
【図２】図1の機能ブロック図。
【図３】図2のマスタスレーブ装置の機能ブロック図。
【図４】図1の内視鏡手術操作支援システムの手術器具と画像の重畳表示例を示す図。
【図５】図4と異なる形態の重畳表示例を示す図。
【図６】図4、図5と異なる形態の重畳表示例を示す図。
【図７】患部の重篤度等の表示範囲を変更設定するユーザインターフェースの例を示す図。
【図８】図7の変更設定の例を示す図。
【図９】図2と異なるマスタスレーブ装置の機能ブロック図。
【図１０】図1の内視鏡手術操作支援システムの動作例を説明するフローチャート。
【図１１】画像にマーカーをさらに重畳表示した例を示す図。
【符号の説明】
【００５６】
31  位置検出部、321  処理部、322  表示部
【図１】
2007029232.tif 000003
【図２】
2007029232.tif 000004
【図３】
2007029232.tif 000005
【図４】
2007029232.tif 000006
【図５】
2007029232.tif 000007
【図６】
2007029232.tif 000008
【図７】
2007029232.tif 000009
【図８】
2007029232.tif 000010
【図９】
2007029232.tif 000011
【図１０】
2007029232.tif 000012
【図１１】
2007029232.tif 000013