(57)【要約】【課題】最小侵襲的な器具を解剖学的系統に位置合わせするシステム及び方法の精度及び効率を増大させるための改良されたシステム及び方法を提供する。【解決手段】医療ロボットシステム及びそのようなシステムを作動する方法は、患者解剖学的構造の術中外部画像データを撮ること、その画像データを用いて医療ロボットシステムの制御システムのためのモデリング調節（例えば、解剖学的モデルを更新すること及び／又は器具位置合わせを改良すること、及び／又は処理制御特徴を調節すること（例えば、物質又は治療給送を調整すること、標的化を向上させること、及び／又はパフォーマンスを追跡すること）を含む。【選択図】図１Ａ
2019136550.tif 000002
【特許請求の範囲】
【請求項１】
医療システムであって、
患者解剖学的構造の少なくとも部分についての術中外部画像データを受信するメモリと、
該術中外部画像データに基づいて既存モデルを調節することにより前記患者解剖学的構造の更新モデルを術中に生成することによって術中モデリング調節を適用するように構成されるプロセッサとを含む、
医療システム。
【請求項２】
前記既存モデルは、前記患者解剖学的構造内の１つ又はそれよりも多くの特徴についてのモデルデータを含み、
前記プロセッサは、
前記術中外部画像データから前記１つ又はそれよりも多くの特徴についての特徴画像データを抽出し、且つ
該特徴画像データに基づいて前記モデルデータを調節するように更に構成される、
請求項１に記載の医療システム。
【請求項３】
当該医療システムは、ロボット器具を含み、当該医療システムは、前記患者解剖学的構造内に少なくとも部分的に位置付けられる前記ロボット器具についての術中姿勢データを受信するメモリを更に含み、
前記プロセッサは、前記術中姿勢データに基づいて前記既存モデルを調節するように更に構成される、
請求項１に記載の医療システム。
【請求項４】
当該医療システムは、ロボット器具を含み、
前記プロセッサは、
前記術中外部画像データ内の参照要素画像データを特定するように更に構成され、該参照要素画像データは、前記患者解剖学的構造と関連付けられる１つ又はそれよりも多くの参照要素に対応し、
前記ロボット器具を前記参照要素画像データに基づいて前記患者解剖学的構造に或いは前記参照要素画像データに基づいて前記既存モデルに位置合わせするように更に構成され、前記ロボット器具は、前記１つ又はそれよりも多くの参照要素と既知の関係を有する、
請求項１に記載の医療システム。
【請求項５】
当該医療システムは、ロボット器具を含み、
前記プロセッサは、
前記術中外部画像データ内に参照要素画像データを特定するように更に構成され、該参照要素画像データは、前記患者解剖学的構造と関連付けられる１つ又はそれよりも多くの参照要素に対応し、
前記ロボット器具についての術中姿勢データ又は前記術中外部画像データのうちの少なくとも１つに基づいて前記既存モデルから前記患者解剖学的構造の更新モデルを生成するように更に構成され、
前記ロボット器具を前記参照要素画像データに基づいて前記更新モデルに位置合わせするように更に構成され、前記ロボット器具は、前記１つ又はそれよりも多くの参照要素と既知の関係を有する、
請求項１に記載の医療システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の参照）
この出願は、２０１３年５月１６日に出願された米国仮出願第６１／８２４，２９８号の利益を主張し、その全文をここに参照として援用する。この特許文献は、それらの全てが２０１１年１０月１４日に出願された、以下の同一所有者による同時係属中の特許出願、即ち、「Catheter  with  Removable  Vision  Probe」という名称の米国特許出願第１３／２７４，２０８号、「Catheters  with  Control  Modes  for  Interchangeable  Probes」という名称の米国特許出願第１３／２７４，１９８号、「Vision  Probe  and  Catheter  Systems」という名称の米国特許出願第１３／２７４，２２９号、及び「Catheter  Sensor  Systems」という名称の米国特許出願第１３／２７４，２３７号にも関係し、それらを参照として援用する。
【０００２】
本開示は、医療処置中に患者の解剖学的構造内の医療装置を追跡するシステム及び方法に向けられており、より具体的には、外部撮像（イメージング）をロボット外科システムと効率的に統合するシステム及び方法に向けられている。
【背景技術】
【０００３】
最小侵襲的な医療技法は、診断又は外科処置中に損傷させられる組織の量を減少させ、それにより、患者の回復時間、不快さ、及び有害な副作用を減少させることを意図している。そのような最小侵襲的な技法を患者の解剖学的構造の自然開口部(orifices)を通じて又は１つ又はそれよりも多くの外科的な切開部(incisions)を通じて執り行ってよい。これらの自然開口部又は切開部を通じて、臨床医は外科器具を挿入して標的組織場所に到達してよい。標的組織場所に到達するために、最小侵襲的な外科器具は、肺、結腸、腸、腎臓、心臓、循環系、又は類似物のような解剖学的系統(anatomical  system)内の自然な又は外科的に創り出される通路を進んでよい。ナビゲーション支援システムは臨床医が外科器具を経路制御して解剖学的構造に対する損傷を避けるのを助ける。これらのシステムは、実空間における又は事前手続き的な若しくは同時の画像に対する外科器具の形状、姿勢、及び場所をより正確に描くよう、形状センサの使用を含み得る。動的解剖学的系統内で及び／又は多くの解剖学的通路が密集する解剖学的領域内で、最小侵襲的な器具を解剖学的系統に正確に位置合わせすること(registering)は時間がかかり、集中的な作業を処理する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
最小侵襲的な器具を解剖学的系統に位置合わせするシステム及び方法の精度及び効率を増大させるための改良されたシステム及び方法が必要とされている。
【課題を解決するための手段】
【０００５】
外部撮像システムからの撮像データを術中外科システムデータと相関させることによって、実際の患者の解剖学的構造に対する外科システムのより正確な位置合わせ(registration)及び／又は制御を達成し得る。
【０００６】
医療システムは、解剖学的構造及び／又は器具の姿勢についての術中情報を提供するセンサシステム（例えば、位置センサ、形状センサ等）を含むロボット制御可能な医療器具を含み得る。ここで用いるとき、「姿勢」という用語は、少なくとも１つの並進自由度における物体又は物体の部分の位置、及び少なくとも１つの回転自由度（最大で６つの総自由度）におけるその物体又は物体の部分の向き（配向）を指す。ここで用いるとき、「形状」という用語は、物体に沿って測定される一組の姿勢、位置、又は向きを指す。
【０００７】
患者内の医療器具の位置決めと同時に、外部撮像システム（例えば、とりわけ、コンピュータ断層撮影（ＣＴ）スキャナ、ポジトロン放出断層撮影（ＰＥＴ）スキャナ、蛍光透視スキャナ（例えば、Ｃアーム、Ｏアーム）、磁気共鳴撮影（ＭＲＩ）スキャナ、コーンビームＣＴスキャナ、及び／又は超音波システム）が、解剖学的構造の術中画像を提供し、解剖学的構造内には外科器具が配置される。幾つかの実施態様では、外部撮像システムを関節式に連結する（例えば、ロボット制御可能な）支持構造に取り付けて、より大きい範囲の撮像配向をもたらすこともできる。
【０００８】
医療ロボットシステム及び医療ロボットシステムを作動する方法は、患者解剖学的構造の少なくとも部分についての術中外部画像データを受信すること、及び（遠位先端又はツール部分のような医療ロボットシステム器具の関連部分又は処置標的場所の周りの所定の領域から任意的に撮られる）術中外部画像データに基づき医療ロボットシステムを少なくとも半自動的に（即ち、少なくとも部分的に手作業の使用者介入を伴わずに）制御することを含み得る。
【０００９】
次に、システム制御は、外部画像データから抽出されるデータを用いて、標的場所への物質（例えば、とりわけ、治療剤、鎮痛剤、又はマーカ）の給送を少なくとも半自動的に調整すること、処置モダリティ（例えば、とりわけ、切除、放射線、超音波、又は電気泳動）を標的場所に適用すること、標的場所で器具姿勢を調節すること、限局性治療パラメータ（例えば、とりわけ、放射線ビーム焦点又は断面）を調節すること、及び／又は標的場所での組織との器具の相互作用を追跡することを含み得る。
【００１０】
医療ロボットシステム及び医療ロボットシステムのための方法は、患者解剖学的構造の少なくとも部分についての術中外部画像データを受信すること、及び（遠位先端又はツール部分のような医療ロボットシステム器具の関連部分又は処置標的場所の周りの所定の領域から任意的に撮られる）術中外部画像データに基づき医療ロボットシステムのための制御システムにモデリング（モデル化）調節を半自動的に適用することを含み得る。
【００１１】
モデリング調節は、外部画像データから抽出されるデータを用いて、（例えば、画像処理技法を用いて術中外部画像データから解剖学的特徴及び／又は器具姿勢データを抽出することによって）術中外部画像データに基づく術中ナビゲーションのために用いられる患者解剖学的構造の解剖学的モデルを自動的に又は半自動的に更新すること、並びに／或いは、（例えば、術中外部画像データからの既知の解剖学的ランドマーク／構成又は人工的なマーカのような基準要素(fiducial  elements)に対応するデータを抽出することによって）患者、器具、及び／又は解剖学的モデルの間の位置合わせを改良して、患者、器具、及び／又は解剖学的モデルのための共通の参照フレーム(reference  frames)を適宜構築することを含み得る。
【図面の簡単な説明】
【００１２】
本開示の特徴(aspects)は、添付の図面と共に読むときに以下の詳細な記載から最良に理解されるであろう。業界内の標準的な実務に従い、様々な構造(features)を原寸通りに描写しない。実際には、議論の明瞭性のために、様々な構造の寸法を任意に増大させ或いは減少させることがある。加えて、本開示は、様々な実施例において、参照番号及び／又は文字を繰り返すことがある。この繰返しは簡潔性及び明瞭性の目的のためであり、それ自体が議論する様々な実施態様及び／又は構成の間の関係を示すものではない。
【００１３】
【図１Ａ】本開示の実施態様に従ったロボット医療システムを示す図である。
【図１Ｂ】本開示の特徴を利用する医療器具システムを示す図である。
【図２Ａ】外部撮像システムと共に図１Ａ及び／又は１Ｂのロボット医療システムを示す図である。
【図２Ｂ】図２Ａのロボット医療システムの様々な動作的及び制御的な特徴を示す図である。
【図２Ｃ】図２Ａのロボット医療システムの様々な動作的及び制御的な特徴を示す図である。
【図２Ｄ】図２Ａのロボット医療システムの様々な動作的及び制御的な特徴を示す図である。
【図２Ｅ】図２Ａのロボット医療システムの様々な動作的及び制御的な特徴を示す図である。
【図２Ｆ】図２Ａのロボット医療システムの様々な動作的及び制御的な特徴を示す図である。
【図３Ａ】図２Ａ−２Ｆに示すような、外部撮像と共にロボット医療システムを使用することを含む、様々な手続き的なアプローチを示すフロー図である。
【図３Ｂ】図２Ａ−２Ｆに示すような、外部撮像と共にロボット医療システムを使用することを含む、様々な手続き的なアプローチを示すフロー図である。
【図３Ｃ】図２Ａ−２Ｆに示すような、外部撮像と共にロボット医療システムを使用することを含む、様々な手続き的なアプローチを示すフロー図である。
【図３Ｄ】図２Ａ−２Ｆに示すような、外部撮像と共にロボット医療システムを使用することを含む、様々な手続き的なアプローチを示すフロー図である。
【発明を実施するための形態】
【００１４】
本発明の実施態様の以下の詳細な記載では、開示の実施態様の徹底的な理解をもたらすために、数多くの特定の詳細を示す。しかしながら、これらの特定の詳細を伴わずにこの開示の実施態様を実施してよいことが当業者に明らかであろう。他の場合には、本発明の実施態様の特徴を不必要に曖昧にしないように、周知の方法、手順、構成部品、及び回路を詳細に記載しない。
【００１５】
以下の実施態様は、様々な器具及びそれらの器具の部分を、それらの三次元空間に関して記載する。ここで用いるとき、「位置」という用語は、三次元空間（例えば、デカルトＸ，Ｙ，Ｚ座標に沿う３つの並進自由度）における物体の又は物体の部分の場所を指す。ここで用いるとき、「向き」（「配向」）という用語は、物体の又は物体の部分の回転的な配置（３つの回転自由度−例えば、ロール、ピッチ、及びヨー）を指す。ここで用いるとき、「姿勢」という用語は、少なくとも１つの並進自由度における物体の又は物体の部分の位置、及び少なくとも１つの回転自由度（最大で６つの総自由度）におけるその物体の又はその物体の部分の向きを指す。ここで用いるとき、「形状」という用語は、物体に沿って測定される一連の姿勢、位置、又は向きを指す。
【００１６】
図面の図１Ａを参照すると、ロボット外科システムを参照番号１００によって概ね示している。ここで用いるとき、「外科」は、手術処置（例えば、組織摘出又は操作、治療処置（例えば、薬剤給送）、及び診断処置（例えば、組織検査又は生検）を非限定的に含む、患者に対して執り行う如何なる医療処置をも指し得ることに留意のこと。図１Ａに示すように、ロボットシステム１００は、一般的には、患者Ｐに対する様々な処置を執り行う際に外科器具１０４を操作するための外科ドライバアセンブリ１０２を含む。外科ドライバアセンブリ１０２は、手術テーブルＯに又はその付近に取り付けられる。マスタアセンブリ１０６は、臨床医Ｓ（例えば、外科医又は関与者）が外科部位を見て外科ドライバアセンブリ１０２を制御するのを可能にする。
【００１７】
代替的な実施態様において、ロボットシステムは、１つよりも多くの外科ドライバアセンブリを含んでよい。外科ドライバアセンブリの正確な数及び構成は、他の要因の中でもとりわけ、外科処置及び手術室内の空間制約に依存する。
【００１８】
マスタアセンブリ１０６を臨床医コンソールＣに配置してよく、臨床医コンソールＣは手術テーブルＯと同じ部屋内に配置されるのが普通である。しかしながら、臨床医Ｓを患者Ｐと異なる部屋又は完全に異なる建物内に配置し得ることが理解されるべきである。マスタアセンブリ１０６は、一般的には、任意的な支持体１０８と、外科ドライバアセンブリ１０２を制御するための１つ又はそれよりも多くの制御装置１１２とを含む。制御装置１１２は、任意の数の、ジョイスティック、トラックボール、グラブ、トリガーガン、手動コントローラ、音声認識装置又は類似物のような、様々な入力装置を含んでよい。幾つかの実施態様では、臨床医が器具１０４を直接的に制御しているという強い感覚を有するように、制御装置１１２は関連する外科器具１０４と同じ自由度を備えて、制御装置１１２が器具１０４と一体的であるという知覚又はテレプレゼンスを臨床医にもたらす（しかしながら、他の実施態様において、制御装置１１２は、関連する外科器具１０４よりも多い又は少ない自由度を有してよい）。幾つかの実施態様において、制御装置１１２は、６つの自由度で動く手動入力装置であり、手動入力装置は、器具を作動させるための（例えば、把持ジョーを閉じるための、電極に電位を印可するための、医療処置を加えるための、又は類似目的のための）作動可能なハンドルを含んでもよい。
【００１９】
外科部位の同時又は実時間の原位置画像（即ち、外科部位で撮られた画像）が臨床医コンソールＣにもたらされるように、視覚化システム１１０が（以下により詳細に記載する）ビュースコープアセンブリ(viewing  scope  assembly)を含んでよい。同時の画像は、例えば、外科部位内に位置付けられる内視鏡又は類似の撮像要素によってキャプチャされる（捉えられる）二次元又は三次元画像であってよい。この実施態様において、視覚化システム１００は、外科器具１０４に一体的に又は取外し可能に連結されてよい内視鏡構成部品を含み得る。しかしながら、代替的な実施態様では、別個の外科ドライバアセンブリに取り付けられる別個の内視鏡を外科器具と共に用いて外科部位を撮影（画像化）してよい。１つ又はそれよりも多くのコンピュータプロセッサと相互作用する或いはその他の方法で実行されるハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして視覚化システム１１０を実施してよく、１つ又はそれよりも多くのコンピュータプロセッサは、（以下に記載する）制御システム１１６のプロセッサを含んでよい。
【００２０】
ディスプレイシステム１１１が視覚化システム１１０によってキャプチャされる外科部位及び外科器具の画像を表示してよい。スコープアセンブリ内の撮像装置と外科器具との間の相対的な位置が臨床医の両眼及び両手の相対的な位置と類似し、それにより、操作者が恰も実質的に真正な存在において作業空間を見ているかのように外科器具１０４及び手制御装置を操作し得るように、ディスプレイシステム１１１及びマスタ制御装置１１２を向けてよい。真正な存在が意味することは、画像の表示が外科器具１０４を物理的に操作している操作者の視点をシミュレート（擬態）する真正な透視画像であることである。
【００２１】
代替的に又は追加的に、ディスプレイシステム１１１は、とりわけ、コンピュータ断層撮影法（ＣＴ）、磁気共鳴映像法（ＭＲＩ）、ポジトロン放出断層撮影法（ＰＥＴ）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンス断層映像法（ＯＣＴ）、赤外線撮影法(thermal  imaging)、インピーダンス撮影法(impedance  imaging)、レーザ撮影法(laser  imaging)、又はナノチューブＸ線撮影法(nanotube  X-ray  imaging)のような撮像技法を用い得る、外部撮像システム１６０によって術前に及び／又は術中に記録され且つ／或いはモデル化（モデリング）される外科部位の画像を提示してよい。提示される画像は、二次元、三次元、又は四次元の画像を含んでよい。ここで用いるとき、「外部撮像」又は「外部画像」は、特定の撮像モダリティに拘わらず（例えば、外部撮像及び／又は原位置撮影の両方のために超音波を用い得る）、患者内から撮られる「原位置」画像とは対照的に、患者の外側から撮られる標的解剖学的構造の画像を指す。
【００２２】
幾つかの実施態様において、ディスプレイシステム１１１は、代替的に又は追加的に、外科器具の先端の場所にある内部外科部位の仮想の画像を臨床医Ｓに提示するよう、外科器具の実際の場所が術前画像又は術中画像と位置合わせされる（即ち、動的に照合される）、仮想のナビゲーション画像を表示してよい。外科器具の先端の画像又は他の図式的な若しくは英数字の表示を仮想の画像上で重ね合わせて、臨床医が外科器具を制御するのを支援してよい。代替的に、外科器具は仮想の画像中で見えないことがある。
【００２３】
他の実施態様において、ディスプレイシステム１１１は、代替的に又は追加的に、外科部位内の外科器具の仮想の画像を外部の視点から臨床医Ｓに提示するよう、外科器具の実際の場所が術前又は術中の画像と位置合わせされる、仮想のナビゲーション画像を表示してよい。外科器具の部分の画像又は他の図式的な若しくは英数字の表示を仮想の画像上で重ね合わせて、臨床医が外科器具を制御するのを支援してよい。
【００２４】
図１Ａに示すように、制御システム１１６が、少なくとも１つのプロセッサ１１６Ｐを含み、典型的には、外科ドライバアセンブリ１０２と、マスタアセンブリ１０６と、画像及び表示システム１１０との間の制御をもたらす、複数のプロセッサを含む。制御システム１１６は、ここに記載する方法の一部又は全部を実施するソフトウェアプログラミング指令も含む。様々な実施態様では、そのようなソフトウェアプログラミング指令を、光ディスク、磁気光学若しくはソリッドステートハードドライブ、フラッシュメモリ、又は任意の他の媒体種類のような、不揮発性コンピュータ読出し可能な媒体１１６Ｃに格納し得る。様々な実施態様において、制御システム１１６は、とりわけ、モデルデータ、センサデータ、画像データのような、入力データを受信し且つ／或いは格納する、１つ又はそれよりも多くのコンピュータメモリ１１６Ｍを含み得る。
【００２５】
図１Ａの簡略図では、制御システム１１６を単一のブロックとして示しているが、制御システム１１６は、（例えば、外科ドライバアセンブリ１０２上に及び／又はマスタアセンブリ１０６上に）多数のデータ処理回路を含んでよく、処理の少なくとも一部は入力装置に隣接して行われ、一部は外科ドライバアセンブリ又は類似物に隣接して行われる。広範な集中型の又は分散型のデータ処理アーキテクチャを利用してよい。同様に、プログラミングコードを多数の別個のプログラム又はサブルーチンとして実施してよく、或いはここに記載するロボットシステムの多数の他の特徴に統合してよい。１つの実施態様において、制御システム１１６は、Bluetooth（登録商標）、IrDA、HomeRF、IEEE802.11、DECT、及びWireless  Telemetryのような、無線通信プロトコルをサポートしてよい。
【００２６】
幾つかの実施態様において、制御システム１１６は、外科器具１０４から手動制御装置１１２への力及びトルクフィードバックをもたらす、サーボコントローラを含んでよい。如何なる適切な従来的な又は特殊なサーボコントローラを用いてもよい。サーボコントローラは、外科ドライバアセンブリ１０２と別個であっても一体的であってもよい。幾つかの実施態様において、サーボコントローラ及び外科ドライバアセンブリは、患者の体に隣接して位置付けられるロボットアームカートの一部として設けられる。サーボコントローラは、ドライバアセンブリ１０２に指令して器具を移動させる信号を送信し、器具は患者の体の開口(openings)を介して患者の体内の内部外科部位に延びる。
【００２７】
外科器具１０４を支持するドライバアセンブリ１０２の各々は、一般的にセットアップ関節(set-up  joint)と呼ぶ、１つ又はそれよりも多くの関節式に連結可能な（典型的には、必ずしも排他的ではないが、手動で関節式に連結可能な）位置決め／支持リンクを含んでよい。ドライバアセンブリ１０２は、一連のアクチュエータ（例えば、モータ）を含んでよい。これらのアクチュエータは、外科器具１０４と一体的であっても取り外し可能に連結されてもよく、制御システム１１６からの命令に応答して外科器具１０４を能動的に動かす。具体的には、アクチュエータは、外科器具１０４を自然の又は外科的に創り出される解剖学的開口部内に前進させ、且つ／或いは外科器具１０４の遠位端を、３つの程度の線形運動（例えば、Ｘ，Ｙ，Ｚ直線運動）及び３つの程度の回転運動（例えば、ロール、ピッチ、ヨー）を含んでよい多数の自由度において動かし得る。追加的に又は代替的に、（例えば、生検装置のジョー又は類似物内に組織を掴むために）関節式に連結可能である或いは配置可能である器具の１０４のエンドエフェクタを作動させるために、アクチュエータを用い得る。
【００２８】
図１Ｂは、外科器具システム１０４及びそのインターフェースシステムの実施態様を例示している。外科器具１０４は、ドライバアセンブリ１０２及び視覚化システム１１０へのインターフェース１２２によって連結される可撓な器具１２０を含む。器具１２０は、可撓な本体１２４と、その遠位端１２８にある先端１２６と、その近位端１３０にあるインターフェース１２２とを有する。
【００２９】
幾つかの実施態様では、可撓なチューブ（例えば、ポリテトラフルオロエチレン(PTFE)のような可撓な又は低摩擦の材料の内層又は外層を備える織りワイヤチューブのような編み構造、ポリエーテルブロックアミド(Pebax）のような材料の編みジャケット及びリフローされた（即ち、溶解によって融合された）ジャケットによって纏められた内腔又はチューブの束、Pebaxのようなポリマ材料の押出物、金属コイル、一連のリンクされた要素、切欠きを備える金属チューブ、及び／又は任意の他の細長い可撓な構成）で本体１２４を形成し得る。可撓なチューブは、様々な実施態様において、その長さに亘って様々な異なる構造を示し得る。様々な他の実施態様において、可撓な本体は、更に、ケーブル、リンク、又は他の操縦制御装置（図示せず）を収容し、或いはそれらと一体化されることができ、それらはインターフェース１２２と先端１２６との間で少なくとも部分的に延びて、例えば、点線バージョンの折り曲げられた先端１２６によって図示するように、先端を制御可能に曲げ又は回転させ、幾つかの実施態様では、任意的なエンドエフェクタ１３２を制御する。
【００３０】
可撓な器具は、操縦可能であってよく、前述の操縦制御装置を含み、或いは、操縦不能であってよく、器具曲げの操作者制御のための統合機構を備えない。例示的な目的のために一組のジョーとして描いているが、任意的なエンドエフェクタ１３２は、医療機能のために動作可能な、例えば、標的組織に対する所定の使用をもたらすために動作可能な、任意の作業遠位部分であってよい。例えば、幾つかのエンドエフェクタは、外科用メス、ブレード、針、又は電極のような、単一の作業部材を有する。図１Ｂの実施態様に示すような他のエンドエフェクタは、例えば、ピンセット、グラスパ(grasper)、鋏(scissor)、ステープラ(stapler)、血管シーラ(vessel  sealer)、生検ツール、縫合ツール、又はクリップアプライヤ(clip  applier)のような、一対の又は複数の作業部材を有する。電気的にアクティブ化される或いは使用可能にされるエンドエフェクタの実施例は、電気外科電極、切除要素(ablation  element)、トランスデューサ(transducer)、センサ、カメラ、プローブ、及び類似物を含む。エンドエフェクタは、流体、気体又は固形物を運搬して、例えば、吸引、吸入、洗浄、流体給送を必要とする治療、アクセサリ導入、生体摘出、及び類似のことを行う、導管を含んでもよい。
【００３１】
他の実施態様において、可撓な本体１２４は、１つ又はそれよりも多くの作業内腔１２０Ａを定め得る。作業内腔を通じて、（任意的なエンドエフェクタ１３２のような）外科器具を（例えば、任意的な補助入力ポート１２０Ｂを介して）配置し、標的外科場所で用い得る。様々な実施態様では、そのような作業内腔１２０Ａを、任意的なエンドエフェクタ１３２及び／又は他の機能的要素と共に、器具１２０内に統合し得る。
【００３２】
器具１２０は、ディスプレイシステム１１１による表示のために視覚化システム１１０に送信されて視覚化システム１１０によって処理される原位置画像をキャプチャするために遠位端１２８に配置される立体視(stereoscopic)又は平面視(monoscopic)カメラを含んでよい、イメージキャプチャ要素１３４（画像捕捉要素）も含み得る。代替的に、イメージキャプチャ要素１３４は、ファイバースコープのような、器具１２０の近位端で画像化及び処理システムに結合する、コヒーレント光ファイババンドルであってよい。イメージキャプチャ要素１３４は、画像データを可視又は赤外線／紫外線スペクトルにおいてキャプチャするために単一スペクトル又は多重スペクトルであってよい。様々な他の実施態様において、イメージキャプチャ要素１３４は、とりわけ、共焦点顕微鏡、ＯＣＴシステム、及び超音波プローブのような、任意の種類の撮像システム（画像化システム）を含み得る。
【００３３】
幾つかの実施態様において、器具１２０は、１つ又はそれよりも多くの医療プローブ又はツールと交換可能なビジョンプローブ(vision  probe)を収容する作業内腔１２０Ａを有するカテーテル又はガイドチューブとして機能し得る。例えば、幾つかの実施態様では、ビジョンプローブを取り外して医療処置中に用いられる医療プローブと交換し得るよう、イメージキャプチャ要素１３４を作業内腔１２０Ａ内に適合するような大きさとされるビジョンプローブとして実施し得る。ビジョンプローブと医療プローブの交換は、器具１２０がより小さい直径を有し、それにより、ビジョンシステム及び医療システムの両方を同時に収容する類似のシステムよりも小さい通路を進むのを許容することがある。代替的に、プローブを交換することは、ビジョンシステム及び医療システムの両方を同時に収容しなければならないカテーテルよりも大きい機能性を有するビジョンシステム及び医療システムのためにより多くの空間を可能にすることがある。
【００３４】
追跡システム１３５が、位置センサシステム１３６（例えば、電磁(ＥＭ)センサシステム）及び／又は形状センサシステム１３８を含むことができ、形状センサシステムは、遠位端１２８の、そして、任意的に、器具１２０に沿う１つ又はそれよりも多くのセグメント１３７（領域）の位置、向き、速度、姿勢、及び／又は形状を決定する、センサシステムである。例示的な一連のセグメント１３７のみを図１Ｂに描いているが、先端１２６を含む遠位端１２８と近位端１３０との間の器具１２０の全長を効果的にセグメントに分割してよい。１つ又はそれよりも多くのコンピュータプロセッサと相互作用する或いはその他の方法において１つ又はそれよりも多くのコンピュータによって実行されるハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせとして追跡システム１３５を実施してよく、１つ又はそれよりも多くのコンピュータプロセッサは、制御システム１１６のプロセッサを含んでよい。
【００３５】
幾つかの実施態様において、位置センサシステム１３６は、外部的に生成される電磁界に晒されることがある１つ又はそれよりも多くの伝導性コイルを含むＥＭセンサシステムであり得る。次に、各コイルは、外部的に生成される電磁界に対するコイルの位置及び向きに依存する特性を有する誘起電気信号を生成する。１つの実施態様では、６つの自由度、例えば、３つの位置座標Ｘ，Ｙ，Ｚと、基点(base  point)のピッチ、ヨー、及びロールを示す３つの配向角とを測定するように、ＥＭセンサシステムを構成し且つ位置付けてよい。例示的なＥＭセンサシステムの更なる記載は、「Six-Degree  of  Freedom  Tracking  System  Having  a  Passive  Transponder  on  the  Object  Being  Tracked」を開示する、１９９９年８月１１日に出願された米国特許第６，３８０，３７２号に提供されており、その全文をここに参照として援用する。
【００３６】
幾つかの実施態様において、形状センサシステム１３８は、（例えば、内部通路（図示せず）内に設けられ或いは外部的に取り付けられる）可撓な本体１２４と整列させられる光ファイバ１４０を含む。追跡システム１３５は、光ファイバ１４０の近位端に連結される。この実施態様において、光ファイバ１４０は、約２００μｍの直径を有する。他の実施態様において、直径はより大きくてもより小さくてもよい。
【００３７】
光ファイバ１４０は、器具１２０の形状を決定する光ファイバ曲げセンサを形成する。１つの代替では、光ファイバグレーティング（ＦＢＧ）が用いられて、１つ又はそれよりも多くの次元における構造中の歪み測定値をもたらす。光ファイバの形状及び相対的位置を三次元において監視する様々なシステム及び方法が、「Fiber  optic  position  and  shape  sensing  device  and  method  relating  thereto」を開示する２００５年７月１３日に出願した米国特許出願第１１／１８０，３８９号、「Fiber-optic  shape  and  relative  position  sensing」を開示する２００４年７月１６日に出願された米国仮特許出願第６０／５８８，３３６号、及び「Optical  Fibre  Bend  Sensor」を開示する１９９８年７月１７日に出願された米国特許第６，３８９，１８７号に記載されており、それらの全文をここに参照として援用する。他の代替では、レイリー散乱、ラマン散乱、ブリユアン散乱、及び蛍光散乱のような、他の歪み感知技法を利用するセンサが適切であることがある。他の代替的な実施態様では、他の技法を用いて器具１２０の形状を決定してよい。例えば、器具先端の姿勢の履歴が、ナビゲーションディスプレイをリフレッシュするための又は交互の動き（例えば、吸気及び排気）のための期間よりも小さい時間の間隔に亘って格納されるならば、その姿勢履歴を用いて時間の間隔に亘って装置の形状を再構築し得る。他の例として、呼吸のような交互の動きの周期に沿う器具の既知の地点について、履歴的な姿勢、位置、又は向きデータを格納してよい。この格納データを用いて器具についての形状情報を開発してよい。代替的に、器具に沿って位置付けられるＥＭセンサのような一連の位置センサを形状感知のために用い得る。代替的に、特に解剖学的通路が概ね静止的であるならば、処置中の器具上のＥＭセンサのような位置センサからのデータの履歴を用いて器具の形状を表してよい。代替的に、外部磁界によって制御される位置又は向きを備える無線装置を形状感知のために用いてよい。ナビゲートされる通路についての形状をその位置の履歴を用いて決定してよい。
【００３８】
この実施態様において、光ファイバ１４０は、単一のクラッディング１４６内に多数のコアを含んでよい。各コアは、十分な距離を備える単一モードであってよく、クラッディングは、各コア内の光が他のコア内で運ばれる光と有意に相互作用しないようにコアを分離する。他の実施態様において、コアの数は異なってよく、或いは各コアを別個の光ファイバ内に収容してよい。
【００３９】
幾つかの実施態様において、ＦＢＧのアレイ（配列）が各コア内に設けられる。各ＲＢＧは、屈折率内に空間的周期性を生成するように、コアの屈折率の一連の変調を含む。各指数変化(index  change)からの部分的反射が波長の狭帯域についてコヒーレントに加わり、従って、波長の狭帯域のみを反射するが、より一層広い帯域を通すように、その間隔を選択してよい。ＦＢＧの製造中、変調は既知の距離だけ離間され、それにより、波長の既知の帯域の反射を引き起こす。しかしながら、歪みがファイバコア上に誘起されるときには、コアにおける歪みの量に依存して、変調の間隔が変化する。代替的に、光ファイバの曲げと共に変化する後方散乱又は他の光学現象を用いて各コア内の歪みを決定し得る。
【００４０】
よって、歪みを測定するために、ファイバを下行して光を送り、戻る光の特性を測定する。例えば、ＲＢＧは、ファイバ上の歪み及びファイバの温度の関数である反射波長を生成する。このＦＢＧ技術は、Bracknell,  EnglandのSmart  Fibres  Ltd.のような様々なソースから商業的に入手可能である。ロボット手術用の位置センサにおけるＲＢＧ技術の使用は、「Robotic  Surgery  System  Including  Position  Sensors  Using  Fiber  Bragg  Gratings」を開示する２００６年７月２０日に出願された米国特許第７，９３０，０６５号に記載されており、その全文をここに参照として援用する。
【００４１】
マルチコアファイバに適用されるとき、光ファイバの曲げはコア上に歪みを誘起し、各コアにおける波長シフトを監視することによってコア上の歪みを測定し得る。２つ又はそれよりも多くのコアをファイバ内に軸外し配置させることによって、ファイバの曲げは各々のコアの上に異なる歪みを誘起する。これらの歪みは、ファイバの曲げの局所的な程度の関数である。例えば、ＦＢＧを含むコアの領域は、ファイバが曲げられる地点に配置されるならば、それによりそれらの地点での曲げの量を決定するために用いられ得る。これらのデータをＲＢＧ領域の既知の間隔と組み合わせて用いて、ファイバの形状を再構築し得る。そのようなシステムは、Blacksburg,  VAのLuna  Innovations,  Inc.によって記載されている。
【００４２】
既述のように、光ファイバ１４０を用いて器具１２０の少なくとも部分の形状を監視する。より具体的には、光ファイバ１４０を通過する光は、外科器具１２０の形状を検出するために並びにその情報を利用して外科処置を支援するために、追跡システム１３５によって処理される。追跡システム１３５は、器具１２０の形状を決定するために用いられる光を生成し且つ検出する検出システムを含んでよい。次いで、この情報を用いて、外科器具の部分の速度及び加速度のような他の関連する変数を決定し得る。これらの変数のうちの１つ又はそれよりも多くのの正確な測定値を実時間において取得することによって、コントローラは、ロボット手術システムの精度を向上させ、且つ構成部品部分を駆動する際に導入される誤差（エラー）を補償し得る。感知することをロボットシステムによって作動させられる自由度にのみ限定してよく、或いは受動的な自由度（例えば、関節間の剛的な部材の作動されない曲げ）及び能動的な自由度（例えば、器具の作動された動き）の両方に適用してよい。
【００４３】
追跡システム１３５からの情報をナビゲーションシステム１４２に送信してよく、ナビゲーションシステムで、その情報は視覚化システム１１０からの情報及び／又は術前に撮られた画像及び／又は術中に撮られた画像と組み合わせられて、器具１２０の制御における使用のために臨床医又は他の操作者にディスプレイ上で実時間の位置情報を提供する。制御システム１１６は、器具１２０を位置付けるためのフィードバックとして位置情報を利用してよい。外科器具を外科画像と位置合わせし且つ表示するのに光ファイバセンサを用いる様々なシステムが、「Medical  System  Providing  Dynamic  Registration  of  a  Model  of  an  Anatomical  Structure  for  Image-Guided  Surgery」を開示する２０１１年５月１３日に出願された米国特許出願第１３／１０７，５６２号に提供されており、その全文をここに参照として援用する。
【００４４】
図１Ｂの実施態様では、器具１０４をロボット手術システム１００内で遠隔操作し得る。代替的な実施態様では、ドライバアセンブリ及び関連する制御システム／マスタアセンブリを直接的な操作者制御装置と置換し得る。直接操作代替では、器具の手持ち式操作のために、様々なハンドル及び操作者インターフェースを含めてよい。
【００４５】
制御システム１１６は、（例えば、駆動インターフェース１２２、ドライバアセンブリ１０２、制御システム１１６、及び／又はマスタアセンブリ１０６内に含められる）アクチュエータを制御して、遠位先端１２６を操縦する。一般的には、制御論理(control  logic)が使用者（例えば、臨床医又はシステム１００を用いる他の医療人員）からの命令に応答して作動し、任意的に（例えば、ＥＭセンサ１３６及び／又は形状センサシステム１３８からの）センサ信号に応答して作動する。しかしながら、上述のように、幾つかの実施態様において、制御システム１１６は、例えば、以前に特定した作業構成を維持し或いは取得するために−センサ信号に応答して作動し得る。
【００４６】
図２Ａは、外部的な撮像システム１５０を用いた患者Ｐに対する外科処置のパフォーマンスを増大させる手術システム１００の実施態様を示している。ドライバアセンブリ１０２及び器具１０４を、ここでは、例示的な目的のために可撓な器具を備える「単一アーム」システムとして描き且つ記載しているが、様々な他の実施態様は、とりわけ、より剛的な器具システム（例えば、Mako  RIO（登録商標）system）及び／又はマルチアームロボットシステム（例えば、Intuitive  Surgicalのda  Vinci（登録商標）surgical  system）を含み得る。様々な他の実施態様において、ドライバアセンブリ１０２及び器具１０４は、限局性治療システム(focal  therapy  system)（例えば、とりわけ、組織内レーザ治療システム(interstitial  laser  therapy  system)、限局性クライオブレーションシステム(focal  cryoblation  system)、強力集束超音波（ＨＩＦＵ）システム(high-intensity  focused  ultrasound  system)、電気穿孔法(electroporation  system)、光力学治療システム(photodynamic  therapy  system)、及び／又は外部ビーム放射線療法システム(external  beam  radiotherapy  system）のような、代替的な最小侵襲的な又は非侵襲的な治療又は診断システムでさえあり得る。
【００４７】
図２Ａに示すように、ドライバアセンブリ１０２は、器具１０４を患者Ｐの標的解剖学的構造Ａ（ここでは、例示的な目的のために肺として描いている）内に案内する。ドライバアセンブリ１０２及び器具１０４の挙動は、制御システム１１６によって制御され、器具１０４（及び任意的にドライバアセンブリ１０２）からのセンサデータ（例えば、位置データ、形状データ、運動学的データ等）が収集され、（例えば、追跡システム１３５によって）制御システム１１６に提供される。同様に、器具１０４によって撮られる（例えば、器具１０４内に統合される或いは器具１０４上／内に位置付けられる）１つ又はそれよりも多くのカメラを介して撮られる）画像を視覚化１１０によって処理して制御システム１１６にもたらし得る。この画像データを生の原位置画像（例えば、画像Ａ）としてディスプレイシステム１１１（例えば、コンピュータ又はビデオモニタ）上に提示し得る。様々な実施態様では、解剖学的構造Ａのコンピュータモデル及び追跡システム１３５によって提供されるセンサデータに基づき、仮想の原位置データ（例えば、画像Ｂ）を追加的に又は代替的にディスプレイシステム１１１上に示し得る。様々な他の実施態様において、ディスプレイシステム１１１は、患者Ｐ内の器具１０４の事前に計画された及び／又は実際の軌跡を示す解剖学的構造Ａのナビゲーション全体像（例えば、画像Ｃ）のような、任意の他の関連する情報を示し得る。
【００４８】
多くの場合、異なるソース（例えば、術前又は術中に生成される解剖学的モデルと組み合わせられたセンサベースの器具姿勢情報）から撮られる解剖学的情報及び器具の両方を組み合わせる画像Ｃのような複合画像は、最小侵襲的な外科的処置の重要な要素である。そのような描写は、器具ベースの撮像機器（例えば、内視鏡カメラ、径方向超音波プローブ等）がもたらす比較的短距離の局所的な撮像の故に、そのような機器が概ねもたらし得ない、処置の全体的な進展の視覚的な表示を、臨床医にもたらす。そのような局所的な撮像に比べて、複合画像Ｃは、解剖学的構造全体に対する（又は少なくとも解剖学的構造のより一層大きい部分に対する）器具のより一層包括的な眺望を示し得る。例えば、画像Ｃに示すように、肺内の気道木のような分枝解剖学的構造において、複合画像Ｃは、標的結節に対する器具１０４の遠位端領域の姿勢を示し得るのみならず、器具１０４が横断する特定の気道枝を含む、器具１０４が取る経路をも示し得る。例示的な目的のために画像Ｃを正面図（即ち、解剖学的構造Ａの正面平面）として描いているが、様々な他の実施態様において、画像Ｃはサジタル図（矢状図）、３Ｄ図、又は器具／解剖学的構造関係の所望の表示をもたらす任意の他の透視図であり得る。
【００４９】
本来、複合画像Ｃの精度は、器具と患者解剖学的構造との間の正確な位置合わせ及び／又は器具と解剖学的モデルとの間の正確な位置合わせに依存する。典型的には、この位置合わせは、器具センサデータ（例えば、患者解剖学的構造に結び付けられ且つ解剖学的モデルにおける参照場所(reference  location)／基準(fiducial)に相関させられる、既知の関係、基準場所／基準を有するＥＭセンサ又は形状センサ）に基づく。しかしながら、患者解剖学的構造のコンプライアンス及び変形可能性の故に、同様に、固有のセンサ公差の故に、このセンサベースの位置合わせは、患者解剖学的構造に対する器具の実際の姿勢から有意に逸脱し得る。感知される位置合わせと実際の位置合わせとの間のそのような不一致を軽減するために、同一所有者による同時係属中の米国特許出願第１３／８９２，９２４号、１３／８９３，０４０号、１３／８９２，８７１号、及び１３／８９３，００８号に記載するような、様々なアルゴリズム的解析アプローチ及び／又はデータ解析アプローチを用いることができ、それらの全てをここに参照として援用する。そのようなアプローチは、多くの場合に正確な位置合わせをもたらすが、解剖学的変動／センサ変動に起因する不正確性に依然として晒されることがある。
【００５０】
従って、患者内の外科器具の操作（例えば、位置決め及び／又は作動）と共に、外部撮影システム１５０（例えば、とりわけ、コンピュータ断層撮影（ＣＴ）スキャナ、ポジトロン放出断層撮影（ＰＥＴ）スキャナ、蛍光透視スキャナ（例えば、Ｃアーム、Ｏアーム）、磁気共鳴映像（ＭＲＩ）スキャナ、コーンビームＣＴスキャナ、及び／又は超音波システム）を用いて、解剖学的構造Ａ及び／又は器具１０４の術中画像（例えば、２Ｄ、３Ｄ、静止的な眺望、生の眺望、３６０度の眺望、ウェッジ眺望(wedge  view)、又は任意の他の種類の眺望）をもたらし得る。幾つかの実施態様では、外部撮像システムを関節式に連結する（例えば、ロボット式に制御可能な）支持構造に取り付けて、より大きい範囲の撮像配向をもたらすこともできる。
【００５１】
撮像システム１５０は、外部画像データをキャプチャし且つ生成する外部イメージャ１６０（例えば、Ｘ線源とレセプタとを備えるガントリ）と、そのデータを処理して使用可能な画像データ（例えば、スキャン部位の断層撮影的な再構築）にする外部イメージャコントローラ１７０とを含む。幾つかの実施態様では、外部イメージャ１６０を関節式に連結する（例えば、ロボット式に制御可能な）支持構造に取り付けて、より広い範囲の撮像配向をもたらし得る。次に、制御システム１１６は、外部画像コントローラ１７０からのこの画像データを用いて、患者Ｐに対して行う処置を強化し得る。
【００５２】
幾つかの実施態様において、撮像システム１５０は、器具１０４及び／又はドライバアセンブリ１０２と共に働いて、撮像領域を精緻化し且つ局所化し、例えば、所与の露出時間に亘る撮像解像度を増大させ、或いは放射線曝露時間を減少させ得る。例えば、幾つかの実施態様において、器具１０４の遠位先端領域１２６と関連付けられる姿勢データ（例えば、基準、トラッカ(tracker)、ビーコン(beacon)、又は器具１０４の遠位端若しくはその付近での他の表示、或いは遠位先端領域１２６についてのＥＭセンサ、形状センサ、光センサデータのようなセンサデータ）は、撮像システム１５０の動作を案内し得る。
【００５３】
例えば、図２Ｂに示すように、先端１２６の周りに（例えば、先端１２６の周りの所定の、選択可能な、又は使用者が示す領域に）スキャン領域ＳＲを定め得る。次に、外部イメージャ１６０は、スキャン領域ＳＲの周りの直ぐ内側を走査して（例えば、スキャン領域ＳＲ内だけのＣＴスライス又はウェッジを取って）、図２Ｃに示すような関連する外部画像データを生成し得る。例示的な目的のためにスキャン領域ＳＲを円形又は球形の領域として描いているが、様々な他の実施態様において、スキャン領域ＳＲは任意の大きさ又は形状を取ることができ、先端１２６の周りに中心化される必要がない（例えば、幾つかの実施態様において、スキャン領域ＳＲは遠位先端１２６を越えて幾らかの距離だけ延びて、器具１０４の作業領域が外部イメージャ１６０によって撮像されるのを保証し得る）ことに留意のこと。他の実施態様では、小結節、腫瘍、気道分岐部、又は器官のような解剖学的構造Ａにおける特徴Ｔ１(feature)の標的場所に対して、或いは解剖学的構造Ａにおいて使用者が特定する場所に対してさえも、スキャン領域ＳＲを定め得る。
【００５４】
撮像システム１５０によって局所的な又は全身性の外部画像データが提供されるか否かに拘わらず、制御システム１１６はそのデータを用いて患者Ｐに対する処置のパフォーマンスを増大させ得る。例えば、幾つの実施態様では、解剖学的構造Ａの既存のモデル（例えば、任意的に術中に修正される、術前に生成されるＣＴモデル）と共に撮像システム１５０からの術中外部画像データを用いて、目下の術中環境のより正確な表示をもたらし得る。
【００５５】
例えば、図２Ｄは、比較の目的のために解剖学的構造Ａの既存モデルＭの上に重ねられる解剖学的構造Ａの少なくとも部分について撮像システム１５０によって（例えば、図２Ｃを参照して記載するスキャン操作によって）生成される外部画像データＥを示している。既存のモデルＭは、解剖学的構造Ａの元来の（術前の）モデル、又は術中に生成される修正／更新モデルであり得ることに留意のこと。外部画像データＥを解剖学的構造ＡのモデルＭの部分又はサブセットとしてここに描写し且つ記載しているが、様々な他の実施態様では、外部画像データＥを完全な解剖学的構造Ａであり得るが、上記のように、解剖学的構造Ａの局所化された部分のみをスキャンすることは有益な効果（例えば、とりわけ、放射線曝露の減少、スキャン速度の増大、及び／又はスキャン精度の増大）をもたらし得ることに更に留意のこと。加えて、例示的及び記述的な目的のために外部画像データＥをモデルＭの上に重ねて示しているが、様々な他の実施態様では、外部画像データＥのみ又はモデルＭの修正版（即ち、外部画像データＥに基づくモデルＭの修正版）のみを表示し得る。
【００５６】
図２Ｄに示すように、外部画像データＥは、実際の器具姿勢Ｐとセンサベースの器具姿勢Ｓ（即ち、センサデータに由来する器具の姿勢）との間の相違を示す。例示的な目的のために解剖学的モデル状態及び器具−センサ姿勢不一致の両方を図２Ｄに描写しているが、様々な実施態様では、一方又は両方の種類の不一致が外部画像データ中に存在してよい（或いは外部画像中で有意であってよい）。
【００５７】
いずれにしても、様々な実施態様では、外部画像データと測定される／モデル化（モデリング）される状態との間のあらゆる相違を用いて術中モデリングを更新し且つ処置精度を有益に強化し得る（例えば、解剖学的モデルと患者解剖学的構造との間の位置合わせ、器具、及び／又は器具カメラビューを改良し、器具の姿勢を調節／維持し、且つ／或いは器具についての軌跡を構築し得る）。解剖学的構造Ａが（例えば、肺の気道木内の又は動脈網内の）器具１０４の存在及び／又は動きによって変形される可能性が高いときに、並びに／或いはセンサ又は運動学的データ（例えば、可撓な器具）から器具１０４の姿勢を正確に構築するのが困難であるときに、これは特に有益であり得る。
【００５８】
例えば、同一所有者による同時係属中の米国特許出願第１３／８９３，００８号に記載されるような、器具センサデータに基づき、この器具によって引き起こされる変形に応答するモデリング及び位置合わせを実施し得る。しかしながら、多くの場合、そのようなセンサベースの更新は、実際の解剖学的条件及び／又は相対的な器具位置を精密に表さないことがある。そのような状況では、外部画像データＥを用いて術中解剖学的モデルＭを改良し、器具１０４と解剖学的構造Ａとの間の位置合わせを向上させ、且つ／或いは器具１０４の遠位端と外科標的Ｔ２との間の関係をより正確に特徴付け得る。例えば、（図２Ｄに描写するような）外部画像データＥによって表示されるモデリング又は位置合わせ不一致に応答して、モデルＭ、モデルＭ自体、器具１０４の姿勢、及び／又は器具１０４とモデルＭとの間の位置合わせを更新して、外部画像データＥにより密接に整合させ得る。
【００５９】
幾つかの実施態様では、外部画像データＥに基づきモデルＭの品質及び／又は精度を増大させ得る。例えば、基礎的なレベルで、（例えば、術前ＣＴスキャンセグメント化による）元来のモデル生成は、関心の解剖学的構造を十分にキャプチャしないことがある。そのような場合には、外部画像データＥから抽出される解剖学的データに基づき元来のモデルＭからの外来性の及び／又は失われている解剖学的構造を除去し且つ／或いは追加し得る。例えば、肺の気道木のような分岐解剖学的構造の術前撮像及びセグメント化は、その解剖学的構造のより小さい要素（枝）を十分にモデル化しないことがあり、失われている要素をもたらす。そのような場合には、術中外部撮像を用いて、例えば、失われている内腔を特定して分岐解剖学的構造に加えることによって、解剖学的モデルをより完全に完成させ得る。
【００６０】
多くの場合に、形状センサからの形状データは、米国特許第７，７２０，３２２号、米国特許出願第１２／８３９，６４２号、米国特許出願第１３／１０７，５６２号に記載されるような、器具姿勢及び解剖学的状態の表示をもたらし、それらの全てをここに参照として援用する。他の実施例では、（例えば、セグメント化、特徴抽出、又は任意の他の処理技法を介して）術中に生成される外部画像データＥから抽出される解剖学的及び／又は器具形状データを、器具１０４からの形状センサデータと共に用いて、（例えば、平均化、フィルタリング、又は任意の他のアルゴリズムを介して）解剖学的構造Ａ及び／又は器具１０４の正確な３Ｄモデル又は表示を生成し得る。
【００６１】
様々な他の実施態様では、（例えば、縁検出、隅検出、形状一致、曲線進化、又は任意の他の方法のような特徴抽出技法を用いて）モデルＭ内にモデル化される解剖学的構成の一部又は全部を外部画像データＥ内に特定し、次に、（例えば、モデルＭを外部画像データにより密接に整合させることによって）モデルＭ内の対応する構造を更新するために、それらを用い得る。他の実施態様では、患者の解剖学的構造及び／又は器具の内、上、又は周りの特定可能な基準要素を外部画像データＥから抽出して、モデル及び外部画像データについての共通の位置合わせ参照をもたらし得る。
【００６２】
様々な他の実施態様では、器具１０４と解剖学的構造Ａとの間の目下の術中関係を特定し或いは確認するために、任意的にモデルＭ及び／又はセンサベース姿勢Ｓに対する更新と共に、外部画像データＥを用い得る。例えば、分岐解剖学的構造を通じる可撓な器具の進展（例えば、気道木を通じる気管支鏡又は動脈網を通じるカテーテル）を追跡するとき、センサ精度における固有の限界は、姿勢データ内にコマ落ち(jumpiness)又はジッター(jitter)を引き起こし得る。そのようなシステムのためのより明白でより安定的なグラフィカルユーザーインターフェース（ＧＵＩ）をもたらすために、器具センサデータ及び解剖学的構造のモデルに基づき、最も近い解剖学的通路内の器具の仮想的な描写を表示するよう、「弾撥」(“snapping”)アルゴリズムを用い得る。しかしながら、前述のセンサ精度限界、解剖学的モデリングの不正確性、及び／又は位置合わせエラーの故に、この種の弾撥させられるディスプレイ(snapped  display)は、間違った解剖学的通路内に器具を配置することがある。
【００６３】
従って、幾つかの実施態様では、抽出される解剖学的画像データ及び／又は器具画像データを用いて、解剖学的モデル及び／又は器具姿勢を改良して、解剖学的構造内の器具の測定され且つモデル化された配置の調節を可能にすることによって、或いは外部画像データから解剖学的構造内の器具配置データを抽出し、それにより、解剖学的構造内の器具の実際の配置のスナップショットをもたらすことによって、弾撥アルゴリズムの信頼性を増大させるよう、術中外部画像データＥを用い得る。
【００６４】
制御システム１１６、外部画像コントローラ１７０、及び／又は任意の他の処理装置によって、外部画像データＥのこの処理を行い得る。他の実施態様では、そのような特徴抽出技法を用いて、外部画像データＥから器具１０４の姿勢及び／又は解剖学的構造Ａの状態を抽出し得る。そして、モデルＭ、器具１０４の姿勢、及び／又はモデルＭに対する器具１０４の位置合わせを更新するために、制御システム１１６はそのように抽出される情報を用い得る。
【００６５】
様々な他の実施態様では、強化された直接的な処置的監視及び／又はパフォーマンス制御を単にもたらすために、外部画像データを用い得る。幾つかの実施態様において、外部画像データは、器具１０４によって組み込まれる或いは給送される放射線不透過性の（又は外部イメージャ１６０によってその他の方法において視覚化可能な）診断又は治療ツール又は物質（例えば、治療剤、移植可能なデバイス、又は基準の術中進展及び／又は活動を示し得る。
【００６６】
例えば、図２Ｅにおいて、外部画像データＥは、処置標的Ｔ２を通じる例示的なツール１３２（例えば、生検、吸引、又は皮下針）の軌跡を示している。器具姿勢を調節して、外部画像データＥから抽出される特徴データに基づき処置パフォーマンスを最適化させ得る（例えば、器具（及び／又は遠位端領域１２６及び／又はツール１３２）、解剖学的構造Ａ、及び標的Ｔ２についての相対的な位置情報を外部画像データＥから抽出し、次に、それを用いて器具１０４の姿勢を調節して、ツール１３２を標的Ｔ２に対して正しく整列させ且つ位置付け得る）。このようにして、外部画像データＥの術中給送は、ツール１３２が標的Ｔ２と整列不良にされる危険を最小限化させ得る。
【００６７】
他の実施態様において、外部撮像データは、標的Ｔ２がツール１３２によって実際に影響されている確認をもたらし、それにより、適切な処置完了（例えば、標的Ｔ２からの組織サンプリング又は標的Ｔ２への物質給送の確認）を保証し得る。確認は純粋に視覚的であり得るし（例えば、ツール１３２及び標的Ｔ２の同時表示）、或いは少なくとも半自動化された確認であり得る（例えば、ツール１３２及び標的Ｔ２のうちの少なくとも一方に関連する画像データは、外部画像データＥの特徴抽出又は他の分析を介して特定されて、２つの間の接触を示す重なり合いを決定する。
【００６８】
様々な他の実施態様では、処置の進展及び活動を監視し得る。例えば、図２Ｆに示すように、器具１０４の操作によって創り出される被影響領域ＡＲ(affected  region)は、（例えば、温度、材料分布／組成、細胞変更(cellular  modification)、及び／又は密度における変化を介して）外部イメージャ１６０によって検出可能であり、外部画像データＥ内に示される。
【００６９】
幾つかの実施態様において、被影響領域ＡＲは、器具１０４によって給送される治療剤（例えば、薬剤又は細胞毒素）、診断剤、麻酔剤、生物学的薬剤、造影剤（例えば、インドシニアングリーン(ICG)、対比、又は放射線トレーサー）、処置剤（例えば、放射性シードインプラント又は放射線活性ナノ粒子）、インプラント（例えば、構造的支持体、機能的機構、又は徐放性カプセル）、基準、又は任意の他の物質の品質、活動、分散、構成、及び／又は他の挙動を示し得る。次に、被影響領域ＡＲの大きさ、形状、場所、強さ、向き、又は任意の他の特性を、物質給送適用のパラメータを調節する（例えば、給送を続ける、給送速度を増大させる／減少させる、給送を停止する、位置／向きを調節する、或いは物質の内容を変更する）ための基礎として用い得る。
【００７０】
例えば、標的Ｔ２への細胞毒素の給送によって生成される被影響領域ＡＲを監視することによって、外部画像データＥ内の被影響領域ＡＲが標的Ｔ２を越えて拡張し始めるときに給送を停止することにより細胞毒素総投与量を最小限化し得る。この給送終了は、被影響領域ＡＲの監視に応答して使用者命令され(user-directed)得るし（例えば、臨床医は被影響領域ＡＲの観察状態に応答して手動で給送を終了させる）、或いは少なくとも半自動化され得る（例えば、特徴抽出又は他のアルゴリズムが、領域ＡＲが標的２の境界を所定の量だけ（部分的に又は完全に）超過することを決定するときに、通知がもたらされ或いは給送が終了させられる）。
【００７１】
様々な他の実施態様において、被影響領域ＡＲは、温度上昇、放射線投与量、密度変化、又は適用される処置モダリティの任意の他の影響における組織変化を示し得る。上述の物質給送監視アプローチと同様に、被影響領域ＡＲの大きさ、場所、強さ、又は任意の他の特性は、処置モダリティのパラメータを調節する（例えば、給送速度、電力／強さ、動作モードを調節する、或いは単に治療を続ける又は停止する）ための基礎であり得る。
【００７２】
例えば、切除処置中に温度を増大させることにより生成される被影響領域ＡＲを監視することによって、標的Ｔ２の有意な部分が所望の温度に達するときに切除を終了させることにより付随的な組織損傷を最小限化させ得る。上述と同様に、治療のこの終了は、被影響領域ＡＲの監視に応答して使用者命令され得るし（例えば、臨床医は、被影響領域ＡＲの観察状態に応答して治療を手動で終了させる）、或いは少なくとも半自動化され得る（例えば、特徴抽出又は他のアルゴリズムが、領域ＡＲが最大の大きさ、強さ、及び／又は分布パターンに達したことを決定するときに、通知がもたらされ或いは治療が終了させられる）。
【００７３】
図３Ａは、外科ロボット処置における外部撮像の使用のための例示的なフロー図を示している。任意的なシステムデータ生成ステップ３００において、図２Ａに関して上述したような術前モデリングデータ又は術中モデリングデータのいずれかに基づき、患者解剖学的構造及び使用中外科器具の術中モデルを提供する。次に、図２Ｃに関して上述したような外部撮像ステップ３１０において、外部撮像システムを用いて、患者解剖学的構造の少なくとも一部についての画像データを術中に生成する。幾つかの実施態様において、ステップ３１０の撮像は、ステップ３００においてもたらされる初期モデルを生成するために用いられる完全な解剖学的領域に対して行われる。様々な他の実施態様において、ステップ３１０の撮像は、当初にモデル化される解剖学的領域のほんの一部に対して行われる。
【００７４】
例えば、図３Ｂの例示的な実施態様に示すように、ステップ３１０は、図２Ｂ及び２Ｃに関して上述したように当初にモデル化される解剖学的構造の一部のみを撮像し得る、局所化撮像ステップ３１２を含み得る。局所化撮像は、幾つかの場合には、放射線曝露又はスキャン時間を有意に減少させ、且つ／或いは所望の領域のより詳細な撮像を可能にする。幾つかの実施態様では、器具局所化ステップ３１１において、外科器具の姿勢（例えば、位置及び／又は向き）が、図２Ｂに関して上述したように、ステップ３１２において撮像されるべき解剖学的構造の部分を定めるための参照として用いられる。他の実施態様では、実際の患者解剖学的構造（例えば、解剖学的特徴又は所望の処置標的）を、ステップ３１２において撮像される領域を定めるための基準として用い得る。
【００７５】
図３Ａに戻ると、次に、ステップ３１０において生成される外部画像データを用いて、処置制御ステップ３２０において行われる外科処置を術中に命令し得る。この処置制御は、ステップ３１０において生成される術中外部画像データからの利益を享受し得る所与の処置の如何なる特徴(aspect)をも含み得る。例えば、幾つかの実施態様において、ステップ３２０は、物質（例えば、処置剤、診断剤、若しくは造影剤、インプラント、基準、又は他の要素）を標的場所に給送する、任意的な物質給送ステップ３２０Ａを含み得る。図２Ｆに関して上述したように、次に、ステップ３１０からの画像データを用いて、ステップ３２０Ａにおいて行われる物質給送を監視し且つ／或いは調整し得る。
【００７６】
様々な他の実施態様において、ステップ３２０は、処置（例えば、切除、放射線、電気穿孔法等）を標的場所に適用する、任意的な処置給送ステップ３２０Ｂを含み得る。図２Ｆに関して上述したように、次に、ステップ３１０からの画像データを用いて、ステップ３２０Ｂにおける処置モダリティの適用を監視し且つ／或いは調整し得る。
【００７７】
様々な他の実施態様において、ステップ３２０は、器具（例えば、器具１０４、又は任意の他の診断器具、外科器具若しくは治療器具）を患者解剖学的構造及び／又は標的外科場所に対して位置付ける／方向付ける、任意的な器具標的化ステップ３２０Ｃを含み得る。図２Ｅに関して上述したように、患者解剖学的構造（解剖学的構成全体又は特定の標的場所）に対する器具の姿勢を術中外部画像データに基づき調節して処置結果を高め得る。
【００７８】
様々な他の実施態様において、ステップ３２０は、任意的な器具作動ステップ３２０Ｄを含み得る。ステップ３０２Ｄでは、器具（例えば、器具１０４、又は任意の他の診断器具、外科器具若しくは治療器具）を作動させ（とりわけ、組織サンプリング、切除、切開、封止、又は縫合）、この器具作動中に外部画像データを取って、成功裡のパフォーマンスを確認する。図２Ｅに関して上述したように、器具と標的解剖学的構造との間の相互作用を検出して処置結果を確認し得る。任意的なステップ３２０Ａ−３２０Ｄを個別に或いは任意の組み合わせにおいて用い得ることに留意のこと。更に、上述の制御効果のいずれかの／全ての図式的表示を含む、ステップ３２０についての様々な他の任意的な制御操作は、直ちに明らかであろう。
【００７９】
幾つかの実施態様では、外部画像データを用いて医療ロボットシステムの制御及び操作中に用いられるモデルを強化し且つ／或いは改良し得る。例えば、図３Ｃは、外科ロボット処置における外部撮像の使用についての他の例示的なフロー図を示している。任意的なシステムデータ生成ステップ３００では、図２Ａに関して上述したように、術前モデリングデータ又は術中モデリングデータのいずれかに基づき、使用中外科器具及び患者解剖学的構造の術中モデルが提供される。次に、外部撮像システムを用いて、図２Ｃに関した上述したように、外部撮像ステップ３１０における患者解剖学的構造の少なくとも一部のための画像データを術中に生成する。幾つかの実施態様において、ステップ３１０の撮像は、ステップ３００において提供される初期的モデルを生成するのに用いられる完全な解剖学的領域に対して行われる。様々な他の実施態様において、ステップ３１０の撮像は、（例えば、図３Ｂに関して上述したような）当初にモデル化される解剖学的領域のほんの一部に対して行われる。
【００８０】
次に、モデリング調節ステップ３３０において、モデル化される解剖学的構造／システムに対する更新が生成され且つ／或いは適用される。ステップ３３０のモデリング調節は、行われている処置中に用いられる画像化環境のためのあらゆる誘導(guidance)又はそのような画像化環境に対するあらゆる変更であり得る。例えば、幾つかの実施態様では、図３Ｄに示すように、ステップ３３０は、単に任意的な特徴抽出ステップ３３０Ａであり得る。特徴抽出ステップ３３０Ａにおいて、処置のための関心の特徴（例えば、解剖学的構成、外科標的、器具、基準等）を外部画像データ内で特定する。上記のように、とりわけ、縁検出、隅検出、形状一致、及び／又は曲線進化のような、如何なる数の特徴抽出技法をも用いて、ステップ３３０Ａのこの特定を行い得る。
【００８１】
次に、この抽出される特徴データを用いて、例えば、図２Ｄに関して上述したように、ステップ３００において提供されるモデルを更新／改良し得る。例えば、外部画像データからの抽出される解剖学的特徴を用いて、解剖学的モデルを更新して解剖学的構造の術中状態をより正確に提示し且つ／或いは器具構成のセンサベースモデルを更新して器具の術中姿勢をより正確に提示し得る。
【００８２】
しかしながら、様々な他の実施態様では、外部画像データから抽出される特徴データを用いて、処置環境の様々なモデリング要素をより正確に位置合わせし得る。換言すれば、術中外部画像データを用いて、医療ロボットシステム、患者解剖学的構造、及び／又は患者解剖学的構造のモデルとの間の関係を改良／構築し得る。
【００８３】
幾つかの実施態様において、ステップ３３０は、患者解剖学的構造の解剖学的モデルを実際の患者解剖学的構造により密接に位置合わせする、任意的なモデル−患者位置合わせステップ３３０Ｂを含み得る。例えば、患者解剖学構造に対する既知の位置／向きを有する基準要素（例えば、パッド、コイル、マーキング、解剖学的構成、又は外部イメージャ１６０によって見ることができる任意の他の要素）に対応する基準データを、上述のように外部画像データから抽出し得る。次に、画像基準データは、関心の患者解剖学的構造に対応する画像データのための参照フレームをもたらし、それにより、患者解剖学的構造のモデルが実際の患者解剖学的構造と適切に位置合わせされるのを可能にし得る。例えば、内部的な患者解剖学的構成（例えば、気道木）の解剖学的モデルを外部参照基準と位置合わせすることによって、誘導をもたらすことができ、或いは、（例えば、器具サイジング、処理路計画最適化、又は患者の内部的な解剖学的状態によって影響され得る処置の任意の他の特徴についての案内をもたらすよう、）器具サイジング、処置路、又は患者の内部的な解剖学的状態によって影響され得る任意の他の特徴に関して、潜在的な問題を特定し得る。
【００８４】
他の実施態様において、ステップ３３０は、医療ロボットシステム及び／又はそのシステムの器具を実際の患者解剖学的構造により密接に位置合わせする、任意的なシステム−患者位置合わせステップ３３０Ｃを含み得る。例えば、患者解剖学的構造及び医療ロボットシステム／器具に対して既知の位置及び／又は向きを有する基準要素に対応する基準データを、上述のように外部画像データから抽出し得る。次に、画像基準データは、関心の患者解剖学的構造及びシステム／器具のための共通の参照フレームを構築し或いは改良し、それにより、システムが患者解剖学的構造に対してより精密に作動するのを可能にし得る。例えば、器具を患者解剖学的構造に位置合わせすることによって、（例えば、ロボット器具のためのカニューレの挿入のために）典型的には手作業で行われる患者への初期的な切開を、手作業の介入を伴わずに或いは減少させられた手作業の介入を伴って医療ロボットシステムによって行い得る。
【００８５】
他の実施態様において、ステップ３３０は、医療ロボットシステム及び／又はそのシステムの器具を患者解剖学的構造のモデルとより密接に位置合わせする、任意的なシステム−モデル位置合わせステップ３３０Ｄを含み得る。例えば、上述のように、患者解剖学的構造及び医療ロボットシステム／器具に対する既知の位置及び／又は向きを有する基準要素に対応する基準データを外部画像データから抽出し得る。次に、画像基準データは、システム／器具及び解剖学的モデルのための共通の参照フレームを構築し或いは改良し、それにより、直接的な又は外部的な視覚化が利用可能でないときに、システムがより効果的に作動するのを可能にし得る。例えば、器具を解剖学的モデルにより正確に位置合わせすることによって、単に器具と関連付けられるセンサ（例えば、形状センサ、ＥＭセンサ等）を介して、患者解剖学的構造内のその器具の動きを正確に特徴付け、制御し、且つ／或いは監視し得る。
【００８６】
任意的なステップ３３０Ａ−３３０Ｄを個別に又は任意の組み合わせにおいて用い得ることに留意のこと。更に、ステップ３２０のための様々な他の任意的なモデリング調節が直ちに明らかであろう。加えて、様々な他の実施態様では、図３Ｃに示すように、ステップ３２０のモデリング調節をステップ３２０の処置制御作業のいずれか／全部と共に用い得る。そして、破線によって示すように、ステップ３００−３３０中で様々なフィードバック及び調節ループが可能である。
【００８７】
この開示のシステム及び方法を肺の接続された気管支通路における使用に関して例示しているが、それらは、結腸、腸、腎臓、脳、心臓、循環系、又は類似物を含む、様々な解剖学的系統のいずれかにおける、自然の又は外科的に創り出される接続される通路を介した、他の組織のナビゲーション及び処置にも適する。この開示の方法及び実施態様は、非外科的用途にも適する。
【００８８】
本発明の実施態様における１つ又はそれよりも多くの要素をソフトウェアにおいて実施して、制御システム１１６のようなコンピュータシステムのプロセッサ上で実行してよい。ソフトウェア中で実施されるとき、本発明の実施態様の要素は、本質的には、必要なタスクを行うコードセグメントである。プログラム又はコードセグメントを、送信媒体又は通信リンク上で搬送波において具現されるコンピュータデータ信号によってダウンロードされてよいプロセッサ読出し可能な記憶媒体又は装置内に格納し得る。プロセッサ読出し可能な記憶装置は、光媒体、半導体媒体、及び磁気媒体を含む、情報を格納し得る如何なる媒体を含んでもよい。プロセッサ読出し可能な記憶装置の例は、電子回路、半導体装置、半導体メモリ装置、読出し専用記憶装置、フラッシュメモリ、消去可能なプログラマ可能な読取り専用記憶装置(EPROM)、フロッピーディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶装置を含む。インターネット、イントラネット等のような、コンピュータネットワークを介して、コードセグメントをダウンロードしてよい。
【００８９】
提示のプロセッサ及びディスプレイは、如何なる特定のコンピュータ又は他の装置にも固有に関連しなくてよい。様々な汎用的なシステムをここにおける教示に従ったプログラムと共に用いてよく、或いはより特殊な装置を構築して既述の操作を行うのが便利であることが分かるかもしれない。様々のこれらのシステムのための所要の構成は、請求項中に要素として現れる。加えて、本発明の実施態様は、如何なる特定のプログラム言語をも参照して記載されていない。様々なプログラム言語を用いてここに記載するような本発明の教示を実施してよいことが理解されよう。
【００９０】
本発明の特定の例示的な実施態様を記載し且つ添付の図面中に例示するが、そのような実施態様は広義の本発明の例示であるに過ぎず、広義の本発明を限定しないことが理解されるべきであること、並びに本発明の実施態様が図示され且つ記載される特定の構成及び配置に限定されないことが理解されるべきである。何故ならば、様々な他の変更が当業者の心に思い浮かぶことがあるからである。
【図１Ａ】
2019136550.tif 000003
【図１Ｂ】
2019136550.tif 000004
【図２Ａ】
2019136550.tif 000005
【図２Ｂ】
2019136550.tif 000006
【図２Ｃ】
2019136550.tif 000007
【図２Ｄ】
2019136550.tif 000008
【図２Ｅ】
2019136550.tif 000009
【図２Ｆ】
2019136550.tif 000010
【図３Ａ】
2019136550.tif 000011
【図３Ｂ】
2019136550.tif 000012
【図３Ｃ】
2019136550.tif 000013
【図３Ｄ】
2019136550.tif 000014
【外国語明細書】
2019136550000001.pdf