"超音波プローブと、ディスプレイと、処理器とを含み、該超音波プローブは、該超音波プローブの位置および姿勢において超音波画像を捕捉し、該処理器は、該位置および姿勢の情報を格納することと、該超音波画像のクリック可能なサムネールアイコンを生成することと、該格納された位置および姿勢をクリック可能なサムネールに関連付けることと、該クリック可能なサムネールアイコンを該ディスプレイに表示することとを行うように構成されている、ロボット外科手術システム。前記処理器は、前記超音波プローブが異なる位置または姿勢に移動させられた後に、ユーザが前記クリック可能なサムネールアイコン上でクリックした情報を受信することと、該ユーザが該クリック可能なサムネールアイコン上でクリックした情報を受信すると、前記超音波プローブを、該クリック可能なサムネールアイコンに関連付けられた該位置および姿勢に移動させることとを行うように構成されている、請求項1に記載のロボット外科手術システム。前記処理器は、前記超音波プローブの格納された位置および姿勢に対応する超音波画像の表示可能なピクチャを生成することにより、前記クリック可能なサムネールアイコンを生成するように構成されている、請求項1に記載のロボット外科手術システム。前記超音波画像の表示可能なピクチャは、JPEGファイルまたはGIFファイルのいずれかとして生成される、請求項3に記載のロボット外科手術システム。本発明の目的および要約従って、本発明の多様な側面の1つの目的は、使用するのが容易であり、外科医の能率を促進する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波方法である。本発明の多様な側面の別の目的は、解剖学的構造のより速く、より正確で、より完全な評価を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。本発明の多様な側面の別の目的は、外科医の訓練された軌跡を用いて解剖学的構造のロボットを用いて生成された手術中の3次元超音波画像を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。本発明の多様な側面の別の目的は、表示画面に超音波画像の柔軟な表示を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。本発明の多様な側面のなお別の目的は、解剖学的構造で標的にツールを案内することの補助を提供する腹腔鏡超音波ロボット外科手術システムおよびロボット支援腹腔鏡超音波法である。これらの目的および追加の目的は、本発明の多様な側面によって成し遂げられ、手短に述べると、1つの側面は、超音波プローブに機械的に結合された第1のロボットアームと;手術関連デバイスに機械的に結合された第2のロボットアームと;マスターマニピュレータと;ユーザが選択可能な第1および第2のモードを有する制御スイッチと;該制御スイッチが該第1のモードにある場合、該第2のロボットアームを適所に固定させ、該マスターマニピュレータのユーザの操縦に応じて該第1のロボットアームに該超音波プローブを移動させ、該制御スイッチが該第2のモードにある場合、該第2のロボットアームに該マスターマニピュレータの操縦に応じて該ツールを操縦させ、格納された命令に関連するユーザコマンドの検知時に該格納された命令に応じて、該第1のロボットアームに該超音波プローブを移動させるように構成された処理器とを備えた腹腔鏡超音波ロボット外科手術システムである。別の側面は、ロボットに支援された腹腔鏡超音波を提供する方法であって、訓練指示の開始の検知時に現在の超音波プローブの位置と姿勢とを格納することと;学習指示の終了の検知まで周期的に超音波プローブの位置と姿勢とを格納して、位置と姿勢との軌跡を定義することとを包含する方法である。別の側面は、ロボットに支援された腹腔鏡超音波を提供する方法であって、一つの位置と姿勢に配置された超音波プローブを用いて超音波画像を捕捉することと;該位置と姿勢との情報を格納することと;該超音波画像のクリック可能なサムネールを生成することと;該格納された位置と姿勢とを該クリック可能なサムネールに関連付けることと;表示画面に該クリック可能なサムネールを表示することとを包含する方法である。なお別の側面は、ロボットに支援された腹腔鏡超音波を提供する方法であって、解剖学的構造のカメラビューに対する位置合わせされたオーバーレイとして患者における該解剖学的構造の超音波ビューを表示することと;該超音波ビュー上にマークが付けられた標的の情報を受信することと;ツールが患者内の標的まで移動する経路を決定することと;仮想的な固定されたものを生成して、該ツールが該決定された経路を移動するよう電気的に拘束することを支援することを包含する方法である。本発明の多様な側面のうち追加の目的、特徴、利点は、以下のより好ましい実施の形態の記述から明らかになり、その記述は、添付の図面に関連付けて記述される。本発明は、例えば、以下を提供する。項目1超音波プローブに機械的に結合された第1のロボットアームと、外科手術に関連するデバイスに機械的に結合された第2のロボットアームと、マスターマニピュレータと、ユーザ選択可能な第1および第2のモードを有する制御スイッチと、該制御スイッチが該第1のモードにある場合、該第2のロボットアームを適所に固定させ、該マスターマニピュレータのユーザ操縦に従って該第1のロボットアームに該超音波プローブを移動させ、該制御スイッチが該第2のモードにある場合、該マスターマニピュレータの操縦に従って該第2のロボットアームに該ツールを操縦させ、格納された命令に関連付けられたユーザコマンドの検知時に該格納された命令に従って該第1のロボットアームに、該超音波プローブを移動させるように構成された処理器とを備える、腹腔鏡超音波ロボット外科手術システム。項目2上記外科手術に関連するデバイスは、外科手術のツールである、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目3上記ユーザコマンドは、音声コマンドである、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目4上記ユーザコマンドは、グラフィカルユーザインターフェースにおいて提供されるオプションのユーザ選択から得る、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目5上記ユーザコマンドは、スイッチ位置によって指示された選択から得られる、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目6上記格納された命令は、上記第1のロボットアームに上記超音波プローブを移動させるように処理器に命令し、その結果、移動している間に該超音波プローブによって捕捉された2D超音波画像スライスは、最小侵襲外科手術手順中に解剖学的構造の少なくとも一部の3Dコンピュータモデルを生成するための情報を提供する、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目7上記格納された命令は、処理器に命令して、格納された点の軌跡に沿って上記超音波プローブを上記第1のロボットアームに移動させる、項目6に記載の腹腔鏡超音波ロボット外科手術システム。項目8上記格納された命令は、処理器に命令して、上記第1のロボットアームに格納された点の上記軌跡に沿って繰り返し上記超音波プローブを前後に移動させる、項目7に記載の腹腔鏡超音波ロボット外科手術システム。項目9格納された点の上記軌跡は、解剖学的構造の表面の点を含む、項目7に記載の腹腔鏡超音波ロボット外科手術システム。項目10上記格納された命令は、処理器に命令して、上記第1のロボットアームに上記超音波プローブを移動させて、その結果格納された位置および姿勢に配置され配向される、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目11上記格納された位置および姿勢は、該位置および姿勢で上記超音波プローブによって生成された超音波画像のクリック可能なサムネールに対応する、項目10に記載の腹腔鏡超音波ロボット外科手術システム。項目12上記処理器は、ユーザが上記クリック可能なサムネールをクリックしたという指示を受信したときに、上記第1のロボットアームに上記超音波プローブを上記格納された位置および姿勢に移動させるように構成されている、項目11に記載の腹腔鏡超音波ロボット外科手術システム。項目13上記外科手術関連デバイスは、外科手術ツールであり、該外科手術関連デバイスは、患者における外科手術部位の画像を捕捉する内視鏡をさらに備え、上記処理器は、表示画面のピクチャー部に捕捉された画像を、該表示画面のピクチャーインピクチャー部内に上記超音波プローブによって捕捉された超音波画像を表示するように構成されている、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目14上記外科手術関連デバイスは、外科手術ツールであり、該外科手術関連デバイスは、ビデオ画像を捕捉する内視鏡をさらに備え、上記処理器は、上記超音波プローブによって捕捉された超音波画像を該内視鏡によって捕捉されたビデオ画像に位置合わせする、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目15上記処理器は、上記内視鏡に関連付けられた基準フレームに相対的な上記超音波画像の位置および姿勢を決定し、表示画面上の該決定された位置および姿勢にビデオ画像をオーバーレイするように該超音波画像を表示するように構成されている、項目14に記載の腹腔鏡超音波ロボット外科手術システム。項目16上記内視鏡は、上記超音波プローブの捕捉された画像を含む右および左の2Dカメラビューを捕捉する立体内視鏡であり、上記表示画面は、3D表示画面であり、上記処理器は、該捕捉された右および左の2Dカメラビューから3Dカメラ画像を生成し、3Dカメラ画像を該3D表示画面に表示し、該超音波画像によって捕捉された2D超音波画像スライスを該3Dカメラ画像にオーバーレイするように構成され、その結果、該3Dカメラ画像が該超音波プローブから適切な関係で生じるように見える、項目15に記載の腹腔鏡超音波ロボット外科手術システム。項目17上記制御スイッチは、ユーザの音声コマンドによって上記第1または第2のモードに置かれる、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目18上記制御スイッチは、グラフィカルユーザインターフェースにおいて提供されるオプションのユーザ選択によって上記第1または第2のモードに置かれる、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目19上記制御スイッチは、ユーザ選択されたスイッチの位置によって上記第1または第2の位置に置かれる、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目20上記超音波プローブは、該超音波プローブに対して及ぼされる力を感知する力センサを含み、該感知された力の情報を上記処理器に提供し、該処理器は、該感知された力の情報を上記マスターマニピュレータに戻して反映させ、その結果、該マスターマニピュレータを操縦している間ユーザによって感じられる、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目21上記超音波プローブは、超音波センサと、延長軸と、該延長軸の長さに沿って走る軸に対する該超音波センサの上下および左右の移動を可能にするように、該超音波センサを該延長軸に結合する手首機構とを備える、項目1に記載の腹腔鏡超音波ロボット外科手術システム。項目22上記超音波プローブは、上記超音波センサに結合された第1の対のケーブルであって、該第1の対のケーブルの一方のみを引くことによって該超音波センサは左右の方向に移動し、該第1の対のケーブルの他方のみを引く時、反対の左右の方向に移動する、第1の対のケーブルをさらに備えている、項目21に記載の腹腔鏡超音波ロボット外科手術システム。項目23上記超音波プローブは、上記超音波センサに結合された第2の対のケーブルであって、該第2の対のケーブルの一方のみを引くことによって該超音波センサは上下の方向に移動し、該第2の対のケーブルの他方のみを引く時、反対の上下の方向に移動する、第2の対のケーブルをさらに備えている、項目22に記載の腹腔鏡超音波ロボット外科手術システム。項目24訓練指示の開始の検知時に現在の超音波プローブの位置および姿勢を格納することと、訓練指示の終了の検知まで周期的に超音波プローブの位置および姿勢を格納して位置および姿勢の軌跡を定義することとを包含する、ロボット支援腹腔鏡超音波を提供する方法。項目25訓練指示の上記開始および終了は、ユーザボイスコマンドによって生成される、項目24に記載の方法。項目26訓練指示の上記開始および終了は、グラフィカルユーザインターフェースを用いるユーザ選択によって生成される、項目24に記載の方法。項目27訓練指示の上記開始および終了は、1つ以上のスイッチ機構の位置によって生成される、項目24に記載の方法。項目28位置および姿勢の軌跡を第1の音声コマンドに関連付けることをさらに包含する、項目24に記載の方法。項目29上記第1の音声コマンドの検知時に、上記超音波プローブを位置および姿勢の上記軌跡に沿って移動させることをさらに包含する、項目28に記載の方法。項目30上記第1の音声コマンドの検知時に第2の音声コマンドの検知まで、上記超音波プローブを位置および姿勢の上記軌跡に沿って前後に移動させることをさらに包含する、項目28に記載の方法。項目31位置および姿勢の上記軌跡を表示画面に表示されるクリック可能なサムネールに関連付けることをさらに包含する、項目24に記載の方法。項目32上記クリック可能なサムネールがクリックされたことの検知時に、停止指示が受信されるまで、上記超音波プローブを位置および姿勢の上記軌跡に沿って移動させることをさらに包含する、項目31に記載の方法。項目33位置および姿勢の上記軌跡を第1のスイッチ位置に関連付けることをさらに包含する、項目24に記載の方法。項目34スイッチが上記第1のスイッチ位置にあることの検知時に、該スイッチが第2のスイッチ位置にあることを検知するまで、上記超音波プローブを位置および姿勢の上記軌跡に沿って移動させることをさらに包含する、項目33に記載の方法。項目351つの位置および姿勢に配置された超音波プローブを用いて超音波画像を捕捉することと、該位置および姿勢の情報を格納することと、該超音波画像のクリック可能なサムネールを生成することと、該格納された位置および姿勢を該クリック可能なサムネールに関連付けることと、該クリック可能なサムネールを表示画面に表示することとを包含する、ロボット支援腹腔鏡超音波を提供する方法。項目36ユーザが上記クリック可能なサムネール上でクリックした情報を受信することと、上記超音波プローブを、該クリックされたクリック可能なサムネールに関連付けられた該位置および姿勢に配置させることとをさらに包含する、項目35に記載の方法。項目37患者における解剖学的構造の超音波ビューを、該解剖学的構造のカメラビューに対する位置合わせされたオーバーレイとして表示することと、該超音波ビュー上にマークが付けられた標的の情報を受信することと、ツールが該患者内の該標的まで移動する経路を決定することと、仮想的な固定されたものを生成することにより、該ツールを該決定された経路上を移動するよう電気的に拘束することを支援することとを包含する、ロボット支援腹腔鏡超音波を提供する方法。項目38上記解剖学的構造は癌であり、上記標的は上記表示された超音波ビュー上で外科医によってマークが付けられた病変であり、上記ツールは針である、項目37に記載の方法。項目39上記標的からの上記ツールの距離を決定することと、該距離を指示するように、上記超音波ビュー上でマークが付けられた該標的の色を変化させることとをさらに包含する、項目37に記載の方法。項目40上記ツールの先端が上記解剖学的構造の表面から閾値距離に到達した時を決定することと、該ツールの該先端が該閾値距離に到達したことを決定した時にピクチャーインピクチャーウィンドウに上記超音波画像および該ツールの直角のビューを表示することとをさらに包含する、項目37に記載の方法。項目41上記超音波画像は、上記解剖学的構造の2D超音波画像スライスの列から生成された3D画像である、項目40に記載の方法。好ましい実施の形態の詳細な記述図1は、一例として、ロボット外科手術システムを使用する手術室の上面図を図示する。この場合のロボット外科手術システムは、腹腔鏡超音波ロボット外科手術システム100であり、該腹腔鏡超音波ロボット外科手術システム100は、外科医Sによって使用されるコンソールCを含み、1人以上の助手Aからの支援で患者Pに対して最小侵襲診断または外科手術手順を行い、該患者は、手術テーブルO上に横たわっている。コンソールは、患者内の外科手術の部位の1つ以上の画像もおそらく外科医に対する他の情報も表示するマスターディスプレイ104本明細書では表示画面としても参照されるを含む。また、マスター入力デバイス107および108本明細書ではマスターマニピュレータとしても参照されると、1つ以上のフットペダル105および106と、外科医からの音声コマンドを受信するマイクロフォン103と、処理器102とが含まれる。マスター入力デバイス107および108は、任意の1つ以上の様々な入力デバイス、例えば、ジョイスティック、グローブ、トリガーガン、手動コントローラなどを含み得る。処理器102は、好ましくはパーソナルコンピュータであり、該パーソナルコンピュータは、コンソール内に一体化され得るか、またはそうでなければ従来の方法でコンソールに接続され得る。外科医は、マスター入力デバイス107および108を操縦することによって最小侵襲外科手術手順を行い、その結果、処理器102は、それに応じてそれぞれに関連するスレーブアーム128および129本明細書ではスレーブマニピュレータとしても参照されるにそれぞれの着脱自在に結合され保持された外科手術器具138および139本明細書ではツールとしても参照されるを操縦させる一方、外科医は、マスターディスプレイ104上で外科手術部位の3次元3D画像を見る。ツール138および139は、好ましくは、関節運動する器具であるIntuitiveSurgicalのproprietaryEndoWrist登録商標であり、それは、人間の手首に習ってモデル化されており、その結果ツールを保持するロボットアームに動きが加えられる際、その動きは、全6自由度の動きを可能にし、それは、開腹外科手術の自然な動きに匹敵できる。そのようなツールの付加的な詳細は、共同所有されたWristMechanismforSurgicalInstrumentforPerformingMinimallyInvasiveSurgerywithEnhancedDexterityandSensitivityという名称の米国特許第5,797,900号に見出され得、該特許は参照により本明細書に援用される。ツール138および139の各々の動作端は、操縦可能なエンドエフェクタ、例えば、クランプ、把持器、はさみ、ステープラ、ブレード、針、または針ホルダなどである。マスターディスプレイ104は、2つのプログレッシブ走査陰極線管CRTを持つ高解像度立体映像ディスプレイを有する。システムは、偏光眼鏡、シャッタ眼鏡、または他の技術よりもより高い正確さを提供する。各目は、対物レンズおよび一連の鏡をとおして左目の透視図および右目の透視図を提供する別個のCRTを見る。外科医は、外科手術の間中不自由なく座り、このディスプレイを見入り、外科医が3次元の手術中の画像を表示し操縦することに理想的な場所にする。処理器102がプログラムされた情報を処理し得、プログラムされた情報をマスターディスプレイ104に表示させ得るように、立体内視鏡140本明細書では腹腔鏡としても参照されるは、右のカメラビューおよび左のカメラビューを処理器102に提供する。腹腔鏡超音波LUSプローブ150は、解剖学的構造の2次元2D超音波画像スライスを処理器102に提供し、その結果、処理器102は、解剖学的構造の3D超音波コンピュータモデルを生成し、3Dコンピュータモデルまたは代わりに、3Dコンピュータモデルの2D切断を内視鏡により得られた3D画像に対するオーバーレイとして、もしくは2Dまたは3DのいずれかでピクチャーインピクチャーPIP内に、外科医または格納されたプログラム命令に従って様々な角度および/または透視図から、マスターディスプレイ104上に表示させる。ツール138および139の各々は、内視鏡140およびLUSプローブ150も、好ましくはカニューレまたはトロカール図示せずまたは他のツール案内をとおして患者の中に挿入され、その結果、対応する最小侵襲切開、例えば切開166等を通して外科手術部位まで延びる。スレーブアーム121~124の各々は、リンケージから従来方法で形成され、該リンケージは、一緒に結合され、モータ制御の関節本明細書ではアクティブ関節としても参照されるを通して操縦される。リンケージとセットアップ関節とを備えるセットアップアーム図示せずは、スレーブアーム121~124を垂直および水平に位置決めするのに用いられ、その結果、それらのそれぞれの外科手術に関連する器具はカニューレの中への挿入のために結合され得る。一度に使われる外科手術ツールの数、そしてその結果、システム100において使われるスレーブアームの数は、一般的に、他の因子のうちで診断または外科手術手順、および手術室内の空間制約に依存する。手順の間に使用される1つ以上のツールを変更する必要がある場合、助手は、もはや使われないツールをそのスレーブアームから取り除き、それを手術室内の受け皿Tから別のツール、例えばツール131と交換し得る。マスターディスプレイ104は、外科医の手の近くに位置づけられることが好ましく、その結果マスターディスプレイ104は、外科医が自分が実際に直接外科手術部位を見下ろしていると感じるように向けられた投影された画像を表示する。その目的のために、観察点すなわち、内視鏡140およびLUSプローブ150の点が画像の視点からではないけれども、ツール138および139の画像は、外科医の手が位置決めされている所に実質的に位置決めされるように見えることが好ましい。加えて、外科医がツールのエンドエフェクタ、すなわち138または139を、関連するマスター入力デバイス、すなわち107または108を通じてあたかも作業空間を実質的に本当に存在しているように見るように、リアルタイム画像が透視図の画像内に投影されることが好ましい。本当の存在していることによって、画像の提供が、物理的にツールを操縦する操作者の視点をシミュレーションする本当の透視図の画像であることを意味する。従って、処理器102は、ツールの座標を感知される位置に変換し、その結果透視図の画像は、あたかも内視鏡140が外科医の目の高さから開いた腹腔手順の間に直接ツールを見ているかのように人に見える画像である。処理器102は、システム100において様々な機能を果たす。処理器102が果たす1つの重要な機能は、マスター入力デバイス107および108の機械的な移動をそれらに関連するスレーブアーム121および122に制御信号によってバス110を越えて変換し移すことであり、その結果、外科医は、それらのそれぞれのツール138および139を効率的に操縦し得る。別の重要な機能は、ロボット支援LUS能力を提供する本明細書で記述された様々な方法を実装することである。処理器として記述されているけれども、処理器102は実際ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得ることが理解され得る。また、本明細書で記述されるようなその機能は、1つのユニットによって行われるか、または異なった構成要素に分割され、それらの各々は、今度は、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得る。最小侵襲外科手術手順を行うより前に、LUSプローブ150によって捕促された超音波画像、立体内視鏡140によって捕捉された右および左の2Dカメラ画像、ならびにスレーブアーム121~124とそれらの感知された関節位置との運動学を用いて決定されたエンドエフェクタの位置および姿勢とは、互いに較正され位置合わせされる。超音波画像を外科手術環境の残りと関連付けるために、両方とも同じ座標フレームで表現される必要がある。典型的には、LUSプローブ150は、マーカでラベル付けされ、追跡システム、例えばカナダ、オンタリオのNorthernDigitalIncによって製造されたOptotrak登録商標位置感知システム等によって追跡されるか、または精密な関節エンコーダを有するロボットによって保持されるかのいずれかである。その後、超音波画像と追跡されるフレームとの間の剛体変換それは、典型的には超音波較正として参照されるが決定される。例えば、超音波較正のためのOptotrak登録商標フレームを用いて、LUSプローブ150によって生成された超音波画像は、AX=XB変換を用いてOptotrak登録商標剛体に対して較正される。AX=XBは、コンピュータビジョン、外科手術ナビゲーション、医療画像、ロボット学において通常遭遇する較正/位置合わせの問題の種類の説明書きである。数学的な技術はよく知られている。例えば、E.Boctor,A.Viswanathan,M.Chioti,R.Taylor,G.Fichtinger,andG.Hager,ANovelClosedFormSolutionforUltrasoundCalibration,InternationalSymposiumonBiomedicalImaging,Arlington,VA,2004,pp.527-530を参照されたい。この場合のAおよびBは、Optotrak登録商標剛体Aの姿勢と超音波画像Bとの間の変換である。従って、Xは、超音波画像から剛体への変換である。超音波較正を行うために、LUSプローブ150は、AX=XB較正ファントムによって定義される3つの既知の姿勢に置かれ得る。超音波画像フレームは、次いで3つの基準によって定義され、該3つの基準は3つの姿勢の各々内に現れる。3つの姿勢は、Optotrak登録商標の読みAに基づく3つの相対変換およびAX=XB位置合わせに対する超音波画像Bに基づく3つの相対変換を可能にする。カメラ較正は、コンピュータビジョンのアプリケーションの共通する手順である。一例として、内視鏡140の固有のおよび外来のパラメータを決定するために、CaltechCameraCalibrationToolboxによって与えられる多平面定式化を有する市松模様のファントムが用いられ得る。ファントムを構成するために、Optotrak登録商標のマーカが、典型的な市松模様の映像較成ファントムに加えられ、市松模様の各コーナーは、較正されたOptotrak登録商標のポインタを用いて電子化される。従って、コーナー位置は、Optotrak登録商標に関して報告され得る。較正は、次いで数十の姿勢における内視鏡140のビューにファントムを置き、立体画像データと4つの市松模様のコーナーのOptotrak登録商標読みとを両方記録することによって行われ得る。画像は、次いで較正ツールボックスに供給され、較正ツールボックスは、固有のおよび外来のカメラパラメータも、カメラフレームにおけるグリッドコーナーの3D座標も決定する。これらの座標は、次いで、Optotrak登録商標読みとともに用いられて、内視鏡140の剛体とカメラフレームとの間の点群から点群への位置合わせが行われる。コントローラ102は、ロボット運動学を用いて内視鏡140に相対的なLUSプローブ150の先端に対する座標フレームを報告するよう構成される。しかしながら、セットアップ関節エンコーダの不正確さのために、これらの座標フレームの両方は、それらの正しい値からオフセットし得る。従って、内視鏡140の現実のカメラフレームと運動学から計算されたカメラフレームとの間のオフセットも、実際のLUSプローブ150フレームと運動学のLUSプローブ150フレームとの間のオフセットも位置合わせする必要があり得る。これを完了して、運動学が、Optotrak登録商標の読みの代わりに用いられて、超音波画像のオーバーレイの配置を決定する。内視鏡140の位置が変化の上に重ならない限り、一定の変換が、運動学的ツールの先端と腹腔鏡のOptotrak登録商標剛体との間で仮定され得る。AX=XB定式化を用いて、LUSプローブ150は、例えばいくつかの位置、およびツール先端と位置合わせされたOptotrak登録商標剛体との間の静的なオフセットに移動され得る。このオフセットを知れば、内視鏡140のオフセットは、直接以下によって計算され得る。ここに、CCDは、実際の内視鏡140本明細書では単位カメラとしても参照されるフレームから運動学から計算されたカメラフレームまでのオフセットであり、FCErbは、カメラから内視鏡剛体への変換であり、TOUrbTOErb-1は、カメラ剛体からLUS剛体への変換であり、CLusUrbは、LUS剛体から運動学的な超音波ツールの先端への変換であり、DLusDは、運動学的な超音波ツールの先端からスレーブアーム121~124に関連付けられた固定された点への変換を与えるコントローラ102からの読みである。しかしながら、前述された位置合わせは、カメラが移動する度に再度行われるべきであり、従って、カメラを手術前の構成と位置合わせとに最も適合させる。手術中に関して、位置合わせは、Optotrak登録商標の読みの代わりにLUSプローブ150上の視覚マーカの映像追跡を用いてより良く行われ得る。従って、ツール追跡を用いている間にカメラが移動したとしたら、位置合わせは、ツールが追跡された時にすぐさま修正され得る。ツール追跡の追加の詳細に関して、例えば、Methodsandsystemforperforming3-Dtooltrackingbyfusionofsensorand/orcameraderiveddataduringminimallyinvasivesurgeryという名称の2005年5月16日に出願された共同所有の米国特許出願第11/130,471号を参照されたい。該出願は、参照により本明細書に援用される。加えてまたはその代わりに、超音波画像およびカメラ画像の手動位置合わせは、従来のグラブを用いて行われ得、解剖学的構造の3D超音波コンピュータモデル上でアクションを移動し回転させ得、その結果、コンピュータモデルはマスターディスプレイ104における解剖学的構造のカメラモデル越しに適切に位置合わせされる。スレーブアーム123および124は、スレーブアーム121および122がツール138および139を操縦するのと同様の方法で内視鏡140およびLUSプローブ150を操縦し得る。しかしながら、システムに2つのみのマスター入力デバイス、例えばシステム100におけるマスター入力デバイス107および108がある場合、外科医が内視鏡140またはLUSプローブ150のいずれかの移動を手動で制御するたために、外科医が手動で制御することを望む内視鏡140またはLUSプローブ150に一時的にマスター入力デバイス107および108の一つを関連付ける必要があり得る一方、以前に関連付けられていたツールまたはスレーブマニピュレータは適所に固定される。図2は、一例として、LUSロボット外科手術システム100のブロック図を図示する。このシステムにおいて、2つのマスター入力デバイス107および108がある。マスター入力デバイス107は、その制御スイッチ機構211がどのモードに入っているかに依存してツール138または立体内視鏡140のいずれかの移動を制御し、マスター入力デバイス108は、その制御スイッチ機構231がいずれのモードに入っているかに依存してツール139またはLUSプローブ150のいずれかの移動を制御する。制御スイッチ機構211および231は、音声コマンド、マスター入力デバイス107および108の近くに物理的に置かれたスイッチ、コンソール上のフットペダル105および106、またはマスターディスプレイ104もしくは補助ディスプレイ図示せずに表示された適切なアイコンもしくは他のグラフィカルユーザインターフェースの外科医の選択を用いて、外科医によって第1または第2のモードのいずれかに置かれ得る。制御スイッチ機構211が、第1のモードに置かれた場合、マスターコントローラ202をスレーブコントローラ203と通信させ、その結果外科医によるマスター入力107の操縦は、スレーブアーム121によるツール138の対応する移動が結果として生じる一方、内視鏡140は適所に固定される。一方、制御スイッチ機構211が、第2のモードに置かれた場合、マスターコントローラ202をスレーブコントローラ233と通信させ、その結果外科医によるマスター入力107の操縦は、スレーブアーム123による内視鏡140の対応する移動が結果として生じる一方、ツール138は適所に固定される。同様に、制御スイッチ機構231が、第1のモードに置かれた場合、マスターコントローラ222をスレーブコントローラ223と通信させ、その結果外科医によるマスター入力108の操縦は、スレーブアーム122によるツール139の対応する移動が結果として生じる。しかしながら、この場合、LUSプローブ150は、適所に固定される必要がない。その移動は、メモリ240に格納された命令に従って補助コントローラ242によって案内され得る。補助コントローラ242は、LUSプローブ力センサ247の読みを反映するマスター入力108を通して外科医に触覚のフィードバックを提供する。一方、制御スイッチ機構231が、第2のモードに置かれた場合、マスターコントローラ222をスレーブコントローラ243と通信させ、その結果外科医によるマスター入力222の操縦は、結果としてスレーブアーム124によるLUSプローブ150の対応する移動を結果として生じる一方、ツール139は、適所に固定される。第1のモードすなわち通常モードに切り替え復帰される前に、マスター入力デバイス107または108は、制御スイッチ211または231の第2のモードへの切り替え前にあった場所に再位置決めされ、場合によっては、マスター入力デバイス107または108と、そのそれぞれのツールスレーブアーム121または122との間の運動学的な関係は、再調整され、その結果、第1のモードすなわち通常モードに切り替え復帰させられる際、ツール138または139の急激な移動は生じない。制御スイッチの追加の詳細に関して、共同所有の米国特許第6,659,939号CooperativeMinimallyInvasiveTelesurgicalSystemを参照されたい。それは、この参照により本明細書に援用される。補助コントローラ242は、またLUSプローブ150と内視鏡140とに関連する他の機能を果たす。補助コントローラ242は、LUSプローブ力センサLUSProbeForceSensor247からの出力を受信し、該LUSプローブ力センサ247は、LUSプローブ150に対して及ぼされる力を感知し、マスターコントローラ222をとおしてその力の情報をマスター入力デバイス108にフィードバックし、その結果、外科医は、例えその時に自分が直接LUSプローブ150の移動を制御してないなくてもそれらの力を感じ得る。従って、患者に対する潜在的な傷害は最小限にされる。なぜなら、外科医は、LUSプローブ150の任意の移動を直ちに停止する能力もその移動の手動制御を支配する能力も有するからである。補助制御242の別の主要な機能は、ユーザ選択表示オブションに従って内視鏡140およびLUSプローブ150からの処理された情報をマスターディスプレイ104に表示させることである。より詳細には以下に記述されるように、そのような処理は、LUSプローブ150から超音波処理器246をとおして受信された2D超音波画像スライスから3D超音波画像を生成することを含み、選択された位置および姿勢に対応する3Dまたは2Dのいずれかの超音波画像をマスターディスプレイ104のピクチャーインピクチャーウィンドウに表示させ、解剖学的構造の3Dまたは2Dのいずれかの超音波画像を、マスターディスプレイ104に表示されている、解剖学的構造のカメラにより捕捉された画像の上に重ねさせる。別個の実体として示されているけれども、マスターコントローラ202および222、スレーブコントローラ203、233、223、および243、ならびに補助コントローラ242も、制御スイッチ機構211および231のある種のモード切り替え側面も、処理器102によって実行されるソフトウェアモジュールとして実装されることが好ましい。超音波処理器246、およびビデオ処理器236は、一方では、LUSプローブ150および内視鏡140の製造業者によって典型的に提供される別個のボードまたはカードであり、該ボードまたはカードは、処理器102に結合された適切なスロットに挿入されるか、または処理器102と一体化されて、これらの画像捕捉デバイスから受信された信号をマスターディスプレイ104への表示に適した信号に変換し、および/またはマスターディスプレイ104に表示される前に補助コントローラ242によって追加の処理に適した信号に変換する。図3は、LUSプローブ150の一実施の形態の側面図を図示する。LUSプローブ150は、好ましくは2つの遠位端の自由度を有する器用なツールであり、例えば、遠位端の上下および左右においてほぼ±80度、ボール関節タイプの回りの回転においてほぼ±240度である上下-左右機構311その機能として本明細書では手首機構としても参照されるによってLUSセンサ301の再配向を可能にする。対向する一対の駆動棒とケーブルと図示せずは、LUSセンサ301の近位端に物理的に接続されており、延長軸312の内部経路を通って延びており、従来のプッシュ-プルタイプの作用を用いてLUSセンサ301の上下および左右の移動を機械的に制御する。LUSプローブ150のこの上下/左右の手首機構によって提供される柔軟性は、最小侵襲外科手術手順の間に解剖学的構造に関する超音波検査法を行うためにLUSプローブ150を最適に配向させるのに特に有用である。LUSセンサ301は、隣接した解剖学的構造の2D超音波スライスを捕捉し、LUSケーブル304をとおして処理器102にその情報を送り戻す。延長軸312の外側を走っているとして示されているけれども、LUSケーブル304は、その中にも延長し得る。クラムシェルシース321は、延長軸312およびLUSケーブル304を取り囲んで、カニューレ331またはトロカールを通過する良いシールを提供する。基準マーク302および322は、ビデオ追跡目的のためにLUSセンサ301およびシース321上に置かれている。力感知能力は、歪みゲージ303によって提供され、該歪みゲージ303は、LUSプローブ150が音波検査されている構造をどれくらい強力に押しているかの直接のフィードバックを提供し、どんな限られたフィードバックも間接モータトルクから利用できることを補助する。この情報の潜在的な使用は、力が大きすぎる場合、外科医に警告する冗長な安全閾値のチェックを提供するか、または構造への移動を妨げることと;外科医に、自分がどれくらい強力に構造を押しているかについての承認された触覚の理解を提供することと;間接位置センサまたはエンコーダによっていくつかの理由のために検知されない、左右-上下のすなわち手首機構311のモデル化できないそれを、補償するいくつかの対策をおそらく可能にすることとを含む。この場合における歪ゲージ303は、以前に図2を参照して記述されたようにLUSプローブ力センサ247の機能に役立つ。ロボットに支援されたLUSは、フリーハンド走査に比べて生成される超音波画像の変動を減少させる潜在性を有し、操作者の作業負荷と困難さを減少し得る。LUSプローブ150を前後に揺り動かすのと同じくらい単純な挙動は、操作者の介入なしに更新された3D超音波画像を維持し得る。より複雑な挙動は、順序だったパターンで標的の解剖学的構造の表面に沿ったLUSプローブ150の移動を含み得ることによって、標的の全画像を生成するか、または以前に操作されたプローブの位置および姿勢に確実に戻る。図4は、一例として、補助コントローラ242を訓練する方法補助コントローラ242に格納された命令を提供することの流れ図を図示し、LUSプローブ150を、コマンドの訓練された方法でロボット的に移動させ、それは、解剖学的構造の2D超音波画像スライスの列を捕捉するためであり、それは、補助コントローラ242によって使用されて構造の3Dコンピュータモデルを生成する。訓練を行うより前に、制御スイッチ機構231は、第2のモードに置かれ、その結果、外科医は、マスター入力デバイス108を操縦することによって訓練する目的のためにLUSプローブ150を移動させ得る。訓練を行った後、制御スイッチ機構231は、次いで第1のモードすなわち通常モードに置き戻され、その結果、外科医は、ツール139を操縦し得て、マスター入力デバイス108を使用して最小侵襲外科手術手順を行う。401において、訓練モジュールは、最初使用されてないすなわち、処理器102によって実行されていない。402において、処理器102またはバックグラウンドで実行する訓練モジュールエージェントは、訓練指示の開始が受信されたかどうかを周期的にチェック得る。その代わりに、訓練指示の開始は、訓練モジュールの実行を開始する割り込みとして作用し得る。訓練指示の開始は、認識された音声コマンド、マスターディスプレイ104に表示されたグラフィカルユーザインターフェース上の訓練オプションの選択、対応するマスター制御入力108上または外科医にとって他の便利にアクセスできるに場所に物理的に位置し得るスイッチ機構、または任意の別の手段をとおして、外科医によって開始され得る。訓練指示の開始が検知された後、403において、訓練モジュールは、現在のLUSプローブ150の位置と姿勢を記憶または格納し、停止訓練指示が検知または受信されるまで、周期的にまたは外科医の命令時に403および404をループすることによってそうすることを続ける。この場合における停止訓練指示は、また訓練指示の開始と同じ方法で外科医によって開始され得、または、停止訓練指示は、異なった、別の従来の方法で開始され得る。停止訓練指示が検知または受信された後、LUSプローブ150の最終位置および姿勢が記憶または格納される。訓練の開始と訓練の停止との間、外科医は、LUSプローブ150を移動させ、処理器102は、LUSプローブ150の点と姿勢との軌跡を格納し、その結果、それは、後ほど命令時に再トレースされ得る。訓練の一つのタイプにおいて、外科医は、LUSプローブ150を解剖学的構造の近くで前後に移動させ、それは、2D超音波画像スライスの列を捕捉するためであり、該列から解剖学的構造の3D版すなわちコンピュータモデルが処理器102によってレンダリングされ得る。訓練の別のタイプにおいて、外科医は、解剖学的構造の表面に沿って1回以上LUSプローブ150を移動させ、それは、2D超音波画像スライスの異なった列を捕捉するためであり、該列から解剖学的構造の3D版すなわちコンピュータモデルが処理器102によってレンダリングされ得る。LUSプローブ150の位置と姿勢とを記録するとして記述されているけれども、実際、スレーブアーム124のアクティブ関節位置がその代わりに格納され、なぜなら、それらの測定は、関節の各々に付け加えられたエンコーダをとおして直接得ることができるからであり、それらの位置は、LUSプローブ150の位置と姿勢とに対応するからである。メモリ240にLUSプローブ150の位置と姿勢との軌跡を格納した後、次いで軌跡は、外科医が補助コントローラ242に所望の方法でLUSプローブ150を移動させるように命令する手段に関連付けられる。例えば、軌跡は、音声コマンドに関連付けられ、該音声コマンドの検知時に、補助コントローラ242は、スレーブアーム124に、位置と姿勢との格納された軌跡に沿ってLUSプローブ150を前後に移動させる。同様に、軌跡は、またマスターディスプレイ104に表示されたグラフィカルユーザインターフェース上のユーザ選択可能なオプションに関連付けられ得、または軌跡は、スイッチ機構、例えばボタンまたはマスター入力デバイス108上の使用されていない制御素子等に関連付けられ得る。軌跡は、また、フットペダル106の押し下げられた状態に関連付けられ得、その結果、補助コントローラ242は、フットペダル106が押し下げられている限り、スレーブアーム124に、位置と姿勢との格納された軌跡に沿ってLUSプローブ150を前後に移動させ、一度外科医が自分の足をフットペダル106から離したときそのような移動を停止させる。図5は、一例として、LUSプローブ150の位置と姿勢とに対応するクリック可能なサムネール画像を生成する方法の流れ図であり、該位置と姿勢とは、メモリ240に格納され、その結果、外科医がサムネール画像の1つをクリックした際、補助コントローラ242は、スレーブアーム124に、LUSプローブ150をその格納された位置と姿勢とに移動させる。これは、制御スイッチ機構231が第1のモードすなわち通常モードにある間に、外科医がLUSプローブ150を移動させて解剖学的構造の異なったビューを見ることを可能にする。従って、外科医は、マスター入力デバイス108を用いてツール139を操縦することによって最小侵襲外科手術手順を行うことを続け得る。次いで、方法は、図4を参照して記述された方法と組み合わされ得、それは、補助コントローラ242が解剖学的構造の3Dコンピュータモデルのレンダリングを生成し得る位置と姿勢とから始まる2D超音波画像の列を生成するためである。しかしながら、方法を行うより前に、制御スイッチ機構231は、その第2のモードに置かれ、その結果、外科医は、マスター入力デバイス108を操縦することによって望まれた位置および姿勢にLUSプローブ150を移動させ得る。クリック可能なサムネール画像を生成した後、制御スイッチ機構231は、次いで、第1のモードすなわち通常モードに置き戻され、その結果、外科医は、ツール139を操縦してマスター入力デバイス108を用いて最小侵襲外科手術手順を行い得る。501において、補助コントローラ242は、外科医からスナップ写真コマンドを受信する。スナップ写真コマンドは、例えば、音声コマンド、グラフィカルユーザインターフェースの選択、またはスイッチの位置であり得る。502において、補助コントローラ242は、LUSプローブ150に、2D超音波画像スライスを捕捉させ、503において、画像のサムネールが生成される。この場合におけるサムネールは、捕捉された画像の単純なJPEGまたはGIFファイルを含み得る。504において、LUSプローブ150の現在の位置と姿勢とは、そのサムネールへの関連付けの情報と一緒にメモリ240に格納される。505において、サムネールのクリック可能なバージョンが、マスターディスプレイ104に表示され、その結果、外科医は、クリック可能なサムネールの上で自分のマウスまたは他のポインティングデバイスを用いてクリックした時はいつでも、補助コントローラ242に、格納された位置と姿勢とにおいてLUSプローブが位置決めされ配されるように命令し得る。外科医は、次いで、LUSプローブ150を他の位置および/または姿勢に移動させ、501~505を繰り返して追加のサムネール画像を生成する。図6は、一例として、ツール139を用いて最小侵襲外科手術手順を行っている間に、外科医によってそうする命令の時にクリック可能なサムネールに関連付けられた位置と姿勢とにLUSプローブ150を自動的に移動させる方法の流れ図である。610において、図5を参照して記述された方法によって生成されたサムネールのクリックは、例えば従来の割り込み処理プロセスによって検知される。そのような検知時に、602において、補助コントローラ242は、例えば、割り込み処理プロセスに対応する格納された命令によって、サムネールに関連付けられた、メモリ240内の位置と姿勢とを抽出するよう命令される。補助コントローラ242は、次いで、LUSプローブ150を、適切に制御するスレーブアーム124によってその位置と姿勢とに移動させる。従って、外科医は、LUSプローブ150が移動されるまで、制御スイッチ機構231のモードを変更しなければならないことはなく、ツール139の停止動作なしに、所望の位置までLUSプローブ150を移動させることができる。図7は、一例として、癌構造のマークされた病変内にロボット的に支援された針を案内することと貫通させることのための方法の流れ図であり、該方法は、本明細書で記述されたロボット支援LUSの側面の理解を可能にする。701において、癌構造、例えば肝臓等の選択された2D超音波画像スライスビューが、癌構造の3Dカメラビューに対するオーバーレイとしてマスターディスプレイ104上の適切な深さで表示される。選択された2D超音波画像スライスビューは、癌構造の以前に生成された3D超音波コンピュータモデルから取られた正面ビューまたは内部のスライスビューであり得る。701プロセスを明らかにする一例として、図8は、癌構造の3D超音波コンピュータモデル800の単純化された透視図のビューを図示し、それは、例えば、図4を参照して記述された方法を用いて生成されて、カメラ基準フレームEX、EY、EZ内に変換されている。一方、図9は、立体内視鏡140によって取られた癌構造の3Dカメラビュー900の単純化された透視図のビューを図示する。外科医が、3D超音波コンピュータモデル800の正面のスライス801を3Dカメラビュー900に対するオーバーレイとして見られるように選択した場合、オーバーレイは、図10に示されるように現れる。一方では、外科医が、3D超音波コンピュータモデル800の内側のスライス802~804の1つ、例えば内側のスライス803を、3Dカメラビュー900に対するオーバーレイとして見られるように選択した場合、オーバーレイは、図11に示されるように現れ、2D超音波画像スライス803は、適切な深さに表示される。混乱を避けるために、その深さより上の3Dカメラビューの部分は透明にされている。その代わりに、701において、外科医は、LUSプローブ150の移動を手動で制御し、その結果、LUSプローブ150によって捕捉された2D超音波画像スライスは、マスターディスプレイ104においてLUSプローブ150の3Dカメラ画像から適切な遠近感および方向で生じる。マスターディスプレイ104に表示された生じた2D画像スライスは、探られる解剖学的構造をふさがないことが好ましい。この手動アプローチは、解剖学的構造において素早く病変を見つけるために外科医にとって特に有用であり得る。702において、外科医は、701の結果として表示された癌構造上の病変にマークを付ける。各マークが付けられた病変は、指定された色を用いてマークを付けられることが好ましく、これは、外科医が既に該病変を特定していることを示すためであり、それによって、重複して数えることを避ける。各マークが付けられた病変のカメラ基準フレームEX、EY、EZにおける位置は、メモリ240に格納され、703において、処理器102は、その位置に対する最適な針の先端経路を決定する。703において、処理器102は、仮想的な固定されたものを生成し、針をマークが付けられた病変に案内することを助ける。仮想的な固定されたものを生成するために、針ツールを操縦するスレーブアームに対する局所的な運動学的な拘束が、次の形式の拘束テーブルを提供することによって指定され得る。ここに、は、単純化された用語で、マスターアームの現在の6つのDOF運動学的な姿勢であり、または、より一般的な用語で、公称の姿勢F0に関して線形化されたデカルト姿勢Fのパラメータ化であり、その結果となる。テーブルは、視覚的フィードバック、ユーザインタラクション等に基づいて周期的に更新されなければならない。理解され得るように、方程式2は、容易にチェックされ守らせられ得る。同様に、簡単なテーブル駆動の外科医のインタラクションの力は、近似的に次のように実装され得る。ここに、εは、おおよそ、状態空間における表面からの距離に対応し、fεは、非線形の剛性に対応する。上記の定式化は、様々な仮想的な面取り、仮想的なばね、戻り止めなどを支援するのに適切である。速度の項を追加することによって容易に仮想的なダンパーに拡張するされる。さて、より詳細に、注入針でライブ超音波画像におけるターゲットを狙ることを助けることが望まれている本場合、としよう。そうすると、基本拘束は、この例に関して針ドライバの軸であると仮定される針の軸は、標的病変を狙わされるべきであり、該標的病変は、によって与えられる。狙う方向の誤差の1つの計量は、である。それは、において、2次形式として近似され得、上記で記述された方法を用いて仮想的な固定されたものに変換され得る。同様に、針の先端がである場合、LUS標的を越えた貫通深さは、によって与えられる。これは、容易に仮想的な戻り止めまたは貫通し過ぎを避ける壁に書き換え得る。あるいは、単純な球状の引き付ける物である仮想的な固定する物は、を最小にするよう開発され得る。705において、処理器102は、標的病変に向かって進むにつれて針の先端位置を決定し、706において、処理器102は、針の先端位置と標的病変との間の距離を決定する。針の先端位置は、スレーブアームの運動学からおよび/またはカメラ画像の視覚的な追跡をとおして決定され得る。707において、ディスプレイにおける病変または他の対象物の色は、針の先端が標的により近づいた時変化する。例えば、色は、針の先端がなおターゲットから遠い時に青として始まり、色のスペクトルをとおして変化し、その結果、針の先端が標的に近づくにつれて赤くなる。代わりに、棒グラフまたは他の視覚的な指示物が、距離の素早い感知のために用いられ得る。708において、距離が通常、標的病変に近いまたはその表面にある距離として指定される閾値の距離に到達したかどうかが決定される。閾値にまだ到達していない場合、方法は705に戻り、閾値が到達されるまで継続して705~708を繰り返す。一旦閾値に到達されると、709において、癌構造と接近する針との90度のビューがマスターディスプレイ104のピクチャーインピクチャーウィンドウに示される。次いで、方法は、705に戻り得、針が癌構造を貫通するように、またはその開始位置に戻るように705~708を繰り返し得る。本発明の多様な側面が好ましい実施の形態に関して記述されてきたけれども、本発明は、添付の請求項の全ての範囲内の全ての保護に対して権利を与えられることが理解される。"