"医療用ロボットシステムであって、画像を捕捉するための画像捕捉デバイスと、該画像捕捉デバイスを保持するロボットアームと、コンピュータ表示画面と、ユーザが、複数自由度の動作で操作可能であるように構成されたマスター入力デバイスと、該マスター入力デバイスが画像捕捉モードであるときに、ユーザによる該マスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、該マスター入力デバイスが画像操作モードであるときに、ユーザによる該マスター入力デバイスの操作に応じて、該コンピュータ表示画面上における、捕捉画像から生成された画像の表示を制御するように構成されるプロセッサと、を備える、医療用ロボットシステム。前記マスター入力デバイスが6自由度で操作可能であるように構成され、その結果、該マスター入力デバイスが、前記画像操作モードであるときに、三次元マウスとして動作する、請求項1に記載の医療用ロボットシステム。前記プロセッサが、ユーザが、前記マスター入力デバイスに関連するカーソルが前記生成画像上に表示されている間に制御入力を作動するときに、前記コンピュータ表示画面上に表示される前記生成画像の1つに対して掴み機能を実行し、該ユーザが、前記画像操作モードにあるときに制御入力が起動された状態を維持しつつ、該マスター入力デバイスを移動するときに、該生成画像に対して移動機能を実行するように構成される、請求項1に記載の医療用ロボットシステム。前記プロセッサが、前記生成画像に対して前記移動機能を実行した状態で、触覚フィードバックを前記マスター入力デバイスに提供するようにさらに構成される、請求項3に記載の医療用ロボットシステム。前記触覚フィードバックが、仮想質量および慣性特性を前記生成画像に関連付けることによって提供され、その結果、前記プロセッサが、前記画像操作モードにあるときに、ユーザによる前記マスター入力デバイスの操作に応じて、該生成画像に対して掴み機能および移動機能を実行すると、該ユーザが反射力を感知する、請求項4に記載の医療用ロボットシステム。前記画像捕捉デバイスが補助画像を捕捉し、前記プロセッサが、前記生成画像の1つの少なくとも一部分が前記一次画像上にオーバーレイされた状態で、一次画像捕捉デバイスによって捕捉された一次画像を前記コンピュータ表示画面上に表示させるように構成される、請求項3に記載の医療用ロボットシステム。前記プロセッサが、ユーザが、前記掴み機能および移動機能を前記生成画像に対して実行することによって、該生成画像の1つと前記一次画像との手動レジストレーションを促進し、前記画像操作モードにあるときに、該生成画像および該一次画像の両方が、前記コンピュータ表示画面上に表示されている場合に、該生成画像と該一次画像とをレジストレーションするように構成される、請求項6に記載の医療用ロボットシステム。前記マスター入力デバイスが、ユーザの手によって圧迫され、該マスター入力デバイスが前記画像操作モードにあるときに、制御入力として機能するように構成されたグリッパを有する、請求項1に記載の医療用ロボットシステム。前記プロセッサが、前記マスター入力デバイスが前記画像操作モードにあるときに、前記グリッパが圧迫され、該グリッパの軸の周囲で回転するとき、前記生成画像に関連するパラメータを調節するように構成される、請求項8に記載の医療用ロボットシステム。前記調節可能なパラメータが前記生成画像の輝度である、請求項9に記載の医療用ロボットシステム。前記調節可能なパラメータが前記生成画像の色である、請求項9に記載の医療用ロボットシステム。前記調節可能なパラメータが、前記生成画像の詳細のレベルである、請求項9に記載の医療用ロボットシステム。前記生成画像の詳細の前記レベルが、前記生成画像を規定するメッシュ構造の粗さのレベルによって決定される、請求項12に記載の医療用ロボットシステム。前記生成画像が、前記捕捉された画像から生成された三次元体積であり;前記プロセッサが、該三次元体積および二次元ウィンドウの一方を前記コンピュータ表示画面に表示し、ユーザによる前記マスター入力デバイスの操作に応じて、該コンピュータ表示画面上の前記ウィンドウの位置および向きを操作し、該ウィンドウと該三次元体積との交差によって切断平面を規定し、該三次元体積の二次元スライスを示すようにさらに構成される、請求項1に記載の医療用ロボットシステム。前記二次元スライスが前記ウィンドウ内に表示される、請求項14に記載の医療用ロボットシステム。前記二次元スライスが、前記コンピュータ表示画面のピクチャーインピクチャーウィンドウ内に表示される、請求項14に記載の医療用ロボットシステム。前記プロセッサが、ユーザが選択可能な数の二次元ウィンドウを前記コンピュータ表示画面上に表示し、ユーザによる前記マスター入力デバイスの操作に応じて、該コンピュータ表示画面上の該ウィンドウの位置および向きを個々に操作し、該操作されたウィンドウと前記三次元体積との交差によって切断平面を規定し、前記三次元体積の対応する二次元スライスを示すようにさらに構成される、請求項14に記載の医療用ロボットシステム。前記二次元スライスが、前記コンピュータ表示画面の対応するピクチャーインピクチャーウィンドウ内に表示される、請求項17に記載の医療用ロボットシステム。前記プロセッサが、前記コンピュータ表示画面上に表示されたメニューに含まれる項目をユーザが選択したことに応じて、前記二次元ウィンドウを該コンピュータ表示画面上に表示するように構成される、請求項14に記載の医療用ロボットシステム。前記プロセッサが、前記表示画面上に表示されるアイコンをユーザが選択したことに応じて、前記二次元ウィンドウを前記コンピュータ表示画面上に表示されるように構成される、請求項14に記載の医療用ロボットシステム。前記アイコンが、前記コンピュータ表示画面の周囲領域に表示され、前記プロセッサが、ユーザが前記アイコンをクリックし、ユーザが該アイコンを選択したときの周囲領域から離れるように該アイコンをドラッグするというユーザによるマウスタイプの動作を解釈するようにさらに構成される、請求項20に記載の医療用ロボットシステム。前記画像捕捉デバイスが超音波プローブであり、前記生成画像が、該超音波プローブによって捕捉された二次元超音波スライスからコンピュータで生成された解剖学的構造の三次元超音波画像である、請求項21に記載の医療用ロボットシステム。前記プロセッサが、前記生成画像およびイレーザ画像の一方を前記コンピュータ表示画面上に表示し、ユーザが、前記マスター入力デバイスを操作したことに応じて、該イレーザ画像の少なくとも位置を操作し、該イレーザ画像が該コンピュータ表示画面上で操作されるときに、該イレーザ画像が横断する該コンピュータ表示画面上に表示される前記生成画像の1つの任意の部分を消去するようにさらに構成される、請求項1に記載の医療用ロボットシステム。前記プロセッサが、前記イレーザ画像が横断する前記生成画像の部分のすべての詳細を消去するように構成される、請求項23に記載の医療用ロボットシステム。前記プロセッサが、前記イレーザ画像が横断する前記生成画像の部分の前記詳細を減少させるように構成される、請求項23に記載の医療用ロボットシステム。前記イレーザ画像が横断する前記生成画像の部分の前記詳細の前記減少が、前記生成画像を規定するメッシュ構造の細かさを減少させることを含む、請求項25に記載の医療用ロボットシステム。したがって、本発明の様々な態様の1つの目的は、手順によるその時点における治療対象の解剖学的構造の画像に対するオーバーレイ、あるいはこの画像に関連するオーバーレイなど、治療手順の効果を含む補助情報を表示する方法である。本発明の様々な態様のもう1つの目的は、ユーザが指定する体積レンダリング拡大率で、解剖学的構造の補助画像のユーザ選択部分を、解剖学的構造の一次画像に対して登録されたオーバーレイとしてコンピュータ表示画面上に表示する方法である。本発明のもう1つの目的は、コンピュータディスプレイの三次元空間に画像を手動で登録するために使用されるマスター入力デバイスを有する医療用ロボットシステムである。本発明の様々な態様のもう1つの目的は、解剖学的構造の体積レンダリングの切断平面をコンピュータディスプレイの三次元空間で規定するために使用されるマスター入力デバイスを有する医療用ロボットシステムである。本発明の様々な態様のもう1つの目的は、解剖学的構造の体積レンダリングの部分または詳細をコンピュータディスプレイの三次元空間に選択的に修正するために使用されるマスター入力デバイスを有する医療用ロボットシステムである。本発明の様々な態様のもう1つの目的は、コンピュータ表示画面に表示される解剖学的構造のレンダリングのための表示パラメータを変えるために使用されるマスター入力デバイスを有する医療用ロボットシステムである。本発明の様々な態様のさらにもう1つの目的は、マスター入力デバイスが、画像捕捉デバイスの動作を制御する画像捕捉モードと、マスター入力デバイスが、画像捕捉デバイスが捕捉した画像をコンピュータ表示画面上に表示および操作するのを制御する画像操作モードとの間で切り換えられるマスター入力デバイスを有する医療用ロボットシステムである。これらおよび追加の目的は、本発明の様々な態様によって達成され、簡潔に述べると、一態様は、治療器具によって解剖学的構造に適用される治療手順の効果をコンピュータ表示画面上に表示する方法であって、治療器具によって解剖学的構造に適用される治療手順の効果を指示する補助画像を生成するステップと、補助画像でオーバーレイされた解剖学的構造の一次画像を、治療手順時にコンピュータ表示画面に表示するステップとを含む方法である。別の態様は、解剖学的構造の補助画像の選択部分を解剖学的構造の一次画像に対するオーバーレイとして、コンピュータ表示画面上に表示する方法であって、可動ウィンドウをポインティングデバイスと関連付けて、ポインティングデバイスを使用して、可動ウィンドウをコンピュータ表示画面上に配置可能にするステップと、解剖学的構造の補助画像と解剖学的構造の一次画像とを登録して、共通の基準フレーム内で同じ位置および向きになるようにするステップと、一次画像をコンピュータ表示画面上に表示し、可動ウィンドウと同じ画面座標に対応する登録された補助画像の一部分を、一次画像に対するオーバーレイとして、可動ウィンドウ内に表示するステップとを含む方法である。さらに別の態様は、医療用ロボットシステムであって、画像を捕捉する画像捕捉デバイスと、画像捕捉デバイスを保持するロボットアームと、コンピュータ表示画面と、ユーザが、複数自由度の動作によって操作可能であるように構成されるマスター入力デバイスと、マスター入力デバイスが画像捕捉モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、マスター入力デバイスが画像操作モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、捕捉画像から生成された画像をコンピュータ表示画面上に表示するのを制御するように構成されたプロセッサとを含む医療用ロボットシステムである。本発明の様々な態様のその他の目的、特徴、および利点は、好ましい実施態様の以下の説明を、添付の図面に関連して解釈すると明らかになるであろう。本発明は、例えば、以下を提供する。項目1治療器具によって解剖学的構造に適用された治療手順の効果をコンピュータ表示画面に表示する方法であって、該治療器具によって該解剖学的構造に適用される該治療手順の該効果を示す補助画像を生成するステップと、該補助画像にオーバーレイされた該解剖学的構造の一次画像を、該治療手順時に該コンピュータ表示画面上に表示するステップとを含む、方法。項目2上記治療手順が、医療用ロボットシステムを使用して実行され、上記治療器具が、該治療手順を実行するために、外科医が上記医療用ロボットシステムを使用して、ロボット制御で操作可能である、項目1に記載の方法。項目3上記一次画像が、上記治療手順の前に捕捉される、項目1に記載の方法。項目4上記一次画像が、超音波により生成される術前画像である、項目3に記載の方法。項目5上記一次画像が、磁気共鳴映像法によって生成される術前画像である、項目3に記載の方法。項目6上記一次画像が、CT断層撮影法によって生成される術前画像である、項目3に記載の方法。項目7上記補助画像が、上記治療手順時に、上記治療器具によって適用される上記治療効果のコンピュータモデルである、項目3に記載の方法。項目8上記コンピュータモデルが、上記治療器具の治療端部の幾何学的形状によって少なくとも部分的に決定される体積形状である、項目7に記載の方法。項目9上記コンピュータモデルが、上記治療器具の治療端部によって上記解剖学的構造に適用される熱レベルによって少なくとも部分的に決定される体積形状である、項目7に記載の方法。項目10上記コンピュータモデルが、上記治療手順の対象になる上記解剖学的構造の周囲組織の特徴によって少なくとも部分的に決定される体積形状である、項目7に記載の方法。項目11上記一次画像が、上記治療手順時に捕捉される、項目1に記載の方法。項目12上記一次画像が、カメラユニットよって捕捉された術中画像である、項目11に記載の方法。項目13上記カメラユニットが、カメラの立体写真を含む、項目12に記載の方法。項目14上記カメラユニットが内視鏡内に含まれる、項目12に記載の方法。項目15上記内視鏡が腹腔鏡である、項目14に記載の方法。項目16上記補助画像が、上記治療手順時に、上記治療器具によって適用される上記治療効果のコンピュータモデルである、項目11に記載の方法。項目17上記コンピュータモデルが、上記治療器具の治療端部の形状によって少なくとも部分的に決定される体積形状である、項目16に記載の方法。項目18上記コンピュータモデルが、上記治療器具の治療端部によって上記解剖学的構造に適用される熱レベルによって少なくとも部分的に決定される体積形状である、項目16に記載の方法。項目19上記コンピュータモデルが、上記治療手順の対象である上記解剖学的構造の周囲組織の特徴によって少なくとも部分的に決定される体積形状である、項目16に記載の方法。項目20上記補助画像が、超音波によって生成された術中画像である、項目11に記載の方法。項目21上記治療手順が、無線周波剥離を使用して上記解剖学的構造の異常組織を破壊する、項目22に記載の方法。項目22上記異常組織が疾患組織を含む、項目21に記載の方法。項目23上記疾患組織が少なくとも1つの腫瘍を含む、項目22に記載の方法。項目24上記異常組織が損傷組織を含む、項目21に記載の方法。項目25上記治療手順が、無線周波剥離、高密度焦点式超音波、および焼灼から成る群の1つである、項目21に記載の方法。項目26解剖学的構造の補助画像の選択部分を該解剖学的構造の一次画像のオーバーレイとしてコンピュータ表示画面上に表示する方法であって、ポインティングデバイスを使用して、可動ウィンドウを該コンピュータ表示画面上に配置可能であるように、該可動ウィンドウとポインティングデバイスとを関連付けるステップと、共通参照フレーム内で同じ位置および向きであるように、該解剖学的構造の補助画像と該解剖学的構造の一次画像とを登録するステップと、該一次画像を該コンピュータ表示画面上に表示し、該可動ウィンドウと同じ該画面座標に対応する、該登録された補助画像の一部分を、該一次画像に対するオーバーレイとして、該可動ウィンドウ内に表示するステップと、を含む方法。項目27上記一次画像が、医療用ロボットシステムを使用して実行される低侵襲性手術手順時に、画像捕捉デバイスによって捕捉され、該画像捕捉デバイスが、医療処置を実行する際に、該医療用ロボットシステムを使用してロボット制御で操作可能である、項目26に記載の方法。項目28上記可動ウィンドウが円形レンズとして上記表示画面上に表示される、項目26に記載の方法。項目29上記可動ウィンドウが矩形レンズとして上記表示画面上に表示される、項目26に記載の方法。項目30上記一次画像が上記解剖学的構造の三次元画像であり、上記コンピュータ表示画面が三次元コンピュータ表示画面である、項目26に記載の方法。項目31上記可動ウィンドウと同じ画面座標に対応する、上記登録された補助画像の全体の部分が上記一次画像に対するオーバーレイとして、該可動ウィンドウ内に表示される、項目26に記載の方法。項目32上記可動ウィンドウと同じ画面座標に対応する、上記登録された補助画像の一部分が上記一次画像に対するオーバーレイとして、上記可動ウィンドウ内に適合して表示され、上記補助画像の拡大図として表示されるように拡大される、項目26に記載の方法。項目33上記コンピュータ表示画面を見るユーザによって選択された拡大率を受信するステップと、該拡大率を適用して、上記登録された補助画像の上記一部分が、上記一次画像に対するオーバーレイとして上記可動ウィンドウ内に適合して表示されると決定するステップと、をさらに含む、項目32に記載の方法。項目34上記一次画像および補助画像が上記解剖学的構造の三次元画像であり、上記コンピュータ表示画面が三次元コンピュータ表示画面である、項目26に記載の方法。項目35上記可動ウィンドウが上記補助画像のユーザが選択可能な深さに関連付けられ、その結果、ユーザが選択した深さに対応する該補助画像の二次元スライスが、上記一次画像に対するオーバーレイとして上記可動ウィンドウ内に表示される、項目26に記載の方法。項目36上記一次画像が磁気共鳴映像法によって生成された術前画像である、項目26に記載の方法。項目37上記一次画像がCT断層撮影法によって生成された術前画像である、項目26に記載の方法。項目38上記一次画像がカメラユニットによって捕捉された術中画像である、項目26に記載の方法。項目39上記カメラユニットが内視鏡内に含まれる、項目38に記載の方法。項目40上記補助画像が術前の捕捉画像である、項目38に記載の方法。項目41上記術前に捕捉される画像が磁気共鳴映像法によって生成される、項目40に記載の方法。項目42上記術前に捕捉される画像がCT断層撮影法によって生成される、項目40に記載の方法。項目43上記術前に捕捉される画像が超音波によって生成される、項目40に記載の方法。項目44上記補助画像が術中に捕捉される画像である、項目38に記載の方法。項目45上記術中に捕捉される画像が超音波によって生成される、項目44に記載の方法。項目46上記術中に捕捉される画像が第2カメラユニットによって生成される、項目44に記載の方法。項目47医療用ロボットシステムであって、画像を捕捉するための画像捕捉デバイスと、該画像捕捉デバイスを保持するロボットアームと、コンピュータ表示画面と、ユーザが、複数自由度の動作で操作可能であるように構成されたマスター入力デバイスと、該マスター入力デバイスが画像捕捉モードであるときに、ユーザによる該マスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、該マスター入力デバイスが画像操作モードであるときに、ユーザによる該マスター入力デバイスの操作に応じて、該コンピュータ表示画面上における、捕捉画像から生成された画像の表示を制御するように構成されるプロセッサと、を備える、医療用ロボットシステム。項目48上記マスター入力デバイスが6自由度で操作可能であるように構成され、その結果、該マスター入力デバイスが、上記画像操作モードであるときに、三次元マウスとして動作する、項目47に記載の医療用ロボットシステム。項目49上記プロセッサが、ユーザが、上記マスター入力デバイスに関連するカーソルが上記生成画像上に表示されている間に制御入力を作動するときに、上記コンピュータ表示画面上に表示される上記生成画像の1つに対して掴み機能を実行し、該ユーザが、上記画像操作モードにあるときに制御入力が起動された状態を維持しつつ、該マスター入力デバイスを移動するときに、該生成画像に対して移動機能を実行するように構成される、項目47に記載の医療用ロボットシステム。項目50上記プロセッサが、上記生成画像に対して上記移動機能を実行した状態で、触覚フィードバックを上記マスター入力デバイスに提供するようにさらに構成される、項目49に記載の医療用ロボットシステム。項目51上記触覚フィードバックが、仮想質量および慣性特性を上記生成画像に関連付けることによって提供され、その結果、上記プロセッサが、上記画像操作モードにあるときに、ユーザによる上記マスター入力デバイスの操作に応じて、該生成画像に対して掴み機能および移動機能を実行すると、該ユーザが反射力を感知する、項目50に記載の医療用ロボットシステム。項目52上記画像捕捉デバイスが補助画像を捕捉し、上記プロセッサが、上記生成画像の1つの少なくとも一部分が上記一次画像上にオーバーレイされた状態で、一次画像捕捉デバイスによって捕捉された一次画像を上記コンピュータ表示画面上に表示させるように構成される、項目49に記載の医療用ロボットシステム。項目53上記プロセッサが、ユーザが、上記掴み機能および移動機能を上記生成画像に対して実行することによって、該生成画像の1つと上記一次画像との手動登録を促進し、上記画像操作モードにあるときに、該生成画像および該一次画像の両方が、上記コンピュータ表示画面上に表示されている場合に、該生成画像と該一次画像とを登録するように構成される、項目52に記載の医療用ロボットシステム。項目54上記マスター入力デバイスが、ユーザの手によって圧迫され、該マスター入力デバイスが上記画像操作モードにあるときに、制御入力として機能するように構成されたグリッパを有する、項目47に記載の医療用ロボットシステム。項目55上記プロセッサが、上記マスター入力デバイスが上記画像操作モードにあるときに、上記グリッパが圧迫され、該グリッパの軸の周囲で回転するとき、上記生成画像に関連するパラメータを調節するように構成される、項目54に記載の医療用ロボットシステム。項目56上記調節可能なパラメータが上記生成画像の輝度である、項目55に記載の医療用ロボットシステム。項目57上記調節可能なパラメータが上記生成画像の色である、項目55に記載の医療用ロボットシステム。項目58上記調節可能なパラメータが、上記生成画像の詳細のレベルである、項目55に記載の医療用ロボットシステム。項目59上記生成画像の詳細の上記レベルが、上記生成画像を規定するメッシュ構造の粗さのレベルによって決定される、項目58に記載の医療用ロボットシステム。項目60上記生成画像が、上記捕捉された画像から生成された三次元体積であり;上記プロセッサが、該三次元体積および二次元ウィンドウの一方を上記コンピュータ表示画面に表示し、ユーザによる上記マスター入力デバイスの操作に応じて、該コンピュータ表示画面上の上記ウィンドウの位置および向きを操作し、該ウィンドウと該三次元体積との交差によって切断平面を規定し、該三次元体積の二次元スライスを示すようにさらに構成される、項目47に記載の医療用ロボットシステム。項目61上記二次元スライスが上記ウィンドウ内に表示される、項目60に記載の医療用ロボットシステム。項目62上記二次元スライスが、上記コンピュータ表示画面のピクチャーインピクチャーウィンドウ内に表示される、項目60に記載の医療用ロボットシステム。項目63上記プロセッサが、ユーザが選択可能な数の二次元ウィンドウを上記コンピュータ表示画面上に表示し、ユーザによる上記マスター入力デバイスの操作に応じて、該コンピュータ表示画面上の該ウィンドウの位置および向きを個々に操作し、該操作されたウィンドウと上記三次元体積との交差によって切断平面を規定し、上記三次元体積の対応する二次元スライスを示すようにさらに構成される、項目60に記載の医療用ロボットシステム。項目64上記二次元スライスが、上記コンピュータ表示画面の対応するピクチャーインピクチャーウィンドウ内に表示される、項目63に記載の医療用ロボットシステム。項目65上記プロセッサが、上記コンピュータ表示画面上に表示されたメニューに含まれる項目をユーザが選択したことに応じて、上記二次元ウィンドウを該コンピュータ表示画面上に表示するように構成される、項目60に記載の医療用ロボットシステム。項目66上記プロセッサが、上記表示画面上に表示されるアイコンをユーザが選択したことに応じて、上記二次元ウィンドウを上記コンピュータ表示画面上に表示されるように構成される、項目60に記載の医療用ロボットシステム。項目67上記アイコンが、上記コンピュータ表示画面の周囲領域に表示され、上記プロセッサが、ユーザが上記アイコンをクリックし、ユーザが該アイコンを選択したときの周囲領域から離れるように該アイコンをドラッグするというユーザによるマウスタイプの動作を解釈するようにさらに構成される、項目66に記載の医療用ロボットシステム。項目68上記画像捕捉デバイスが超音波プローブであり、上記生成画像が、該超音波プローブによって捕捉された二次元超音波スライスからコンピュータで生成された解剖学的構造の三次元超音波画像である、項目67に記載の医療用ロボットシステム。項目69上記プロセッサが、上記生成画像およびイレーザ画像の一方を上記コンピュータ表示画面上に表示し、ユーザが、上記マスター入力デバイスを操作したことに応じて、該イレーザ画像の少なくとも位置を操作し、該イレーザ画像が該コンピュータ表示画面上で操作されるときに、該イレーザ画像が横断する該コンピュータ表示画面上に表示される上記生成画像の1つの任意の部分を消去するようにさらに構成される、項目47に記載の医療用ロボットシステム。項目70上記プロセッサが、上記イレーザ画像が横断する上記生成画像の部分のすべての詳細を消去するように構成される、項目69に記載の医療用ロボットシステム。項目71上記プロセッサが、上記イレーザ画像が横断する上記生成画像の部分の上記詳細を減少させるように構成される、項目69に記載の医療用ロボットシステム。項目72上記イレーザ画像が横断する上記生成画像の部分の上記詳細の上記減少が、上記生成画像を規定するメッシュ構造の細かさを減少させることを含む、項目71に記載の医療用ロボットシステム。好ましい実施態様の詳細な説明図1は、一例として、医療用ロボットシステムを利用する手術室の上面図を示す。この場合の医療用ロボットシステムは、一人または複数のアシスタントAの助力により、手術台O上に横たわっている患者Pに対して低侵襲性診断または手術手順を行う際に、外科医Sによって使用されるコンソールCを含む低侵襲性ロボット手術MIRSシステム100である。コンソールは、患者内の手術部位の1つまたは複数の画像、およびおそらくその他の情報を外科医に表示するためのマスターディスプレイ104本明細書では、表示画面またはコンピュータ表示画面とも言うを備える。また、マスター入力デバイス107、108本明細書ではマスターマニピュレータとも言う、1つまたは複数のフットペダル105、106、外科医から音声コマンドを受信するためのマイクロフォン103、およびプロセッサ102も備える。マスター入力デバイス107、108は、様々な入力デバイス、例えば、ジョイスティック、グローブ、トリガーガン、手動コントローラ、グリッパなどのうちの任意の1つ以上を備えることができる。プロセッサ102は、好ましくは、コンソール内に組み込まれ得るか、あるいは従来の方法でコンソールに接続され得るパーソナルコンピュータである。外科医は、マスター入力デバイス107、108を操作することによってMIRSシステム100を使用して医療処置を行い、その操作によって、プロセッサ102は、それぞれのマスター入力デバイスに関連するスレーブアーム121、122に、取外し可能に結合および保持された手術器具138、139本明細書ではツールとも言うを相応に操作させ、その際、外科医は、マスターディスプレイ104上の手術部位の三次元3D画像を見ている。ツール138、139は、好ましくは、IntuitiveSurgicalが所有権を有するEndoWristTM関節器具であって、ヒトの手関節に倣ってモデル化されており、ツールを保持するロボットアームの運動に追加されると、直視下手術の自然な動きに匹敵する少なくとも完全に6度の自由運動を可能にする関節器具である。このようなツールに関するその他の詳細は、共有にかかる米国特許第5,797,900号、名称WristMechanismforSurgicalInstrumentforPerformingMinimallyInvasiveSurgerywithEnhancedDexterityandSensitivityに記載されており、該特許は、参考によって本明細書に援用される。各々のツール138、139の動作端部には、操作可能なエンドエフェクタ、例えば、クランプ、捕捉器具、はさみ、ステープラ、刃、針、針保持具、または活性化可能なプローブがある。マスターディスプレイ104は、2つの順次走査陰極線管CRTを含む高解像度立体映像ディスプレイを有する。このシステムは、偏光、シャッターアイグラス、またはその他の技術より高度の忠実度を提供する。各々の眼は、対物レンズおよび一連のミラーを通した左右の眼の配景を表す別個のCRTを見る。外科医は快適に着席し、外科医が術中3-D像を表示および操作するのに理想的な場所を確保して、手術中にこのディスプレイを覗き込む。立体内視鏡140は、左右のカメラ視野をプロセッサ102に提供し、プロセッサ102は、プログラム化された命令に従って情報を処理し、情報をマスターディスプレイ104上に表示する。腹腔鏡超音波LUSプローブ150は、解剖学的構造の二次元2D超音波画像スライスをプロセッサ102に提供し、プロセッサ102は、解剖学的構造の3D超音波コンピュータモデル、または体積レンダリングを生成する。各々のツール138、139、並びに内視鏡140およびLUSプローブ150は、好ましくは、カニューレ、トロカール図示しない、またはその他のツールガイドを通して患者内に挿入され、切開部161などの対応する低侵襲性切開部を通して下方に手術部位に延在する。各々のスレーブアーム121~124は、スレーブマニピュレータおよび設定アームを備える。スレーブマニピュレータは、モータ制御ジョイントアクティブジョイントとも言うを使用してロボット制御で移動され、個々に保持しているツールを操作し、および/または移動させる。設定アームは、スレーブアーム121~124を水平および垂直に位置決めするために、正常にブレーキをかけられたジョイント設定ジョイントとも言うを解放することによって手動で操作され、個々のツールはカニューレ内に挿入され得る。一度に使用される手術器具の数、ひいてはシステム100に使用されるスレーブアームの数は、一般に、他の要素の中でも、実施される医療処置、および手術室内の空間的制約によって決まる。手順時に使用される1つまたは複数のツールを変更する必要がある場合、アシスタントは、それ以後使用しないツールをスレーブアームから取り外し、手術室内のトレーTにあるツール131などの別のツールと交換し得る。好ましくは、マスターディスプレイ104は、外科医の手の付近に配置し、外科医が実際に手術部位を直接見下ろしていると感じるように方向付けられた投影画像を表示する。そのため、ツール138、139の画像は、観測点つまり、内視鏡140およびLUSプローブ150の観測点が、画像の視野からではあり得ない場合でも、外科医の手が位置する場所に実質的に配置されているように表示されることが好ましい。さらに、実時間画像は透視画像perspectiveimageとして投影され、外科医が実質的に実際どおりに作業空間を見ているかのように、対応するマスター入力デバイス107または108を通してツール138または139のエンドエフェクタを操作できることが好ましい。実際どおりとは、画像の表現が、物理的にツールを操作する操作者の視点をシミュレートする実際の透視画像であることを意味する。したがって、プロセッサ102はツールの座標を知覚位置に変換し、その結果、透視画像は、開腔手術の際に、内視鏡140が外科医の眼の高さからツールを直接見ている場合に見える画像である。プロセッサ102は、システム100内の様々な機能を実行する。プロセッサ102が実行する1つの重要な機能は、外科医が、個々のツール138、139を効率的に操作することができるように、バス110上の制御信号を通して、マスター入力デバイス107、108の機械的な運動を解釈し、関連するスレーブアーム121、122に伝達することである。もう1つの重要な機能は、図4~12に関して本明細書で説明する様々な方法をインプリメントすることである。プロセッサ102は、プロセッサとして説明されているが、実際上、ハードウェア、ソフトウェア、およびファームウェアの任意の組合せでインプリメントされ得る。また、本明細書で説明されるその機能は、1つのユニットとして実行されるか、または様々な構成要素に分割され得、その結果、各々の構成要素は、ハードウェア、ソフトウェア、およびファームウェアの任意の組合せでインプリメントされ得る。様々な構成要素に分割されると、構成要素は、1箇所に集中化されるか、または分散処理目的の場合はシステム100全体に分散され得る。医療処置を実行する前に、LUSプローブ150によって捕捉される超音波画像、立体内視鏡140によって捕捉される左右の2Dカメラ、並びにスレーブアーム121~124およびこれらの感知関節位置の運動学を使用して決定されるエンドエフェクタの位置および向きを較正し、互いに対して登録する。スレーブアーム123、124は、スレーブアーム121、122がツール138、139を操作するのと同様に、内視鏡140およびLUSプローブ150を操作し得る。しかし、外科医が、内視鏡140またはLUSプローブ150のいずれかの動作を手動で制御するために、マスター入力デバイス107、108などのマスター入力デバイスが、システム100内に2つしか存在しない場合、マスター入力デバイス107、108の一方を一時的に、外科医が手動制御を望む内視鏡140またはLUSプローブ150に関連付け、その前に結合されていたツールおよびスレーブマニピュレータは所定の位置にロックされる必要があり得る。この例には示されないが、解剖学的構造の一次画像および補助画像のその他のソースは、例えば、超音波、磁気共鳴CT断層撮影、およびX線透視像を捕捉するために通常使用されるシステムなどのシステム100内に含まれ得る。像のこれらのソースの各々は、術前に使用され、適切かつ実際的である場合は術中に使用され得る。図2は、一例として、システム100のブロック図を示す。このシステムには、2つのマスター入力デバイス107、108がある。マスター入力デバイス107は、その制御スイッチ機構211がどちらのモードになっているかに応じて、ツール138または立体内視鏡140のどちらかの動作を制御し、マスター入力デバイス108は、その制御スイッチ機構231がどちらのモードになっているかに応じて、ツール139またはLUSプローブ150のどちらかの動作を制御する。制御スイッチ機構211および231は、外科医が、音声コマンド、マスター入力デバイス107、108上もしくはその付近に物理的に配置されたスイッチ、コンソール上のフットペダル105、106を使用するか、または外科医が、マスターディスプレイ104もしくは補助ディスプレイ図示しない上に表示される適切なアイコンもしくはその他のグラフィックユーザインターフェース選択手段を選択することにより、第1または第2モードに配置され得る。制御スイッチ機構211が第1モードに配置されると、マスターコントローラ202は、スレーブコントローラ203と通信し、外科医がマスター入力装置107を操作することにより、スレーブアーム121によってツール138は相応に動作し、その際、内視鏡140は所定の位置にロックされた状態を保つ。一方、制御スイッチ機構211が第2モードに配置されると、マスターコントローラ202は、スレーブコントローラ233と通信し、外科医がマスター入力装置107を操作することにより、スレーブアーム123によって内視鏡140は相応に動作し、その際、ツール138は所定の位置にロックされた状態を保つ。同様に、制御スイッチ機構231が第1モードに配置されると、マスターコントローラ108はスレーブコントローラ223と通信し、外科医がマスター入力装置108を操作することにより、スレーブアーム122によってツール139は相応に動作する。しかし、この場合、LUSプローブ150は、所定の位置にロックされる必要はない。その動作は、メモリ240内に記憶された命令に従って、補助コントローラ242により案内され得る。補助コントローラ242は、マスター入力装置108を通して外科医に対して、LUSプローブ力センサ247の指示値を表す触覚フィードバックも提供する。一方、制御スイッチ機構231が第2モードに配置されると、マスターコントローラ108はスレーブコントローラ243と通信し、外科医がマスター入力装置108を操作することにより、スレーブアーム124によってLUSプローブ150は相応に動作し、その際、ツール139は所定の位置にロックされた状態を保つ。制御スイッチ機構が、スイッチをその第1モードまたは通常モードに戻す前に、関連するマスター入力デバイスは、スイッチの前に存在していた場所に再配置されることが好ましい。あるいは、マスター入力デバイスは、その現在の位置に留まり得、マスター入力デバイスと関連ツールのスレーブアームとの間の運動学的関係は、制御スイッチ機構が第1または通常モードに戻ったときにツールの急激な動作が生じないように再調節され得る。制御スイッチのその他の詳細に関しては、共有に係る米国特許第6,659,939号、名称CooperativeMinimallyinvasiveTelesurgicalSystemを参照されたい。該特許は、本明細書において、参照することによって援用される。第3の制御スイッチ機構241は、制御スイッチ機構231が第2モードにある状態でつまり、マスター入力デバイス108をLUSプローブ150に結合して、ユーザが、画像捕捉モードと画像操作モードとの間で切り換えることを可能にするために設けられる。第1モードまたは通常モードつまり、画像捕捉モードでは、LUSプローブ150は、通常、上記のとおりマスター入力デバイス108によって制御される。第2モードつまり画像操作モードでは、LUSプローブ150は、マスター入力デバイス108によって制御されず、マスター入力デバイス108は、補助画像を表示画面104上に表示および操作するなどのその他の作業、特に本明細書で説明するように、ユーザが指定する機能を実行することができる。しかし、LUSプローブ150は、制御スイッチ機構241のこの第2モードでは、マスター入力デバイス108によって制御されないが、それでもなお、メモリ240内に記憶されている命令に従って、補助コントローラ242の制御下で自動的に揺動するか、あるいは移動することができるため、隣接する解剖学的構造の3D体積レンダリングは、LUSプローブ150によって捕捉された一連の2D超音波画像から生成することができることに注意されたい。LUSプローブ150の前記およびその他のプログラム化動作に関するその他の詳細に関しては、2006年6月6日に出願された、共有に係る米国特許出願第11/447,668号、名称LaparoscopicUltrasoundRoboticSurgicalSystemを参照されたい。該出願は、ここで参照することにより本明細書に援用される。補助コントローラ242は、LUSプローブ150および内視鏡140に関連するその他の機能も実行する。補助コントローラ242は、LUSプローブ力センサ247から出力を受信し、このセンサは、LUSプローブ150に加わる力を感知し、マスターコントローラ222を通して、この力の情報をマスター入力デバイス108に戻すため、外科医は、自身が、その時点でLUSプローブ150の動作を直接制御していない場合でも、これらの力を感じることができる。したがって、外科医は、LUSプローブ150の何らかの動作を直ちに停止する能力、およびその動作の手動制御を引き継ぐ能力を有するため、患者に傷害を与える可能性は最小限にされる。補助制御装置242の別の重要な機能は、ユーザが選択した表示オプションに従って、内視鏡140およびLUSプローブ150からの処理情報をマスターディスプレイ104上に表示させることである。このような処理の例としては、LUSプローブ150から超音波プロセッサ246を介して受信された2D超音波画像スライスから3D超音波画像を生成することと、選択した位置および向きに対応する3Dまたは2Dのいずれかの超音波画像をマスターディスプレイ104のピクチャーインピクチャーpicture-in-pictureウィンドウに表示させることと、解剖学的構造の3Dまたは2Dのいずれかの超音波画像を、カメラが捕捉した、マスターディスプレイ104上に表示される解剖学的構造の画像にオーバーレイさせることと、図4~12に関して以下に説明する方法を実行することとを含む。別個の実体として示されているが、マスターコントローラ202、222、スレーブコントローラ203、233、223、243、および補助コントローラ242は、プロセッサ102、および制御スイッチ機構211、231、241の一定のモード切換え態様によって実行されるソフトウェアモジュールとしてインプリメントされることが好ましい。一方、超音波プロセッサ246および映像プロセッサ236は、ソフトウェアモジュール、個々のボードまたはカードであり得、これらは、プロセッサ102に結合されているか、あるいは組み込まれている適切なスロット内に挿入され、これらの画像捕捉デバイスから受信される信号をマスターディスプレイ104上に表示するのに適する信号に変換するか、および/または補助コントローラ242によってさらに処理した後に、マスターディスプレイ104上に表示する。この例は、各々のマスター入力デバイスが、1つの予め割り当てられたツールスレーブロボットアーム、および1つの予め割り当てられた画像捕捉デバイスのロボットアームのみによって共用されることを前提としているが、別の装置も実行可能であり、本発明の完全な範囲内であると想定される。例えば、各々のマスター入力デバイスが、ツールおよび画像捕捉デバイスのロボットアームのいずれか一方と選択的に結合される異なる装置であり得、対応性が最大であるという点でさらに好ましい。また、内視鏡ロボットアームは、この実施例では、1つのマスター入力デバイスによって制御されているように示されているが、両方のマスター入力デバイスを使用して、画像を掴むことが可能であるという感覚を与え、その画像を異なる位置または視野に移動させるように制御しても良い。さらに、この実施例には、内視鏡およびプローブのみが示されているが、カメラ、超音波、磁気共鳴、CT断層撮影、およびX線透視像を捕捉するために使用されるようなその他の画像捕捉デバイスも、システム100内に完全に想定されているが、これらの画像捕捉デバイスの各々は、必ずしも1つのマスター入力デバイスによって操作され得ない。図3は、LUSプローブ150の一実施態様の側面図を示す。LUSプローブ150は、好ましくは末端自由度2の巧妙なツールである。LUSセンサ301の近位端に物理的に接続され、長形シャフト312の内側通路を通って延在する駆動ロッドまたはケーブル図示しないの対立する対は、従来のプッシュ-プルpush-pullタイプの動作を使用して、LUSセンサ301の縦揺れおよび横揺れを機械的に制御する。LUSセンサ301は、隣接する解剖学的構造の2D超音波スライスを捕捉し、LUSケーブル304を通してこの情報を逆にプロセッサ102に送信する。LUSケーブル304は、長形シャフト312の外側に通されているように示されているが、このシャフトの内部に延在しても良い。クラムシェルシース321は、長形シャフト312およびLUSケーブル304を囲み、カニューレ331またはトロカールを通過する良好なシールを提供する。基準マーク302および322は、映像を追跡するために、LUSセンサ301およびシース321上に配置される。図4は、一例として、治療手順または治療の効果を表示画面104上に表示する方法のフロー図を示す。401では、解剖学的構造の一次画像は、画像捕捉デバイスによって捕捉される。一例として、図5は、内視鏡140によって捕捉された一次画像を示し、解剖学的構造501、および解剖学的構造501内の治療部位において治療手順を実行するために、解剖学的構造501内に部分的に挿入された治療用器具511を備える。もう1つの用途では、治療用器具511は、治療手順を実行するために、解剖学的構造501に接触または接近することのみが必要であり得る。一次画像は、治療手順以前または治療手順時に捕捉される。手順以前に捕捉された一次画像は術前画像と呼ばれ、手順時に捕捉された一次画像は術中画像と呼ばれる。一次画像が術前画像である場合、この画像は、一般的には手順時に更新されないため、この方法は、1つの一次画像のみを使用する。一方、一次画像が術中画像である場合、この画像は、好ましくは、手順時に定期的に更新され、その結果、この方法は、この場合に複数の一次画像を使用する。術前画像は、一般に、超音波検査法、磁気共鳴映像法MRI、またはCT断層撮影法CATを使用して捕捉される。術中画像は、立体内視鏡140またはLUSプローブ150などの画像捕捉デバイスによって、手術もしくは治療部位において捕捉され得るか、または術前画像を捕捉するために使用される類の技術によって外部から捕捉され得る。図4の402では、治療用器具の電源を入れるか、さもなければ治療用器具を作動させるか、または活性化されて、患者の体内の解剖学的構造に治療を施すことができるようにする。器具は、一般に、疾患または損傷組織などの異常な組織に治療用エネルギーを印加するための先端を有する。こうした治療手順の一例として、無線周波剥離RFA;RadioFrequencyAblationは、RFAプローブを使用して、疾患組織部位に熱を加えることによって、肝臓などの解剖学的構造内に位置する腫瘍などの疾患組織を破壊するために使用され得る。その他の手順の例としては、高密度焦点式超音波HIFUおよび焼灼が挙げられる。治療用器具は、スレーブアーム121、122に取り付けられたツール138、139の1つであり得、外科医によって、マスター/スレーブ制御システムを通して、治療部位に移動され、操作され得る。403では、補助画像が生成され、この補助画像は、解剖学的構造に対する治療手順の効果を示す。補助画像は、治療手順の効果を感知することが可能な感知デバイスによって捕捉された情報から提供または生成された解剖学的構造の実際の画像であり得る。あるいは、補助画像は、治療効果を示すコンピュータモデルであり得、実験的に生成されるか、さもなければ従来どおり決定されるこのような効果の式を使用して生成される。後者の場合、このコンピュータモデルは、一般に、治療用器具の先端の幾何学的形状、治療用器具の先端によって解剖学的構造に加えられる熱またはエネルギーレベル、および解剖学的構造内で治療手順が施される治療部位の周囲の組織の特徴などの要素によって決定される。感知デバイスによって捕捉された情報から提供されるか、さもなければ生成される補助画像の一例として、図6は、LUSプローブ150によって捕捉された二次元超音波スライスから従来どおりに生成された解剖学的構造601の三次元超音波画像を示す。この実施例では、剥離量621が示されており、これは、RFAプローブ612の先端613が、解剖学的構造601の腫瘍部位に適用された治療手順の効果を表す。この場合の剥離量の増加は、腫瘍部位の周囲組織の加熱および壊死から生じる組織特性の変化によって観察することができる。404では、一次画像および補助画像は、同じスケールであると共に、共通参照フレーム内の同じ位置および向きを参照するように登録される。この種の登録は、周知である。一例として、共有に係る米国特許第6,522,906号、名称DevicesandMethodsforPresentingandRegulatingAuxiliaryInformationonanImageDisplayofaTelesurgicalSystemtoAssistanOperatorinPerformingaSurgicalProcedureを参照されたい。該特許は、ここで参照することにより本明細書に援用される。405では、一次画像が表示画面104上に表示され、治療手順は、登録された補助画像を好ましくは一次画像上にオーバーレイした状態で実施され、その結果、各々の画像内の対応する構造または物体は、表示画面104と同じサイズ、並びに同じ位置および向きであるように表示される。この方法では、治療手順の効果は、手順が施される解剖学的構造上へのオーバーレイとして示される。一例として、図7は、図示のために点線で区別されている補助画像が、図5の一次画像上にオーバーレイされている例示的な表示画面104を示す。補助画像が、感知デバイスによって捕捉された情報から提供されるか、あるいは生成される場合、治療効果521、治療用器具512、および器具の先端513は、捕捉情報から提供されるか、あるいは生成される。一方、治療効果521が、実験で決定された式を使用して、体積形状コンピュータモデルとして生成される場合、治療用器具512および器具の先端513は、少なくとも部分的には、器具の操作スレーブアームの結合位置に基づく従来のツール追跡計算を使用して決定され得る。図4の406では、この方法は次に、治療用器具の電源が切れているかどうかを確認する。電源が切れている場合、治療手順が終了していることを意味し、この方法は終了する。一方、治療用器具にまだ電源が入っている場合、この方法は次に、治療手順がまだ実行されていると想定して、407に進み、新しい一次画像が捕捉されたかどうかを判断する。例えば、一次画像は術前画像であるなどの理由で、一次画像が捕捉されていなかった場合、この方法は次に、403に戻り、補助画像を更新して、治療用器具の電源が切れたことを検出することによって、治療手順が完了したと判断されるまで、引き続き403~407を介してループする。一方、例えば、一次画像が術中画像であるなどの理由で、新しい一次画像が捕捉された場合、この方法は、403に戻る前に、408で一次画像を更新し、治療用器具の電源が切れたことを検出することによって、治療手順が完了したと判断されるまで、引き続き403~408を介してループする。図8は、表示画面104上に表示されるときの位置および向きは、関連するポインティングデバイスを使用して、ユーザが操作可能な拡大鏡のレンズ領域として規定されたウィンドウ内に、解剖学的構造の一次画像に対して登録されたオーバーレイとして、解剖学的構造の補助画像を表示する方法のフロー図を一例として示す。801では、この方法は、ポインティングデバイスが移動するように、拡大鏡をポインティングデバイスと関連させることによって開始し、表示画面104上に表示される拡大鏡および特に、ウィンドウとして考えられるそのレンズは、対応する様式で移動する。この場合の関連性は、ポインティングデバイスを使用して、従来の方法で拡大鏡を掴むか、または拡大鏡を事実上ポインティングデバイスにすることによって行われ得る。表示画面104は、好ましくは三次元ディスプレイなので、ポインティングデバイスは、それに応じて、向き指示機能を有する三次元ポインティングデバイスであることが好ましい。802では、現在の一次画像および補助画像が処理のために使用可能になる。この例の一次画像は、内視鏡140によって捕捉され、補助画像は、LUSプローブ150によって捕捉される。しかし、一次画像および補助画像のその他のソースも使用可能であり、本発明の実施において意図されており、例えば、同じソースから捕捉された一次画像および補助画像が挙げられる。後者の場合の一例として、高解像度カメラは、画像を表示画面上に表示するために使用される場合と比べて、さらに高解像度で画像を捕捉することができる。この場合、カメラによって捕捉された高解像度画像は、補助画像として処理され得、表示画面上に表示される縮小画像が一次画像として処理され得る。803では、ユーザが選択可能な拡大率が読み取られる。拡大率は、例えば、ダイアルまたはホイールタイプのコントロールにより、ユーザが選択可能であり得る。あるいは、表示画面104上に表示されるメニュー項目をユーザが選択するか、またはその他の何らかの従来のユーザが選択可能なパラメータ値方式もしくは機構によってユーザが選択可能であり得る。ユーザが選択を行わない場合、拡大率1.0などのデフォルト値が使用される。804では、一次画像および補助画像は、同じスケールであり、共通参照フレーム内の同じ位置および向きを参照するように登録され、その結果、2つの画像内の対応する構造および物体は、同じ座標を有する。805では、一次画像は、解剖学的構造の三次元ビューのように表示画面104上に表示され、この場合、解剖学的構造の補助画像の二次元スライスの一部分は、拡大鏡のレンズ内にオーバーレイとして表示される。この場合の二次元スライスの部分は、拡大鏡のレンズの中心点と同じ位置および向きを有する中心点を有するウィンドウの面積、並びに拡大率によって決定される面積によって規定され、その結果、二次元スライスの部分は、拡大鏡のレンズ内に適合するように拡大または縮小される。拡大鏡の位置および向きは、位置決めデバイスによって、表示画面104の三次元空間内の任意の位置、例えば、解剖学的構造の体積内の位置に操作可能なので、二次元スライスは、解剖学的構造内のユーザが選択可能な任意の深さに対応させることが可能である。物理的な拡大鏡と違って、それを見ることは、解剖学的構造の外側のみの検査に限られない。805に関するその他の詳細については、図9に関連して以下の説明を参照されたい。806では、この方法は次に、例えば、ユーザが、拡大鏡の掴まれた画像を解放するか、あるいは何らかの種類の従来のスイッチ機構を使用して、拡大鏡とポインティングデバイスとの関連性がオフに切り換えられていることによって、拡大鏡のコマンドがオフになっているかどうかを決定する。オフになっている場合、この方法は終了する。一方、オフになっていない場合、この方法は802に戻り、拡大鏡コマンドがオフになっていることが検出されるまで、引き続き802~806を介してループする。この方法が802~806を介してループするごとに、一次画像および補助画像の更新バージョンがある場合、その更新バージョンが、更新値がある場合、その更新値と共にユーザが選択可能な拡大率で処理される。したがって、この方法が、十分に迅速にループを介して進行する場合、ユーザは、拡大鏡の選択した位置および向きの解剖学的構造を見ながら、ダイアルまたはノブを回して拡大率を調節する場合、著しい遅れに気が付かないであろう。図9は、例えば、解剖学的構造の補助画像のビューを指定の拡大率で、ユーザ可動拡大鏡のレンズ内の解剖学的構造の一次画像のビューに対するオーバーレイとして表示する方法のフロー図を示す。前に説明したとおり、この方法は、図8の805を実行するために使用され得る。901では、拡大鏡のレンズの中心点の現在位置および向きは、表示画面104の三次元空間内で決定される。902では、補助画像の登録された体積モデルの二次元スライスは、位置および向きの透視画像から取得され、二次元スライスの一部分は、好ましくは同じ位置および向きに中心点を有する補助ビューウィンドウ内で規定されたように取得される。この場合の補助ビューウィンドウの面積は、拡大鏡の現在の拡大率に従ってレンズの面積に反比例する。903では、補助ビューウィンドウによって規定される二次元スライスの部分は、拡大鏡のレンズの面積に適合する拡大率で拡大され、904では、解剖学的構造の一次画像は表示画面104上に表示され、補助画像の二次元スライスの拡大部分は、表示画面104上に表示される拡大鏡のレンズの面積内にオーバーレイされる。901~904の図による例として、図10~11には、解剖学的構造の補助画像の二次元スライス1001が、2つの円形ウィンドウ1021、1022と共に、図10に示されている二次元スライス上に示されている。この場合の各々のウィンドウ1021、1022は、拡大鏡1120のレンズ1121の形状に対応し、このレンズの中心点と等しい中心点を有し、拡大鏡1120は、解剖学的構造の外観1101の一次画像と共に、図11に示す表示画面104上に示されている。この実施例では、ウィンドウ1021の面積はレンズ1121の面積に等しく、拡大率が1.0だった場合、ウィンドウ1021が選択され、902で使用される。一方、ウィンドウ1022の面積はレンズ1121の面積未満であるため、拡大率が1.0より大きい場合、ウィンドウ1022が選択され得、902で使用され得る。拡大鏡1120のレンズ1121は、円形として示されているが、矩形など、拡大鏡に一般的なその他の形状を有しても良い。図12は、医療用ロボットシステム内のプロセッサによって実行される方法であって、マスター入力デバイスが画像操作モードであるときに、関連するマスター入力デバイスの対応する操作に応じて、医療用ロボットシステムのコンピュータ表示画面に表示される画像物体を操作する方法のフロー図を一例として示す。この方法の前提として、医療用ロボットシステムは、画像を捕捉するための画像捕捉デバイス内視鏡140、またはLUSプローブ150など;画像捕捉デバイスを保持するロボットアームそれぞれ内視鏡140およびLUSプローブ150を保持するスレーブアーム123、またはスレーブアーム124など;コンピュータ表示画面表示画面104など;ユーザが、複数自由度の動作で操作可能であるように構成されたマスター入力デバイスマスター入力デバイス107、またはマスター入力デバイス108など;マスター入力デバイスが画像捕捉モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、マスター入力デバイスが画像操作モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、コンピュータ表示画面上における、捕捉画像から生成された画像の表示を制御するように構成されるプロセッサ補助コントローラ242などを備える。1201では、プロセッサは、ユーザがマスター入力デバイスを画像操作モードにしたことを検出する。これがインプリメントされ得る1つの方法は、医療用ロボットシステム内に設けられたマスタークラッチ機構を使用することであり、このマスタークラッチ機構は、マスター入力デバイスが再配置されるように、関連するロボットアームからのマスター入力デバイスの解放をサポートしている。このモードが、ユーザがマスター入力デバイスのボタンを押す、フットペダルを押す、あるいは音声駆動を使用するなど、何らかの作用によって作動する場合、関連するロボットアームは所定の位置にロックされ、カーソル一般に手のアイコン、例えば、は、コンピュータ表示画面でユーザに対して提示される。ユーザがこのモードを終了すると、このカーソルは隠され、必要に応じてロボットアームの位置が再調節された後、ロボットアームの制御が再開され得る。1202では、プロセッサは、例えば、従来のマウス上のボタンを押すことによって生成された制御入力が、ユーザによって起動されたのかどうかを判断する。この場合の制御入力は、マスター入力デバイス上に設けられたボタンを押すことによって起動され得るか、またはマスター入力デバイス上に設けられたグリッパもしくはペンチ構造を締め付けるなどのその他の何らかの方法で起動され得る。クラッチング、およびマスター入力デバイス上のグリッパまたはペンチ構成に関するその他の詳細は、例えば、共有に係る米国特許第6,659,939号、名称CooperativeMinimallyInvasiveTelesurgicalSystemを参照されたい。この特許は、先に参照することによって本明細書に援用されている。制御入力が、1202でオンであるつまり、起動されたと判断されなかった場合、プロセッサは、オンの指示を受信するか、または画像操作モードが終了するまで待機する。1203では、制御入力がオンであるという指示を受信した後、プロセッサは、カーソルが、コンピュータ表示画面上に表示される物体上または所定の距離の範囲内に位置するかどうかを検査して確認する。位置していない場合、1204では、プロセッサは、ユーザが選択可能な項目または動作のメニューをコンピュータ表示画面上に表示させ、1205では、プロセッサは、ユーザによって行われたメニューの選択を受信し、これに反応する。ユーザが選択可能なメニュー項目の例としては、拡大鏡、切断平面、イレーザ、および画像の登録が挙げられる。ユーザが拡大鏡項目を選択した場合、拡大鏡の画像は、コンピュータ表示画面上に表示され、図8に関して説明された方法がプロセッサによって実行され得る。ユーザが、拡大鏡機能を終了すると、ユーザは、従来の方法で機能を終了することを指示し得、プロセッサは1202に戻る。ユーザが、切断平面項目を選択した場合、平面または、一定であるか、もしくはユーザが調節可能なサイズの矩形ウィンドウがコンピュータ表示画面上に表示される。次に、マスター入力デバイスは平面に関連付けられ、ユーザは、ポインティングデバイスのようにマスター入力デバイスを操作することによって、平面を三次元空間内に配置し、方向付けることができる。この平面は、解剖学的構造の体積レンダリングに交差するように操作される場合、体積レンダリングの二次元スライスを交点に規定する切断平面として機能する。あるいは、マスター入力デバイスは、解剖学的構造の体積レンダリングと関連付けられ得、体積レンダリングは、表示された平面と交差して切断平面を規定するように操作され得る。平面または体積レンダリングとポインティングデバイスとの関連付けは、図8の801に関する拡大鏡に関連して説明したのと実質的に同様に行われ得る。次に、二次元スライスは、平面自体に、またはコンピュータ表示画面上の別個のウィンドウ内、例えば、ピクチャーインピクチャーに表示される。ユーザは、切断平面項目を追加の回数さらに選択して、体積レンダリングの追加の二次元スライスを規定し、コンピュータ表示画面上の個々の平面またはピクチャーインピクチャーに同時に表示する。コンピュータ表示画面を望ましくない切断平面スライスで散乱させないため、従来の削除機能が設けられ、その結果、ユーザは任意の切断平面、およびその対応するスライスを選択的に削除することができる。ユーザは、切断平面機能を終了する場合、従来の方法でこの機能を終了するように指示し得、プロセッサは1202に戻る。ユーザがイレーザ項目を選択すると、イレーザがコンピュータ表示画面上に表示される。マスター入力デバイスは、次にイレーザと関連付けられ、ユーザは、マスター入力デバイスをポインティングデバイスのように操作することによって、コンピュータ表示画面の三次元空間内にイレーザを配置し、方向付けることができる。この場合、イレーザとポインティングデバイスとの関連付けは、図8の801に関する拡大鏡に関連して説明したのと実質的に同様に行われ得る。イレーザは、解剖学的構造の体積レンダリングと交差するように操作されると、体積レンダリングを横断するときに、このようなレンダリングを完全または部分的に消去するように機能する。ユーザによって、部分的な消去が選択される場合あるいは、プロセッサ内に予めプログラムされる場合、イレーザが体積レンダリングを横断するごとに、示され得る解剖学的構造の詳細が減っていく。この場合の減っていく詳細とは、レンダリングの粗さ/精密さを意味するか、または三次元体積レンダリング内のレイヤからのストリッピングを意味する。消去のこのような特性またはオプションはすべて、ユーザが従来の手段を使用して選択することができる。ユーザが、体積レンダリングの一部分を不注意で消去する場合、ユーザが消去を取り消すことを可能にするために従来の取消し機能が設けられる。ユーザが消去機能を終了する場合、ユーザは、従来の何らかの方法でこの機能の終了を指示し得、プロセッサは1202に戻る。上記のイレーザ機能のほかに、その他の空間的に局在化された修正機能も意図されており、本発明の完全な範囲内であると考えられ、例えば、表示画像の部分を選択的に鮮鋭化、高輝度化、または着色して、選択した領域における可視性、あるいは強調表示を強化することが挙げられる。このような空間的に局在化された修正機能は、イレーザ機能に関して上記で説明した方法と実質的に同じ方法を使用して実施され得る。ユーザが、画像登録項目を選択すると、プロセッサは、1212に関して以下で説明するとおり、その選択を今後の動作に備えて記録した後、再びプロセス1202に戻る。この場合の画像登録は、一般に、解剖学的構造などの物体の補助画像を、物体の対応する一次画像に対して手動で登録することを含む。上記のメニューによる方法の代わりに、上記のとおり、選択可能な項目の各々をそれぞれ示すアイコンが、画像操作モードになった後にコンピュータ表示画面上に表示され得、それらのアイコンをユーザがクリックすることによって選択され、その後、プロセッサは、対応するメニュー項目の選択に関連して上記のように実行を続ける。次に、プロセッサは、図12に関連して説明する方法を続け、制御入力が1201で制御入力がオンであるという指示を受信して、カーソルが、1202でコンピュータ表示画面上に表示される物体アイコン以外上、またはその付近に位置していると判断した後、好ましくは、カーソルを例えば、手のアイコン表現から、マスター入力デバイスをユーザが操作することにより、物体が掴まれて、コンピュータ表示画面の三次元空間内の別の位置および/または向きに移動もしくはドラッグされることを示す握った手のアイコンに変更する。1206では、プロセッサは、次に、ユーザが、選択した物体の表示パラメータを調節することを指示したかどうかを判断し、ユーザが指示した場合、1207で、プロセッサは表示の調節を実行する。一例として、マスター入力デバイス上のダイアルは、ユーザによって回転され得、ダイアルに関連する表示パラメータの表示の調節具合が、選択された物体について、ダイアルの回転量に応じて調節されることを両方に示す。あるいは、マスター入力デバイスにグリッパが装備されている場合、このグリッパは、ダイアルとして機能するように回転し得る。このようにして調節される表示パラメータの例としては、コンピュータ表示画面上に表示される選択物体の輝度、コントラスト、色、および詳細例えば、メッシュの粗さ/精密さ、ボクセルのサイズおよび/または不透明さが挙げられる。プロセッサは、次に1208に進み、1203における肯定的な決定の後に、選択された物体が掴まれたことにより、カーソルが移動したかどうかを判断する。カーソルが移動した場合、ユーザが、この時点では選択された物体の表示パラメータの調節のみを望んでいるため、プロセッサは1202に戻る。一方、選択された物体が掴まれてカーソルが移動した場合、1209で、プロセッサは、選択された物体を新しいカーソル位置に移動させる。カーソルは、コンピュータ表示画面の三次元空間内で動作するため、表示画面内に移動すると、例えば、サイズを徐々に小さくすることによって、このような動作を指示する。コンピュータ表示画面の三次元の性質が、深さ値を指示する2つのビュー間の共通点が相違している物体の左右の二次元ビューを使用して達成される場合、左右のビューのカーソルの画像の深さ値が減少すると、カーソルが表示画面内に移動していることを示す。任意に、1210では、触覚フィードバックは、逆にマスター入力デバイスに提供されるため、ユーザは、掴まれた物体が1209で移動する際の反射力を感知することができる。一例として、ユーザと物体との相互作用は、仮想質量および慣性特性を物体と関連付けることによって、触覚的にユーザに反射され得るため、ユーザは、物体に接触したとき、または加速/減速されている物体を平行移動もしくは回転させるときに反射力を感じる。この1210で実行される触覚フィードバックは、あるタイプの物体に対してのみ実行され得、他の物体に対しては実行されないか、または特定の状況でのみ効果を示し得る。このような触覚フィードバックの使用は、拡大鏡の動作、および/または上記のとおり、切断平面の規定に使用される平面にも適用され得る。しかし、このような場合、触覚フィードバックは、拡大鏡または平面が、関連する解剖学的構造内に入った後にのみ行われるように制限され得る。1211では、プロセッサは、制御入力がまだオン状態かどうかを判断する。制御がオンである場合、プロセッサは、1208に戻り、カーソルの動作を追跡し、その動作に応答する。一方、例えば、ユーザが、制御をオンにすることを指示するために最初に押されたボタンを解放したことによって、制御がオフになった場合、1212で、プロセッサは選択された動作を実行する。例えば、プロセッサが1204でメニューを表示するあるいは、ユーザが項目を示すアイコンをクリックするのに応じて、画像登録項目が、ユーザによって選択された場合、移動された物体は、現在整列されており、その時点でコンピュータ表示画面上に表示されている物体の別の画像と登録されるため、これらは、コンピュータ表示画面と同様、共通参照フレーム内に同じ座標および向きの値を有する。この特徴は、例えば、解剖学的構造の補助画像例えば、LUSプローブ150を使用して得られたと、解剖学的構造の一次画像例えば、内視鏡140を使用して得られたとの手動登録を容易にする。最初の登録後、一次画像内の対応する物体の位置および/または向きの変更は、補助画像内の選択物体に対応する変更が行われ、一次画像に対して相対的な位置/向きを維持するように反転され得る。ユーザが、画像登録機能を終了すると、プロセッサは1202に戻る。本発明の様々な態様について、好ましい実施態様に関して説明してきたが、本発明は、添付の特許請求の範囲の完全な範囲内の完全な保護に対して権利を有することが分かるであろう。"