(57)【要約】  光学的視野をもったカメラと先端効果器および先端効果器を巧みに操作するための一つまたはそれ以上の関節をもったロボットのためのロボットコントロール方法である。本ロボットコントロール方法は、カメラによって光学的に捉えられた画像のデジタルビデオフレームを取り込み、デジタルビデオフレームにおける画像特徴に関して先端効果器の姿勢をコントロールするためのビジュアルサーボを実行する。ビジュアルサーボは、デジタルビデオフレームの画像座標系において、追跡ポイントから画像特徴に関する目標ポイントへ延びる追跡ベクトルを特定し、また、先端効果器に関するロボット座標系から構築された構成空間における追跡ベクトルをマッピングし、そして、構成空間における追跡ベクトルのマッピングからロボット座標系における先端効果器の姿勢を導く。
2013516264.tif 000002
【特許請求の範囲】
【請求項１】
ロボットシステムであって：
画像を示す一連のデジタルビデオフレームを取り込むための光学的視野を有するカメラと；
先端効果器および該先端効果器を巧みに操作するための少なくとも一つのロボット関節を有するロボットと；
前記カメラおよび前記ロボットと通信するロボットコントローラーであり、該ロボットコントローラーは、それぞれのデジタルビデオフレームにおける画像特徴に関して前記先端効果器の姿勢をコントロールするためのビジュアルサーボを含んだロボットコントローラーと；
を有し、
前記ビジュアルサーボは、
それぞれのデジタルビデオフレームのために、追跡ポイントから画像特徴に関する目標ポイントへ延びる、前記デジタルビデオフレームにおける追跡ベクトルを特定するように動作可能であり、
前記先端効果器に関するロボット座標系から構築された構成空間における追跡ベクトルをマップし、
前記構成空間における追跡ベクトルのマッピングから前記ロボット座標系における前記先端効果器の姿勢を得る、
ことを特徴とするロボットシステム
【請求項２】
前記カメラは、前記先端効果器に搭載された内視鏡である、
請求項１に記載のロボットシステム。
【請求項３】
前記ビジュアルサーボは、さらに、前記デジタルビデオフレームにおける、あらゆる前記画像特徴の動きを追跡するように動作可能である、
請求項１に記載のロボットシステム。
【請求項４】
前記ビジュアルサーボは、さらに、前記先端効果器の少なくとも一つの得られた姿勢のための少なくとも一つのロボット関節の動きを命令するように動作可能である、
請求項１に記載のロボットシステム。
【請求項５】
追跡ベクトルを特定することが、前記画像座標系において、追跡方向を含んだ追跡速度と、前記追跡ベクトルの追跡速度を設定することである、
請求項１に記載のロボットシステム。
【請求項６】
前記構成空間において現在マップされた追跡ベクトルの追跡方向は、前記構成空間において以前にマップされた少なくとも二つの追跡ベクトルの間での、指定された回数の連続的な方向の変化に応じて、前記構成空間の少なくとも二つの象元の間で回転している、
請求項５に記載のロボットシステム。
【請求項７】
前記追跡ベクトルの追跡速度は、前記構成空間でマップされたように、連続したサンプルデジタルビデオフレームの前記画像特徴の動きの程度に応じて、速度ファクターによって調整される、
請求項５に記載のロボットシステム。
【請求項８】
前記速度ファクターは、前記追跡ベクトルの追跡待ち時間と前記ロボットシステムのアプリケーションに応じた速度のうち、少なくとも一つについての関数である、
請求項７に記載のロボットシステム。
【請求項９】
前記追跡ベクトルの追跡速度は、前記構成空間でマップされたように、前記追跡ポイントと前記目標ポイントとの間の距離に応じて、長さファクターによって調整される、
請求項５に記載のロボットシステム。
【請求項１０】
前記長さファクターは、比例制御、積分制御、微分制御の、少なくとも一つの関数である、
請求項９に記載のロボットシステム。
【請求項１１】
前記ロボット構成空間は、リモート回転中心に関する軸に対して前記カメラの回転を表わす、
請求項１に記載のロボットシステム。
【請求項１２】
前記ロボット構成空間は、前記カメラがリモート回転中心に関する前記軸に対しての回転するにつれて、プローブと前記画像特徴の特定により確立された、
請求項１１に記載のロボットシステム。
【請求項１３】
光学的視野を有するカメラと、先端効果器および該先端効果器を巧みに操縦するための少なくとも一つの関節を有するロボット、のためのビジュアルサーボであって、
前記ビジュアルサーボは；
デジタルビデオフレームにおける画像特徴のあらゆる動きを追跡するための、特徴追跡モジュール；および
前記デジタルビデオフレームの画像座標系において、追跡ポイントから前記画像特徴に関する目標ポイントへ延びる追跡ベクトルを特定し、
前記先端効果器に関するロボット座標系から構築された構成空間において前記追跡ベクトルをマッピングし、かつ
前記構成空間における前記追跡ベクトルのマッピングから前記ロボット座標系における前記先端効果器の姿勢を得る、
前記特徴追跡モジュールに対応する方向決定モジュール；
を有することを特徴とするビジュアルサーボ。
【請求項１４】
前記ビジュアルサーボは、さらに：
少なくとも一つの前記先端効果器の得られた姿勢のための少なくとも一つのロボット関節の動作を命令する、
前記方向決定モジュールに対応する逆運動学モジュール、
を有する
請求項１３に記載のビジュアルサーボ。
【請求項１５】
前記カメラは、前記先端効果器に搭載された内視鏡である、
請求項１３に記載のビジュアルサーボ。
【請求項１６】
光学的視野を有するカメラと、先端効果器および該先端効果器を巧みに操縦するための少なくとも一つの関節を有するロボットと、を含むロボットコントロール方法であって、
前記ロボットコントロール方法は；
前記カメラによって光学的に視られたように画像を示す連続したデジタルビデオフレームを獲得すること；および
それぞれのデジタルビデオフレームにおける画像特徴に関して先端効果器の姿勢をコントロールするためのビジュアルサーボを実行すること、
を含み、
それぞれのデジタルビデオフレームのための前記ビジュアルサーボは：
前記デジタルビデオフレームの画像座標系において、追跡ポイントから前記画像特徴に関する目標ポイントへ延びる追跡ベクトルを特定すること、
前記先端効果器に関するロボット座標系から構築された構成空間において前記追跡ベクトルをマッピングすること、および
前記構成空間における前記追跡ベクトルのマッピングから前記ロボット座標系における前記先端効果器の姿勢を得ること、
を含む、
ことを特徴とするロボットコントロール方法。
【請求項１７】
前記ロボットコントロール方法は、さらに、
前記デジタルビデオフレームにおける前記画像特徴のあらゆる動きを追跡すること、
を含む、
請求項１６に記載のロボットコントロール方法。
【請求項１８】
前記ロボットコントロール方法は、さらに、
少なくとも一つの前記先端効果器の得られた姿勢のための少なくとも一つのロボット関節の動作を命令すること、
を含む、
請求項１６に記載のロボットコントロール方法。
【請求項１９】
追跡ベクトルを特定することが、前記画像座標系において、追跡方向を含んだ追跡速度と、前記追跡ベクトルの追跡速度を設定すること、
を含む、
請求項１６に記載のロボットコントロール方法。
【請求項２０】
前記ロボット構成空間は、リモート回転中心に関する軸に対する前記カメラの回転を表わす、
請求項１６に記載のロボットコントロール方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、ロボットプロセスにおけるロボットのビジュアルサーボに関する。特には、本発明は、低侵襲手術（ｍｉｎｉｍａｌｌｙ  ｉｎｖａｓｉｖｅ  ｓｕｒｇｅｒｙ）における内視鏡ロボットのビジュアルサーボに関するものである。
【背景技術】
【０００２】
一般的に、低侵襲手術は、画像処理能力を有する、長くて、フレキシブルな、もしくはリジッド（ｒｉｇｉｄ）な内視鏡を利用している。内視鏡を身体の自然開口部または小さな切り口から体内に挿入することにより、内視鏡は、外科医が手術を行う際に、アイピースを通して、もしくはスクリーン上で観察できる、興味部位の映像を提供する。
【０００３】
ビジュアルサーボとは、ビジュアル入力（画像入力）を使用してロボットの動作パラメーターを設定する、ロボットの制御方法である。この方法は、目標追従型ロボットや、自律型ロボットについて、使用されている。外科手術用のロボットにおいて、ビジュアルサーボは、解剖学上の対象（例えば、臓器）または外科的な対象（例えば、器官）に向かってロボットを案内するように、医学的画像のコントロールループにおいて使用されている。この領域におけるビジュアルサーボの標準的な画像のモダリティ（ｍｏｄａｌｉｔｙ）は、リジッドな内視鏡である。内視鏡のカメラ映像は、ロボットコントロールループに接続され、捜査情報を提供している。
【０００４】
ビジュアルサーボのコントロールループを閉じるためには、画像座標（ｖｉｓｕａｌｃｏｏｒｄｉｎａｔｉｏｎ）とロボット関節空間（ｒｏｂｏｔｉｃ  ｊｏｉｎｔ  ｓｐａｃｅ）との間の数学的変換を確立する必要がある（イメージヤコビアン：Ｉｍａｇｅ  Ｊａｃｏｂｉａｎ  として参照される）。プロセス全体は、システム校正（ｓｙｓｔｅｍ  ｃａｌｉｂｒａｔｉｏｎ）として参照され、カメラ校正やロボット校正といった、種々の段階が必要とされる。さらには、完全な校正を提供するには、カメラと臓器や検討中の対象物との間の深さを、画像の側、もしくは特別なセンサーを使用した側、のどちらかから測定する必要がある。
【０００５】
より特定的には、カメラ校正とは、例えば、画像の光学的中心とか、方向およびピクセルサイズの両方における焦点距離といった、固有のカメラパラメーターを確立するプロセスである。通常これは、操作前に行われるもので、校正対象物（通常は、チェス盤のようなもの）のいくつかの画像の獲得と、これらの画像からのパラメーターの算出を含んでいる。もし、いくつかのパラメーターが、手術の最中に変更になれば（例えば、カメラの焦点が変化する）カメラ校正を繰り返す必要がある。
【０００６】
ロボット校正とは、ロボットの関節空間と先端効果器（ｅｎｄ−ｅｆｆｅｃｔｏｒ）、つまり、この領域においては内視鏡、との間の数学的な関係を確立するプロセスである。このプロセスは、簡単なプロセスであり、実際にもうまく確立されている。しかしながら、通常は、校正を実行するためには技術的なエキスパートを必要とする。もし、ユーザーまたは外科医が、ロボットに対して内視鏡を移動したならば、ロボット校正を繰り返す必要がある。
【０００７】
特に内視鏡手術について、医療用ロボットのビジュアルサーボを解決するための異なった手法が提案されてきている、しかしながら、これらの全ての手法は、画像ヤコビアンに依存しており、当業者者にとって知られるように、多くの欠点を経験する
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、画像ヤコビアン、もしくは内視鏡画像からの深さ認識に依存しない、ビジュアルサーボ技術を提供する。より特定的には、本発明に係るビジュアルサーボ技術は、内視鏡の校正、もしくはロボットに対する内視鏡の相対的な位置の獲得、をする必要のない内視鏡を有するロボットを含んでいる。本発明に係るビジュアルサーボ技術は、さらに、ハードウェアのいかなる調整もなく、そして手術ワークフローにプロセスを追加することもなく、一般的な内視鏡と共に使用されるロボットシステムを実現する。
【課題を解決するための手段】
【０００９】
本発明の一つの形態は、カメラ（例えば、内視鏡）と、ロボットと、ロボットコントローラーを有するロボットシステムである。カメラは、イメージを説明するデジタルのビデオフレームを獲得するための光学的視野（例えば、前方または斜め方向）を有している。ロボットは、先端効果器を有しており、先端効果器を巧みに操縦するための一つまたはそれ以上の関節を有している。ロボットコントローラーは、デジタルビデオフレームの中の画像特徴（ｉｍａｇｅ  ｆｅａｔｕｒｅ）に対する先端効果器の姿勢をコントロールするためのビジュアルサーボを含んでいる。こうして、ビジュアルサーボは、追跡ポイント（ｔｒａｃｋｉｎｇ  ｐｏｉｎｔ）から画像特徴に因んだ目標ポイント（ｔａｒｇｅｔ  ｐｏｉｎｔ）へ延びる、デジタルビデオフレームの画像座標系における追跡ベクトル（ｔｒａｃｋｉｎｇ  ｖｅｃｔｏｒ）を定め、先端効果器に因んだロボット座標系から組み立てられた構成空間（ｃｏｎｆｉｇｕｒａｔｉｏｎ  ｓｐａｃｅ）における追跡ベクトルをマップ（ｍａｐ）し、そして構成空間における追跡ベクトルのマップからロボット座標系における先端効果器の姿勢を得る。
【００１０】
本発明の第二の形態は、光学的視野を有するカメラと、先端効果器と先端効果器を巧みに操縦するための一つまたはそれ以上の関節を持ったロボットと、を含んだロボットコントロール方法である。ロボットコントロール方法は、カメラによって光学的に視認されたものとして画像を説明しているデジタルビデオフレームを獲得することを含み、デジタルビデオフレームにける画像特徴に関する先端効果器の姿勢をコントロールするためのビジュアルサーボの実行を含む。ビジュアルサーボは、追跡ポイントから画像特徴に因んだ目標ポイントへ延びる、デジタルビデオフレームの画像座標系における追跡ベクトルを定めること、先端効果器に因んだロボット座標系から組み立てられた構成空間における追跡ベクトルをマップすること、そして構成空間における追跡ベクトルのマップからロボット座標系における先端効果器の姿勢を得ること、を含んでいる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明に従って、ロボットシステムの典型的な実施例を示している。
【図２】図２は、本発明に従って、ロボットコントロールループの典型的な実施例を示している。
【図３】図３は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。
【図４】図４は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。
【図５】図５は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。
【図６】図６は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。
【図７】図７は、本発明に従って、ロボットコントロール方法の典型的な実施例を表すフローチャートを示している。
【図８】図８は、本発明に従って、方向設定方法の典型的な実施例を表すフローチャートを示している。
【図９】図９は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第一の典型的なシーケンスを示している。
【図１０】図１０は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第一の典型的なシーケンスを示している。
【図１１】図１１は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第一の典型的なシーケンスを示している。
【図１２】図１２は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第二の典型的なシーケンスを示している。
【図１３】図１３は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第二の典型的なシーケンスを示している。
【図１４】図１４は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第二の典型的なシーケンスを示している。
【図１５】図１５は、本発明に従って、光学的ビジュアルサーボ方法の第一の典型的な実施例を表すフローチャートを示している。
【図１６】図１６は、本発明に従って、光学的ビジュアルサーボ方法の第二の典型的な実施例を表すフローチャートを示している。
【図１７】図１７は、本発明に従って、速度ファクターの典型的な安定化について示している。
【図１８】図１８は、本発明に従って、スピード調整方法の典型的な実施例を表すフローチャートを示している。
【図１９】図１９は、本発明に従って、方向調整方法の典型的な実施例を表すフローチャートを示している。
【図２０】図２０は、本発明に従って、目標プローブ方法の典型的な実施例を表すフローチャートを示している。
【発明を実施するための形態】
【００１２】
図１に示すように、ロボットシステム２０は、カメラ３０と、ロボット４０と、ロボット４０の自動操縦機能を含むあらゆるロボット工程のためのロボットコントローラー５０を有している。このようなロボット工程の例としては、これらに限定されるわけではないが、医療工程、組立ライン工程、そして可動性ロボットを含んだ工程、がある。特に、ロボットシステム２０は、これらに限定されるわけではないが、低侵襲心臓手術（例えば、冠状動脈バイパス移植または左房室弁交換）、低侵襲腹部手術（腹腔鏡検査）（例えば、前立腺摘出手術または胆嚢切除手術）、および経管腔的内視鏡手術（ｎａｔｕｒａｌ  ｏｒｉｆｉｃｅ  ｔｒａｎｓｌｕｍｅｎａｌ  ｅｎｄｏｓｃｏｐｉｃ  ｓｕｒｇｅｒｙ）を含む医療工程のために利用されている。
【００１３】
カメラ３０は、前方の光学的視野もしくは斜め方向の光学的視野を持ち、規定のフレームレート（例えば、毎秒３０フレーム）で連続した２次元のデジタルビデオフレーム３２を取り込むことができる、あらゆるタイプのフレーム取り込み装置を備えた、あらゆるタイプのカメラであり得る。一つの典型的な実施例において、カメラ３０は、画像装置（例えば、光ファイバー、レンズ、ＣＣＤベースの小型画像システム、など）を介して、体の（例えば、人間でも動物でも）解剖学的部位の画像を取るために構成されたあらゆる装置であるとして、ここにおいて広く定義された内視鏡である。画像装置は、前方の光学的視野もしくは斜め方向の光学的視野を有しており、それぞれのデジタルビデオフレーム３２をロボットコントローラー５０に提供することができるデジタルフレーム取り込み装置を備えている。内視鏡の例としては、これらに限定されるわけではないが、あらゆるタイプの画像スコープ（例えば、気管支鏡、大腸内視鏡、腹腔鏡、関節鏡、など）および画像装置に備え付けのスコープに類似したあらゆる装置（例えば、画像用カニューレ）を含んでいる。
【００１４】
ロボット４０は、特定のロボット工程のために要求されるように、ロボット４０の先端効果器４２を巧みに操縦するための一つまたはそれ以上の関節４１をモーターでコントロールするように構成された、あらゆるロボット装置であるとして、ここでは広く定義される。実際問題として、ロボット４０は、最低限４次の自由度を有し、望ましくは、６次もしくは７次の自由度を有し得る。
【００１５】
先端効果器４２の姿勢は、ロボット４０の座標系における先端効果器４２の位置と方向のことであり、先端効果器４２の姿勢が与えられると、ロボット４０の座標系におけるカメラ４０の光学的視野の姿勢が定まる。このように、カメラ４０は、先端効果器４２に取り付けられ得る（例えば、医療工程において、体の解剖学的部位の画像を提供するためにロボット４０に取り付けられた内視鏡）。
【００１６】
前方の光学的視野をもったカメラ３０を備えたロボット４０の実施例として、ロボット４０は、カメラ３０のあらゆる仮の向きを許容することができる（例えば、カメラ３０の長手方向の軸に関して、カメラ３０を手動で回転させる内部操作）。斜め方向の光学的視野をもったカメラ３０を備えたロボット４０の実施例として、ロボット４０は、カメラ３０の長手方向の軸に関してカメラ３０を回転するための特定の関節を持つことができる。
【００１７】
ロボットコントローラー５０は、先端効果器４２の望ましい姿勢を達成するために必要な、それぞれのロボット関節４１の最終的な動作を命令することにより、特定のロボット工程のために必要とされるように先端効果器４２の姿勢をコントロールするために、一つまたはそれ以上のロボットコントロール命令（Ｒｏｂｏｔ  Ｃｏｎｔｒｏｌ  Ｃｏｍｍａｎｄ：ＲＣＣ）をロボット４０に与えるように構成された、あらゆるコントロールであるとして、ここでは広く定義される。
【００１８】
例えば、内視鏡の先端効果器４２に取り付けられたカメラ３０と共に、ロボットコントロール命令は、必要に応じて一つまたはそれ以上のロボット関節４１を動作させることができる。外科医に一貫した先端部の画像を提供するように、内視鏡によって外科手術用ツールの機器先端部の追跡を促進するために必要であり、心臓病手術における血管といった特定の解剖学的部位に向かって内視鏡を操縦するために必要であり、もしくは臓器の解剖学的視野に係る安定した画像を提供するように、内視鏡と臓器を生理的に同時に移動するために必要である。
【００１９】
デジタルビデオフレーム３２における画像の特徴をロボット追跡（ｒｏｂｏｔｉｃ  ｔｒａｃｋｉｎｇ）するために、ロボットコントローラー５０は、それぞれのデジタルビデオフレーム３２における画像の特徴に関する先端効果器４２の姿勢をコントロールするためのビジュアルサーボ５１を有する。特に、ビジュアルサーボ５１は、デジタルビデオフレーム３２における特定の画像特徴の決定された目標ポイント（例えば、一つまたはそれ以上のピクセル）に係る静的な（ｓｔａｔｉｃ）、もしくは動的な（ｄｙｎａｍｉｃ）ロボット追跡を備えている。ロボット追跡は、デジタルビデオフレーム３２における、追跡ポイント（例えば、一つまたはそれ以上ののピクセル）から目標ポイントまで延びる追跡ベクトルを自動的に特定する適応性のある（ａｄａｐｔｉｖｅ）アルゴリズムを実行することによる。
【００２０】
このようにして、図２に示すように、ビジュアルサーボ５１は、特徴追跡工程５３、方向設定工程５５、および逆運動学工程５７を、ロボットコントロールのクローズドループにおいて、フレーム取り込み装置３１に備えられた画像取り込み工程３３とロボット関節４１のコントロールされた動作４３と共に、有している。実際には、工程５３、５５および５７は、あらゆるプラットフォーム（例えば、一般的なコンピューター、ＡＳＩＣボード、など）に取り込まれた、ハードウェア、ソフトウェア、及び／又はファームウェアにより実現されるビジュアルサーボ５１（図示なし）のモジュールによって実行され得る。
【００２１】
図２において、特徴追跡工程５３は、従来技術として知られているように、デジタルビデオフレームにおける特定のイメージフレームの目標ポイントを特定するために、それぞれにデジタルイメージフレームを個別に処理することが含まれている。例えば、図３から図６は、４つのデジタルイメージフレーム３２について、黒字のＸとしてシンボル化された特定の画像特徴の目標ポイントＴＧを示している。この図３から図６の例においては、特定の特徴とは、外科医に一貫した先端部の画像を提供する内視鏡であるカメラ３０を伴う外科手術用ツールの機器先端部であり得るし、もしくは、特定の特徴とは、血管または臓器といった、特定の解剖学的特徴の限定的な部位であり得る。
【００２２】
再び図２であるが、特徴追跡工程５３は、それぞれのデジタルイメージフレーム３２における目標ポイントの追跡された移動を示す２次元の画像データ（２ＤＩＤ）５４を生成する。次に、方向設定工程５５は、それぞれのデジタルイメージフレーム３２について、追跡ポイントから目標ポイントに延びる追跡ベクトル（例えば、追跡方向と追跡速度）を特定するために２Ｄ（２次元）データ５４を処理する。追跡ベクトルの特定では、追跡ポイントから目標ポイントに延びる固定の追跡方向を設定し、追跡速度を設定する。追跡速度も固定され得るか、代替的には追跡ポイントの追跡を最適化するために調整され得る。あらゆる大きさの、もしくは最小の大きさの追跡ベクトルをもった、それぞれのデジタルビデオフレーム３２について、方向設定工程５５は、デジタルビデオフレーム３２における画像特徴に関してロボット４０の先端効果器４２の望ましい姿勢を示す３次元のロボットデータ（３ＤＲＤ）５６を生成する。逆運動学工程５７は、従来技術として知られているように、デジタルビデオフレーム３２における画像特徴に関して先端効果器４２の望ましい姿勢を達成するように、ロボット関節４１の適切な関節動作４３のために必要な一つまたはそれ以上のロボットコントロールコマンド５２を生成するために、３Ｄ（３次元）データ５６を処理する。
【００２３】
例えば、図３から図６は、白抜きのＸとしてシンボル化された追跡ポイントＴＲから目標ポイントＴＧまで延びる追跡ベクトルの特定について図示している。特に、図３は、追跡ポイントＴＲにおいて初期化された目標ポイントを有するデジタルビデオフレーム３２（１）を示している。図４に示すように、デジタルビデオフレーム３２（２）において目標ポイントＴＧが追跡ポイントＴＲから離れて動くと、方向設定工程５５は、追跡ポイントＴＲから目標ポイントＴＧに向かう矢印によってシンボル化された追跡ベクトルを特定する。追跡ベクトルを特定することにより、方向設定工程５５は、デジタルビデオフレーム３２（３）の目標ポイントＴＧの方向に、デジタルビデオフレーム３２（２）における追跡ポイントＴＲを動かすための追跡方向を設定する。そして、デジタルビデオフレーム３２（２）における画像特徴に関するロボット４０の先端効果器４２の望ましい姿勢を決定するために、追跡方向と追跡ベクトルの追跡速度を利用する。次に、逆運動学工程５７は、デジタルビデオフレーム３２（２）における画像特徴に関する先端効果器４２の望ましい姿勢を達成するように、ロボット関節４１の適切な関節動作４３のために必要なロボットコントロールコマンド５２を生成する。
【００２４】
図５に示すように、デジタルビデオフレーム３２（３）では、追跡ポイントＴＲは目標ポイントＴＧの方向に動いているが、目標ポイントＴＧは、まだ追跡ポイントＴＲから離れている。方向設定工程５５は、再び、追跡ポイントＴＲから目標ポイントＴＧに向かう矢印によってシンボル化された追跡ベクトルを特定する。追跡ベクトルを特定することにより、方向設定工程５５は、デジタルビデオフレーム３２（５）（図示なし）の目標ポイントＴＧの方向に、デジタルビデオフレーム３２（４）における追跡ポイントＴＲを動かすための追跡方向を設定する。そして、デジタルビデオフレーム３２（３）における画像特徴に関するロボット４０の先端効果器４２の望ましい姿勢を決定するために、追跡方向と追跡ベクトルの追跡速度を利用する。再び、逆運動学工程５７は、デジタルビデオフレーム３２（４）における画像特徴に関する先端効果器４２の望ましい姿勢を達成するように、ロボット関節４１の適切な関節動作４３のために必要なロボットコントロールコマンド５２を生成する。
【００２５】
図６に示すように、デジタルビデオフレーム３２（４）では、追跡ポイントＴＲと目標ポイントＴＧは、再び一致している。このように、デジタルビデオフレーム３２（４）の追跡ベクトルはゼロであり、ロボットコントローラー５０は、ロボット関節４１を固定状態に維持する。こうした時間連続的なデジタルビデオフレーム３２がゼロでない追跡ベクトルを示すか、もしくは追跡ベクトルが追跡ポイントと目標ポイントの間の最小値となる、までの時間維持する。
【００２６】
ここでの図１から図６の記載は、ビジュアルサーボ５１の一般的な理解を促進させる。後続の図８から図１６に示すビジュアルサーボ５１の典型的な実施例は、より詳細なビジュアルサーボ５１の理解を促進させる。特に、図１５および図１６のビジュアルサーボ方法については、追跡速度は、必要に応じてそれぞれのビデオフレームにおいて調節されるか、もしくは最適な追跡速度に固定されるまで、あらゆる特定のフレームレートである。
【００２７】
図７は、ビジュアルサーボ５１のためにロボットシステム２０（図１）によって実行されるロボットコントロールの代表的なフローチャート６０を示している。特に、フローチャート６０は、ロボット校正ステージＳ６１と、ビジュアルサーボステージＳ６３のために事前に必要なものとして目標初期化ステージＳ６２を含んでいる。実際問題として、ステージＳ６１の初期導入にあたり、当業者にとっては理解されるであろうように、追跡されるべき新たな画像特徴のために、ステージＳ６２とステージＳ６３だけが実行される必要があろう。
【００２８】
ステージＳ６１は、従来技術として知られているように、ロボット４０の関節空間と先端効果器４２の間の数学的な関係を確立することを含んだロボット４０のロボット校正を包含している。
【００２９】
ステージＳ６２は、従来技術として知られているように、デジタルビデオフレーム３２において特定の画像特徴の目標初期化を包含している。ステージＳ６２の一つの典型的な実施例においては、特定の環境におけるカメラ３０の鉛直方向の動き（挿入）は、システム２０のユーザーにより設定可能なパラメーターであり、それゆえビジュアルサーボ５１による自動的なコントロールを超えたものである。このように、環境の中にカメラ３０を挿入した後において、ビジュアルサーボ５１によるロボット４０の自動的なコントロールは、先端効果器４２のニ次の自由度を持って実行され得る。ニ次の自由度は、ロボット４０のための２次元的な球形キャップ（ｓｐｈｅｒｉｃａｌ  ｃａｐ）を定義するための、シータ角度θとファイ角度φを含んでいる。このことは、環境の中にカメラ３０を挿入する際にロボット４０の仮想リモート回転中心（ｒｅｍｏｔｅ−ｃｅｎｔｅｒ−ｏｆ−ｒｏｔａｔｉｏｎ：ＲＣＭ）を確立することを含み得る。仮想ＲＣＭは、ロボット４０のための球状円錐（ｓｐｈｅｒｉｃａｌ  ｃｏｎｉｃ）な作業空間を定義している特定の回転軸まわりのロボット４０の動きを固定する（例えば、低侵襲外科手術において患者の体の小さな開口部を通して内視鏡を挿入したポイントである）。球状円錐な作業空間は、当業者にとっては理解されるであろうように、シータ角度θとファイ角度φに基づいて、２次元の球形キャップに変換される。
【００３０】
カメラ３０が内視鏡であるロボットコントローラー５０でのＲＣＭの実施例としては、内視鏡に関するＲＣＭポイントは以下により定義される。（１）内視鏡の先端から固定の距離にある内視鏡のシャフトに沿って配置されたマーカーを利用することによるもの、（２）コンピュータープログラムを介したＲＣＭポイントと内視鏡の先端との間の距離のユーザースペックによるもの、（３）内視鏡の先端を望ましい挿入ポイントに位置決めした後でＲＣＭとして挿入ポイントを設定し、望ましい深さまで内視鏡を挿入することによるもの、もしくは（４）ロボット４０に関する空間における既定のポイントを利用し、既定のポイントが望ましい挿入ポイントと一致するようにロボット４０を位置決めすることによるもの、である。
【００３１】
実際問題として、ＲＣＭに基づくロボット４０の動きは、フローチャート６０のステージＳ６３のビジュアルサーボのためにロボットコントローラー５０によって実行される典型的な動作モードであろう。代替的には、ロボットコントローラー５０は、カメラ４０のための球状円錐な作業空間を定義するステージＳ６３のビジュアルサーボのために、カメラ４０を初期的に位置決めし得る。あらゆる動作モード（ＲＣＭでも、そうでなくても）のために、ステージＳ６３は、図２に関連して前述したように、特徴追跡工程５３と逆運動学工程５７を含んだビジュアルサーボを包含し、図８から図１６に示すように、方向付け工程の典型的な実施例を含む。
【００３２】
特に、図８は、本発明の方向設定方法を表わすフローチャート７０を示している。フローチャート７０の理解を促進するために、先端効果器４２は内視鏡の先端効果器９３で表わされる。一つの実施例においては、内視鏡の先端効果器９３は、従来技術として知られたあらゆる手段によってロボット４０に接続された近位端（ｐｒｏｘｉｍａｌ  ｅｎｄ）を有する内視鏡である。
【００３３】
図８において、フローチャート７０のステージＳ７１は、それぞれのデジタルビデオフレーム３２の２次元の画像座標系８０を、３次元であり、２次の自由度を持つロボット４０のロボット座標系９０にマップすること（ｍａｐｐｉｎｇ）を包含している。ステージＳ７１に示すように一つの実施例においては、画像座標系８０は、ｘ軸とｙ軸を有しており、ロボット座標系９０は、ピボットポイント９１（例えば、仮想ＲＣＭ）から、内視鏡の先端効果器９３がピボットポイント９１に関して一回転することで輪郭付けされる２次元平面９２へ延びる破線によってシンボル化された軸を有する球形キャップである。実際問題として、ピボットポイント９１と内視鏡の先端効果器９３の末端との距離は知られており、シータ角度θは、平面９２の表面に沿ったオリジンポイント（ｏｒｉｇｉｎ  ｐｏｉｎｔ）に関しての球面キャップの軸のまわりの、内視鏡の先端効果器９３の末端の回転の程度を明確に数量化し、ファイ角度φは、内視鏡の先端効果器９３の末端の、球面キャップの軸からの分離の程度を明確に数量化する。代替的には、実際問題として、ピボットポイント９１と内視鏡の先端効果器９３の末端との距離は知られており、シータ角度θは、平面９２の表面に沿ったオリジンポイント（ｏｒｉｇｉｎ  ｐｏｉｎｔ）に関しての球面キャップの軸のまわりの、内視鏡の先端効果器９３の末端の回転の程度を暗黙のうちに示しており、ファイ角度φは、内視鏡の先端効果器９３の末端の、球面キャップの軸からの分離の程度を暗黙のうちに示している。
【００３４】
フローチャート７０のステージＳ７２は、ロボット座標系９０によって定義されるようにシータ角度θとファイ角度φのとり得る範囲に関して、ロボット座標系９０の２次元の構成空間１００を構築することを包含している。実際問題として、構成空間の構築は、ロボット座標系９０の平面９２を、構成空間１００としてはたらく２次元平面へ球面投影することを含んでいる。結果として生じる構成空間１００は、二つの設定可能なパラメーターに関する内視鏡の先端効果器９３の先端の構成空間の全てを表わしている。
【００３５】
フローチャート７０のステージＳ７３は、画像座標系８０における追跡ベクトルのマッピングに基づいて、構成空間１００におけるロボットベクトルをマッピングすることを含んだロボット座標系９０に関して内視鏡の先端効果器９３の姿勢を決定することを包含している。特に、複数のデジタルビデオフレームを通して画像座標系８０における画像の動きは、構成空間１００においてマップされる。このマッピングは、以下の事実の観点で未知のスケールを伴う定性的なものである。すなわち、画像座標系８０におけるピクセルでの位置（暗黙的にミリメーター単位）は、構成空間１００により表わされるように、ロボット座標系９０において二つの角度（ラジアン単位）で内視鏡の先端効果器９３の姿勢に変換される。
【００３６】
例えば、図９から図１１に示すように三つのデジタルビデオフレームを通して、追跡ポイント（白抜きのＸ）の周りの円によって表わされる追跡ベクトル（ｖｔｒ）の最小量を特定することは、追跡ベクトル（ｖｔｒ）を構成空間１００におけるロボットベクトル（ｖｒｏｂ）としてマップすることを可能にする。マッピングのスケールが未知であるとしても、画像座標系８０における目標ポイントＴＧの位置は、構成空間１００により表わされるように、ロボット座標系９０において二つの角度（ラジアン単位）で内視鏡の先端効果器９３の姿勢に変換される。このように、画像座標系８０における追跡ベクトル（ｖｔｒｋ）の追跡方向は、ロボット座標系９０におけるロボットベクトル（ｖｒｏｂ）のロボット方向を決定する。次に、逆運動学によって、ロボット座標系９０において内視鏡の先端効果器９３の姿勢を達成するためにロボット関節４１を動かすように処理される。
【００３７】
さらなる例として、図１２から図１４に示すように三つのデジタルビデオフレームを通して、再び、追跡ベクトル（ｖｔｒ）の最小量を特定することは、追跡ベクトル（ｖｔｒ）を構成空間１００におけるロボットベクトル（ｖｒｏｂ）としてマップすることを可能にする。そしてまた、マッピングのスケールが未知であるとしても、画像座標系８０における目標ポイントＴＧの位置は、構成空間１００により表わされるように、ロボット座標系９０において二つの角度（ラジアン単位）で内視鏡の先端効果器９３の姿勢に変換される。このように、画像座標系８０における追跡ベクトル（ｖｔｒｋ）の追跡方向は、ロボット座標系９０におけるロボットベクトル（ｖｒｏｂ）のロボット方向を決定する。次に、逆運動学によって、ロボット座標系９０において内視鏡の先端効果器９３の姿勢を達成するためにロボット関節４１を動かすように処理される。
【００３８】
図９から図１４では、上述のように、画像座標系８０と構成空間１００の間のマッピングスケールは未知である。このように、追跡ベクトル（ｖｔｒｋ）は正規化され（例えば、長さが１に設定される）、ロボットベクトル（ｖｒｏｂ）として構成空間１００に変換される。ロボットベクトル（ｖｒｏｂ）に関するシータ角度θとファイ角度φの値は、与えられたロボットベクトル（ｖｒｏｂ）の方向におけるロボット変位の単位を定義する。実際問題として、ロボット４０は、ロボット変位の単位がシータ角度θとファイ角度φの両方の方向において、ラジアン／秒  で定義されるロボット変位の単位によって、速度制御（ｖｅｌｏｃｉｔｙ−ｃｏｎｔｒｏｌ）され得る。ロボットベクトル（ｖｒｏｂ）は正規化されているため、シータ角度θとファイ角度φの方向における速度は、１ラジアン／秒  以下となるべきである。しかしながら、他のパラメーター（例えば、デジタルビデオフレーム３２での特徴の深さ、デジタルビデオフレーム３２での追跡ポイントの相対スピード、など）によってはロボットベクトル（ｖｒｏｂ）の速度は、追跡ポイントＴＲが目標ポイントＴＧに到達するのに不十分であり得るし、もしくは追跡ポイントＴＲが目標ポイントＴＧをオーバーシュートしてしまうほど早くもあり得る。
【００３９】
画像座標系８０と構成空間１００の間の未知のマッピングスケールを補償するために、図１５のフローチャート１１０と図１６のフローチャート１２０は、追跡ベクトルの追跡速度コンポーネントを最適化するための、ステージＳ７３で実行され得る最適なビジュアルサーボ方法を表わしている。
【００４０】
図１５において、フローチャート１１０のステージＳ１１１は、速度ファクターの初期化と画像座標系での追跡ベクトル（ｖｔｒｋ）の特定を含んでいる。デジタルビデオフレーム３２の二つの連続したサンプルフレームの間で、目標ポイントが追跡ポイントから動いたときはいつでもである。実際問題として、速度ファクターの初期値は、次元の無い経験上のあらゆる値であり得る（例えば、１以上でも１未満でも）。ステージＳ１１１は，さらに、追跡ベクトル（ｖｔｒｋ）と等しい参照ベクトル（ｖｒｅｆ）の初期化も含んでいる。
【００４１】
フローチャート１１０のステージＳ１１２は、構成空間１００における追跡ベクトル（ｖｔｒｋ）のマッピングを含んだ構成空間１００におけるロボットベクトル（ｖｒｏｂ）の特定を含んでいる。ステージＳ１１２は、さらに、速度ファクター（ｓ）とロボットベクトル（ｖｒｏｂ）の産物としての追跡ベクトルの設定を含んでおり、これにより速度ファクター（ｓ）は、ロボットベクトル（ｖｒｏｂ）に関するシータ角度θとファイ角度φのラジアン／秒  の値を調整する。追跡速度（ｓ＊ｖｒｏｂ）はロボット座標空間１００にマップされ、それにより、追跡速度（ｓ＊ｖｒｏｂ）を実行するために必要なロボット移動の指標としての３Ｄロボットデータを生成するために、対応するシータ角度θとファイ角度φを使用する。
【００４２】
ロボット４０は追跡ベクトルに従って移動するので、追跡ポイントと目標ポイントの間のあらゆる変位は、以下の事実の観点においてデジタルビデオフレーム３２の連続したフレームから更新されなければならない。すなわち、（１）目標ポイントは、先端効果器４２の移動に因って、連続したサンプルデジタル画像フレーム３２の画像座標系８０において、移動し得ること、および（２）目標ポイントは、環境の座標系において、移動し得ること、である。フローチャート１１０のステージＳ１１３からステージＳ１１７は、デジタルビデオフレーム３２のサンプルレート（ｓａｍｐｌｉｎｇ  ｒａｔｅ）で、追跡速度を調整するために利用される（例えば、全てのデジタルビデオフレーム３２、もしくはデジタルビデオフレーム３２の指定されたフレームレートにおいて、である）。
【００４３】
特に、ステージＳ１１３は、連続したサンプルデジタル画像フレーム３２における、追跡ポイントと目標ポイントの間の追跡ベクトル（ｖｔｒｋ）の更新を含む。ステージＳ１１４は、連続したサンプルデジタルビデオフレーム３２の中にわずかなノイズが存在してもロボット４０の安定した位置を維持できるように設定された精度閾値（ａｃｃｕｒａｃｙ  ｔｈｒｅｓｈｏｌｄ）よりも、追跡ベクトル（ｖｔｒｋ）が小さいかどうかを決定する。もし、追跡ベクトル（ｖｔｒｋ）が精度閾値よりも小さければ、次の連続したサンプルデジタルビデオフレーム３２において追跡ベクトル（ｖｔｒｋ）を更新するために、フローチャート１１０はステージＳ１１３に戻る。そうでなければ、フローチャート１１０はステージＳ１１５に進み、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）の間の角度が、角度閾値Ｘ°（例えば、９０°）よりも小さいかを決定する。
【００４４】
もし、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）の間の角度が、角度閾値Ｘ°よりも小さければ、次にフローチャート１１０はステージＳ１１６に進み、参照ベクトル（ｖｒｅｆ）を追跡ベクトル（ｖｔｒｋ）と等しくなるように更新して、速度ファクター（ｓ）を一定量増加させる。その後で、ステージＳ１１２に戻り、追加のサンプルデジタルビデオフレーム３２のために、必要に応じてループを繰り返す。もし、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）の間の角度が、角度閾値Ｘ°に等しいか、より大きければ、次にフローチャート１１０はステージＳ１１７に進み、参照ベクトル（ｖｒｅｆ）を追跡ベクトル（ｖｔｒｋ）と等しくなるように更新して、速度ファクター（ｓ）を一定量減少させる。その後で、ステージＳ１１２に戻り、追加のサンプルデジタルビデオフレーム３２のために、必要に応じてループを繰り返す。
【００４５】
実際問題として、もし、システム２０のユーザーがカメラ３０を回転させれば、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）は方向が変わり得る（例えば、シャフトまわりの内視鏡の回転、または内視鏡の近位端にあるＣＣＤカメラの回転）。もし、このような種類の動作がシステムによって許されていないのであれば、ステージＳ１１７は除外することができる。
【００４６】
ステージＳ１１３からＳ１１７の利点は、追跡速度（ｓ＊ｖｒｏｂ）の最適化である。特に、もし、二つのサンプルデジタルビデオフレーム３２の間で追跡ポイントが移動すれば、ステージＳ１１５は、新たに更新された追跡ベクトル（Ｓ１１３）と以前に更新された参照ベクトル（ｖｒｅｆ）の間の角度変位を評価して、以下のような決定をする。すなわち、新たに更新された追跡ベクトル（ｖｔｒｋ）が、以前に更新された参照ベクトル（ｖｒｅｆ）と同一の一般的方向にあるかどうか（例えば、角度（ｖｔｒｋ，ｖｒｅｆ）＜９０°）、または、新たに更新された追跡ベクトル（ｖｔｒｋ）が以前に更新された参照ベクトル（ｖｒｅｆ）と異なる方向を示しているかどうかである（例えば、角度（ｖｔｒｋ，ｖｒｅｆ）≧９０°）。実際問題として、方向の変化は、０°より大きく９０°より小さいあらゆる角度で成される。
【００４７】
同一の一般的方向にいるシナリオにおいては、ロボット４０は、目標ポイントをオーバーシュートすることなく、デジタルビデオフレーム３２における目標ポイントの方向に目標ポイントを移動するために、正しい方向で移動しているとみなされる。このケースでは、ステージＳ１１６で、参照ベクトル（ｖｒｅｆ）が更新され、速度ファクター（ｓ）が増加される。そして、ステージＳ１１２からＳ１１７のもう一つのループにおいて、目標ポイントの追跡は続いている。例えば、図９に示すように、最初の追跡ベクトル（ｖｔｒｋ）は、画像座標系の第一のフレーム８０（１）において特定され、構成作業空間１００（１）でのロボットベクトル（ｖｒｏｂ）をマップするのに利用される。追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が移動するためのロボットベクトル（ｖｒｏｂ）のために設定され、図１０に示すように画像座標系の第二のフレーム８０（２）において、追跡ベクトル（ｖｔｒｋ）が更新される。図１０の追跡ベクトル（ｖｔｒｋ）は、図９に示される追跡ベクトル（ｖｔｒｋ）と同一の一般的方向にある。このように、参照ベクトル（ｖｒｅｆ）は、画像座標系８０（１）において示される追跡ベクトル（ｖｔｒｋ）として更新され、速度ファクター（ｓ）が増加される。後続のステージＳ１１２からステージＳ１１７のループにおいて、画像座標系の第二のフレーム８０（２）においてが更新された追跡ベクトル（ｖｔｒｋ）は、構成作業空間１００（２）でのロボットベクトル（ｖｒｏｂ）をマップするのに利用される。次に、追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が移動するためのロボットベクトル（ｖｒｏｂ）のために更新され、図１１に示すように画像座標系の第三のフレーム８０（３）において、新たな追跡ベクトル（ｖｔｒｋ）が特定される。追跡ベクトル（ｖｔｒｋ）（図１１での図示なし）は、追跡ポイントを囲む円によってシンボル化されたステージＳ１１４での精度閾値より小さい。そして、次の更新された追跡ベクトル（ｖｔｒｋ）が、精度閾値と等しいか、より大きくなるまでは、ロボット４０は、固定された位置に置かれる。
【００４８】
異なる方向にいるシナリオにおいては、ロボット４０は、デジタルビデオフレーム３２における目標ポイントの方向に目標ポイントを移動するために、正しい方向で移動しているとみなされるが、目標ポイントをオーバーシュートするか、もしくは、連続したサンプルデジタルビデオフレーム３２において目標ポイントが変更されている。この両方のケースでは、ステージＳ１１６で、参照ベクトル（ｖｒｅｆ）が更新され、速度ファクター（ｓ）が減少される。そして、ステージＳ１１２からＳ１１７のもう一つのループにおいて、目標ポイントの追跡は続いている。例えば、図１２に示すように、最初の追跡ベクトル（ｖｔｒｋ）は、画像座標系の第四のフレーム８０（４）において特定され、構成作業空間１００（４）でのロボットベクトル（ｖｒｏｂ）をマップするのに利用される。追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が移動するためのロボットベクトル（ｖｒｏｂ）のために設定され、図１３に示すように画像座標系の第五のフレーム８０（５）において、追跡ベクトル（ｖｔｒｋ）が更新される。図１３の追跡ベクトル（ｖｔｒｋ）は、図１２に示される追跡ベクトル（ｖｔｒｋ）と比較して異なった方向にある。このように、参照ベクトル（ｖｒｅｆ）は、画像座標系８０（４）において示される追跡ベクトル（ｖｔｒｋ）として更新され、速度ファクター（ｓ）が減少される。後続のステージＳ１１２からステージＳ１１７のループにおいて、画像座標系の第五のフレーム８０（５）においてが更新された追跡ベクトル（ｖｔｒｋ）は、構成作業空間１００（５）でのロボットベクトル（ｖｒｏｂ）をマップするのに利用される。次に、追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が移動するためのロボットベクトル（ｖｒｏｂ）のために更新され、図１４に示すように画像座標系の第六のフレーム８０（６）において、新たな追跡ベクトル（ｖｔｒｋ）が特定される。追跡ベクトル（ｖｔｒｋ）（図１４での図示なし）は、追跡ポイントを囲む円によってシンボル化されたステージＳ１１４での精度閾値より小さい。そして、次の更新された追跡ベクトル（ｖｔｒｋ）が、精度閾値と等しいか、より大きくなるまでは、ロボット４０は、固定された位置に置かれる。
【００４９】
図１６のフローチャート１２０は、画像座標系８０における追跡ベクトルの長さファクター（ｌ）を使用した比例制御（ｐｒｏｐｏｒｔｉｏｎａｌ  ｃｏｎｔｒｏｌ）を実行することを除いて、フローチャート１１０（図１４）と同義である。長さファクター（ｌ）は、追跡ポイントが目標ポイントからどれだけ離れているかを示しており、ピクセルで表現され得る。このように、長さファクター（ｌ）は、フローチャート１２０のステージＳ１２１に従って初期化され、ロボットベクトルの追跡速度（ｖｒｏｂ）は、フローチャート１２０のステージＳ１２２において（ｓ＊ｌ＊ｖｒｏｂ）として表わされ得る。このケースでは、速度ファクター（ｓ）の次元は、ｍｍ／（ｓ＊ｐｉｘｅｌ）である。一つの実施例においては、ステージＳ１２６とステージＳ１２７での長さファクター（ｌ）の比例制御は、長さファクター（ｌ）の微分および積分要素を使って拡張され得る。従来技術として知られるＰＩＤ（ｐｒｏｐｏｒｔｉｏｎａｌ−ｉｎｔｅｇｒａｌ−ｄｅｒｉｖａｔｉｖｅ）制御に類似のものである。
【００５０】
図９から図１４は、速度ファクター（ｓ）の最適化について、二つの簡単な例を示している。実際問題として、ステージＳ１１２からＳ１１７（図１５）とステージＳ１２２からＳ１２７（図１６）の有利な点は、ビジュアルサーボ５１がリアルタイムで最適な速度ファイター（ｓ）を学習していることである。もし、目標ポイントが一定の速度で移動しているとすれば、速度ファクター（ｓ）の初期のばらつきは、図１７に示すように、時間ｔｓが複数のフレームをカバーした後の速度ファクター（ｓ）の安定化と共に安定していく。そうでなければ、もし、目標ポイントが様々な速度で移動しているとすれば、速度ファクター（ｓ）の初期のばらつきは、いくらかのノイズを持った複数のデジタルビデオフレーム３２の後で安定する。
【００５１】
実際問題として、図１５と図１６において示される速度ファクター（ｓ）の増加量および減少量は、一定であり得る。代替的には、図１８は、本発明の速度調整方法を表わすフローチャート１４０を示している。特に、フローチャート１４０のステージＳ１４１は、追跡ポイントの追跡待ち時間（ｔｒａｃｋｉｎｇ  ｌａｔｅｎｃｙ）の観点もしくはシステム２０のアプリケーションの観点で、追跡速度のスピード（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）を評価することを包含する。追跡待ち時間の実施例においては、ロボット４０のコントロールは、いかなる与えられた時間においても、できる限り最大のロボット４０の速度で、追跡ポイントを追跡するように試みている。こうして、フローチャート１４０のステージＳ１４２で、速度ファクター（ｓ）を調整する目的のために、速度ファクター（ｓ）の安定化と追跡待ち時間が評価される。いかなる与えられた時間においても、できる限り最大のロボット４０の速度で、追跡ポイントを追跡するような試みにおいてである。例えば、速度ファクター（ｓ）の増加の値と減少の値は、ステージＳ１４２において減少される。低い追跡待ち時間の安定した速度ファクター（ｓ）のために、もしくは不安定な速度ファクター（ｓ）（例えば、目標ポイントが追跡ポイントをオーバーシュートする）のためである。反対に、速度ファクター（ｓ）の増加値および減少値は、高い追跡待ち時間を持つ安定した速度ファクター（ｓ）のために、フローチャート１４０のステージＳ１４２で増加される。実際問題として、固有のロボット速度の他に、追跡待ち時間に影響するパラメーターとしては、これらに限定されるわけではないが、追跡ポイントと目標ポイントの間の距離、カメラ３０の挿入深さ、カメラ３０の先端部とＲＣＭ挿入ポイントとの間の距離、がある。にもかかわらず、速度ファクター（ｓ）の調整は、あらゆるパラメーターの変更にもよらず、追跡速度のスピード（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）の最適化を維持している。
【００５２】
アプリケーションの実施例においては、ロボット４０のコントロールは、デジタルビデオフレーム３２において、ロボット４０の最大限の速度で、追跡ポイントを追跡しようと試みているのではなく、アプリケーションのための好適な速度においてである。こうして、追跡速度（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）のスピード範囲は、デジタルビデオフレーム３２からビジュアルサーボ５１により決定された追跡ポイント、もしくはシステム２０の作業者によりビジュアルサーボ５１に提供された追跡ポイントの予見された動作の観点から評価される。速度ファクター（ｓ）は、ステージＳ１４２に従って設定される。例えば、外科手術用ツールの静的な追跡は、小さな震えを無視できるだろうし、それゆえ速度ファクター（ｓ）は小さな震えを無視するように設定されるだろう。またも例として、鼓動している心臓の動的な追跡は、心臓の動作における早い変化を含み、それゆえ速度ファクター（ｓ）は心臓の動作の速い変化についていくように設定されるだろう。
【００５３】
またも実際問題として、追跡されている特定の特徴はロボット４０に関して回転することもあり（例えば、上下動作と左右動作は二つの座標系において同一ではない、特に斜めの光学的視野のカメラがそうである）、ロボット４０のコントロールは、目標ポイントにたどり着くことなく目標ポイントのまわりで発振することもある。図１９は、目標ポイントまわりのロボット４０の潜在的な発振を修正するための、本発明に係る方向評価を表わすフローチャート１５０を示している。フローチャート１５０のステージＳ１５１は、二つの与えられたデジタルビデオフレーム３２の間での連続した方向変化の回数を数えることを含んだ、追跡速度（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）の追跡方向の評価を包含する。カウンターが、連続した方向変化の指定した回数に到達すると（望ましくは２回または３回の連続した方向変化）、フローチャート１５０はステージＳ１５２に進み、ロボット４０の移動の前に、画像座標系８０においてマップされた追跡ベクトル（ｖｔｒｋ）に関して、構成作業空間１００においてマップされたロボットベクトル（ｖｒｏｂ）を回転する。収束に達する最も早い手法は、９０°、１８０°、２７０°回転のために、構成作業空間を四つの象元に分けることである。フローチャート１５０はステージＳ１１２で実行されるが、正しい象元を検知することで、追跡方向がさらに評価されるにつれて、さらなる象元の分割が必要とされるであろう。
【００５４】
またも実際問題として、ロボット４０は、斜めの光学的視野のカメラのために、一旦挿入ポイント（例えば、ＲＣＭポイント）が定義されれば、デジタルビデオフレーム３２において特定の特徴を自動的に発見して追跡するように、コントロールされ得る。図２０は、画像３２における特定の特徴を自動的に発見し追跡するための目標プローブ方法（ｔａｒｇｅｔ  ｐｒｏｂｅ  ｍｅｔｈｏｄ）を表わすフローチャート１６０を示している。フローチャート１６０のステージＳ１６１は、挿入ポイントに関する軸まわりのカメラ３０の回転を含んだカメラスイープ（ｃａｍｅｒａ  ｓｗｅｅｐ）を包含している。一旦カメラ３０が目標の特徴を発見すれば、上述のように、方向設定の目的のためのロボット座標系９０として、フローチャート１６０のステージＳ１６２において、ロボットコントローラー５０はスイープの構成を固定する。
【００５５】
本発明は、典型的な見地、特徴および実行に関し述べられてきたが、開示されたシステムおよび方法は、そうした典型的な見地、特徴、及び／又は実行に限定されるものではない。むしろ、ここにおいて提供された記述から、当業者にとっては直ちに明らかなように、開示されたシステムと方法は、本発明の精神もしくは範囲から離れることのない範囲で、変更、代替、拡張することができる。従って、本発明は、明確に、そのような変更、代替、そして拡張を包含している。
【図１】
2013516264.tif 000003
【図２】
2013516264.tif 000004
【図３】
2013516264.tif 000005
【図４】
2013516264.tif 000006
【図５】
2013516264.tif 000007
【図６】
2013516264.tif 000008
【図７】
2013516264.tif 000009
【図８】
2013516264.tif 000010
【図９】
2013516264.tif 000011
【図１０】
2013516264.tif 000012
【図１１】
2013516264.tif 000013
【図１２】
2013516264.tif 000014
【図１３】
2013516264.tif 000015
【図１４】
2013516264.tif 000016
【図１５】
2013516264.tif 000017
【図１６】
2013516264.tif 000018
【図１７】
2013516264.tif 000019
【図１８】
2013516264.tif 000020
【図１９】
2013516264.tif 000021
【図２０】
2013516264.tif 000022
【国際調査報告】
2013516264.tif 000023
2013516264.tif 000024