"マルチステップタスクを実行するための半自動、相互作用ロボットシステムであって、ユーザインタフェースシステムと、前記ユーザインタフェースシステムと通信を行うように構成された認識システムと、前記認識システムと通信を行うように構成された制御システムと、前記制御システムと通信を行うように構成されたセンサアクチュエータシステムとを備え、前記認識システムが、ユーザが前記ユーザインタフェースシステムを操作する間、前記ユーザが取った行動を認識し、さらに、前記認識された行動およびマルチステップタスクのタスクモデルに基づいて、前記センサアクチュエータシステムに、前記マルチステップタスクの中の自動ステップ、半自動ステップまたはダイレクトステップの1つを実行させるように、選択的に前記制御システムに指示を行うように構成されている、半自動、相互作用ロボットシステム。前記センサアクチュエータシステムは、複数の多関節アームを備える、請求項1に記載の半自動、相互作用ロボットシステム。前記複数の多関節アームの少なくとも1つは、把持装置またはツール取付組立体の一方を備える、請求項2に記載の半自動、相互作用ロボットシステム。前記タスクモデルは、隠れマルコフモデルである、請求項1に記載の半自動、相互作用ロボットシステム。前記タスクモデルは、機械学習モデルである、請求項1に記載の半自動、相互作用ロボットシステム。前記ユーザインタフェースシステムは、ユーザ観察システムを備えており、前記ユーザ観察システムは、前記ユーザの少なくとも一部の動作を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項1に記載の半自動、相互作用ロボットシステム。前記観察システムは、カメラを備える、請求項1に記載の半自動、相互作用ロボットシステム。前記センサアクチュエータシステムは、センサシステムを備えており、前記センサシステムは、操作される対象の少なくとも一部の特性を検出および決定し、前記認識システムと通信を行って前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成および配列されている、請求項1に記載の半自動、相互作用ロボットシステム。前記ユーザインタフェースシステムは、入力装置を備えており、前記入力装置は、前記ユーザが、手動でまたは口頭での少なくとも一方により前記認識システムに送信されるコマンドを入力することを許容して、前記制御システムに提供される命令を開始または変更の少なくとも一方を行うように構成されている、請求項1に記載の半自動、相互作用ロボットシステム。前記ユーザインタフェースシステムは、実行予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項1に記載の半自動、相互作用ロボットシステム。マルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムであって、ユーザインタフェースシステムと、前記ユーザインタフェースシステムと通信を行うように構成された認識システムと、前記認識システムと通信を行うように構成された制御システムと、前記制御システムと通信を行うように構成されたシミュレーションセンサアクチュエータシステムとを備え、前記認識システムが、ユーザが前記ユーザインタフェースシステムを操作する間、前記ユーザが取った行動を認識し、さらに、前記認識された行動およびマルチステップタスクのタスクモデルに基づいて、前記シミュレーションセンサアクチュエータシステムに、前記マルチステップタスクの中の自動ステップ、半自動ステップまたはダイレクトステップの1つの実行をシミュレーションさせるように、選択的に前記制御システムに指示を行うように構成されている、半自動、相互作用ロボットシミュレーションシステム。前記シミュレーションセンサアクチュエータシステムは、複数の多関節アームをシミュレーションする、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。前記タスクモデルは、隠れマルコフモデルである、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。前記タスクモデルは、機械学習モデルである、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。前記ユーザインタフェースシステムは、シミュレーション予定のステップに関する情報を前記ユーザに表示するように構成された表示装置を備える、請求項11に記載の半自動、相互作用ロボットシミュレーションシステム。しかし、これらのアプローチでは、ヒューマンマシンの相互作用によってオペレーションを行うことはできない。したがって、改善されたヒューマンマシン連携ロボットシステムの必要性が残っている。概要本発明のいくつかの実施の形態に係るマルチステップタスクを実行するための半自動、相互作用ロボットシステムは、ユーザインタフェースシステムと、ユーザインタフェースシステムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたセンサアクチュエータシステムとを備える。認識システムは、ユーザがユーザインタフェースシステムを操作する間ユーザがとる行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、センサアクチュエータシステムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの1つを実行させる。本発明のいくつかの実施の形態に係るマルチステップタスクをシミュレーションするための半自動、相互作用ロボットシミュレーションシステムは、ユーザインタフェースシステムと、ユーザインタフェースシステムと通信を行うように構成された認識システムと、認識システムと通信を行うように構成された制御システムと、制御システムと通信を行うように構成されたシミュレーションセンサアクチュエータシステムとを備える。認識システムは、ユーザがユーザインタフェースシステムを操作する間ユーザのとった行動を認識し、その認識された行動およびマルチステップタスクのタスクモデルに基づいて、制御システムに選択的に命令を出して、シミュレーションセンサアクチュエータシステムに、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの1つをシミュレーションさせる。以下に、本発明のいくつかの実施の形態を詳細に説明する。実施の形態の説明において、明瞭化のために特定の用語を用いている。しかし、本発明は、そのように選択した特定の用語に限定されるものではない。当業者であれば、本発明の広範な概念から逸脱することなく他の同等の構成要素を用いたり他の方法を開発したりすることは認識するであろう。背景技術および発明の詳細な説明の欄を含む本願の明細書において言及したすべての参考文献は、それぞれの参考文献が個別に組み込まれたかのように参照により組み込まれる。本発明のいくつかの実施の形態によると、遠隔操作のロボット支援は、いくつかの一般的に発生するタスクを自律的に実施する可能性を提供する。本発明のいくつかの実施の形態は、タスクからステップとも称されるサブタスクへの自然な分割を用いる新規な外科用ヒューマンマシン連携HMCシステムを提供することができる。そのシステムでは、手術タスクの一部が外科医の完全な管理下で自律的に実行される一方、手術タスクの他の部分が手動で実行される。本発明の実施の形態に係るロボットシステムは、手動のサブタスクステップの完了を自動的に識別し、途切れなく次の自動化されたタスクまたはステップを実行し、次に、制御を外科医に戻す。本発明の実施の形態は実証に基づく学習に基づく。本実施の形態は、実行した動作の学習のための経時的曲線平均化およびタスクの完了の認識のために隠れマルコフモデルを使用する。例えば、本発明の実施の形態にしたがってダビンチ遠隔手術用ロボットは改造されている。ヒューマンマシン連携が直感的に理解できるような2つの例示的タスクにおいて、自動化された制御が、マスターマニピュレータの作業空間の利用を改善することを示す。このようなシステムは、ロボットの従来の使用方法を制限するものではないが、全制御を外科医に委ねている間機能を高めているので、外科的機能の向上に関して安全かつ受け入れ可能な解決策を提供する。以下詳述する本発明のいくつかの実施の態様および例示は、手術用ロボットに関するが、本発明の全体的な概念は、手術用ロボットのみに限定されるものではない。本発明の他の実施の形態には、製造および/または組み立てロボットや、危険なまたは離れた環境において使用するための遠隔操作ロボットのような他の種類のロボットが含まれる。ただし、これに限定されるものではない。本明細書で使用している用語のタスクは、概略、ロボットシステムによって実行されるマルチステップのどの工程も含む。例えば、手術ロボットの場合には、タスクは、手術手順の少なく一部となり得る。用語のステップは、アクチュエータ組立体の少なくとも一部の少なくとも1つの移動および/または回転を含む。図1は、本発明の実施の形態に係るマルチステップのタスクを実行するための半自動、相互作用ロボットシステム100の概略図である。半自動、相互作用ロボットシステム100は、ユーザインタフェースシステム102と、ユーザインタフェースシステム102と通信を行うように構成された認識システム104と、認識システム104と通信を行うように構成された制御システム106と、制御システム106と通信を行うように構成されたセンサアクチュエータシステム108とを含む。認識システム104は、ユーザがユーザインタフェースシステム102を操作する間にユーザのとる行動を認識し、その認識された行動およびそのマルチステップタスクのタスクモデル110に基づいて、制御システム106に選択的に命令を出して、センサアクチュエータシステム108に、マルチステップタスクの自動ステップ、半自動ステップまたはダイレクトステップの1つを実行させる。ユーザインタフェースシステム102は、1人、2人またはそれより多くのオペレータによって操作されるような制御を含むことができる。その制御は、手動操作の制御とすることができるが、それに代えて、または追加的に、これに限定されないが、フットペダルのようなユーザの体の手以外の部分によって操作されることが可能な制御を含めることができる。例えば、従来の手術用ロボットはクラッチペダルを備えており、これにより、ユーザが、1または2以上のセンサアクチュエータ構成部分をロボットによる制御から切り離すことができる。これは、例えば、大まかな補正および/または緊急解除を行うために有用である。ユーザインタフェースシステム102が、観察および/または表示装置も備えると、1または2以上のユーザが、例えば、手術中の患者や組立中の製品を観察することができる。いくつかの実施の態様では、表示装置は、これに限定されないが、医用画像のような画像を表示することができる。例えば、外科的用途の場合には、画像には、これに限定されないが、実時間可視光像、実時間超音波、実時間OCT画像および/または他のモダリティを含めることができ、または、MRI、CT、PET等のような術前画像を含めることができる。さまざまな画像モダリティは、例えば、選択可能、プログラム可能、重ね合わせ可能で、さらに/または、グラフの形式および/または数値の形式または記号の形式で重ね合わされた他の情報を含むことができる。認識システム104は、例えば、コンピュータまたは他の任意な適切なデータ処理および記憶デバイスに実装することができる。いくつかの実施の形態では、認識システム104は、認識および他の処理を実行するコンピュータに記憶されたコンピュータ実行可能命令から構成することができる。しかし、他の実施の形態においては、認識システムは、コンピュータに記憶されたソフトウエア命令というより、ハードワイヤードのデバイスとして構成することができる。そのコンピュータは、例えば、ワークステーション、デスクトップまたはラップトップコンピュータのようなローカルコンピュータでもよく、または、例えば、ネットワークを通じて接続された遠方に配置されたおよび/または分散型コンピュータシステムであってもよい。そのコンピュータは、1または2以上のデータ記憶装置およびメモリデバイスも含めることができる。タスクモデル110は、例えば、コンピュータのデータ記憶装置に記憶されるようにしてもよい。認識システムは、いくつかの実施の形態で、ユーザの特定の動作を認識するために、ロボット運動学を利用することができる。タスクモデルに基づくと、そのような動作は、多機能タスクを実行する際の1つのステップによって識別することができる。これに代えて、または、これに加えて、ユーザインタフェースシステム102および/またはセンサアクチュエータシステム108は、観察装置を備え、これにより、一人のユーザもしくは複数のユーザ、および/またはセンサアクチュエータシステムの構成部分、および/または患者もしくは操作されている対象物の動きをより直接的に観察することができるようにしてもよい。観察システムは、例えば、これに限定されないが、移動する対象物を観察および区分化することができるように、1または2以上のカメラを備えることができる。認識システム104は、制御システムの制御下において、自動ステップ、半自動ステップまたはダイレクトステップをセンサアクチュエータシステムによって実行すべきか否かを決定するという意味で、スイッチングシステムに似た動作をすることができる。ダイレクトステップは、従来の遠隔操作ロボットシステムにおいて実行されるステップに似てまたは変わりなく実行されるステップとすることができる。自動ステップは、ロボットの制御下で完全に遂行されるステップとすることができる。例えば、ユーザが、センサアクチュエータシステムの少なくとも一部を、さらなるステップが実行される位置まで移動してもよい。この最初の動きは、ダイレクトステップの可能性のある1つの例示である。認識システムが、次に、このステップがユーザによって行われたことを認識し、タスクモデルに基づいて、自動ステップの実行を命令してもよい。例えば、認識システムは、ダイレクトステップにおいて動かされたセンサアクチュエータシステムの一部を、これらに限定されるものではないが、外科的処置のための手術ツールもしくは縫合糸、または組立作業のための組立ツールもしくは組立部品のような対象物を持ち上げかつ保持して戻る位置まで移動するように命令することができる。これは、単に1つの具体的な例示であり、本発明の範囲を限定することを意図するものではない。当業者は、可能性のある例が極めて多数存在することを認識するであろう。他の例では、認識システム104は、ユーザが、センサアクチュエータシステムの一部をマルチステップのタスクを実行するための位置に移動したことを認識することができ、次に、認識システムは、タスクモデルに基づいて、センサアクチュエータシステムの他の部分がユーザを支援するように他のステップを実行することを命令する。これに限定されないが、一例としては、ユーザが1つのロボットアームを操作している間、認識システムが、他のロボットアームの操作を命令してユーザを支援する。自動ステップでは、例えば、ユーザのために対象物を保持し続けることができる。外科的処置では、自動ステップにより、例えば、ライト、カメラ、内視鏡を保持し続けたり、縫合糸を切断するために保持し続けたりすることができる。組立作業では、自動ステップでは、例えば、ユーザが部品を取り付けることができるように、組立中の製品を保持しおよび/またはマニピュレータで操作することができる。これらの例は、本発明のいくつかの概念の説明を補助するために示すもので、発明の範囲を限定することを意図するものではない。当業者にとって、非常に多数の例が、本発明の広範な概念内で可能性がということは明らかであろう。いくつかの実施の態様において、ユーザ入力システムは入力デバイスを備えることができ、入力デバイスは、ユーザが、手動または口頭の少なくとも一方によりコマンドを入力して認識システムと通信を行い、これにより、命令の起動または修正を行って制御システムに送信できるように構成される。当該命令には、これには、限定されないが、手信号を含めることができ、手信号は、センサアクチュエータシステムのマニピュレーション制御が、継続されている間、またはその制御から分離されている間ユーザから提供される。図2および図3は、本発明の実施の形態に係る半自動、相互作用ロボットシステム200を示す。この実施の形態では、半自動、相互作用ロボットシステム200は、改良型DAVINCIロボットシステムのような手術ロボットシステムである。この実施の形態では、ユーザインタフェースシステム202は、外科医用コンソールである。ワークステーション204および/またはデータ処理および記憶システム206は、認識システムおよびタスクモデルを含むように構成されている。センサアクチュエータシステム208は、複数の多関節アーム210を含む手術ロボットセンサアクチュエータシステムである。制御システムは、ワークステーション204、データ処理および記憶システム206および/またはセンサアクチュエータシステム208に備えることができる。ユーザインタフェースシステム202は、右手用制御装置212および左手用制御装置214と右目用表示装置216および左目用制御装置218とを備える。複数の多関節アーム210の少なくとも1つのアームは、把持装置またはツール取付組立体220の少なくとも一方を含めることができる。本発明のいくつかの実施の形態においては、タスクモデルは、例えば、隠れマルコフモデルにすることができる。しかし、本発明の広範な概念は、隠れマルコフモデルのみに限定されるものではない。例えば、マルコフ特性が正確な近似値であることを必要としない他のモデルであっても本発明の他の実施の形態において使用することができる。本発明のいくつかの実施の形態では、タスクモデルは機械学習モデルである。本発明の他の実施の形態においては、センサアクチュエータシステム108および/または208は、現実の物理系システムというより、シミュレーションすることができるものである。このことは、半自動、相互作用ロボットシステム100および/または200によって実行されるタスクのシミュレーションに有益な場合がある。シミュレーションは、例えば、ユーザの訓練に役に立つ。しかし、シミュレーションは、これらに限定されるものではないが、実行予定のタスクの計画および/またはさまざまな可能性のあるタスクの実験または試験の実施のような他の目的に有用である。以下の特定の実施の形態は、本発明のいくつかの概念を詳細に説明するために提示するものである。しかし、本発明の広範な概念は、それらの特定の実施の形態に限定されるものではない。例INTUITIVESURGICAL社のDAVINCI手術システムのような遠隔手術ロボットの利用の増加に伴い、手術を指導、評価および実施するための新たな方法が提供されている。一方では、大量の客観的な実演データはロボットから収集することができるHCLinIShafranDYuhおよびGDHagerTowardsautomaticskillevaluationDetectionandsegmentationofrobotassistedsurgicalmotionsComputerAidedSurgeryvol11no5pp2202302006。他方では、その技術により、近い将来、特定の手術タスクが自動化される可能性があるJvandenBergSMillerDDuckworthHHuAWanXYFuKGoldbergおよびPAbbeelSuperhumanperformanceofsurgicaltasksbyrobotsusingiterativelearningfromhumanguideddemonstrationsinICRA2010pp20742081。しかし、オペレータ、手術対象物に適応でき、また、手術中に途切れのない支援を提供することができる高効率のヒューマンマシン連携システムを設計するために、収集した実演データをどのように用いるのかは明確ではなかった。この実施の形態では、手術の実演から、本発明の実施の形態に係る遠隔操作タスクの間連携して外科医を支援する方法を学習するヒューマンマシン連携HMCシステムを示す。これは、純自動化に焦点を合わせる以前の研究を補完するものであるHGMayerFJGomezDWierstraINagyAKnollおよびJSchmidhuberAsystemforroboticheartsurgerythatlearnstotieknotsusingrecurrentneuralnetworksinIROS2006pp543548FNageottePZanneCDoignonandMdeMathelinStitchingplanninginlaparoscopicsurgeryTowardsrobotassistedsuturingRoboticResvol28no10pp130313212009Berg10。ここでは、タスクは、手動のサブタスクおよび潜在的に自動化可能なサブタスクに分解されている。このシステムでは、次に、実時間で、手動のサブタスクの終了が認識されることによってオペレータが支援され、残りのサブタスクが自動化される。システムでは、また、状況的拡張現実AR情報がオペレータの視界に提供されてオペレータによる認識作業の負荷が減少される。自動化予定のサブタスクは、オペレータの作業空間の最適な利用を可能にするために選択されている。これらのサブタスクは、対象物と相互作用しない移送タスクを含む。遠隔操作の間、手動実行と自動実行との間での移行は、自動的であり途切れない。さらに、オペレータは、必要な場合に、軌道を修正するために、自動実行の途中で介入することができる。ここでは、研究目的のためのみに使用したDAVINCI手術ロボットGGuthartおよびJKSJrTheintuitiveTMtelesurgerysystemOverviewandapplicationinICRA2000pp618621を使用して本アプローチを実証している。そのロボットは2つのマスターコンソールマニピュレータから構成されており、2つのマスターコンソールマニピュレータは、立体的内視鏡的な視覚化の状況下で3つの患者側マニピュレータを遠隔操作する図4参照。最初に、オペレータが、数回タスクを実行し、自動化すべきサブタスクに対応するデータのセグメントに注釈付けをしている間、ロボットからの運動学的データを記録する。次に、隠れマルコフモデルHMMに基づいてアプローチを使用して、実時間で、最新の手動のサブタスクが完了したことを判断する。一旦、自動実行に移行すると、自動化サブタスクに対応する器具の動作がロボットに提供される。この動作は、動的時間伸縮法DTWに基づく経時的曲線平均化アプローチを使用することによって実演データから学習される。最後に、監視目的のため、オペレータの立体的視界内に、計画された軌道を重ね合わせて表示する。2つの操作タスクを使用して、本アプローチ、つまり、訓練ポッドの基本位置に3つのピンを移動し、縫合ポッド上で縫合を実施することを実演する。実験では、ヒューマンマシン連携フレームワークのようなものは直感的に理解できるものであり、また、マスターマニピュレータの大きな動きを減少させ、さらに、これにより、手の位置を再調整するためのクラッチ操作を減少させることによってオペレータの作業空間の利用を高度に改善することができた。タスクモデルこの実施の形態の目的のために、あるタスクが、連続する時間的な順序で実行する必要のある順序付けられたサブタスクつまりステップの集合から構成されているとする。説明を容易にするために、タスクは、手動サブタスクと自動化されたサブタスクとの間で交互に入れ替わり、手動サブタスクから開始されるものと仮定する。これは、手動または自動化の各タイプの連続するサブタスクを単一の分割不可能なサブタスクのように集合させることによって達成することができる。タスクTを、連続するサブタスクT1,...,TNから構成する。ここで、N2nである。T2,T4,...,TNは、自動化されたサブタスクであると仮定する。この例では、そのようなサブタスクは、対象物との相互作用や微細な操作を伴わないが、それに代えて、より大きな動作が必要となる。図5は、タスクモデルを簡潔に示しており、タスクモデルはオートマトンとしてみることができ、そのオートマトンでは、移行が、手動のサブタスクの完了の認識、または、自動サブタスクの終了のいずれかに起因して開始される。例示タスク本アプローチを実演するために用いた2つのタスクを図6および図7に示す。第1のタスクは、ピンタスクと称され、単一の器具を必要とし、3つのピンを3主要位置に移動することにある図6a。このタスクは、システムにより学習された6つの大きな搬送動作と、オペレータの実行による把持およびピン留めを含む6つの微細な動作とからなる。サブタスクの概要を表1に示す。器具によって実行される動作を図6bに示しており、そこでは、搬送および微細な動作は異なる色で表されている。表1:ピンタスクの説明スター印は、自動化されているサブタスクを示す。第2のタスクは、縫合タスクと称され、2つの器具左および右によって表すを必要とし、3つの針の挿入による縫合の実行図7aからなる。このタスクは、3つの連続する位置で反復される5つの一般的な動作からなる。3つの微細な動作、つまり、右の器具による針の把持、左の器具による針の挿入および左の器具による針の把持が、外科医によって実行される。2つの搬送動作、つまり、左の器具による糸の引き出しと次の縫合点の位置での針の右の器具へ手渡しとが学習されて自動化される。手動/自動化サブタスクに連結されたすべてのサブタスクを表2に示す。2つの器具によって実行された動作を図7bに示しており、そこでは、搬送および微細な動作は異なる色で表されている。表2:縫合タスクの説明は、自動化されているサブタスクを示す。RTは右ツールおよびLTは右ツールを表す。ロボット環境セットアップでは、タスクを達成するために使用するポッドは、各7度の自由度DOFを持つ2つの患者側マニピュレータPSMによって操作することができる。各PSMは、手術器具を制御する。本ケースでは、PSMは、タスクの間同一の器具、つまり、2つの大きな針ドライバを有している。7度の自由度は、器具把持装置の開口に対応する。ダビンチロボットGuthart00を用いることにより、より多くの一般的な遠隔操作の構成が可能であるが、簡略化のために、左右それぞれのマスターマニピュレータが、左右それぞれのPSMを制御するものと仮定する。遠隔操作の間、器具およびポッドは、立体内視鏡カメラによって監視されており、器具およびポッドは、特定の6DOFマニピュレータを用いて移動することができる。4つの主座標系またはフレームはこのセットアップでは重要性を持つ図8参照。タスク座標系Ctaskは、タスクに特有のもので、ロボット初期運動学とは無関係である。カメラ座標系Ccamは、立体内視鏡カメラの位置を示し、また、器具座標系Cjinstは、器具jの位置を示し、j∈{0,1}によって左または右の器具を表す。最後に、例えば、ロボットのベースを表す世界の原点は、Cworldによって表す。[T,R]∈R3×SO3によって、移動Tおよび回転Rからなる3D変位を表す。以下において、各時間tでの、CcamからCjinstまでの変位[TINt,RINt]ここで、INは、上付き文字のinjを意味するものとする。と、CworldからCcamまでの変位[Tcat,Rcat]とは分かっているものとする。これらの変位は、ダビンチ研究インタフェースSDiMaioおよびCHasserThedavinciresearchinterfaceInsightJournalオンライン。httphdlhandlenet103801464から入手可能を用いて収集される。加えて、CcamからCtaskまでの変位[Ttat,Rtat]を知る必要がある。この変位は、タスクを開始する前に、トレーニングポッドを基準世界位置に配置し、さらに、[Tcat,Rcat]を用いてカメラ動作を追跡することによって得る。短いタスクの場合、ポッドはその初期基準位置に留まっていると推測する。長いタスクの場合、ポッドが移動したとすると、その対応変位が、目視可能なポッド追跡によって提供されるであろう。また、直交座標空間における2つの患者側マニピュレータの直線速度/角速度と、把持装置の状態と、ワークステーション分析のための2つの主マニピュレータの直交座標位置も収集する。これらのデータは40Hzの周波数で収集する。また、立体内視鏡カメラは較正されている。これにより、外科医の立体視界内において、複数の軌道の3D拡張実在情報を重ね合わせることができる。実演データ指示により、オペレータが各タスクをM回実演すると、タスク{rk}1≦k≦Mの一連のM回の記録が得られる。各記録は、1≦t≦|rk|の場合のR26=R14×R12において、値rkt=rkt,rktを取る長さ|rk|の多次元時系列rk={rk1,...,rkn}なお、ここで、nは、下付き文字の|rk|を意味する。に対応する。投影rktは、6次元直交座標速度のみならず2器具の把持状態も包含する。これらのデータは、認識システムによって使用されることになる。投影rktは、制御軌道を学習するために使用する予定の2器具の6次元直交座標位置を包含する。2器具の位置は、タスク座標系において、ロボット初期運動学とは無関係に表現される。各rkごとに、自動化されるべきタスクの一部は、オペレータによってラベル付される。これにより、rkを、サブタスクT1,...,TNに対応するNデータセグメント{r,r,...,r}に分解する。次のセクションでは、以下のことを説明する。手動タスクT2i1,1≦i≦nの完了を決定する認識モデルHiをトレーニングする方法。このため、トレーニングデータ{r,r}1≦k≦Mから構築されたHMMを使用する。器具によって自動的に実行される予定のサブタスクT2i,1≦i≦nのために軌道を計算する方法。このため、DTWに基づいて経時的曲線平均化技術を用い、それをデータ{r}1≦k≦Mに適用する。認識認識システムの目的は、各手動タスクが完了したことを判断し、自動制御への途切れのない移行を実行することにある。オペレータは、自動化が軌道の制御を引き継ぐまで、オペレータが次のサブタスクを手動で開始および実行しているかのように、連続する動作を当然に実行すべきである。途切れのない移行を行うため、オペレータが、自動軌道が開始されることができる地点に到達した瞬間を決定する必要がある。この決定は、HMMに基づいて一時的なモデルから計算される、サブタスク完了の実時間測定値を用いて行われる。隠れマルコフモデルは、公式には、5個1組のλ=S,A,O,B,πとして定義される。ここで、Sは、そのモデル内の状態x∈{1,...,S}の数であり、Aは、トポロジーをモデル化する、状態間の遷移確率マトリクスであり、OはケースR14における観察空間である。Bは観察モデルで、どの観察o∈Oおよび状態xに対しても、oがxによって観察される確率Bxo=Po|xを示す。πは初期状態における確率分布である。サブタスクの完了を測定するため、HMMHiを使用しており、HMMHiは、手動サブタスクT2i1および自動化されるサブタスクT2i2をそれぞれモデル化する2つのHMMHi0およびHi1の連結したものから構成されている。Hi0およびHi1は、それぞれ、データ{r}1≦k≦Mおよび{r}1≦k≦Mから構築されている。実験のため、左および右のHMMおよび観察分布としてのガウス混合を使用する。パラメータをエヌ.パドイ他の文献NPadoyDMateusDWeinlandMOBergerおよびNNavabWorkflowmonitoringbasedon3dmotionfeaturesinProceedingsoftheInternationalConferenceonComputerVisionWorkshopsIEEEWorkshoponVideoorientedObjectandEventClassification2009に示すように初期化する。状態数は、トレーニングシーケンスの長さから決定され、また、確率は、データを、利用可能な状態と同一の連続数に均等に分割することによってそのデータから初期化される。次に、期待値最大化を適用してパラメータを改善する。2つのHMMが連結されると、Hi0の最後の状態が、Hi1の第1の状態に移行するように修正される。その移行の確率は、Hi0における予想された時間が、トレーニングデータから算出された、サブタスクの平均持続時間と等しくなるように、選択される。HMMHiの状態xごとに、以下の2値指標関数を定義する。以下のように、時間tに手動タスクを完了させる確率Θtを、自動化されるタスクに相当するHMMの状態に到達させた確率によって定義する。ここで、01tは、最新の時間tまでの観察結果を示し、Xtは、時間tにおけるHMMの状態を示すランダム変数である。この式は、HMMの前向き確率を使用して計算されるLRRabinerAtutorialonhiddenmarkovmodelsandselectedapplicationsinspeechrecognitionProceedingsoftheIEEEvol77no2pp2572861989。最終的に、タスク完了の決定は、識別閾値β0<β<1を用いて、短い時区間δに渡って平均化を行うことによって得られる。自動化制御ロボットアームは、ダビンチ研究インタフェースDiMaio2008を用いて制御される。器具ごとに、直交座標動作Δ=[ΔT|ΔR]を、主マニピュレータの外科医の操作によって起こる動作に重ね合わせる制御モードが使用される。ある実験では、その動作Δは、カメラ座標系Ccamに与えられる。{[Tt|Rt]}1≦t≦τを学習後の軌道とする。その学習後の軌道は、次のセクションで説明するようにタスク座標系Ctaskに表示されて計算処理される。この軌道は、その初期位置を減算することによって正規化されて、T1=0,R1=Idとなっている。所定の器具に対し、自動化された実行が開始された瞬間に、ツール先端の位置において、この相対軌道が実行される。これは、Ctaskに表示されているTin1によって示される。実験では、そのような実行は、手動制御と自動実行との間に途切れのない移行を形成するための自然な方法であることが分かった。自動制御が開始された時に最新のツール位置に対し相対的に軌道を実行するということは、例えば異なる位置で針を挿入することによって正確に実演されたタスクとは異なるようにオペレータがマニピュレータの操作を変更できるという柔軟性を残すことになる。重ね合わせ動作は、以下の式によって1≦t≦τの期間に与えられる。平均動作計算このセクションでは、所定の器具のためにロボットに動作{[Tt|Rt]}1≦t≦τを与える学習方法について説明する。自動化サブタスクT2iに関して、動作がデータ{r}1≦k≦Mから計算される。ここでは、考慮対象の器具の直交座標位置および方向のみのデータを使用する。以下において、回転は四元数で表し、7次元位置データは、指数2iを外した{rk}1≦k≦Mによって表す。経時的曲線平均化を用いることにより、実演されたシーケンスから有意義な動作を学習することができる。経時的曲線平均化は、最初に、ケイ.ワング他の文献KWangおよびTGasserAlignmentofcurvesbydynamictimewarpingAnnalsofStatisticsvol25no3pp125112761997に表されていて、次に、連続データにさらに二値データにも良好に適用されているSAAhmadiTSielhorstRStauderMHornHFeussnerおよびNNavabRecoveryofsurgicalworkflowwithoutexplicitmodelsinInternationalConferenceonMedicalImageComputingandComputerAssistedIntervention2006pp420428。この方法は、予想最小化アルゴリズムに類似する反復手順からなり、その手順においては、全ての軌道が、平均化される前に、動的時間伸縮HSakoeおよびSChibaDynamicprogrammingalgorithmoptimizationforspokenwordrecognitionIEEETransAcoustSpeechSignalProcessvol26no1pp43491978を用いて基準平均軌道に対し時間的に同期されている。その結果得た平均値は、次の反復の際に基準として使用される。このアプローチを使用すると、平均値は入力軌道の平均長さと等しい長さτを持つ。このアプローチによって生成された平均軌道を図9に示す。そのアプローチ以下に簡潔に要約して示す。rrefを基準シーケンスとする。DTWを用いてrkを時間的にrrefにワープさせ、そのワープ関数をhkで表す。rrefに関する平均時系列を以下のように算出する。rkを平均時系列に変換できるようにする、いわゆる、シフト関数uk=hkを計算する。平均値を計算する。rrefをravgによって置換し、収束するまで置換を繰り返す。最初の基準として、同一の方法を用いて、入力シーケンスを2つずつ再帰的に結合する。このアプローチを以下の方法で動作データに適合した:第1に、時間ワープの同期のために3Dの位置データのみを使用する。これは、位置は主要な特徴であり、また、方向情報は、本ケースにおいて、同期に関して主要な役割を演ずるものではないことが判明しているからである。第2に、上記のステップのいくつかは、2つの四元数間を補間すること、または、多数の四元数を平均化することのいずれかを必要とする。それぞれに対し、SLERP補間EBDamMKochおよびMLillhohnQuaternionsinterpolationandanimationUniversityofCopenhagenTechRepDIKUTR9851998および球平均化を使用するFLMarkleyYChengJLCrassidisおよびYOshmanAveragingquaternionsJournalofGuidanceControlandDynamicsvol30no4pp119311962007。タスク座標系において平均軌道を計算した後、その平均軌道の初期位置を減算してその平均軌道を正規化する。論文から、データが高次元である場合や多数の局所変動を含んでいる場合には、DTW同期は正しくない場合があるということが分かっている。このような場合に対し、エフ.ゾウ他の論文に示されているような、さらに進化した経時的同期技術FZhouおよびFDelaTorreCanonicaltimewarpingforalignmentofhumanbehaviorinAdvancesinNeuralInformationProcessingSystemsConferenceDecember2009が、提案されており、その高度な経時的同期技術を代わりに用いることができる。しかし、これは本発明に係るデータに当てはまるものではない。図9aに、本アプローチが、いくつかの実演されたシーケンスから滑らかな平均化された動作を提供する方法を示す。図9bは、学習済み軌道の回転動作を強調している。実験ダビンチロボットを用い、CISST蔵書ADeguetRKumarRTaylorおよびPKazanzidesTheCISSTlibrariesforcomputerassistedinterventionsystemsInsightJournalオンライン。httphdlhandlenet103801465aから入手可に基づいて、モジュラーアプリケーションでHMCアプローチを実行した。このアプリケーションは、役割を伴う5つの相互作用するスレッドを含む。つまり、1完了認識、2経路設計、3ロボット制御、4可視化重ね合わせ、および5メインタスク制御である。実験のため、各タスクを5回実行してタスクモデルを構築した。説明のための動画は、オペレータが2つの説明のためのタスクを実行している間におけるヒューマンマシン連携システムを用いるオペレータの視界を示す。オペレータが動作を実行しているときに、視界内にはラベル手動が表示される。サブタスクを完了させたオペレータの計算済み確率も示される。制御が自動モーションに切り替わると、ラベル自動が表示されるとともに計画された軌道も表示される。この表示された軌道は、オペレータの視界を妨げないようにするために、実際の位置に正確には重ね合わされていない。その代り、この表示された軌道は、視界の最上部に移動されている。これにより、オペレータの監視および認識する作業負荷の減少の目的が達成される。当動画は、手動操作と自動実行との間での途切れのない移行を示す。それは、また、例えば、ダビンチロボットの内視鏡カメラを回転することによってダビンチロボットを自由に操作することができることも示す。針を挿入する際に繰り返される失敗の試行または把持装置の予期しない開閉のような異常値に対する本アプローチのロバスト性についても説明する。図11に、HMCシステムを用いてタスクを実行する間に得られたいくつかの画像を示す。さらに別のオペレータ達に本システムを使用することを依頼し、そのオペレータ達が、移行が途切れなく行われかつ直感的に理解できることを認識した。しかし、第1回目の試行の際には、事前にその特定のタスクをまったく行ったことのないオペレータが、予期した動作を正確に行えないということは起こり得る。この場合には、完了が少し遅れて認識されるようにし、これにより、軌道が、正確かつ予期した位置からわずかに転移されるようにしてもよい。この場合には、最終的にはツール位置の調整が必要になる。これにより、ユーザが、タスクを正確に実演データと同様の方法で実行する方法を学習するために2,3回の試行を行う必要があること、または、最新に操作したオペレータにより実演されたデータを含めかつオペレータの操作スタイルを例示することによってタスクモデルを構築する必要があることが分かる。実験では、HMMモデルは2つの直交座標の混合を使用し、さらに、β=0.9を用いて自動実行を起動する。Θtを1秒間にわたり平均化する。遠隔操作制御を容易にする本アプローチの利点には、マスターマニピュレータの動作がかなり減少されているということが含められる。実際、大きな搬送動作が自動的に実行され、大きな搬送動作によってオペレータの移動は何ら必要とされない。このことから、2つの結果、つまり、マスターマニピュレータを再調整するためにクラッチ操作を行う必要性がほとんど存在しなくなるということ、また、マスターマニピュレータの衝突が発生する確率が低くなるということが得られる。マスターマニピュレータの作業空間の分析を図10に示す。図10は、HMCシステムを用いた場合または用いない場合のそれぞれにおけるマスターマニピュレータの動作を比較する。ピンタスクの場合には、図10aは、HMCシステムを用いたときには、マスターマニピュレータの作業空間が、かなり小さな容積まで減少することを示す。これは、遂行すべき動きが、ここではピンの把持または押し付けのみに拘束されているからである。縫合タスクの場合には、左の器具のみが自動化されている。図10bは、HMCシステムを用いたときに、右のマニピュレータが、同様な作業空間を使用することを示す。しかし、左のマニピュレータは、HMCフレームワークを用いると、その役割が2つの微細な動作、つまり、針の把持および針の手渡しに限定されるので、かなり小さな作業空間を使用する。表3に、マスターマニピュレータの位置の各方向においておよび5シーケンスを平均化したもののマスターマニピュレータの位置の標準偏差を比較したものを示す。マニピュレータによって搬送された距離に関して同様の結果を観察した。つまり、搬送された距離は、実験の間、ピンタスクに関しては、4分の1に、また、縫合タスクの場合には1.3分の1に減少された平均値にある。タスク完了の時間は、HMCアプローチを使用した場合および使用しない場合とも同様で、ピンタスクに関しては平均48秒で、縫合タスクに関しては64秒である。自動化した搬送動作を早めることによって時間を減少させることは直接的な方法であろう。表3:ピンタスク右マスターマニピュレータおよび縫合タスク左マスターマニピュレータに関するマスターマニピュレータの位置の標準偏差mm。HMCシステムを使用する場合と使用しない場合との比較。考察および結論ここでは、本発明の実施の形態に係る実演からの学習に基づく遠隔手術のための新規なヒューマンマシン連携のアプローチを説明した。微細な動作はオペレータにより実行され、一方、動作の終了の実時間が認識されると、これが起因となって、以前に学習した動作であるが対象とのいかなる相互作用も含まない動作の自動的な実行が起動される。ダビンチ遠隔手術ロボットを用いることにより、そのような動作が大きな搬送動作である場合には、そのような連携により、マスターマニピュレータの作業空間の使用が改善されることが分かった。さらに、実験では、そのようなヒューマンマシン連携により、手動操作と自動化の実行との間で途切れのない直感的に理解できる切り替えを行うことができることを示している。本アプローチは、対象物についてすべてをシステムに入力しておくことも、動作を予めプログラムすることも必要としない。つまり、認識システム、実行された動作およびサブタスクの順序は、自動化されている部分にラベル付がされている実演のシーケンスから直接的に察することができる。さらに、オペレータの視界内に、計画された3D軌道を表示することによって、オペレータは自動化された動作を監視することができる。実行された動作はマスターマニピュレータの動きに重ね合わされるので、オペレータは必要に応じて軌道を修正することができる。最後に、自動実行は、ロボットにクラッチ操作をすることによって、または助手に制御を停止することを指示することによって、安全に止めることができる。本アプローチは、内視鏡カメラから得られる視覚情報を活用することによって、針の挿入のような微細なマニピュレータ操作のサブタスクまで拡大適用することができる。例えば生体組織と器具との接触のような環境からの合図を学習フレームワークに組み込むことができる。また、連続するサブタスクが順次的でないことがあるが、オプションを含むことができるような、長いタスクも含めることができる。最後に、タスク固有の動作を学習することに加え、HMCシステムの機能の向上に、例えば、音声コマンドによって起動されるような単純な一般的な動作を自動化する可能性を含めることができる。特定のツールに焦点を合わせるためのカメラの自動変位のような一般的な動作により、遠隔操作ロボットの人間工学的な利用を改善することもできるであろう。本明細書において図示及び説明した実施の態様は、当業者に、本発明を構成及び実施する方法を教示することのみを意図する。本発明の実施の態様を説明した際に特定の用語を明瞭化を目的として使用した。しかし、本発明は、そのように選択された特定の用語に限定されることは意図していない。本発明の上記の実施の態様は、上記の記載内容を考慮することにより、当業者が認識するように、本発明から逸脱することなく変更または多様化することができる。したがって、本発明およびそれと等価なものの範囲内で、本発明は、特に説明したものとは異なる別の方法で実行することができる。"