"ヒューマンロボットインターフェース装置を使用しロボットとの2方向無線通信によってロボットを制御するための方法において、ロボットに関連する2個のビデオカメラによって提供される2次元画像をヒューマンロボットインターフェース装置のディスプレイインターフェース上に表示し、前記ディスプレイインターフェース上に物体認識サポートツールライブラリの可視表現と行動サポートツールライブラリの可視表現を表示し、前記2次元画像から選択され、対象物体を示す選択物体画像を受信し、前記選択物体画像を複数の登録物体形状パターンと比較し、且つ、前記対象物体が前記ヒューマンロボットインターフェース装置に登録されていた場合、前記対象物体に関係する登録物体形状パターンを自動的に認識し、前記ディスプレイインターフェース上に前記登録物体形状パターンを表示し、前記行動サポートツールライブラリから選択された選択物体操作パターンを受信し、さらに、前記ロボットが前記対象物体に自動的に近づいて前記対象物体の物体操作を前記選択物体操作パターンに従って実行するように、制御信号を前記ヒューマンロボットインターフェース装置から前記ロボットに送信する、各ステップを備える方法。請求項1に記載の方法において、前記選択された物体画像は、前記選択物体画像を含む2次元画像の特定された部分に相当し、且つ、前記特定された部分は前記ヒューマンロボットインターフェース装置のユーザによって選択される、方法。請求項1に記載の方法において、前記登録物体形状パターンは、特徴ベースの一致アルゴリズムを用いて自動的に認識される、方法。請求項1に記載の方法において、前記登録物体形状パターンは、Speeded-uprobustfeatureアルゴリズムを用いて自動的に認識される、方法。請求項1に記載の方法において、前記物体認識サポートツールライブラリの可視表現は複数の形状を表示し、さらに前記方法は、前記選択物体画像に対応する登録物体形状パターンが、複数の形状から前記対象物体の形状に最も類似している選択形状を受信することによって、自動的に認識されない場合、前記対象物体に関連する物体形状パターンを登録するステップをさらに備える、方法。請求項5に記載の方法において、前記選択形状は、前記ヒューマンロボットインターフェース装置のユーザによって前記物体認識サポートツールライブラリから選択される、方法。請求項1に記載の方法において、それぞれの登録物体形状パターンは1個またはそれ以上の関連物体操作パターンを有し、さらに、それぞれの物体操作パターンは、前記ロボットが前記物体操作を実行するように、前記ロボットに提供されるべく動作可能な命令を備える、方法。請求項7に記載の方法において、それぞれの物体操作パターンは、ロボットに、前記対象物体の何処を掴むか及び前記対象物体をどのように動かすかを命令する、方法。プロセッサと、2個のビデオカメラと多指マニピュレータと移動ベースとを備えるロボットと2方向無線通信する、無線通信モジュールと、物体認識サポートツールライブラリと行動サポートツールライブラリと明確に具体化された実行可能命令セットとを備える、コンピュータ可読メモリであって、前記物体認識サポートツールライブラリ中に複数の登録物体に対応する登録物体パターンが記憶され、前記行動サポートツールライブラリ中に前記複数の登録物体の物体操作に対応する物体操作パターンが記憶されている、前記コンピュータ可読メモリと、さらに前記2個のビデオカメラによって提供される2次元画像と、前記物体認識サポートツールライブラリの可視表現と、前記行動サポートツールライブラリの可視表現とを表示するためのディスプレイインターフェースと、を備えるヒューマンロボットインターフェース装置において、前記プロセッサによって実行された場合、前記実行可能命令セットは前記ヒューマンロボットインターフェース装置に、前記ディスプレイインターフェース上に提示される前記2次元画像内に表示され、且つ、対象物体を表す選択物体画像に対応する、選択物体データを受信し、前記物体認識サポートツールライブラリ中に記憶された複数の登録物体に少なくとも部分的に基づいて、前記選択物体データと前記選択物体画像に対応する登録物体形状パターンを自動的に認識し、前記行動サポートツールライブラリから選択された物体操作パターンを受信し、さらに、前記移動ベースを利用して前記選択物体画像に対応する前記対象物体に自動的に近づき、且つ、前記選択物体操作パターンに少なくとも部分的に基づいて、多指マニピュレータを使用して、前記対象物体上に物体操作を実行するように、前記無線通信モジュールを介して、前記ロボットに無線で命令させる、ヒューマンロボットインターフェース装置。請求項9に記載のヒューマンロボットインターフェース装置において、前記選択物体画像は、前記選択物体画像を含む前記2次元画像の特定の部分に対応する、装置。請求項9に記載のヒューマンロボットインターフェース装置において、前記登録物体形状パターンは、特徴ベースの一致アルゴリズムを用いて自動的に認識される、装置。請求項9に記載のヒューマンロボットインターフェース装置において、前記登録物体形状パターンは、Speeded-uprobustfeatureアルゴリズムを用いて自動的に認識される、装置。請求項9に記載のヒューマンロボットインターフェース装置において、前記物体認識サポートツールライブラリの可視表現は複数の形状を表示し、さらに、前記選択物体画像に対応する登録物体形状パターンが自動的に認識されない場合、前記プロセッサによって実行された場合、前記実行可能命令セットは前記ヒューマンロボットインターフェース装置に、さらに、複数の形状から前記対象物体に最も類似する選択形状を受信することによって、前記対象物体に関連する物体形状パターンを登録させる、装置。請求項13に記載のヒューマンロボットインターフェース装置において、前記選択形状は、前記ヒューマンロボットインターフェース装置のユーザによって物体認識サポートツールライブラリから選択される、装置。請求項9に記載のヒューマンロボットインターフェース装置において、それぞれの登録物体形状パターンは1個またはそれ以上の関連物体操作パターンを有し、且つ、それぞれの物体操作パターンは、前記ロボットが前記物体操作を実行するように前記ロボットに提供されるべく動作可能な命令を備えている、装置。請求項9に記載のヒューマンロボットインターフェース装置において、前記ロボットは、Rapidly-exploringrandomtreeroute-planningアルゴリズムを用いて自動的に前記対象物体に近づく、装置。2個のビデオカメラと多指マニピュレータと移動ベースを備えるロボットと2方向無線通信する、無線通信モジュールと、物体認識サポートツールライブラリと行動サポートツールライブラリとを備えるコンピュータ可読メモリであって、前記物体認識サポートツールライブラリには複数の登録物体に対応する登録物体形状パターンが記憶され、前記行動サポートツールライブラリ中には、前記複数の登録物体の物体操作に対応する物体操作パターンが記憶される、コンピュータ可読メモリと、さらに前記2個のビデオカメラによって提供される2次元画像と、前記物体認識サポートツールライブラリの可視表現と、前記行動サポートツールライブラリの可視表現とを表示するディスプレイインターフェースと、を備えるヒューマンロボットインターフェース装置において、前記ヒューマンロボットインターフェース装置は、前記2次元画像から選択され且つ対象物体を表現する選択物体画像に対応する登録物体形状パターンを、特徴ベースの一致アルゴリズムを用いて自動的に認識し、前記選択物体画像に対応する登録物体形状パターンが、前記物体認識サポートツールライブラリの可視表現中に表示された複数の形状から、前記対象物体の形状に最も類似する選択形状を受信することによって、自動的に認識されない場合、前記対象物体に関連する物体形状を登録し、さらに前記行動サポートツールライブラリの可視表現から選択された選択物体操作パターンに少なくとも部分的に基づいて、多指マニピュレータを使用して前記対象物体上に物体操作を実行するために、前記無線通信モジュールを介して前記ロボットに制御信号を無線通信する、各ステップを実行するようにプログラムされている、ヒューマンロボットインターフェース装置。請求項17に記載のヒューマンロボットインターフェース装置において、前記特徴ベースの一致アルゴリズムは、Speeded-uprobustfeatureアルゴリズムを備える、装置。請求項17に記載のヒューマンロボットインターフェース装置において、それぞれの登録物体形状パターンは1個またはそれ以上の関連物体操作パターンを有し、さらにそれぞれの物体操作パターンは、前記ロボットが前記物体操作を実行するように前記ロボットに提供されるべく動作可能な命令を備える、装置。請求項17に記載のヒューマンロボットインターフェース装置において、前記ロボットは、Rapidly-exploringrandomtreeroute-planningアルゴリズムを用いて、前記対象物体に自動的に近づく、装置。ここに記載した実施形態によって提供される特徴及び更なる特徴は、添付図面と関連して以下の詳細な記載を参照することにより、さらに完全に理解することができる。図面に示した実施形態は本質的に実例及び説明のためであって、特許請求の範囲によって定義される主題の限定を意図するものではない。説明的な実施形態の以下の詳細な説明は、以下の図面と関連してこれを読む場合、理解することができる。ここで、同様の構造は同様の参照番号で示されている。図面を概略的に参照すると、ここに記載された実施形態は、ヒューマンロボットインターフェース装置と、物体に近づきこの物体に操作を実行するような特定の仕事を完了するようにユーザがロボットを容易に制御することができる方法とに、指向される。実施形態は、ロボットをプログラムするように訓練されていない人々が、ロボットに仕事の完成を支援させるように、制御することを可能とする。例えば、ある人は、ある物体を回収し配送するために、召使ロボットを欲する場合がある。他の事例として、ある人は、ドアを開けて自分が部屋の中に入りあるいは出るために、ドアノブをロボットが操作することを望む場合がある。ロボットが見ているものの2次元画像を表示する、ディスプレイインターフェースを有するヒューマンロボットインターフェース装置によって、ロボットは無線で制御されている。この2次元画像は、ロボット上に配置されたステレオビデオカメラによって生成することができる。ディスプレイインターフェースはさらに、ロボットが遭遇しうる登録された及び登録されていない物体に関連する情報を含む物体認識サポートツールライブラリを、ロボットが物体に対して種々の操作または行為を実施するための命令を含む行動サポートツールライブラリと同様に、表示することもできる。ヒューマンロボットインターフェース装置のユーザは、2次元画像内に示された物体を選択することができる。ロボットは次に、物体認識アルゴリズムを使用することによって、選択された物体と関連する物体認識サポートツールライブラリに記憶された登録物体形状パターンを自動的に認識することができる。ユーザは次に、行動サポートツールライブラリから物体操作パターンを選択して、ロボットに、選択された物体に関連する対象物体の操作を命令することができる。ロボットは、ヒューマンロボットインターフェースから命令を受信し、選択物体操作パターンに従って物体を操作する。ヒューマンロボットインターフェース装置及びその方法の種々の実施形態を、さらに詳細に記載する。図1及び2を参照すると、ヒューマンロボットインターフェース装置HRI110の一実施形態が図示されている。図示のHRI110は、召使ロボットのようなロボットを無線制御するためにユーザが操作する1個またはそれ以上のロボット制御プログラムを備えた、手持式携帯電話として構成されている。HRI110は召使ロボットとしての応用即ち、ロボットが日常の仕事において人々を支援する応用に関連して記載されているが、実施形態はこれに限定されることはない。例えば、HRI110は、ロボットが物品の製造を支援する、生産環境におけるロボットと共に使用することができる。HRI110は、ロボットが見ているものの画像と同様、物体認識サポートツールライブラリと行動サポートツールライブラリ、これらについては以下に詳細に説明する、を表示することが可能なディスプレイインターフェースを有する、どのような装置であっても良い。HRI110は、デスクトップコンピュータ、ラップトップコンピュータ、ノートブック、スマートフォーン、メディアプレーヤ、専用ハードウエア等であり得る。図示のHRI110は、ディスプレイインターフェース112、複数のハードキイ146例えば、トーク、エンドなどの携帯電話ハードキイであって、その機能がHRIによって使用され或いは使用されないもの、プロセッサ115、コンピュータ可読メモリ116、無線通信モジュール117及び1個またはそれ以上の入力装置118を備えている。プロセッサ115、ディスプレイインターフェース112、コンピュータ可読メモリ116、無線通信モジュール及びユーザに装置118は、ローカルエリアネットワークに接続されても良い。このローカルエリアネットワークは、HRI110の種々の構成要素間の通信を促進するために、バスまたは他のインターフェースとして実現されても良い。ディスプレイインターフェース112は、どのようなディスプレイ装置として構成されても良く、どのようなディスプレイ技術、例えば液晶ディスプレイ、プラズマディスプレイ、ブラウン管、電子インク等を組み込んでも良い。上述したように、ディスプレイインターフェース112は、ロボットが見ているものの2次元画像、行動サポートツールライブラリ130、物体認識サポートツールライブラリ140を表示する。図示する実施形態において、ディスプレイインターフェース112はタッチスクリーンとして構成され、これによって、ユーザは、ディスプレイインターフェースに表示されたソフトキイ例えば、アクション取消しオーバーライドソフトキイ136とアクション登録ソフトキイ138、2次元画像120のハイライト部分等にタッチすることによって、コマンドをHRI110に入力することができる。他の実施形態では、HRI110は、例えば、キイボード、マウス、ジョイスティックなどの入力装置118を含む。これらのその他の入力装置118は、タッチスクリーンディスプレイインターフェース112と共に、或いはこれの代わりに使用することができる。プロセッサ115は、コンピュータ可読メモリ116と通信可能に接続されていても良い。プロセッサ115は、ここに記載した機能を実行するために実行可能な命令を受信し実行することが可能な、どのようなプロセッサ装置であっても良い。一例であって限定ではなく、プロセッサ115は、ARMホールディングによって開発され製造された、32ビットの縮小命令セットコンピュータ命令セットアーキテクチャーであって良い。例えば、インテル及びAMDによって開発され製造されたプロセッサのような、他のプロセッサ装置の使用が可能であることを理解すべきである。コンピュータ可読メモリ116は、1個またはそれ以上のメモリを備えていても良い。コンピュータ可読メモリ116は、揮発および/または不揮発性メモリとして構成されても良く、従って、ランダムアクセスメモリSRAM、DRAM、および/または他のタイプのランダムアクセスメモリを含む、フラッシュメモリ、レジスタ、コンパクトディスクCD、デジタル多用途ディスクDVDおよび/またはその他のタイプの記憶部品を含みうる。さらに、コンピュータ可読メモリ116は、ここに記載したHRI110の機能を実行させるために、プロセッサ115と関連する構成要素に命令するように構成された、明白に具体化された実行可能命令セットを記憶するように構成されていても良い。実行可能命令セットは、例えば、デスクトップコンピュータまたはスマートフォーンのようなコンピュータ装置内に記憶された1個またはそれ以上のロボット制御プログラムとして具体化されても良い。無線通信モジュール117は、プロセッサ115とコンピュータ可読メモリに通信によって接続されており、他の外部装置例えば、リモートサーバと同様に、ロボット160図3に無線信号170を無線で送信し、ロボット160から無線信号170を無線で受信する。無線通信モジュール117は、例えば無線通信カードまたは集積回路のような無線通信部品として構成されていても良い。無線通信モジュール117は、インターネットのようなワイドエリアネットワーク、ローカルエリアネットワークLAN、移動通信ネットワークおよび/またはその他のネットワークを含むがしかしこれらに限定されることが無い、コンピュータネットワーク上で通信するように構成されていても良く、さらに、HRI110を1個またはそれ以上のロボット160に電気的に接続するように構成されていても良い。一実施形態では、無線通信モジュール117は、Wi-FiまたはWiMax通信プロトコルを介して無線通信するように動作する。その他の無線通信プロトコルを使用することができることを理解すべきである。次に、図3を参照すると、ロボットシステム100が図示されており、ユーザ114はロボット160を、HRI210を介して制御する。図3に示す実施形態において、HRI210は、ディスプレイインターフェース212とユーザ入力装置218キイボード及びマウスを有するデスクトップコンピュータとして描かれている。しかしながら、図3に示したHRI210の機能は、図1に示した手持式HRI110の機能と本質的に同じである。図示するロボット160は、ヘッド部分164、1本または複数のアーム166、マニピュレータハンド162、及び移動ベース167を備えている。ここに記載した実施形態は、図3に示したロボット160の構成によって限定されることはなく、ロボット160はどのような形状とサイズであっても良いことを理解すべきである。ロボットの構造は、HRIが通信によって接続するロボットのタイプに依存していても良い。ロボット160は、HRI210に無線信号を送信し、HRI210から無線信号を受信する、ロボット無線通信モジュール図示せずを含んでいる。このようにして、ロボット160はHRI210と無線通信する。ロボット160は、種々の信号、例えばビデオ信号、位置信号、パワーレベル信号、健康信号等をHRI210に送信することができる。HRI210は、選択物体操作パターンに対応する制御信号、自律的ナビゲーション始動信号例えば、ポイントAへ移動する命令、リモート制御信号例えば、マニュアル制御信号等の種々の信号を、ロボット160に送信する。ロボット160は、少なくとも2個のビデオカメラ165を備えており、このカメラ165はロボットが空間内を移動するに伴ってロボットが見ているものを可視的に捕獲することができる。図示する実施形態では、ビデオカメラ165はロボット160の頭の部分164に配置されている。ビデオカメラ165をロボット160の他の領域に配置できることを理解すべきである。2次元ステレオ画像を形成するように、ビデオカメラ165は横方向に離れ離れにされている。捕獲された2個の画像の結合によってステレオ画像が形成され、このステレオ画像はロボットが3次元空間において動作するように深さの情報を含んでいる。例えば、ロボットは、2個のビデオカメラによって形成されたステレオ画像を参照して、対象物体がロボットからどの程度離れているかを決定することができる。空間内を移動するのと同様空間内で対象を操作するために、ロボットは、2次元ステレオ画像を用いてX,Y及びZ座標を決定するために、ナビゲーションアルゴリズムを利用することができる。2個のビデオカメラ165によって形成される画像を、無線通信ネットワーク上でHRIに無線通信することができる。この場合、画像は、無線通信モジュール117によって受信され、プロセッサ115によって処理され、そしてディスプレイインターフェース112上に2次元画像120として表示される。アーム166がロボット160のベースの一端に接続され、操作ハンド162がその他端に接続される。1個またはそれ以上のアームを有する実施形態がある。アーム166と操作ハンド162によって提供される自由度は、制御されるロボットのタイプに依存し得る。一例として、操作ハンド162が人間の手と同じような方法で物体を掴むことができるように、操作ハンド162は多指マニピュレータであっても良い。アーム166と操作ハンド162の動きは、例えば一例としてサーボモータのような、複数のアクチュエータによって達成されても良い。以下にその詳細を説明するように、アクチュエータをHRI210から受信する信号を介して制御することができる。移動ベース167は、ロボット160が、空間の何処をも移動できるように構成されている。移動ベース167は、HRIから受信した命令に従ってロボットを種々の位置に輸送するように駆動される、1個またはそれ以上の車輪図示せずを備えることができる。この車輪は例えば、電気モータによって駆動されても良い。例えば、連続した軌道や可動レッグのような他の移動手段も利用することができる。ロボット160は、HRI110/210から命令を受信し、ポイントAからポイントBに自律的に移動することができる。ロボットのプロセッサ図示せずは、次に移動ベース167の構成要素に、平行移動しまたは回転するように命令して、それに応じて、ロボット160がポイントAからポイントBに動くようにすることができる。図1-3を参照すると、物体認識サポートツールライブラリ140と行動サポートツールライブラリ130は、コンピュータ可読メモリ116内に記憶された、1個またはそれ以上のデータベースとして構成されていても良い。図1及び3において、ディスプレイインターフェース110/210上に示された物体認識サポートツールライブラリ140と行動サポートツールライブラリ130は、物体認識サポートツールと行動サポートツールのライブラリを構成するデータの可視表現である。例えば、物体認識サポートツールライブラリ140の可視表現は、物体認識サポートツールライブラリ140内に記憶された種々の物体のイラストを提供することができる。物体認識サポートツールライブラリ140は、種々の物体の幾何学的形状を現す、登録物体形状パターンに関する情報を含んでいる。登録物体形状パターンのそれぞれは、ある物体を表す。登録物体形状パターンは、その物体の大きさ、その物体の形状、その物体の組織、その物体の重心、その物体の脆弱性等の情報を含んでいても良い。ロボット160は、実際の空間で関連する物体に近づき且つ操作するために、登録物体形状パターンの情報を使用する。2個のビデオカメラ165によって生成された2次元ステレオ画像と登録物体形状パターンを使用して、ロボットは、物体の座標と対象物体に対するその位置とを計算する。物体認識サポートツールライブラリ140はさらに、ロボットが遭遇する登録されていない物体を登録するために使用する、基本的な形状属性例えば、形状142を含んでいる。これらの基本的な形状属性は、物体認識サポートツールライブラリ140内に記憶することも可能で、且つ、ユーザによって選択可能であっても良い。以下により詳細に説明するように、ロボットが自動的に認識することができなかった基本形状属性を、ユーザが指定しても良い。図示した実施形態において、物体認識サポートツールライブラリの可視表現は、スクロール機能144aと144bを含んでいる。これらの機能は、ユーザが記憶された登録物体及び形状142の全てをスクロールすることを可能とする。行動サポートツールライブラリ130は、物体認識サポートツールライブラリ140内に記憶された登録物体に関連する、物体操作パターンについての情報を含む。各物体操作パターンは、所望のタスクに従って物体を掴み且つ移動させるために、ロボットが、移動ベース167、アーム166および/または操作ハンド162を動かすための命令を含んでいる。限定ではなく一例として、登録物体は、ドアノブであり得る。複数の物体操作パターンがドアノブ物体に関連付けられ、且つ、ユーザに選択をさせるために、行動サポートツールライブラリ130においてユーザに表示することができる。ユーザに提示された1個の物体操作パターンは、ドアノブを左に回転させるものであっても良い。ドアを押して開けることまたはドアを引っ張って閉めることのような、他の物体操作パターンを提示することもできる。異なる物体操作パターンを表す物体操作パターンアイコン132を、行動サポートツールライブラリ130の可視表現内に表示しても良い。ユーザが異なる物体操作パターンアイコンをスクロールできるように、スクロール機能134a及び134bを設けても良い。ディスプレイインターフェース112上の対応する物体操作パターンアイコンにタッチすることによって、ユーザが所望の物体操作パターンを選択するようにしても良い。マウス装置を使用して、所望の物体操作パターンを選択しても良い。各物体操作パターンは、ロボット160に無線送信される制御命令例えば、プログラムされたロボットルーチンを含んでいる。ロボット160は制御命令を受信し、制御信号を種々のアクチュエータに提供して、ロボット160に物体操作パターンに関連した行動と移動を実行させる。この方法によって、高度なロボットプログラムの知識を必要とすることなく種々の仕事をロボット160が実行するように、ユーザは簡単に命令することができる。ロボット160上の2個のビデオカメラによって生成された2次元画像120は、ディスプレイインターフェース112の一領域内に表示される。上述したように、2次元画像120は、2個のビデオカメラを使用してロボット160が見ている2次元空間の表現である。2次元画像120を見ることによって、ユーザは、ロボット160に近い物体を見ることができる。以下に詳細に説明するように、ロボット160が仕事を実行する或いはロボット160が操作させることを望む物体をユーザが選択することができる。図1に示すように、操作のための物体を含む2次元画像の特定された部分を選択するために、ユーザはマウスまたはタッチスクリーンを用いて物体124上にボックス122を描くことができる。プロセッサは次に、選択された物体124に対応する選択物体データを受信し、その後、選択物体124に関連する登録物体形状パターンを自動的に認識することができる。例えば、選択物体124が図1に示すようにソーダカンであり、登録物体形状パターンの一個としてソーダカンが以前に登録されていた場合、HRI110は、選択された物体124がソーダカンであることを自動的に認識し、物体認識サポートツールライブラリから適切な円柱状の登録物体形状パターンを検索することができる。実施形態は、ディスプレイインターフェース112内の、2次元画像120、行動サポートツールライブラリ130及び物体認識サポートツールライブラリ140の配置に限定されるものではなく、他の配置も可能であることを、理解すべきである。HRI110が、例えばスマートフォーンのような汎用装置上で実現された場合、ユーザは既存のハードキイ146を、例えば、2次元画像120、物体認識サポートツールライブラリ140及び行動サポートツールライブラリ130内での選択と同様、ロボット160を手動で制御し、システムパラメータを変更するため等の多くの目的のために用いることができる。ディスプレイインターフェース112上に追加の機能をさらに提供することができる。例えば、アクションオーバーライドボタン136を提示して、ユーザがこれを選択した場合、ユーザが、物体操作パターンの実行を無効にし、タッチスクリーンまたはジョイスティックを介してロボットを手動で制御することを可能とする。以下に詳細に説明するように、ユーザによってアクション登録ボタン138を選択して、新しい物体操作パターンを登録することができる。HRI110の一実施形態の操作とロボットを制御するための方法を、特に図4のフローチャートを参照し且つ他の図を一般的に参照して、以下に説明する。ユーザ114はHRI110を操作して、ロボットが種々のタスク、例えば物体の回収、を実行するように制御することができる。一例として、ロボット160はユーザ114を支援する召使ロボットである。ユーザ114は障害者であり、物体を配送するために召使ロボットに依存している。図5は、生活空間内に位置するユーザ114とロボット160を示している。生活空間内には、長椅子192a及び椅子192b、192cのような障害物が存在する。図示の実施形態ではソーダのカンである対象物体154は、カウンタ194上に位置している。HRI110を介してロボット160を操作するユーザ114は長椅子192aに座っており、ロボット160がソーダカンの対象物体154をカウンタ194から回収し、それをユーザの近くに位置するテーブル150に配送することを望んでいる。上述したように、2個のビデオカメラ165を介してロボット160が見ているものの2次元画像が、HRI110のディスプレイインターフェース112上でユーザに提示される。一実施形態では、ユーザはロボット160の頭の部分164を制御して、2個のビデオカメラ165が空間例えば、リビングルームをスキャンするように、回転させることができる。ユーザがビデオカメラ165を制御して物体にズームインすることができるように、ズーム機能をさらに提供することができる。一旦ユーザが2次元画像内に所望の物体を見ると、ユーザはその物体を選択することができる。一実施形態では、ユーザは、ディスプレイインターフェース112のタッチスクリーン上で指を使用して、選択された物体のまわり或いはそれを取り囲んでボックス122を描くことができる。選択された物体124は、図4のブロック180で示すように、HRI110によって受信される。2次元画像120中の選択物体は、実空間内の実際の対象物体の仮想表現であり、その物体は図示の事例ではソーダカンである。ブロック181において、HRI110は、物体認識サポートツールライブラリ140内に記憶された、選択された物体124に関連する登録物体形状パターンを、自動的に認識しようと試みる。HRI110は画像ベースの物体認識アルゴリズムがプログラムされており、選択物体124の画像を受信し、それを登録物体形状パターンと比較することができる。どのような数の画像ベースの物体認識アルゴリズムまたはプログラムを利用することができる。一実施形態では、画像ベースの物体認識アルゴリズムは特徴ベースの一致アルゴリズムであり、このアルゴリズムでは、選択された物体の特徴が、物体認識サポートツールライブラリ140内に記憶された登録物体形状パターンの特徴と比較される。特徴ベースの一致アルゴリズムにおいて、コーナー、エッジ及び表面構造のような特徴が、比較可能な一致を見出すために比較される。相似値を発生させ、最も高い相似値を有する登録物体形状パターンを適切な登録物体形状パターンとして選択することができる。特徴ベースの一致アルゴリズムの一例は、Speeded-uprobustfeatureSURFアルゴリズムである。Scale-invariantfeaturetransform及びEdgeMatchingアルゴリズムのような、その他の画像ベースの物体認識アルゴリズムの利用が可能であることを理解すべきである。選択物体124に一致する登録物体形状パターンが見出されると、次に、ブロック181において、選択された物体124が登録されたと見做される。登録物体形状パターンが見出されない場合は、選択物体124は登録されていないと見做される。ブロック182において、もし選択物体124が登録されていないと、ユーザは物体認識サポートツールライブラリ140を閲覧して、選択物体124に最も一致する物体形状を見出すことができる。物体形状は前もって定義されていても良く、多くの異なる物体形状例えば、球状、四角形状、三角形状等を含むを含んでいても良い。図示する実施形態では、ユーザは、選択物体124に関連させるために円筒形状を選択することができる。これは、ソーダカンが一般に円筒状であるためである。この円筒は次に、登録物体形状パターンとして登録され且つソーダカンとして関連付けられる。ユーザが新しい物体を登録した場合、それに関連する物体操作パターンを有する場合も有さない場合もある。一実施形態では、各物体形状は1個またはそれ以上のデフォルトの物体操作パターンを有していることがある。ユーザは、新しく、登録物体形状パターンに関連する新しい物体操作パターンをプログラムすることを、決定することができる。限定ではなく一例として、ユーザは、アーム166と操作ハンド162を手動で制御して、タッチスクリーンまたはその他の入力装置、例えばマウス及びキイボード、を使用してソーダカンを掴むことができる。HRI110は、ユーザによって提供された入力を、選択物体に関連した新しい登録物体操作パターンの命令として記憶されるように、記録することができる。一旦ユーザが物体の手動操作を完了すると、ブロック182において、ユーザはその動きを登録物体操作パターンとして登録することを決定することができる。一実施形態では、ユーザによって入力として提供された制御信号を受信し、その後、ロボットによって実行された操作パターンがより効率的になるように、動き或いはステップの数を減少させるための最適化プログラムを、HRIは備えている。例えば、ユーザはロボットを手動で制御する経験が無く、そのため、ユーザはロボットの動きを修正せざるを得ないこともある例えば、コマンドがロボットを操作ハンドの所望の位置より行き過ぎるようにさせることもある。最適化プログラムは、最適物体操作パターンを作りだすために、過度の動きまたはその他の効率の悪さを認識することができる。ブロック185において、登録物体に関連する登録操作パターンがあるか否か、または、ユーザが実行しようと望んでいる所望の物体操作に関連する操作パターンがあるか否かが、決定される。ユーザが実行しようと思うタスクに一致した登録物体操作パターンに対して、ユーザは行動サポートツールライブラリ130を閲覧することができる。ユーザの必要性に適合する物体操作パターンが無い場合、ブロック187において、ユーザはディスプレイインターフェース上のアクションオーバーライドボタンを選択することができる。ブロック188において、ブロック183とブロック184に関して上記で述べたように、ロボットを手動で制御して新しい物体操作パターンを登録することができる。ユーザの必要性に適合する物体操作パターンが存在する場合は、行動サポートツールライブラリ130中の所望の物体操作タスクに関連した操作パターンアイコンをユーザが選択することができる。ユーザは、タッチスクリーンである操作パターンアイコンにタッチし、またはマウス或いはその他のポインティングデバイスで選択することができる。限定ではなく一例として、選択された物体はドアノブであっても良い。ユーザは、ドアノブを掴みそれを右に廻すことを提供する操作パターンを選択することができる。ユーザが所望の物体操作パターンを選択した後、ロボットに制御信号を送信し、所望のタスクを完了するようにロボットに物体操作パターンに従って動くように命令することができる。このようにして、ロボットは、ブロック190において対象物体の自律制御を完了する。上記で参照したドアノブの事例を使用して、ロボットは自身の手を、予め登録された形状即ち、姿勢でドアノブに近づけることができる。ロボットはその後、適切な力フィードバック制御、これは操作ハンド162上に位置する6軸力センサによって達成される、によりドアノブを掴み、そして、6軸センサによって観測されたトルクに基づいてドアノブの回転を完了することができる。力要件は、登録物体操作パターン中に予めプログラムしておくことができる。ロボットは次に、ドアを開けるタスクが完了するように、適切な力フィードバック制御によってドアを開けることができる。自律物体操作中のどのような時間においても、ユーザは、アクションオーバーライドボタン136を押すことによってロボットを停止させることができ、これによってロボットを手動制御下に置くことができる。ロボット160は、選択された物体124に相当する対象物体に自律的に或いは半自律的に近づくことができる。図5を参照すると、ロボット160は、図示する実施形態では、ロボット160から部屋の反対側にあるカウンタ194上に位置するソーダカンである、対象物体154からある距離に位置している。2個のビデオカメラ同様に、もし利用できれば、例えば、光ビーム、障害物に貼付されたRFIDタグ等の他の航行支援装置を使用して、ロボット160は対象物体154に適切に到達するように、空間を自律的に航行することができる。ロボット160は、対象物体154に向って航行する間に、例えば2個の椅子192b、192cのような障害物を避ける。ロボットは、自身の現在の位置から対象物体154または所望の場所例えば、位置196にあるテーブル150上にソーダカンを置くために、テーブル150の近くへの最も効率的なルートを決定するために、ルート計画アルゴリズムを利用することができる。一実施形態では、ロボット160は、障害物を検出するために2個のビデオカメラを使用して空間をスキャンする。2個のビデオカメラによって提供される3次元データを使用して、ロボットは障害物と空間内でのその位置とを検出することができる。他の実施形態では、障害物及びその他の禁止された領域を含む空間レイアウトを承知するように、ロボットを、間取り図を用いて予めプログラムすることができる。ビデオカメラおよび/またはGPSデータ或いは、光ビーム、RFID信号等のようなその他のナビゲーション装置を用いて、ロボット160は空間内を自律的に航行することができる。ロボット160はさらに、例えば、IR障害物回避センサのような障害物回避センサを装備することができる。一実施形態では、ルート計画アルゴリズムは、Rapidly-exploringrandomtreeroute-planningRRTアルゴリズムを備えることができる。RRTは、空間内に存在し得る障害物を回避しながらナビゲーションルートを効率的に計画するために、利用することができる。ツリーは、空間内にサンプルを生成し、このサンプルをツリーの最も近いサンプルに接続することによって、空間表現内に形成することができる。ロボットの運行ルートは、ポイントAとポイントB間の最適経路に基づいて選択することができる。ロボット160は、自律的よりもむしろ手動で所望の位置へまたは所望の位置から移動させることができる。この場合、HRI110は、ユーザがロボット160の動きを手動で指示するリモートコントローラとして動作する。従って、ユーザはロボット160を対象物体に向って案内することができる。一例として図5を使用すると、ユーザ114は対象物体154としてソーダカンを選択し、且つ、行動サポートツールライブラリ130から、掴むための操作パターンを選択することができる。ロボット160は次に、ルート計画アルゴリズムを用いて、対象物体154までの椅子192cを避ける最適ルート矢印157を自動的に決定することができる。一旦対象物154に到達すると、ロボット160は所定の位置例えば、対象物体154に関して正しい位置に付き、その後、選択物体操作パターンの実行を開始することができる。ソーダカンの場合、ロボット160は操作ハンド162を適切な姿勢に開き、操作ハンド162がソーダカンの中央近くでソーダカンに接触するように、アーム166を動かすことができる。ロボット160は、次に、選択物体操作パターンによって指示されるように適切な力で操作ハンド162を閉じ、ソーダカンをカウンタ194から持ち上げることができる。ユーザは次に、テーブル150に近づきテーブル上にカンを置くようにロボットに命令することができる。これは、ユーザが選択することができる別の物体操作パターンである。ロボット160は、自動的にルートを決定し、障害物を回避しながら矢印159所望の位置へ移動することができる。ユーザ114はさらに、所望の位置へ移動するようにロボット160を手動で制御することを選択することができ、同様に、対象物体154をテーブル150上に置くようにロボットを手動で制御することもできる。ここに記載したヒューマンロボットインターフェース装置及び方法によって、ロボットのプログラミングに対して熟練していないユーザが、タスクを完了するためにロボットを容易に制御することが可能となったことを、理解すべきである。ここに記載したヒューマンロボットインターフェース装置及びその方法は、2個のビデオカメラを用いてロボットが見ているものの2次元画像を表示すると同様に、物体認識サポートツールライブラリと行動サポートツールライブラリを表示する。2次元画像、物体認識サポートツールライブラリ及び行動サポートツールライブラリは、ユーザが複雑な軌道計画または命令を入力する必要なく、ロボットを無線で制御するために、ユーザによって利用され得る。ヒューマンロボットインターフェース装置が物体を自動的に認識できるように、ユーザは2次元画像上の対象物体を選択することができる。ユーザはその後、物体操作パターンに従ってロボットが自動的に物体を操作できるように、物体操作パターンを選択することができる。幾つかの実施形態では、ロボットがルート計画アルゴリズムを用いて対象物体まで自動的に運行する。特定の実施形態について図示し且つ説明したが、特許請求の範囲に記載された主題の精神及び範囲を離れることなく、種々の変更及び修正がなし得ることを理解すべきである。さらに、ここでは、特許請求の範囲に記載された主題の種々の特徴について説明したが、このような特徴を組み合わせて使用する必要はない。従って、添付の特許請求の範囲が、特許請求の範囲に記載された主題の範囲内に入るこのような変更及び修正の全てをカバーするものと、考えられる。"