(57)【特許請求の範囲】
【請求項１】
ヒューマン・ロボット・インターフェース装置を使用しロボットとの２方向無線通信によってロボットを制御するための方法において、
ロボットに関連する２個のビデオカメラによって提供される２次元画像をヒューマン・ロボット・インターフェース装置のディスプレイ・インターフェース上に表示し、
前記ディスプレイ・インターフェース上に物体認識サポート・ツール・ライブラリの可視表現と行動サポート・ツール・ライブラリの可視表現を表示し、
前記２次元画像から選択され、対象物体を示す選択物体画像を受信し、
前記選択物体画像を複数の登録物体形状パターンと比較し、且つ、前記対象物体が前記ヒューマン・ロボット・インターフェース装置に登録されていた場合、前記対象物体に関係する登録物体形状パターンを自動的に認識し、
前記ディスプレイ・インターフェース上に前記登録物体形状パターンを表示し、
前記行動サポート・ツール・ライブラリから選択された選択物体操作パターンを受信し、さらに、
前記ロボットが前記対象物体に自動的に近づいて前記対象物体の物体操作を前記選択物体操作パターンに従って実行するように、制御信号を前記ヒューマン・ロボット・インターフェース装置から前記ロボットに送信する、
各ステップを備える方法。
【請求項２】
請求項１に記載の方法において、前記選択された物体画像は、前記選択物体画像を含む２次元画像の特定された部分に相当し、且つ、前記特定された部分は前記ヒューマン・ロボット・インターフェース装置のユーザによって選択される、方法。
【請求項３】
請求項１に記載の方法において、前記登録物体形状パターンは、特徴ベースの一致アルゴリズムまたはＳｐｅｅｄｅｄ−ｕｐ・ｒｏｂｕｓｔ・ｆｅａｔｕｒｅアルゴリズムを用いて自動的に認識される、方法。
【請求項４】
請求項１に記載の方法において、
前記物体認識サポート・ツール・ライブラリの可視表現は複数の形状を表示し、さらに
前記選択物体画像に対応する登録物体形状パターンが自動的に認識されない場合、前記方法は、前記物体認識サポート・ツール・ライブラリに記憶された複数の形状から前記対象物体の形状に最も類似している選択形状を受信することによって、前記対象物体に関連する物体形状パターンを登録するステップをさらに備え、前記選択形状は、前記ヒューマン・ロボット・インターフェース装置のユーザによって前記物体認識サポート・ツール・ライブラリから選択される、方法。
【請求項５】
請求項１に記載の方法において、
それぞれの登録物体形状パターンは１個またはそれ以上の関連物体操作パターンを有し、さらに、
それぞれの物体操作パターンは、前記ロボットが前記物体操作を実行するように、前記ロボットに提供されるべく動作可能な命令を備える、方法。
【請求項６】
請求項５に記載の方法において、それぞれの物体操作パターンは、ロボットに、前記対象物体の何処を掴むか及び前記対象物体をどのように動かすかを命令する、方法。
【請求項７】
プロセッサと、
２個のビデオカメラと多指マニピュレータと移動ベースとを備えるロボットと２方向無線通信する、無線通信モジュールと、
物体認識サポート・ツール・ライブラリと行動サポート・ツール・ライブラリと明確に具体化された実行可能命令セットとを備える、コンピュータ可読メモリであって、前記物体認識サポート・ツール・ライブラリ中に複数の登録物体に対応する登録物体形状パターンが記憶され、前記行動サポート・ツール・ライブラリ中に前記複数の登録物体の物体操作に対応する物体操作パターンが記憶されている、前記コンピュータ可読メモリと、さらに
前記２個のビデオカメラによって提供される２次元画像と、前記物体認識サポート・ツール・ライブラリの可視表現と、前記行動サポート・ツール・ライブラリの可視表現とを表示するためのディスプレイ・インターフェースと、を備えるヒューマン・ロボット・インターフェース装置において、
前記プロセッサによって実行された場合、前記実行可能命令セットは前記ヒューマン・ロボット・インターフェース装置に、
前記ディスプレイ・インターフェース上に提示される前記２次元画像内に表示され、且つ、対象物体を表す選択物体画像に対応する、選択物体データを受信させ、
前記物体認識サポート・ツール・ライブラリ中に記憶された複数の登録物体に少なくとも部分的に基づいて、前記選択物体データと前記選択物体画像に対応する登録物体形状パターンを自動的に認識させ、
前記行動サポート・ツール・ライブラリから選択された物体操作パターンを受信させ、さらに、
前記移動ベースを利用して前記選択物体画像に対応する前記対象物体に自動的に近づき、且つ、前記選択物体操作パターンに少なくとも部分的に基づいて、多指マニピュレータを使用して、前記対象物体上に物体操作を実行するように、前記無線通信モジュールを介して、前記ロボットに無線で命令させる、ヒューマン・ロボット・インターフェース装置。
【請求項８】
請求項７に記載のヒューマン・ロボット・インターフェース装置において、前記選択物体画像は、前記選択物体画像を含む前記２次元画像の特定の部分に対応する、装置。
【請求項９】
請求項７に記載のヒューマン・ロボット・インターフェース装置において、前記登録物体形状パターンは、特徴ベースの一致アルゴリズムを用いて自動的に認識される、装置。
【請求項１０】
請求項７に記載のヒューマン・ロボット・インターフェース装置において、
前記物体認識サポート・ツール・ライブラリの可視表現は複数の形状を表示し、さらに、
前記選択物体画像に対応する登録物体形状パターンが自動的に認識されない場合、前記実行可能命令セットは、前記プロセッサによって実行された場合、前記ヒューマン・ロボット・インターフェース装置に、さらに、前記物体認識サポート・ツール・ライブラリに記憶された複数の形状から前記対象物体に最も類似する選択形状を受信することによって、前記対象物体に関連する物体形状パターンを登録させる、装置。
【請求項１１】
請求項１０に記載のヒューマン・ロボット・インターフェース装置において、前記選択形状は、前記ヒューマン・ロボット・インターフェース装置のユーザによって物体認識サポート・ツール・ライブラリから選択される、装置。
【請求項１２】
２個のビデオカメラと多指マニピュレータと移動ベースを備えるロボットと２方向無線通信する、無線通信モジュールと、
物体認識サポート・ツール・ライブラリと行動サポート・ツール・ライブラリとを備えるコンピュータ可読メモリであって、前記物体認識サポート・ツール・ライブラリには複数の登録物体に対応する登録物体形状パターンが記憶され、前記行動サポート・ツール・ライブラリ中には、前記複数の登録物体の物体操作に対応する物体操作パターンが記憶される、コンピュータ可読メモリと、さらに
前記２個のビデオカメラによって提供される２次元画像と、前記物体認識サポート・ツール・ライブラリの可視表現と、前記行動サポート・ツール・ライブラリの可視表現とを表示するディスプレイ・インターフェースと、を備えるヒューマン・ロボット・インターフェース装置において、前記ヒューマン・ロボット・インターフェース装置は、
前記２次元画像から選択され且つ対象物体を表現する選択物体画像に対応する登録物体形状パターンを、特徴ベースの一致アルゴリズムを用いて自動的に認識し、
前記選択物体画像に対応する登録物体形状パターンが、前記物体認識サポート・ツール・ライブラリの可視表現中に表示された複数の形状から、前記対象物体の形状に最も類似する選択形状を受信することによって、自動的に認識されない場合、前記対象物体に関連する物体形状パターンを登録し、さらに
前記行動サポート・ツール・ライブラリの可視表現から選択された選択物体操作パターンに少なくとも部分的に基づいて、多指マニピュレータを使用して前記対象物体上に物体操作を実行するために、前記無線通信モジュールを介して前記ロボットに制御信号を無線送信する、ようにプログラムされている、ヒューマン・ロボット・インターフェース装置。
【請求項１３】
請求項７または１２に記載のヒューマン・ロボット・インターフェース装置において、前記登録物体形状パターンは、Ｓｐｅｅｄｅｄ−ｕｐ・ｒｏｂｕｓｔ・ｆｅａｔｕｒｅアルゴリズムを用いて自動的に認識される、装置。
【請求項１４】
請求項７または１２に記載のヒューマン・ロボット・インターフェース装置において、
それぞれの登録物体形状パターンは１個またはそれ以上の関連物体操作パターンを有し、さらに
それぞれの物体操作パターンは、前記ロボットが前記物体操作を実行するように前記ロボットに提供されるべく動作可能な命令を備える、装置。
【請求項１５】
請求項７または１２に記載のヒューマン・ロボット・インターフェース装置において、前記ロボットは、Ｒａｐｉｄｌｙ−ｅｘｐｌｏｒｉｎｇ・ｒａｎｄｏｍ・ｔｒｅｅ・ｒｏｕｔｅ−ｐｌａｎｎｉｎｇアルゴリズムを用いて、前記対象物体に自動的に近づく、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は一般にロボット装置に関し、特に、１個またはそれ以上のロボットを遠隔制御するためのヒューマン・ロボット・インターフェース装置及び方法に関する。
【背景技術】
【０００２】
ロボット装置は、広範囲の応用、例えば、健康管理、製造業及びユーザ支援応用において益々使用されるようになっている。ロボットの使用がさらに広がると、ロボット装置のプログラミング及び制御の訓練を受けていないエンドユーザが、このような装置を使用する必要性が生じる。例えば、身体障害者が品物を回収し、または、身体障害者をベッドに寝かせ且つベッドから起き上がらせるために、召使ロボットを使用する必要性が存在し得る。しかしながら、所望の仕事を達成するようにロボットを制御するために必要な、高価なロボットプログラム訓練を障害者が受けることができない場合もある。現在のところ、ロボットに仕事を完了させるために、ユーザは、ロボットに複雑な軌道パターンをプログラムする。さらに、ロボットの手動制御は、ユーザにとって非常につまらないものでもある。ユーザは、通常、対象物体および／またはロボットが位置する周辺環境の特別な状況に従って、必要な判断の全てを行う必要がある。
【０００３】
従って、物体認識を可能としユーザ介在の必要性を限定する、ロボット制御のための、代替的なヒューマン・ロボット・インターフェース装置及び方法が必要性とされる。
【発明の概要】
【０００４】
一実施形態では、ロボットとの２方向無線通信において、ヒューマン・ロボット・インターフェース装置を使用してロボットを制御する方法は、ヒューマン・ロボット・インターフェースのディスプレイ・インターフェース上に、２次元画像、物体認識サポート・ツール・ライブラリの可視表現、及び行動サポート・ツール・ライブラリの可視表現を表示することを含む。２次元画像は、ロボットに関係する２個のビデオカメラによって提供される。この方法はさらに、２次元画像から選択された対象物体を表す選択物体画像を受信し、選択物体画像を複数の登録物体形状パターンと比較し、且つ、対象物体がヒューマン・ロボット・インターフェースに登録されていた場合、対象物体に関連した登録物体形状パターンを自動的に認識すること、を含んでいる。登録物体形状パターンは、ディスプレイ・インターフェース上に表示することが可能で、さらに、行動サポート・ツール・ライブラリから選択された、選択物体操作パターンを受信することができる。ヒューマン・ロボット・インターフェースからロボットに制御信号を送信することができる。制御信号は、ロボットが自動的に対象物体に近づき、物体操作パターンに従って対象物体の物体操作を遂行するようにさせる。
【０００５】
他の実施形態では、ヒューマン・ロボット・インターフェース装置は、プロセッサ、無線通信モジュール、コンピュータ可読メモリ、及びディスプレイ・インターフェースを含んでいる。無線通信モジュールは、２個のビデオカメラと多指マニピュレータと移動ベースとを有するロボットと、２方向無線通信する。コンピュータ可読メモリは、物体認識サポート・ツール・ライブラリ、行動サポート・ツール・ライブラリ、及び、明白に具体化された実行可能命令を含む。登録物体形状パターンは、物体認識サポート・ツール・ライブラリ中に格納された複数の登録物体に対応する。物体操作パターンは、行動サポート・ツール・ライブラリに格納された複数の物体の、物体操作に対応する。ディスプレイ・インターフェースは、２個のビデオカメラによって提供された２次元画像と、物体認識サポート・ツール・ライブラリの可視表現と、さらに、行動サポート・ツール・ライブラリの可視表現とを表示する。コンピュータ可読命令セットは、プロセッサによって実行された場合、ディスプレイ・インターフェース上に提示された２次元画像内の対象物体を表す選択された物体画像に対応する選択物体データを、ヒューマン・ロボット・インターフェース装置に受信させ、物体認識サポート・ライブラリ中に記憶された登録物体の少なくとも一部に基づいて、選択物体データと選択物体画像に対応する登録物体形状パターンを自動的に認識し、さらに、行動サポート・ツール・ライブラリから選択物体操作パターンを受信する。コンピュータ可読命令はさらに、プロセッサが無線通信モジュールを介してロボットに命令して、ロボットが自律位置ベースを使用して、選択物体画像に対応する対象物体に自動的に近づき、且つ、選択物体操作パターンに少なくとも部分的に基づいて多指マニピュレータを使用して対象物体上に物体操作を実行するように、プロセッサに命令しても良い。
【０００６】
さらに別の実施形態において、ヒューマン・ロボット・インターフェースは、無線モジュール、コンピュータ可読メモリ及びディスプレイ・インターフェースを含んでいる。無線通信モジュールは、２個のビデオカメラと多指マニピュレータと移動ベースとを有するロボットと、２方向無線通信する。コンピュータ可読メモリは、物体認識サポート・ツール・ライブラリと行動サポート・ツール・ライブラリを含んでいる。複数の登録物体に対応する登録物体形状パターンは、物体認識サポート・ツール・ライブラリに記憶され、複数の物体の物体操作に対応する物体操作パターンは行動サポート・ツール・ライブラリに記憶される。ディスプレイ・インターフェースは、２個のビデオカメラによって提供される２次元画像、物体認識サポート・ツール・ライブラリの可視表現、及び、行動サポート・ツール・ライブラリの可視表現を表示する。ヒューマン・ロボット・インターフェース装置は、形状ベースの一致アルゴリズムを使用して、選択物体画像に対応する登録物体形状パターンを自動的に認識するようにプログラムされている。選択物体画像は、２次元ディスプレイから選択され、対象物体を提示する。ヒューマン・ロボット・インターフェース装置はさらに、選択物体画像に対応する登録物体形状パターンが、物体認識サポート・ツール・ライブラリの可視表現中に表示された複数の形状から選択された形状を受信することによって自動的に認識されない場合、対象物体に関連する物体形状パターンを登録するようにプログラムされている。選択された形状は、対象物体の形状に最も類似している。ヒューマン・ロボット・インターフェース装置はさらに、無線通信モジュールを介して制御信号をロボットに無線によって送信し、行動サポート・ツール・ライブラリの可視表現から選択された選択物体操作パターンに少なくとも部分的に基づいて、多指マニピュレータを使用して対象物体上に物体操作を実行するように、プログラムされている。
【図面の簡単な説明】
【０００７】
【図１】ここに記載し説明した１個またはそれ以上の実施形態に係るヒューマン・ロボット・インターフェース装置を概略的に示す図である。
【図２】ここに記載し説明した１個またはそれ以上の実施形態に係るヒューマン・ロボット・インターフェース装置の構成要素を示す図である。
【図３】ロボットとここに記載し説明した１個またはそれ以上の実施形態に係るヒューマン・ロボット・インターフェース装置を備える、ロボットシステムを示す図である。
【図４】ここに記載し説明した１個またはそれ以上の実施形態に係るヒューマン・ロボット・インターフェース装置を使用する、ロボットを制御するための方法を示す、フローチャートである。
【図５】ここに記載し説明した１個またはそれ以上の実施形態に係るヒューマン・ロボット・インターフェース装置を使用して、空間内で制御されたロボットを示す図である。
【発明を実施するための形態】
【０００８】
ここに記載した実施形態によって提供される特徴及び更なる特徴は、添付図面と関連して以下の詳細な記載を参照することにより、さらに完全に理解することができる。
【０００９】
図面に示した実施形態は本質的に実例及び説明のためであって、特許請求の範囲によって定義される主題の限定を意図するものではない。説明的な実施形態の以下の詳細な説明は、以下の図面と関連してこれを読む場合、理解することができる。ここで、同様の構造は同様の参照番号で示されている。
【００１０】
図面を概略的に参照すると、ここに記載された実施形態は、ヒューマン・ロボット・インターフェース装置と、物体に近づきこの物体に操作を実行するような特定の仕事を完了するようにユーザがロボットを容易に制御することができる方法とに、指向される。実施形態は、ロボットをプログラムするように訓練されていない人々が、ロボットに仕事の完成を支援させるように、制御することを可能とする。例えば、ある人は、ある物体を回収し配送するために、召使ロボットを欲する場合がある。他の事例として、ある人は、ドアを開けて自分が部屋の中に入りあるいは出るために、ドアノブをロボットが操作することを望む場合がある。
【００１１】
ロボットが見ているものの２次元画像を表示する、ディスプレイ・インターフェースを有するヒューマン・ロボット・インターフェース装置によって、ロボットは無線で制御されている。この２次元画像は、ロボット上に配置されたステレオビデオカメラによって生成することができる。ディスプレイ・インターフェースはさらに、ロボットが遭遇しうる登録された及び登録されていない物体に関連する情報を含む物体認識サポート・ツール・ライブラリを、ロボットが物体に対して種々の操作または行為を実施するための命令を含む行動サポート・ツール・ライブラリと同様に、表示することもできる。ヒューマン・ロボット・インターフェース装置のユーザは、２次元画像内に示された物体を選択することができる。ロボットは次に、物体認識アルゴリズムを使用することによって、選択された物体と関連する物体認識サポート・ツール・ライブラリに記憶された登録物体形状パターンを自動的に認識することができる。ユーザは次に、行動サポート・ツール・ライブラリから物体操作パターンを選択して、ロボットに、選択された物体に関連する対象物体の操作を命令することができる。ロボットは、ヒューマン・ロボット・インターフェースから命令を受信し、選択物体操作パターンに従って物体を操作する。ヒューマン・ロボット・インターフェース装置及びその方法の種々の実施形態を、さらに詳細に記載する。
【００１２】
図１及び２を参照すると、ヒューマン・ロボット・インターフェース装置（ＨＲＩ）１１０の一実施形態が図示されている。図示のＨＲＩ・１１０は、召使ロボットのようなロボットを無線制御するためにユーザが操作する１個またはそれ以上のロボット制御プログラムを備えた、手持式携帯電話として構成されている。ＨＲＩ・１１０は召使ロボットとしての応用（即ち、ロボットが日常の仕事において人々を支援する応用）に関連して記載されているが、実施形態はこれに限定されることはない。例えば、ＨＲＩ・１１０は、ロボットが物品の製造を支援する、生産環境におけるロボットと共に使用することができる。
【００１３】
ＨＲＩ・１１０は、ロボットが見ているものの画像と同様、物体認識サポート・ツール・ライブラリと行動サポート・ツール・ライブラリ、これらについては以下に詳細に説明する、を表示することが可能なディスプレイ・インターフェースを有する、どのような装置であっても良い。ＨＲＩ・１１０は、デスクトップコンピュータ、ラップトップコンピュータ、ノートブック、スマートフォーン、メディアプレーヤ、専用ハードウエア等であり得る。図示のＨＲＩ・１１０は、ディスプレイ・インターフェース１１２、複数のハードキイ１４６（例えば、“トーク”、“エンド”などの携帯電話ハードキイであって、その機能がＨＲＩによって使用され或いは使用されないもの）、プロセッサ１１５、コンピュータ可読メモリ１１６、無線通信モジュール１１７及び１個またはそれ以上の入力装置１１８を備えている。プロセッサ１１５、ディスプレイ・インターフェース１１２、コンピュータ可読メモリ１１６、無線通信モジュール及びユーザに装置１１８は、ローカルエリアネットワークに接続されても良い。このローカルエリアネットワークは、ＨＲＩ・１１０の種々の構成要素間の通信を促進するために、バスまたは他のインターフェースとして実現されても良い。
【００１４】
ディスプレイ・インターフェース１１２は、どのようなディスプレイ装置として構成されても良く、どのようなディスプレイ技術、例えば液晶ディスプレイ、プラズマディスプレイ、ブラウン管、電子インク等を組み込んでも良い。上述したように、ディスプレイ・インターフェース１１２は、ロボットが見ているものの２次元画像、行動サポート・ツール・ライブラリ１３０、物体認識サポート・ツール・ライブラリ１４０を表示する。図示する実施形態において、ディスプレイ・インターフェース１１２はタッチスクリーンとして構成され、これによって、ユーザは、ディスプレイ・インターフェースに表示されたソフトキイ（例えば、アクション取消し（オーバーライド）ソフトキイ１３６とアクション登録ソフトキイ１３８）、２次元画像１２０のハイライト部分等にタッチすることによって、コマンドをＨＲＩ・１１０に入力することができる。他の実施形態では、ＨＲＩ・１１０は、例えば、キイボード、マウス、ジョイスティックなどの入力装置１１８を含む。これらのその他の入力装置１１８は、タッチスクリーンディスプレイ・インターフェース１１２と共に、或いはこれの代わりに使用することができる。
【００１５】
プロセッサ１１５は、コンピュータ可読メモリ１１６と通信可能に接続されていても良い。プロセッサ１１５は、ここに記載した機能を実行するために実行可能な命令を受信し実行することが可能な、どのようなプロセッサ装置であっても良い。一例であって限定ではなく、プロセッサ１１５は、ＡＲＭホールディングによって開発され製造された、３２ビットの縮小命令セットコンピュータ命令セットアーキテクチャーであって良い。例えば、インテル及びＡＭＤによって開発され製造されたプロセッサのような、他のプロセッサ装置の使用が可能であることを理解すべきである。
【００１６】
コンピュータ可読メモリ１１６は、１個またはそれ以上のメモリを備えていても良い。コンピュータ可読メモリ１１６は、揮発および／または不揮発性メモリとして構成されても良く、従って、ランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、および／または他のタイプのランダムアクセスメモリを含む）、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）および／またはその他のタイプの記憶部品を含みうる。さらに、コンピュータ可読メモリ１１６は、ここに記載したＨＲＩ・１１０の機能を実行させるために、プロセッサ１１５と関連する構成要素に命令するように構成された、明白に具体化された実行可能命令セットを記憶するように構成されていても良い。実行可能命令セットは、例えば、デスクトップコンピュータまたはスマートフォーンのようなコンピュータ装置内に記憶された１個またはそれ以上のロボット制御プログラムとして具体化されても良い。
【００１７】
無線通信モジュール１１７は、プロセッサ１１５とコンピュータ可読メモリに通信によって接続されており、他の外部装置（例えば、リモートサーバ）と同様に、ロボット１６０（図３）に無線信号１７０を無線で送信し、ロボット１６０から無線信号１７０を無線で受信する。無線通信モジュール１１７は、例えば無線通信カードまたは集積回路のような無線通信部品として構成されていても良い。無線通信モジュール１１７は、インターネットのようなワイドエリアネットワーク、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワークおよび／またはその他のネットワークを含むがしかしこれらに限定されることが無い、コンピュータネットワーク上で通信するように構成されていても良く、さらに、ＨＲＩ・１１０を１個またはそれ以上のロボット１６０に電気的に接続するように構成されていても良い。一実施形態では、無線通信モジュール１１７は、Ｗｉ−ＦｉまたはＷｉＭａｘ通信プロトコルを介して無線通信するように動作する。その他の無線通信プロトコルを使用することができることを理解すべきである。
【００１８】
次に、図３を参照すると、ロボットシステム１００が図示されており、ユーザ１１４はロボット１６０を、ＨＲＩ・２１０を介して制御する。図３に示す実施形態において、ＨＲＩ・２１０は、ディスプレイ・インターフェース２１２とユーザ入力装置２１８（キイボード及びマウス）を有するデスクトップコンピュータとして描かれている。しかしながら、図３に示したＨＲＩ・２１０の機能は、図１に示した手持式ＨＲＩ・１１０の機能と本質的に同じである。図示するロボット１６０は、ヘッド部分１６４、１本または複数のアーム１６６、マニピュレータハンド１６２、及び移動ベース１６７を備えている。ここに記載した実施形態は、図３に示したロボット１６０の構成によって限定されることはなく、ロボット１６０はどのような形状とサイズであっても良いことを理解すべきである。ロボットの構造は、ＨＲＩが通信によって接続するロボットのタイプに依存していても良い。
【００１９】
ロボット１６０は、ＨＲＩ・２１０に無線信号を送信し、ＨＲＩ・２１０から無線信号を受信する、ロボット無線通信モジュール（図示せず）を含んでいる。このようにして、ロボット１６０はＨＲＩ・２１０と無線通信する。ロボット１６０は、種々の信号、例えばビデオ信号、位置信号、パワーレベル信号、健康信号等をＨＲＩ・２１０に送信することができる。ＨＲＩ・２１０は、選択物体操作パターンに対応する制御信号、自律的ナビゲーション始動信号（例えば、ポイントＡへ移動する命令）、リモート制御信号（例えば、マニュアル制御信号）等の種々の信号を、ロボット１６０に送信する。
【００２０】
ロボット１６０は、少なくとも２個のビデオカメラ１６５を備えており、このカメラ１６５はロボットが空間内を移動するに伴ってロボットが見ているものを可視的に捕獲することができる。図示する実施形態では、ビデオカメラ１６５はロボット１６０の頭の部分１６４に配置されている。ビデオカメラ１６５をロボット１６０の他の領域に配置できることを理解すべきである。２次元ステレオ画像を形成するように、ビデオカメラ１６５は横方向に離れ離れにされている。捕獲された２個の画像の結合によってステレオ画像が形成され、このステレオ画像はロボットが３次元空間において動作するように深さの情報を含んでいる。例えば、ロボットは、２個のビデオカメラによって形成されたステレオ画像を参照して、対象物体がロボットからどの程度離れているかを決定することができる。空間内を移動するのと同様空間内で対象を操作するために、ロボットは、２次元ステレオ画像を用いてＸ，Ｙ及びＺ座標を決定するために、ナビゲーションアルゴリズムを利用することができる。２個のビデオカメラ１６５によって形成される画像を、無線通信ネットワーク上でＨＲＩに無線通信することができる。この場合、画像は、無線通信モジュール１１７によって受信され、プロセッサ１１５によって処理され、そしてディスプレイ・インターフェース１１２上に２次元画像１２０として表示される。
【００２１】
アーム１６６がロボット１６０のベースの一端に接続され、操作ハンド１６２がその他端に接続される。１個またはそれ以上のアームを有する実施形態がある。アーム１６６と操作ハンド１６２によって提供される自由度は、制御されるロボットのタイプに依存し得る。一例として、操作ハンド１６２が人間の手と同じような方法で物体を掴むことができるように、操作ハンド１６２は多指マニピュレータであっても良い。アーム１６６と操作ハンド１６２の動きは、例えば一例としてサーボモータのような、複数のアクチュエータによって達成されても良い。以下にその詳細を説明するように、アクチュエータをＨＲＩ・２１０から受信する信号を介して制御することができる。
【００２２】
移動ベース１６７は、ロボット１６０が、空間の何処をも移動できるように構成されている。移動ベース１６７は、ＨＲＩから受信した命令に従ってロボットを種々の位置に輸送するように駆動される、１個またはそれ以上の車輪（図示せず）を備えることができる。この車輪は例えば、電気モータによって駆動されても良い。例えば、連続した軌道や可動レッグのような他の移動手段も利用することができる。ロボット１６０は、ＨＲＩ・１１０／２１０から命令を受信し、ポイントＡからポイントＢに自律的に移動することができる。ロボットのプロセッサ（図示せず）は、次に移動ベース１６７の構成要素に、平行移動しまたは回転するように命令して、それに応じて、ロボット１６０がポイントＡからポイントＢに動くようにすることができる。
【００２３】
図１−３を参照すると、物体認識サポート・ツール・ライブラリ１４０と行動サポート・ツール・ライブラリ１３０は、コンピュータ可読メモリ１１６内に記憶された、１個またはそれ以上のデータベースとして構成されていても良い。図１及び３において、ディスプレイ・インターフェース１１０／２１０上に示された物体認識サポート・ツール・ライブラリ１４０と行動サポート・ツール・ライブラリ１３０は、物体認識サポート・ツールと行動サポート・ツールのライブラリを構成するデータの可視表現である。例えば、物体認識サポート・ツール・ライブラリ１４０の可視表現は、物体認識サポート・ツール・ライブラリ１４０内に記憶された種々の物体のイラストを提供することができる。
【００２４】
物体認識サポート・ツール・ライブラリ１４０は、種々の物体の幾何学的形状を現す、登録物体形状パターンに関する情報を含んでいる。登録物体形状パターンのそれぞれは、ある物体を表す。登録物体形状パターンは、その物体の大きさ、その物体の形状、その物体の組織、その物体の重心、その物体の脆弱性等の情報を含んでいても良い。ロボット１６０は、実際の空間で関連する物体に近づき且つ操作するために、登録物体形状パターンの情報を使用する。２個のビデオカメラ１６５によって生成された２次元ステレオ画像と登録物体形状パターンを使用して、ロボットは、物体の座標と対象物体に対するその位置とを計算する。
【００２５】
物体認識サポート・ツール・ライブラリ１４０はさらに、ロボットが遭遇する登録されていない物体を登録するために使用する、基本的な形状属性（例えば、形状１４２）を含んでいる。これらの基本的な形状属性は、物体認識サポート・ツール・ライブラリ１４０内に記憶することも可能で、且つ、ユーザによって選択可能であっても良い。以下により詳細に説明するように、ロボットが自動的に認識することができなかった基本形状属性を、ユーザが指定しても良い。図示した実施形態において、物体認識サポート・ツール・ライブラリの可視表現は、スクロール機能１４４ａと１４４ｂを含んでいる。これらの機能は、ユーザが記憶された登録物体及び形状１４２の全てをスクロールすることを可能とする。
【００２６】
行動サポート・ツール・ライブラリ１３０は、物体認識サポート・ツール・ライブラリ１４０内に記憶された登録物体に関連する、物体操作パターンについての情報を含む。各物体操作パターンは、所望のタスクに従って物体を掴み且つ移動させるために、ロボットが、移動ベース１６７、アーム１６６および／または操作ハンド１６２を動かすための命令を含んでいる。限定ではなく一例として、登録物体は、ドアノブであり得る。複数の物体操作パターンがドアノブ物体に関連付けられ、且つ、ユーザに選択をさせるために、行動サポート・ツール・ライブラリ１３０においてユーザに表示することができる。ユーザに提示された１個の物体操作パターンは、ドアノブを左に回転させるものであっても良い。ドアを押して開けることまたはドアを引っ張って閉めることのような、他の物体操作パターンを提示することもできる。
【００２７】
異なる物体操作パターンを表す物体操作パターンアイコン１３２を、行動サポート・ツール・ライブラリ１３０の可視表現内に表示しても良い。ユーザが異なる物体操作パターンアイコンをスクロールできるように、スクロール機能１３４ａ及び１３４ｂを設けても良い。ディスプレイ・インターフェース１１２上の対応する物体操作パターンアイコンにタッチすることによって、ユーザが所望の物体操作パターンを選択するようにしても良い。マウス装置を使用して、所望の物体操作パターンを選択しても良い。
【００２８】
各物体操作パターンは、ロボット１６０に無線送信される制御命令（例えば、プログラムされたロボットルーチン）を含んでいる。ロボット１６０は制御命令を受信し、制御信号を種々のアクチュエータに提供して、ロボット１６０に物体操作パターンに関連した行動と移動を実行させる。この方法によって、高度なロボットプログラムの知識を必要とすることなく種々の仕事をロボット１６０が実行するように、ユーザは簡単に命令することができる。
【００２９】
ロボット１６０上の２個のビデオカメラによって生成された２次元画像１２０は、ディスプレイ・インターフェース１１２の一領域内に表示される。上述したように、２次元画像１２０は、２個のビデオカメラを使用してロボット１６０が見ている２次元空間の表現である。２次元画像１２０を見ることによって、ユーザは、ロボット１６０に近い物体を見ることができる。以下に詳細に説明するように、ロボット１６０が仕事を実行する或いはロボット１６０が操作させることを望む物体をユーザが選択することができる。図１に示すように、操作のための物体を含む２次元画像の特定された部分を選択するために、ユーザはマウスまたはタッチスクリーンを用いて物体１２４上にボックス１２２を描くことができる。プロセッサは次に、選択された物体１２４に対応する選択物体データを受信し、その後、選択物体１２４に関連する登録物体形状パターンを自動的に認識することができる。例えば、選択物体１２４が図１に示すようにソーダカンであり、登録物体形状パターンの一個としてソーダカンが以前に登録されていた場合、ＨＲＩ・１１０は、選択された物体１２４がソーダカンであることを自動的に認識し、物体認識サポート・ツール・ライブラリから適切な円柱状の登録物体形状パターンを検索することができる。
【００３０】
実施形態は、ディスプレイ・インターフェース１１２内の、２次元画像１２０、行動サポート・ツール・ライブラリ１３０及び物体認識サポート・ツール・ライブラリ１４０の配置に限定されるものではなく、他の配置も可能であることを、理解すべきである。
【００３１】
ＨＲＩ・１１０が、例えばスマートフォーンのような汎用装置上で実現された場合、ユーザは既存のハードキイ１４６を、例えば、２次元画像１２０、物体認識サポート・ツール・ライブラリ１４０及び行動サポート・ツール・ライブラリ１３０内での選択と同様、ロボット１６０を手動で制御し、システムパラメータを変更するため等の多くの目的のために用いることができる。
【００３２】
ディスプレイ・インターフェース１１２上に追加の機能をさらに提供することができる。例えば、アクション・オーバーライド・ボタン１３６を提示して、ユーザがこれを選択した場合、ユーザが、物体操作パターンの実行を無効にし、タッチスクリーンまたはジョイスティックを介してロボットを手動で制御することを可能とする。以下に詳細に説明するように、ユーザによってアクション登録ボタン１３８を選択して、新しい物体操作パターンを登録することができる。
【００３３】
ＨＲＩ・１１０の一実施形態の操作とロボットを制御するための方法を、特に図４のフローチャートを参照し且つ他の図を一般的に参照して、以下に説明する。ユーザ１１４はＨＲＩ・１１０を操作して、ロボットが種々のタスク、例えば物体の回収、を実行するように制御することができる。一例として、ロボット１６０はユーザ１１４を支援する召使ロボットである。ユーザ１１４は障害者であり、物体を配送するために召使ロボットに依存している。図５は、生活空間内に位置するユーザ１１４とロボット１６０を示している。生活空間内には、長椅子１９２ａ及び椅子１９２ｂ、１９２ｃのような障害物が存在する。図示の実施形態ではソーダのカンである対象物体１５４は、カウンタ１９４上に位置している。ＨＲＩ・１１０を介してロボット１６０を操作するユーザ１１４は長椅子１９２ａに座っており、ロボット１６０がソーダカンの対象物体１５４をカウンタ１９４から回収し、それをユーザの近くに位置するテーブル１５０に配送することを望んでいる。
【００３４】
上述したように、２個のビデオカメラ１６５を介してロボット１６０が見ているものの２次元画像が、ＨＲＩ・１１０のディスプレイ・インターフェース１１２上でユーザに提示される。一実施形態では、ユーザはロボット１６０の頭の部分１６４を制御して、２個のビデオカメラ１６５が空間（例えば、リビングルーム）をスキャンするように、回転させることができる。ユーザがビデオカメラ１６５を制御して物体にズームインすることができるように、ズーム機能をさらに提供することができる。一旦ユーザが２次元画像内に所望の物体を見ると、ユーザはその物体を選択することができる。一実施形態では、ユーザは、ディスプレイ・インターフェース１１２のタッチスクリーン上で指を使用して、選択された物体のまわり或いはそれを取り囲んでボックス１２２を描くことができる。
【００３５】
選択された物体１２４は、図４のブロック１８０で示すように、ＨＲＩ・１１０によって受信される。２次元画像１２０中の選択物体は、実空間内の実際の対象物体の仮想表現であり、その物体は図示の事例ではソーダカンである。ブロック１８１において、ＨＲＩ・１１０は、物体認識サポート・ツール・ライブラリ１４０内に記憶された、選択された物体１２４に関連する登録物体形状パターンを、自動的に認識しようと試みる。ＨＲＩ・１１０は画像ベースの物体認識アルゴリズムがプログラムされており、選択物体１２４の画像を受信し、それを登録物体形状パターンと比較することができる。どのような数の画像ベースの物体認識アルゴリズムまたはプログラムを利用することができる。
【００３６】
一実施形態では、画像ベースの物体認識アルゴリズムは特徴ベースの一致アルゴリズムであり、このアルゴリズムでは、選択された物体の特徴が、物体認識サポート・ツール・ライブラリ１４０内に記憶された登録物体形状パターンの特徴と比較される。特徴ベースの一致アルゴリズムにおいて、コーナー、エッジ及び表面構造のような特徴が、比較可能な一致を見出すために比較される。相似値を発生させ、最も高い相似値を有する登録物体形状パターンを適切な登録物体形状パターンとして選択することができる。特徴ベースの一致アルゴリズムの一例は、Ｓｐｅｅｄｅｄ−ｕｐ・ｒｏｂｕｓｔ・ｆｅａｔｕｒｅ（ＳＵＲＦ）アルゴリズムである。Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ・ｆｅａｔｕｒｅ・ｔｒａｎｓｆｏｒｍ及びＥｄｇｅ・Ｍａｔｃｈｉｎｇアルゴリズムのような、その他の画像ベースの物体認識アルゴリズムの利用が可能であることを理解すべきである。
【００３７】
選択物体１２４に一致する登録物体形状パターンが見出されると、次に、ブロック１８１において、選択された物体１２４が登録されたと見做される。登録物体形状パターンが見出されない場合は、選択物体１２４は登録されていないと見做される。ブロック１８２において、もし選択物体１２４が登録されていないと、ユーザは物体認識サポート・ツール・ライブラリ１４０を閲覧して、選択物体１２４に最も一致する物体形状を見出すことができる。物体形状は前もって定義されていても良く、多くの異なる物体形状（例えば、球状、四角形状、三角形状等を含む）を含んでいても良い。図示する実施形態では、ユーザは、選択物体１２４に関連させるために円筒形状を選択することができる。これは、ソーダカンが一般に円筒状であるためである。この円筒は次に、登録物体形状パターンとして登録され且つソーダカンとして関連付けられる。
【００３８】
ユーザが新しい物体を登録した場合、それに関連する物体操作パターンを有する場合も有さない場合もある。一実施形態では、各物体形状は１個またはそれ以上のデフォルトの物体操作パターンを有していることがある。ユーザは、新しく、登録物体形状パターンに関連する新しい物体操作パターンをプログラムすることを、決定することができる。限定ではなく一例として、ユーザは、アーム１６６と操作ハンド１６２を手動で制御して、タッチスクリーンまたはその他の入力装置、例えばマウス及びキイボード、を使用してソーダカンを掴むことができる。ＨＲＩ・１１０は、ユーザによって提供された入力を、選択物体に関連した新しい登録物体操作パターンの命令として記憶されるように、記録することができる。一旦ユーザが物体の手動操作を完了すると、ブロック１８２において、ユーザはその動きを登録物体操作パターンとして登録することを決定することができる。一実施形態では、ユーザによって入力として提供された制御信号を受信し、その後、ロボットによって実行された操作パターンがより効率的になるように、動き或いはステップの数を減少させるための最適化プログラムを、ＨＲＩは備えている。例えば、ユーザはロボットを手動で制御する経験が無く、そのため、ユーザはロボットの動きを修正せざるを得ないこともある（例えば、コマンドがロボットを操作ハンドの所望の位置より行き過ぎるようにさせることもある）。最適化プログラムは、最適物体操作パターンを作りだすために、過度の動きまたはその他の効率の悪さを認識することができる。
【００３９】
ブロック１８５において、登録物体に関連する登録操作パターンがあるか否か、または、ユーザが実行しようと望んでいる所望の物体操作に関連する操作パターンがあるか否かが、決定される。ユーザが実行しようと思うタスクに一致した登録物体操作パターンに対して、ユーザは行動サポート・ツール・ライブラリ１３０を閲覧することができる。ユーザの必要性に適合する物体操作パターンが無い場合、ブロック１８７において、ユーザはディスプレイ・インターフェース上のアクション・オーバーライド・ボタンを選択することができる。ブロック１８８において、ブロック１８３とブロック１８４に関して上記で述べたように、ロボットを手動で制御して新しい物体操作パターンを登録することができる。
【００４０】
ユーザの必要性に適合する物体操作パターンが存在する場合は、行動サポート・ツール・ライブラリ１３０中の所望の物体操作タスクに関連した操作パターンアイコンをユーザが選択することができる。ユーザは、タッチスクリーンである操作パターンアイコンにタッチし、またはマウス或いはその他のポインティングデバイスで選択することができる。限定ではなく一例として、選択された物体はドアノブであっても良い。ユーザは、ドアノブを掴みそれを右に廻すことを提供する操作パターンを選択することができる。
【００４１】
ユーザが所望の物体操作パターンを選択した後、ロボットに制御信号を送信し、所望のタスクを完了するようにロボットに物体操作パターンに従って動くように命令することができる。このようにして、ロボットは、ブロック１９０において対象物体の自律制御を完了する。上記で参照したドアノブの事例を使用して、ロボットは自身の手を、予め登録された形状（即ち、姿勢）でドアノブに近づけることができる。ロボットはその後、適切な力フィードバック制御、これは操作ハンド１６２上に位置する６軸力センサによって達成される、によりドアノブを掴み、そして、６軸センサによって観測されたトルクに基づいてドアノブの回転を完了することができる。力要件は、登録物体操作パターン中に予めプログラムしておくことができる。ロボットは次に、ドアを開けるタスクが完了するように、適切な力フィードバック制御によってドアを開けることができる。自律物体操作中のどのような時間においても、ユーザは、アクション・オーバーライド・ボタン１３６を押すことによってロボットを停止させることができ、これによってロボットを手動制御下に置くことができる。
【００４２】
ロボット１６０は、選択された物体１２４に相当する対象物体に自律的に或いは半自律的に近づくことができる。図５を参照すると、ロボット１６０は、図示する実施形態では、ロボット１６０から部屋の反対側にあるカウンタ１９４上に位置するソーダカンである、対象物体１５４からある距離に位置している。２個のビデオカメラ（同様に、もし利用できれば、例えば、光ビーム、障害物に貼付されたＲＦＩＤタグ等の他の航行支援装置）を使用して、ロボット１６０は対象物体１５４に適切に到達するように、空間を自律的に航行することができる。ロボット１６０は、対象物体１５４に向って航行する間に、例えば２個の椅子１９２ｂ、１９２ｃのような障害物を避ける。
【００４３】
ロボットは、自身の現在の位置から対象物体１５４または所望の場所（例えば、位置１９６にあるテーブル１５０上にソーダカンを置くために、テーブル１５０の近く）への最も効率的なルートを決定するために、ルート計画アルゴリズムを利用することができる。一実施形態では、ロボット１６０は、障害物を検出するために２個のビデオカメラを使用して空間をスキャンする。２個のビデオカメラによって提供される３次元データを使用して、ロボットは障害物と空間内でのその位置とを検出することができる。他の実施形態では、障害物及びその他の禁止された領域を含む空間レイアウトを承知するように、ロボットを、間取り図を用いて予めプログラムすることができる。ビデオカメラおよび／またはＧＰＳデータ（或いは、光ビーム、ＲＦＩＤ信号等のようなその他のナビゲーション装置）を用いて、ロボット１６０は空間内を自律的に航行することができる。ロボット１６０はさらに、例えば、ＩＲ障害物回避センサのような障害物回避センサを装備することができる。一実施形態では、ルート計画アルゴリズムは、Ｒａｐｉｄｌｙ−ｅｘｐｌｏｒｉｎｇ・ｒａｎｄｏｍ・ｔｒｅｅ・ｒｏｕｔｅ−ｐｌａｎｎｉｎｇ（ＲＲＴ）アルゴリズムを備えることができる。ＲＲＴは、空間内に存在し得る障害物を回避しながらナビゲーションルートを効率的に計画するために、利用することができる。ツリーは、空間内にサンプルを生成し、このサンプルをツリーの最も近いサンプルに接続することによって、空間表現内に形成することができる。ロボットの運行ルートは、ポイントＡとポイントＢ間の最適経路に基づいて選択することができる。
【００４４】
ロボット１６０は、自律的よりもむしろ手動で所望の位置へまたは所望の位置から移動させることができる。この場合、ＨＲＩ・１１０は、ユーザがロボット１６０の動きを手動で指示するリモートコントローラとして動作する。従って、ユーザはロボット１６０を対象物体に向って案内することができる。
【００４５】
一例として図５を使用すると、ユーザ１１４は対象物体１５４としてソーダカンを選択し、且つ、行動サポート・ツール・ライブラリ１３０から、掴むための操作パターンを選択することができる。ロボット１６０は次に、ルート計画アルゴリズムを用いて、対象物体１５４までの椅子１９２ｃを避ける最適ルート（矢印１５７）を自動的に決定することができる。一旦対象物１５４に到達すると、ロボット１６０は所定の位置（例えば、対象物体１５４に関して正しい位置）に付き、その後、選択物体操作パターンの実行を開始することができる。ソーダカンの場合、ロボット１６０は操作ハンド１６２を適切な姿勢に開き、操作ハンド１６２がソーダカンの中央近くでソーダカンに接触するように、アーム１６６を動かすことができる。ロボット１６０は、次に、選択物体操作パターンによって指示されるように適切な力で操作ハンド１６２を閉じ、ソーダカンをカウンタ１９４から持ち上げることができる。ユーザは次に、テーブル１５０に近づきテーブル上にカンを置くようにロボットに命令することができる。これは、ユーザが選択することができる別の物体操作パターンである。ロボット１６０は、自動的にルートを決定し、障害物を回避しながら（矢印１５９）所望の位置へ移動することができる。ユーザ１１４はさらに、所望の位置へ移動するようにロボット１６０を手動で制御することを選択することができ、同様に、対象物体１５４をテーブル１５０上に置くようにロボットを手動で制御することもできる。
【００４６】
ここに記載したヒューマン・ロボット・インターフェース装置及び方法によって、ロボットのプログラミングに対して熟練していないユーザが、タスクを完了するためにロボットを容易に制御することが可能となったことを、理解すべきである。ここに記載したヒューマン・ロボット・インターフェース装置及びその方法は、２個のビデオカメラを用いてロボットが見ているものの２次元画像を表示すると同様に、物体認識サポート・ツール・ライブラリと行動サポート・ツール・ライブラリを表示する。２次元画像、物体認識サポート・ツール・ライブラリ及び行動サポート・ツール・ライブラリは、ユーザが複雑な軌道計画または命令を入力する必要なく、ロボットを無線で制御するために、ユーザによって利用され得る。ヒューマン・ロボット・インターフェース装置が物体を自動的に認識できるように、ユーザは２次元画像上の対象物体を選択することができる。ユーザはその後、物体操作パターンに従ってロボットが自動的に物体を操作できるように、物体操作パターンを選択することができる。幾つかの実施形態では、ロボットがルート計画アルゴリズムを用いて対象物体まで自動的に運行する。
【００４７】
特定の実施形態について図示し且つ説明したが、特許請求の範囲に記載された主題の精神及び範囲を離れることなく、種々の変更及び修正がなし得ることを理解すべきである。さらに、ここでは、特許請求の範囲に記載された主題の種々の特徴について説明したが、このような特徴を組み合わせて使用する必要はない。従って、添付の特許請求の範囲が、特許請求の範囲に記載された主題の範囲内に入るこのような変更及び修正の全てをカバーするものと、考えられる。
【図１】
0005855885.tif 000002
【図２】
0005855885.tif 000003
【図３】
0005855885.tif 000004
【図４】
0005855885.tif 000005
【図５】
0005855885.tif 000006