(57)【要約】【解決手段】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）による現実世界アシスタンスを提供するための方法及びシステムを提供する。本方法は、対話型インターフェースを投影するために、物理的環境内のユーザの位置と、物理的環境内部のサーフェイスとを識別することを提供する。本方法は、また、対話型インターフェースを投影するために、ユーザの位置及びサーフェイスに基づいて、物理的環境内部の場所に移動することを提供する。さらに、本方法は、対話型インターフェースの複数の画像をキャプチャすることを提供する一方、対話型インターフェースは、ユーザによって、ユーザによって行われた入力オプションの選択を判定するために対話する。【選択図】図２
2021501496.tif 000002
【特許請求の範囲】
【請求項１】
ロボットによって対話型インターフェースを提供するための方法であって、
物理的環境内のユーザの位置を識別することと、
前記ユーザの前記位置に基づいて、前記対話型インターフェースを投影するために、前記物理的環境内部のサーフェイスを識別することと、
前記ロボットが前記対話型インターフェースを投影するために、前記ユーザの前記位置及び前記サーフェイスに基づいて、前記物理的環境内部の場所に移動することと、
前記サーフェイス上に、前記対話型インターフェースを投影することであって、前記対話型インターフェースは複数の入力オプションを含む、前記投影することと、
対話型インターフェースは前記ユーザと対話しながら、前記対話型インターフェースの複数の画像をキャプチャすることと、
前記複数の画像から、前記ユーザによって行われた選択に関連付けられる入力オプションを判定することであって、前記入力オプションは前記選択を処理するためのサーバに通信する、前記判定することと、
を含む、方法。
【請求項２】
前記対話型インターフェースに、前記ユーザによって行われた前記選択に関連付けられる入力オプションが行われていることのフィードバックを提供することをさらに含む、請求項１に記載の方法。
【請求項３】
ユーザインターフェースを投影することは、前記サーフェイス上に前記対話型インターフェースに関連付けられる画像をレンダリングするために、集光するためのレンズシステムを有する投影デバイスによって行われる、請求項１に記載の方法。
【請求項４】
前記ユーザインターフェースを前記投影することは、前記対話型インターフェースに関連付けられるグラフィカルユーザインターフェース（ＧＵＩ）と、前記複数の入力オプションに関連付けられるグラフィック式選択ボタンとを投影することを含む、請求項１に記載の方法。
【請求項５】
前記物理的環境内部に前記サーフェイスを前記識別することは、前記サーフェイスの属性を分析することを含み、前記属性は、反射性、コントラスト、色、テクスチャ、エリア、ゲイン、またはサーフェイス輪郭の１つ以上を含む、請求項１に記載の方法。
【請求項６】
前記対話型インターフェースを前記投影している間に、前記対話型インターフェースの外観のスキューを補正することであって、前記補正することは、前記サーフェイス上に投影される前に、前記ユーザインターフェースに関連付けられる１つ以上の画像を歪ませることを含む、前記補正することをさらに含み、
前記補正することは、前記対話型インターフェースを前記投影している間に、前記ロボットと前記サーフェイスとの間に形成され、前記補正することは、前記サーフェイス上に投影される前に、前記ユーザインターフェースに関連付けられる１つ以上の画像を歪ませることを含む、請求項１に記載の方法。
【請求項７】
前記対話型インターフェースを前記投影している間に、前記対話型インターフェースの外観のスキューを補正することであって、前記補正することは、前記対話型インターフェースを投影するために、第２の場所に移動すること、もしくは配向を変化することの一方もしくは両方を含む、前記補正すること、
または、前記ロボットの前記場所を調整すること、
あるいは、前記補正すること及び前記調整することの組み合わせをさらに含む、請求項１に記載の方法。
【請求項８】
前記サーフェイスに関連付けられる１つ以上の色の分析に基づいて、前記対話型インターフェースに関連付けられるコントラストの減少を検出することと、
前記サーフェイスに関連付けられる前記１つ以上の色の前記分析に基づいて、前記対話型インターフェースに関連付けられる１つ以上の色を調節することによって、前記コントラストの減少を補正することと、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記複数の画像から、前記ユーザによって行われた前記選択に関連付けられる前記入力オプションを前記判定することは、前記対話型インターフェースの前記入力オプションに関連付けられる領域内の前記サーフェイス上で前記ユーザによって行われたタッチを検出することを含む、請求項１に記載の方法。
【請求項１０】
前記ユーザによって行われた前記選択に関連付けられる前記入力オプションを前記判定することは、さらに、前記サーフェイス上で前記ユーザによって行われた前記タッチに関連付けられる音をキャプチャすることを含む、請求項９に記載の方法。
【請求項１１】
前記ユーザによって行われた前記選択に関連付けられる前記入力オプションを前記判定することは、手ぶり、手の位置、手の動き、指の位置、指の動き、手の配置、指の配置、もしくは手サイン、または前記のものの２つ以上の組み合わせを検出することを含む、請求項１に記載の方法。
【請求項１２】
前記選択を前記処理したことに応答して前記サーバから、前記サーフェイス上に前記投影するために、追加コンテンツを受信することをさらに含む、請求項１に記載の方法。
【請求項１３】
対話型インターフェースを提供するためのロボットであって、
物理的環境に関連付けられるデータを取得するように構成される複数のセンサであって、前記複数のセンサは１つ以上のカメラを含み、前記データは、前記物理的環境内部のユーザの位置を識別するために、及び前記対話型インターフェースを投影するために前記物理的環境内部のサーフェイスを識別するために、前記物理的環境のマップを構造化するために使用可能な前記物理的環境に関連付けられる、前記複数のセンサと、
前記物理的環境の前記マップ、前記ユーザの前記位置、及び前記サーフェイスの場所に基づいて、前記ロボットが前記対話型インターフェースを前記投影するために移動する予定である前記物理的環境内部の場所を判定するために、前記物理的環境に関連付けられる前記データを処理するように構成されるプロセッサと、
前記ロボットを前記物理的環境内部の前記場所に移動させるように構成される移動ユニットと、
前記対話型インターフェースをレンダリングするように構成されるグラフィックスユニットと、
前記サーフェイス上に、前記対話型インターフェースを前記投影するように構成されるプロジェクタシステムであって、前記対話型インターフェースは複数の入力オプションを含む、前記プロジェクタシステムと、を備え、
前記１つ以上のカメラは前記対話型インターフェースの複数の画像をキャプチャするように構成される一方、前記対話型インターフェースは前記ユーザと対話し、前記プロセッサは、さらに、前記ユーザによる入力オプションの選択を判定するために、前記複数の画像を処理するように構成される、ロボット。
【請求項１４】
フィードバック信号は、前記入力オプションの前記選択が受信されていることを示すために、前記対話型インターフェースに提供される、請求項１３に記載のロボット。
【請求項１５】
前記ユーザによって行われた前記選択に関連付けられる前記入力オプションを、前記サーフェイス上に前記プロジェクタシステムによって投影される追加コンテンツを受信するために、サーバに通信するように構成される通信リンクをさらに備える、請求項１３に記載のロボット。
【請求項１６】
前記複数のセンサ及びプロセッサは、さらに、前記サーフェイスの属性を分析するように構成され、前記属性は、反射性、コントラスト、色、テクスチャ、エリア、ゲイン、またはサーフェイス輪郭の１つ以上を含む、請求項１３に記載のロボット。
【請求項１７】
前記プロセッサは、さらに、前記ユーザによって行われた前記選択に関連付けられる前記入力オプションを前記判定するために、前記対話型インターフェースの前記入力オプションに関連付けられる領域内の前記サーフェイス上で前記ユーザによって行われたタッチを検出するように構成される、請求項１３に記載のロボット。
【請求項１８】
ロボットによってゲームセッションを提供するための方法であって、
ユーザから、ビデオゲームを実行するための命令を受信することと、
前記物理的環境内部の前記ユーザの位置を識別することと、
前記ビデオゲームを投影するために、前記物理的環境内部のサーフェイスの属性を識別することと、
前記ビデオゲームと対話するために、前記ユーザによって使用される複数のゲームコントローラから、ゲームコントローラを判定することと、
前記ゲームコントローラとの無線接続を確立することと、
前記ロボットが、前記ユーザの前記位置に基づいて、前記ゲームコントローラを前記ユーザに提供するために、前記ユーザに近接する第１の場所に移動することと、
前記ロボットが、前記ユーザの前記位置及び前記サーフェイスの前記属性に基づいて、前記ビデオゲームのグラフィック出力を投影するために、第２の場所に移動することと、
前記ビデオゲームを実行し、前記ビデオゲームの前記グラフィック出力を前記サーフェイス上に投影することであって、前記ゲームコントローラは前記ユーザが前記ビデオゲームと対話することを可能にする、前記投影することと、
を含む、方法。
【請求項１９】
複数のゲームコントローラから前記ゲームコントローラを前記判定することは、前記ユーザによって行われた要求、前記ユーザの好みの設定、予測、ランダム性の程度、または前記ビデオゲームによって提供される仕様の１つ以上に基づいて行われる、請求項１８に記載の方法。
【請求項２０】
前記ゲームコントローラは、前記ロボット上に搭載される着脱可能な部品である、請求項１８に記載の方法。
【請求項２１】
前記ゲームコントローラを前記ユーザに前記提供することは、前記ロボットのロボットアームによって行われる、請求項１８に記載の方法。
【請求項２２】
前記ビデオゲームと対話するために前記ユーザによって使用される前記ゲームコントローラは、前記ロボットのロボットアームである、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、パーソナルロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）に関し、より具体的には、ロボットが、対話型インターフェースをユーザに提供することと、提供された対話型インターフェースと対話するための補助デバイスを提供することとを可能にするための方法及びシステムに関する。
【背景技術】
【０００２】
ＡｐｐｌｅのＳｉｒｉ、ＡｍａｚｏｎのＡｌｅｘａ、及びＭｉｃｒｏｓｏｆｔのＣｏｒｔａｎａ等の仮想アシスタントは、ユーザが情報及び特定の種類のコンテンツにアクセスするための、ますます人気のあるプラットフォームになっている。仮想アシスタントは、ユーザが、質問に対する答えを取得することと、音声コンテンツを再生することと、さらに、消費財を購入することとを可能にする。しかしながら、現在の仮想アシスタントの能力は、提供され得る補助の種類において制限される。例えば、仮想アシスタントは、概して、音声によって通信可能である仮想アシスタンス（例えば、電子的購入を行う）またはデジタルアシスタンスだけを提供することが可能である。結果として、仮想アシスタントは、それが現実世界のオブジェクトを含有するタスクを行うことが可能ではないため、「現実世界」のアシスタンスを与えるその能力が不足している。さらに、現在の仮想アシスタントは、ユーザと対話するその能力が不足しており、通常、音声命令に応答するが他の入力モダリティ及び出力モダリティに制限がある。
【０００３】
この状況において、本実施形態が生じる。
【発明の概要】
【０００４】
本開示の実施形態は、ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）による「現実世界」補助と、ＲＵＩＤと通信するための対話型インターフェースとをユーザに提供するための方法及びシステムに関する。一実施形態では、物理的環境内部のユーザの位置を識別するための動作を含むロボットによって、対話型インターフェースを提供するための方法を開示する。本方法は、また、ユーザが視認するために対話型インターフェースを投影するために、物理的環境内部のサーフェイスを識別する。さらに、本方法は、対話型インターフェースを投影するために、ユーザの位置及びサーフェイスに基づいて、物理的環境内部の場所に移動するための動作を提供する。さらに、本実施形態に従って、本方法は、対話型インターフェースの複数の画像をキャプチャするための動作を提供する一方、対話型インターフェースは、ユーザによって、複数の画像から、ユーザによって行われた入力オプションの選択を判定するために対話する。ある実施形態では、入力オプションの選択は、選択を処理するためのサーバに通信される。
【０００５】
別の実施形態では、対話型インターフェースを提供するためのロボットが開示される。ロボットは、物理的環境に関連付けられるデータを取得するための複数のセンサを含む。複数のセンサは１つ以上のカメラを含み、物理的環境に関連付けられるデータは、物理的環境のマップを構造化するために、同様に、対話型インターフェースを投影するために、物理的環境内部のユーザの位置及びサーフェイスを識別するために使用可能である。ロボットは、加えて、物理的環境のマップ、ユーザの位置、及びサーフェイスの場所に基づいて、ロボットが対話型インターフェースを投影するために移動する予定である物理的環境内部の場所を判定するために、物理的環境に関連付けられるデータを処理するように構成されるプロセッサを含む。本発明の実施形態に従って、ロボットは、また、物理的環境内部の場所に移動させるための移動ユニットと、対話型インターフェースをレンダリングするためのグラフィックスユニットと、サーフェイス上に対話型インターフェースを投影するように構成されるプロジェクタシステムとを含む。さらに、１つ以上のカメラは対話型インターフェースの複数の画像をキャプチャするように構成される一方、対話型インターフェースはユーザと対話し、プロセッサは、さらに、ユーザによる入力オプションの選択を判定するために、複数の画像を処理するように構成される。
【０００６】
別の実施形態では、ロボットによってゲームセッションを提供するための方法が開示される。本方法は、ビデオゲームを実行するためにユーザから命令を受信するための動作と、物理的環境内部のユーザの位置を識別するための動作とを含む。本方法は、また、ビデオゲームを投影するために、物理的環境内部のサーフェイスの属性を識別するための動作を含む。本発明の実施形態に従って、本方法は、ビデオゲームと対話するために、ユーザによって使用される複数のゲームコントローラから、ゲームコントローラを判定するための動作と、ゲームコントローラとの無線接続を確立するための動作とを提供する。さらなる動作は、ロボットが、ゲームコントローラをユーザに届けるために、ユーザに近接する第１の場所に移動させ、次に、ロボットが、ユーザの位置及びサーフェイスの属性に基づいて、ビデオゲームのグラフィック出力を投影するために、第２の場所に移動させることをもたらす。さらに、本方法は、ビデオゲームを実行し、ビデオゲームのグラフィック出力をサーフェイス上に投影するための動作をもたらし、ゲームコントローラはユーザがビデオゲームと対話することを可能にする。
【０００７】
いくつかの実施形態では、複数のゲームコントローラからゲームコントローラを判定することは、ユーザによって行われた要求、ユーザの好みの設定、予測、ランダム性の程度、またはビデオゲームによって提供される仕様に基づいて行われる。
【０００８】
さらなる実施形態では、ゲームコントローラは、ロボットに搭載される着脱可能な部品であり得る。例えば、ゲームコントローラは、ユーザが、ロボットアームまたはその一部を着脱することによってビデオゲームと対話することを可能にするように構成されるロボットのロボットアームであり得る。
【０００９】
様々な実施形態では、ロボットは、仮想現実シーンと対話するＨＭＤユーザによって動かされるように構成される。これらの実施形態では、ロボットは、ＨＭＤと協働して、ＶＲシーンの仮想空間内の移動と同期する現実世界空間内の移動を提供する。
【００１０】
本開示の他の態様は、本開示の原理の例を用いて示す添付の図面と併せて解釈される以下の詳細な説明から明らかになる。
【図面の簡単な説明】
【００１１】
本開示は、添付の図面と併せて解釈される以下の説明を参照して最良に理解され得る。
【００１２】
【図１Ａ】ある実施形態による、サーフェイス上に投影される対話型インターフェースを提供するための方法の全体フローを示す。
【図１Ｂ】ある実施形態による、サーフェイス上に投影される対話型インターフェースを提供するための方法の全体フローを示す。
【００１３】
【図２】一実施形態による、対話型インターフェースを壁上に投影することによって選択を行うために、対話型インターフェースをユーザに提示するロボットを示す。
【００１４】
【図３Ａ】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）が有効化された対話型インターフェースの様々な実施形態を示す。
【図３Ｂ】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）が有効化された対話型インターフェースの様々な実施形態を示す。
【図３Ｃ】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）が有効化された対話型インターフェースの様々な実施形態を示す。
【図３Ｄ】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）が有効化された対話型インターフェースの様々な実施形態を示す。
【図３Ｅ】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）が有効化された対話型インターフェースの様々な実施形態を示す。
【図３Ｆ】ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）が有効化された対話型インターフェースの様々な実施形態を示す。
【００１５】
【図４Ａ】ＲＵＩＤに関連付けられる移動の様々な実施形態を示す。
【図４Ｂ】ＲＵＩＤに関連付けられる移動の様々な実施形態を示す。
【図４Ｃ】ＲＵＩＤに関連付けられる移動の様々な実施形態を示す。
【００１６】
【図５】一実施形態による、ビデオゲームと、ビデオゲームと対話するためのゲームコントローラとをユーザに提供するための方法の全体フローを示す。
【００１７】
【図６Ａ】一実施形態による、コマンドに応答して、ビデオゲームと、ビデオゲームと対話するためのゲームコントローラとが提供されているユーザを示す。
【図６Ｂ】一実施形態による、コマンドに応答して、ビデオゲームと、ビデオゲームと対話するためのゲームコントローラとが提供されているユーザを示す。
【図６Ｃ】一実施形態による、コマンドに応答して、ビデオゲームと、ビデオゲームと対話するためのゲームコントローラとが提供されているユーザを示す。
【００１８】
【図７Ａ】一実施形態による、ディスプレイ上に提示されるビデオゲームと対話するためのコマンドに応答して、ゲームコントローラが提供されているユーザを示す。
【００１９】
【図７Ｂ】一実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）によって提示された仮想現実環境と対話するためのコマンドに応答して、ゲームコントローラが提供されているユーザを示す。
【００２０】
【図７Ｃ】様々な実施形態による、ビデオゲームをプレイするユーザに対するＲＵＩＤが有効化された補助を示す。
【図７Ｄ】様々な実施形態による、ビデオゲームをプレイするユーザに対するＲＵＩＤが有効化された補助を示す。
【００２１】
【図８】ビデオゲームと対話するために、複数の可変的に構造的に構成されるゲームコントローラのうちの１つをユーザに提供するための方法の全体フローを示す。
【００２２】
【図９Ａ】ＲＵＩＤの着脱可能なアームが、ユーザによって行われた選択に従って構成され、ビデオゲームと対話するために使用される、ＲＵＩＤが有効化されたゲームセッションを示す。
【図９Ｂ】ＲＵＩＤの着脱可能なアームが、ユーザによって行われた選択に従って構成され、ビデオゲームと対話するために使用される、ＲＵＩＤが有効化されたゲームセッションを示す。
【図９Ｃ】ＲＵＩＤの着脱可能なアームが、ユーザによって行われた選択に従って構成され、ビデオゲームと対話するために使用される、ＲＵＩＤが有効化されたゲームセッションを示す。
【００２３】
【図１０Ａ】ＲＵＩＤ及びＲＵＩＤが有効化されたアクティビティの様々な実施形態を示す。
【図１０Ｂ】ＲＵＩＤ及びＲＵＩＤが有効化されたアクティビティの様々な実施形態を示す。
【図１０Ｃ】ＲＵＩＤ及びＲＵＩＤが有効化されたアクティビティの様々な実施形態を示す。
【図１０Ｄ】ＲＵＩＤ及びＲＵＩＤが有効化されたアクティビティの様々な実施形態を示す。
【００２４】
【図１１】ゲームコントローラとして使用され得るＲＵＩＤのアームの様々な構成を示す。
【００２５】
【図１２Ａ】投影するためにサーフェイスに垂直である投影軸を有するように、ロボットのビデオプロジェクタを配向するための概念モデルを示す。
【図１２Ｂ】投影するためにサーフェイスに垂直である投影軸を有するように、ロボットのビデオプロジェクタを配向するための概念モデルを示す。
【図１２Ｃ】投影するためにサーフェイスに垂直である投影軸を有するように、ロボットのビデオプロジェクタを配向するための概念モデルを示す。
【図１２Ｄ】投影するためにサーフェイスに垂直である投影軸を有するように、ロボットのビデオプロジェクタを配向するための概念モデルを示す。
【図１２Ｅ】投影するためにサーフェイスに垂直である投影軸を有するように、ロボットのビデオプロジェクタを配向するための概念モデルを示す。
【００２６】
【図１３】ＲＵＩＤ及びいくつかの関連のコンポーネントの追加実施形態を示す。
【発明を実施するための形態】
【００２７】
以下の実施形態は、ロボットが、コンテンツを提示するための対話型インターフェースを提供することと、コンテンツと対話するための対話型デバイスを供給することとを可能にするための方法、コンピュータプログラム、及び装置を説明する。しかしながら、当業者に、本開示が、これらの具体的な詳細の一部または全てがなくても、実践され得ることが自明である。他の場合、周知のプロセス動作は、本開示を不必要に不明瞭にしないために、詳細に説明されていない。
【００２８】
ＡｐｐｌｅのＳｉｒｉ、ＡｍａｚｏｎのＡｌｅｘａ、及びＭｉｃｒｏｓｏｆｔのＣｏｒｔａｎａ等の仮想アシスタントは、ユーザが情報及び特定の種類のコンテンツにアクセスするための、人気が高まっているプラットフォームになっている。仮想アシスタントは、ユーザが、質問に対する答えを取得することと、音声コンテンツを再生することと、さらに、消費財を購入することとを可能にする。
【００２９】
しかしながら、現在の仮想アシスタントの能力は、提供され得る補助の種類において制限される。例えば、仮想アシスタントは、概して、情報、デジタル、及び電子的補助を提供することにおいてのみ優れているが、ユーザが必要とし得る他の種類の補助に不十分である。例えば、現在の仮想アシスタントは、物理品をユーザに取り出すことが可能ではなく、ユーザのために物理品を修正することが可能ではなく、またはユーザの場所に従ってそれ自体を再配置することが可能ではない。すなわち、現在の仮想アシスタントは、空間ナビゲーション及び物理操作を含有するもの等の「現実世界」タスクを行うそのアシスタントの能力において制限される。結果として、仮想アシスタントは、それが現実世界のオブジェクトを含有するタスクを行うことができないため、「現実世界」のアシスタンスを与えるその能力が不足している。
【００３０】
仮想アシスタントは、さらに、ユーザが対話するためのユーザインターフェースを提供する能力が不足しており、一般的に、音声入力及び音声出力だけが可能になる。仮想アシスタントの音声によって効率的に伝送されにくい様々な種類の情報及びコンテンツが存在する。他の種類のコンテンツは、簡単に、音声によって伝送できない。
【００３１】
さらに、仮想アシスタントの機能は、ビデオゲーム等をプレイするためのメディア提示環境に関して制限される。例えば、仮想アシスタントは、概して、ビデオゲームとの対話中、ビデオゲームセッションをセットアップする際、またはプレイヤーを補助する際に、プレイヤーを補助することができない。多くの場合、上述の状況の仮想アシスタントへの制限は、現実世界プレゼンスの不足、現実世界コンテンツの認知度の不足、移動能力の不足、物理オブジェクトを操作する能力の不足、メディアプレイヤーまたはゲームデバイスへの接続能力の不足、及び現実世界インターフェースの不足が原因である。
【００３２】
ここに説明されるシステム、方法、及び装置は、現実世界のタスクを完了することによって及びユーザが対話するための現実世界ユーザインターフェースを提供することによって、ユーザへの現実世界アシスタンスを可能にする。一実施形態に従って、ユーザが対話するための様々な場所において、現実世界インターフェースを提供することができるロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）を提供する。例えば、ＲＵＩＤは、ユーザインターフェースを投影するために、物理的環境内部のユーザの位置と、近隣壁とを識別し得る。次に、ＲＵＩＤは、それがユーザインターフェースを、ユーザが見るのに便利である壁の領域上に投影し得る場所まで、物理的環境を動き回り得る。いくつかの実施形態では、ユーザは、ある種類のジェスチャを行うことによって、入力をインターフェースに提供することを可能にする。例えば、ＲＵＩＤは、ユーザがボタン等の応答要素に対応する場所における壁にタッチしていることを検出するように構成され得る。これらの及び他の実施形態では、ＲＵＩＤは、加えて、スクロールジェスチャ、ズームアウトまたはズームアウトのジェスチャ、前のページまたはスクリーンに戻るための「戻り」ジェスチャ、アプリケーション及び／またはインターフェースを切り替えるための「切り替え」ジェスチャ、ならびに他のジェスチャを含むユーザによって行われた他のジェスチャを検出するように構成される。
【００３３】
様々な実施形態による、ＲＵＩＤはユーザインターフェースの複数の画像をキャプチャする一方、ユーザはユーザインターフェースと対話する。例えば、ＲＵＩＤは、画像を取得し得、ユーザは、ユーザインターフェースが投影されている壁の領域をタッチする、または指し示す。次に、ＲＵＩＤは、画像分析を使用して、投影されたユーザインターフェースのどの部分が「タッチ」また指し示されているかを判定することが可能である。ユーザの入力に応答して、次に、ＲＵＩＤは、投影によって、追加コンテンツを提供し得る。結果として、本明細書に説明される方法及びシステムは、ユーザが対話するのに便利である場所にユーザインターフェースを投影することによって、ユーザが、現実世界空間内のユーザの場所に自動的に適応するユーザインターフェースと対話することを可能にすることによって、現在の仮想アシスタンスまたはマシンアシスタンスを上回る技術的利点を提供する。
【００３４】
様々な実施形態によると、ＲＵＩＤは、自動的にまたは命令に応答してのいずれかで、現実世界アシスタンスをユーザに提供することが可能である。一実施形態では、ＲＵＩＤは、ビデオゲームを開始するユーザの命令を解読することが可能である。ＲＵＩＤは、物理的環境内部のユーザの位置と、ビデオゲームを投影するための壁等の適切なサーフェイスとを識別する。いくつかの実施形態では、ＲＵＩＤは、ユーザによって使用される予定である複数のゲームコントローラから、ゲームコントローラを識別する。ＲＵＩＤは、ユーザの命令、ビデオゲームによって含有されるゲームコントローラの仕様、ユーザの好みの設定、ゲームコントローラの使用履歴、ランダム性の程度、及びインターネットを介して取得した他のユーザに関するゲームコントローラ使用データの１つ以上に基づいて、その識別を行い得る。使用されるゲームコントローラの識別に基づいて、次に、ＲＵＩＤは、ゲームコントローラをユーザに届けるために、ユーザの付近に移動し得る。いくつかの実施形態では、ＲＵＩＤは、把持機構を有するロボットアームを使用して、オブジェクトを届けることが可能である。さらに、いくつかの実施形態では、複数のゲームコントローラまたはその一部は、ＲＵＩＤ上で支持または合体され得る。次に、ＲＵＩＤは、複数のゲームコントローラのうちの１つのゲームコントローラを把持し、そのゲームコントローラをユーザにとって便利な場所及び高さに届け得る。さらに、ＲＵＩＤは、必要に応じて、または所望に応じて、ビデオゲームを投影するための異なる場所に移動することが可能である。
【００３５】
様々な実施形態では、ＲＵＩＤは、ビデオゲームとのユーザの対話中、ユーザを補助することができる。例えば、ユーザが、ディスプレイ上に表示されているコンソールシステム上でビデオゲームをプレイする場合、ＲＵＩＤは、ディスプレイの近くの壁上に、補助ディスプレイを投影することによって、視覚補助を提供することが可能である。補助ディスプレイでは、ＲＵＩＤは、命令、ヒントまたはトリック、こつ、マップ、方向、ゲーム攻略ガイドコンテンツ等を含む様々な種類の視覚補助をユーザに提供し得る。
【００３６】
ある他の実施形態では、ＲＵＩＤは、視覚補助に加えて、現実世界アシスタンスを提供し得る。例えば、ユーザが敵のキャラクタを打破する現実世界アシスタンスを要求する場合、ＲＵＩＤは、敵のキャラクタを倒すことを補助するエイミングデバイス等のコントローラを（例えば、ＲＵＩＤのロボットアーム及び把持器具によって）扱い及び制御することが可能である。すなわち、ＲＵＩＤは、ゲームコントローラによって、ゲームにおいてユーザを助けることで、第２のプレイヤーのように作動し得る。結果として、ＲＵＩＤは、現在の仮想アシスタントに見られないユーザへの現実世界アシスタンスを提供するその能力からの技術的利点を具体化する。したがって、現在の仮想アシスタントに対する技術的改善は、本明細書に説明されるシステム及び方法によって提供される。
【００３７】
本明細書に使用される「音声補助」または「言葉補助」は、スピーチまたは他の音声のモードによって人に与える補助を意味すると解釈される。例えば、ＲＵＩＤのある実施形態は、ユーザによって提示される質問に対する言葉による答えを提供するによって、音声補助を提供することが可能である。別の実施形態では、ＲＵＩＤは、メディアコンテンツに関連付けられるサラウンド音響コンポーネントを提示することによって、娯楽システム上の当該メディアコンテンツを視認するユーザに音声補助を提供し得る。
【００３８】
本明細書に使用される「視覚補助」は、表示モードによって人に与える補助を意味すると解釈される。例えば、ＲＵＩＤのある実施形態は、ユーザが知覚するためのサーフェイス上に表示するためにコンテンツを投影することによって、視覚補助を行うことが可能である。
【００３９】
本明細書に使用される「現実世界アシスタンス」は、物理アクション及び／または空間アクション、力の印加、移送、操作、及び／または移動のモードによって、人に与える補助を意味すると解釈される。例えば、ＲＵＩＤのある実施形態は、ゲームコントローラをユーザに届けることによって、現実世界アシスタンスを提供することが可能である。
【００４０】
ここに説明されるＲＵＩＤは、様々な状況で一緒にまたは同時に、言葉補助、視覚補助、及び現実世界アシスタンスのそれぞれを提供することが可能であり得ることに留意されたい。
【００４１】
図１Ａは、壁等のサーフェイス上に投影される対話型ユーザインターフェースを提供するための方法の全体フローを示す。示される実施形態に従って、動作１００の方法は、物理的環境内部に、ユーザの位置を識別する。下記にさらに詳細に説明されるように、ユーザの識別は、複数のセンサ及びカメラを使用して達成され得る。
【００４２】
動作１０２では、ユーザの位置に基づいて、ユーザインターフェースを投影するために、物理的環境内部のサーフェイスを識別する。サーフェイスは、壁、ドア、天井、家具の一部、柱、ユーザによって保持されるオブジェクト、または他のオブジェクトに関連付けられ得る。動作１０２では、または別の動作では、本方法は、色、テクスチャ、形状、輪郭、幾何学形状、サイズ、反射性、屈折度、ゲイン、ユーザに関する物理的環境内の位置及び配向、及び／または他の光学的特性及び幾何学的特性に関して、サーフェイスを分析し得る。いくつかの実施形態では、図１Ａに示される方法を実施するためのシステムは、テスト手順を当該様々なサーフェイス上に投影し、結果として生じる投影をキャプチャすることによって、いくつかのテストを様々なサーフェイス上で行い得る。本システムは、物理的環境内部の様々なサーフェイスのマップを構造化し得、当該マップは、サーフェイスの場所、ならびにサーフェイスの光学的情報及び幾何学的情報を含む。次に、本システムは、マップ及びユーザの位置に基づいて、ユーザインターフェースを投影するのに適切であるサーフェイスを識別し得る。
【００４３】
次に、図１Ａに示される方法は、動作１０４に進み、識別されたサーフェイス及びユーザの場所に基づいた場所に物理的環境内部での移動を提供する。例えば、ユーザインターフェースを投影するのに適切なサーフェイスを識別した後に、図１Ａに示される方法を実施するシステムは、ユーザインターフェースをサーフェイス上に投影するための最適位置にない場合がある。本システムは、サーフェイスから過度に近い場合、もしくは過度に遠い場合があり得、または、投影の光路を塞ぐオブジェクトが存在し得る。さらに、本システムのビデオプロジェクタは、サーフェイスに対して「四角形」ではない場合がある。すなわち、ビデオプロジェクタによって発射される光線の方向を表す投影の線または中心軸は、サーフェイスを表す平面に直角ではない場合がある。結果として、本システムは、物理的環境内の場所に移動し、ビデオプロジェクタを正しい向きに配向し、それにより、投影の中心軸はサーフェイスにより直角になる。
【００４４】
ある他の実施形態では、本システムは、投影される画像を修正することによって、直角よりも少ない角度である投影の中心軸を補償し得る。例えば、画像の歪みをもたらす、またはもたらすであろう投影の中心軸に関連付けられるスキューまたは傾斜がある場合、ある実施形態は、歪みの程度及び方向性に反比例する様式で画像を修正することによって、係る歪みを補正し得る。いくつかの実施形態では、再配置及び歪み補正の組み合わせは、システムによって一緒に実施され得る。
【００４５】
次に、図１Ａに示される方法は、動作１０６に進み、ユーザインターフェースをサーフェイス上に投影する役割を果たす。結果として、ユーザインターフェースは、ユーザに可視になり、ユーザは、次に、そのユーザインターフェースと対話し得る。ユーザが投影されたユーザインターフェースと対話するためのいくつかの方法が存在し、本方法の一部は、ユーザインターフェースが入力を行うために投影されているサーフェイスのタッチを含む。他の実施形態に従って、他の手ぶりが、ユーザインターフェースへの入力を発生し得、手ぶりは、指のポインティング、スクロールジェスチャ、手によって行われるサイン、または他の手及び指の位置付け及び動きを含むことが想到される。
【００４６】
次に、図１Ａの方法は、動作１０８に進み、ユーザインターフェースをサーフェイス上に投影する間、インターフェースと対話しながら、ユーザの複数の画像をキャプチャする役割を果たす。結果として、本方法は、ユーザがユーザインターフェースと対話する方法に関する情報を取得することが可能である。さらに、動作１１０では、本方法は、複数の画像から、オプションがユーザによる選択に関連付けられることを判定する。例えば、ユーザがユーザインターフェース内に提示される特定のオプションを選択するためのジェスチャをする場合、動作１１０は、ユーザが係る選択を行ったことを判定することが可能である。示される実施形態では、動作１１２によって、オプションが選択されていることを示す指示が、ユーザインターフェースに提供され得る。結果として、ユーザに、オプションの選択が登録されていることのフィードバックが与えられる。いくつかの実施形態では、本方法は、ユーザがオプションを選択していることを検出したことに応答して、オプションに関連付けられる追加コンテンツを提供することが可能である。これらの実施形態は下記にさらに詳細に説明される。
【００４７】
図２は、対話型インターフェース２０４を壁２０１上に投影することによって選択を行うために対話型インターフェース２０４をユーザ２００に提示するＲＵＩＤ等のロボット２０２を示す。対話型インターフェース２０４は、オプションＡ、Ｂ、Ｃ、及びＤを選択する命令を含むことが示される。それに応答して、ユーザ２００は、対話型インターフェース２０４のオプションＡボタン２０８に関連付けられる領域内の壁２０１と接触２０６をすることが示される。ユーザ２００と対話型インターフェース２０４との対話中、ロボット２０２は、対話型インターフェース２０４に向いている視野２２４を有する画像キャプチャデバイス２１２によって、対話型インターフェース２０４の複数の画像２１４をキャプチャすることが示される。
【００４８】
複数の画像２１４は、対話型インターフェース２０４のオプションＡボタン２０８上の人さし指を置いているユーザ２００をキャプチャすることが示される。さらに、画像分析論理２１６は、オプションＡ２１８が選択されていることを判定していることが示される。結果として、ロボット２０２は、対話型インターフェース２０４に対して、ユーザ２００によって行われた選択を判定することが可能である。さらに、ユーザ２００は、ユーザの入力が受信されている指示２２６が与えられ得る。
【００４９】
ロボット２０２は、また、物理的環境内で作られた音をキャプチャするための音キャプチャデバイス２２０を有することが示される。いくつかの実施形態では、音キャプチャデバイス２２０は、壁２０１と接触２０６をするユーザ２００の音をキャプチャし、音分析２２２を使用して、接触２０６がされていることを判定することが可能である。
【００５０】
図３Ａ〜図３Ｆは、コマンドに応答して、視覚補助をユーザに提供する、ロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）の様々な実施形態を示す。上記に言及したように、ユーザが要求し得る音声応答の助けにならない多くの種類の補助が存在し得る。図３Ａ〜図３Ｆに示される実施形態は、ＲＵＩＤが視覚的フォーマットで提供することが可能である少ない例示的な種類の補助を示す。
【００５１】
図３Ａはユーザが要求する方向を示す。それに応答して、ＲＵＩＤは、ユーザに近接する壁に利用する提案されたルートを含むマップを投影する。図３Ｂでは、ＲＵＩＤは、ユーザの要求に応答して、天気予報のグラフィック表現を投影する。図３Ｃは、ユーザの要求に応答して、近所のレストランのマップを投影しているＲＵＩＤを示す。図３Ｄでは、ＲＵＩＤは、ユーザの要求に応答して、野球の試合のハイライトを表示する。図３Ｅは、ロボットが既に所有しているデバイスと互換性がある製品を表示することを要求するユーザを示す。ロボットは、デバイスの画像をキャプチャすることによって、型式及びモデル等のデバイスについての情報を取得していることが示される。次に、ロボットは、ユーザの要求に応答して、複数のアイテムを表示することに進む。図３Ｆは、ロボットが自転車用車輪を固定する方法を示すことを要求しているユーザを示す。ロボットは、車輪の種類、型式、及び／またはモデルを識別した後、次に、車輪を固定する方法をユーザに示すビデオを表示し得る。結果として、ロボットは、多くの種類の状況に対して、多くの種類の要求に応答して、視覚補助を提供することが可能である。図３Ａ〜図３Ｆに示される実施形態は、例示的であるが、ここに提示されたシステム及び方法に従ったロボットが可能であるインターフェース及びコンテンツの種類に限定しないことを意味する。加えて、本明細書に提供されたシステム及び方法に従ったロボットは、図３Ａ〜図３Ｆに示される投影されたディスプレイとの対話中、ユーザ入力をキャプチャできることが想到される（図１及び図２を参照してください）。
【００５２】
図４Ａ〜図４Ｃは、ＲＵＩＤがユーザの移動に応答して移動を行い得る様々な方法を示す。例えば、図４Ａでは、ユーザは、いくつかの距離だけ、壁に沿って縦方向に移動していることが示される。それに応答して、ＲＵＩＤは、コンテンツのディスプレイに投影し続けながら、縦方向に同様の距離だけ移動していることが示される。ＲＵＩＤは、いくつかの方法で、例えば、画像キャプチャ、深度センサ、近接センサ、赤外線（ＩＲ）センサ、立体カメラ等によって、ユーザの移動を検出し得る。結果として、ユーザに、投影によって表示されているコンテンツの連続ビューが与えられる一方、ユーザは、命令を表示デバイスに物理的に移送またはさらに提供する必要がなく、物理的空間内部で移動している。
【００５３】
図４Ｂでは、ユーザが、コンテンツが投影によって表示されている壁から離れて、いくつかの縦方向距離を進行していることが示される。ロボットは、例えば、ユーザによって進行する距離に比例して、ディスプレイのサイズを、いくつかのサイズに大きくしていることが示される。いくつかの実施形態では、ロボットは、ディスプレイを投影するためにプロジェクタに関連付けられるスクリーンサイズ調節特徴を使用することによって、ディスプレイエリアのサイズを変化することが可能であり得る。他の実施形態では、ロボットは、ディスプレイがスクリーンサイズを増加させるように投影されている壁からの距離を増加させ得る。図４Ｂの実施形態では、プロジェクタによるスクリーンサイズ調節及び壁から離れる移動の組み合わせが発生していることが示される。結果として、ユーザは、移動する前のものと同様に移動した後のディスプレイのビューが与えられる。すなわち、ディスプレイは、ユーザが壁から離れて移動した後、同じ大きさで見られる。さらに、ロボットは、ユーザの移動と同時にディスプレイサイズを調節し得る。したがって、ここに説明されるシステム及び実施形態に従って実施されるロボットは、ディスプレイから離れたユーザの距離に応答して、ディスプレイの見掛けのサイズ（例えば、ディスプレイがどのくらい大きくまたは小さく現れるか）を調節することがさらにできるディスプレイが可能になる。ディスプレイから離れてユーザの距離に同期して、及びその距離によって、ディスプレイの見掛けのサイズを調節する能力は、ここに提示されるシステム及び方法の多くの技術的な利点の１つを提供し、現在のディスプレイ技術（例えば、フラットパネルディスプレイ、ビデオプロジェクタ、ハンドヘルドディスプレイ等）に対する技術的改善を表す。
【００５４】
図４Ｃは、第１の壁に近接する第１の位置から、第２の壁に近接する第２の位置まで移動するユーザを示す。ユーザの移動に応答して、ロボットは、また、第２の壁上に投影するために、第２の位置まで移動していることが示されている。ロボットの移動中、ロボットのプロジェクタは、また、そのロボットが第２の壁に向かうように配向される。結果として、ユーザの移動によって、所与のサーフェイス内部にコンテンツのディスプレイを移動させることが可能であることに加えて、ここに提示されるシステム及び方法に従ったロボットは、さらに、ユーザが移動している場所に応じて、コンテンツのディスプレイを異なるサーフェイスに移動することが可能である。
【００５５】
図５は、一実施形態による、ビデオゲームをユーザに対して実行及び提供するためと、ビデオゲームと対話するためのゲームコントローラをユーザに提供するための方法の全体フローを示す。方法５００では、本方法は、ビデオゲームを実行するためにユーザから命令を受信することを提供する。それに応答して、本方法は、リビングルームまたは娯楽室等の物理的環境内部のユーザの位置を識別する役割を果たす動作５１０を提供し、ユーザの位置に基づいて、ビデオゲームのグラフィック出力を投影するために、物理的環境内部のサーフェイスを識別する役割を果たす動作５２０を提供する。例えば、動作５１０は、ユーザが壁から１０フィート離れた距離においてカウチ上に座っていることを判定し得る。動作５２０は、ビデオゲームを投影する適切なサーフェイスとして壁を識別する役割を果たすであろう。
【００５６】
さらに、本方法は、ビデオゲームと対話するために、ユーザによって使用されるゲームコントローラを識別する動作５３０を提供する。ビデオゲームと対話するためのビデオゲームプレイヤーによって使用される多くの種類のゲームコントローラが存在する。そのゲームコントローラの一部は、デュアルショックコントローラ、エイムコントローラ、棒状コントローラ、ジョイスティックコントローラ、ソードコントローラ、ハンドル型コントローラ等の従来のハンドヘルドコントローラを含む。図５に示される方法に従って、動作５３０は、複数のゲームコントローラから、ユーザがビデオゲームと対話する予定であるゲームコントローラを判定することが可能である。例えば、動作５３０は、ユーザから受信された明確な命令、ビデオゲームに関連付けられる仕様、ユーザの好みの設定、ユーザによるゲームコントローラ使用の履歴、他のユーザのゲームコントローラ使用傾向に関するゲームコントローラユーザデータ、ユーザがあるゲームコントローラを使用することを望む可能性に対する機械学習、及び他の要因の１つ以上に基づいて使用されるゲームコントローラがどれかを識別し得る。例えば、動作５３０は、デュアルショックゲームコントローラが前述の要因の１つ以上に基づいて使用される予定であることを判定し得る。さらに、ここで示されているが、動作５３０は、また、識別されたゲームコントローラをアクティブ（例えば、そのゲームコントローラの電源をオン）にし、識別されたゲームコントローラと、例えば、図５の方法を実施するロボットとの間の無線接続（例えば、ブルートゥース（登録商標）、Ｗｉ‐Ｆｉ、近距離無線通信、または他の通信規格）を確立する役割を果たし得る。
【００５７】
図５の方法は、また、ゲームコントローラをユーザに提供するために、物理的環境内部の１つ以上の場所に移動することを提供する動作５４０を含む。いくつかの実施形態では、図５に示される方法を実施するＲＵＩＤ等のロボットはユーザの届く距離の範囲内で移動し得、これにより、ユーザは、既に電源がオンにされ、ロボットと接続し得る、識別されたゲームコントローラを選定し得る。他の実施形態では、本発明の方法を実行するロボットは、識別されたゲームコントローラを取り上げ、それをユーザに「手渡す」ためのロボットアーム及び把持器具を含み得る。複数のゲームコントローラは、物理的空間の異なる領域内にあり得るか、充電のためにドッキングステーション等の中心場所にあり得る。結果として、それらの複数のコントローラは取り出される必要があり得る。想到されるある他の実施形態では、複数のゲームコントローラまたはその一部は、ロボット上に配備もしくは合体され得る、または、ロボットの構造のモジュール部分であり得る。
【００５８】
また、動作５５０及び動作５６０が図５に示され、各々、識別されたサーフェイス上にビデオゲームを投影するための１つ以上の場所に移動し、ゲームコントローラによって、ユーザがビデオゲームを視認し、ビデオゲームと対話することを可能にするために、サーフェイス上でビデオゲームのグラフィック出力を実行及び投影する役割を果たす。例えば、動作５４０で識別されたコントローラをユーザに手渡した後に、示される方法を実施するロボットは、ビデオゲームを投影して表示するのにより適した異なる場所に移動する必要があり得る。本方法の結果として、ユーザは、例えば、ゲームセッションをセットアップすることに一般的に関連する任意のアクションを行う必要がなく、本発明の方法を実施するための独立型デバイスのビデオゲームをプレイするためのコンポーネントの全てが提供され得る。
【００５９】
図６Ａ〜図６Ｃは、ＲＵＩＤ６０１上で実行されるゲームと対話するために、ユーザ６００にゲームコントローラ６１０が提供されるＲＵＩＤ６０１が有効化されたゲームセッションを示す。図６Ａでは、ユーザ６００は、ファイナルファンタジー８のビデオゲームを開始することを要求することが示される。ＲＵＩＤ６０１はその要求を受信し、ビデオゲームのために使用されるゲームコントローラを判定する。ゲームコントローラ６１０、ソードコントローラ６１２、及びエイムコントローラ６１４を含む、いくつかのゲームコントローラは、ＲＵＩＤ６０１上で合体される。図６Ｂに示されるように、ＲＵＩＤは、ゲームコントローラ６１０がユーザ６００によって使用されるゲームコントローラであることを判定する。
【００６０】
加えて、示される実施形態では、ＲＵＩＤ６０１は、ロボットアーム６０６と、把持器具６０８とを含み、把持器具６０８は、ユーザ６００にとってゲームコントローラ６１０を握持するのに便利である距離の範囲内で合体及び位置を変えるＲＵＩＤ６０１上の位置から、ゲームコントローラ６１０を把持するために動作可能である。
【００６１】
図６Ｃでは、ＲＵＩＤ６０１は、壁６０２上にビデオゲーム６１６のグラフィック出力を実行及び投影することが示される。いくつかの状況では、ＲＵＩＤ６０１は、ゲームコントローラ６１０を届けるための場所から、ビデオゲームを投影するための異なる場所まで移動する。他の実施形態では、ＲＵＩＤ６０１は、ビデオゲームを投影するための異なる場所に移動し得る。いずれの場合、ユーザ６００は、ゲームセッションをセットアップすることに関与する一般的なタスクの多くを行うことが必要なく、ビデオゲームと対話するためのコンポーネントが提供される。
【００６２】
図７Ａ〜図７Ｄは、ＲＵＩＤが、現実世界アシスタンスを、ビデオゲームをプレイするコンテクストに提供し得る異なる方法を示す。図７Ａでは、ユーザは、ディスプレイ上に表示されるビデオゲームをプレイすることが示される。ビデオゲームは、示されるＲＵＩＤによって、またはゲームコンソール、パーソナルコンピュータ、もしくはリモートゲームサーバによって実行され得る。ユーザはエイムコントローラを要求することが示され、ＲＵＩＤは、それに応答して、エイムコントローラをユーザに手渡すことが示される。結果として、ゲームコントローラを切り替えたいことに対して等、現実世界アシスタンスがユーザに提供される。ビデオゲームを一時停止して物理的にゲームコントローラを取り出す必要なく、または、取り出されたゲームコントローラと、ビデオゲームをホストするゲームデバイスとの間の接続を待機することないため、ユーザは得をする。
【００６３】
図７Ｂは、ヘッドマウントディスプレイ（ＨＭＤ）によって提示された仮想現実ビデオゲームをプレイするユーザを示す。ユーザは、ユーザの要求に応答して、エイムコントローラが提供される。いくつかの実施形態では、ユーザは、ＲＵＩＤ及びエイムコントローラのＨＭＤキャプチャ画像のカメラを有することによって、ＨＭＤディスプレイによってエイムコントローラの場所を認知し得る。ＨＭＤは、ユーザにエイムコントローラの現実世界の座標の視覚表現を表示し得、これにより、ユーザは、ＨＭＤを取り外す必要がなく、エイムコントローラに接触し、それを握持し得る。
【００６４】
図７Ｃは、敵を倒すヘルプまたは補助を必要とするユーザを示す。ユーザは、ＲＵＩＤがモンスターを倒す方法をユーザに示すことを要求することが示される。それに応答して、ＲＵＩＤは、モンスターを倒す方法に関する画像またはクリップを含むディスプレイを投影することによって視覚補助を提供する。加えて、ＲＵＩＤは、モンスターを倒す方法の言葉命令を含む言葉補助を提供し得る。
【００６５】
図７Ｄでは、ユーザは、ＲＵＩＤが、ユーザがモンスターを倒すことを助けることを要求していることが示される。したがって、（例えば、図７Ｃに示される）投影されたディスプレイ上でモンスターを倒す方法をユーザに示す代わりに、ＲＵＩＤは、エイムコントローラを把持し、それを使用して、ユーザがモンスターを倒すことを助けることが示される。したがって、ここで、ＲＵＩＤは、第２のユーザが使用するであろう方法を模倣する方法で、補助をユーザに提供し得ることが想到される。すなわち、ＲＵＩＤは、ゲームコントローラを取り出し、それを移送することが可能であるだけではなく、ある人が使用し得る方法でそのゲームコントローラを使用することも可能であることが想到される。結果として、ここに説明される方法及びシステムは、言葉補助及び視覚補助を提供することに加えて、現実世界オブジェクト（例えば、ゲームコントローラ）の「現実世界」の操作（例えば、力の印加）を要求する補助を提供することによって、ビデオゲームに関連して、ＲＵＩＤ等のロボットがユーザを補助することを可能にする。ユーザは、ユーザを補助する現在の方法（例えば、仮想アシスタント）が提供することが可能であると思われない方法で、ユーザのゲーム経験において得をする。
【００６６】
いくつかの実施形態に従って、ＲＵＩＤは、また、ＶＲシーンの範囲内で発生する仮想効果と一致する現実世界効果をもたらし得る。例えば、ゲームにおいて特定の方向に吹く一陣の風が存在する場合、ＲＵＩＤは、現実世界内でユーザに対して特定の方向に風を吹かすことによって、風の効果を生じさせることが可能であり得る。したがって、ＲＵＩＤは、現実世界効果によって、ＨＭＤによって提供される仮想効果を拡張することが可能であることが想到される。
【００６７】
ある他の実施形態では、ＲＵＩＤは、ＶＲシーンが提示されるＨＭＤユーザによって座るまたは乗られるように構成される。ＲＵＩＤは、ＶＲシーンを実行するＨＭＤ及び／またはコンピューティングデバイスと対話でき、それにより、ＲＵＩＤは、ＶＲシーン内のＨＭＤユーザの移動と一致する様式で、ＲＵＩＤ上へＨＭＤユーザを移動させる。例えば、ＶＲシーンが仮想空間内で３フィートだけ右に移動するユーザがいるセグメントを含む場合、ＲＵＩＤ自体が同期して移動し得、現実世界内で３フィート右にＨＭＤユーザを座らせる。したがって、ＲＵＩＤは、ＶＲ効果を向上させる追加現実世界効果を提供することが可能である。結果として、ＲＵＩＤは、より多くの没入仮想体験をＨＭＤユーザに提供することが可能であることが想到される。
【００６８】
図８は、ゲームコントローラとして使用される、複数の可変的に構成されるロボットアームのうちの１つをユーザに提供するための方法の全体フローを示す。図８Ａは、ユーザインターフェースを含むビデオゲームを実行するための動作８００を含む。動作８１０は、ユーザに表示するために、ユーザインターフェースをサーフェイス上に投影する役割を果たす。ユーザインターフェースは、ユーザが、ビデオゲームと対話するために使用されるオブジェクトの選択を行うことを可能にする。多くの場合、ビデオゲームは、ユーザが、ツールもしくは武器、またはビデオゲームと対話するための他の機器の要素を有することを可能にする。動作８１０のユーザインターフェースは、ユーザが、ユーザがビデオゲームと対話するために使用することを望む機器の要素を選ぶことを可能にする。動作８２０は、ユーザによって行われた選択を識別する役割を果たす。
【００６９】
次に、図８の方法は動作８３０に進み、ユーザによって行われた選択に従ってＲＵＩＤ等のロボットの着脱可能なアームを構成することを提供し、着脱可能なアームは、ユーザによって保持されることが可能である。いくつかの実施形態に従って、ロボットの着脱可能なアームは、ビデオゲームと対話するために使用される複数の形状またはモジュールに構成され得る。ロボットは、ある形状にアームを構成し得、いくつかの実施形態では、所望の形状で剛性の着脱可能なアームをロックまたは作成するための係合機構を構成し得る。次に、ユーザは、ゲームで使用するために、着脱可能なアームをロボットから着脱することが可能である。
【００７０】
様々な実施形態に従って、着脱可能なアームは、動作８３０によって、動作８２０で識別された機器の選択された要素の形状に一致する形状に形成される。例えば、動作８２０で識別された選択がソードのために行われる場合、動作８３０は、直線状の細長い形状を有する着脱可能なアームを構成し得る。他方では、選択がシールドに対して行われる場合、動作８３０は、異なる形状になるように着脱可能なアームを構成し得る。結果として、ユーザは、ユーザが使用することを選ぶ道具の要素の形状と一致する複数のゲームコントローラ構成を提供される。さらに、動作８４０は、構成される形状で着脱可能なアームを使用して、ユーザがビデオゲームと対話することを可能にするために、ビデオゲームをサーフェイス上に実行及び投影する役割を果たす。
【００７１】
ある他の実施形態に従って、ロボットは、ロボットのものであり、ロボットによって表示されない、コンピューティングデバイス上で実行中であるゲームでユーザが使用するための着脱可能なアームを構成し得る。例えば、これらの実施形態では、ロボットは、ゲームコンソール、パーソナルコンピュータ、タブレット、または、ユーザによってプレイされるビデオゲームについての情報を受信するためのリモートゲームサーバ等のコンピューティングデバイスに接続され得る。また、ロボットは、ユーザがビデオゲームと対話するために使用することを選択する道具の要素に関連する情報を受信し得る。次に、ロボットは、機器の選択された要素に関する受信情報に従って、着脱可能なアームを構成し得る。結果として、ロボットは、様々なゲームコントローラ構成を他のビデオゲームプラットフォームと対話するユーザに提供し得る。
【００７２】
図９Ａ〜図９Ｃは、ＲＵＩＤの着脱可能なアームが、ユーザによって行われた選択に従って構成され、ビデオゲームと対話するために使用される、ＲＵＩＤが有効化されたゲームセッションを示す。図９Ａでは、ＲＵＩＤは、異なる機器の要素を選択するために、プロジェクタによって、ユーザにユーザインターフェースを表示することが示される。それに応答して、ユーザは、ユーザの指で自身の選択を示すことによって、ゴルフクラブを選択することが示される。
【００７３】
図９Ｂでは、ＲＵＩＤの着脱可能なアームは、異なる形状に構成されていることが示される。具体的には、着脱可能なアームは、実質的に直線状シャフトを有するように細長くなっていることが示される。さらに、着脱可能なアームの把持器具の縦軸は、着脱可能なアームの細長いシャフト部の縦軸に対して鈍角になるように構成されることが示される。結果として、着脱可能なアームは、選択された道具の形状と一致する形状に構成される。すなわち、着脱可能なアームは、ユーザによってゴルフクラブゲームコントローラとして使用され得る。着脱可能なアームがユーザの選択に従って構成された後に、ユーザインターフェースは、道具が準備され、ユーザが使用できることを示す。
【００７４】
図９Ｃでは、ゴルフクラブとして機能するように構成されているＲＵＩＤの着脱可能なアームは、ゴルフゲームでプレイするユーザによって使用されていることが示される。様々な実施形態では、着脱可能なアームによって行われた（例えば、「ゴルフクラブコントローラ」をスイングする）ユーザ入力は、着脱可能なアームの場所及び移動を検出するために、物理的環境内部に及び／またはＲＵＩＤ上に位置する複数のセンサによって取得され得る。例えば、着脱可能なアームは、物理的環境内のカメラによって追跡されるそのサーフェイス上で複数の発光ダイオード（ＬＥＤ）を含み得る。さらに、着脱可能なアームは、空間を通って、着脱可能なアームの移動及び加速度を検知する慣性センサを含み得る。結果として、ビデオゲームを実行するＲＵＩＤは、他のゲームコントローラと同様に、着脱可能なアームの物理移動を仮想移動に変換及び転換できる。例えば、ＲＵＩＤは、異なる時間で、空間内のゴルフクラブゲームコントローラの位置を分析することから、「ゴルフクラブコントローラ」のユーザのスイングに対する仮想応答を判定することが可能である。ゴルフクラブコントローラのユーザのスイングの機構及びビデオゲームの機構に応じて、ＲＵＩＤは、投影されたディスプレイ上に表示される対応する仮想応答を提示する。
【００７５】
ユーザがビデオゲームを使用するために異なる道具の要素を選択する場合、着脱可能なアームは異なって構成されている場合があることに留意されたい。例えば、ユーザがテニスラケットを選択する場合、着脱可能なアームの構成は、テニスラケットの全部の印象と類似するように作られる場合がある。したがって、着脱可能なアームは、着脱可能なアームの一部だけがゲームコントローラとして使用されるように、バラバラにされている場合がある（図１１参照）。
【００７６】
図１０Ａは、ここに提示される方法を可能にするためのロボットユーティリティ及びインターフェースデバイス（ＲＵＩＤ）１０００の実施形態を示す。ＲＵＩＤ１０００は、物理的環境内部に移動するための車輪１００２ａ〜１００２ｃを含むことが示される。ＲＵＩＤ１０００は、また、エイムコントローラ１００４、デュアルショックコントローラ１００６、及びソードコントローラ１００８と合体していることが示される。いくつかの実施形態では、ＲＵＩＤ１０００は、内蔵電池（図示しない）によって、１つ以上のコントローラ１００４〜１００８を充電することが可能である。
【００７７】
ＲＵＩＤ１０００は、また、ユーザに表示するために、ユーザインターフェース及びビデオゲーム等のメディアコンテンツをサーフェイス上に投影するために、ビデオプロジェクタ１０１０を含むことが示される。センサモジュール１０１２は、ＲＵＩＤ１０１２が、物理的環境をマッピング及びナビゲートし、ユーザの位置を識別し、コンテンツを表示するためのサーフェイスを識別することを可能にする。センサモジュール１０１２は、とりわけ、近接センサ、深度センサ、カメラ、立体カメラ、赤外線センサ、磁気センサ、レーダを含む、いくつかのセンサを含み得る。ＲＵＩＤ１００は、また、ゲームコントローラを取り出しユーザに届けること、ユーザがゲームコントローラを交換することを助けること、ゲームコントローラを「片付ける」等の現実世界アシスタンスを提供するために、ロボットアーム１０１４及び把持器具１０１６を有することが示される。さらに、上記に説明したように、ロボットアーム１０１４は、ビデオゲームと対話するために、ゲームコントローラとして使用するために、異なる形状に構成可能であり、着脱可能であり得る。
【００７８】
示されていないが、いくつかの実施形態では、ＲＵＩＤは、ユーザによって足置きとして使用され得る。ある実施形態では、足置き付属品またはクッションは、ＲＵＩＤと、クッションのアーム及び把持器具と互換性があり得る。結果として、ＲＵＩＤは、椅子に、またはカウチ上で座っているユーザに調節可能及び快適である高さで足置きクッションを支持し得る。
【００７９】
示される実施形態に従って、ＲＵＩＤ１００は、また、ユーザの音声命令及び物理的環境の他の音をキャプチャするためのマイクロホン１０１８を含む。
【００８０】
図１０Ｂは、また、ここで想到される把持器具の手１０２０を有するＲＵＩＤ１０００の追加実施形態を示す。把持器具の手１０２０は人間の手と同様の形状を取ることが示され、結果として、人間の手の行動を模倣するように、ユーザと対話し得る。図１０Ｃでは、ＲＵＩＤ１０００の追加実施形態は、ＲＵＩＤ１０００のある部分を高くするための望遠鏡デバイス１０２２を有することが示される。例えば、望遠鏡デバイス１０２２は、プロジェクタ、センサモジュール、及び／またはカメラ、ならびに他のコンポーネントを高くすることが可能であり得る。さらに、望遠鏡デバイス１０２２は、また、把持器具を有するロボットアームを高くすることが可能であり得る。
【００８１】
図１０Ｄでは、ユーザ１０２４は、仮想現実シーン１０３０を提示するために、ヘッドマウントディスプレイ（ＨＭＤ）１０２６を装着していることが示される。仮想現実（ＶＲ）シーン１０３０では、ユーザ１０２４は、キャラクタ１０３２と握手しようとすることが示される。いくつかの実施形態では、ＶＲシーン１０３０は、ＲＵＩＤ１０００上で実行され得、ＲＵＩＤ１０００は、無線接続によって、ＶＲシーン１０３０に関連付けられる画像をＨＭＤ１０２６に提供する。同時に、ユーザが、ユーザの手を伸ばし、仮想握手１０２８’を行う間、ＲＵＩＤ１０００は、現実世界の手の握手１０２８をユーザ１０２４に提供する。結果として、ユーザ１０２４は、ユーザの仮想握手１０２８’に対応する現実世界の握手１０２８の身体的感覚が与えられる。
【００８２】
ある実施形態に従って、ロボットは、ユーザ１０２４の手の位置と、ロボットの把持器具の手１０２０の場所とを追跡することが可能である。加えて、ロボットは、ＶＲキャラクタ１０３２の手があるはずである場所に関連する情報を有する。結果として、ロボットは、ユーザ１０２４が仮想空間内にあるキャラクタ１０３２の手を知覚する場所に対応するユーザ１０２４に対する場所に、ロボットの把持器具の手１０２０を置くことが可能である。結果として、ユーザ１０２４がユーザの手を伸ばすとき、把持器具の手１０２０は、定位置で、現実世界の握手１０２８を行うためにユーザの手と触れる。
【００８３】
左利きの把持器具の手が図１０Ｂ〜図１０Ｄに示されているが、右利きの把持器具の手は、また、異なる実施形態で使用される得ることを理解されたい。さらに、いくつかの実施形態は、２つ以上のロボットアームを伴うＲＵＩＤを有し得、アームのそれぞれは把持器具の手を有する。
【００８４】
図１１は、ゲームコントローラとして使用され得るＲＵＩＤのアームの様々な構成を示す。例えば、構成１１０２は、アームの把持器具を着脱することによって提供される。構成１１０２のゲームコントローラは、卓球ラケット、棒、ポインティングデバイスもしくはエイミングデバイス、または他の片手用デバイスとして使用され得る。構成１１０４のゲームコントローラは、野球用バット、クリケット用バット、ソード、ライトサーベル、ポール、ステッキ、または他の片手用または両手用デバイスとして使用され得る。図９Ｃに示される構成１１０６のゲームコントローラは、ゴルフクラブとして使用され得る。加えて、しかしながら、構成１１０６は、また、射撃デバイス、キャノン、迫撃砲、携行式ロケット弾（ＲＰＧ）ランチャ、大鎌、または他のデバイスとして使用され得る。構成１１０８のゲームコントローラは、テニスラケット、ラケットボール用ラケット、バトン、短剣、シールド、棒、または他のデバイスとして使用され得る。構成１１１０のゲームコントローラは、エイミングデバイスまたは他のデバイスとして使用され得る。構成１１１２のゲームコントローラは、アームのシャフトの一部を把持する把持器具を有する台形状のように示される。係る構成のゲームコントローラは、シールド、エイミングデバイス、ステアリング車輪、石弓もしくは他の弓、射撃デバイス、エイミングデバイス、または他の種類の機器として使用され得る。当然ながら、可能であるロボットアームの多くの追加構成が存在するが、図１１に示されない。結果として、図１１に示される構成は、例示的及び限定的であることを意味し、多くの追加構成は、ここに説明される実施形態の範囲及び主旨から逸脱していない。
【００８５】
図１２Ａ〜図１２Ｅは、投影されるサーフェイスに対して四角形になるように、ロボット１２００のビデオプロジェクタ１２０１を配向するための概念モデルを示す。例えば、図１２Ａは、壁１２０４に対して９０°の角度θを形成する投影軸１２０２を伴うビデオプロジェクタ１２０１を有するロボット１２００を示す。投影軸は、投影に関連付けられる光線の平均的な方向性を説明する想像上の線、または係る投影の中心、または概して、投影の方向性を説明する線である。結果として、ビデオプロジェクタ１２０１は、壁１２０４に対して四角形であり、投影される画像は歪まない。対照的に、図１２Ｂのロボット１２００は、投影軸１２０２’が壁１２０４に対して９０°（例えば、垂直）ではない角度θ’を形成するように配向されることが示される。結果として、補正なしで投影される画像は、投影軸１２０２’が壁１２０４に対して垂直ではないため、曲がりまたは歪み得る。
【００８６】
図１２Ｃは、ロボット１２００が壁１２０４に対して四角形になるように、ビデオプロジェクタ１２０１を配向することが可能である一方向を示す。ロボット１２００は、壁１２０４からの距離を測定するために、パルス１２０６を送信することが示される。後続のパルス１２０６’が、ロボットが当該方向に沿って進行するにつれて、ロボットが壁１２０４から離れた同様の距離を維持することを示す方向に、ロボット１２００が移動するまで、ロボット１２００は様々な方向に移動する。パルスは、音響パルス、赤外線光、レーザ光、または距離を検出するための他の電磁信号を含み得る。図１２Ｄでは、パルスがほとんど跳ね返る配向を見つけるための連続試験パルスを発射しながら、ロボット１２００は回転する。図１２Ｅでは、ロボット１２００は、物理的環境のマップ１２１０にアクセスする。ロボット１２００は、ＧＰＳによってマップ１２１０内のその位置１２００’と、コンパスによってその配向とを判定することが可能である。結果として、ロボット１２００は、（例えば、垂直である投影軸を有することによって）壁１２０４に対して四角形になるように、そのビデオプロジェクタを配向することができる。結果として、自己整合プロジェクタの追加の技術的利点は、ここに説明され、ＲＵＩＤによって具体化される方法及びシステムから広がる。
【００８７】
図１３は、本発明の方法及び／またはシステムによって使用され得るＲＵＩＤ１３００の追加実施形態を示す。ロボット１３００は、プロセッサ１３０２、電池１３０４、顔認識１３０６、ボタン、センサ、スイッチ１３０８、音定位１３１０、ディスプレイ１３１２、及びメモリ１３１４等のハードウェアを含む。ロボット１３００は、また、磁気計１３１６、加速度計１３１８、ジャイロスコープ１３２０、ＧＰＳ１３２２、及びコンパス１３２４を備える位置モジュール１３２６を含むことが示される。さらに、ロボット１３００には、スピーカ１３２８、マイクロホン１３３０、ＬＥＤ１３３２、視覚認識のためのオブジェクト（複数可）１３３４、赤外線光１３３６、前面カメラ１３３８、背面カメラ１３４０、視線追跡カメラ（複数可）１３４２、ＵＳＢ１３４４、永久ストレージ１３４６、振動触覚フィードバック１３４８、通信リンク１３５０、ＷｉＦｉ（登録商標）１３５２、超音波通信１３５４、ブルートゥース（登録商標）１３５６、近距離無線通信（ＮＦＣ）１３５８、深度センサ１３６０、ビデオプロジェクタ１３６２、移動ユニット１３６４、及び近接センサ１３６６、ならびにロボットアームコントローラ１３６８が含まれる。
【００８８】
本方法の動作が特定の順序で説明されたが、他のハウスキーピング動作は動作間に行われ得る、または動作は、わずかに異なる時間で発生するように調節され得る、もしくは、処理に関連付けられる様々な間隔における処理動作の発生を可能にするシステム内で分散され得ることを理解されたい。
【００８９】
１つ以上の実施形態は、また、コンピュータ可読媒体上のコンピュータ可読コードとして製作されることができる。コンピュータ可読媒体は、データを記憶することができる任意のデータストレージデバイスであり、当該データは、その後、コンピュータシステムによって読み取られることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読取専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびに他の光学データストレージデバイス及び非光学データストレージデバイスを含む。コンピュータ可読媒体は、ネットワーク連結コンピュータシステムを通して分散されるコンピュータ可読有形媒体を含み得、これにより、コンピュータ可読コードは、分散様式で記憶及び実行される。
【００９０】
理解の明確性の目的のために、前述の実施形態がいくつか詳細に説明されているが、ある変更及び修正が添付の「特許請求の範囲」の範囲内で実践できることが明白である。したがって、本実施形態は、例証であり制限するものではないとして考慮され、本実施形態は、本明細書に与えられた詳細に限定されないが、添付の「特許請求の範囲」の範囲内及びその均等物の範囲内で修正され得る。
【図１Ａ】
2021501496.tif 000003
【図１Ｂ】
2021501496.tif 000004
【図２】
2021501496.tif 000005
【図３Ａ】
2021501496.tif 000006
【図３Ｂ】
2021501496.tif 000007
【図３Ｃ】
2021501496.tif 000008
【図３Ｄ】
2021501496.tif 000009
【図３Ｅ】
2021501496.tif 000010
【図３Ｆ】
2021501496.tif 000011
【図４Ａ】
2021501496.tif 000012
【図４Ｂ】
2021501496.tif 000013
【図４Ｃ】
2021501496.tif 000014
【図５】
2021501496.tif 000015
【図６Ａ】
2021501496.tif 000016
【図６Ｂ】
2021501496.tif 000017
【図６Ｃ】
2021501496.tif 000018
【図７Ａ】
2021501496.tif 000019
【図７Ｂ】
2021501496.tif 000020
【図７Ｃ】
2021501496.tif 000021
【図７Ｄ】
2021501496.tif 000022
【図８】
2021501496.tif 000023
【図９Ａ】
2021501496.tif 000024
【図９Ｂ】
2021501496.tif 000025
【図９Ｃ】
2021501496.tif 000026
【図１０Ａ】
2021501496.tif 000027
【図１０Ｂ】
2021501496.tif 000028
【図１０Ｃ】
2021501496.tif 000029
【図１０Ｄ】
2021501496.tif 000030
【図１１】
2021501496.tif 000031
【図１２Ａ】
2021501496.tif 000032
【図１２Ｂ】
2021501496.tif 000033
【図１２Ｃ】
2021501496.tif 000034
【図１２Ｄ】
2021501496.tif 000035
【図１２Ｅ】
2021501496.tif 000036
【図１３】
2021501496.tif 000037
【国際調査報告】
2021501496.tif 000038
2021501496.tif 000039
2021501496.tif 000040