(57)【要約】      （修正有）【課題】現実環境における実在のオブジェクトに従って作られた仮想環境における仮想オブジェクトへ少なくとも１つの所定の対話特性を割り当てることが可能なヘッドマウントディスプレイシステムを提供する。【解決手段】ヘッドマウントディスプレイシステム１はスキャンユニット１５および処理ユニット１３を含む。スキャンユニットは、スキャン結果を生成するために現実環境における実在のオブジェクトをスキャンする。処理ユニットはスキャンユニットへ結合される。処理ユニットは、スキャン結果に従って実在のオブジェクトを識別し、識別結果に従って少なくとも１つの所定の対話特性を決定し、スキャン結果に従って現実環境における実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作り、対話特性を仮想オブジェクトに割り当てる。【選択図】図２
2020181545.tif 000002
【特許請求の範囲】
【請求項１】
スキャン結果を生成するために現実環境における実在のオブジェクトをスキャンするよう構成されるスキャンユニットと、
前記スキャンユニットへ結合される処理ユニットと
を有し、
前記処理ユニットは、
前記スキャンユニットの前記スキャン結果に従って前記実在のオブジェクトを識別し、
前記処理ユニットの識別結果に従って少なくとも１つの所定の対話特性を決定し、
前記スキャンユニットの前記スキャン結果に従って前記現実環境における前記実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作り、
前記少なくとも１つの所定の対話特性を前記仮想環境における前記仮想オブジェクトに割り当てる
よう構成される、
ヘッドマウントディスプレイシステム。
【請求項２】
前記処理ユニットへ結合される追跡ユニットを更に有し、該追跡ユニットは、少なくとも１つの対話入力を含む追跡結果を生成するために、ユーザの手、前記ユーザの目、及び前記ユーザによって操作されるリモートコントローラのうちの少なくとも１つを追跡するよう構成され、
前記追跡ユニットの前記追跡結果の前記少なくとも１つの対話入力が前記少なくとも１つの所定の対話特性を満たすときに、前記仮想オブジェクトは、前記追跡ユニットの前記追跡結果の前記少なくとも１つの対話入力に従って操作される、
請求項１に記載のヘッドマウントディスプレイシステム。
【請求項３】
前記追跡ユニットの前記追跡結果の前記少なくとも１つの対話入力は、操作する点、操作する手のジェスチャ及び操作する動きのうちの少なくとも１つを有し、
前記少なくとも１つの所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ及び所定の操作する動作のうちの少なくとも１つを有する、
請求項２に記載のヘッドマウントディスプレイシステム。
【請求項４】
前記少なくとも１つの所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ、所定の操作する動き、所定のフレームワーク、所定の反応点、所定の反応動作、及び所定の反応効果のうちの少なくとも１つを有する、
請求項１に記載のヘッドマウントディスプレイシステム。
【請求項５】
前記少なくとも１つの所定の対話特性は、第１の所定の対話特性及び第２の所定の対話特性を有し、
前記第１の所定の対話特性は、第１の所定の操作する点、第１の所定の操作する手のジェスチャ、及び第１の所定の操作する動きのうちの少なくとも１つを有し、
前記第２の所定の対話特性は、第２の所定の操作する点、第２の所定の操作する手のジェスチャ、及び第２の所定の操作する動きのうちの少なくとも１つを有する、
請求項１に記載のヘッドマウントディスプレイシステム。
【請求項６】
現実環境における実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作るためにヘッドマウントディスプレイシステムを使用する方法であって、
スキャン結果を生成するために、前記ヘッドマウントディスプレイシステムのスキャンユニットを使用して前記現実環境における前記実在のオブジェクトをスキャンすることと、
前記ヘッドマウントディスプレイシステムの処理ユニットを使用して、前記スキャンユニットの前記スキャン結果に従って前記実在のオブジェクトを識別し、前記処理ユニットの識別結果に従って前記少なくとも１つの所定の対話特性を決定し、前記スキャンユニットの前記スキャン結果に従って前記現実環境における前記実在のオブジェクトに対応する前記仮想環境における前記仮想オブジェクトを作り、前記少なくとも１つの所定の対話特性を前記仮想環境における前記仮想オブジェクトへ割り当てることと
を有する方法。
【請求項７】
前記ヘッドマウントディスプレイシステムの追跡ユニットを使用して、少なくとも１つの対話入力を含む追跡結果を生成するために、ユーザの手、前記ユーザの目、及び前記ユーザによって操作されるリモートコントローラのうちの少なくとも１つを追跡することと、
前記追跡ユニットの前記追跡結果の前記少なくとも１つの対話入力が前記少なくとも１つの所定の対話特性を満たすときに、前記追跡ユニットの前記追跡結果の前記少なくとも１つの対話入力に従って前記仮想オブジェクトを操作することと
を更に有する
請求項６に記載の方法。
【請求項８】
前記追跡ユニットの前記追跡結果の前記少なくとも１つの対話入力は、操作する点、操作する手のジェスチャ及び操作する動きのうちの少なくとも１つを有し、
前記少なくとも１つの所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ及び所定の操作する動作のうちの少なくとも１つを有する、
請求項７に記載の方法。
【請求項９】
前記少なくとも１つの所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ、所定の操作する動き、所定のフレームワーク、所定の反応点、所定の反応動作、及び所定の反応効果のうちの少なくとも１つを有する、
請求項６に記載の方法。
【請求項１０】
前記少なくとも１つの所定の対話特性は、第１の所定の対話特性及び第２の所定の対話特性を有し、
前記第１の所定の対話特性は、第１の所定の操作する点、第１の所定の操作する手のジェスチャ、及び第１の所定の操作する動きのうちの少なくとも１つを有し、
前記第２の所定の対話特性は、第２の所定の操作する点、第２の所定の操作する手のジェスチャ、及び第２の所定の操作する動きのうちの少なくとも１つを有する、
請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体に関係があり、より具体的には、現実環境における実在のオブジェクトに従って作られた仮想環境における仮想オブジェクトへ少なくとも１つの所定の対話特性を割り当てることが可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体に関係がある。
【背景技術】
【０００２】
技術の進歩及び発達とともに、コンピュータゲームとユーザとの間のインタラクションの要求は高まっている。人間とコンピュータとの間のインタラクション技術、例えば、体性感覚ゲーム、仮想現実（virtual  reality；ＶＲ）環境、拡張現実（augmented  reality；ＡＲ）環境、複合現実（mixed  reality；ＭＲ）環境及びクロスリアリティ（extended  reality；ＸＲ）環境は、その生理的及び娯楽的機能により一般的になりつつある。ヘッドマウントディスプレイ（head  mounted  display；ＨＭＤ）のような従来の表示装置は、通常、実在のオブジェクトの色、テクスチャ、及び幾何学形状を少なくとも含む実在のオブジェクトの情報を得るために、更には、得られた情報に従って仮想環境における仮想オブジェクトを作り出すために、現実環境における実在のオブジェクトの画像を捕捉するカメラを利用する。しかし、仮想オブジェクトが作り出された後、ユーザは仮想オブジェクトを自然に操作することができない。すなわち、仮想オブジェクトは、操作されている実在のオブジェクトと同じ連成挙動を有さず、このことは、ユーザの対話体験に悪影響を及ぼす。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１８／００７３５１号
【特許文献２】米国特許第８６０６６５７号
【特許文献３】米国特許出願公開第２０１７／０２４２４８８号
【発明の概要】
【０００４】
本開示の目的は、現実環境における実在のオブジェクトに従って作られた仮想環境における仮想オブジェクトへ少なくとも１つの所定の対話特性を割り当てることが可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体を提供することである。
【０００５】
上記の目的を達成するために、本開示は、ヘッドマウントディスプレイシステムを開示する。ヘッドマウントディスプレイシステムは、スキャンユニット及び処理ユニットを含む。前記スキャンユニットは、スキャン結果を生成するために現実環境における実在のオブジェクトをスキャンするよう構成される。前記処理ユニットは、前記スキャンユニットへ結合される。前記処理ユニットは、前記スキャンユニットの前記スキャン結果に従って前記実在のオブジェクトを識別し、前記処理ユニットの識別結果に従って少なくとも１つの所定の対話特性を決定し、前記スキャンユニットの前記スキャン結果に従って前記現実環境における前記実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作り、前記少なくとも１つの所定の対話特性を前記仮想環境における前記仮想オブジェクトに割り当てるよう構成される。
【０００６】
上記の目的を達成するために、本開示は更に、現実環境における実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作るためにヘッドマウントディスプレイシステムを使用する方法を開示する。方法は、スキャン結果を生成するために、前記ヘッドマウントディスプレイシステムのスキャンユニットを使用して前記現実環境における前記実在のオブジェクトをスキャンすることと、前記ヘッドマウントディスプレイシステムの処理ユニットを使用して、前記スキャンユニットの前記スキャン結果に従って前記実在のオブジェクトを識別し、前記処理ユニットの識別結果に従って前記少なくとも１つの所定の対話特性を決定し、前記スキャンユニットの前記スキャン結果に従って前記現実環境における前記実在のオブジェクトに対応する前記仮想環境における前記仮想オブジェクトを作り、前記少なくとも１つの所定の対話特性を前記仮想環境における前記仮想オブジェクトへ割り当てることとを含む。
【０００７】
上記の目的を達成するために、本開示は、ヘッドマウントディスプレイシステムにプロセスを実行させるプログラムを記憶している非一時的なコンピュータ可読記憶媒体を開示する。前記プロセスは、スキャン結果を生成するために、前記ヘッドマウントディスプレイシステムのスキャンユニットを使用して前記現実環境における前記実在のオブジェクトをスキャンすることと、前記ヘッドマウントディスプレイシステムの処理ユニットを使用して、前記スキャンユニットの前記スキャン結果に従って前記実在のオブジェクトを識別し、前記処理ユニットの識別結果に従って前記少なくとも１つの所定の対話特性を決定し、前記スキャンユニットの前記スキャン結果に従って前記現実環境における前記実在のオブジェクトに対応する前記仮想環境における前記仮想オブジェクトを作り、前記少なくとも１つの所定の対話特性を前記仮想環境における前記仮想オブジェクトへ割り当てることとを含む。
【０００８】
要約すると、本開示は、スキャンユニットのスキャン結果に従って仮想環境における仮想オブジェクトを作り出すだけでなく、少なくとも１つの所定の対話特性を仮想環境における仮想オブジェクトに割り当てる。現実環境における実在のオブジェクトを識別することによって生成される識別結果に従って少なくとも１つの所定の対話特性が決定されるということで、それは、ユーザがより自然に種々の方法で仮想環境における仮想オブジェクトを操作することを可能にする。従って、本開示は、ユーザの対話体験を有効に改善することができる。
【０００９】
本開示のそれら及び他の目的は、様々な図及び図面で説明される好適な実施形態の以下の詳細な説明を読んだ後で当業者にきっと明らかになるだろう。
【図面の簡単な説明】
【００１０】
【図１】本開示の第１実施形態に従うヘッドマウントディスプレイシステムの図である。
【図２】本開示の第１実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。
【図３】本開示の第１実施形態に従って、現実環境における実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作るためにヘッドマウントディスプレイシステムを使用する方法を説明するフローチャート図である。
【図４】本開示の第１実施形態に従って、仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。
【図５】本開示の第２実施形態に従って、第１の方法で仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。
【図６】本開示の第２実施形態に従って、第２の方法で仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。
【図７】本開示の第３実施形態に従って、仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。
【図８】本開示の第４実施形態に従って、仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。
【発明を実施するための形態】
【００１１】
特定の語が、特定のコンポーネントに言及するために、明細書及び続く特許請求の範囲を通じて使用される。当業者が理解するだろうように、電子機器メーカーは、種々の名称によってあるコンポーネントに言及することがある。本書は、名称が異なるが機能は異ならないコンポーネントを区別するつもりはない。以下の記載において、及び特許請求の範囲において、語「含む」（include）及び「有する」（comprise）は、非限定的な意味で使用され、よって、「制限なしに、〜を含む」を意味すると解釈されるべきである。その上、記載を簡単にし、且つ、夫々の実施形態を比較することをより都合良くするよう、同じコンポーネントは、以下の実施形態の夫々で、同じ参照番号を付されている。図はもっぱら説明を目的とし、図は実寸通りでない点に留意されたい。また、語「結合する」（couple）は、間接的又は直接的な電気的／機械的接続のいずれかを意味するよう意図される。よって、第１デバイスが第２デバイスへ結合される場合に、その接続は直接的な電気的／機械的接続を通じても、又は他のデバイス及び接続を経る間接的な電気的／機械的接続を通じてもよい。
【００１２】
図１及び図２を参照されたい。本開示の第１実施形態に従うヘッドマウントディスプレイシステム１の図である。図２は、本開示の第１実施形態に従うヘッドマウントディスプレイシステム１の機能ブロック図である。図１及び図２に示されるように、ヘッドマウントディスプレイシステム１は、ユーザによって身に付けられ得る装着可能な本体１１と、表示ユニット１２と、処理ユニット１３と、追跡ユニット１４と、スキャンユニット１５とを含む。
【００１３】
表示ユニット１２は、仮想環境の画像のような画像をユーザに表示するよう構成される。この実施形態では、表示ユニット１２は、装着可能な本体１１に取り付け可能であり、液晶ディスプレイ（liquid  crystal  display；ＬＣＤ）、発光ダイオード（light-emitting  diode；ＬＥＤ）ディスプレイ、有機発光ダイオード（organic  light-emitting  diode；ＯＬＥＤ）ディスプレイ、又は何らかの他のディスプレイであることができる。なお、本開示はそれらに限られない。
【００１４】
追跡ユニット１４は、少なくとも１つの対話入力を含む追跡結果を生成するために、ユーザの手を追跡するよう構成される。具体的に、この実施形態では、追跡ユニット１４は、ユーザの手のジェスチャ及び手の動きを追跡するために、装着可能な本体１１に取り付けられてユーザの手の画像を捕捉する追跡カメラモジュール１４１、ジャイロスコープ、加速度計、磁気センサ若しくはそれらの組み合わせのような慣性計測装置を含み、ユーザの少なくとも片手に装着されている少なくとも１つの手センサ１４２、又はそれらの組み合わせを含むことができ、少なくとも１つの対話入力は、ユーザの手の操作する点、操作する手のジェスチャ、及び操作する動きを含むことができる。
【００１５】
しかし、本開示は、この実施形態に制限されない。例えば、他の実施形態では、追跡ユニットは、手のジェスチャ及び手の動きの少なくとも一方を追跡することができ、少なくとも１つの対話入力は、ユーザの手の操作する点、操作する手のジェスチャ、及び操作する動きのうちの少なくとも１つを含むことができる。代替的に、他の実施形態では、追跡ユニットは、ユーザの下半身の動きを追跡するために、追跡カメラモジュール及び／又は、慣性計測装置を含み、ユーザの下半身に装着される少なくとも１つの下半身センサを含むことができ、少なくとも１つの対話入力は、ユーザの下半身の操作する点及び操作する動きのうちの少なくとも１つを含むことができる。代替的に、他の実施形態では、追跡ユニットは、ユーザの視線を追跡する追跡カメラを含むことができ、少なくとも１つの対話入力は、ユーザの視線の操作する点及び操作する動きのうちの少なくとも１つを含むことができる。代替的に、追跡ユニットは、リモートコントローラの位置、向き、姿勢及び動きのうちの少なくとも１つを追跡する、リモートコントローラに配置された追跡カメラモジュール及び／又は慣性計測装置を含むことができ、少なくとも１つの対話入力は、リモートコントローラの操作する点及び操作する動きのうちの少なくとも１つを含むことができる。
【００１６】
スキャンユニット１５は、スキャン結果を生成するために現実環境における実在のオブジェクトをスキャンするよう構成される。この実施形態では、スキャンユニット１５は、装着可能な本体１１に取り付けられて、現実環境における実在のオブジェクトの画像を捕捉するスキャンカメラモジュール１５１を含むことができる。なお、本開示は、この実施形態に制限されない。例えば、他の実施形態では、追跡結果及びスキャン結果を生成するために追跡カメラモジュール及びスキャンカメラモジュールの機能を兼ね備える１つのカメラモジュールしか存在しなくてもよい。すなわち、スキャンユニット及び追跡ユニットは、構造の簡単化の実現するよう一体化され得る。
【００１７】
処理ユニット１３は、追跡ユニット１４及びスキャンユニット１５へ結合される。処理ユニット１３は、スキャンユニットのスキャン結果に従って実在のオブジェクトを識別し、処理ユニットの識別結果に従って少なくとも１つの所定の対話特性を決定し、スキャンユニットのスキャン結果に従って現実環境における実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作り、前記少なくとも１つの所定の対話特性を仮想環境における仮想オブジェクトに割り当てるよう構成される。それにより、仮想オブジェクトは、追跡ユニットの追跡結果の少なくとも１つの対話入力が少なくとも１つの所定の対話特性を満たすときに、追跡ユニットの追跡結果の少なくとも１つの対話入力に従って操作されることを可能にされる。少なくとも１つの所定の対話特性は、ヘッドマウントディスプレイシステム１のＲＡＭ、ＲＯＭなどのような記憶要素に記憶され得る。この実施形態では、処理ユニット１３は、ソフトウェア、ファームウェア、ハードウェア構成、又はそれらの組み合わせにおいて実施され得る。例えば、処理ユニット１３は、装着可能な本体１１に取り付けられる、中央演算処理装置、アプリケーションプロセッサ、マイクロプロセッサなどのようなプロセッサであることができ、あるいは、装着可能な本体１１に取り付けられる特定用途向け集積回路（application  specific  integrated  circuit；ＡＳＩＣ）によって実現され得る。なお、本開示はそれらに限られない。
【００１８】
更に、この実施形態では、少なくとも１つの所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ、及び所定の操作する動きを含むことができる。しかし、本開示は、この実施形態に制限されない。例えば、他の実施形態では、少なくとも１つの所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ、及び所定の操作する動きのうちの少なくとも１つを含むことができる。代替的に、後述される他の実施形態では、所定の対話特性は、所定のフレームワーク、所定の反応点、所定の反応動作、及び所定の反応効果のうちの少なくとも１つを更に含むことができる。
【００１９】
加えて、この実施形態では、表示ユニット１２、処理ユニット１３、追跡ユニット１４及びスキャンユニット１５は、装着可能な本体１１に配置されている。しかし、本開示は、この実施形態に制限されない。例えば、他の実施形態では、ヘッドマウントディスプレイシステムは、装着可能な本体から離れて独立して配置された遠隔コンピュータ装置と、遠隔コンピュータ装置への通信チャネルを構成するために装着可能な本体に配置された通信モジュールとを更に含む。遠隔コンピュータ装置は、エッジコンピュータデバイス、クラウドコンピュータデバイス、ローカルホストコンピュータ、遠隔サーバ、スマートフォン、などであることができる。通信モジュールは、装着可能な本体における要素と遠隔コンピュータ装置における要素との間に有線接続又は無線接続を確立することができる。処理ユニット、追跡ユニット又はスキャンユニットは、装着可能な本体以外に遠隔コンピュータ装置に少なくとも部分的に配置され得、且つ／あるいは、タスクの一部を遠隔コンピュータ装置へ分配する。それにより、スキャンユニットのスキャン結果、追跡ユニットの追跡結果又処理ユニットのデータ（例えば、識別結果及び少なくとも１つの所定の対話特性など）は、装着可能な本体のサイズ及び計算を減らして、装着可能な本体を軽量且つ持ち運び可能にするために、通信モジュールを介して、遠隔コンピュータ装置と装着可能な本体との間で送信され得る。
【００２０】
図３を参照されたい。図３は、本開示の第１実施形態に従って、現実環境における実在のオブジェクトに対応する仮想環境における仮想オブジェクトを作るためにヘッドマウントディスプレイシステム１を使用する方法を説明するフローチャート図である。図３に示されるように、方法は、次のステップを含む。
【００２１】
Ｓ１：スキャンユニット１５は、スキャン結果を生成するよう現実環境における実在のオブジェクトをスキャンする。
【００２２】
Ｓ２：処理ユニット１３は、スキャンユニット１５のスキャン結果に従って、現実環境における実在のオブジェクトを識別する。
【００２３】
Ｓ３：処理ユニット１３は、識別結果に従って、少なくとも１つの所定の対話特性を決定する。
【００２４】
Ｓ４：処理ユニット１３は、スキャンユニット１５のスキャン結果に従って、仮想環境における仮想オブジェクトを作り出す。
【００２５】
Ｓ５：処理ユニット１３は、少なくとも１つの所定の対話特性を仮想環境における仮想オブジェクトに割り当てる。
【００２６】
Ｓ６：追跡ユニット１４は、少なくとも１つの対話入力を含む追跡結果を生成するようユーザの手を追跡する。
【００２７】
Ｓ７：追跡ユニットの少なくとも１つの対話入力が少なくとも１つの所定の対話特性を満たすときに、仮想オブジェクトは、少なくとも１つの対話入力に従って操作される。
【００２８】
ステップの詳細な説明は、次のように与えられる。ステップＳ１で、実在のオブジェクトに対応する仮想オブジェクトを作り、仮想環境における仮想オブジェクトがユーザによって現実環境における実在のオブジェクトのように操作されることを可能にすることが望ましいとき、ユーザは、装着可能な本体１１を身に付け、スキャンユニット１５を使用して、実在のオブジェクトの色、テクスチャ、及び幾何学形状を少なくとも含むスキャン結果を生成するよう現実環境における実在のオブジェクトをスキャンすることができる。ステップＳ２及びＳ３で、処理ユニット１３は、スキャン結果に従って現実環境における実在のオブジェクトを識別し、更には、識別結果に従って少なくとも１つの所定の対話特性を決定することができる。その後に、ステップＳ４及びＳ５で、処理ユニット１３は、スキャンユニット１５のスキャン結果に従って仮想環境における仮想オブジェクトを作り、少なくとも１つの所定の対話特性を仮想環境における仮想オブジェクトに割り当てることができる。ステップＳ６及びＳ７で、ユーザが仮想オブジェクトを操ることを望むとき、ユーザは、ユーザの手を動かすことができる。それにより、追跡ユニット１４は、少なくとも１つの対話入力を含む追跡結果を生成するようユーザの手を追跡することができる。更に、仮想環境における仮想オブジェクトは、追跡ユニット１４の少なくとも１つの対話入力が少なくとも１つの所定の対話特性を満たすときに、少なくとも１つの対話入力に従って操作される。従って、それは、ユーザが自然に仮想環境における仮想オブジェクトを操作することを可能にする。
【００２９】
例えば、図４を参照されたい。図４は、本開示の第１実施形態に従って、仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。図４に示されるように、処理ユニット１３がスキャン結果に従って現実環境における実在のオブジェクトをゴブレットとして識別する場合には、処理ユニット１３は、少なくとも１つの所定の対話特性の所定の操作する点、所定の操作する手のジェスチャ、及び所定の操作する動きが夫々、ゴブレットの脚部分、ユーザによって行われるつまむジェスチャ、及び並進運動を参照すると決定することができる。仮想オブジェクト、すなわち、図４に示される仮想ゴブレット２が作り出された後、上記の所定の対話特性は仮想ゴブレット２に割り当てられる。それにより、仮想ゴブレット２は、追跡結果の少なくとも１つの対話入力が少なくとも１つの所定の対話特性を満たすときに、すなわち、操作する点、操作する手のジェスチャ、及び操作する動きが夫々、所定の操作する点、所定の操作する手のジェスチャ、及び所定の操作する動きを満たすときに、少なくとも１つの対話入力に従って操作されることを可能にされる。従って、仮想ゴブレットは、ユーザの親指及び人差し指の間で仮想ゴブレット２の脚部分２１をつまむことと、ユーザの手の並進運動とによってのみ、保持され、そして、平行移動するよう操作されることを可能にされる。これは、ユーザが仮想ゴブレット２をより自然に操作することを可能にする。
【００３０】
しかし、本開示は、この実施形態に制限されない。例えば、他の実施形態では、追跡ユニットはまた、少なくとも１つの対話入力を含む追跡結果を生成するために、ユーザの手及び目を同時に追跡することもできる。具体的に、追跡ユニットは、２つの追跡カメラモジュールを含むことができる。２つの追跡カメラモジュールのうちの一方は、ユーザの手のジェスチャ及び手の動きを追跡するためのものであり、２つの追跡カメラモジュールのうちの他方は、ユーザの目の視線方向を追跡するためのものである。少なくとも１つの対話入力は、ユーザの目の視線の操作する点、操作する手のジェスチャ、及び手の動きを含むことができる。すなわち、上記の実施形態とは異なり、この実施形態の操作する点は、視線によって決定される。そのため、仮想ゴブレットは、ユーザの目がゴブレットの脚部分を見つめることによって、保持されることを可能にされ、仮想ゴブレットは更に、仮想ゴブレットの脚部分に照準を定めずに自由にユーザの親指及び人差し指によるつまむジェスチャにより並進運動することによって、平行移動するよう操作されることを可能にされる。
【００３１】
その上、他の実施形態では、追跡結果は、リモートコントローラを追跡することによって生成され得る。すなわち、この実施形態では、少なくとも１つの対話入力は、リモートコントローラの操作する点及び操作する動きを含むことができ、少なくとも１つの対話特性は、ゴブレットの脚部分及びリモートコントローラの並進運動を夫々参照する所定の操作する点及び所定の操作する動きを含むことができる。従って、仮想ゴブレットは、仮想ゴブレットの脚部分でのリモートコントローラの並進運動によってのみ、平行移動するよう操作されることを可能にされる。
【００３２】
更に、他の実施形態では、少なくとも１つの所定の対話特性は、複数の所定の対話特性を含み、夫々の所定の対話特性は、所定の操作する点、所定の操作する手のジェスチャ、及び所定の操作する動きを含む。従って、それは、多数の方法で仮想オブジェクトを操作することをユーザに可能にする。例えば、図５及び図６を参照されたい。図５は、本開示の第２実施形態に従って、第１の方法で仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。図６は、本開示の第２実施形態に従って、第２の方法で仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。図５及び図６に示されるように、この実施形態の仮想オブジェクトは、現実環境におけるゴブレットに対応する、仮想環境における仮想ゴブレット２’である。第１実施形態とは異なり、この実施形態の少なくとも１つの所定の対話特性は、第１の所定の対話特性及び第２の所定の対話特性を含むことができる。第１の所定の対話特性は、第１の所定の操作する点、第１の所定の操作する手のジェスチャ、及び第１の所定の操作する動きを含むことができ、第２の所定の対話特性は、第２の所定の操作する点、第２の所定の操作する手のジェスチャ、及び第２の所定の操作する動きを含むことができる。第１の所定の操作する点、第１の所定の操作する手のジェスチャ、及び第１の所定の操作する動きは夫々、ゴブレットの上部分、ユーザの手の全体で握るジェスチャ、及びゴブレットの回転運動を参照することができ、第２の所定の操作する点、第２の所定の操作する手のジェスチャ、及び第２の所定の操作する動きは、ゴブレットの脚部分、ユーザの手のつまむジェスチャ、及びゴブレットの並進運動を参照することができる。従って、それは、２つの異なる方法で仮想ゴブレット２’を操作することをユーザに可能にする。仮想ゴブレット２’を操作するための第１の方法は、仮想ゴブレット２’の上部分２２’に照準を定めながらユーザの手の全体で握るジェスチャにより仮想ゴブレット２’を回転させることであり、仮想ゴブレットを操作するための第２の方法は、仮想ゴブレット２’の脚部分２１’に照準を定めながらユーザの手のつまむ動作により仮想ゴブレット２’を平行移動させることである。しかし、本開示は、この実施形態に制限されない。例えば、他の実施形態では、第１の所定の対話特性は、第１の所定の操作する点、第１の所定の操作する手のジェスチャ、及び第１の所定の操作する動きのうちの少なくとも１つを含むことができ、第２の所定の対話特性は、第２の所定の操作する点、第２の所定の操作する手のジェスチャ、及び第２の所定の操作する動きのうちの少なくとも１つを含むことができる。
【００３３】
図７を参照されたい。図７は、本開示の第３実施形態に従って、仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。図７に示されるように、この実施形態では、仮想オブジェクトは、現実環境におけるラップトップコンピュータに対応し、スキャン結果に従って作り出された仮想環境における仮想ラップトップコンピュータ２”であり、少なくとも１つの所定の対話特性は、識別結果に従って、所定のフレームワーク、所定の操作する点、及び所定の操作する動きを含むと決定され得る。具体的に、少なくとも１つの所定の対話特性を仮想ラップトップコンピュータ２”に割り当てた後、仮想ラップトップコンピュータ２”は、所定のフレームワークに従って、上カバー部分２１”、ヒンジ部分２２”及び下カバー部分２３”に分けられ得る。更に、所定の操作する点及び所定の操作する動きは夫々、ラップトップコンピュータの上カバー部分の開いた側及び、ラップトップコンピュータのヒンジ部分周りのラップトップコンピュータの下カバー部分に対するラップトップコンピュータの上カバー部分の回転運動を参照することができる。従って、仮想ラップトップコンピュータ２”の上カバー部分２１”は、ユーザの親指で仮想ラップトップコンピュータ２”の上カバー部分２１”の開いた側を動かすことによって、ヒンジ部分２２”の周りで下カバー部分２３”に対して開かれるよう操作されることを可能にされる。
【００３４】
図８を参照されたい。図８は、本開示の第４実施形態に従って、仮想環境における仮想オブジェクトがユーザによって操作されることを説明する図である。図８に示されるように、この実施形態では、仮想オブジェクトは、現実環境におけるピストルに対応し、スキャン結果に従って作り出された仮想環境における仮想ピストル２’’’であり、少なくとも１つの所定の対話特性は、識別結果に従って、所定の操作する点、所定の操作する手のジェスチャ、所定の操作する動き、所定の反応点、所定の反応動作、及び所定の反応効果を含むと決定され得る。具体的には、所定の操作する点、所定の操作する手のジェスチャ、所定の操作する動き、所定の反応点、所定の反応動作、及び所定の反応効果は夫々、ピストルの引き金部分、ユーザの人差し指による引き金を引くジェスチャ、ユーザの人差し指の引き金を引く動き、ピストルの銃口部分、銃口部分の上方移動、及び火花効果を参照することができる。従って、それは、ユーザの人差し指で仮想ピストル２’’’の引き金部分２１’’’を引くことによって仮想ピストル２’’’の銃口部分２２’’’の上方移動及び火花効果とともに現実的な発砲を生じさせるよう仮想ピストル２’’’を操作することをユーザに可能にする。
【００３５】
更に、本開示の上記の実施形態は、ソフトウェア、ファームウェア、ハードウェア構成、又はそれらの組み合わせにおいて実施可能であり、また、ヘッドマウントディスプレイシステムに本開示の上記の方法に従ってプロセッサによってプロセスを実行させるプログラムを記憶する非一時的なコンピュータ可読記憶媒体を提供することも可能である。プロセッサは、中央演算処理装置、アプリケーションプロセッサ、マイクロプロセッサ、などであることができ、あるいは、特定用途向け集積回路（ＡＳＩＣ）によって実現可能である。コンピュータ可読記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、又は光学式データ記憶デバイスであることができる。なお、本開示はそれらに限られない。
【００３６】
先行技術と対照的に、本開示は、スキャンユニットのスキャン結果に従って仮想環境における仮想オブジェクトを作り出すだけでなく、少なくとも１つの所定の対話特性を仮想環境における仮想オブジェクトに割り当てる。現実環境における実在のオブジェクトを識別することによって生成される識別結果に従って少なくとも１つの所定の対話特性が決定されるということで、それは、ユーザがより自然に種々の方法で仮想環境における仮想オブジェクトを操作することを可能にする。従って、本開示は、ユーザの対話体験を有効に改善することができる。
【００３７】
当業者は、デバイス及び方法の多数の改良及び変更が本開示の教示を保ちながら行われ得ると容易に気付くだろう。然るに、上記の開示は、添付の特許請求の範囲の境界によってしか制限されないと解釈されるべきである。
【符号の説明】
【００３８】
１                        ヘッドマウントディスプレイシステム
２，２’，２”、２’’’  仮想オブジェクト
１１                      装着可能な本体
１２                      表示ユニット
１３                      処理ユニット
１４                      追跡ユニット
１４１                    追跡カメラモジュール
１４２                    手センサ
１５                      スキャンユニット
１５１                    スキャンカメラモジュール
【図１】
2020181545.tif 000003
【図２】
2020181545.tif 000004
【図３】
2020181545.tif 000005
【図４】
2020181545.tif 000006
【図５】
2020181545.tif 000007
【図６】
2020181545.tif 000008
【図７】
2020181545.tif 000009
【図８】
2020181545.tif 000010