(57)【要約】ハンドヘルド・オブジェクト等のアクセサリを用いて、仮想環境内で仮想オブジェクトとインタラクトするためのシステム及び方法が開示される。仮想オブジェクトは、ディスプレイ・デバイスを用いて見ることができる。ディスプレイ・デバイス及びハンドヘルド・オブジェクトは、協働して、仮想環境のシーン・マップを決定することができ、ディスプレイ・デバイス及びハンドヘルド・オブジェクトは、シーン・マップ内で位置合わせされる。
2016507805.tif 000002
【特許請求の範囲】
【請求項１】
仮想環境を提供するシステムであって、前記仮想環境は、現実世界の空間と同一の広がりを有し、当該システムは、
１以上の仮想オブジェクトを含むシーン・マップの決定を少なくとも部分的に支援するディスプレイ・デバイスであって、前記仮想環境内で前記１以上の仮想オブジェクトのうちの仮想オブジェクトを表示するためのディスプレイ・ユニットを含むディスプレイ・デバイスと、
前記ディスプレイ・デバイスとは独立して前記現実世界の空間において動かされることが可能なアクセサリであって、前記ディスプレイ・デバイスと同じシーン・マップ内で位置合わせされるアクセサリと、
を備えた、システム。
【請求項２】
前記アクセサリは、ハンドヘルド・デバイスである、請求項１記載のシステム。
【請求項３】
前記ハンドヘルド・デバイスは、前記ハンドヘルド・デバイスが前記現実世界の空間において動かされたときの加速度データ及び速度データのうちの少なくとも１つを提供する慣性測定ユニットを含む、請求項２記載のシステム。
【請求項４】
前記アクセサリは、イメージング・デバイス及びパックを含む、請求項１記載のシステム。
【請求項５】
前記パックは、携帯電話機を含む、請求項４記載のシステム。
【請求項６】
仮想環境を提供するシステムであって、前記仮想環境は、現実世界の空間と同一の広がりを有し、当該システムは、
１以上の仮想オブジェクトを含むシーン・マップの決定を少なくとも部分的に支援するディスプレイ・デバイスであって、前記仮想環境内で前記１以上の仮想オブジェクトのうちの仮想オブジェクトを表示するためのディスプレイ・ユニットを含むディスプレイ・デバイスと、
前記ディスプレイ・デバイスと同じシーン・マップ内で位置合わせされるアクセサリであって、前記仮想オブジェクトとインタラクトすることができるアクセサリと、
を備えた、システム。
【請求項７】
前記アクセサリは、前記ディスプレイ・デバイスに表示される仮想的光線を用いて前記仮想オブジェクトを選択することにより、前記仮想オブジェクトとインタラクトし、前記仮想的光線は、前記アクセサリから前記仮想オブジェクトに伸びるものとして表示される、請求項６記載のシステム。
【請求項８】
前記アクセサリは、前記アクセサリを前記仮想オブジェクトの表面に接触させて前記仮想オブジェクトを選択することにより、あるいは前記アクセサリを前記仮想オブジェクトの内部に配置させて前記仮想オブジェクトを選択することにより、前記仮想オブジェクトとインタラクトする、請求項６記載のシステム。
【請求項９】
仮想環境内における仮想オブジェクトとの直接インタラクションの方法であって、前記仮想環境は、現実世界の空間と同一の広がりを有し、当該方法は、
（ａ）前記仮想環境のためのシーン・マップを規定するステップであって、仮想オブジェクトの位置は、前記シーン・マップ内で規定される、ステップと、
（ｂ）ディスプレイ・デバイスを介して前記仮想オブジェクトを表示するステップであって、前記ディスプレイ・デバイスの位置は、前記シーン・マップ内で位置合わせされる、ステップと、
（ｃ）ハンドヘルド・デバイスを用いて、前記ディスプレイ・デバイスにより表示される前記仮想オブジェクトと直接インタラクトするステップであって、前記ハンドヘルド・デバイスの位置は、前記シーン・マップ内で位置合わせされる、ステップと、
を含む、方法。
【請求項１０】
前記ステップ（ｃ）は、
ハンドヘルド・オブジェクトから発する、前記ディスプレイ・デバイスにより表示される仮想的光線を用いて、前記仮想オブジェクトを選択し、前記ディスプレイ・デバイスが、仮想デバイスと交わる前記仮想的光線を表示するように、前記ハンドヘルド・オブジェクトを操作するステップと、
前記仮想オブジェクトが表示される現実世界の空間に前記ハンドヘルド・オブジェクトを配置させることにより、前記仮想オブジェクトを選択するステップと、
のうちの１つを含む、請求項９記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
複合現実は、仮想画像を現実世界の物理環境と混合することを可能にする技術である。シースルーのヘッド・マウント複合現実ディスプレイ・デバイスが、ユーザの視野内に表示される現実オブジェクトと仮想オブジェクトとの複合画像を見るために、ユーザにより装着され得る。ヘッド・マウント・ディスプレイ・デバイスは、仮想オブジェクト及び現実オブジェクトを見ることができる環境の３次元マップを作成することができる。ユーザは、例えば、仮想オブジェクトを見ることで、仮想オブジェクトを選択することにより、仮想オブジェクトとインタラクトすることができる。仮想オブジェクトが選択されると、ユーザは、その後、例えば、そのオブジェクトをつかんで移動させることにより、あるいは、そのオブジェクトに関する何らかの他の予め定められたジェスチャを行うことにより、仮想オブジェクトを操作することができる、あるいは仮想オブジェクトを移動させることができる。
【０００２】
このタイプの間接インタラクションは欠点を有する。例えば、ユーザの手の位置が、ヘッド・マウント・ディスプレイ・デバイスにより作成されたシーン・マップ（scene  map）内で推定され、推定された位置が、時間とともにドリフト（変動）し得る。これは、つかまれた仮想オブジェクトがユーザの手の外側で表示されるという結果をもたらし得る。頭部の動きを用いてオブジェクトを選択することは、時として直感的でない場合もある。
【発明の概要】
【０００３】
本技術の実施形態は、仮想環境内の３次元仮想オブジェクトとインタラクトするためのシステム及び方法に関する。仮想環境内に仮想オブジェクトを作成するためのシステムは、１以上の処理ユニットに接続されたシースルーのヘッド・マウント・ディスプレイ・デバイスを部分的に含み得る。１以上のヘッド・マウント・ディスプレイ・ユニットと協働する処理ユニットは、仮想環境内に仮想オブジェクトのシーン・マップを規定することができる。
【０００４】
当該システムは、ヘッド・マウント・ディスプレイ・デバイスとは独立して動くハンドヘルド・デバイス等のアクセサリをさらに含む。実施形態において、ハンドヘルド・デバイスが、ヘッド・マウント・ディスプレイ・デバイスにより使用される同じシーン・マップ内で位置合わせされ得るように、ハンドヘルド・デバイスは、ヘッド・マウント・ディスプレイ・デバイス及び／又は１以上の処理ユニットと協働することができる。
【０００５】
ハンドヘルド・オブジェクトは、パック（puck）に取り付けられたカメラを含み得る。パックは、例えば、ユーザがヘッド・マウント・ディスプレイ・デバイスにより表示された仮想オブジェクトとインタラクトするための入力パッド上のコマンドを選択することを可能にする静電容量式タッチ・スクリーンを含む入力パッドを有することができる。カメラは、ヘッド・マウント・ディスプレイ・デバイス上の１以上の画像キャプチャ・デバイスにより識別されたポイントと共通する、その視野内のポイントを識別することができる。そのような共通のポイントを使用して、ハンドヘルド・デバイスに対するヘッド・マウント・ディスプレイ・デバイスの位置を決定し、同じシーン・マップ内で両デバイスを位置合わせすることができる。ヘッド・マウント・ディスプレイ・デバイスのシーン・マップ内でのハンドヘルド・デバイスの位置合わせにより、ハンドヘルド・デバイスとヘッド・マウント・ディスプレイ・デバイスにより表示される仮想オブジェクトとの直接的なインタラクションが可能となる。
【０００６】
一例において、本技術は、仮想環境を提供するシステムに関する。前記仮想環境は、現実世界の空間と同一の広がりを有する（coextensive）。当該システムは、１以上の仮想オブジェクトを含むシーン・マップの決定を少なくとも部分的に支援するディスプレイ・デバイスであって、前記仮想環境内で前記１以上の仮想オブジェクトのうちの仮想オブジェクトを表示するためのディスプレイ・ユニットを含むディスプレイ・デバイスと、前記ディスプレイ・デバイスとは独立して前記現実世界の空間において動かされることが可能なアクセサリであって、前記ディスプレイ・デバイスと同じシーン・マップ内で位置合わせされるアクセサリと、を備える。
【０００７】
別の例において、本技術は、仮想環境を提供するシステムに関する。前記仮想環境は、現実世界の空間と同一の広がりを有する。当該システムは、１以上の仮想オブジェクトを含むシーン・マップの決定を少なくとも部分的に支援するディスプレイ・デバイスであって、前記仮想環境内で前記１以上の仮想オブジェクトのうちの仮想オブジェクトを表示するためのディスプレイ・ユニットを含むディスプレイ・デバイスと、前記ディスプレイ・デバイスと同じシーン・マップ内で位置合わせされるアクセサリであって、前記仮想オブジェクトとインタラクトすることができるアクセサリと、を備える。
【０００８】
さらなる例において、本技術は、仮想環境内における仮想オブジェクトとの直接インタラクションの方法に関する。前記仮想環境は、現実世界の空間と同一の広がりを有する。当該方法は、（ａ）前記仮想環境のためのシーン・マップを規定するステップであって、仮想オブジェクトの位置は、前記シーン・マップ内で規定される、ステップと、（ｂ）ディスプレイ・デバイスを介して前記仮想オブジェクトを表示するステップであって、前記ディスプレイ・デバイスの位置は、前記シーン・マップ内で位置合わせされる、ステップと、（ｃ）ハンドヘルド・デバイスを用いて、前記ディスプレイ・デバイスにより表示される前記仮想オブジェクトと直接インタラクトするステップであって、前記ハンドヘルド・デバイスの位置は、前記シーン・マップ内で位置合わせされる、ステップと、を含む。
【０００９】
この概要は、発明を実施するための形態において以下でさらに説明されるコンセプトのうち選択したものを簡略化した形で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を決定する際の助けとして使用されることを意図するものでもない。
【図面の簡単な説明】
【００１０】
【図１】仮想環境を１人以上のユーザに提供するシステムの一実施形態の例示的なコンポーネントの図。
【図２】ヘッド・マウント・ディスプレイ・ユニットの一実施形態の斜視図。
【図３】ヘッド・マウント・ディスプレイ・ユニットの一実施形態の一部の側面図。
【図４】ヘッド・マウント・ディスプレイ・ユニットのコンポーネントの一実施形態のブロック図。
【図５】ヘッド・マウント・ディスプレイ・ユニットのキャプチャ・デバイスと、処理ユニットと、のコンポーネントの一実施形態のブロック図。
【図６】ヘッド・マウント・ディスプレイ・ユニットに関連付けられた処理ユニットのコンポーネントの一実施形態のブロック図。
【図７】本開示の実施形態に従ったハンドヘルド・デバイスの斜視図。
【図８】本開示の実施形態に従ったハンドヘルド・デバイスの一部として提供されるパックのブロック図。
【図９】ハンドヘルド・デバイスを用いて仮想オブジェクトとインタラクトするユーザを含む仮想環境の一例の図。
【図１０】本システムの１以上の処理ユニットと、ヘッド・マウント・ディスプレイ・デバイスと、ハンドヘルド・デバイスと、のオペレーション及びコラボレーションを示すフローチャート。
【図１１】図１０のフローチャートのステップ６０８のより詳細なフローチャート。
【発明を実施するための形態】
【００１１】
本技術の実施形態について、図１〜図１１を参照しながら説明する。本技術の実施形態は、一般に、複合現実環境において仮想オブジェクトと直接インタラクトするためのシステム及び方法に関する。実施形態において、当該システム及び方法は、ヘッド・マウント・ディスプレイ・デバイスにより生成された３次元シーン・マップ内で自身を追跡し位置合わせすることができるハンドヘルド・デバイスを使用することができる。ハンドヘルド・デバイス及び／又はヘッド・マウント・ディスプレイ・デバイスは、それぞれのデバイスに接続されたモバイル処理ユニット又はそれぞれのデバイス内で統合されたモバイル処理ユニットに加えて、ユーザ周囲の視野をキャプチャするためのカメラも含み得る。
【００１２】
各ユーザは、ディスプレイ・エレメントを含むヘッド・マウント・ディスプレイ・デバイスを装着することができる。ユーザが、ディスプレイ・エレメントを通して、ユーザの視野（ＦＯＶ）内の現実世界のオブジェクトを見ることができるように、ディスプレイ・エレメントは、ある程度透明である。ディスプレイ・エレメントはまた、仮想画像も現実世界のオブジェクトと一緒に見えるように、仮想画像をユーザのＦＯＶに投影する機能を提供する。当該システムは、当該システムが仮想画像をユーザのＦＯＶ内のどこに挿入すべきかを判定することができるように、ユーザが見ている場所を自動的に追跡する。当該システムが、仮想画像をどこに投影すべきかを認識すると、画像が、ディスプレイ・エレメントを用いて投影される。
【００１３】
実施形態において、ヘッド・マウント・ディスプレイ・デバイス及び／又はハンドヘルド・デバイスは、協働して、部屋又は他の環境内のユーザの６自由度、すなわち、ｘ位置、ｙ位置、ｚ位置、ピッチ位置、ヨー位置、及びロール位置と、現実世界のオブジェクトと、仮想３次元オブジェクトと、を含む環境のモデルを構築することができる。ユーザにより装着される各ヘッド・マウント・ディスプレイ・デバイスの環境内の位置は、環境のモデル及び互いに合わせて調整され得る。これにより、当該システムは、環境の各ユーザの視線及びＦＯＶを決定することが可能となる。したがって、仮想画像が各ユーザに表示され得るが、当該システムは、各ユーザの視点から仮想画像の表示を決定し、環境内の他のオブジェクトから、あるいは環境内の他のオブジェクトにより、視差（parallax）及び任意のオクルージョン（occlusion）のための仮想画像を調整する。本明細書においてシーン・マップと呼ばれる環境のモデルに加えて、各ユーザのＦＯＶ及び環境内のオブジェクトの追跡は、協働するあるいは個別に動作する１以上の処理ユニットにより生成され得る。
【００１４】
本技術の態様に従うと、ハンドヘルド・デバイスはまた、環境のモデルに合わせて調整され、環境のモデル内で位置合わせされ得る。以下で説明するように、これにより、シーン・マップとも呼ばれる環境のモデル内において、ハンドヘルド・デバイスの位置及び動き（並進及び回転）を正確に知ることが可能となる。
【００１５】
本システムにより提供される仮想環境は、現実世界の空間と同一の広がりを有し得る。すなわち、仮想環境は、現実世界の空間と同じ領域にわたって配置され得、現実世界の空間と同じ領域を共有し得る。仮想環境は、部屋又は他の現実世界の空間の制約内でフィットし得る。代替的に、仮想環境は、現実世界の物理空間の制約より大きくてもよい。
【００１６】
現実世界の空間を移動するユーザはまた、同一の広がりを有する仮想環境内を移動することができ、異なる奥行き及び視点から、仮想オブジェクト及び／又は現実オブジェクトを見ることができる。１つのタイプの仮想環境は、複合現実環境であり、この仮想環境は、仮想オブジェクト及び現実世界のオブジェクトの両方を含む。別のタイプの仮想環境は、仮想オブジェクトだけを含む。
【００１７】
以下で説明するように、ハンドヘルド・オブジェクトを使用して、仮想環境内の仮想オブジェクトを選択し、仮想オブジェクトと直接インタラクトすることができる。しかしながら、ユーザは、ハンドヘルド・オブジェクトとともに他の身体によるジェスチャ及び／又は言葉によるジェスチャを用いて、仮想オブジェクトとインタラクトしてもよい。したがって、ハンドヘルド・デバイス上のボタン及び／又はタッチ・スクリーンの作動に加えて、身体によるジェスチャは、当該システムに予め定められたアクションを実行するよう求めるユーザ・リクエストとして、複合現実システムにより認識される、指、手、及び／又は他の身体のパーツを用いた予め定められたジェスチャを行うことをさらに含み得る。身体によるインタラクションは、ハンドヘルド・デバイス又はユーザの他のパーツによる仮想オブジェクトとの接触をさらに含み得る。例えば、ユーザは、仮想オブジェクトと接触するように又は仮想オブジェクト内にハンドヘルド・オブジェクトを配置することができ、その後、仮想オブジェクトを押す、あるいは仮想オブジェクトを動かすことができる。
【００１８】
ユーザは、代替的に又は追加的に、ハンドヘルド・デバイスとともに、当該システムに予め定められたアクションを実行するよう求めるユーザ・リクエストとして、複合現実システムにより認識される、例えば話し言葉（単語又は語句）等の言葉によるジェスチャを用いて、仮想オブジェクトとインタラクトしてもよい。言葉によるジェスチャとともに身体によるジェスチャを用いて、仮想環境内の１以上の仮想オブジェクトとインタラクトしてもよい。
【００１９】
図１は、仮想コンテンツ２１をユーザのＦＯＶ内の現実コンテンツ２７と融合することにより複合現実経験を提供するシステム１０を示している。図１は、ヘッド・マウント・ディスプレイ・デバイス２を装着しているユーザ１８を示している。ヘッド・マウント・ディスプレイ・デバイス２は、一実施形態において、ユーザが、ディスプレイを通して見ることができ、それにより、ユーザの前方にある空間の実際の直接的ビュー（actual  direct  view）を有することができるように、眼鏡の形状をとる。「実際の直接的ビュー」という用語の使用は、オブジェクトの作成された画像表現を見るのではなく、現実世界のオブジェクトを人間の眼で直接見る能力を指す。例えば、眼鏡を通して部屋を見ることは、ユーザが部屋の実際の直接的ビューを有することを可能にするのに対し、テレビジョンで部屋のビデオを見ることは、部屋の実際の直接的ビューではない。ヘッド・マウント・ディスプレイ・デバイス２のさらなる詳細は、以下で提供される。
【００２０】
本技術の態様は、ユーザにより運ばれ得るハンドヘルド・デバイス１２をさらに含み得る。実施形態において、ハンドヘルド・デバイスと呼ばれ、図１にそのようなものとして示されるが、デバイス１２は、より広義に、アクセサリと呼ばれ得る。デバイス１２は、ヘッド・マウント・ディスプレイ・デバイスとは独立して動かされ得るものであり、ヘッド・マウント・ディスプレイ・デバイスのシーン・マップ内で位置合わせされ得る。アクセサリは、ユーザの手に保持されていない間も操作され得る。アクセサリは、ユーザの腕又は脚にストラップで固定されてもよいし、環境内の現実オブジェクト上に配置されてもよい。
【００２１】
図２及び図３において見られるように、各ヘッド・マウント・ディスプレイ・デバイス２は、ワイヤ６を介して自身の処理ユニット４と通信する。他の実施形態において、ヘッド・マウント・ディスプレイ・デバイス２は、無線通信を介して処理ユニット４と通信する。一実施形態において、処理ユニット４は、例えば、ユーザの手首に装着される、あるいはユーザのポケットにしまわれる小型のポータブル・デバイスである。処理ユニットは、例えば、携帯電話機のサイズ及びフォーム・ファクタであり得るが、さらなる例では、他の形状及びサイズであってもよい。さらなる実施形態において、処理ユニット４は、ヘッド・マウント・ディスプレイ・デバイス２に統合されてもよい。処理ユニット４は、ヘッド・マウント・ディスプレイ・デバイス２を動作させるために使用されるコンピューティング・パワーの大部分を含み得る。実施形態において、処理ユニット４は、ハンドヘルド・デバイス１２と無線で（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、又は他の無線通信手段で）通信する。さらなる実施形態において、処理ユニット４は、代わりに、ハンドヘルド・デバイス１２に統合されることが意図されている。
【００２２】
図２及び図３は、ヘッド・マウント・ディスプレイ・デバイス２の斜視図及び側面図を示している。図３は、ヘッド・マウント・ディスプレイ・デバイス２の右側面を示しており、テンプル１０２及びノーズ・ブリッジ（nose  bridge）１０４を有するデバイスの一部を含む。以下で説明するように、音を記録し、そのオーディオ・データを処理ユニット４に送信するためのマイクロフォン１１０が、ノーズ・ブリッジ１０４に組み込まれている。ビデオ及び静止画像をキャプチャすることができる１以上の部屋に面したキャプチャ・デバイス１２５が、ヘッド・マウント・ディスプレイ・デバイス２の前側に存在する。そのような画像は、以下で説明するように、処理ユニット４に送信される。
【００２３】
ヘッド・マウント・ディスプレイ・デバイス２のフレームの一部は、（１以上のレンズを含む）ディスプレイを取り囲む。ヘッド・マウント・ディスプレイ・デバイス２のコンポーネントを示すために、ディスプレイを取り囲むフレームの一部は図示されていない。ディスプレイは、導光光学エレメント（light-guide  optical  element）１１５、不透明フィルタ（opacity  filter）１１４、シースルー・レンズ１１６、及びシースルー・レンズ１１８を含む。一実施形態において、不透明フィルタ１１４は、シースルー・レンズ１１６の後ろにあって、シースルー・レンズ１１６と整列しており、導光光学エレメント１１５は、不透明フィルタ１１４の後ろにあって、不透明フィルタ１１４と整列しており、シースルー・レンズ１１８は、導光光学エレメント１１５の後ろにあって、導光光学エレメント１１５と整列している。シースルー・レンズ１１６及びシースルー・レンズ１１８は、眼鏡に使用される標準レンズであり、任意の度（度なしを含む）に合わせて作成され得る。一実施形態において、シースルー・レンズ１１６及びシースルー・レンズ１１８は、可変の度付きレンズに取って代わられ得る。いくつかの実施形態において、ヘッド・マウント・ディスプレイ・デバイス２は、１つのシースルー・レンズを含んでもよいし、シースルー・レンズを含まなくてもよい。別の代替実施形態において、度付きレンズは、導光光学エレメント１１５の中に入ってもよい。不透明フィルタ１１４は、（ピクセル単位で又は均一に）自然光を取り除き、仮想画像のコントラストを高める。導光光学エレメント１１５は、人工光を眼に通す。
【００２４】
（一実施形態において）仮想画像を投影するためのマイクロディスプレイ１２０と、画像をマイクロディスプレイ１２０から導光光学エレメント１１５に向けるためのレンズ１２２と、を含む画像ソース（image  source）が、テンプル１０２に搭載される、あるいはテンプル１０２内部に設けられる。一実施形態において、レンズ１２２はコリメート・レンズである。
【００２５】
制御回路１３６は、ヘッド・マウント・ディスプレイ・デバイス２の他のコンポーネントをサポートする様々なエレクトロニクスを提供する。制御回路１３６のさらなる詳細は、図４を参照して以下で提供される。イヤフォン１３０、慣性測定ユニット１３２、及び温度センサ１３８が、テンプル１０２内部に設けられる、あるいはテンプル１０２に搭載される。図４に示す一実施形態において、慣性測定ユニット（すなわち、ＩＭＵ）１３２は、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃ等の慣性センサを含む。慣性測定ユニット１３２は、ヘッド・マウント・ディスプレイ・デバイス２の位置、向き、及び加速度（ピッチ、ロール、及びヨー）を検出する。ＩＭＵ１３２は、磁力計１３２Ａ、ジャイロ１３２Ｂ、及び加速度計１３２Ｃに加えて、あるいはこれらに代えて、他の慣性センサを含んでもよい。
【００２６】
マイクロディスプレイ１２０は、レンズ１２２を通して画像を投影する。マイクロディスプレイ１２０を実装するために使用することができる様々な画像生成技術が存在する。例えば、マイクロディスプレイ１２０は、光源が、白色光を用いて背後から光が当てられた光学的アクティブ材料（optically  active  material）により変調される透過型投影技術を用いて実装され得る。そのような技術は、通常、強力なバックライト及び高光学エネルギ密度を伴うＬＣＤ型ディスプレイを用いて実装される。マイクロディスプレイ１２０はまた、外部光が光学的アクティブ材料により反射され変調される反射技術（reflective  technology）を用いて実装され得る。照明が、技術に応じて白色源又はＲＧＢ源のいずれかにより前方照射される。デジタル光処理（ＤＬＰ）、ＬＣＯＳ（liquid  crystal  on  silicon）、及びＱｕａｌｃｏｍｍ社のＭｉｒａｓｏｌ（登録商標）ディスプレイ技術が、大部分のエネルギが変調された構造から遠ざかるように反射されるため効率的であり、本システムにおいて使用することができる反射技術の例である。さらに、マイクロディスプレイ１２０は、光がディスプレイにより生成される発光技術（emissive  technology）を用いて実装され得る。例えば、Ｍｉｃｒｏｖｉｓｉｏｎ社のＰｉｃｏＰ（登録商標）ディスプレイ・エンジンは、マイクロミラー制御により、レーザ信号を透過エレメントとして動作する小型スクリーンに発する、あるいは眼に直接発する（例えば、レーザ）。
【００２７】
導光光学エレメント１１５は、マイクロディスプレイ１２０から、ヘッド・マウント・ディスプレイ・デバイス２を装着しているユーザの眼１４０に光を向かわせる。導光光学エレメント１１５はまた、矢印１４２により示されるように、ヘッド・マウント・ディスプレイ・デバイス２の前方からの光を、導光光学エレメント１１５を介して眼１４０に向かわせることを可能にし、それにより、ユーザは、マイクロディスプレイ１２０から仮想画像を受け取ることに加えて、ヘッド・マウント・ディスプレイ・デバイス２の前方の空間の実際の直接的ビューを有することが可能となる。したがって、導光光学エレメント１１５の壁はシースルーである。導光光学エレメント１１５は、第１の反射面１２４（例えば、ミラー又は他の面）を含む。マイクロディスプレイ１２０からの光は、レンズ１２２を通過し、反射面１２４に入射する。反射面１２４は、光が内反射により導光光学エレメント１１５を含む平面基板の内側にトラップされるように、マイクロディスプレイ１２０からの入射光を反射する。基板の表面からの何回かの反射の後、トラップされた光波が、選択的反射面１２６のアレイに到達する。図の過密を避けるために、５つの面のうちの１つが１２６とラベリングされていることに留意されたい。反射面１２６は、基板からそれら反射面へ入射する光波をユーザの眼１４０に結合する。
【００２８】
異なる光線が、基板の内部を移動し、異なる角度で基板の内部を跳ね返るので、異なる光線は、異なる角度で様々な反射面１２６に衝突する。したがって、異なる光線は、複数の反射面のうちの異なる反射面により、基板から反射される。どの光線をどの面１２６により基板から反射させるかという選択は、面１２６の適切な角度を選択することにより管理される。導光光学エレメントのさらなる詳細は、参照によりその全体が本明細書に組み込まれる、２００８年１１月２０日に公開された「Substrate-Guided  Optical  Devices」と題する米国特許出願公開第２００８／０２８５１４０号において見い出すことができる。導光光学エレメント１１５は、導波管を介した反射の代わりに又はこれに加えて、投影光学（projection  optics）により作動されてもよい。一実施形態において、各眼は、自身の導光光学エレメント１１５を有する。ヘッド・マウント・ディスプレイ・デバイス２が、２つの導光光学エレメントを有する場合、各眼は、両眼に同じ画像を表示することができる、あるいは両眼に異なる画像を表示することができる自身のマイクロディスプレイ１２０を有することができる。別の実施形態において、両眼に光を反射する１つの導光光学エレメントが存在してもよい。
【００２９】
導光光学エレメント１１５と整列している不透明フィルタ１１４は、自然光が、均一に又はピクセル単位で導光光学エレメント１１５を通過するのを選択的にブロックする。不透明フィルタ１１４の一例の詳細は、参照によりその全体が本明細書に組み込まれる、２０１０年９月２１に出願された、Bar-Zeevらによる「Opacity  Filter  For  See-Through  Mounted  Display」と題する米国特許出願公開第２０１２／００６８９１３号において提供されている。しかしながら、一般に、不透明フィルタ１１４の実施形態は、シースルーＬＣＤパネル、エレクトロクロミック・フィルム、又は不透明フィルタとして機能することができる同様のデバイスであってよい。不透明フィルタ１１４は、高密度グリッドのピクセルを含み得る。ここで、各ピクセルの光透過率は、最小透過率と最大透過率との間で個別に制御可能である。透過率の範囲は、０〜１００％が理想的であるが、例えば、ピクセル当たり約５０％から９０％といったより制限された範囲も許容可能である。
【００３０】
現実世界のオブジェクトのプロキシ（proxy）によるｚ−バッファリングの後、レンダリング・パイプライン（rendering  pipeline）からアルファ値のマスクを使用することができる。システムが、拡張現実表示のためにシーンをレンダリングするとき、システムは、以下で説明するように、どの現実世界のオブジェクトがどの仮想オブジェクトの前にあるかに注目する。仮想オブジェクトが現実世界のオブジェクトの前にある場合、仮想オブジェクトが遮る領域に対して、不透明性がオンにされ得る。仮想オブジェクトが、（仮想的に）現実世界のオブジェクトの後ろにある場合、そのピクセルの色に加えて、不透明性がオフにされ得るので、ユーザは、実際の光のその対応する領域（１ピクセル以上のサイズ）の現実世界のオブジェクトを見ることになる。遮蔽（coverage）はピクセル単位であるので、システムは、仮想オブジェクトの一部が現実世界のオブジェクトの前にある場合、仮想オブジェクトの一部が現実世界のオブジェクトの後ろにある場合、及び仮想オブジェクトの一部が現実世界のオブジェクトに一致する場合、に対処することができる。低コスト、低パワー、及び軽量の、０％から１００％の不透明度を取ることができるディスプレイが、この使用のために最も望ましい。さらに、カラーＬＣＤ又は有機ＬＥＤ等の他のディスプレイ等により、色付きの不透明フィルタが提供され得る。
【００３１】
ヘッド・マウント・ディスプレイ・デバイス２はまた、ユーザの眼の位置を追跡するためのシステムも含む。以下で説明するように、システムは、システムがユーザのＦＯＶを決定することができるように、ユーザの位置及び向きを追跡する。しかしながら、人間は、その前にある全てを知覚するわけではない。そうではなく、ユーザの眼は、環境のサブセットに向けられる。したがって、一実施形態において、システムは、ユーザのＦＯＶの測定の精度を高めるために、ユーザの眼の位置を追跡するための技術を含む。例えば、ヘッド・マウント・ディスプレイ・デバイス２は、眼追跡照明デバイス１３４Ａ及び眼追跡カメラ１３４Ｂ（図４）を有する眼追跡アセンブリ１３４（図３）を含む。一実施形態において、眼追跡照明デバイス１３４は、眼に向けてＩＲ光を発する１以上の赤外線（ＩＲ）エミッタを含む。眼追跡カメラ１３４Ｂは、反射ＩＲ光を検出する１以上のカメラを含む。瞳孔の位置は、角膜の反射を検出する既知のイメージング技術により識別され得る。例えば、参照により本明細書に組み込まれる、２００８年７月２２日に発行された「Head  Mounted  Eye  Tracking  and  Display  System」と題する米国特許第７４０１９２０号を参照されたい。そのような技術は、追跡カメラに対する眼の中心の位置を突き止めることができる。一般に、眼追跡は、眼の画像を取得し、コンピュータ・ビジョン技術（computer  vision  technique）を用いて眼窩内の瞳孔の位置を決定することを含む。一実施形態において、１つの眼の位置を追跡すれば十分である。というのは、両眼は通常一緒に動くからである。しかしながら、各眼を個別に追跡することも可能である。
【００３２】
一実施形態において、システムは、ヘッド・マウント・ディスプレイ・デバイス２のレンズの各コーナーに１つのＩＲ  ＬＥＤ及び１つのＩＲ光検出器が存在するように、矩形配置の４つのＩＲ  ＬＥＤ及び４つのＩＲ光検出器を使用する。ＬＥＤからの光は、眼で反射する。４つのＩＲ光検出器の各々で検出される赤外光の量が、瞳孔の向きを決定する。すなわち、眼における白色及び黒色の量が、その特定の光検出器に関する、眼で反射される光の量を決定する。このようにして、光検出器は、眼における白色又は黒色の量を測定する。４つのサンプルから、システムは、眼の向きを決定することができる。
【００３３】
別の代替実施形態は、上述した４つの赤外線ＬＥＤを使用することであるが、１つの赤外線ＣＣＤが、ヘッド・マウント・ディスプレイ・デバイス２のレンズのサイドに設けられる。ＣＣＤは、ＣＣＤが眼鏡フレームから可視の眼の最大７５％までイメージングできるように、小型のミラー及び／又はレンズ（魚眼）を使用する。ＣＣＤは、次いで、上述したのとほとんど同様に、画像を検出し、コンピュータ・ビジョンを用いて画像を見つける。したがって、図３は、１つのＩＲ送信機を有する１つのアセンブリを示しているが、図３の構造は、４つのＩＲ送信機及び／又は４つのＩＲセンサを有するように調整され得る。４より多い又は４より少ないＩＲ送信機及び／又はＩＲセンサが使用されてもよい。
【００３４】
眼の向きを追跡するための別の実施形態は、電荷追跡（charge  tracking）に基づく。このコンセプトは、網膜が測定可能な正の電荷を保持し、角膜が負の電荷を有するという観察に基づく。眼が動き回る間の電位を検出するために、センサが、ユーザの耳に装着され（イヤフォン１３０の近く）、眼が何をしているのかリアルタイムに効果的に読み出す。眼を追跡するための他の実施形態が用いられてもよい。
【００３５】
図３は、ヘッド・マウント・ディスプレイ・デバイス２の半分を示している。完全なヘッド・マウント・ディスプレイ・デバイスは、シースルー・レンズの別のセット、別の不透明フィルタ、別の導光光学エレメント、別のマイクロディスプレイ、別のレンズ、部屋に面したカメラ、眼追跡アセンブリ、マイクロディスプレイ、イヤフォン、及び温度センサを含み得る。
【００３６】
図４は、ヘッド・マウント・ディスプレイ・デバイス２の様々なコンポーネントを示すブロック図である。図５は、処理ユニット４の様々なコンポーネントを説明するブロック図である。そのコンポーネントが図４に示されているヘッド・マウント・ディスプレイ・デバイス２を使用して、１以上の仮想画像を現実世界のユーザのビューとシームレスに融合することにより複合現実経験をユーザに提供する。さらに、図４のヘッド・マウント・ディスプレイ・デバイス・コンポーネントは、様々な状態を追跡する多くのセンサを含む。ヘッド・マウント・ディスプレイ・デバイス２は、処理ユニット４から、仮想画像に関する命令を受信し、センサ情報を処理ユニット４に返す。そのコンポーネントが図４に示されている処理ユニット４は、ヘッド・マウント・ディスプレイ・デバイス２からセンサ情報を受信する。その情報及びデータに基づいて、処理ユニット４は、仮想画像をどこにいつユーザに提供すべきかを判定し、それに従って、図４のヘッド・マウント・ディスプレイ・デバイスに命令を送信する。
【００３７】
図４は、電力管理回路２０２と通信する制御回路２００を示している。制御回路２００は、プロセッサ２１０と、メモリ２１４（例えば、Ｄ−ＲＡＭ）と通信するメモリ・コントローラ２１２と、カメラ・インタフェース２１６と、カメラ・バッファ２１８と、ディスプレイ・ドライバ２２０と、ディスプレイ・フォーマッタ（display  formatter）２２２と、タイミング・ジェネレータ（timing  generator）２２６と、ディスプレイ・アウト・インタフェース（display  out  interface）２２８と、ディスプレイ・イン・インタフェース（display  in  interface）２３０と、を含む。
【００３８】
一実施形態において、制御回路２００のコンポーネントは、専用線又は１以上のバスを介して、互いと通信する。別の実施形態において、制御回路２００のコンポーネントは、プロセッサ２１０と通信する。カメラ・インタフェース２１６は、画像キャプチャ・デバイス１２５へのインタフェースを提供し、画像キャプチャ・デバイスから受信した画像をカメラ・バッファ２１８に記憶する。ディスプレイ・ドライバ２２０は、マイクロディスプレイ１２０を駆動する。ディスプレイ・フォーマッタ２２２は、マイクロディスプレイ１２０に表示されている仮想画像に関する情報を不透明制御回路２２４に提供し、不透明制御回路２２４は、不透明フィルタ１１４を制御する。タイミング・ジェネレータ２２６は、システムにタイミング・データを提供するために使用される。ディスプレイ・アウト・インタフェース２２８は、画像キャプチャ・デバイス１２５から処理ユニット４に画像を提供するためのバッファである。ディスプレイ・イン・インタフェース２３０は、マイクロディスプレイ１２０に表示されることになる仮想画像等の画像を受信するためのバッファである。ディスプレイ・アウト・インタフェース２２８及びディスプレイ・イン・インタフェース２３０は、処理ユニット４へのインタフェースであるバンド・インタフェース２３２と通信する。
【００３９】
電力管理回路２０２は、電圧レギュレータ２３４と、眼追跡照明ドライバ２３６と、オーディオＤＡＣ及び増幅器２３８と、マイクロフォン前置増幅器及びオーディオＡＤＣ２４０と、温度センサ・インタフェース２４２と、クロック・ジェネレータ２４４と、を含む。電圧レギュレータ２３４は、処理ユニット４からバンド・インタフェース２３２を介して電力を受け、その電力をヘッド・マウント・ディスプレイ・デバイス２の他のコンポーネントに供給する。眼追跡照明ドライバ２３６は、上述したように、眼追跡照明１３４ＡにＩＲ光源を提供する。オーディオＤＡＣ及び増幅器２３８は、オーディオ情報をイヤフォン１３０に出力する。マイクロフォン前置振幅器及びオーディオＡＤＣ２４０は、マイクロフォン１１０へのインタフェースを提供する。温度センサ・インタフェース２４２は、温度センサ１３８へのインタフェースである。電力管理回路２０２はまた、電力を提供し、反対に、３軸磁力計１３２Ａ、３軸ジャイロ１３２Ｂ、及び３軸加速度計１３２Ｃからデータを受信する。
【００４０】
ヘッド・マウント・ディスプレイ２は、ユーザの環境のシーン・マップ及び３次元モデルの構築を可能にする、ユーザのＦＯＶのＲＧＢ画像及び奥行き画像をキャプチャするための複数のキャプチャ・デバイス１２５をさらに含み得る。図３は、２つのそのようなキャプチャ・デバイス１２５を概略的に示しており、１つが、ヘッド・マウント・ディスプレイ２の前方に面していて、別のものが、側面に面している。異なる角度からシーンを見るために４つのキャプチャ・デバイス１２５を提供して、奥行き情報を生成するために変換することができるビジュアル・ステレオ・データを取得するために、反対側も同じ構成を含み得る。さらなる実施形態では、４より多い又は４より少ないキャプチャ・デバイスが存在してもよい。
【００４１】
例示的な実施形態に従うと、キャプチャ・デバイス１２５は、例えば、飛行時間、構造化光（structured  light）、ステレオ画像等を含む任意の適切な技術を介して、奥行き値を含み得る奥行き画像を含む奥行き情報を有するビデオをキャプチャするよう構成され得る。一実施形態に従うと、キャプチャ・デバイス１２５は、奥行き情報を、「Ｚレイヤ」、すなわち、奥行きカメラからその見通し線に沿って伸びるＺ軸に対して垂直であり得るレイヤに編成することができる。
【００４２】
キャプチャ・デバイス１２５の概略表現が、図５に示されている。キャプチャ・デバイス１２５は、実施形態において、シーンの奥行き画像をキャプチャすることができる奥行きカメラであり得る、あるいはそのような奥行きカメラを含み得るカメラ・コンポーネント４２３を有することができる。奥行き画像は、キャプチャされたシーンの２次元（２−Ｄ）ピクセル領域を含み得る。ここで、２−Ｄピクセル領域内の各ピクセルは、例えば、センチメートル単位又はミリメートル単位の距離等の奥行き値、又はカメラからのキャプチャされたシーン内のオブジェクトのようなものを表し得る。
【００４３】
カメラ・コンポーネント４２３は、シーンの奥行き画像をキャプチャするために使用することができる、赤外（ＩＲ）光コンポーネント４２５、３次元（３−Ｄ）カメラ４２６、及びＲＧＢ（ビジュアル画像）カメラ４２８を含み得る。例えば、飛行時間解析において、キャプチャ・デバイス１２５のＩＲ光コンポーネント４２５は、赤外光をシーンに発することができ、次いで、センサ（いくつかの実施形態では、不図示のセンサを含む）を使用して、例えば、３−Ｄカメラ４２６及び／又はＲＧＢカメラ４２８を用いて、シーン内の１以上のターゲット及びオブジェクトの表面からの後方散乱光（backscattered  light）を検出することができる。さらなる実施形態において、３−Ｄカメラ及びＲＧＢカメラは、例えば、改良カラー・フィルタ・パターン（advanced  color  filter  pattern）を利用する同じセンサ上に存在してもよい。いくつかの実施形態において、出射光パルス（outgoing  light  pulse）と対応する入射光パルス（incoming  light  pulse）との間の時間を測定して、キャプチャ・デバイス１２５からシーン内のターゲット又はオブジェクト上の特定の位置までの物理的距離を決定するために、その時間を使用することができるように、パルス赤外光（pulsed  infrared  light）を使用することができる。さらに、他の例示的な実施形態において、出射光波の位相が、位相シフトを決定するために、入射光波の位相と比較され得る。次いで、位相シフトを使用して、キャプチャ・デバイスからターゲット又はオブジェクト上の特定の位置までの物理的距離を決定することができる。
【００４４】
別の例示的な実施形態に従うと、飛行時間解析を用いて、例えば、シャッタ光パルス・イメージング（shuttered  light  pulse  imaging）を含む様々な技術を介して経時的に光の反射ビームの強度を解析することにより、キャプチャ・デバイス１２５からターゲット又はオブジェクト上の特定の位置までの物理的距離を間接的に決定することができる。
【００４５】
別の例示的な実施形態において、キャプチャ・デバイス１２５は、構造化光を用いて、奥行き画像をキャプチャすることができる。そのような解析において、パターン光（patterned  light）（すなわち、グリッド・パターン、ストライプ・パターン、又は異なるパターン等の既知のパターンとして表示される光）を、例えば、ＩＲ光コンポーネント４２５を介して、シーンに投影することができる。シーン内の１以上のターゲット又はオブジェクトの表面とぶつかる（strike）と、パターンがそれに応じて変形され得る。パターンのこのような変形は、例えば、３−Ｄカメラ４２６及び／又はＲＧＢカメラ４２８（及び／又は他のセンサ）によりキャプチャすることができ、次いで、キャプチャ・デバイスからターゲット又はオブジェクト上の特定の位置までの物理的距離を決定するために解析することができる。いくつかの実施例において、ＩＲ光コンポーネント４２５は、三角測量を使用してカメラ４２６及び４２８からの距離を決定することができるように、カメラ４２６及び４２８からずらされる。いくつかの実施例において、キャプチャ・デバイス１２５は、ＩＲ光を検出する専用ＩＲセンサ又はＩＲフィルタを有するセンサを含む。
【００４６】
例示的な実施形態において、キャプチャ・デバイス１２５は、カメラ・コンポーネント４２３と通信することができるプロセッサ４３２をさらに含み得る。プロセッサ４３２は、標準プロセッサ、専用プロセッサ、マイクロプロセッサ、又は、例えば、奥行き画像を受信し、適切なデータ・フォーマット（例えば、フレーム）を生成し、データを処理ユニット４に送信するための命令を含む命令を実行することができる同様のプロセッサを含み得る。
【００４７】
キャプチャ・デバイス１２５は、プロセッサ４３２により実行される命令、３−Ｄカメラ及び／又はＲＧＢカメラによりキャプチャされた画像若しくは画像のフレーム、又は任意の他の適切な情報、画像等を記憶することができるメモリ４３４をさらに含み得る。例示的な実施形態に従うと、メモリ４３４は、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、キャッシュ、フラッシュ・メモリ、ハード・ディスク、又は任意の他の適切な記憶コンポーネントを含み得る。さらなる実施形態において、プロセッサ４３２及び／又はメモリ４３４は、ヘッド・マウント・ディスプレイ・デバイス２の制御回路（図４）又は処理ユニット４の制御回路（図６）に統合されてもよい。
【００４８】
キャプチャ・デバイス１２５は、通信リンク４３６を介して、処理ユニット４と通信することができる。通信リンク４３６は、例えば、ＵＳＢ接続、Ｆｉｒｅｗｉｒｅ（登録商標）接続、Ｅｔｈｅｒｎｅｔ（登録商標）ケーブル接続等を含む有線接続であってもよいし、且つ／あるいは、無線８０２．１１ｂ、８０２．１１ｇ、８０２．１１ａ、又は８０２．１１ｎ接続等の無線接続であってもよい。一実施形態に従うと、処理ユニット４は、例えば、通信リンク４３６を介していつシーンをキャプチャすべきかを判定するために使用することができるクロック（図６のクロック・ジェネレータ等）をキャプチャ・デバイス１２５に提供することができる。さらに、キャプチャ・デバイス１２５は、通信リンク４３６を介して、例えば、３−Ｄカメラ４２６及び／又はＲＧＢカメラ４２８によりキャプチャされた奥行き情報及びビジュアル画像（例えば、ＲＧＢ画像）を処理ユニット４に提供する。一実施形態において、奥行き画像及びビジュアル画像は、毎秒３０フレームで送信される。しかしながら、他のフレーム・レートが使用されてもよい。処理ユニット４は、次いで、例えば、仮想オブジェクトの生成を含み得るアプリケーションを制御するために、モデル、奥行き情報、及びキャプチャされた画像を作成及び使用することができる。
【００４９】
処理ユニット４は、骨格追跡モジュール４５０を含み得る。モジュール４５０は、キャプチャ・デバイス１２５からの、可能であれば１以上のヘッド・マウント・ディスプレイ・デバイス２上のカメラからの各フレームにおいて取得された奥行き画像を使用して、各ユーザがシーン内を移動するときの、キャプチャ・デバイス１２５のＦＯＶ内におけるユーザ１８（又は、他の人）の代表モデルを作成する。この代表モデルは、以下で説明する骨格モデルであり得る。処理ユニット４は、シーン・マッピング・モジュール４５２をさらに含み得る。シーン・マッピング・モジュール４５２は、キャプチャ・デバイス１２５から取得された奥行き画像及び可能であればＲＧＢ画像を使用して、ユーザ１８が存在するシーンのマップ又はモデルを作成する。シーン・マップは、骨格追跡モジュール４５０から取得されたユーザの位置をさらに含み得る。処理ユニット４は、シーン内の１人以上のユーザの骨格モデル・データを受信して、ユーザが処理ユニット４上で実行されているアプリケーションに影響を与える予め定められたジェスチャ又はアプリケーション制御動き（application-control  movement）を行っているかどうかを判定するためのジェスチャ認識エンジン４５４をさらに含み得る。
【００５０】
ジェスチャ認識エンジン４５４に関するさらなる情報は、参照によりその全体が本明細書に組み込まれる、２００９年４月１３日に出願された「Gesture  Recognizer  System  Architecture」と題する米国特許出願第１２／４２２６６１号において見い出すことができる。ジェスチャ認識に関するさらなる情報は、参照によりその全体が本明細書に組み込まれる、２００９年２月２３日に出願された「Standard  Gestures」と題する米国特許出願第１２／３９１１５０号、及び２００９年５月２９日に出願された「Gesture  Tool」と題する米国特許出願第１２／４７４６５５号においても見い出すことができる。
【００５１】
キャプチャ・デバイス１２５は、ＲＧＢ画像（又は、他のフォーマット若しくは色空間のビジュアル画像）及び奥行き画像を処理ユニット４に提供する。奥行き画像は、複数の観測ピクセル（observed  pixel）であり得る。ここで、各観測ピクセルは、観測奥行き値（observed  depth  value）を有する。例えば、奥行き画像は、キャプチャされたシーンの２次元（２−Ｄ）ピクセル領域を含み得る。ここで、２−Ｄピクセル領域内の各ピクセルは、キャプチャされたシーン内のオブジェクトのキャプチャ・デバイスからの距離等の奥行き値を有することができる。処理ユニット４は、ＲＧＢ画像及び奥行き画像を使用して、ユーザの骨格モデルを作成し、ユーザの動き又は他のオブジェクトの動きを追跡する。奥行き画像を用いて人の骨格をモデル化及び追跡するために使用することができる多くの方法が存在する。奥行き画像を用いて骨格を追跡する１つの適切な例が、参照によりその全体が本明細書に組み込まれる、２００９年１０月２１日に出願された「Pose  Tracking  Pipeline」と題する米国特許出願第１２／６０３４３７号（以後、‘４３７出願と呼ぶ）において提供されている。
【００５２】
‘４３７出願のプロセスは、奥行き画像を取得するステップと、データをダウンサンプリングするステップと、高分散ノイジ・データ（high  variance  noisy  data）を除去及び／又は平滑化するステップと、背景を識別及び除去するステップと、前景ピクセルの各々を身体の異なるパーツに割り当てるステップと、を含む。これらのステップに基づいて、システムは、モデルをデータにフィットさせ、骨格を作成する。骨格は、関節の群と、間接間の結合と、を含む。ユーザ・モデル化及びユーザ追跡のための他の方法が使用されてもよい。適切な追跡技術はまた、次の４つの米国特許出願において開示されており、それらの全ては、参照によりその全てが本明細書に組み込まれる：２００９年５月２９日に出願された「Device  for  Identifying  and  Tracking  Multiple  Humans  Over  Time」と題する米国特許出願第１２／４７５３０８号；２０１０年１月２９日に出願された「Visual  Based  Identity  Tracking」と題する米国特許出願第１２／６９６２８２号；２００９年１２月１８日に出願された「Motion  Detection  Using  Depth  Images」と題する米国特許出願第１２／６４１７８８号；及び、２００９年１０月７日に出願された「Human  Tracking  System」と題する米国特許出願第１２／５７５３８８号。
【００５３】
図６は、処理ユニット４の様々なコンポーネントを説明するブロック図である。図６は、電力管理回路３０６と通信する制御回路３０４を示している。制御回路３０４は、中央処理装置（ＣＰＵ）３２０と、グラフィックス処理装置（ＧＰＵ）３２２と、キャッシュ３２４と、ＲＡＭ３２６と、メモリ３３０（例えば、Ｄ−ＲＡＭ）と通信するメモリ・コントローラ３２８と、フラッシュ・メモリ３３４（又は、他のタイプの不揮発性ストレージ）と通信するフラッシュ・メモリ・コントローラ３３２と、バンド・インタフェース３０２及びバンド・インタフェース２３２を介してヘッド・マウント・ディスプレイ・デバイス２と通信するディスプレイ・アウト・バッファ３３６と、バンド・インタフェース３０２及びバンド・インタフェース２３２を介してヘッド・マウント・ディスプレイ・デバイス２と通信するディスプレイ・イン・バッファ３３８と、マイクロフォンに接続するための外部マイクロフォン・コネクタ３４２と通信するマイクロフォン・インタフェース３４０と、無線通信デバイス３４６に接続するためのＰＣＩエクスプレス・インタフェース３４４と、１以上のＵＳＢポート３４８と、を含む。一実施形態において、無線通信デバイス３４６は、Ｗｉ−Ｆｉ（登録商標）対応通信デバイス、ＢｌｕｅＴｏｏｔｈ（登録商標）通信デバイス、赤外線通信デバイス等を含み得る。ＵＳＢポートを使用して、データ又はソフトウェアを処理ユニット４にロードするとともに処理ユニット４を充電するために、処理ユニット４をコンピューティング・デバイス（図示せず）にドッキングすることができる。一実施形態において、ＣＰＵ３２０及びＧＰＵ３２２は、ユーザのビューに仮想３次元オブジェクトをどこにいつどのように挿入すべきかを判定するためのメインの機械（workhorse）である。さらなる詳細は以下で提供される。
【００５４】
電力管理回路３０６は、クロック・ジェネレータ３６０と、アナログ・デジタル変換器３６２と、バッテリ充電器３６４と、電圧レギュレータ３６６と、ヘッド・マウント・ディスプレイ電源３７６と、温度センサ３７４（可能であれば処理ユニット４のリスト・バンド上に位置する）と通信する温度センサ・インタフェース３７２と、を含む。アナログ・デジタル変換器３６２を使用して、バッテリ電圧、温度センサをモニタリングし、バッテリ充電機能を制御する。電圧レギュレータ３６６は、電力をシステムに供給するためのバッテリ３６８と通信する。バッテリ充電器３６４を使用して、充電ジャック３７０から電力を受けると、（電圧レギュレータ３６６を介して）バッテリ３６８を充電する。ＨＭＤ電源３７６は、電力をヘッド・マウント・ディスプレイ・デバイス２に供給する。
【００５５】
仮想３次元オブジェクトが、現実世界のビューを拡張及び／又は置換するように、上述したヘッド・マウント・ディスプレイ・デバイス２及び処理ユニット４は、仮想３次元オブジェクトを１人以上のユーザのＦＯＶに挿入することができる。留意すべきは、処理ユニット４は、ヘッド・マウント・ディスプレイ２に部分的又は全体的に統合されてもよいので、シーンのための奥行きマップを生成するための上述した演算は、ヘッド・マウント・ディスプレイ２内で実行される。さらなる実施形態において、シーンのための奥行きマップを生成するための上述した演算の一部又は全ては、代替的に又は追加的に、ハンドヘルド・デバイス１２内で実行されてもよい。
【００５６】
１つの例示的な実施形態において、ヘッド・マウント・ディスプレイ２及び処理ユニット４は、協働して、１人以上のユーザが存在する環境のシーン・マップ又はモデルを作成し、その環境内での様々な移動オブジェクトを追跡する。さらに、ヘッド・マウント・ディスプレイ２及び処理ユニット４は、ヘッド・マウント・ディスプレイ・デバイス２の位置及び向きを追跡することにより、ユーザ１８により装着されたヘッド・マウント・ディスプレイ・デバイス２のＦＯＶを追跡することができる。ヘッド・マウント・ディスプレイ・デバイス２により取得されたセンサ情報は、処理ユニット４に送信され、処理ユニット４は、一実施形態において、次いで、シーン・モデルを更新することができる。処理ユニット４は、次いで、処理ユニット４がヘッド・マウント・ディスプレイ・デバイス２から受信するさらなるセンサ情報を使用して、ユーザのＦＯＶを向上させ、仮想３次元オブジェクトをどこにいつどのように挿入すべきかに関する命令をヘッド・マウント・ディスプレイ・デバイス２に提供する。キャプチャ・デバイス１２５内のカメラからのセンサ情報に基づいて、シーン・モデル及び追跡情報が、以下で説明するように、閉ループ・フィードバック・システム（closed  loop  feedback  system）において、ヘッド・マウント・ディスプレイ２と処理ユニット４との間で周期的に更新され得る。
【００５７】
図１及び図７〜図９を参照すると、本開示は、ハンドヘルド・デバイス１２をさらに含む。ハンドヘルド・デバイス１２を使用して、シーンに投影される仮想オブジェクトと直接インタラクトすることができる。ハンドヘルド・デバイス１２の位置及び動き（並進及び／又は回転）がフレームごとに更新され得るように、ハンドヘルド・デバイス１２は、以下で説明するように、ヘッド・マウント・ディスプレイ・デバイス２及び処理ユニット４により生成されたシーン・マップ内で位置合わせされ得る。これにより、ハンドヘルド・デバイス１２とシーン内の仮想オブジェクトとの直接インタラクションが可能となる。本明細書で使用される「直接」及び「間接」は、ユーザの手等の、シーン内の位置合わせされていないオブジェクトの位置が、キャプチャされた奥行きデータ及び身体パーツを識別するために使用される骨格追跡ソフトウェアに基づいて推定される、という事実を指す。時折、手又は他の身体パーツを追跡するとき、正確な向きを導出すること、又は正確な手モデルを奥行きマップに確実にフィットさせることは、難しい場合がある。したがって、ユーザの手等の位置合わせされていないオブジェクトの位置の「直接的」知識は存在しない。ユーザが、手を用いて仮想オブジェクトとインタラクトするとき、このインタラクションは、手の位置の上記推定に基づいて、間接的であると言える。
【００５８】
反対に、ハンドヘルド・デバイスの位置は、ヘッド・マウント・ディスプレイ・デバイス２及び処理ユニット４（デバイス２及びユニット４は、本明細書において、時折、集合的にモバイル・ディスプレイ・デバイスと呼ばれることがある）により生成された同じシーン・マップ内で位置合わせされる。以下で説明するように、一例において、ハンドヘルド・デバイス１２は、モバイル・ディスプレイ・デバイスにより構築されたシーン・マップ内の同じポイントと同一視することができるポイントを識別することができるカメラを含む。このような共通のポイントが識別されると、様々な方法を使用して、モバイル・ディスプレイ・デバイスのシーン・マップ内のハンドヘルド・デバイス１２の位置を特定し、その位置を位置合わせすることができる。
【００５９】
図７は、ハンドヘルド・デバイス１２の斜視図を示している。デバイス１２は、一般に、画像キャプチャ・デバイス２２に固定的に取り付けられる、あるいは画像キャプチャ・デバイス２２と統合されて形成されるパック２０を含む。パック２０は、複数の機能を提供することができる。そのような機能の１つは、ユーザが、シーン内の仮想オブジェクトとのインタラクションを制御することを可能にする入力／フィードバック・デバイスである。詳細には、パック２０は、ユーザ入力を受け取るための入力パッド２４を含み得る。一例において、入力パッド２４は、静電容量式スクリーン又は他のタッチ式スクリーンを含み得る。そのような例において、入力パッド２４は、各々が仮想オブジェクトとのインタラクションを円滑にするための予め定められたコマンドに関連付けられている、グラフィカル・ボタン、ホイール、スライド、又は他のコントロールを表示する１以上のスクリーンを表示することができる。知られているように、そのような例における所与のコマンドは、グラフィカル・ボタン、ホイール、スライド等を作動させるために、スクリーンとのユーザの接触により生成され得る。さらなる実施形態において、タッチ式スクリーンの代わりに、入力パッドは、上述したようなコマンドを実施するために作動させることができる実際のボタン、ホイール、スライド、又は他のコントロールから形成されてもよい。
【００６０】
多くの可能な例の１つとして、ユーザは、図１に示されるように、ハンドヘルド・デバイス１２から光線を伸ばすために、入力パッド２４上のコントロールを作動させることができる。適切なコントロールが作動すると、仮想的光線２８が生成され、ハンドヘルド・デバイス１２の前方から伸びるように、モバイル・ディスプレイ・デバイスを介してユーザに表示され得る。光線２８の使用は以下で説明される。別の例として、ユーザは、仮想オブジェクトをつかむために、入力パッド２４上のコントロールを作動させることができる。そのような例において、システムは、仮想オブジェクトの表面上での、あるいは仮想オブジェクト内でのハンドヘルド・デバイス１２の接触を検出し、次いで、仮想オブジェクトの位置をハンドヘルド・デバイス１２に関連付けることができる。ユーザは、次いで、コントロールを放すことにより、あるいは入力パッド２４上の別のコントロールを作動させることにより、仮想オブジェクトを放すことができる。さらなるボタン、ホイール、及びスライドを使用して、例えば、以下のことを含む様々な他のコマンドを実行することができる：
・仮想オブジェクトを押して、ハンドヘルド・デバイス１２から遠ざける、
・ハンドヘルド・デバイス１２のより近くに仮想オブジェクトを引っ張る、
・仮想オブジェクトを後ろ、前、左、右、上、又は下に動かす、
・仮想オブジェクトをリサイズする、
・仮想オブジェクトを回転させる、
・仮想オブジェクトをコピー及び／又はペーストする、
・仮想オブジェクトを除去する、
・仮想オブジェクトの色、テクスチャ、又は形状を変える
・ユーザが定めたように仮想環境内で動くように、オブジェクトをアニメーション化する。
他のコマンドも意図されている。これらのインタラクションは、入力パッド２４上の適切なコマンドを選択することにより開始され得る。さらなる実施形態において、これらのインタラクションは、入力パッド２４上のコマンドの選択と何らかの他の予め定められたジェスチャ（身体によるもの及び／又は言葉によるもの）の実行との組合せにより開始され得る。さらなる実施形態において、上述したインタラクションの少なくともいくつかは、入力パッド２４とは無関係の身体によるジェスチャを行うことにより実行され得る。
【００６１】
パック２０は、さらに、フィードバックをユーザに提供することができる。このフィードバックは、入力パッド２４を介して、ユーザに視覚的に表示されてもよいし、且つ／あるいは、パック２０上に設けられたスピーカを介して、ユーザに聞こえるように再生されてもよい。さらなる実施形態において、パック２０には、触覚応答（haptic  response）をユーザに提供する振動モータ５１９（図８）が設けられ得る。実施形態において、ユーザが、ハンドヘルド・デバイスではなく、シーンを見ているように、ハンドヘルド・デバイス１２を、少なくとも時折使用することができる。したがって、ユーザが、以下で説明するように、オブジェクトを選択している場合、パック２０は、ユーザがオブジェクトをいつロック・オンしたか、又は何らかの他の意図するアクションをいつ無事に実行したかを示す触覚応答を提供することができる。
【００６２】
パック２０の別の機能は、ハンドヘルド・デバイス１２の角加速度情報及び／又は並進加速度情報、並びに位置情報を提供することである。パック２０は、ヘッド・マウント・ディスプレイ・ユニット内のＩＭＵ１３２と同様であり得る、あるいは同一であり得るＩＭＵ５１１（図８）を含み得る。そのようなＩＭＵは、例えば、ハンドヘルド・デバイス１２の位置、向き、及び加速度（ピッチ、ロール、及びヨー）を検出するための３軸磁力計、３軸ジャイロ、及び３軸加速度計等の慣性センサを含み得る。上述し以下で説明するように、ハンドヘルド・デバイス１２のｘ位置、ｙ位置、及びｚ位置、並びに向きは、ハンドヘルド・デバイス１２とモバイル・ディスプレイ・デバイスとの協働を介して、シーン・マップ内で位置合わせされる。しかしながら、ハンドヘルド・デバイス１２内のＩＭＵにより提供されるデータは、モバイル・ディスプレイ・デバイスのシーン・マップ内でのハンドヘルド・デバイスの位置及び／又は向きを確認及び／又は補完することができる。さらなる実施形態において、ハンドヘルド・デバイス１２内のＩＭＵは除去されてもよいことが意図されている。
【００６３】
図８は、パック２０の内部のハードウェア・コンポーネントのいくつかの一例のブロック図を示している。一例において、パック２０は、従来型の携帯電話機であり得る。そのような実施形態において、パック２０は、携帯電話機向けの従来型のハードウェア構成を有することができ、携帯電話機向けに従来から知られている機能を実行するよう動作することができる。さらに、電話機が本技術に従って動作することを可能にするソフトウェア・アプリケーション・プログラム及び他のソフトウェア・コンポーネントが、パック２０にロードされ得る。さらなる実施形態において、パック２０は、本技術によるオペレーションのためにカスタマイズされた専用ハードウェア・デバイスであってもよい。
【００６４】
パック２０は、パック２０のオペレーション及びモバイル・ディスプレイ・デバイスとのインタラクションを制御するためのプロセッサ５０２を含み得る。上述したように、パック２０の一機能は、パック２０に関する加速度情報及び位置情報を提供することである。この情報は、ＩＭＵ５１１を介して、プロセッサ５０２に提供され得る。パック２０は、プロセッサ５０２により実行されるソフトウェア・コードと、加速度データ及び位置データ、画像データ、並びにシーン・マップ等のデータと、を記憶するためのメモリ５１４をさらに含み得る。
【００６５】
パック２０は、上述した入力パッド２４として一緒に動作するＬＣＤスクリーン５２０及びタッチ・スクリーン５１２を含むユーザ・インタフェースをさらに含み得る。ＬＣＤスクリーン５２０及びタッチ・スクリーン５１２は、それぞれ、ＬＣＤコントローラ５２２及びタッチ・スクリーン・コントローラ５１３を介して、プロセッサ５０２と通信することができる。タッチ・スクリーン５１２は、ＬＣＤスクリーン５２０にわたって配置された静電容量面であり得る。しかしながら、上述したように、タッチ・スクリーン５１２は、さらなる実施形態において、ＬＣＤスクリーン５２０とともに、様々な物理的アクチュエータのうちのいずれかに取って代わられてもよい。従来型の電話機の場合、物理的アクチュエータの少なくとも一部が、上述したようなユーザ入力を制御するための機能に割り当てられ得る。
【００６６】
パック２０は、パック２０を、例えば、コンピューティング・デバイス（図示せず）等の別のデバイスに接続するための接続５１６をさらに含み得る。接続５１６は、ＵＳＢ接続とすることができるが、シリアル接続、パラレル接続、ＳＣＳＩ接続、及びＩＥＥＥ１３９４（「Ｆｉｒｅｗｉｒｅ（登録商標）」）接続を含む他のタイプの接続が提供されてもよいことを理解されたい。
【００６７】
パック２０は、当技術分野において知られているカメラ５１８をさらに含み得る。カメラ５１８は、カメラ２２に関して以下で説明するコンポーネントの一部、全て、及び／又はさらなるコンポーネントを有することができる。実施形態において、パック２０は、カメラ５１８又はカメラ２２によりキャプチャされたＦＯＶを表示することができる。
【００６８】
上述したように、パック２０は、触覚フィードバックを提供することができる振動モータ５１９及びオーディオを提供するためのスピーカ５３０を含む様々なフィードバック・コンポーネントを含み得る。音声コマンドを受信するための既知の構造のマイクロフォン５３２が、さらに提供され得る。
【００６９】
パック２０は、パック２０とモバイル・ディスプレイ・デバイス等の他のコンポーネントとの間の通信を可能にするコンポーネントをさらに含み得る。こうしたコンポーネントは、処理ユニット４の無線通信デバイス３４６、アンテナ５４２を介して、モバイル・ディスプレイ・デバイスと無線通信することができる通信インタフェース５４０を含む。パック２０は、以下で説明するように、カメラ２２に有線接続され得るが、さらなる実施形態において、パック２０は、無線接続され、通信インタフェース５４０を介して通信してもよい。
【００７０】
さらに、通信インタフェース５４０は、本技術の実施形態において、モバイル・ディスプレイ・デバイス及びカメラ２２以外のコンポーネントへ／から、トランスミッション（transmission）を送信／受信することができる。例えば、パック２０は、写真画像及びビデオ画像、並びにアプリケーション・プログラム、ＡＰＩ、アップデータ、パッチ等のソフトウェアといったデータを伝送するために、ホスト・コンピュータと通信することができる。通信インタフェース５４０を使用して、本技術の実施形態に従って、ハンドヘルド・コンピュータ、ＰＤＡ、及び他のモバイル・デバイスを含むハンドヘルド・コンピューティング・デバイス等の他のデバイスと通信することもできる。通信インタフェース５４０を使用して、パック２０及びカメラ２２を、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、及びインターネットを含む様々なネットワークに接続することができる。
【００７１】
重要ではないが、パック２０は、受信デジタル信号及びアナログ信号を処理するためのデジタル・ベースバンド及び／又はアナログ・ベースバンドをさらに含み得る。ＲＦトランシーバ５０６及びＲＦスイッチ５０８が、アンテナ５１０を介してアナログ音声信号等のアナログ信号を送受信するために提供され得る。実施形態において、トランシーバ５０４は、直交変調及び復調に加えて、デュアル・バンド（８００ＭＨｚ及び１９００ＭＨｚ）ＲＦからベースバンドへのアップ・コンバージョン及びダウン・コンバージョンを実行することができる。本明細書で説明した様々な通信インタフェースは、トランシーバ５０６及びスイッチ５０８と同様のトランシーバ及び／又はスイッチを含み得る。
【００７２】
パック２０は、本技術の代替実施形態において、様々な他の構成、及び、追加コンポーネント又は代替コンポーネントを有してもよいことを理解されたい。
【００７３】
再度図７を参照すると、カメラ２２は、実施形態において、キャプチャ・デバイス１２５と同様のデバイスとすることができるので、キャプチャ・デバイス１２５の上記説明が、カメラ２２に同様に適用される。さらなる実施形態において、代わりに、カメラ２２は、単に、静止画像及びビデオ画像をキャプチャすることができる、標準から外れたシェルフ・カメラ（shelf  camera）であってもよい。
【００７４】
カメラ２２は、図示されるように、パック２０の下に取り付けることができるが、カメラ２２は、さらなる実施形態では、パック２０の前に取り付けられても、横に取り付けられても、後ろにさえ取り付けられてもよい。カメラ２２は、金具３０及び締め具を介してパック２０に取り付けることができるが、カメラ２２は、さらなる実施形態では、パック２０に統合されて形成されてもよい。図示する例において、カメラは前面を向いている。これは、入力パッド２４が、入力パッド２４を見やすいようにユーザに面するとともに、カメラが、ユーザの前方のＦＯＶをキャプチャすることができる、という利点を提供する。しかしながら、さらなる実施形態において、カメラは、カメラ・レンズが入力パッド２４の表面と概ね平行であるように、上方を向いてもよい。さらなる実施形態において、カメラ・レンズは、入力パッドの表面に対して斜角であってもよい。カメラ２２が除去されてもよいことがさらに意図されており、パック２０内のカメラ５１８が、カメラ２２の機能を実行する。
【００７５】
上述したように、ハンドヘルド・デバイス１２及びモバイル・ディスプレイは、協働して、上述したモバイル・ディスプレイ・デバイスにより決定されたＦＯＶのｘ、ｙ、ｚシーン・マップ内で、ハンドヘルド・デバイス１２の正確な位置を位置合わせすることができる。位置合わせのための１つの方法が、図１１のフローチャートを参照して以下で説明される。しかしながら、他の位置合わせ方法も可能である。
【００７６】
パック２０の特定の構成が図７に示されているが、パック２０は、様々な異なる構成を取り、上述した機能を提供することができることを理解されたい。さらなる実施形態において、カメラ２２は除去されてもよく、全ての追跡機能が、パック２０内に設けられたＩＭＵ５１１により実行されてもよい。
【００７７】
上述したコンポーネントを用いると、ユーザは、仮想画像を生成するモバイル・ディスプレイ・デバイスにより使用される同じシーン・マップ内で位置合わせされるハンドヘルド・デバイス１２を用いて、仮想環境内の仮想オブジェクトと直接インタラクトすることができる。一例が図１に示されている。ユーザは、デバイス１２から光線を伸ばすことにより、ハンドヘルド・デバイス１２を用いてオブジェクトを選択したいという要求を示すことができる。パック２０の入力パッド２４上の適切なコマンドを選択すると、モバイル・ディスプレイ・デバイスは、ハンドヘルド・デバイス１２の一部（例えば、前方）から伸びる仮想的光線２８を表示する。光線２８は、入力パッド２４とのインタラクションではなく、ユーザがジェスチャを行うことにより現れてもよいことを理解されたい。モバイル・ディスプレイ・デバイス及びハンドヘルド・デバイスを含むシステム１０は、ハンドヘルド・デバイスの正確な位置及び向きを認識しているので、光線２８は、デバイス１２が回転したとき又は動いたとき、ハンドヘルド・デバイス１２上の固定ポイントから発するものとして表示され得る。さらに、デバイス１２が回転したとき又は動いたとき、光線は、デバイス１２との１対１関係をもって動く。
【００７８】
ユーザは、光線２８を用いて、現実オブジェクト又は仮想オブジェクトを指すことができ、光線２８は、現実オブジェクト又は仮想オブジェクトと交わるまで伸びることができる。ユーザは、光線２８を仮想オブジェクトに向けることにより、仮想オブジェクトと直接インタラクトすることができる。光線が、図１に示した仮想オブジェクト２１等の仮想オブジェクトと交わると、その仮想オブジェクトが選択されたことを示すフィードバックが、ユーザに提供され得る。上述したように、フィードバックは、視覚的なものであってもよいし、可聴的なものであってもよいし、且つ／あるいは触覚的なものであってもよい。実施形態において、ユーザは、オブジェクトの誤った選択を防止するためにオブジェクトが選択されるとみなされる前に、予め定められた時間期間の間、仮想オブジェクトに光線２８を向け続ける必要があることがある。それは、ユーザが、本システムが動くことにより別のオブジェクト（現実オブジェクト又は仮想オブジェクト）により隠されているオブジェクトを選択することを望むことであり得、ユーザがオブジェクトを選択できるポイントにおいて所望のオブジェクトへの明瞭な見通し線が存在するようになるまで、ユーザは、環境内を動き回ることがある。
【００７９】
オブジェクトが選択されると、ユーザは、あらゆる方法でオブジェクトとインタラクトすることができる。ユーザは、光線に沿って、仮想オブジェクトをより近く又はより遠くに動かすことができる。ユーザは、追加的に又は代替的に、光線が当てられたオブジェクトを含め、光線を別の場所に移すことができ、仮想オブジェクトを所望の位置に正確に配置させることができる。さらなる可能なインタラクションは、上記で説明されている。
【００８０】
図１は、ユーザが入力パッド２４上の適切なコマンドを選択したときに、仮想オブジェクト２１が、ハンドヘルド・デバイス１２から伸びる仮想的光線を介して選択されるインタラクションを示している。さらなる実施形態において、例えば、図９に示されるように、ユーザは、仮想オブジェクトをハンドヘルド・デバイス１２と物理的に接触させることにより、仮想オブジェクトとインタラクトすることができる。そのような実施形態において、ユーザは、ハンドヘルド・デバイス１２の一部を仮想オブジェクト２１の表面に接触するよう配置させて、あるいは仮想オブジェクト２１内にハンドヘルド・デバイス１２の一部を配置させて、仮想オブジェクト２１を選択することができる。その後、ユーザは、入力パッド２４上のコントロールを選択して、あるいは、身体によるジェスチャを行って、仮想オブジェクト２１とインタラクトすることができる。上述したように、このインタラクションは、オブジェクトを新たな位置に運んでそこに置くこと、オブジェクトを複製すること、オブジェクトを除去すること等といった様々なインタラクションのうちの１つであり得る。
【００８１】
ユーザが接触してオブジェクトをつかむ代わりに、オブジェクトは、オブジェクトとの衝突の結果、「跳ね返される」場合がある。衝突に対するオブジェクトの反応は、物理学により定められ得るものであり、正確なものであり得る。すなわち、衝突時のハンドヘルド・デバイス１２の速度は、ＩＭＵ及び他のデータから正確に知ることができるので、仮想オブジェクトは、正確な速度で跳ね返り得る。この速度は、物理学と、仮想オブジェクトのために定義された変形特性及び弾性特性のセットと、により決定することができる。
【００８２】
以下で説明するように、シーン・マップ内の仮想オブジェクトの位置は、例えば、処理ユニット４により知られている。同じシーン・マップ内でハンドヘルド・デバイスを位置合わせすることにより、ユーザは、シーン・マップ内の仮想オブジェクトと直接インタラクトすることができる、あるいは、シーン・マップ内で新たな仮想オブジェクトを作成することができる。次いで、新たなオブジェクトが、ヘッド・マウント・ディスプレイ・デバイス２を介して表示される。そのような直接インタラクションにより、仮想環境内の正確な位置で正確な方法により、仮想オブジェクトとのインタラクション及び／又は仮想オブジェクトの作成が可能となる。
【００８３】
さらに、本システムは、機器を備える必要のない環境（non-instrumented  environment）で動作する。すなわち、いくつかの従来技術のシステムは、固定された画像キャプチャ・デバイスのリング又は他の構成を用いて、画像キャプチャ・デバイスのＦＯＶ内のオブジェクトの位置を決定する。しかしながら、モバイル・ディスプレイ・デバイス及びハンドヘルド・デバイス１２の両方が、ユーザとともに動くことができるので、本技術は、ユーザが動く任意の環境で動作することができる。事前に環境をセットアップする必要はない。
【００８４】
パック２０の特定の構成が図７に示されているが、パック２０は、様々な異なる構成を取り、上述した機能を提供することができることを理解されたい。１つのさらなる実施形態において、パック２０は、仮想オブジェクトが標的とされるゲーム・アプリケーションにおいて使用するための銃又は射撃する何らかの他のオブジェクトとして構成されてもよい。ハンドヘルド・デバイス１２の位置及び向きが、正確に知られており、仮想標的を表示するモバイル・ディスプレイ・ユニットの基準フレーム内で位置合わせされるので、正確な射撃の再現が提供され得る。さらなる実施形態において、パック２０は、他の用途で使用されてもよい。
【００８５】
図１０は、画像データの単一のフレームを生成するのに要する時間、画像データの単一のフレームをレンダリングするのに要する時間、及び画像データの単一のフレームをユーザに表示するのに要する時間等の別々の時間期間の間の、処理ユニット４と、ヘッド・マウント・ディスプレイ・デバイス２と、ハンドヘルド・デバイス１２と、のオペレーション及びインタラクティビティ（interactivity）の高レベル・フローチャートである。実施形態において、処理ユニット４、ヘッド・マウント・ディスプレイ・デバイス２、及びハンドヘルド・デバイス１２で生じるこのプロセスは、並行して生じ得るが、さらなる実施形態では、このステップは、連続的に生じてもよい。さらに、各コンポーネント内のステップが、ステップごとに連続的に生じるものとして示されているが、コンポーネント内のステップのうちの１以上は、互いに並行して生じてもよい。例えば、処理ユニット４における、シーン・マップの決定、仮想画像位置の評価、及び画像レンダリング・ステップ（それぞれ以下で説明する）は、全て、互いに並行して生じてもよい。
【００８６】
異なるコンポーネント又は同じコンポーネント内で生じる並行ステップは、異なるフレーム・レートで生じてもよいことをさらに理解されたい。実施形態において、表示画像は６０Ｈｚのレートでリフレッシュされ得るが、さらなる実施形態では、表示画像は、それより多く又はそれより少なくリフレッシュされてもよい。別途示されない限り、図１０の以下の説明において、ステップは、単独で動作するヘッド・マウント・ディスプレイ・デバイス２内の１以上のプロセッサ、単独で動作する処理ユニット４内の１以上のプロセッサ、単独で動作するハンドヘルド・デバイス１２内の１以上のプロセッサ、又は、協働して動作するデバイス２、ユニット４、及びデバイス１２のうちの２以上からのプロセッサの組合せにより実行され得る。
【００８７】
一般に、システムは、環境のｘ座標、ｙ座標、ｚ座標を有するシーン・マップと、ユーザ、現実世界のオブジェクト、及び仮想オブジェクト等の、環境内のオブジェクトと、を生成する。システムはまた、各ユーザのＦＯＶを追跡する。ユーザは、可能であればシーンの同じ側面を見ているかもしれないが、ユーザは、異なる視点からシーンを見ている。したがって、システムは、シーンの各人のＦＯＶを生成して、再度ユーザごとに異なり得る、仮想オブジェクト又は現実世界のオブジェクトの異なる視点、視差、及びオクルージョンを調整する。
【００８８】
画像データの所与のフレームに関して、ユーザのビューは、１以上の現実オブジェクト及び／又は仮想オブジェクトを含み得る。ユーザが、例えば、左から右へ、又は上下に頭を動かすと、ユーザのＦＯＶ内の現実世界のオブジェクトの相対位置は、本質的に、ユーザのＦＯＶ内で動く。例えば、図１の植物２７は、まず、ユーザのＦＯＶの右側に現れ得る。しかしながら、ユーザが、その後、頭を右に動かした場合、植物２７は、最終的に、ユーザのＦＯＶの左側に位置し得る。
【００８９】
しかしながら、ユーザが頭を動かしたときの仮想オブジェクトのユーザへの表示は、より難しい問題である。ユーザが自分のＦＯＶ内で仮想オブジェクトを見ている例において、ユーザが、ＦＯＶを左に動かすために、自分の頭を左に動かした場合、仮想オブジェクトの表示は、ユーザのＦＯＶのシフト量だけ右側にシフトされ得るので、正味の結果は、仮想オブジェクトがＦＯＶ内で静止し続けている、ということである。
【００９０】
ステップ６０４及びステップ６２０において、モバイル・ディスプレイ・デバイス及びハンドヘルド・デバイス１２は、シーンからデータを収集する。これは、キャプチャ・デバイス１２５及び／又はカメラ２２の奥行きカメラ４２６及びＲＧＢカメラ４２８により検出される画像データであり得る。これは、眼追跡アセンブリ１３４により検出される画像データであり得る。これは、ＩＭＵ１３２及びＩＭＵ５１１により検出される加速度／位置データであり得る。
【００９１】
ステップ６０６において、シーン・データが、例えば、処理ユニット４等の、システム１０内の処理ユニットのうちの１以上により収集される。以下の説明において、プロセスが処理ユニット４により実行されるものとして説明される場合、これは、システム１０内のプロセッサのうちの１以上により実行され得ることを理解されたい。ステップ６０８において、処理ユニット４は、キャプチャ・デバイス１２５及びカメラ２２の画像データの調整を可能にする様々なセットアップ・オペレーションを実行する。詳細には、ステップ６０８において、モバイル・ディスプレイ・デバイス及びハンドヘルド・デバイス１２は、協働して、モバイル・ディスプレイ・デバイスの基準フレーム内でハンドヘルド・デバイス１２の位置を位置合わせすることができる。ステップ６０８のさらなる詳細については、図１１のフローチャートを参照して説明する。以下の説明において、キャプチャ・デバイス１２５及びカメラ２２は、集合的にイメージング・デバイスと呼ばれることがある。
【００９２】
ステップ６０８の１つのオペレーションは、ステップ６７０において、システム１０内の様々なイメージング・デバイスのクロック・オフセットを決定することを含み得る。詳細には、システム内のイメージング・デバイスの各々からの画像データを調整するために、調整されている画像データが同じ時間からのものであることが確認され得る。クロック・オフセットの決定及び画像データの同期に関する詳細は、参照によりその全体が本明細書に組み込まれる、２０１０年５月３日に出願された「Heterogeneous  Image  Sensor  Synchronization」と題する米国特許出願第１２／７７２８０２号、及び２０１０年６月３日に出願された「Synthesis  Of  Information  From  Multiple  Audiovisual  Sources」と題する米国特許出願第１２／７９２９６１号において開示されている。一般に、キャプチャ・デバイス１２５からの画像データ及びカメラ２２から到来する画像データには、例えば、処理ユニット４内の単一のマスタ・クロックからタイムスタンプが付される。所与のフレームのそのようなデータのタイムスタンプとともにイメージング・デバイスの各々の既知の分解能を用いると、処理ユニット４は、システム内のイメージング・デバイスの各々の時間オフセットを決定することができる。これから、各イメージング・デバイスから受信された画像間の差異とそのような画像に対する調整とが決定され得る。
【００９３】
ステップ６０８は、シーンのｘ、ｙ、ｚデカルト空間における互いに対するイメージング・デバイスの位置を調整するオペレーションをさらに含む。この情報が知られると、システム１０内の１以上のプロセッサは、シーン・マップ又はモデルを形成することができ、シーンの形状（geometry）と、シーン内の（ユーザを含む）オブジェクトの形状及び位置と、を識別することができる。イメージング・デバイスの画像データを互いに対して調整するに際し、奥行きデータ及び／又はＲＧＢデータが使用され得る。ＲＧＢ情報を単独で用いてカメラ・ビューを調整するための技術は、例えば、参照によりその全体が本明細書に組み込まれる、２００７年５月１７日に公開された「Navigating  Images  Using  Image  Based  Geometric  Alignment  and  Object  Based  Controls」と題する米国特許出願公開第２００７／０１１０３３８号において説明されている。
【００９４】
システム１０内のイメージング・デバイスは、それぞれ、異なるイメージング・デバイスからの画像を調整するために補正され得る何らかのレンズ歪み（lens  distortion）を有し得る。ステップ６０４において、システム内の様々なイメージング・デバイスからの画像データが受信されると、ステップ６７４において、様々なイメージング・デバイスのレンズ歪みを考慮に入れるために、画像データが調整され得る。所与のイメージング・デバイスの歪み（奥行き又はＲＧＢ）は、カメラ・メーカにより提供される既知の特性であり得る。そうでない場合、イメージング・デバイスの歪みを計算するためのアルゴリズムは知られている。そのようなアルゴリズムは、例えば、カメラのＦＯＶ内の異なる位置における、チェッカ・ボード・パターン等の既知の寸法のオブジェクトを撮像することを含む。その画像内のポイントのカメラ・ビュー座標における偏差が、カメラ・レンズ歪みの結果となる。レンズ歪みの程度が知られると、歪みは、所与のカメラのためのポイント・クラウド（point  cloud）におけるポイントの均一なイメージング・デバイス・ビュー・マップをもたらす既知の逆行列変換により補正され得る。
【００９５】
ステップ６７８において、システムは、次いで、各イメージング・デバイスによりキャプチャされた歪み補正された画像データ・ポイントを、カメラ・ビューから、直交３−Ｄ世界ビュー（orthogonal  3-D  world  view）に変換することができる。この直交３−Ｄ世界ビューは、キャプチャ・デバイス１２５及びカメラ２２によりキャプチャされた、直交ｘ、ｙ、ｘデカルト座標系のポイント・クラウド・マップ（point  cloud  map）である。カメラ・ビューを直交３−Ｄ世界ビューに変換するための、行列変換式を用いる方法が知られている。例えば、David  H.  Eberly,  “3d  Game  Engine  Design:  A  Practical  Approach  To  Real-Time  Computer  Graphics”,  Morgan  Kaufman  Publishers  (2000)を参照されたい。この文献は、参照によりその全体が本明細書に組み込まれる。また、参照により前に組み込まれている、米国特許出願第１２／７９２９６１号も参照されたい。
【００９６】
システム１０内の各イメージング・デバイスは、ステップ６７８において、直交３−Ｄ世界ビューを構築することができる。所与のイメージング・デバイスからのデータ・ポイントのｘ、ｙ、ｚ世界座標は、ステップ６７８の終わりにあたり、そのイメージング・デバイスの視点から動くものではなく、システム１０内の他のイメージング・デバイスからのデータ・ポイントのｘ、ｙ、ｚ座標とまだ関連するものではない。次のステップは、異なるイメージング・デバイスの様々な直交３−Ｄ世界ビューを、システム１０内のイメージング・デバイスにより共有される単一の全体３−Ｄ世界ビュー（overall  3-D  world  view）に変換することである。
【００９７】
これを実現するために、システムの実施形態は、次いで、ステップ６８２において、それぞれのイメージング・デバイスの世界ビューのポイント・クラウドにおけるキーポイント不連続性（key-point  discontinuity）又はキュー（cue）を探すことができる。キューが見つかると、システムは、ステップ６８４において、異なるイメージング・デバイスの異なるポイント・クラウド間で同じであるキューを識別する。２つの異なるイメージング・デバイスの２つの世界ビューが同じキューを含むとシステムが判定できると、システムは、ステップ６８８において、２つのイメージング・デバイスの互いに対する位置、向き、及び焦点距離と、キューと、を決定することができる。実施形態において、キャプチャ・デバイス１２５及びカメラ２２は、同じ共通のキューを共有しない。しかしながら、それらが、少なくとも１つの共有キューを有している限り、システムは、キャプチャ・デバイス１２５及びカメラ２２の互いに対する位置、向き、及び焦点距離と、単一の全体３−Ｄ世界ビューと、を決定することができ得る。
【００９８】
画像ポイント・クラウドからキューを識別するための様々な既知のアルゴリズムが存在する。そのようなアルゴリズムが、例えば、Mikolajczyk,  K.,  and  Schmid,  C.,  “A  Performance  Evaluation  of  Local  Descriptors”,  IEEE  Transactions  on  Pattern  Analysis  &  Machine  Intelligence,  27,  10,  1615-1630.  (2005)において説明されている。この論文は、参照によりその全体が本明細書に組み込まれる。画像データを用いてキューを検出するさらなる方法は、ＳＩＦＴ（Scale-Invariant  Feature  Transform）アルゴリズムである。ＳＩＦＴアルゴリズムは、例えば、参照によりその全体が本明細書に組み込まれる、２００４年３月２３日に発行された「Method  and  Apparatus  for  Identifying  Scale  Invariant  Features  in  an  Image  and  Use  of  Same  for  Locating  an  Object  in  an  Image」と題する米国特許第６７１１２８３号において説明されている。別のキュー検出方法は、ＭＳＥＲ（Maximally  Stable  Extremal  Regions）である。ＭＳＥＲアルゴリズムは、例えば、J.  Matas,  O.  Chum,  M.  Urba,  and  T.  Pajdla,  “Robust  Wide  Baseline  Stereo  From  Maximally  Stable  Extremal  Regions”,  Proc.  of  British  Machine  Vision  Conference,  pages  384-396  (2002)において説明されている。この論文は、参照によりその全体が本明細書に組み込まれる。
【００９９】
ステップ６８４において、イメージング・デバイスからのポイント・クラウド間で共有されるキューが識別される。概念的に、ベクトルの第１のグループが、第１のカメラと、第１のカメラのデカルト座標系におけるキューのグループと、の間に存在し、且つ、ベクトルの第２のグループが、第２のカメラと、第２のカメラのデカルト座標系におけるキューの同じグループと、の間に存在する場合、２つの系が、両カメラを含む単一のデカルト座標系になるように、互いに対して変換され得る。複数のカメラからのポイント・クラウド間の共有キューを発見するための複数の既知の技術が存在する。そのような技術が、例えば、Arya,  S.,  Mount,  D.M.,  Netanyahu,  N.S.,  Silverman,  R.,  and  Wu,  A.Y.,  “An  Optimal  Algorithm  For  Approximate  Nearest  Neighbor  Searching  Fixed  Dimensions”,  Journal  of  the  ACM  45,  6,  891-923  (1998)において示されている。この論文は、参照によりその全体が本明細書に組み込まれる。上記で組み込まれたAryaらの近似最近傍探索ソリューションに代えて、又はこれに加えて、ハッシュ化又は文脈依存のハッシュ化を含むがこれらに限定されない他の技術が使用されてもよい。
【０１００】
２つの異なるイメージング・デバイスからのポイント・クラウドが、非常に多くの合致するキューを共有する場合、２つのポイント・クラウドと相互に関連する行列が一緒に、例えば、ランダム・サンプリング・コンセンサス（ＲＡＮＳＡＣ）又は様々な他の推定技術により、推定され得る。次いで、回復された基本行列（recovered  fundamental  matrix）に対する外れ値である合致（match）が除去され得る。ポイント・クラウドのペア間の想定される幾何学的に一致する合致のグループを発見した後、その合致が、それぞれのポイント・クラウドのトラックのグループに編成され得る。ここで、トラックは、ポイント・クラウド間の相互に合致するキューのグループである。グループにおける第１のトラックは、第１のポイント・クラウドにおける各共通キューの投影を含み得る。グループにおける第２のトラックは、第２のポイント・クラウドにおける各共通キューの投影を含み得る。異なるカメラからのポイント・クラウドは、単一の直交３−Ｄ現実世界ビューにおける単一のポイント・クラウドに変換され得る。
【０１０１】
イメージング・デバイスの位置及び向きは、この単一のポイント・クラウド及び単一の直交３−Ｄ現実世界ビューに関して調整され得る。２つのポイント・クラウドを一緒に変換するために、２つのポイント・クラウドのトラックのグループにおけるキューの投影が解析される。そのような投影から、システムは、キューに関するキャプチャ・デバイス１２５の視点を決定することができ、また、キューに関するカメラ２２の視点を決定することができる。そのことから、システムは、ポイント・クラウドを、キュー及び両ポイント・クラウドからの他のデータ・ポイントを含む、推定される単一のポイント・クラウド及び単一の直交３−Ｄ現実世界ビューに変換することができる。これが行われると、システムは、単一の直交３−Ｄ現実世界ビュー及び互いに対する、イメージング・デバイスの相対位置及び向きを決定することができる。システムは、さらに、単一の直交３−Ｄ現実世界ビューに対する、各カメラの焦点距離を決定することができる。
【０１０２】
上記は、単一のシーン・マップ内でヘッド・マウント・ディスプレイ・デバイス２及びハンドヘルド・デバイス１２を位置合わせするための１つの方法を説明しているが、ヘッド・マウント・ディスプレイ・デバイス２及びハンドヘルド・デバイス１２の相対位置は、さらなる実施形態では、他の方法により決定されてもよいことを理解されたい。１つのさらなる例として、ヘッド・マウント・ディスプレイ・デバイス２及びハンドヘルド・デバイス１２の一方又は双方は、他のデバイスのＦＯＶ内で一度他のデバイスにより検出及び追跡され得るマーカを含んでもよい。
【０１０３】
再度図１０を参照すると、システムが、ステップ６０８において調整されると、ステップ６１０において、シーンの形状とともに、シーン内のオブジェクトの形状及び位置を識別するシーン・マップが作成され得る。実施形態において、所与のフレームにおいて生成されるシーン・マップは、ユーザのｘ位置、ｙ位置、及びｚ位置と、シーン内の現実世界のオブジェクトと、シーン内の仮想オブジェクトと、を含み得る。この情報が、画像データ収集ステップ６０４及び６２０中に取得され、ステップ６０８において一緒に調整される。ステップ６０８及びステップ６１０において決定された情報を用いて、ハンドヘルド・デバイス１２は、ステップ６１４において、シーン・マップ内でのその位置を決定することができる。
【０１０４】
ステップ６１４において、システムは、システム１０内のユーザの各ヘッド・マウント・ディスプレイ・デバイス２のｘ位置、ｙ位置、及びｚ位置と、向きと、ＦＯＶと、を決定する。ステップ６１４のさらなる詳細は、参照によりその全体が本明細書に組み込まれる、「Virtual  Object  Generation  Within  a  Virtual  Environment」と題する米国特許出願第１３／５２５７００号において提供されている。
【０１０５】
ステップ６２８において、ハンドヘルド・デバイス１２又は処理ユニット４は、上述したように、ハンドヘルド・デバイス１２を用いて、仮想オブジェクトとのインタラクションをチェックすることができる。そのようなインタラクションが検出された場合、ステップ６３０において、影響を受ける仮想オブジェクトの新たな位置及び／又は外観（appearance）が、決定されて記憶され、ステップ６１８において、処理ユニット４により使用される。
【０１０６】
ステップ６１８において、システムは、ユーザ位置、ＦＯＶ、及びハンドヘルド・デバイス１２と仮想オブジェクトとのインタラクションのシーン・マップを使用して、現時点の仮想オブジェクトの位置及び外観を決定することができる。仮想オブジェクトの表示される外観における変化が、システムに提供され、ステップ６１８において、システムは、次いで、ユーザの視点から、仮想３次元オブジェクトの向き、外観等を更新することができる。
【０１０７】
ステップ６３４において、処理ユニット４（又は、システム１０内の他のプロセッサ）は、可能であればヘッド・マウント・ディスプレイ・デバイス２の最終ＦＯＶ内に現れ得る仮想オブジェクトだけがレンダリングされるように、レンダリング・オペレーションを選択することができる。他の仮想オブジェクトの位置は、引き続いて追跡され得るが、レンダリングされない。また、さらなる実施形態では、ステップ６３４は完全に省略されてもよく、画像全体がレンダリングされることも考えられる。
【０１０８】
処理ユニット４は、次いで、レンダリング・セットアップ・ステップ６３８を実行することができる。ここで、セットアップ・レンダリング・オペレーションは、ステップ６１０、ステップ６１２、及びステップ６１４において決定されたシーン・マップ及びＦＯＶを用いて実行される。仮想オブジェクト・データが受信されると、処理ユニットは、ＦＯＶ内にレンダリングされるべき仮想オブジェクトのためのレンダリング・セットアップ・オペレーションを、ステップ６３８において実行することができる。ステップ６３８におけるセットアップ・レンダリング・オペレーションは、最終ＦＯＶ内に表示されるべき１以上の仮想オブジェクトに関連する共通レンダリング・タスクを含み得る。このようなレンダリング・タスクは、例えば、シャドー・マップ生成（shadow  map  generation）、ライティング（lighting）、及びアニメーション化を含み得る。実施形態において、レンダリング・セットアップ・ステップ６３８は、予想される最終ＦＯＶ内に表示されるべき仮想オブジェクトの頂点バッファ（vertex  buffer）、テクスチャ、及び状態等の適した描画情報の編集をさらに含み得る。
【０１０９】
ステップ６４４において、システムは、次いで、ユーザのＦＯＶ内のオクルージョン及び陰影を決定することができる。詳細には、スクリーン・マップは、移動オブジェクト及び非移動オブジェクト並びに仮想オブジェクトを含む、シーン内のオブジェクトのｘ位置、ｙ位置、及びｚ位置を有する。ユーザの位置、及びＦＯＶ内のオブジェクトへの見通し線を認識しているので、処理ユニット４（又は、他のプロセッサ）は、次いで、仮想オブジェクトが、可視の現実世界のオブジェクトのユーザのビューを部分的又は完全に隠すかどうかを判定することができる。さらに、処理ユニット４は、可視の現実世界のオブジェクトが、仮想オブジェクトのユーザのビューを部分的又は完全に隠すかどうかを判定することができる。オクルージョンは、ユーザ固有のものであり得る。仮想オブジェクトは、第１のユーザのビューにおいて、ブロックし得る、あるいはブロックされ得るが、第２のユーザについてはそうではない。したがって、オクルージョンの決定は、各ユーザの処理ユニット４において実行され得る。
【０１１０】
ステップ６４６において、処理ユニット４のＧＰＵ３２２は、次いで、ユーザに表示されるべき画像をレンダリングすることができる。レンダリング・オペレーションの一部は、レンダリング・セットアップ・ステップ６３８において既に実行されていることがあり、周期的に更新されていることがある。
【０１１１】
ステップ６５０において、処理ユニット４は、レンダリングされた画像をヘッド・マウント・ディスプレイ・デバイス２に送信する時間であるかどうか、あるいは、ハンドヘルド・デバイス１２及び／又はヘッド・マウント・ディスプレイ・デバイス２からのより最近の位置フィードバック・データを用いて画像のさらなる改善のための時間がまだあるかどうか、をチェックする。６０ヘルツ・フレーム・リフレッシュ・レートを用いるシステムにおいて、１つのフレームは、およそ１６ｍｓである。
【０１１２】
更新された画像を表示する時間である場合、１以上の仮想オブジェクトの画像が、奥行き及びオクルージョンを考慮に入れて、適切なピクセルに表示されるよう、マイクロディスプレイ１２０に送信される。この時点で、不透明フィルタ１１４を制御するために、不透明フィルタのための制御データも、処理ユニット４からヘッド・マウント・ディスプレイ・デバイス２に送信される。ステップ６５８において、ヘッド・マウント・ディスプレイは、次いで、画像をユーザに表示する。
【０１１３】
一方、ステップ６５０において、まだ、表示されるべき画像データのフレームを送信する時間ではない場合、処理ユニットは、最終ＦＯＶの予測及びＦＯＶ内のオブジェクトの最終位置をさらに改善するために、より最近のデータを求めてループ・バックすることができる。詳細には、ステップ６５０において、まだ時間がある場合、処理ユニット４は、ステップ６０４及びステップ６２０に戻って、ヘッド・マウント・ディスプレイ・デバイス２及びハンドヘルド・デバイス１２からより最近のセンサ・データを取得することができる。
【０１１４】
処理ステップ６０４〜６６８は、例示の目的で上述されたに過ぎない。これらのステップのうちの１以上が、さらなる実施形態において省略されてもよいし、これらのステップが、異なる順番で実行されてもよいし、追加ステップが、追加されてもよいことを理解されたい。
【０１１５】
構造的特徴及び／又は方法論的動作に特有の言葉で主題を説明したが、添付の特許請求の範囲において定められる主題は、上述した特定の特徴又は動作に必ずしも限定されないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、請求項を実施する例示的な形態として開示されたものである。本発明の範囲は、添付の特許請求により定められることが意図されている。
【図１】
2016507805.tif 000003
【図２】
2016507805.tif 000004
【図３】
2016507805.tif 000005
【図４】
2016507805.tif 000006
【図５】
2016507805.tif 000007
【図６】
2016507805.tif 000008
【図７】
2016507805.tif 000009
【図８】
2016507805.tif 000010
【図９】
2016507805.tif 000011
【図１０】
2016507805.tif 000012
【図１１】
2016507805.tif 000013
【国際調査報告】
2016507805.tif 000014
2016507805.tif 000015