(57)【要約】  センサによって記録されたユーザの移動に関する入力を受信することと、入力に少なくとも部分的に基づいて、ヘッドマウントディスプレイ（ＨＭＤ）などの内部ディスプレイおよび外部ディスプレイに画像を提供することと、を行うための、システム、ユーザインターフェース、および方法が提供される。内部ディスプレイは、ＨＭＤを装着するユーザのみに視認可能であるように配置されており、外部ディスプレイは、ユーザではない少なくとも一人の他の観察者によって視認可能である。外部ディスプレイは、社会的相互作用を促進し、訓練を強化し、ユーザの仮想活動を監視することを提供し得る。【選択図】図１３
2021512402.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
第１のディスプレイおよび第２のディスプレイであって、前記第１のディスプレイが少なくともユーザによって視認可能であり、前記第２のディスプレイが、ユーザではない少なくとも一人の他の観察者によって視認可能であるように配置されている、第１のディスプレイおよび第２のディスプレイと、
センサからの入力を受信することと、前記入力に少なくとも部分的に基づいて、前記第１のディスプレイおよび前記第２のディスプレイに画像を提供することと、を行うように構成されている少なくとも１つのプロセッサと、を含み、前記入力は、前記ユーザ、前記第１のディスプレイ、および前記第２のディスプレイのうちの少なくとも１つの移動を表す、システム。
【請求項２】
方法であって、
ユーザ、第１のディスプレイ、および第２のディスプレイのうちの少なくとも１つの移動を表す入力を受信することであって、前記第１のディスプレイは、少なくとも前記ユーザに視認可能であるように配置されており、前記第２のディスプレイは、前記ユーザではない少なくとも一人の観察者によって視認可能である、受信することと、
前記入力に少なくとも部分的に基づく画像を、前記第１のディスプレイおよび前記第２のディスプレイに提供することと、を含む、方法。
【請求項３】
前記第１および第２のディスプレイは、ハウジング上に設けられており、前記第１のディスプレイは、前記ハウジングの内部にあり、前記第２のディスプレイは、前記ハウジングの外部にある、請求項１に記載のシステム、または請求項２に記載の方法。
【請求項４】
前記第１または第２のディスプレイの移動は、選択的な移動を含む、請求項１または３のいずれかに記載のシステム、あるいは請求項２〜３に記載の方法。
【請求項５】
前記移動を記録するセンサをさらに含む、請求項１または３〜４のいずれかに記載のシステム。
【請求項６】
前記ハウジングは、前記ユーザによって装着可能であり、前記移動は、前記ユーザの移動に対応する、請求項３〜５のいずれかに記載のシステム、または請求項３〜５のいずれかに記載の方法。
【請求項７】
前記ハウジングは、眼鏡を含み、前記第１の内部ディスプレイは、前記ユーザに向かって内側に向く表示面を含み、前記第２の外部ディスプレイは、前記ユーザから離れる方に向く表示面を含む、請求項６に記載のシステム、または請求項６に記載の方法。
【請求項８】
前記ハウジングは、ヘッドマウントディスプレイ（ＨＭＤ）であり、前記第１の内部ディスプレイは、前記ＨＭＤが装着されるときに、前記ユーザの目に向かって画像画像を提供し、前記第２の外部ディスプレイは、前記ユーザの前記目から離れる方に画像を提供する、請求項６に記載のシステム、または請求項６に記載の方法。
【請求項９】
前記第１のディスプレイに提供される前記画像は、前記第２の外部ディスプレイに提供される画像と同一である、請求項１および３〜８のいずれかに記載のシステム、または請求項２〜８のいずれかに記載の方法。
【請求項１０】
前記第１のディスプレイに提供される前記画像のうちの１つは、前記第２のディスプレイに提供される前記画像のうちの対応する１つとは異なる、請求項１または３〜８のいずれかに記載のシステム、あるいは請求項２〜８のいずれかに記載の方法。
【請求項１１】
前記第１のディスプレイおよび第２のディスプレイに提供される前記画像は、同一ではなく、かつ前記ユーザのステータスに選択的に関連し得るテキストまたは追加情報を含む、請求項９または１０に記載のシステム、あるいは請求項９または１０に記載の方法。
【請求項１２】
前記ハウジングは、前記ユーザおよび前記観察者に音を提供するための聴覚コンポーネントを含み、前記ユーザおよび前記観察者に提供される前記音は、少なくとも部分的に異なる、請求項３〜１１のいずれかに記載のシステム、または請求項３〜１１のいずれかに記載の方法。
【請求項１３】
プロセッサによって実行されたときに、前記プロセッサに、請求項２〜４および６〜１２のいずれかに記載の方法を実行させる命令を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、ユーザインターフェースに関し、特に、マルチビューイング機能を可能にする仮想現実（ＶＲ）ユーザインターフェースまたは拡張現実（ＡＲ）ユーザインターフェースに関する。
【背景技術】
【０００２】
この節では、読者に技術分野の様々な態様を紹介することが意図されており、これらの態様は、以下に説明および／または特許請求する本開示の様々な態様に関連し得る。本考察は、読者に背景情報を提供して、本開示の様々な態様をより良好に理解するのを容易にするのに役立つと考えられる。したがって、これらの記述は、この観点から読み取られるべきであり、先行技術を容認したものとして読み取られるべきではないということを理解されたい。
【０００３】
近年、仮想現実（ＶＲ）装置および拡張現実（ＡＲ）装置によって作成された没入型体験は、ますます注目の対象となってきている。これは、ＶＲ／ＡＲがあらゆる分野で実際に使用されて、試験、娯楽、訓練、および教育を含む様々な機能を実行し得るためである。例えば、エンジニアおよび建築家は、新しい設計のモデリングにＶＲ／ＡＲを使用し得る。医師は、ＶＲ／ＡＲ技術を使用して、事前に、困難な手術を練習し、完全なものとし得、軍事専門家は、戦場での作戦をシミュレートして戦略を立て得る。ＶＲ／ＡＲはまた、ゲーム業界およびエンターテインメント業界で広く使用されており、インタラクティブな体験を提供し、視聴者の楽しみを向上させている。ＶＲ／ＡＲは、現実のように感じ、現実世界または想像上の世界での体験を正確に再現し得るシミュレーション環境の作成を可能にする。
【０００４】
ＶＲ／ＡＲは、ユニークな体験を提供するが、使用法のほとんどは、単一の体験および一人だけの体験を提供する。この欠点は、かかる体験に反社会的な面を与え、技術を非難し得る。加えて、訓練演習中など、観察者がＶＲ／ＡＲシステムのユーザを支援する必要がある場合、体験を共有することができないことが、課題を提供する。したがって、より社会的なＶＲ／ＡＲ世界を受け入れ得るマルチプレーヤー環境およびマルチ共有環境が望まれる。
【発明の概要】
【０００５】
センサによって記録された、ユーザが装着するハウジングの移動に関する入力をコントローラに送信するためのシステム、ユーザインターフェース、および方法が提供される。内部の第１のディスプレイおよび外部の第２のディスプレイは、第１のディスプレイがユーザによってのみ視認可能であるように提供および配置される。第２のディスプレイは、ユーザではない少なくとも一人の他の観察者によって視認可能である。いくつかの実施形態では、第２のディスプレイは、ユーザによって視認可能ではない。いくつかの実施形態では、第１のディスプレイに対応する移動を記録するためのセンサが設けられている。少なくとも１つのコントローラは、センサから入力を受信することと、入力に少なくとも部分的に基づいて、第１のディスプレイおよび第２のディスプレイに画像を提供することと、を行うように構成されており、入力は、ユーザ、第１のディスプレイ、および第２のディスプレイのうちの少なくとも１つの移動を表す。
【０００６】
追加の特徴および利点は、同様の技術を通じて実現され、他の実施形態および態様は、本明細書で詳細に説明され、特許請求される実施形態の一部と見なされる。利点および特徴を備えた実施形態をよりよく理解するために、説明および図面を参照する。
【０００７】
本開示は、添付の図面を参照して、以下の実施形態および実施例によって、限定されるものではなく、より良好に理解および例示される。
【図面の簡単な説明】
【０００８】
【図１】本開示の１つ以上の実施形態による符号化および復号化システムの機能概要を概略的に表す。
【図２】一実施形態による、システムを概略的に表す。
【図３】別の実施形態による、システムを概略的に表す。
【図４】別の実施形態による、システムを概略的に表す。
【図５】別の実施形態による、システムを概略的に表す。
【図６】別の実施形態による、システムを概略的に表す。
【図７】別の実施形態による、システムを概略的に表す。
【図８】別の実施形態によるシステムを概略的に表す。
【図９】別の実施形態によるシステムを概略的に表す。
【図１０】一実施形態による没入型映像レンダリング装置を概略的に表す。
【図１１】別の実施形態による没入型映像レンダリング装置を概略的に表す。
【図１２】別の実施形態による没入型映像レンダリング装置を概略的に表す。
【図１３】一実施形態による、第１の内部および第２の外部ディスプレイを有するユーザインターフェースを概略的に表す。
【図１４】一実施形態による、図１３の実施形態のより詳細な図を提供する。
【図１５】図１４の代替実施形態を提供する。
【図１６】別の実施形態による、映像プロジェクタを有する代替実施形態を提供する。
【図１７】別の実施形態による、スマートモバイルデバイスを有する代替実施形態を提供する。
【図１８】一実施形態による、ＶＲ／ＡＲ装着可能なデバイスの図の例示である。
【図１９】一実施形態による、ユーザおよび観察者に複数の透視図を提供するための方法論のフローチャートを表す。
【０００９】
可能な限り、同じまたは同様の部品を指すために、図面全体を通して同じ参照番号が使用される。
【発明を実施するための形態】
【００１０】
本実施形態の図面および説明は、本実施形態の明確な理解に関連する要素を例示するために簡略化されているが、明確にするために、典型的なデジタルマルチメディアコンテンツ配信方法およびシステムに見られる他の多くの要素を排除していることを理解されたい。しかしながら、かかる要素は、当技術分野で周知であるので、かかる要素の詳細な考察は、本明細書では提供されない。本明細書の開示は、当業者に知られているかかるすべての変更および修正を対象とする。
【００１１】
図１は、１つ以上の実施形態による符号化および復号化システムの一般的な概要を概略的に例示する。図１のシステムは、１つ以上の機能を実行するように構成されている。前処理モジュール３００は、符号化装置４００による符号化のためのコンテンツを準備するために設けられ得る。前処理モジュール３００は、マルチ画像取得、すなわち、共通空間（例えば、３Ｄ球体であり、そこから、各ピクセルへの方向が、例えば、限定しないが、正距円筒図法マッピングまたはキューブマッピングを使用する２Ｄフレームへのマッピングにより、符号化される）において、取得された複数の画像のマージを実行し得る。代わりに、前処理モジュール３００は、入力として、特定の形式（例えば、正距円筒図法）で全方位映像を取得し、映像を前処理して、マッピングを、符号化により適した形式に変更し得る。取得された映像データ表現に応じて、前処理モジュール３００は、マッピング空間変更を実行し得る。別の実装は、複数の画像を、点群表現を有する共通の空間に組み合わせ得る。符号化装置４００は、互換性のある復号化装置７００によるリカバリのために送信および／または記憶に適した形式で、コンテンツをパッケージ化する。一般に、厳密には要求されないが、符号化装置４００は、ある程度の圧縮を提供し、共通空間がより効率的に表現されることを可能にする（すなわち、記憶のためにより少ないメモリを使用し、および／または送信に必要とされるより少ない帯域幅を使用する）。２Ｄフレームにマッピングされた３Ｄ球体の場合、２Ｄフレームは、事実上、いくつかの画像（または映像）コーデックのいずれかによって符号化され得る画像である。点群表現を有する共通空間の場合、符号化装置４００は、例えば、八分木分解によって、周知である点群圧縮を提供し得る。符号化された後、例えば、符号化された没入型映像データ、または３Ｄ  ＣＧＩ符号化データであり得るデータは、例えば、ゲートウェイに存在する任意のネットワークインターフェース内に典型的に実装され得るネットワークインターフェース５００に送信される。次いで、データは、インターネットなどの通信ネットワーク５５０を通じて送信されるが、他の任意のネットワークが、予測され得る。次いで、データは、ネットワークインターフェース６００を介して受信される。ネットワークインターフェース６００は、ゲートウェイ、テレビ、セットトップボックス、ヘッドマウントディスプレイ（ＨＭＤ）デバイス、イマーシブ（投影）ウォール、または任意の没入型映像レンダリング装置内に実装され得る。受信後、データは、復号化装置７００に送信される。次いで、復号化されたデータは、プレーヤー８００によって処理される。プレーヤー８００は、レンダリング装置９００のためのデータを準備し、センサからの外部データ、またはユーザ入力データを受信し得る。より正確には、プレーヤー８００は、レンダリング装置９００によって表示されることになる映像コンテンツの一部を準備する。復号化装置７００およびプレーヤー８００は、単一の装置（例えば、スマートフォン、ゲーム機、ＳＴＢ、タブレット、コンピュータなど）に統合され得る。別の実施形態では、プレーヤー８００は、レンダリング装置９００���統合され得る。
【００１２】
様々な種類のシステムを使用して、没入型映像またはインタラクティブな没入型体験（例えば、ＶＲゲーム）をレンダリングするための没入型表示装置の機能を実行し得る。拡張現実（ＡＲ）または仮想現実（ＶＲ）コンテンツを処理するためのシステムの実施形態は、図２〜図９に例示されている。かかるシステムは、１つ以上の処理機能を備えており、例えば、ヘッドマウントディスプレイ（ＨＭＤ）、タブレット、またはスマートフォンを含み得る没入型映像レンダリング装置を含み、任意選択で１つ以上のセンサを含み得る。没入型映像レンダリング装置はまた、表示装置と、処理機能を実行する１つ以上のモジュールとの間にインターフェースモジュールを含み得る。提示処理機能は、没入型映像レンダリング装置に統合され得るか、または１つ以上の処理装置によって実行され得る。かかる処理装置は、１つ以上のプロセッサと、無線または有線通信インターフェースなど、没入型映像レンダリング装置との通信インターフェースとを含み得る。
【００１３】
処理装置はまた、インターネットなどのワイドアクセスネットワークとの通信インターフェース（例えば、６００）を含み、クラウド上に配置されたコンテンツに、直接、またはホームもしくはローカルゲートウェイなどのネットワーク装置を通じてアクセスし得る。処理装置はまた、ローカルアクセスネットワークインターフェース（図示せず）、例えば、イーサネットタイプのインターフェースなどのインターフェースを通じて、ローカル記憶装置（図示せず）にアクセスし得る。ある実施形態では、処理装置は、１つ以上の処理ユニットを有するコンピュータシステムに設けられ得る。別の実施形態では、処理装置は、有線リンクまたは無線リンクによって映像に接続され得るスマートフォンに設けられ、マッピングを、符号化により適したフォーマットに変更し得る。取得された映像データ表現に応じて、前処理モジュール３００は、マッピング空間変更を実行し得る。符号化された後、例えば、没入型映像データまたは３Ｄ  ＣＧＩ符号化データであり得るデータは、例えば、ゲートウェイに存在する任意のネットワークインターフェース内に典型的に実装され得るネットワークインターフェース５００に送信される。次いで、データは、インターネットなどの通信ネットワークを通じて送信されるが、他の任意のネットワークが、予測され得る。次いで、データは、ネットワークインターフェース６００を介して受信される。ネットワークインターフェース６００は、ゲートウェイ、テレビ、セットトップボックス、ヘッドマウント表示装置、イマーシブ（投影）ウォール、または任意の没入型映像レンダリング装置内に実装され得る。受信後、データは、復号化装置７００に送信される。次いで、復号化されたデータは、プレーヤー８００によって処理される。プレーヤー８００は、レンダリング装置９００のためのデータを準備し、センサからの外部データ、またはユーザ入力データを受信し得る。より正確には、プレーヤー８００は、レンダリング装置９００によって表示されることになる映像コンテンツの一部を準備する。復号化装置７００およびプレーヤー８００は、単一の装置（例えば、スマートフォン、ゲーム機、ＳＴＢ、タブレット、コンピュータなど）に統合され得る。別の実施形態では、プレーヤー８００は、レンダリング装置９００に統合され得る。
【００１４】
「没入型コンテンツ」は、映像または他のストリーミングコンテンツまたは画像を指すことが多く、一般に、「通常の」映像または画像コンテンツの他の形式のような、ピクセルの２次元配列（すなわち、色情報の要素）である長方形フレームとして符号化される。多くの実装において、その没入型コンテンツの提示のために以下のプロセスが実行され得る。レンダリングされるために、２次元フレームは、最初に、マッピング表面（例えば、球体、立方体、ピラミッド）とも呼ばれる凸形ボリュームの内面にマッピングされ、次に、このボリュームの一部は、仮想カメラによって捕捉される。仮想カメラによって捕捉された画像は、没入型表示装置の画面によって表示される。いくつかの実施形態では、立体映像が提供され、復号化により、１つまたは２つの長方形フレームをもたらし、それは、２つのマッピング表面上に投影され得、その１つは、ユーザの目の各々のために、その一部分は、表示装置の特性に従って、２つの仮想カメラによって捕捉される。
【００１５】
コンテンツ内のピクセルは、フレームからのマッピング関数に従って仮想カメラ（複数可）に表示される。マッピング関数は、マッピング表面の形状に依存する。同じマッピング表面（例えば、立方体）の場合、様々なマッピング関数が可能である。例えば、立方体の面は、フレーム表面内の異なるレイアウトに従って構造化され得る。球体は、例えば、正距円筒図法投影または心射方位図法投影に従ってマッピングされ得る。選択された投影関数から生じるピクセルの編成は、線の連続性、正規直交ローカルフレーム、ピクセル密度を変更または破壊する場合があり、時間と空間における周期性をもたらし得る。これらは、映像を符号化および復号化するために使用される典型的な特徴である。典型的には、今日、符号化方法および復号化方法において、没入型映像の特異性を考慮に入れていない。実際、没入型映像は、３６０度の映像であるため、例えば、パンすることは、大量のデータを符号化する必要がある動きおよび不連続性をもたらすが、シーンのコンテンツは、変化しない。映像フレームを符号化および復号化しつつ、没入型映像の特異性を考慮に入れると、最新の方法に有益な利点がもたらされる。
【００１６】
別の実施形態では、システムは、没入型映像レンダリング装置および処理装置と通信する補助装置を含む。かかる実施形態では、補助装置は、処理機能の少なくとも１つを実行し得る。没入型映像レンダリング装置は、１つ以上のディスプレイを含み得る。装置は、各ディスプレイの前にレンズなどの光学系を採用し得る。ディスプレイはまた、例えば、スマートフォンまたはタブレットの場合などでは、没入型表示装置の一部であり得る。別の実施形態では、ディスプレイおよび光学系は、ヘルメット、眼鏡、または装着可能なバイザに埋め込まれ得る。没入型映像レンダリング装置はまた、レンダリングで使用するために、後述するように、１つ以上のセンサを含み得る。没入型映像レンダリング装置はまた、インターフェースまたはコネクタも含み得る。それは、センサ、処理機能、ハンドヘルド、または他の身体部分に関連する装置もしくはセンサと通信するために、１つ以上の無線モジュールを含み得る。
【００１７】
没入型映像レンダリング装置によって処理機能が実行される場合、没入型映像レンダリング装置は、直接またはコンテンツを受信および／もしくは送信するためのゲートウェイを通じて、ネットワークへのインターフェースを備え得る。
【００１８】
没入型映像レンダリング装置はまた、１つ以上のプロセッサによって実行され、かつ、コンテンツを復号化またはコンテンツを処理するように構成された処理機能を含み得る。ここでコンテンツを処理することで、表示用コンテンツを準備するための機能が理解される。これは、例えば、コンテンツを復号化することと、コンテンツを表示する前にマージすることと、表示装置に従ってコンテンツを修正することと、を含み得る。
【００１９】
没入型コンテンツレンダリング装置の１つの機能は、仮想ボリュームとして構造化されたコンテンツの少なくとも一部を捕捉する仮想カメラを制御することである。システムは、仮想カメラの姿勢を処理するために、ユーザの姿勢、例えば、ユーザの頭の姿勢を全体的または部分的に追跡する１つ以上の姿勢追跡センサを含み得る。１つ以上の位置決めセンサは、ユーザの変位を追跡するために提供され得る。システムはまた、環境に関連する他のセンサを含み、例えば、照明、温度、または音の状態を測定し得る。かかるセンサはまた、ユーザの身体に関連しており、例えば、発汗または心拍数を検出または測定し得る。これらのセンサを通じて取得した情報は、コンテンツの処理のために使用され得る。システムはまた、ユーザ入力装置（例えば、マウス、キーボード、リモコン、ジョイスティック）を含み得る。ユーザ入力装置からの情報は、コンテンツを処理するか、ユーザインターフェースを管理するか、または仮想カメラ（または実際のカメラ）の姿勢を制御するために使用され得る。センサおよびユーザ入力装置は、有線または無線の通信インターフェースを通じて、処理装置および／または没入型レンダリング装置と通信する。
【００２０】
没入型映像レンダリング装置１０の実施形態は、図１０を参照してより詳細に説明される。没入型映像レンダリング装置は、ディスプレイ１０１を含む。ディスプレイは、例えば、ＯＬＥＤ型ディスプレイまたはＬＣＤ型ディスプレイである。没入型映像レンダリング装置１０は、例えば、ＨＭＤ、タブレット、またはスマートフォンである。装置１０は、少なくとも１つのプロセッサ１０４および少なくとも１つの通信インターフェース１０６に接続している、タッチ感知面１０２（例えば、タッチパッドまたは触覚画面）、カメラ１０３、少なくとも１つのプロセッサ１０４およびメモリ１０５を含み得る。少なくとも１つのプロセッサ１０４は、センサ（複数可）２０（図２）から受信された信号を処理する。センサからの測定値のいくつかは、装置の姿勢を計算するため、および仮想カメラを制御するために使用される。姿勢推定のために使用され得るセンサは、例えば、ジャイロスコープ、加速度計、またはコンパスを含む。より複雑なシステムでは、例えば、カメラのリグも使用され得る。少なくとも１つのプロセッサ１０４は、画像処理を実行して、装置１０の姿勢を推定する。他のいくつかの測定値は、環境条件またはユーザの反応に従って、コンテンツを処理するために使用され得る。環境およびユーザの状態を検出するために使用されるセンサは、例えば、１つ以上のマイク、光センサ、または接触センサを含む。例えば、ユーザの目を追跡する映像カメラなどのより複雑なシステムも使用し得る。かかる場合、少なくとも１つのプロセッサは、画像処理を実行して、期待される測定を実行する。センサ（複数可）２０およびユーザ入力装置（複数可）３０からのデータはまた、センサの入力に従って、データを処理するコンピュータ４０に送信され得る。
【００２１】
メモリ１０５は、プロセッサ１０４のためのパラメータおよびコードプログラム命令を含む。メモリ１０５はまた、センサ（複数可）２０およびユーザ入力装置（複数可）３０から受信されたパラメータを含み得る。通信インターフェース１０６は、没入型映像レンダリング装置がコンピュータ４０図２）と通信することを可能にする。処理装置の通信インターフェース１０６は、有線インターフェース（例えば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース）、または無線インターフェース（ＩＥＥＥ  ８０２．１１インターフェースまたはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェースなど）を含み得る。コンピュータ４０は、データ、および任意選択で制御コマンドを、没入型映像レンダリング装置１０に送信する。コンピュータ４０は、データを処理して、例えば、没入型映像レンダリング装置１０によって、表示するデータを準備する。処理は、コンピュータ４０のみによって実行され得るか、または処理の一部は、コンピュータによって実行されて、一部は、没入型映像レンダリング装置１０によって実行され得る。コンピュータ４０は、直接、またはゲートウェイもしくはネットワークインターフェース５０を介して、インターネットに接続されている。コンピュータ４０は、インターネットから没入型映像を表すデータを受信し、これらのデータを処理し（例えば、データを復号化し、没入型映像レンダリング装置１０によって表示されることになる映像コンテンツの一部を準備し得）、処理されたデータを、表示のために没入型映像レンダリング装置１０に送信する。別の実施形態では、システムはまた、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）を含み得、ローカルストレージは、例えば、コンピュータ４０上、またはローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ上にあり得る。
【００２２】
拡張現実、仮想現実、拡張現実（複合現実も）、または拡張現実から仮想現実への任意のコンテンツを表示するための第１のタイプのシステムの実施形態を、図２〜図６を参照して説明する。一実施形態では、これらは、現実の、架空の、または複合環境の最大３６０度の視界を提供し得る広視野コンテンツと組み合わされる。広視野コンテンツは、とりわけ、３次元コンピュータグラフィック画像シーン（３Ｄ  ＣＧＩシーン）、点群、ストリーミングコンテンツ、または没入型映像、またはパノラマ写真、またはパノラマ画像であり得る。多くの用語は、前に示したように、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）３６０、パノラマ、４π、ステラジアン、全方位、没入型、および広視野などのかかるコンテンツまたは映像を提供する技術を定義するために使用され得る。
【００２３】
図２は、没入型映像を復号化し、処理し、レンダリングするように構成されたシステムの実施形態を概略的に例示する。システムは、没入型映像レンダリング装置１０、１つ以上のセンサ２０、１つ以上のユーザ入力装置３０、コンピュータ４０、およびゲートウェイ５０（任意選択）を含む。
【００２４】
図３は、没入型映像を復号化し、処理し、レンダリングするように構成されたシステムの第２の実施形態を概略的に表す。この実施形態では、ＳＴＢ９０は、インターネットなどのネットワークに直接（すなわち、ＳＴＢ９０は、ネットワークインターフェースを含む）、またはゲートウェイ５０を介して接続されている。ＳＴＢ９０は、無線インターフェースを通じて、または有線インターフェースを通じて、テレビセット１００または没入型映像レンダリング装置２００などのレンダリング装置に接続されている。ＳＴＢの古典的機能に加えて、ＳＴＢ９０は、テレビ１００上、または任意の没入型映像レンダリング装置２００上でレンダリングするための映像コンテンツを処理するための処理機能を含む。これらの処理機能は、コンピュータ４０について説明した処理機能と同様であり、ここでは再度説明しない。センサ（複数可）２０およびユーザ入力装置（複数可）３０はまた、図２を参照して前述したセンサ（複数可）および入力装置（複数可）と同じタイプのものである。ＳＴＢ９０は、没入型映像を表すデータをインターネットから取得する。別の実施形態では、ＳＴＢ９０は、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）から没入型映像を表すデータを取得する。
【００２５】
図４は、没入型映像を復号化し、処理し、レンダリングするように構成されたシステムの第３の実施形態を概略的に表す。第３の実施形態では、ゲーム機６０は、コンテンツデータを処理する。ゲーム機６０は、データ、および任意選択で制御コマンドを、没入型映像レンダリング装置１０に送信する。ゲーム機６０は、没入型映像を表すデータを処理し、処理されたデータを、表示のために没入型映像レンダリング装置１０に送信するように構成されている。処理は、ゲーム機６０のみによって行われ得るか、または処理の一部は、没入型映像レンダリング装置１０によって行われ得る。
【００２６】
ゲーム機６０は、直接、またはゲートウェイもしくはネットワークインターフェース５０を通じて、インターネットに接続されている。ゲーム機６０は、没入型映像を表すデータをインターネットから取得する。別の実施形態では、ゲーム機６０は、レンダリング装置１０を取得する。処理は、コンピュータ４０のみによって実行され得るか、または処理の一部は、コンピュータによって実行され、一部は、没入型映像レンダリング装置１０によって実行され得る。コンピュータ４０は、直接、またはゲートウェイもしくはネットワークインターフェース５０を介して、インターネットに接続されている。コンピュータ４０は、インターネットから没入型映像を表すデータを受信し、これらのデータを処理し（例えば、データを復号化し、没入型映像レンダリング装置１０によって表示されることになる映像コンテンツの一部を準備し得）、処理されたデータを、表示のために没入型映像レンダリング装置１０に送信する。別の実施形態では、システムはまた、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）を含み得、ローカルストレージは、例えば、コンピュータ４０上、またはローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ上にあり得る。
【００２７】
図５は、没入型映像レンダリング装置７０が、ハウジング７０５に挿入されたスマートフォン７０１によって提供される没入型映像を復号化し、処理し、レンダリングするように構成されたシステムの第４の実施形態を概略的に表す。スマートフォン７０１は、インターネットに接続され得、したがって、没入型映像を表すデータをインターネットから取得し得る。別の実施形態では、スマートフォン７０１は、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）から没入型映像を表すデータを取得し、ローカルストレージは、スマートフォン７０１上、または、例えば、ローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ上にあり得る。
【００２８】
図６は、没入型映像レンダリング装置８０がデータコンテンツを処理および表示するための機能を含む第１のタイプのシステムの第５の実施形態を概略的に表す。システムは、没入型映像レンダリング装置８０、センサ２０、およびユーザ入力装置３０を含む。没入型映像レンダリング装置８０は、場合によって、センサ２０から、およびユーザ入力装置３０から受信したデータに従って、没入型映像を表すデータを処理する（例えば、復号化し、表示のために準備する）ように構成されている。没入型映像レンダリング装置８０は、インターネットに接続され得、したがって、没入型映像を表すデータをインターネットから取得し得る。別の実施形態では、没入型映像レンダリング装置８０は、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）から没入型映像を表すデータを取得し、ローカルストレージは、レンダリング装置８０上、または、例えば、ローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ（表示せず）上に設けられ得る。
【００２９】
没入型映像レンダリング装置８０の実施形態は、図１２に例示されている。没入型映像レンダリング装置は、少なくとも１つのプロセッサ８０４および少なくとも１つの通信インターフェース８０６に接続している、ディスプレイ８０１、例えばＯＬＥＤ型ディスプレイまたはＬＣＤ型ディスプレイ、タッチパッド（任意選択）８０２、カメラ（任意選択）８０３、メモリ８０５を含む。メモリ８０５は、プロセッサ８０４のためのパラメータおよびコードプログラム命令を含む。メモリ８０５はまた、センサ２０およびユーザ入力装置３０から受信されたパラメータを含み得る。メモリ８０５は、没入型映像コンテンツを表すデータを記憶するのに十分な大きさの容量を有し得る。異なるタイプのメモリは、かかる記憶機能を提供し、ＳＤカード、ハードディスク、揮発性または不揮発性メモリなどの１つ以上の記憶装置を含み得る）通信インターフェース８０６は、没入型映像レンダリング装置がインターネットネットワークと通信することを可能にする。プロセッサ８０４は、映像を表すデータを処理して、ディスプレイ８０１上に画像を表示する。カメラ８０３は、画像処理ステップのために環境の画像を捕捉する。データは、このステップから抽出され、没入型映像レンダリング装置を制御する。
【００３０】
拡張現実、仮想現実、または拡張仮想コンテンツを処理するための、第２のタイプのシステムの実施形態が、図７〜図９に例示されている。これらの実施形態では、システムは、イマーシブウォールまたはＣＡＶＥ（「ＣＡＶＥ自動仮想環境」の再帰的頭字語）を含む。
【００３１】
図７は、ディスプレイ１０００、すなわちコンピュータ４０００からデータを受信するイマーシブ（投影）ウォールを含む第２のタイプのシステムの実施形態を概略的に表す。コンピュータ４０００は、インターネットから没入型映像データを受信し得る。コンピュータ４０００は、直接、またはゲートウェイ５０００もしくはネットワークインターフェースを通じて、インターネットに接続され得る。別の実施形態では、没入型映像データは、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）からコンピュータ４０００によって取得され、ローカルストレージは、コンピュータ４０００内、または、例えば、ローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ内にあり得る。
【００３２】
このシステムはまた、１つ以上のセンサ２０００と、１つ以上のユーザ入力装置３０００と、を含み得る。イマーシブウォール１０００は、ＯＬＥＤ型もしくはＬＣＤ型、または投影ディスプレイであり得、１つ以上のカメラ（図示せず）を備え得る。イマーシブウォール１０００は、より多くのセンサ２０００から受信したデータを処理し得る。センサ（複数可）２０００から受信したデータは、例えば、照明条件、温度、ユーザの環境、例えば、対象物の位置、およびユーザの位置に関連し得る。場合によっては、イマーシブウォール１０００によって提示される画像は、ユーザの位置に依存しており、例えば、提示における視差を調整し得る。
【００３３】
イマーシブウォール１０００はまた、１つ以上のユーザ入力装置３０００から受信したデータを処理し得る。ユーザ入力装置（複数可）３０００は、ユーザの感情に関するフィードバックを与えるために、触覚信号などのデータを送信し得る。ユーザ入力装置３０００の例は、例えば、スマートフォン、リモコン、およびジャイロスコープ機能を備えた装置などのハンドヘルド装置を含む。
【００３４】
データはまた、センサ（複数可）２０００およびユーザ入力装置（複数可）３０００データからコンピュータ４０００に送信され得る。コンピュータ４０００は、これらのセンサ／ユーザ入力装置から受信したデータに従って、映像データを処理（例えば、それらを復号化し、表示のために準備）し得る。センサ信号は、イマーシブウォールの通信インターフェースを通じて受信され得る。この通信インターフェースは、Ｂｌｕｅｔｏｏｔｈタイプ、ＷＩＦＩタイプ、または任意の他のタイプの接続であり得、優先的には無線であるが、有線接続でもよい。
【００３５】
コンピュータ４０００は、処理されたデータ、および、任意選択で制御コマンドを、イマーシブウォール１０００に送信する。コンピュータ４０００は、データを処理するように、例えば、イマーシブウォール１０００による表示のためにデータを準備するように構成されている。処理は、コンピュータ４０００のみによって行われ得るか、または処理の一部は、コンピュータ４０００によって行われ、一部は、イマーシブウォール１０００によって行われ得る。
【００３６】
図８は、第２のタイプのシステムの別の実施形態を概略的に表す。システムは、映像コンテンツを処理（例えば、データを復号化し、表示のために準備）し、表示するように構成されているイマーシブ（投影）ウォール６０００を含み、１つ以上のセンサ２０００と、１つ以上のユーザ入力装置３０００と、をさらに含む。
【００３７】
イマーシブウォール６０００は、ゲートウェイ５０００を通じてインターネットから、またはインターネットから直接、没入型映像データを受信する。別の実施形態では、没入型映像データは、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）から、イマーシブウォール６０００によって取得され、ローカルストレージは、イマーシブウォール６０００内、または、例えば、ローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ内にあり得る。
【００３８】
このシステムはまた、１つ以上のセンサ２０００と、１つ以上のユーザ入力装置３０００と、を含み得る。イマーシブウォール６０００は、ＯＬＥＤ型またはＬＣＤ型であり得、１つ以上のカメラを備え得る。イマーシブウォール６０００は、センサ（複数可）２０００（または複数のセンサ２０００）から受信したデータを処理し得る。センサ（複数可）２０００から受信したデータは、例えば、照明条件、温度、対象物の位置などのユーザの環境に関連し得る。
【００３９】
イマーシブウォール６０００はまた、ユーザ入力装置（複数可）３０００から受信したデータを処理し得る。ユーザ入力装置（複数可）３０００は、ユーザの感情に関するフィードバックを与えるために、触覚信号などのデータを送信する。ユーザ入力装置３０００の例は、例えば、スマートフォン、リモコン、およびジャイロスコープ機能を備えた装置などのハンドヘルド装置を含む。
【００４０】
イマーシブウォール６０００は、これらのセンサ（複数可）／ユーザ入力装置（複数可）から受信したデータに従って、映像データを処理（例えば、それらを復号化し、表示のために準備）し得る。センサ信号は、イマーシブウォールの通信インターフェースを通じて受信され得る。この通信インターフェースには、Ｂｌｕｅｔｏｏｔｈ（登録商標）タイプ、ＷＩＦＩタイプ、または任意の他のタイプの無線接続、または任意のタイプの有線接続を含む得る。イマーシブウォール６０００は、センサ（複数可）およびインターネットと通信するための少なくとも１つの通信インターフェースを含み得る。
【００４１】
図９は、イマーシブウォールがゲームのために使用される別の実施形態を例示する。１つ以上のゲーム機７０００は、例えば、無線インターフェースを通じて、イマーシブウォール６０００に接続されている。イマーシブウォール６０００は、ゲートウェイ５０００を通じてインターネットから、またはインターネットから直接、没入型映像データを受信する。代替実施形態では、没入型映像データは、没入型映像を表すデータが記憶されているローカルストレージ（表示せず）から、イマーシブウォール６０００によって取得され、ローカルストレージは、イマーシブウォール６０００内、または、例えば、ローカルエリアネットワーク（表示せず）を通じてアクセス可能なローカルサーバ内にあり得る。
【００４２】
ゲーム機７０００は、命令およびユーザ入力パラメータを、イマーシブウォール６０００に送信する。イマーシブウォール６０００は、例えば、表示のためのコンテンツを準備するために、センサ（複数可）２０００およびユーザ入力装置（複数可）３０００およびゲーム機（複数可）７０００から受信した入力データに従って、没入型映像コンテンツを処理する。イマーシブウォール６０００はまた、表示されるコンテンツを記憶するための内部メモリを含み得る。
【００４３】
ＶＲ環境またはＡＲ環境では、ヘッドマウントディスプレイを装着しているユーザを取り囲むコンテンツがある。しかしながら、同時に、ユーザが間違った方向を見ていると、ユーザは、興味深いイベントや刺激的なイベントを、非常に容易に見逃してしまう。この問題はまた、ユーザが、ＴＶで、または画面ベースの計算装置で、３６０度の映像コンテンツを見ているときにも存在する。異なる角度に対応するコンテンツが提供され得るように、角度を変えて視界空間をパンするための物理的なリモートコンピュータをユーザに提供することが望まれる。ほとんどの先行技術は、かかるコンテンツを提供し得ないため、いくつかのアプリケーションで問題が発生する。加えて、それに応じてコンテンツを適切に提供し得る場合でも、不注意によりユーザが見逃し得る重要な情報にユーザの注意を向けることが望ましい。
【００４４】
図１３〜図１９は、ＶＲ／ＡＲユーザインターフェースを表示する異なる実施形態、ならびにシステムおよび方法を提供する。従来、多くのＶＲ／ＡＲシステムでは、表示システムは、ユーザの頭に装着される。場合によっては、ディスプレイは、コントローラによって駆動され、コントローラは、事前に記録された映像（例えば、３６０度映像）をリアルタイム操作で提示しており、ユーザの移動に対応する表示、およびディスプレイによって範囲を定めた視野（複数可）をレンダリングする。他の場合では、ディスプレイは、コンピュータ生成映像をリアルタイムでレンダリングするコントローラによって駆動される。どちらの場合も、提示される映像は、少なくとも部分的にはユーザの移動、最も一般的にはユーザの頭の向きの変化に基づいている。かかるシステムでは、ユーザは、多くの場合、生成された映像画像を見る唯一のユーザであり、その場合、観察者は、ユーザの移動を見るが、ユーザが見ているものに関するいかなる情報も受信しないため、ユーザが何に反応しているのかわからない。これは、例えば、訓練演習の際に、例えば、ユーザがＶＲ機器もしくは機器を使用することを学習するか、またはＶＲシステムが単なる学習ツールである場合にスキルを学習する際に、ユーザを支援している観察者に問題を提供する。これはまた、ＶＲシステムで遊んでいる別の人を見ている友人または家族にとっても不都合であり、すなわち、一方だけが映像を見ている場合、体験を共有するのは困難である。
【００４５】
一例では、親および子供がＡＲ／ＶＲシステムのユーザである場合のシナリオを想像し得る。多くの親は、子供が、ヘッドマウントディスプレイ（以下、ＨＭＤ）を含むほとんどのＶＲ／ＡＲユーザインターフェースを使用するときに、何を見ているか、または体験しているのかを理解し得ない。かかる例では、子供向けプログラムが終了し、年齢に適さない恐ろしいプログラムに移行し得る。図１３〜図１８に提供される一実施形態では、親は、子供が見ているものを理解し、監視することさえできる。いくつかの構成では、ＨＭＤ内の映像のコピーをリモートディスプレイに送信し得、その場合、観察者は、リモートディスプレイを見得るが、かかる状況では、彼らは、典型的には、ＶＲシステムを装着しているユーザから目を離し、リモートディスプレイに示されているものは、もはや、ユーザの姿勢または移動のコンテキストを有しない。
【００４６】
本明細書では、例としてＨＭＤが使用されているが、当業者には理解され得るように、すべてのＶＲ／ＡＲユーザインターフェースを本実施形態で使用し得、ＨＭＤは、理解を容易にするためにのみ使用されることに留意されたい。
【００４７】
多くの従来のＡＲ／ＶＲシステムでは、ユーザは、ＨＭＤを装着しており、ユーザ以外による使用のためのリモートディスプレイがある。リモートディスプレイは、典型的には静的であり、ユーザは、典型的には移動しており、空間関係が分割されているため、ユーザが行っていることと、画面上にあるものとを関連付けることが難しくなる。したがって、一実施形態では、外部ディスプレイをＨＭＤに取り付けることによって、ユーザへの映像の提示をＨＤＭの外面にミラーリングして、ユーザの体験を直感的に観察し得る。いくつかの実施形態では、例えば、画像に含まれる視野を外部ディスプレイの形状およびサイズにより適切にマッピングするため、または内部画像の中央領域を拡大して、ユーザが何に注意を払っているかを外部ディスプレイ上でより適切に示すために、外側の画像は、内側の画像とは異なり得る。ＨＭＤへの外部マウントディスプレイの追加は、観察者が、ユーザが体験している仮想世界で何が起こっているかを、ユーザが見ているものに対応する直感的な提示で見ることを可能にする。外向きディスプレイ上の映像にはさらに、ＨＭＤを装着しているユーザが入手し得ない情報、例えば、ユーザに関する心拍数の表示もしくは累積ストレスの推定値、またはすぐに見えない関心のあるポイントに関するヒントが、注記または増強され得る（それは、ＨＭＤを装着しているユーザにこれらのヒントを伝えるように観察者を誘導し、それによりインタラクティブな体験を観察者に拡張し、体験をより社交的なものにし得る）。
【００４８】
内部ディスプレイ上に表示される画像は、外部ディスプレイに表示されるときにミラーリングされ得る。これは、鏡像として表示される同じ画像、またはオリジナルの鏡像である別の画像のいずれかであり得る。明確にするために、「鏡像」とは、左から右に反転された画像を意味する。鏡像では、元の画像内のいかなるテキストも鏡像では逆方向に読み取られる。内部ディスプレイ上に表示される画像に現れるテキストは、外部ディスプレイ上では、かかるミラーリングによって反転し、そのため、内部ディスプレイおよび外部ディスプレイの画像を別々に作成するいくつかの実施形態では、他の方法でミラーリングされた画像でテキストのレンダリングが反転し、したがって、テキストは、観察者にとって正像で表示される。
【００４９】
図１３は、かかる例を提供する。システム１３００は、ＶＲ／ＡＲユーザインターフェース１３０２（すなわち、ここでは装着可能なＨＭＤ）を利用するユーザ１３０１が、ＨＭＤを装着していないか、または同様のユーザインターフェースを有しない観察者１３５０によって見られている場合を提供する。この特定の例では、ユーザインターフェースまたはＨＭＤは、ユーザがＨＭＤを装着しているときにユーザ１３０１によって視認可能である内部ディスプレイ１３１０を有する。ＨＭＤはまた、観察者によって視認可能である外部ディスプレイも有する。ＨＭＤの内部ディスプレイ１３１０は、周知の方法で動作する。明確にするために、ユーザ１３０１が内部ディスプレイ１３１０を見るのに必要な光学系、例えば、レンズは示されていない。外部ディスプレイ１３１５には、内部ディスプレイ１３１０に示されるものに対応する映像信号が供給される。
【００５０】
外部ディスプレイ１３１５への映像信号は、内部ディスプレイ１３１０に提供される映像信号と同一であり得、映像信号は、外部ディスプレイによって逆に（左から右に反転して）示される。他の実施形態では、外部ディスプレイへの映像信号は、別個であるが、依然として対応する映像信号であり得る。いくつかの実施形態では、この別個の映像信号は、内部ディスプレイ１３１０に提供される映像信号によって表される画像の鏡像である画像を表す。さらに他の実施形態では、別個の映像信号は、内部ディスプレイのための画像の鏡像であるが、上述のように、テキストは、鏡像において正像であるように反転されている画像を表す。
【００５１】
図１４は、ディスプレイがＨＭＤの一部である、図１３に示される実施形態のブロック図を示す。この例では、ＨＭＤ構造は、内向きディスプレイ１３１０および外向きディスプレイ１３１５をサポートする。内向きディスプレイは、ＨＭＤが装着されるときにユーザによって視認可能であり、一方、外向きディスプレイは、図１３に先に例示したように、ＨＭＤを装着していない観察者によって視認可能である。この実施形態では、１つ以上の移動センサ１４０１は、典型的には少なくとも配向情報である移動情報１４１０を、１つ以上のコントローラ１４２５に供給する。１つ以上のコントローラ１４２５は、移動情報に基づいて、画像信号１４２０によって表される画像を生成する。画像信号は、内部ディスプレイと外部ディスプレイの両方に提供され、外部ディスプレイは、内部ディスプレイの提示に対して左から右に反転された画像を提示し、その結果、両方の提示の間に利き手の対応がある。例として、コントローラによって提供される画像が左向きの矢印を含む場合、ＨＭＤを装着しているユーザにその画像を提示すると、ユーザは左側を向き得る。同じ画像が水平方向に反転せずに外部ディスプレイに表示された場合、その矢印は、ユーザの右を指し、ユーザは、指示された方向とは反対の方向を向いているように見える。外部ディスプレイが画像を水平方向に反転する（すなわち、鏡像を提示する）場合、外部ディスプレイに示される矢印、および内部ディスプレイに示される矢印は、同様の方向を向いており、外部提示は、内部提示に対応し、かつ一致している。
【００５２】
一実施形態では、内向きディスプレイを適切に見るために特別な光学系は必要ではなく、図面には示されていないが、必要に応じて、それは、設けられ得る。しかしながら、多くのＨＭＤは、フレネルレンズまたは他の光学システムを提供し、ユーザの目が内向きディスプレイに焦点を合わせることを可能にする。ライトフィールド、ホログラフィック、または他のディスプレイ技術を採用して、ＨＭＤを装着しているユーザに画像を提示するＨＭＤの場合、これらは、本明細書によって想定されており、内部ディスプレイの本明細書における指定に含まれている。また、ユーザインターフェースをユーザに（すなわち、ＨＭＤを装着しているユーザの頭に）固定するためのメカニズムは、図面には例示されていないが、当業者には理解できるように、ヘッドバンド、キャップ、イヤーフック（眼鏡に典型的であるように）、カウンターウェイトなどの使用を含むがこれらに限定されない、安全な配置を提供するための様々な構成がなされ得、これらは、非常に多様であり、本実施形態によって影響を受けない。さらに、本実施形態は、「装着される」という概念に、ユーザがその位置を維持するためのストラップまたはそのようなものを追加することなくＨＭＤを顔に単に保持し得ること（例えば、Ｇｏｏｇｌｅ  Ｃａｒｄｂｏａｒｄと同様に）を含む。
【００５３】
図１５は、コントローラ（複数可）１４２５が画像信号１５２０および１５３０によって表される２つの別個の画像を提供する代替案を示しており、１つは、内部ディスプレイ１３１０（信号１５３０）用であり、１つは、外部ディスプレイ１３１５（信号１５２０）用である。この実施形態の最も簡素なバージョンでは、コントローラは、内向きディスプレイに第１の画像を、外向きディスプレイに第１の画像の鏡像である第２の画像を提供するだけである。この実施形態の代替バージョンでは、第２の画像は、異なり得る（例えば、第１の画像よりも広いもしくは狭い視野を表し、および／または第２の画像は、異なるように注記され得るなど）。
【００５４】
図１６は、図１５と同様であるが、この代替実施形態では、内向きディスプレイ１６１０は、ディスプレイの視認可能な部分を形成する画面上へのプロジェクタ１６２０として具体化されている。ここでも、ユーザがＨＭＤを装着しているときに内部ディスプレイに焦点を合わせるために必要であり得るいかなる従来の表示光学系も示されていないことに留意されたい。投影角度１６２５は、最良の表示結果のために、選択的に配置され得る。
【００５５】
さらに別の実施形態では、図１７に示すように、ＨＤＭ構造１７００は、２つの別個の提示装置、すなわち、１つの内向き（１７０５）および１つの外向き（１７０６）をサポートし、各提示装置に対するサポートは、直接的または間接的である。（すなわち、１つの提示装置は、構造１７００にマウントされ、第２の提示装置は、直接、または第１の提示装置にマウントすることにより間接的に構造にマウントされる。）ここでは、２つの提示装置は、スマートフォン（当業者には理解されるように、他の多くの構成も可能であり得るが）として実装されていることを示しており、それぞれ、移動センサおよびコントローラ（それぞれ１７０１、１７０２、および１７２５、１７２６）を含み、上記と同様に、それぞれのディスプレイ１７１０および１７２０を駆動する。例えば、考察される実施形態では、第１のスマートフォンの第１のディスプレイ１７１０は、ＨＭＤ１７００を装着しているユーザを向き、表示光学系（図示せず）を通じてユーザによって見られる。第２のスマートフォンの第２のディスプレイ１７２０は、ユーザから離れる方を向いており、ユーザを見ている観察者によって視認可能にしている。第２のスマートフォンは、観察者がユーザを見ているときのユーザの体験の表現を明らかにし、観察者がイベントをよりよく理解し、共有し、ある程度体験を共有することを可能にする。２つの提示装置は、同期を助けるための通信リンク（図示せず）を共有し得る。このリンクは、無線頻繁なリンク、例えば、近距離無線通信（ＮＦＣ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮまたはＷｉＦｉ）、またはパーソナルエリアネットワーク（ＰＡＮまたはＢｌｕｅｔｏｏｔｈ（商標））を介し得、このリンクは、音声同期、例えば、スマートフォンのうちの１つにあるアプリは、スピーカー（図示せず）を通じて、ビープ音または他の音（超音波であり得る）を出し、他のスマートフォンにあるアプリは、マイク（図示せず）を通じて、そのビープ音を検出して、それにより、（ビープ音を出している電話のスピーカーから、検出している電話のマイクまでの間隔を、音が移動するためにかかる時間と、各スマートフォンの音声処理（例えば、バッファリング、パケット化）の可変内部レイテンシと、に基づいて）、１ｍＳ未満の精度で共通の時点をマークする。代替的に、ユーザは、２つのスマートフォンの各々にあるスタートボタン（図示せず）を同時に押し得る。
【００５６】
いくつかの実施形態では、外部ディスプレイ、および外部ディスプレイをヘッドマウントするための構造は、第１のディスプレイをヘッドマウントするために使用される構造とは異なり、かつ独立し得る。例えば、外部画面機能のないＶＲ使用のための第１のＨＭＤは、ユーザが装着するために独立して設けられ得る。これとは別に、外部画面は、第２の画面をユーザの頭に直接的または間接的にマウントするための適切な構造またはアタッチメントを備えている（すなわち、第２の画面は、第２のＨＭＤを形成するが、装着時にユーザを向かないものであり、または、追加の構造の有無にかかわらず第２の画面は、例えば、第１のＨＭＤ上にクリッピングもしくはクランプすることによって、もしくは接着されることによって第１のＨＭＤに取り付けられる）。外向きディスプレイは、ＨＭＤに付加される質量を表し、長期間の使用により快適さが低下し得ることを考えると、観察者が存在しない、または存在するが反映されたユーザ体験を見る必要がない状況では、外向きディスプレイは、取り外し可能であり得る。さらに、外部ディスプレイを取り外すか、または単に無効にするだけで、電力消費を削減するという利点を提供し得る。
【００５７】
本明細書で説明するように、外部ディスプレイに提供される画像は、一般に、ユーザが内部ディスプレイで見ているものを表す。代替実施形態では、外部ディスプレイに提供される画像は、異なり得るか、または誇張され得る。例えば、ＨＭＤによって提示された仮想世界において、ユーザは海賊から隠れており、岩の後ろにいる場合、ユーザには、内部ディスプレイに岩の表示が提示され、一方、外部ディスプレイでは、観察者は、岩を通して海賊を見ることが可能であり得るか（ユーザが透視能力を持っている場合に、ユーザの視点を反映したかのように）、または観察者は、海賊の背中を見ることが可能であり得、外部表示は、仮想世界においてあたかも状況がユーザからある距離（例えば、２０フィート）で見られているが、仮想世界においてユーザの方を振り返って見ているかのように、一般にはユーザの視線の方向の線に沿って後ろを見ているかのように計算されている。観察者のためのかかる表示は、様々な種類の相互作用を可能にし得（例えば、岩の近くまで来ている！左側の木の後ろに移動して！」）、これにより、体験の社会性が高まる。
【００５８】
ＨＭＤは、ＨＭＤがユーザの顔に装着または保持されると「動作可能に位置付けられる」と言われており、したがって、ユーザがＨＭＤの適切な表示光学系を通じて、ＨＭＤの内部ディスプレイを見て、焦点を合わせることができる。「動作可能に位置付けられた」場合、ＨＭＤは、ユーザの頭の基準系を共有する、すなわち、ユーザの頭に接触しているか、または他の方法でユーザの頭に対する位置を保持し、ユーザの頭が回転すると、ＨＭＤも同様に回転し、したがって、ディスプレイは、視聴者の頭蓋骨に対して固定されたままであり、ＨＭＤの装着または保持が少し緩んでいる場合は、少し固定するか、または少し固定を緩める。「動作可能に位置付けられた」という用語は、昔ながらのステレオプティコンまたは古典的なＶｉｅｗＭａｓｔｅｒ（商標）玩具と同様に、一般的にユーザの頭にストラップで固定して装着するのではなく、単に適切な位置に保持されているＧｏｏｇｌｅ  Ｃａｒｄｂｏａｒｄ  ＶＲビューアなどを説明するのに役立つ。
【００５９】
図１８は、一実施形態による例を提供する。図１８では、ユーザ１８６０は、メガネ１８４０の形態のＨＤＭ型のユーザインターフェースを装着して示されている。この例では、観察者（図示せず）は、ユーザの顔を見て、外部ディスプレイ（複数可）１８７０で画像を見ることができる。この例では、観察者の視点が描写されており、ユーザが川の近くの街並みの夕景を眺めていることを見ている。
【００６０】
図１９は、一実施形態によるフローチャート図である。一実施形態では、ステップ１９００に示すように、ユーザが装着しているハウジングの移動に関する入力が受信される。入力は、センサを介して記録されたユーザの移動を表し、コントローラに送信される。移動は、ユーザ自身ではなく、ハウジング自体の移動であり得る。ステップ１９１０では、少なくとも１つの画像が提供され、少なくとも１つの画像は、コントローラを介して受信された入力に少なくとも部分的に基づいている。ステップ１９２０に示されるように、内部の第１のディスプレイは、ユーザのみに視認可能であるように配置され、外部の第２のディスプレイは、ユーザではない少なくとも一人の他の観察者によって視認可能である。画像は、ハウジングの第１の内部ディスプレイおよび第２の外部ディスプレイに提供される。画像は、変更され得、同一であり得、または追加のテキストを含み得る。テキストはまた、変更され得、１つのディスプレイから欠落し得、ディスプレイ間で反転され得、または同一であり得る。
【００６１】
さらに、表示されたコンテンツと同期するように、コントローラによって提供される信号によって、例えば、スピーカーまたはヘッドホン（図示せず）を通じて、表示されたコンテンツに付随するように、音声を提供し得る。いくつかの実施形態では、共通の音声プログラムは、ユーザおよび観察者の両方に聞こえ得る。代替実施形態では、ユーザに提供される音声は、ヘッドフォンまたは他の近接場放射を通じ得るが、観察者には聞こえないか、またはそうでなければ観察者向けではなく、一方、音声（同じであってもよく、または異なっていてもよい）は、例えば、観察者に聞こえるスピーカーを通じて、または少なくとも１つのコントローラと無線通信を有するＢｌｕｅｔｏｏｔｈ（登録商標）イヤホンもしくはヘッドセットなどの別のデバイスを通じて、ユーザに個別に提供される。場合によっては、ユーザに提示される音声は、３Ｄオーディオ（例えば、バイノーラルオーディオ、またはユーザが回転しても視覚的提示と位置的に一致して見えるように個々の音をレンダリングするオブジェクトベースのオーディオ）であり得る。観察者に提示される音声は、独立してレンダリングされ得、３Ｄオーディオでもあり得るが、そうである場合は、ユーザの主な向きおよびそこからの観察者の距離の所定の推定値から推定され得るように、観察者の向きに適切にレンダリングされることが好ましい。別の実施形態では、ＨＭＤのセンサは、ユーザに対する観察者の位置を特定し得、この情報は、それに応じて観察者のために音声をレンダリングするために使用される。
【００６２】
いくつかの実施形態（図示せず）では、観察者のために提供される外部ディスプレイは、ユーザの頭の上もしくは後ろにあり得るか、またはユーザの別の場所、例えば、ユーザの種類に依存するが、観察者のためのより便利な位置であり得るバックパックにあり得る。例えば、軍事または警察の訓練演習では、観察者は、訓練生が探索している物理的な遭遇環境を通じて訓練生（ユーザ）を追跡する教官であり得る。特に訓練生が急に前方に急いだり、観察者が占有している空間に武器を差し出したりする場合、観察者が環境の中で逆行することは厄介である。かかる状況では、観察者のための外部ディスプレイは、ユーザの頭の後ろ、またはユーザの背中に取り付けられ得る。この構成では、利き手が両方のディスプレイで一致しているため、すなわち、映像信号の左方向を指している矢印は、両方の画面で実質的に同じ方向（ユーザの左側）を指しているため、内部ディスプレイによってユーザのために表示される画像は、観察者のために表示される画像と同じであり得ることに注意されたい。
【００６３】
いくつかの実施形態が説明されたが、当業者は、現在および将来の両方で、以下の特許請求の範囲内に入る様々な改善および強化を行い得ることが理解されよう。これらの特許請求の範囲は、最初に説明された実施形態に対する適切な保護を維持するように解釈されるべきである。
【図１】
2021512402.tif 000003
【図２】
2021512402.tif 000004
【図３】
2021512402.tif 000005
【図４】
2021512402.tif 000006
【図５】
2021512402.tif 000007
【図６】
2021512402.tif 000008
【図７】
2021512402.tif 000009
【図８】
2021512402.tif 000010
【図９】
2021512402.tif 000011
【図１０】
2021512402.tif 000012
【図１１】
2021512402.tif 000013
【図１２】
2021512402.tif 000014
【図１３】
2021512402.tif 000015
【図１４】
2021512402.tif 000016
【図１５】
2021512402.tif 000017
【図１６】
2021512402.tif 000018
【図１７】
2021512402.tif 000019
【図１８】
2021512402.tif 000020
【図１９】
2021512402.tif 000021
【国際調査報告】
2021512402.tif 000022
2021512402.tif 000023