(57)【要約】  論理サブシステムによって実行可能な命令を保持するデータ保持サブシステムが提供される。命令は、主ディスプレイによる表示のために主イメージを主ディスプレイに出力し、周辺イメージが主イメージの延長として見えるように、ディスプレイ環境の環境表面上での環境ディスプレイによる投影のために環境ディスプレイに出力するように構成される。【特許請求の範囲】
【請求項１】
実行中のアプリケーションのインスタンスによってアプリケーション処理をユーザーについてパーソナライズするためのコンピューターにより実施される方法であって、
コンテキストに関連する、コンテンツアグリゲーション及び配信サービスからユーザーについてのコンテキストに関連するパーソナライズされたコンテンツを受信するステップであって、受信されたコンテンツは、前記アプリケーションインスタンスに利用可能でない異なる実行中のアプリケーションから前記サービスが受信したデータに基づく、ステップと、
前記コンテンツ内のユーザーのコンテキストを受信するステップと、
前記ユーザーに対してパーソナライズされ前記ユーザーのコンテキストに関連するコンテンツを出力するステップと
を含む方法。
【請求項２】
前記ユーザーのコンテキストは、前記ユーザー及び前記ユーザーの近傍内に物理的に存在する１人以上の人の物理的な位置を含み、
前記物理的に存在する１人以上の人のコンテキストに関連するパーソナライズされたコンテンツを受信することに応答して、前記ユーザーの近傍内の１人以上の人についてのパーソナライズされたコンテンツをディスプレイデバイス上に出力するステップをさらに含む請求項１に記載の方法。
【請求項３】
前記ユーザーのコンテキストは１人以上の人を含み、
前記１人以上の人についてのコンテキストに関連するパーソナライズされたコンテンツを受信することに応答して、前記アプリケーションが、前記１人以上の人及び前記ユーザーについてのパーソナライズされたコンテンツをディスプレイデバイス上に出力するステップをさらに含む請求項１に記載の方法。
【請求項４】
コンテキストに関連する処理のためにユーザーについてのパーソナライズされたコンテンツをアプリケーションインスタンスに提供するシステムであって、
前記ユーザーの現在のコンテキストデータを含むユーザープロファイルデータを格納する１つ又は複数のデータストアと、
前記１つ又は複数のデータストアへのアクセスを有し、異なる通信プロトコルを有する通信ネットワークを介して、オンラインリソースを実行するコンピューターシステムと通信する、１つ又は複数のサーバーと
を備え、
前記１つ又は複数のサーバーが、実行中のアプリケーションインスタンスから、前記ユーザーに関する選択されたカテゴリーのデータの要求を受信するソフトウェアを実行し、
前記１つ又は複数のサーバーが、前記オンラインリソースから、前記ユーザーに関する選択されたカテゴリーのデータのコンテンツを検索して収集するソフトウェアを実行し、前記オンラインリソースは、前記実行中のアプリケーションインスタンスにとって利用できないリソースを含み、
前記１つ又は複数のサーバーが、前記ユーザーの現在のコンテキストデータ及び前記選択されたカテゴリーについて収集されたコンテンツに基づいて、前記実行中のアプリケーションインスタンスのコンテンツを送信するソフトウェアを実行するシステム。
【請求項５】
前記１つ又は複数のサーバーが、前記ユーザーに関連付けられる１つ又は複数のクライアントコンピューターデバイスと通信し、前記サーバーは、前記１つ又は複数のクライアントコンピューターデバイスから受信されたコンテキスト情報に基づいて前記ユーザーのコンテキストデータを決定するソフトウェアを実行する請求項４に記載のシステム。
【請求項６】
前記オンラインリソースからアグリゲートされたコンテンツをカテゴリーに分類して前記カテゴリーのデータを前記１つ又は複数のデータストアに格納する、前記１つ又は複数のサーバー上で実行されるデータベース管理システムをさらに含む請求項４に記載のシステム。
【請求項７】
前記１つ又は複数のサーバーは、前記ユーザーに関する選択されたカテゴリーのデータの要求を受信するアプリケーションプログラミングインターフェイスを含むソフトウェアを実行し、
前記１つ又は複数のサーバーは、前記ユーザーの現在のコンテキストデータに基づいて、前記コンテンツを送信するアプリケーションプログラミングインターフェイスを含むソフトウェアを実行する請求項４に記載のシステム。 
【請求項８】
前記データのカテゴリーは、前記ユーザーに関連付けられる１つ又は複数のクライアントデバイスに関する、位置データ、アクティビティデータ、利用可能データ、履歴データ、デバイスデータを含む請求項７に記載のシステム。
【請求項９】
具現化されたプロセッサー読み取り可能なコードを有する１つ又は複数のプロセッサー読み取り可能な記憶デバイスであって、前記プロセッサー読み取り可能なコードは、コンテキストに関連する処理のためにユーザーについてのパーソナライズされたコンテンツをアプリケーションに提供する方法を実行するように１つ又は複数のプロセッサーをプログラムし、前記方法は、
異なる通信プロトコルを介してアクセス可能なコンピューターシステム上で実行するオンラインリソースからユーザーにとって関心のある１つ又は複数のトピックについてのコンテンツを自動的かつ連続的に収集するステップと、
１つ又は複数のトピックに対するユーザーの関心及び前記ユーザーのコンテキストを記述するデータの要求をアプリケーションから受信するステップと、
前記アプリケーションからのアプリケーションデータ要求、ユーザープロファイルデータ及び現在のユーザーのコンテキストに基づいて、前記ユーザーについて収集されたコンテンツを自動的にフィルタリングするステップと、
前記フィルタリングに基づく前記ユーザーについてのコンテキストに関連するコンテンツを、前記アプリケーションデータ要求の１つ又は複数の選択されたカテゴリーについてのフィルタリングに基づく推奨を提供することによって前記要求をするアプリケーションに提供するステップであって、前記推奨は、前記要求をするアプリケーションとは異なるアプリケーションからの前記ユーザーについての個人的嗜好データに基づく、ステップと
を含む１つ又は複数のプロセッサー読み取り可能な記憶デバイス。
【請求項１０】
前記コンテキストに関連するコンテンツは、前記ユーザーに関連付けられる別のユーザークライアントデバイス上で実行する別のアプリケーションから取り出されるユーザーデータに基づくコンテンツを含む請求項９に記載の１つ又は複数のプロセッサー読み取り可能な記憶デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、没入型ディスプレイエクスペリエンスに関する。
【背景技術】
【０００２】
[0001]ビデオゲームや関連するメディアのエクスペリエンスのユーザーの楽しみは、ゲームエクスペリエンスをより現実的なものにすることによって増加させることができる。エクスペリエンスをより現実的なものにする従来の試みは、２次元を３次元アニメーション技術に切り替えること、ゲームのグラフィックの解像度を向上させること、改善されたサウンドエフェクトを生成すること、より自然なゲームコントローラーを作成することを含んでいた。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
没入型ディスプレイエクスペリエンスを提供する。
【課題を解決するための手段】
【０００４】
[0002]没入型ディスプレイ環境が、ユーザーの周りの環境表面（environmental surfaces）に周辺イメージ（peripheral image）を投影することによって人間のユーザーに提供される。周辺イメージは主ディスプレイ（primary display）に表示される主イメージに対する延長としての役割を果たす。
【０００５】
[0003]この概要は、詳細な説明において以下でさらに説明される概念の選択を簡略化した形で紹介するために設けられている。この概要は、特許請求される主題の主要な特徴又は不可欠な特徴を特定することを意図しておらず、特許請求される主題の範囲を限定するために使用されることも意図していない。さらに、特許請求される主題は、本開示のいかなる部分に記載されたいかなる又はすべての欠点を解決する実施例にも限定されるものではない。
【図面の簡単な説明】
【０００６】
【図１】[0004]没入型ディスプレイ環境の実施例を概略的に示す。
【図２】[0005]没入型ディスプレイエクスペリエンスをユーザーに提供する例示的な方法を示す。
【図３】[0006]主イメージの延長として表示される周辺イメージの実施例を概略的に示す。
【図４】[0007]ユーザーの位置における周辺イメージの表示を遮蔽する周辺イメージの例示的な遮蔽領域を概略的に示す。
【図５】[0008]後にユーザーの動きを追跡するように調整される図４の遮蔽領域を概略的に示す。
【図６】[0009]本発明の実施例によるインタラクティブなコンピューティングシステムを概略的に示す。
【発明を実施するための形態】
【０００７】
[0010]ビデオゲームなどのインタラクティブなメディアエクスペリエンスは、一般的に、高品質、高解像度のディスプレイによって伝えられる。そのようなディスプレイは、通常、ビジュアルコンテンツの唯一のソースであり、そのため、メディアエクスペリエンスはディスプレイのベゼルによって制限される。ディスプレイに集中する場合であっても、ユーザーは、ユーザーの周辺視野を介して、ディスプレイが存在する部屋の構造上の特徴や装飾の特徴に気付くことがある。このような特徴は、通常、表示されるイメージに関してコンテキストから外れており、メディアエクスペリエンスのエンターテインメントの可能性を弱める。さらに、いくつかのエンターテイメントのエクスペリエンスは、（例えば、上述したビデオゲームのシナリオのようなエクスペリエンスにおける）ユーザーの状況認識を必要とするので、動きを感知し周辺環境（すなわち、高解像度ディスプレイの外側の領域）内の物体を識別する能力はエンターテインメントエクスペリエンスを強化することがある。
【０００８】
[0011]主ディスプレイ上の主イメージと、ユーザーにとって主イメージの延長であるように見える周辺イメージとを表示することによって、没入型ディスプレイエクスペリエンスをユーザーに提供する様々な実施例が本明細書に記載される。 
【０００９】
[0012]図１は、ディスプレイ環境１００の実施例を概略的に示す。ディスプレイ環境１００は、ユーザーの家でのレジャーやソーシャルアクティビティのために構成された部屋として描かれている。図１に示す例では、ディスプレイ環境１００は家具や壁を含むが、図１に示されない様々な装飾的な要素や建築上の備え付け品もまた提示され得ることが理解されるであろう。
【００１０】
[0013]図１に示すように、ユーザー１０２は、主ディスプレイ１０４に主イメージを出力し、環境ディスプレイ１１６を介してディスプレイ環境１００内の環境表面（例えば、壁、家具など）に周辺イメージを投影する、（ゲーム機などの）インタラクティブなコンピューティングシステム１１０を使用して、ビデオゲームをプレイする。インタラクティブなコンピューティングシステム１１０の実施例は、図６を参照して以下でより詳細に説明される。
【００１１】
[0014]図１に示す例では、主イメージが主ディスプレイ１０４に表示される。図１に示されるように、主ディスプレイ１０４はフラットパネルディスプレイであるが、任意の適切なディスプレイが、本開示の範囲から逸脱することなく、主ディスプレイ１０４に使用され得ることが理解されよう。図１に示すゲームのシナリオでは、ユーザー１０２は、主ディスプレイ１０４上に表示される主イメージに集中する。例えば、ユーザー１０２は、主ディスプレイ１０４上に示されるビデオゲームの敵の攻撃に関わってもよい。
【００１２】
[0015]図１に示すように、インタラクティブなコンピューティングシステム１１０は、様々な周辺デバイスに動作可能に接続される。例えば、インタラクティブなコンピューティングシステム１１０は、ディスプレイ環境の環境表面に周辺イメージを表示するように構成される環境ディスプレイ１１６に動作可能に接続される。周辺イメージは、ユーザーが見たときに、主ディスプレイに表示される主イメージの延長であるように見えるように構成される。したがって、環境ディスプレイ１１６は、主イメージと同じイメージのコンテキストを有するイメージを投影することができる。ユーザーはユーザーの周辺視野で周辺イメージを知覚するので、ユーザーは、主イメージに集中しながら、周辺視野内のイメージや物体を状況に応じて認識することができる。
【００１３】
[0016]図１に示した例では、ユーザー１０２は、主ディスプレイ１０４に表示された壁にフォーカスするが、環境表面１１２上に表示される周辺イメージについてのユーザーの認識から、近づいてくるビデオゲームの敵を認識することができる。いくつかの実施例では、周辺イメージは、ユーザーにとって、周辺イメージが環境ディスプレイによって投影されるときにユーザーを囲むように見えるように構成される。したがって、図１に示すゲームシナリオのコンテキストでは、ユーザー１０２は、振り向いて、背後から忍び寄る敵を観察することができる。
【００１４】
[0017]図１に示す実施例では、環境ディスプレイ１１６は、環境ディスプレイ１１６の周りで３６０度のフィールドで周辺イメージを投影するように構成された投写型ディスプレイデバイスである。いくつかの実施例では、環境ディスプレイ１１６は、（主ディスプレイ１０４の前面に対して）左側に面する及び右側に面する広角ＲＧＢプロジェクターのそれぞれを含んでもよい。図１において、必須ではないものの、環境ディスプレイ１１６は、主ディスプレイ１０４の上部に配置される。環境ディスプレイは主ディスプレイに近接した別の位置又は主ディスプレイから離れた位置に配置することができる。
【００１５】
[0018]図１に示される例示的な主ディスプレイ１０４と環境ディスプレイ１１６は２次元ディスプレイデバイスを含むが、適切な３次元ディスプレイを、本開示の範囲から逸脱することなく使用できることが理解されよう。例えば、いくつかの実施例において、ユーザー１０２は、主ディスプレイ１０４及び環境ディスプレイ１１６における適切な交互のフレームの（alternate-frame）イメージシーケンスに同期して動作するように構成されたアクティブシャッターメガネ（図示せず）のような適切なヘッドギアを使用して没入型３Ｄエクスペリエンスを楽しむことができる。いくつかの実施例では、没入型３Ｄエクスペリエンスは、主ディスプレイ１０４及び環境ディスプレイ１１６によって表示される適切な立体イメージを見るのに使用される適切な補色メガネによって提供されてもよい。
【００１６】
[0019]いくつかの実施例では、ユーザー１０２は、ヘッドギアを使用せずに、没入型３次元ディスプレイエクスペリエンスを楽しむことができる。例えば、主ディスプレイ１０４は、環境ディスプレイ１１６が「ゆらゆらした（wiggle）」立体視を介して周辺イメージの３次元表示を実現するために適宜立て続けに周辺イメージの視差ビュー（parallax views）をレンダリングする一方、オートステレオスコピックな表示を提供するために、適切な視差バリア又はレンチキュラーレンズを備えてもよい。上述したアプローチを含む３Ｄディスプレイ技術の任意の適切な組み合わせを、本開示の範囲から逸脱することなく用いることができることが理解されるであろう。さらに、幾つかの実施例において、２次元の周辺イメージが環境ディスプレイ１１６を介して提供される一方で３次元の主イメージが主ディスプレイ１０４を介して提供されてもよく、又はその逆でもよいことが理解されるであろう。
【００１７】
[0020]インタラクティブなコンピューティングシステム１１０はまた、デプスカメラ１１４と動作可能に接続される。図１に示す実施例では、デプスカメラ１１４は、ディスプレイ環境１００のための３次元奥行き情報を生成するように構成される。例えば、いくつかの実施例では、デプスカメラ１１４は、放射されて反射された光パルスの開始及び取り込みの時間の差を計算することによって空間距離情報を決定するように構成された飛行時間型（time-of-flight）カメラとして構成することができる。あるいは、いくつかの実施例では、デプスカメラ１１４は、ＭＥＭＳレーザーによって放射される光のパターンや、ＬＣＤ、ＬＣＯＳ、又はＤＬＰプロジェクターによって投影される赤外光のパターンなどの、反射された構造化された光（structured light）を収集するように構成される３次元スキャナーを含んでもよい。いくつかの実施例では、光パルスや構造化された光は、環境ディスプレイ１１６によって、又は任意の適切な光源によって放射されてもよいことが理解されるであろう。
【００１８】
[0021]いくつかの実施例では、デプスカメラ１１４は、ディスプレイ環境１００内の三次元奥行き情報をキャプチャーするための複数の適切なイメージキャプチャーデバイスを含んでもよい。例えば、いくつかの実施例では、デプスカメラ１１４は、ディスプレイ環境１００からの反射光を受け取ってデプスカメラ１１４の周囲の３６０度の視野角について奥行き情報を提供するように構成された、（ユーザー１０２に面する前面側の主ディスプレイ１０４に対して）前向き及び後向きの魚眼イメージキャプチャーデバイスの各々を含んでもよい。加えて、又はその代わりに、いくつかの実施例では、デプスカメラ１１４は、複数のキャプチャーされたイメージからパノラマイメージをステッチするように構成されたイメージ処理ソフトウェアを含んでもよい。そのような実施例では、複数のイメージキャプチャーデバイスがデプスカメラ１１４に含まれてもよい。
【００１９】
[0022]後述するように、いくつかの実施例では、デプスカメラ１１４又はコンパニオンカメラ（companion camera）（図示せず）がまた、収集されたＲＧＢパターンから色反射率情報を生成することなどによって、ディスプレイ環境１００から色情報を収集するように構成されてもよい。しかし、他の適切な周辺デバイスが、本開示の範囲から逸脱することなく、色情報を収集して生成するために使用され得ることが理解されるであろう。例えば、あるシナリオでは、色情報は、インタラクティブなコンピューティングシステム１１０又はデプスカメラ１１４に動作可能に接続されたＣＣＤビデオカメラによって収集されたイメージから生成することができる。
【００２０】
[0023]図１に示す実施例では、デプスカメラ１１４は、環境ディスプレイ１１６と共通の筐体を共有する。共通のハウジングを共有することにより、デプスカメラ１１４及び環境ディスプレイ１１６は、ほぼ共通の視点を有することができ、これにより、デプスカメラ１１４及び環境ディスプレイ１１６が遠く離れて配置される状況に対して周辺イメージの歪み補正を高めることができる。しかし、デプスカメラ１１４がインタラクティブなコンピューティングシステム１１０に動作可能に結合されるスタンドアローンの周辺デバイスであってもよいことが理解されるであろう。
【００２１】
[0024]図１の実施例に示されるように、インタラクティブなコンピューティングシステム１１０は、ユーザー追跡デバイス１１８に動作可能に接続される。ユーザー追跡デバイス１１８は、ユーザーの動きや外観を追跡する（例えば、頭の追跡、目の追跡、体の追跡など）ように構成された適切なデプスカメラを含んでもよい。次に、インタラクティブなコンピューティングシステム１１０は、ユーザー１０２についてユーザーの位置を識別して追跡し、ユーザー追跡デバイス１１８によって検出されたユーザーの動きに応答して作動してもよい。したがって、インタラクティブなコンピューティングシステム１１０上で動作するビデオゲームをプレイしながらユーザー１０２によって実行されるジェスチャーを、ゲーム操作として認識し、解釈することができる。換言すれば、追跡デバイス１１８は、ユーザーが、従来のハンドヘルドゲームコントローラーを用いずにゲームをコントロールすることを可能にする。３Ｄイメージがユーザーに提示されるいくつかの実施例において、ユーザー追跡デバイス１１８は、ユーザーが注視する方向を決定するために、ユーザーの目を追跡することができる。例えば、ユーザーの目は、ユーザーの目が追跡されない手法に対して、主ディスプレイ１０４においてオートステレオスコピックディスプレイにより表示されるイメージの外観を比較的に改善したり、主ディスプレイ１０４におけるオートステレオスコピックディスプレイの立体的な「スイートスポット」のサイズを比較的に拡大するために、追跡することができる。
【００２２】
[0025]いくつかの実施例において、ユーザー追跡デバイス１１８は、環境ディスプレイ１１６及び／又はデプスカメラ１１４と共通の筐体を共有してもよいことが理解されるであろう。いくつかの実施例では、デプスカメラ１１４は、ユーザー追跡デバイス１１８の機能の全てを実行することができ、又は代替的に、ユーザー追跡デバイス１１８は、デプスカメラ１１４の機能の全てを実行することができる。さらに、環境ディスプレイ１１６、デプスカメラ１１４、追跡デバイス１１８のうちの１つ又は複数は、主ディスプレイ１０４と一体化することができる。
【００２３】
[0026]図２は、没入型ディスプレイエクスペリエンスをユーザーに提供する方法２００を示す。方法２００の実施例は、本明細書に記載されるハードウェア及びソフトウェアなどの適切なハードウェア及びソフトウェアを使用して行うことができることが理解されるであろう。さらに、方法２００の順序が限定的でないことが理解されるであろう。
【００２４】
[0027]２０２において、方法２００は、主ディスプレイ上に主イメージを表示することを含み、２０４において、周辺イメージが主イメージの延長であるように見えるように環境ディスプレイ上に周辺イメージを表示することを含む。別の言い方をすれば、周辺イメージは、主イメージに示されるシーン及びオブジェクトと同じスタイル及びコンテキストを示すシーン及びオブジェクトのイメージを含むことができ、その結果、許容範囲内で、主イメージに集中するユーザーは、全体的な完全なシーンを形成するものとして、主イメージ及び周辺イメージを知覚する。いくつかの例では、同じ仮想オブジェクトが、部分的に主イメージの一部として表示され、部分的に周辺イメージの一部として表示されてもよい。
【００２５】
[0028]ユーザーは、主ディスプレイに表示されるイメージにフォーカスし、これとインタラクトすることができるので、いくつかの実施例では、周辺イメージは、ユーザーエクスペリエンスに悪影響を与えることなく、主イメージよりも低い解像度で表示することができる。これにより、計算のオーバーヘッドを低減しながら、許容できる没入型ディスプレイ環境を提供することができる。例えば、図３は、ディスプレイ環境１００の一部の実施例及び主ディスプレイ１０４の実施例を示す。図３に示す例では、主イメージ３０４が主ディスプレイ１０４上に表示される一方、周辺イメージ３０２は主ディスプレイ１０４の背後の環境表面１１２上に表示される。周辺イメージ３０２は、主イメージ３０４より低い解像度を有し、主イメージ３０４よりも周辺イメージ３０２について比較して大きなピクセルサイズによって図３に概略的に示される。
【００２６】
[0029]図２に戻ると、いくつかの実施例において、方法２００は、２０６において、歪み補正された周辺イメージを表示することを含んでもよい。このような実施例において、周辺イメージの表示は、ディスプレイ環境内の環境表面のトポグラフィ及び／又は色を補償するように調整されてもよい。
【００２７】
[0030]このような実施例のいくつかにおいて、トポグラフィ及び／又は色の補償は、周辺イメージ中のトポグラフィカルな歪み及び幾何学的な歪みを補正するために使用されるディスプレイ環境のための奥行きマップに基づいて及び／又は周辺イメージ中の色の歪みを補正するために使用されるディスプレイ環境のカラーマップを構築することにより、補償されてもよい。したがって、そのような実施例では、方法２００は、２０８において、ディスプレイ環境に関連する奥行き、色、及び／又は視点の情報から歪み補正を生成すること、２１０において、周辺イメージに歪み補正を適用することを含む。幾何学的歪み補正、視点歪み補正、及び色歪み補正の限定的でない例が以下に説明される。
【００２８】
[0031]いくつかの実施例では、２１０において周辺イメージに歪み補正を適用することは、２１２において、周辺イメージが主イメージの幾何学的に歪み補正された延長として見えるように、環境表面のトポグラフィーを補償することを含んでいてもよい。例えば、いくつかの実施例において、幾何学的歪み補正変換が、奥行き情報に基づいて計算されて、環境表面のトポグラフィを補償するために投影の前に周辺イメージに適用されてもよい。そのような幾何学的歪み補正変換は、任意の適切な方法で生成することができる。
【００２９】
[0032]いくつかの実施例では、幾何学的歪み補正を生成するために使用される奥行き情報は、ディスプレイ環境の環境表面上に構造化された光を投影すること及び反射された構造化された光から奥行きマップを構築することによって生成することができる。このような奥行きマップは、反射された構造化された光（又は奥行き情報を収集するために飛行時間型デプスカメラが使用されるシナリオにおける反射された光パルス）を測定するように構成された適切なデプスカメラによって生成することができる。
【００３０】
[0033]たとえば、構造化された光は、ユーザーの娯楽室の壁、家具、装飾的要素及び建築的要素に投影することができる。デプスカメラは、特定の環境表面の空間的位置及び／又はディスプレイ環境内の他の環境表面との空間的関係を決定するために、特定の環境表面によって反射された構造化された光を収集することができる。ディスプレイ環境内のいくつかの環境表面のための空間的位置は、次いで、ディスプレイ環境についての奥行きマップに組み立てることができる。上記の例では構造化された光に言及したが、ディスプレイ環境のための奥行きマップを構築するための任意の適切な光を用いてもよいことが理解されるであろう。赤外の構造化された光をいくつかの実施例で使用することができる一方、飛行時間型デプスカメラで使用するために構成された不可視の光パルスを他のいくつかの実施例で使用することができる。さらに、飛行時間型奥行き分析を、本開示の範囲から逸脱することなく使用することができる。
【００３１】
[0034]幾何学的歪み補正が生成されると、それは奥行き情報によって記述される環境表面のトポグラフィを補償するために周辺イメージを調整するように構成されたイメージ補正プロセッサーによって使用することができる。周辺イメージが主イメージの幾何学的に歪み補正された延長として見えるように、イメージ補正プロセッサーの出力は、環境ディスプレイに出力される。
【００３２】
[0035]例えば、ディスプレイ環境に含まれる円筒形のランプ上に表示される水平の線の補正前の投影は半円として見えるので、インタラクティブなコンピューティングデバイスは、ランプ表面に表示されるべき周辺イメージの一部に適切な補正係数を掛けてもよい。従って、ランプ上に表示するための画素は、投影の前に、円形状の領域を形成するように調整することができる。ランプに投影されると、円形の領域が水平の線として見える。
【００３３】
[0036]いくつかの実施例では、ユーザーの位置情報は、周辺イメージ表示の見かけの視点を調整することができる。デプスカメラがユーザーの位置に配置されない可能性があり、ユーザーの目の高さに配置されない可能性もあるため、収集された奥行き情報は、ユーザーによって知覚される奥行き情報を表していない可能性がある。言い換えると、デプスカメラはユーザーが有するものと同じディスプレイ環境の視点を有していない可能性があり、その結果、幾何学的に補正された周辺イメージはユーザーにとってまだ少し誤っている可能性がある。したがって、いくつかの実施例では、周辺イメージは、周辺イメージがユーザーの位置から投影されるように見えるよう、さらに補正されてもよい。このような実施例では、２１２において環境表面のトポグラフィを補償することは、デプスカメラの位置におけるデプスカメラの視点とユーザーの位置におけるユーザーの視点との間の差を補償することを含んでもよい。いくつかの実施例では、周辺イメージの視点を調整するために、デプスカメラや他の適切な追跡デバイスによってユーザーの目を追跡してもよい。
【００３４】
[0037]３Ｄ周辺イメージが環境ディスプレイによってユーザーに表示されるいくつかの実施例では、上述の幾何学的歪み補正変換は、３Ｄ表示を実現するように構成された適切な変換を含んでもよい。例えば、幾何学的歪み補正変換は、周辺イメージの視差ビューを提供するように構成された交互になる視野（alternating views）を提供しながら、環境表面のトポグラフィの変換補正を含んでもよい。
【００３５】
[0038]いくつかの実施例では、２１０において周辺イメージに歪み補正を適用することは、２１４において、周辺イメージが主イメージの色歪み補正された延長として見えるように、環境表面の色を補償することを含んでもよい。例えば、いくつかの実施例では、色歪み補正変換は、色情報に基づいて算出することができ、環境表面の色を補償するために投影の前に周辺イメージに適用されてもよい。このような色歪み補正変換は、任意の適切な方法で生成することができる。
【００３６】
[0039]いくつかの実施例では、色歪み補正を生成するために使用される色情報は、ディスプレイ環境の環境表面上に適切な色パターンを投影して、反射光からカラーマップを構築することによって生成することができる。このようなカラーマップは、色反射率を測定するように構成された適切なカメラによって生成することができる。
【００３７】
[0040]例えば、ＲＧＢパターン（又は任意の適切なカラーパターン）が、環境ディスプレイによって又は任意の適切な色投影デバイスによって、ディスプレイ環境の環境表面へ投影されてもよい。ディスプレイ環境の環境表面から反射される光は、（例えば、デプスカメラによって）収集することができる。いくつかの実施例では、収集された反射光から生成された色情報がディスプレイ環境のカラーマップを構築するために使用することができる。
【００３８】
[0041]例えば、反射されたＲＧＢパターンに基づいて、デプスカメラは、ユーザーの娯楽室の壁が青色に塗装されていることを認識することができる。壁に表示される青色光の補正されていない投影は無着色に見えるので、インタラクティブなコンピューティングデバイスは、壁に表示されるべき周辺イメージの一部に適切な色補正係数を掛けてもよい。具体的には、壁に表示するための画素が、それらの画素について赤の含有量を増加させるために、投影の前に、調整されてもよい。壁に投影されると、周辺イメージは、ユーザーにとって青色であるように見える。
【００３９】
[0042]いくつかの実施例では、ディスプレイ環境のカラープロファイルは、ディスプレイ環境上に色のついた光を投影することなく構築することができる。例えば、周囲光の下でディスプレイ環境のカラーイメージをキャプチャーするためにカメラを使用することができ、適切な色補正を推定することができる。
【００４０】
[0043]３Ｄヘッドギアを装着したユーザーに対して３Ｄ周辺イメージが環境ディスプレイによって表示されるいくつかの実施例では、上述の色歪み補正変換は、３Ｄ表示を実現するように構成された適切な変換を含んでもよい。例えば、色歪み補正変換は、黄色及び青色レンズ又は赤色及び青緑色のレンズを含むがこれらに限定されない着色されたレンズを有するメガネを着用するユーザーに３次元表示を提供するように調整されてもよい。
【００４１】
[0044]周辺イメージの歪み補正は、任意の適切な時点で任意の適切な順序で実行されてもよいことが理解されるであろう。例えば、歪み補正は、没入型ディスプレイアクティビティの起動において及び／又は没入型ディスプレイアクティビティ中に適切な間隔で生じてもよい。例えば、歪み補正は、ユーザーがディスプレイ環境内を移動するとき、光のレベルが変化するときなどに調整されてもよい。
【００４２】
[0045]いくつかの実施例では、２０４において環境ディスプレイによって周辺イメージを表示することは、２１６において、環境ディスプレイによって投影された光からユーザーの位置の一部を遮蔽することを含んでもよい。換言すれば、周辺イメージの投影は、ユーザーが周辺ディスプレイからユーザーの位置に向かって光る光が相対的に少ないことを知覚するように、実際に及び／又は仮想的にマスクされてもよい。これにより、ユーザーの視力を保護することができ、周辺イメージの動いている部分がユーザーの体に沿って動いているように見えるときにユーザーの注意をそらすことを回避することができる。
【００４３】
[0046]このような実施例のいくつかにおいて、インタラクティブなコンピューティングデバイスは、デプスカメラから受信された奥行き入力を使用してユーザーの位置を追跡し、ユーザーの位置の一部が環境ディスプレイから投影された周辺イメージ光から遮蔽されるように周辺イメージを出力する。したがって、２１６においてユーザーの位置の一部を遮蔽することは、２１８においてユーザーの位置を決定することを含んでもよい。例えば、ユーザーの位置は、デプスカメラ又は他の適切なユーザー追跡デバイスから受信することができる。必要に応じて、いくつかの実施例では、ユーザーの位置を受信することは、ユーザーの輪郭を受信することを含んでもよい。さらに、いくつかの実施例では、ユーザーの位置情報は、上述した視点補正を行う際に、ユーザーの頭、目などを追跡するために使用することができる。
【００４４】
[0047]ユーザーの位置及び／又は輪郭は、ディスプレイ環境の環境表面に対するユーザーの動きによって、又は任意の適切な検出方法によって識別されてもよい。ユーザーの位置は、遮蔽される周辺イメージの一部がユーザーの位置の変化を追跡するように、経時的に追跡することができる。
【００４５】
[0048]ユーザーの位置がディスプレイ環境内で追跡される一方、周辺イメージがユーザーの位置において表示されないように周辺イメージが調整される。したがって、２１６においてユーザーの位置の一部を遮蔽することは、２２０において周辺イメージの一部からユーザーの位置をマスクすることを含んでもよい。例えば、ディスプレイ環境の物理空間内でのユーザーの位置が知られており、上述した奥行きマップはディスプレイ環境や周辺イメージの特定の部分がディスプレイ環境内に表示される場所についての３次元マップを含むので、ユーザーの位置において表示される周辺イメージの一部が識別され得る。
【００４６】
[0049]いったん識別されると、周辺イメージのその部分は、周辺イメージ出力から遮蔽及び／又はマスクされてもよい。このようなマスキングは、光が投影されていない周辺イメージの遮蔽された領域を確立することによって生じてもよい。たとえば、ＤＬＰ投影デバイスの画素が、オフにされるか、又はユーザーの位置の領域において黒色を表示するように設定することができる。遮蔽された領域を計算する際に、プロジェクターの光学特性の補正及び／又は他の回折条件についての補正を含めてもよいことが理解されるであろう。したがって、プロジェクターにおけるマスクされた領域は、投影されたマスクされた領域とは異なる外観を有していてもよい。
【００４７】
[0050]図４及び図５は、周辺イメージ３０２が時間Ｔ０（図４）及び後の時間Ｔ１（図５）において投影されているディスプレイ環境１００の実施例を概略的に示す。例示の目的のために、ユーザー１０２の輪郭が両方の図に示され、ユーザー１０２は時間の経過とともに左から右に移動する。上述のように、遮蔽領域６０２（例示目的のみのために輪郭で示される）はユーザーの頭部を追跡し、その結果投影光はユーザーの目に向けられない。図４及び図５は略楕円形の領域として遮蔽領域６０２を示すが、遮蔽領域６０２が任意の適切な形状及びサイズを有していてもよいことが理解されるであろう。例えば、遮蔽領域６０２は、（ユーザーの体の他の部分への光の投影を防止するように）ユーザーの体の形状に応じて成形されてもよい。さらに、いくつかの実施例では、遮蔽領域６０２は、適切なバッファー領域を含んでもよい。このようなバッファー領域は、投影された光が許容範囲内でユーザーの体に漏れることを防止することができる。
【００４８】
[0051]いくつかの実施例では、上述した方法及びプロセスは、１つ又は複数のコンピューターを含むコンピューティングシステムに接続することができる。特に、本明細書に記載した方法及びプロセスは、コンピューターアプリケーション、コンピューターサービス、コンピューターＡＰＩ、コンピューターライブラリー及び／又は他のコンピュータープログラム製品として実施されてもよい。
【００４９】
[0052]図６は、インタラクティブなコンピューティングシステム１１０に動作可能に接続された主ディスプレイ１０４、デプスカメラ１１４、環境ディスプレイ１１６、及びユーザー追跡デバイス１１８の実施例を概略的に示す。特に、周辺入力１１４ａはデプスカメラ１１４をインタラクティブなコンピューティングシステム１１０に動作可能に接続し、主ディスプレイ出力１０４ａはインタラクティブなコンピューティングシステム１１０に主ディスプレイ１０４を動作可能に接続し、環境ディスプレイ出力１１６ａは環境ディスプレイ１１６をインタラクティブなコンピューティングシステム１１０に動作可能に接続する。上述のように、ユーザー追跡デバイス１１８、主ディスプレイ１０４、環境ディスプレイ１１６、及び／又はデプスカメラ１１４のうちの１つ又は複数は、多機能デバイスに統合されてもよい。このように、上述の接続のうちの１つ又は複数は多機能であってもよい。換言すれば、上述した接続の２つ以上を共通の接続に統合することができる。適切な接続の限定的でない例としては、ＵＳＢ、ＵＳＢ２．０、ＩＥＥＥ１３９４、ＨＤＭＩ（登録商標）、８０２．１１ｘ、及び／又は実質的に任意の他の適切な有線又は無線の接続を含む。
【００５０】
[0053]インタラクティブなコンピューティングシステム１１０は簡略化された形で示される。実質的に任意のコンピューターアーキテクチャーを、本開示の範囲から逸脱することなく使用できることを理解されたい。別の実施例において、インタラクティブなコンピューティングシステム１１０は、メインフレームコンピューター、サーバーコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテインメントコンピューター、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイス等の形をとることができる。
【００５１】
[0054]インタラクティブなコンピューティングシステム１１０は、論理サブシステム８０２及びデータ保持サブシステム８０４を含む。インタラクティブなコンピューティングシステム１１０はまた、オプションとして、例えば、キーボード、マウス、ゲームコントローラー、カメラ、マイクロフォン、及び／又はタッチスクリーンのようなユーザー入力デバイスを含んでもよい。
【００５２】
[0055]論理サブシステム８０２は、１つ又は複数の命令を実行するように構成された１つ又は複数の物理デバイスを含んでもよい。例えば、論理サブシステムは、１つ又は複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリー、オブジェクト、コンポーネント、データ構造、又は他の論理構成の一部である１つ又は複数の命令を実行するように構成されてもよい。このような命令は、タスクを実行し、データ型を実施し、１つ又は複数のデバイスの状態を変換し、あるいは所望の結果に到達するために実施することができる。
【００５３】
[0056]論理サブシステムは、ソフトウェア命令を実行するように構成された１つ又は複数のプロセッサーを含んでもよい。さらに、又は代替的に、論理サブシステムは、ハードウェア又はファームウェア命令を実行するように構成された１つ又は複数のハードウェア又はファームウェアロジックを含んでもよい。論理サブシステムのプロセッサーはシングルコア又はマルチコアであってもよく、その上で実行されるプログラムは並列又は分散処理用に構成されてもよい。論理サブシステムは、必要に応じて、リモートに配置され及び／又は協働した処理のために構成することができる複数のデバイスにわたって分散される、個々のコンポーネントを含んでもよい。論理サブシステムの１つ又は複数の態様は、クラウドコンピューティング構成で構成された遠隔アクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、実行されてもよい。
【００５４】
[0057]データ保持サブシステム８０４は、本明細書に記載される方法及びプロセスを実施するために論理サブシステムによって実行可能なデータ及び／又は命令を保持するように構成された、１つ又は複数の物理的な持続性のデバイスを含んでもよい。そのような方法及びプロセスが実施されると、データ保持サブシステム８０４の状態は（例えば、異なるデータを保持するように）変換することができる。
【００５５】
[0058]データ保持サブシステム８０４は、取り外し可能な媒体及び／又は内蔵デバイスを含んでもよい。データ保持サブシステム８０４は、とりわけ、光メモリーデバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスクなど）、半導体メモリーデバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）、及び／又は磁気メモリーデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭなど）を含んでもよい。データ保持サブシステム８０４は、次の特性の１つ又は複数を有するデバイスを含んでもよい：揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、シーケンシャルアクセス、位置アドレス指定可能、ファイルアドレス指定可能、コンテンツアドレス指定可能。いくつかの実施例では、論理サブシステム８０２及びデータ保持サブシステム８０４は、特定用途向け集積回路又はシステムオンチップのような１つ又は複数の共通のデバイスに統合されてもよい。
【００５６】
[0059]図６はまた、本明細書に記載される方法及びプロセスを実施するために実行可能なデータ及び／又は命令を格納及び／又は転送するのに使用することができる取り外し可能なコンピューター読み取り可能な記憶媒体８０６の形のデータ保持サブシステムの態様を示す。取り外し可能なコンピューター読み取り可能な記憶媒体８０６は、とりわけ、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、及び／又はフロッピー（登録商標）ディスクの形をとることができる。
【００５７】
[0060]データ保持サブシステム８０４が１つ又は複数の物理的な持続性デバイスを含むことを理解されたい。対照的に、いくつかの実施例では、本明細書に記載の命令の態様は、少なくとも有限の持続時間の間物理デバイスによって保持されない純粋な信号（例えば、電磁信号、光信号など）によって一時的な形で伝播することができる。さらに、本開示に関連するデータ及び／又は他の形式の情報は純粋な信号によって伝播することができる。
【００５８】
[0061]いくつかの場合、本明細書に記載の方法は、論理サブシステム８０４によって保持される命令を実行する論理サブシステム８０２を介してインスタンス化することができる。このような方法は、モジュール、プログラム及び／又はエンジンの形をとることができることを理解されたい。いくつかの実施例では、異なるモジュール、プログラム、及び／又はエンジンが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリー、ルーチン、ＡＰＩ、関数などからインスタンス化することができる。同様に、同じモジュール、プログラム、及び／又はエンジンを、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによってインスタンス化することができる。「モジュール」、「プログラム」、及び「エンジン」という用語は、実行可能なファイル、データファイル、ライブラリー、ドライバー、スクリプト、データベースレコードなどの各々又はグループを包含するように意味される。
【００５９】
[0062]本明細書に記載の構成及び／又は手法は、本質的に例示的なものであり、多くの変更が可能であるので、これらの具体的な実施例又は例は、限定的な意味で考えられるべきではないことが理解されるべきである。本明細書に記載の特定のルーチン又は方法は、任意の数の処理ストラテジーの１つ又は複数を表すことができる。このように、示された様々な動作は、図示の順序で、他の順序で、並列に行うことができ、又はいくつかの場合には省略することができる。同様に、上述の処理の順序は変更されてもよい。
【００６０】
[0063]本発明の主題は、本明細書に開示される様々な処理、システム及び構成、他の特徴、機能、動作、並びに／又は特性の全ての新規で非自明の組み合わせ及びサブコンビネーションを含むほか、それらの任意のすべての均等物を含む。
【図１】
2014509759.tif 000002
【図２】
2014509759.tif 000003
【図３】
2014509759.tif 000004
【図４】
2014509759.tif 000005
【図５】
2014509759.tif 000006
【図６】
2014509759.tif 000007