(57)【要約】  二重の眼球に特異的なディスプレイのレンダリングのためのシステム及び方法を提供する。複数の実装のうちのいくつかにおいて、そのシステムは、ユーザの脳波記録(EEG)に基づいて、そのユーザの眼球の動き及び/又は位置を追跡して、ディスプレイのうちの中央(中心窩)及び周辺(中心窩外領域)の範囲を正しくラベル付けする。中心窩のデータは、完全にレンダリングされ、一方で、中心窩外領域のデータの解像度を減少させて、複数の実装のうちのいくつかにおいては、2つのディスプレイの間で共有する。
2019512750.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの2つの眼球の視線追跡を行うヘッドマウント型ディスプレイデバイスであって、
左目のための第1のディスプレイと、
右目のための第2のディスプレイと、
前記第1のディスプレイ及び前記第2のディスプレイに接続されるメモリであって、前記メモリは、前記第1のディスプレイのための第1のフレームバッファと前記第2のディスプレイのための第2のフレームバッファとを含み、前記第1のフレームバッファは、第1の中心窩フレームバッファと第1の中心窩外領域フレームバッファとを含み、前記第2のフレームバッファは、第2の中心窩フレームバッファと第2の中心窩外領域フレームバッファとを含む、メモリと、
前記メモリに接続される1つ又は複数のプロセッサと、を含み、
前記1つ又は複数のプロセッサは、
ヘッドマウント型ディスプレイを装着している前記ユーザの視線追跡情報を受信し、前記視線追跡情報は、前記ユーザの眼球の動き及び眼球の位置のうちの少なくとも1つを含み、
前記視線追跡情報に基づいて、前記第1のディスプレイの第1の中心窩領域、前記第1のディスプレイの第1の中心窩外領域、前記第2のディスプレイの第2の中心窩領域、及び、前記第2のディスプレイの第2の中心窩外領域を決定し、そして、
前記メモリに、前記第1の中心窩領域の第1の中心窩領域画素、前記第1の中心窩外領域の第1の中心窩外領域画素、前記第2の中心窩領域の第2の中心窩領域画素、及び、前記第2の中心窩外領域の第2の中心窩外領域画素をロードする、
ように構成され、
前記第1の中心窩領域画素は、フル解像度であらわされて、前記第1の中心窩フレームバッファにロードされ、
前記第1の中心窩外領域画素は、解像度を低下させてあらわされて、前記第1の中心窩外領域フレームバッファにロードされ、
前記第2の中心窩領域画素は、フル解像度であらわされて、前記第2の中心窩フレームバッファにロードされ、
前記第2の中心窩外領域画素は、解像度を低下させてあらわされて、前記第2の中心窩外領域フレームバッファにロードされる、
ヘッドマウント型ディスプレイデバイス。
【請求項２】
前記視線追跡情報は、前記ユーザの2つの眼球への赤外線の投射又は前記ユーザの脳波記録(EEG)のうちの少なくとも1つに基づいている、請求項1の記載のヘッドマウント型ディスプレイデバイス。
【請求項３】
前記第1の中心窩領域、前記第1の中心窩外領域、前記第2の中心窩領域、又は、前記第2の中心窩外領域のうちの少なくとも1つは、調整可能である、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項４】
前記第1の中心窩外領域画素及び前記第2の中心窩外領域画素を低下させた解像度によってあらわすために、前記1つ又は複数のプロセッサは、画素の値を複製するように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項５】
前記1つ又は複数のプロセッサは、さらに、前記画素の値を、2x2画素、3x3画素、4x4画素、又は、5x5画素、のうちの少なくとも1つに複製するように構成される、請求項4に記載のヘッドマウント型ディスプレイデバイス。
【請求項６】
前記メモリと前記第1のディスプレイ又は前記第2のディスプレイのうちの少なくとも1つとに接続されるディスプレイシリアルインターフェイスをさらに含み、前記1つ又は複数のプロセッサは、前記ディスプレイシリアルインターフェイスから前記画素の値を受信した後に、前記画素の値を複製するように構成される、請求項4に記載のヘッドマウント型ディスプレイデバイス。
【請求項７】
複数のディスプレイシリアルインターフェイスをさらに含み、前記複数のディスプレイシリアルインターフェイスのうちの一部のディスプレイシリアルインターフェイスは、前記第1の中心窩領域又は前記第2の中心窩領域のうちの少なくとも1つに対応する表示データをパラレルに転送するように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項８】
前記第1の中心窩外領域フレームバッファ及び前記第2の中心窩外領域フレームバッファは、共有される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項９】
前記1つ又は複数のプロセッサは、さらに、前記第1の中心窩フレームバッファ及び前記第1の中心窩外領域フレームバッファに異なる速度でロードするとともに、前記第2の中心窩フレームバッファ及び前記第2の中心窩外領域フレームバッファに異なる速度でロードする、ように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項１０】
前記1つ又は複数のプロセッサは、さらに、前記第1の中心窩領域画素の深度平面と前記第1の中心窩外領域画素の深度平面との間でアルファブレンディングを適用するとともに、前記第2の中心窩領域画素の深度平面と前記第2の中心窩外領域画素の深度平面との間でアルファブレンディングを適用する、ように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項１１】
ユーザの2つの眼球の視線追跡を行うヘッドマウント型ディスプレイデバイスのための方法であって、
ヘッドマウント型ディスプレイを装着している前記ユーザの視線追跡情報を受信するステップであって、前記視線追跡情報は、前記ユーザの眼球の動き及び眼球の位置のうちの少なくとも1つを含む、ステップと、
前記視線追跡情報に基づいて、左目のための第1のディスプレイの第1の中心窩領域、前記第1のディスプレイの第1の中心窩外領域、右目のための第2のディスプレイの第2の中心窩領域、及び、前記第2のディスプレイの第2の中心窩外領域を決定するステップと、
前記第1のディスプレイのための第1のフレームバッファの第1の中心窩フレームバッファに、第1の中心窩領域画素をロードするステップであって、前記第1の中心窩領域の前記第1の中心窩領域画素は、フル解像度であらわされる、ステップと、
前記第1のディスプレイのための前記第1のフレームバッファの第1の中心窩外領域フレームバッファに、第1の中心窩外領域画素をロードするステップであって、前記第1の中心窩外領域の前記第1の中心窩外領域画素は、解像度を低下させてあらわされる、ステップと、
前記第2のディスプレイのための第2のフレームバッファの第2の中心窩フレームバッファに、第2の中心窩領域画素をロードするステップであって、前記第2の中心窩領域の前記第2の中心窩領域画素は、フル解像度であらわされる、ステップと、
前記第2のディスプレイのための前記第2のフレームバッファの第2の中心窩外領域フレームバッファに、第2の中心窩外領域画素をロードするステップであって、前記第2の中心窩外領域の前記第2の中心窩外領域画素は、解像度を低下させてあらわされる、ステップと、を含む、
方法。
【請求項１２】
前記視線追跡情報は、前記ユーザの2つの眼球への赤外線の投射又は前記ユーザの脳波記録(EEG)のうちの少なくとも1つに基づいている、請求項11に記載の方法。
【請求項１３】
前記第1の中心窩領域、前記第1の中心窩外領域、前記第2の中心窩領域、又は、前記第2の中心窩外領域のうちの少なくとも1つは、調整可能である、請求項11に記載の方法。
【請求項１４】
前記第1の中心窩外領域画素及び前記第2の中心窩外領域画素を低下させた解像度によってあらわすために、画素の値を複製するステップをさらに含む、請求項11に記載の方法。
【請求項１５】
ディスプレイシリアルインターフェイスから前記画素の値を受信した後に、前記画素の値を複製するステップをさらに含み、前記ディスプレイシリアルインターフェイスは、メモリと前記第1のディスプレイ又は前記第2のディスプレイのうちの少なくとも1つとに接続される、請求項14に記載の方法。
【請求項１６】
前記第1の中心窩外領域フレームバッファ及び前記第2の中心窩外領域フレームバッファは、共有される、請求項11に記載の方法。
【請求項１７】
前記第1の中心窩フレームバッファ及び前記第1の中心窩外領域フレームバッファに異なる速度でロードするとともに、前記第2の中心窩フレームバッファ及び前記第2の中心窩外領域フレームバッファに異なる速度でロードするステップをさらに含む、請求項11に記載の方法。
【請求項１８】
前記第1の中心窩領域画素の深度平面と前記第1の中心窩外領域画素の深度平面との間でアルファブレンディングを適用するとともに、前記第2の中心窩領域画素の深度平面と前記第2の中心窩外領域の深度平面との間でアルファブレンディングを適用するステップをさらに含む、請求項11に記載の方法。
【請求項１９】
前記第1の中心窩領域又は前記第2の中心窩領域のうちの少なくとも1つに対応する表示データをパラレルに転送するステップをさらに含む、請求項11に記載の方法。
【請求項２０】
ユーザの2つの眼球の視線追跡を行うヘッドマウント型ディスプレイデバイスのためのコンピュータ読み取り可能なプログラムを格納する非一時的なコンピュータ読み取り可能な記憶媒体であって、
ヘッドマウント型ディスプレイを装着している前記ユーザの視線追跡情報を受信するコンピュータ読み取り可能な命令であって、前記視線追跡情報は、前記ユーザの眼球の動き及び眼球の位置のうちの少なくとも1つを含む、コンピュータ読み取り可能な命令と、
前記視線追跡情報に基づいて、左目のための第1のディスプレイの第1の中心窩領域、前記第1のディスプレイの第1の中心窩外領域、右目のための第2のディスプレイの第2の中心窩領域、及び、前記第2のディスプレイの第2の中心窩外領域を決定するコンピュータ読み取り可能な命令と、
前記第1のディスプレイのための第1のフレームバッファの第1の中心窩フレームバッファに、第1の中心窩領域画素をロードするコンピュータ読み取り可能な命令であって、前記第1の中心窩領域の前記第1の中心窩領域画素は、フル解像度であらわされる、コンピュータ読み取り可能な命令と、
前記第1のディスプレイのための前記第1のフレームバッファの第1の中心窩外領域バッファに、第1の中心窩外領域画素をロードするコンピュータ読み取り可能な命令であって、前記第1の中心窩外領域の前記第1の中心窩外領域画素は、解像度を低下させてあらわされる、コンピュータ読み取り可能な命令と、
前記第2のディスプレイのための第2のフレームバッファの第2の中心窩フレームバッファに、第2の中心窩領域画素をロードするコンピュータ読み取り可能な命令であって、前記第2の中心窩領域の前記第2の中心窩領域画素は、フル解像度であらわされる、コンピュータ読み取り可能な命令と、
前記第2のディスプレイのための前記第2のフレームバッファの第2の中心窩外領域フレームバッファに、第2の中心窩外領域画素をロードするコンピュータ読み取り可能な命令であって、前記第2の中心窩外領域の前記第2の中心窩外領域画素は、解像度を低下させてあらわされる、コンピュータ読み取り可能な命令と、を含む、
非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、概して、コンピュータによる視覚処理に関し、より具体的には、ヘッドマウント型ディスプレイにおける効果的な画像シミュレーションに関する。
【背景技術】
【０００２】
コンピュータの処理速度及び鋭敏さの継続的な進歩、特に、グラフィックスハードウェア及びソフトウェアに関する進歩は、最近、没入型コンピュータによって生成される環境に関する数十年の願望を実用的なものとしている。四肢追跡、触覚的なフィードバック、及びヘッドマウント型センサ機器を有するバーチャルリアリティデバイスは、現在、消費者向けに開発されつつある。最先端のシステムがより印象的で現実的な人工環境を提供しようとしているが、グラフィカルシステムへの要求は依然として集約的なままである。加えて、ハードウェアとソフトウェアの双方による効率的なレンダリング及び表示は、依然として最も重要であり続けている。
【０００３】
コンピュータグラフィックス及び画像技術の進歩は、新世代のヘッドマウント型ディスプレイデバイスに結果としてつながり、それらの次世代のヘッドマウント型ディスプレイデバイスは、ユーザに可能な限り現実的な視覚的体験を提供することを目的としてきた。これらのデバイスの典型的なアプローチは、出力フレームの中の各々の画素を表すフレームバッファによって支援された従来のLCDディスプレイパネルを使用することである。
【０００４】
上記のアプローチは、人間の視覚的システムを考慮していないため、電力及び面積に関して無駄が多い。人間の網膜は、ある小さな領域、すなわち、中心又は中心窩で高い解像度を有し、中心又は中心窩は、光受容体を密に詰め込まれ、視神経の神経線維の半分に関与している。網膜のうちの残りの部分は、光受容体の密度の減少により、より低い解像度を提供する。人間の視覚的システムは、場面の周りの中心窩を走査し、視覚野の中の場面の内部精神モデルを維持する、ことによって、高い解像度が均一に実現されているという錯覚を与える。
【発明の概要】
【０００５】
開示される主題によれば、二重の眼球に特異的なディスプレイ(dual  eye-specific  display)のレンダリングのためのシステム及び方法を提供する。中心窩外領域(extra-foveal)における人間の視力の解像度限界を認識することにより、中心窩外領域のレンダリングに費やされるリソースを最小化することで、リソースを節約する機会を提供する。複数の実装のうちのいくつかにおいて、そのシステムは、ユーザの脳波記録(EEG)に基づいて、ユーザの眼球の動き及び/又は位置を追跡して、ディスプレイのうちの中央(中心窩(foveal))及び周辺(中心窩外領域)を正しくラベル付けする。中心窩のデータは、完全にレンダリングされ、一方で、中心窩外領域のデータの解像度を減少させて、複数の実装のうちのいくつかにおいては、2つのディスプレイの間で共有する。
【０００６】
開示される主題によれば、人間の視覚的メカニズムに適合したヘッドマウント型ディスプレイのためのシステム及び方法を提供する。1つの実施形態において、本開示は、ユーザの2つの目の視線追跡を行うヘッドマウント型ディスプレイデバイスに関する。そのデバイスは、左目のための第1のディスプレイと、右目のための第2のディスプレイと、を含む。そのデバイスは、第1のディスプレイ及び第2のディスプレイに接続されるメモリをさらに含んでもよい。そのメモリは、第1のディスプレイのための第1のフレームバッファと、第2のディスプレイのための第2のフレームバッファと、を含んでもよく、第1のフレームバッファは、第1の中心窩フレームバッファと、第1の中心窩外領域フレームバッファと、を含んでもよく、第2のフレームバッファは、第2の中心窩フレームバッファと、第2の中心窩外領域フレームバッファと、を含んでもよい。そのデバイスは、メモリに接続される1つ又は複数のプロセッサをさらに含んでもよい。それらの1つ又は複数のプロセッサは、ヘッドマウント型ディスプレイを装着しているユーザの視線追跡情報(eye-tracking  information)を受信するように構成されてもよい。その視線追跡情報は、そのユーザの眼球の動き及び眼球の位置のうちの少なくとも1つを含んでもよい。それら1つ又は複数のプロセッサは、さらに、その視線追跡情報に基づいて、第1のディスプレイの第1の中心窩領域、第1のディスプレイの第1の中心窩外領域、第2のディスプレイの第2の中心窩領域、及び第2のディスプレイの第2の中心窩外領域を決定するように構成されてもよい。それらの1つ又は複数のプロセッサは、さらに、メモリの中に、第1の中心窩領域の第1の中心窩領域画素、第1の中心窩外領域の第1の中心窩外領域画素、第2の中心窩領域の第2の中心窩領域画素、及び第2の中心窩外領域の第2の中心窩外領域画素をロードするように構成されてもよい。第1の中心窩領域画素は、フル解像度(full  resolution)で表されてもよく、第1の中心窩フレームバッファにロードされてもよい。第1の中心窩外領域画素は、解像度を低下させて(reduced  resolution)表されてもよく、第1の中心窩外領域フレームバッファにロードされてもよい。第2の中心窩領域画素は、フル解像度であらわされてもよく、第2の中心窩フレームバッファにロードされてもよい。第2の中心窩外領域画素は、解像度を低下させて表されてもよく、第2の中心窩外領域フレームバッファにロードされてもよい。
【０００７】
この実施形態の他の態様によれば、視線追跡情報は、ユーザの目への赤外線の直接的な又は斜めからの投射に基づいていてもよい。
【０００８】
この実施形態の他の態様によれば、視線追跡情報は、ユーザの脳波記録(EEG)に基づいていてもよい。
【０００９】
この実施形態の他の態様によれば、第1の中心窩領域、第1の中心窩外領域、第2の中心窩領域、又は、第2の中心窩外領域のうちの少なくとも1つは、調整可能である。
【００１０】
この実施形態の他の態様によれば、第1の中心窩外領域画素及び第2の中心窩外領域画素を低下させた解像度によってあらわすために、1つ又は複数のプロセッサは、画素の値を複製するように構成されてもよい。
【００１１】
この実施形態の他の態様によれば、1つ又は複数のプロセッサは、さらに、画素の値を、2x2画素、3x3画素、4x4画素、又は、5x5画素、のうちの少なくとも1つに複製するように構成されてもよい。
【００１２】
この実施形態の他の態様によれば、そのデバイスは、メモリと第1のディスプレイ又は第2のディスプレイのうちの少なくとも1つとに接続されるディスプレイシリアルインターフェイスをさらに含んでもよい。1つ又は複数のプロセッサは、ディスプレイシリアルインターフェイスから画素の値を受信した後に、画素の値を複製するように構成されてもよい。
【００１３】
この実施形態の他の態様によれば、そのデバイスは、複数のディスプレイシリアルインターフェイスをさらに含んでもよい。複数のディスプレイシリアルインターフェイスのうちの一部のディスプレイシリアルインターフェイスは、第1の中心窩領域又は第2の中心窩領域のうちの少なくとも1つに対応する表示データをパラレルに転送するように構成される。
【００１４】
この実施形態の他の態様によれば、第1の中心窩外領域フレームバッファ及び第2の中心窩外領域フレームバッファは、共有されてもよい。
【００１５】
この実施形態の他の態様によれば、それらの1つ又は複数のプロセッサは、さらに、第1の中心窩フレームバッファ及び第1の中心窩外領域フレームバッファに異なる速度でロードするとともに、第2の中心窩フレームバッファ及び第2の中心窩外領域フレームバッファに異なる速度でロードする、ように構成されてもよい。
【００１６】
この実施形態の他の態様によれば、それらの1つ又は複数のプロセッサは、さらに、第1の中心窩領域画素の深度平面と第1の中心窩外領域画素の深度平面との間でアルファブレンディング(alpha-blending(各々のピクセルに色情報の他に透明度を表わす値(alpha  value)をもたせることで、透明物体とその背後の物体の画像をリアルに重ねて表示する技術をいう))を適用するとともに、第2の中心窩領域画素の深度平面と第2の中心窩外領域画素の深度平面との間でアルファブレンディングを適用する、ように構成されてもよい。
【００１７】
他の実施形態において、本開示は、ユーザの2つの眼球の視線追跡を行うヘッドマウント型ディスプレイデバイスのための方法に関する。その方法によれば、ヘッドマウント型ディスプレイを装着しているユーザの視線追跡情報を受信してもよい。その視線追跡情報は、そのユーザの眼球の動き及び眼球の位置のうちの少なくとも1つを含んでもよい。その視線追跡情報に基づいて、左目のための第1のディスプレイの第1の中心窩領域、第1のディスプレイの第1の中心窩外領域、右目のための第2のディスプレイの第2の中心窩領域、及び、第2のディスプレイの第2の中心窩外領域を決定してもよい。第1のディスプレイのための第1のフレームバッファの第1の中心窩フレームバッファに、第1の中心窩領域画素をロードしてもよく、その第1の中心窩領域の第1の中心窩領域画素は、フル解像度であらわされる。第1のディスプレイのための第1のフレームバッファの第1の中心窩外領域バッファに、第1の中心窩外領域画素をロードしてもよく、第1の中心窩外領域の第1の中心窩外領域画素は、解像度を低下させてあらわされる。第2のディスプレイのための第2のフレームバッファの第2の中心窩フレームバッファに、第2の中心窩領域画素をロードしてもよく、第2の中心窩領域の第2の中心窩領域画素は、フル解像度であらわされる。第2のディスプレイのための第2のフレームバッファの第2の中心窩外領域フレームバッファに、第2の中心窩外領域画素をロードしてもよく、第2の中心窩外領域の第2の中心窩外領域画素は、解像度を低下させてあらわされる。
【００１８】
さらに別の実施形態において、本開示は、ユーザの2つの眼球の視線追跡を行うヘッドマウントディスプレイデバイスのためのコンピュータ読み取り可能なプログラムを格納する非一時的なコンピュータ読み取り可能な媒体に関する。そのプログラムは、ヘッドマウント型ディスプレイを装着しているユーザの視線追跡情報を受信するコンピュータ読み取り可能な命令を含んでもよい。視線追跡情報は、ユーザの眼球の動き及び眼球の位置のうちの少なくとも1つを含んでもよい。そのプログラムは、視線追跡情報に基づいて、左目のための第1のディスプレイの第1の中心窩領域、第1のディスプレイの第1の中心窩外領域、右目のための第2のディスプレイの第2の中心窩領域、及び、第2のディスプレイの第2の中心窩外領域を決定するコンピュータ読み取り可能な命令を含んでもよい。そのプログラムは、第1のディスプレイのための第1のフレームバッファの第1の中心窩フレームバッファに、第1の中心窩領域画素をロードするコンピュータ読み取り可能な命令を含んでもよく、第1の中心窩領域のその第1の中心窩領域画素は、フル解像度であらわされる。そのプログラムは、第1のディスプレイのための第1のフレームバッファの第1の中心窩外領域バッファに、第1の中心窩外領域画素をロードするコンピュータ読み取り可能な命令を含んでもよく、第1の中心窩外領域のその第1の中心窩外領域画素は、解像度を低下させてあらわされる。そのプログラムは、第2のディスプレイのための第2のフレームバッファの第2の中心窩フレームバッファに、第2の中心窩領域画素をロードするコンピュータ読み取り可能な命令を含んでもよく、第2の中心窩領域のその第2の中心窩領域画素は、フル解像度であらわされる。そのプログラムは、第2のディスプレイのための第2のフレームバッファの第2の中心窩外領域フレームバッファに、第2の中心窩外領域画素をロードするコンピュータ読み取り可能な命令を含んでもよく、第2の中心窩外領域のその第2の中心窩外領域画素は、解像度を低下させてあらわされる。
【００１９】
本発明は、複数の添付の図面に示される複数の特定の実施形態を参照して、以下でより詳細に説明されるであろう。本開示は、複数の特定の実施形態を参照して以下で説明されるが、本開示はそれらの複数の特定の実施形態に限定されないということを理解すべきである。本明細書の教示を閲覧する機会を有する当業者は、本明細書に記載される本開示の範囲の中に存在し、かつ、本開示が有意な有用性を有する可能性がある追加的な実装、修正、及び実施形態のみならず他の分野の使用をも認識するであろう。
【図面の簡単な説明】
【００２０】
以下の複数の図面との関連において考慮される場合に、開示される主題の以下の詳細な説明を参照して、開示される主題の様々な目的、特徴、及び利点をより完全に理解することが可能であり、それらの複数の図面においては、同様の参照番号は、同様の構成要素を特定する。複数の添付の描画は、概略的なものであり、原寸に比例して描くことを意図していない。明瞭さのために、あらゆる構成要素は、あらゆる描画の中に示されているわけではない。開示された主題の各々の実施形態の各々の構成要素は、当業者が開示された主題を理解することを可能にするために図示を必要としない場合には示されてはいない。
【００２１】
【図１】中心窩領域及び中心窩外領域を有するある1つの例示的な場面を図示している。
【図２】ある1つの例示的な最新の実装にしたがったヘッドマウント型ディスプレイを図示している。
【図３】本開示のある1つの実施形態にしたがったある1つの改良されたヘッドマウント型ディスプレイの設計を図示しているブロック図である。
【図４】本開示のある1つの実施形態にしたがったある1つの改良されたヘッドマウント型ディスプレイの設計を図示しているブロック図である。
【図５】中心窩深度平面と中心窩外領域深度平面との間のアルファブレンディングを図示しているブロック図であり、そのアルファブレンディングによって、本開示のある1つの実施形態にしたがって、1つ又は複数のディスプレイパネルへの送信のための合成画像を生成する。
【図６】本開示のある1つの実施形態にしたがったディスプレイシリアルインターフェイスの出力のデータ処理を図示するブロック図である。
【図７】本開示のある1つの実施形態にしたがったグラフィカルレンダリングのためのフローチャートを示している。
【発明を実施するための形態】
【００２２】
以下の記載において、開示される主題の完全な理解を可能とするために、開示される主題に関するシステム及び方法、及び、そのようなシステム及び方法が動作することが可能である環境に関して、数多くの具体的な細部を説明する。しかしながら、開示された主題は、そのような具体的な細部を使用することなく実用化されてもよく、また、当業者によく知られている複数の特徴は、開示されている主題を複雑化させることを避けるために、詳細には説明されないということが、当業者には明らかであろう。加えて、以下で提供される複数の例は、例示的なものであり、そして、開示される主題の範囲の中に存在する他のシステム及び方法が存在するということが考えられるということが理解されるであろう。
【００２３】
本発明は、視線追跡を行うヘッドマウント型ディスプレイを利用する。フレームバッファによって支援される複数のディスプレイパネルを使用して、出力フレームの中の各々の画素をレンダリングする。眼球/瞳孔の動き及び/又は位置を測定し、フレームバッファマネージャにその情報を供給して、そのフレームバッファのロードを制御するとともに、そのフレームバッファの中のデータの表示を制御する。中心窩領域においては、完全な精度で画素を表し、一方で、中心窩外領域においては、細部を妥協して、効率を増加させる。
【００２４】
中心窩外領域レンダリング技術は、低下させられた解像度、低下させられたフレーム速度、及び、2つのディスプレイの間での複製を含んでもよい。
特に、これらの技術は、周辺(中心窩外領域)として特定される領域に適用され、一方で、各々のディスプレイの中心(中心窩)領域は、より詳細なレンダリングを含む。
【００２５】
ディスプレイの中心窩外領域の中のフレームバッファの出力において画素を複製するのではなく、インテリジェントパネルを使用する場合に、インタフェースを介して圧縮された表示を送信し、電力を節約する。次に、画素を複製するために必要なロジックをDSI受信機の出力に提供することが可能である。
【００２６】
図1は、中心窩領域及び中心窩外領域を有するある1つの例示的な場面を図示している。領域100は、ある1つの例示的な場面を表す。領域100は、バーチャルリアリティによる場面の画像であってもよい。領域104は、中心窩外領域を表す。上記のように、視野のこの部分は、受容体及び神経節密度が減少した網膜領域に突出している。人間は、この部分を低い解像度で見ることができる。領域104は、領域100の中のある1つの部分であってもよい。人間は、典型的に、おおむね、垂直に135度、水平に160度の範囲で見ることが可能である。したがって、オブジェクト106及び108の部分は、ユーザの仮想現実画像の中にレンダリングされない場合がある。領域102は、中心窩領域を表す。(例えば、5度又は他の角度の中心円等の)視野のこの部分は、中心窩と呼ばれる網膜領域に投影され、その中心窩は、カラー円錐受容体を密に詰め込まれている。上記のように、領域102は、ユーザが非常に詳細に見ることが可能である領域である。
【００２７】
図2は、ある1つの例示的な最新の実装にしたがったヘッドマウント型ディスプレイを図示している。図2において、観測者の左目及び右目が読み取る画像が、1対のディスプレイバッファから完全な画素解像度で出力される最新のヘッドマウント型ディスプレイが示されている。図2に示すように、ヘッドマウント型ディスプレイ200は、ユーザの左目のためのディスプレイパネル201、ユーザの右目のためのディスプレイパネル202、シリアル/パラレルインターフェイス208を介してディスプレイパネル201に接続されるフレームバッファ203、シリアル/パラレルインターフェイス210を介してディスプレイパネル202に接続されるフレームバッファ204、フレームバッファ203及びフレームバッファ204を含むメモリ205、及び、フレームバッファ203及びフレームバッファ204への画素/画像データのロードを制御することが可能であるプロセッサ206を含む。この実施形態においては、ディスプレイパネル201及びディスプレイパネル202のすべての画素が同じ解像度でレンダリングされる。複数の実施形態のうちのいくつかにおいては、ディスプレイパネル201及びディスプレイパネル202のためのすべての画素は、フル解像度でレンダリングされる。この方法の欠点のうちの1つは、特に、これらのディスプレイの解像度が4k以上に急速に上昇する場合に、2つのディスプレイに出力される画素を格納するのに必要なデータメモリの量が大きくなるということである。他の欠点は、大量のデータがシリアル/パラレルインターフェイス208/210を介して送信されるので、シリアル/パラレルインターフェイス208/210を介する送信がパフォーマンスのボトルネックになる場合があるということである。
【００２８】
図3は、本開示のある1つの実施形態にしたがった改良されたヘッドマウント型ディスプレイの設計を図示しているブロック図であり、その改良されたヘッドマウント型ディスプレイは、個別の左の中心窩ディスプレイバッファ、右の中心窩ディスプレイバッファ、及び、アルファブレンディングを使用して組み合わせられたより低い解像度の中心窩外領域ディスプレイバッファを有し、各々のバッファは、赤外線投射及び検出又はEEGベースの視線追跡のうちの少なくとも1つを使用する視線追跡によって制御される。図3に示されているように、ヘッドマウント型ディスプレイ300は、デバイス301/302を含み、それらのデバイス301/302は、そのヘッドマウント型ディスプレイを装着しているユーザの眼球の動き及び/又は位置を追跡するのに使用される。複数の実施形態のうちのいくつかにおいては、デバイス301/302は、赤外線をユーザの眼球に投射して、ユーザの眼球の動き及び位置を追跡する。複数の実施形態のうちのいくつかにおいては、そのデバイスは、カメラを使用して、ユーザの眼球の写真又は動画を撮影する。他の実施形態においては、デバイス301/302は、ユーザの脳波を検出して、ユーザの眼球の動き及び/又は位置を追跡する。デバイス301/302は、脳波パターンを追跡し及び記録してもよい。例えば、ユーザは、そのユーザの頭皮に複数の電極を取り付けてもよく、それらの電極は、プロセッサ304に信号を送信し、そのプロセッサ304は、信号を記録し、そして、(例えば、瞳孔の動き及び/又は位置を検出するといったように)ユーザの眼球の動き及び/又は位置を検出する。複数の実施形態のうちのいくつかにおいては、ユーザの眼球の動き及び位置は、赤外光追跡及びEEG追跡の双方に基づいて追跡される。言い換えると、双方の結果を組み合わせて、ユーザの眼球の動き及び/又は位置をより正確に検出する。その視線追跡情報に基づいて、プロセッサ304は、ユーザが見ることが可能であるものに対応する画像をメモリ306にロードしてもよい。1つの実施形態においては、ユーザの左目の中心窩外領域に対応する画素は、中心窩外領域フレームバッファ308にロードされ、(例えば、利用可能な画像データの元の解像度と比較してより低い解像度等の)より低い解像度でロードされる。ユーザの左目の中心窩領域に対応する画素は、中心窩フレームバッファ310にロードされ、(例えば、利用可能な画像データの元のフル解像度等の)フル解像度でロードされる。ユーザの右目の中心窩外領域に対応する画素は、中心窩外領域フレームバッファ312にロードされ、より低い解像度でロードされる。ユーザの右目の中心窩領域に対応する画素は、中心窩フレームバッファ314にロードされ、フル解像度でロードされる。
【００２９】
複数の実施形態のうちのいくつかにおいては、アルファブレンディング316/318は、それぞれのフレームバッファ308/310/312/314の中の画素に適用されて、部分的に又は完全な透明性の外観を生成する。アルファブレンディングは、アルファビットマップを表示するのに使用され、そのアルファビットマップは、透明の画素又は半透明の画素を有するビットマップである。赤、緑、及び青のカラーチャンネルのほかに、アルファビットマップの中の各々の画素は、アルファチャンネルとして知られている透明成分を有する。アルファチャンネルは、通常、カラーチャンネルと同じ数のビットを含む。たとえば、8ビットのアルファチャンネルは、(ビットマップ全体が透明である)0から(ビットマップ全体が不透明である)255に至るまでの256レベルの透明度を表すことが可能である。
【００３０】
ディスプレイパネル320/322は、より低い解像度の画素及びフル解像度の画素を含む画像を表示してもよい。
【００３１】
複数の実施形態のうちのいくつかにおいては、図1と関連して説明したように、中心窩外領域の視野は、受容体及び神経節密度が減少している網膜領域に突出する。人間は、より低い解像度でこの部分を見ることが可能である。中心窩領域の視野は、中心窩と呼ばれる網膜領域に突出しており、その中心窩は、カラー円錐受容体を密に詰め込まれている。人間は、より高い解像度でこの部分を見ることが可能である。中心窩領域は、5度又は他の角度の中心円であってもよい。人間は、典型的には、おおむね、垂直に135度、水平に160度の範囲を見ることが可能である。中心窩外領域は、中心窩領域の外側で、且つ、垂直方向に135度、水平方向に160度の範囲内に存在してもよい。複数の実施形態のうちのいくつかにおいては、ハードウェアの中のレジスタによって、経験的に及び/又はプログラム可能に、中心窩領域及び/又は中心窩外領域の範囲を決定してもよい。言い換えると、中心窩領域及び/又は中心窩外領域は、設計時に決定されることを必要とされなくてもよい。中心窩領域が視野全体に及ぶことが可能であるようにハードウェアを設計することも可能であるが、そのようなハードウェアの設計は、最悪の場合となることがある。複数の実施形態のうちのいくつかにおいては、中心窩領域及び中心窩外領域の範囲及び/又はそれらの相対的なフレーム速度を決定するレジスタを制御するソフトウェアを実装することが可能である。
【００３２】
複数の実施形態のうちのいくつかにおいては、システムは、ユーザが望む(例えば、そのシステムが、ユーザイクスペアリアンスを劣化させない)ある1つの点まで、中心窩領域を徐々に試験し、そして、調整することが可能である。他の実施形態においては、例えば、中心窩領域を自動的に調整して、バッテリーのエネルギーを節約してもよい。バッテリーが消耗していることが原因で、何も表示しないよりも、何らかの表示をしたほうがよい場合もある。
【００３３】
例えば、(例えば、全ての画像データが利用可能とされているゲームの仮想現実アプリケーション等の)全ての画像データがすでに利用可能である仮想現実アプリケーションにおいては、1つ又は複数の中心窩領域に対応する画素は、1つ又は複数の中心窩フレームバッファに、フル解像度(すなわち、利用可能な画像データの元の解像度)でロードされる。1つ又は複数の中心窩外領域に対応する画素は、解像度を低下させて、1つ又は複数の中心窩外領域フレームバッファにロードされる。例えば、以下で詳細に説明するように、利用可能な画像データからの全ての画素が、中心窩外領域フレームバッファにロードされるわけではない。むしろ、例えば、中心窩外領域に対応する利用可能な画像データの各々の3x3画素について、1つの画素のみが、中心窩外領域フレームバッファにロードされ、その画素の値は、その隣接する8つの画素に複製される。言い換えると、画素のサイズは増大し、解像度は低下している。複数の実施形態のうちのいくつかにおいては、低減された解像度は、元のフル解像度よりもより低い解像度である。
【００３４】
中心窩領域の解像度及び/又はフレーム速度は、中心窩外領域の解像度及び/又はフレーム速度と異ってもよい。複数の実施形態のうちのいくつかにおいては、中心窩外領域は、より低い解像度及び/又はより低いフレーム速度であらわされてもよい。
【００３５】
複数の実施形態のうちのいくつかにおいては、複数のディスプレイシリアルインターフェイスをパラレルに使用してもよい。それらの複数のディスプレイシリアルインターフェイスのうちの一部のディスプレイシリアルインターフェイスは、相対的により低いフレーム速度及び/又は相対的により低い解像度で送信することが可能である中心窩外領域データと比較して、相対的により高いフレーム速度及び/又は相対的により高い解像度で、中心窩領域に対応する表示データをパラレルに転送するように構成されてもよい。それらの複数のディスプレイシリアルインターフェイスのうちの一部のディスプレイシリアルインターフェイスは、中心窩外領域に対応する表示データをパラレルに転送するように構成されてもよい。
【００３６】
複数の実施形態のうちのいくつかにおいては、画素解像度は、(例えば、2つよりも多くの)様々な解像度で表される。例えば、(例えば、5度又は他の角度の中心円等の)中心窩領域のための画素は、(例えば、利用可能な画像データの元のフル解像度等の)フル解像度であらわされてもよい。中心窩領域に近接する中心窩外領域のための画素は、中間的な解像度であらわされてもよく、その中間的な解像度は、フル解像度よりわずかに低い解像度であってもよい。中心窩領域に近接していない(例えば、画像の周辺部分又は端部等の)中心窩外領域のための画素は、より低い解像度であらわされてもよく、そのより低い解像度は、中間的な解像度と比較してより低い解像度であってもよい。
【００３７】
複数の実施形態のうちのいくつかにおいては、プロセッサ304は、有体的なコンピュータ読み取り可能な媒体に格納される複数のコンピュータ実行可能な命令を実行する汎用プロセッサであってもよい。複数の実施形態のうちのいくつかにおいては、プロセッサ304は、特定用途向け集積回路(ASIC)又はフィールドプログラマブルゲートアレイ(FPGA)等の特定目的の回路であってもよく、又は、それらを含んでもよい。複数の実施形態のうちのいくつかにおいては、プロセッサ304は、加速されたグラフィック処理のためのハードウェアの一部である。複数の実施形態のうちのいくつかにおいては、プロセッサ304は、集積回路(IC)等のシステムオンチップであり、その集積回路は、単一のチップにコンピュータ又は他の電子システムのすべての構成要素を一体化する。プロセッサ304は、全ての構成要素を一体化して、効率的なグラフィックス処理及びフレームバッファのロードを可能にすることができる。
【００３８】
複数の実施形態のうちのいくつかにおいては、中心窩外領域フレームバッファ308/312について、画素の値は、2x2画素、3x3画素、4x4画素、5x5画素、又は他の複数の画素に複製される。言い換えると、中心窩外領域フレームバッファ308/312の中に各々の画素をロードするのではなく、プロセッサ304は、中心窩外領域フレームバッファ308/312の中に、中心窩外領域に対応する画素のサブセットをロードしてもよく、その近傍の画素の値として画素の値を複製し、中心窩外領域フレームバッファの中に格納してもよい。複数の実施形態のうちのいくつかにおいては、中心窩外領域フレームバッファ308/312及び中心窩フレームバッファ310/314は、(例えば、複数の異なるフレーム速度等の)複数の異なる速度でロードされる。例えば、中心窩外領域フレームバッファ308/312は、60[Hz]でロードされてもよく、中心窩フレームバッファ310/314は、120[Hz]でロードされてもよい。中心窩外領域フレームバッファ308/312及び中心窩フレームバッファ310/314は、いずれかの他の適切な速度でロードされてもよい。
【００３９】
複数の実施形態のうちのいくつかにおいて、ディスプレイパネル320/322は、LCDパネル、LEDパネル、又は他のディスプレイ技術を使用するディスプレイパネルであってもよい。
【００４０】
図4は、本開示のある1つの実施形態にしたがった改良されたヘッドマウント型ディスプレイの設計を図示しているブロック図であり、その改良されたヘッドマウント型ディスプレイは、個別のフル解像度の左の中心窩フレームバッファ及び右の中心窩フレームバッファ、及び、共有されるより低い解像度の中心窩外領域フレームバッファを有する。ヘッドマウント型ディスプレイ400は、視線追跡デバイス401/402、プロセッサ404、メモリ406、中心窩フレームバッファ410/414、共有される中心窩外領域フレームバッファ408、及び、アルファブレンディング416/418を含む。視線追跡デバイス401/402、プロセッサ404、メモリ406、中心窩フレームバッファ410/414、共有される中心窩外領域フレームバッファ408、及び、アルファブレンディング416/418は、図3の中の視線追跡デバイス301/302、プロセッサ304、メモリ306、中心窩フレームバッファ310/314、及び、アルファブレンディング316/318と同様である。図4に示されているように、(左目のためのディスプレイパネルのための一方の中心窩外領域フレームバッファ、及び、右目のためのディスプレイパネルのための他方の中心窩外領域フレームバッファ等の)2つの個別の中心窩外領域フレームバッファを使用するのではなく、この実施形態においては、中心窩外領域フレームバッファは、2つのディスプレイパネルの間で共有される。言い換えると、中心窩外領域のための画像データの単位に対応する画素は、左目のためのディスプレイパネルのための一方のメモリ空間及び右目のためのディスプレイパネルのための他方のメモリ空間ではなく、単一の対応するメモリ空間に割り当てられてもよい。共有される中心窩外領域フレームバッファ410は、メモリ空間の要件を低減することが可能である。
【００４１】
図5は、本開示のある1つの実施形態にしたがった中心窩深度平面と中心窩外領域深度平面との間のアルファブレンディングを図示しているブロック図であり、そのアルファブレンディングは、1つ又は複数のディスプレイパネルへの送信のための合成画像を生成する。図5に示されているように、層502は、中心窩領域のためのフル解像度の画素を含む。層504は、中心窩外領域のための解像度がより低い画素を含む。複数の実施形態のうちのいくつかにおいては、層502及び層504は、互いに重なり合っている。言い換えると、中心窩領域は、層502の中において、フル解像度でレンダリングされるとともに、層504の中において、より低い解像度でレンダリングされる。この実施形態においては、層502の中の画素の深度平面は、アルファブレンディング503によって層504の中の画素のための深度平面と組み合わされて、1つ又は複数のディスプレイパネルに送信される画像501を生成する。そのようなアルファブレンディングは、平滑化ステップによる遷移を可能にしてもよく、それによって、ディスプレイパネルのための中心窩領域及び中心窩外領域を含む画像が平滑に合成される。平滑化ステップは、内挿補間関数である。
【００４２】
図6は、本開示のある1つの実施形態にしたがったディスプレイシリアルインターフェイスの出力のデータ処理を図示しているブロック図である。この実施形態においては、中心窩外領域に対応するすべての画素は、中心窩外領域フレームバッファ602にロードされるわけではない。たとえば、各々の3x3画素620について、画素622についての1つの画素の値"x"のみが、中心窩外領域フレームバッファ602にロードされる。他の例として、各々の2x2画素、4x4画素、又は、5x5画素について、1つのみの画素の値が、中心窩外領域フレームバッファにロードされる。複数の実施形態のうちのいくつかにおいては、2x2画素、4x4画素、又は、5x5画素について2つ又はそれ以上の画素が、中心窩外領域バッファにロードされてもよい。画素のデータ/値は、シリアル/パラレルインターフェイス604を介してディスプレイパネル610に送信される。シリアル/パラレルインターフェイス604は、ディスプレイシリアルインターフェイスであってもよい。
【００４３】
複数の実施形態のうちのいくつかにおいては、プロセッサ608は、シリアル/パラレルインターフェイス604の出力を受信する。プロセス608は、画素の値をその隣接する画素に複製してもよい。たとえば、図6に示されているように、画素622の値"x"は、隣接する画素620に複製されてもよく、ディスプレイパネル610に画像をレンダリングするのに、その複製された画素の値を使用してもよい。したがって、すべての画素が、メモリに格納される必要があるわけではない。言い換えると、そのメモリは、その画像の圧縮された表現を格納する必要があるに過ぎない。たとえば、図6に示されているように、各々の3x3画素について、1つの画素のみがそのメモリにロードされる場合に、そのメモリは、合計の画素の1/9を記憶する必要があるにすぎず、プロセッサ608によって、各々の3x3画素について9つの画素のうちの8つの画素を複製してもよい。
【００４４】
図7は、本開示のある1つの実施形態にしたがったグラフィックレンダリングのためのフローチャートを示している。
【００４５】
方法700は、ヘッドマウント型ディスプレイを装着しているユーザの視線追跡情報を受信するステップ(702)と、その視線追跡情報に基づいて、左目のための第1のディスプレイの第1の中心窩領域、第1のディスプレイの第1の中心窩外領域、右目のための第2のディスプレイの第2の中心窩領域、及び、第2のディスプレイの第2の中心窩外領域を決定するステップ(704)と、メモリに、フル解像度で、第1の中心窩領域の第1の中心窩領域画素をロードし、解像度を低下させて、第1の中心窩外領域の第1の中心窩外領域画素をロードし、フル解像度で、第2の中心窩領域の第2の中心窩領域画素をロードし、解像度を低下させて、第2の中心窩外領域の第2の中心窩外領域画素をロードするステップ(706)と、を含んでもよい。
【００４６】
方法700は、ヘッドマウント型ディスプレイを装着しているユーザの視線追跡情報を受信するステップ(702)を含んでもよい。複数の実装のうちのいくつかにおいては、上記のように、視線追跡情報は、ユーザの瞳孔への赤外線の投影に基づいていてもよい。他の実装においては、視線追跡情報は、(例えば、複数の電極をユーザの頭皮に取り付けることが可能であり、プロセッサに信号を送ることが可能であるといったように)ユーザの脳波記録(EEG)に基づいていてもよい。さらなる実装においては、ユーザが装着する埋め込まれたミラー又は磁界センサを有する特定のコンタクトレンズから、視線追跡情報を取得してもよい。
【００４７】
ステップ704において、その視線追跡情報に基づいて、ユーザの左目のためのディスプレイパネルのための中心窩領域及び中心窩外領域、ユーザの右目のディスプレイパネルのための中心窩領域及び中心窩外領域を決定してもよい。
【００４８】
ステップ706において、中心窩領域に対応する画素を、1つ又は複数の中心窩フレームバッファにロードしてもよく、フル解像度でこれらの画素を表してもよく、中心窩外領域に対応する画素を、1つ又は複数の中心窩外領域フレームバッファにロードしてもよく、解像度を低下させて、これらの画素をあらわしてもよい。上記のように、左目のためのディスプレイパネルと右目のためのディスプレイパネルとの間で、中心窩外領域バッファを共有してもよい。画素の値は、これらには限定されないが、2x2画素、3x3画素、4x4画素、又は、5x5画素に複製されてもよい。他の複数の画素も可能である。複数の実施形態のうちのいくつかにおいては、(例えば、中心窩外領域フレームバッファ等の)フレームバッファに、複製された値を格納してもよい。他の実施形態においては、ディスプレイシリアルインターフェイスの出力を処理して画素の値を複製してもよく、メモリの中に圧縮された画像を格納することを可能にしてもよい。
【００４９】
本明細書においては、複数の異なる構成が説明されているが、利点を達成するために、複数の特徴の各々を様々な形態で有利に組み合わせることが可能であるということを理解することができるであろう。
【００５０】
上記の明細書においては、複数の特定の例を参照して、本発明の適用を説明してきた。しかしながら、添付の特許請求の範囲に記載された本発明のより広範な趣旨及び範囲から離れることなく、様々な修正及び変更を行うことが可能であるということが明らかとなるであろう。たとえば、接続は、例えば、中間デバイスを介して、それぞれのノード、ユニット又はデバイスから信号を転送する、或いは、それぞれのノード、ユニット又はデバイスへと信号を転送するのに適するいずれかのタイプの接続であってもよい。したがって、異なった内容が示唆され或いは記載されない限り、それらの接続は、例えば、直接接続又は間接接続であってもよい。
【００５１】
本明細書に示される複数のアーキテクチャは、例示的なものに過ぎず、実際には、同じ機能を達成する多くの他のアーキテクチャを実装することが可能であるということを理解すべきである。抽象的ではあるが、依然として明確な意味において、望ましい機能を達成するように、同じ機能を達成するための構成要素のいずれかの配置を効果的に"関連"させてもよい。したがって、ある特定の機能を達成するように本明細書において組み合わせられるいずれかの2つの構成要素は、アーキテクチャ又は中間的な構成要素にかかわらず、望ましい機能を達成することができるように、互いに"関連している"と見ることが可能である。同様に、そのように関連させられたいずれかの2つの構成要素は、望ましい機能を達成するために互いに"動作可能に接続され"又は"動作可能に結合される"と考えることも可能である。
【００５２】
さらに、当業者は、上記で説明された複数の動作の機能の間の境界が例示的なものであるにすぎないということを認識するであろう。複数の動作の機能を組み合わせて、単一の動作としてもよく、及び/又は、単一の動作の機能を分散させて、追加的な動作としてもよい。さらに、複数の代替的な実施形態は、ある1つの特定の動作の複数の例を含んでもよく、それらの複数の動作の順序は、様々な他の実施形態において変更することが可能である。
【００５３】
しかしながら、他の修正、変形及び代替も、また、可能である。したがって、明細書及び図面は、限定的な意義ではなく、例示的なものと解釈されるべきである。
【００５４】
特許請求の範囲において、括弧内に記載された参照符号は、特許請求の範囲を限定するものとして解釈されるべきではない。"含む(comprising)"という語は、請求項に列挙された要素又はステップ以外の要素又はステップの存在を排除するものではない。さらに、本明細書で使用する"ある1つの(a)"又は"ある1つの(an)"という語は、1つよりもむしろ1つ又は複数のものとして定義される。また、特許請求の範囲において"少なくとも1つの"及び"1つ又は複数の"等の導入句を使用する場合には、たとえ、同じ請求項が、導入句"1つ又は複数の"又は"少なくとも1つの"及び"ある1つの(a)"又は"ある1つの(an)"等の不定冠詞を含むときであっても、不定冠詞"a"または"an"を使用して他の発明特定事項を導入することは、そのような1つの構成要素のみを含む発明に、そのような導入された発明特定事項を含む請求項を限定することを示唆するものと解釈されるべきではない。定冠詞の使用についても同様のことがいえる。他に言及しない限り、"第1の"及び"第2の"等の用語は、そのような用語が説明する複数の構成要素を任意に区別するのに使用される。したがって、これらの用語は、必ずしも、そのような構成要素の時間的な又は他の優先順位付けを示すことを意図するものではない。複数の手段が相互に異なる請求項に列挙されているという事実だけでは、これらの手段の組み合わせを活用することが不可能であるということを示すものではない。
【図１】
2019512750.tif 000003
【図２】
2019512750.tif 000004
【図３】
2019512750.tif 000005
【図４】
2019512750.tif 000006
【図５】
2019512750.tif 000007
【図６】
2019512750.tif 000008
【図７】
2019512750.tif 000009
【手続補正書】
【提出日】平成30年12月5日(2018.12.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ヘッドマウント型ディスプレイデバイスであって、
左目のための第1のディスプレイと、
右目のための第2のディスプレイと、
前記第1のディスプレイを介して提示するデータ及び前記第2のディスプレイを介して提示するデータを格納するように構成されるメモリと、
1つ又は複数のプロセッサと、を含み、
前記1つ又は複数のプロセッサは、
当該ヘッドマウント型ディスプレイデバイスを装着しているユーザの視線追跡情報に基づいて、前記第1のディスプレイの第1の中心窩領域、前記第1のディスプレイの第1の中心窩外領域、前記第2のディスプレイの第2の中心窩領域、及び前記第2のディスプレイの第2の中心窩外領域を決定し、前記視線追跡情報は、前記ユーザの眼球の動き又は眼球の位置のうちの少なくとも1つを表し、
前記第1の中心窩領域と関連する第1の中心窩領域画素に対応する前記データの第1のサブセットを識別し、前記第1の中心窩外領域と関連する第1の中心窩外領域画素に対応する前記データの第2のサブセットを識別し、前記第2の中心窩領域と関連する第2の中心窩領域画素に対応する前記データの第3のサブセットを識別し、そして、前記第2の中心窩外領域と関連する第2の中心窩外領域画素に対応する前記データの第4のサブセットを識別し、
前記メモリから第1の中心窩フレームバッファへと第1のフル解像度で前記第1のサブセットをロードし、
前記メモリから第1の中心窩外領域フレームバッファへと第1の低下させた解像度で前記第2のサブセットをロードし、
前記メモリから第2の中心窩フレームバッファへと第2のフル解像度で前記第3のサブセットをロードし、
前記メモリから第2の中心窩外領域フレームバッファへと第2の低下させた解像度で前記第4のサブセットをロードする、
ように構成される、
ヘッドマウント型ディスプレイデバイス。
【請求項２】
前記1つ又は複数のプロセッサは、前記ユーザの前記視線追跡情報に基づいて、前記第1の中心窩領域、前記第1の中心窩外領域、前記第2の中心窩領域、又は、前記第2の中心窩外領域のうちの少なくとも1つを調整するように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項３】
前記1つ又は複数のプロセッサは、
画素のグループの中の画素の値を選択し、
隣接する画素に前記画素の値を複製する、ことによって、
前記画素の値の大きさを増加させて、前記画素の値の解像度を前記第1の低下させた解像度又は前記第2の低下させた解像度へと低下させるように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項４】
前記1つ又は複数のプロセッサは、画素の前記グループの中の前記画素の値を、2x2画素、3x3画素、4x4画素、又は、5x5画素のうちの少なくとも1つに複製するように構成される、請求項3に記載のヘッドマウント型ディスプレイデバイス。
【請求項５】
前記第1の中心窩フレームバッファと関連する第1のディスプレイシリアルインターフェイス(DSI)と前記第2の中心窩フレームバッファと関連する第2のディスプレイシリアルインターフェイス(DSI)とをさらに含み、前記第1のディスプレイシリアルインターフェイス(DSI)及び前記第2のディスプレイシリアルインターフェイス(DSI)は、前記第1の中心窩フレームバッファ及び前記第2の中心窩フレームバッファからの前記データをパラレルに転送するように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項６】
前記1つ又は複数のプロセッサは、
第1の速度で前記第1の中心窩フレームバッファにロードし、
第2の速度で前記第1の中心窩外領域フレームバッファにロードし、
第3の速度で前記第2の中心窩フレームバッファにロードし、
第4の速度で前記第2の中心窩外領域フレームバッファにロードする、
ように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項７】
前記第1の速度は、前記第3の速度と等しく、前記第2の速度は、前記第4の速度と等しく、前記第1の速度は、前記第2の速度とは異なる、請求項6に記載のヘッドマウント型ディスプレイデバイス。
【請求項８】
複数のディスプレイシリアルインターフェイスをさらに含み、前記複数のディスプレイシリアルインターフェイスのうちの少なくとも2つは、
前記第1の中心窩フレームバッファから前記第1のディスプレイへと前記第1のフル解像度で前記第1のサブセットを、
前記第1の中心窩外領域フレームバッファから前記第1のディスプレイへと前記第1の低下させた解像度で前記第2のサブセットを、
前記第2の中心窩フレームバッファから前記第2のディスプレイへと前記第2のフル解像度で前記第3のサブセットを、そして、
前記第2の中心窩外領域フレームバッファから前記第2のディスプレイへと前記第2の低下させた解像度で前記第4のサブセットを、
パラレルに転送するように構成される、請求項1に記載のヘッドマウント型ディスプレイデバイス。
【請求項９】
ヘッドマウント型ディスプレイのユーザの眼球に画像を提示する方法であって、
少なくとも1つのプロセッサによって命令を実行することによって、前記ヘッドマウント型ディスプレイを装着しているユーザの視線追跡情報に基づいて、第1のディスプレイの第1の中心窩領域、前記第1のディスプレイの第1の中心窩外領域、第2のディスプレイの第2の中心窩領域、及び前記第2のディスプレイの第2の中心窩外領域を決定するステップであって、前記視線追跡情報は、前記ユーザの眼球の動き又は眼球の位置のうちの少なくとも1つを表す、ステップと、
前記少なくとも1つのプロセッサによって命令を実行することによって、前記第1の中心窩領域と関連する第1の中心窩領域画素に対応するデータの第1のサブセットを識別し、前記第1の中心窩外領域と関連する第1の中心窩外領域画素に対応する前記データの第2のサブセットを識別し、前記第2の中心窩領域と関連する第2の中心窩領域画素に対応する前記データの第3のサブセットを識別し、そして、前記第2の中心窩外領域と関連する第2の中心窩外領域画素に対応する前記データの第4のサブセットを識別するステップと、
前記少なくとも1つのプロセッサによって命令を実行することによって、メモリから第1の中心窩フレームバッファへと第1のフル解像度で前記第1のサブセットをロードするステップと、
前記少なくとも1つのプロセッサによって命令を実行することによって、前記メモリから第1の中心窩外領域フレームバッファへと第1の低下させた解像度で前記第2のサブセットをロードするステップと、
前記少なくとも1つのプロセッサによって命令を実行することによって、前記メモリから第2の中心窩フレームバッファへと第2のフル解像度で前記第3のサブセットをロードするステップと、
前記少なくとも1つのプロセッサによって命令を実行することによって、前記メモリから第2の中心窩外領域フレームバッファへと第2の低下させた解像度で前記第4のサブセットをロードするステップと、を含む、
方法。
【請求項１０】
ヘッドマウント型ディスプレイデバイスであって、
左目に第1のデータを表示する第1の手段と、
右目に第2のデータを表示する第2の手段と、
当該ヘッドマウント型ディスプレイデバイスを装着しているユーザの視線追跡情報に基づいて、表示する前記第1の手段の第1の中心窩領域、表示する前記第1の手段の第1の中心窩外領域、表示する前記第2の手段の第2の中心窩領域、及び表示する前記第2の手段の第2の中心窩外領域を決定し、前記視線追跡情報は、前記ユーザの眼球の動き又は眼球の位置のうちの少なくとも1つを表し、
前記第1の中心窩領域と関連する第1の中心窩領域画素に対応する前記第1のデータの第1のサブセットを識別し、前記第1の中心窩外領域と関連する第1の中心窩外領域画素に対応する前記第1のデータの第2のサブセットを識別し、前記第2の中心窩領域と関連する第2の中心窩領域画素に対応する前記第2のデータの第3のサブセットを識別し、そして、前記第2の中心窩外領域と関連する第2の中心窩外領域画素に対応する前記第2のデータの第4のサブセットを識別する、
手段と、
第1のフル解像度で前記第1のサブセットをバッファリングする第1のバッファリング手段と、
第1の低下させた解像度で前記第2のサブセットをバッファリングする第2のバッファリング手段と、
第2のフル解像度で前記第3のサブセットをバッファリングする第3のバッファリング手段と、
第2の低下させた解像度で前記第4のサブセットをバッファリングする第4のバッファリング手段と、を含む、
ヘッドマウント型ディスプレイデバイス。
【請求項１１】
眼球の動きを追跡する手段をさらに含む、請求項10に記載のヘッドマウント型ディスプレイデバイス。
【請求項１２】
決定し及び識別する前記手段は、前記ユーザの前記視線追跡情報に基づいて、前記第1の中心窩領域、前記第1の中心窩外領域、前記第2の中心窩領域、又は、前記第2の中心窩外領域のうちの少なくとも1つを調整するように構成される、請求項10に記載のヘッドマウント型ディスプレイデバイス。
【請求項１３】
決定し及び識別する前記手段は、
画素のグループの中の中心画素から画素の値を選択し、
隣接する画素に前記中心画素の前記画素の値を複製する、ことによって、
前記第1の低下させた解像度又は前記第2の低下させた解像度を生成するように構成される、請求項10に記載のヘッドマウント型ディスプレイデバイス。
【請求項１４】
決定し及び識別する前記手段は、画素の前記グループの中の前記画素の値を、2x2画素、3x3画素、4x4画素、又は、5x5画素のうちの少なくとも1つに複製するように構成される、請求項13に記載のヘッドマウント型ディスプレイデバイス。
【請求項１５】
前記第1の中心窩外領域と関連する前記第1の中心窩外領域画素に対応する前記第2のサブセットをバッファリングする前記第2のバッファリング手段及び前記第2の中心窩外領域と関連する前記第2の中心窩外領域画素に対応する前記第4のサブセットをバッファリングする前記第4のバッファリング手段は、共有されているバッファである、請求項10に記載のヘッドマウント型ディスプレイデバイス。
【請求項１６】
決定し及び識別する前記手段は、
前記第1のバッファリング手段に第1の速度でロードし、
前記第2のバッファリング手段に第2の速度でロードし、
前記第3のバッファリング手段に第3の速度でロードし、
前記第4のバッファリング手段に第4の速度でロードする、
ように構成される、請求項10に記載のヘッドマウント型ディスプレイデバイス。
【請求項１７】
決定し及び識別する前記手段は、(a)  前記第1の中心窩領域画素の深度平面と前記第1の中心窩外領域画素の深度平面との間でアルファブレンディングを適用するとともに、(b)  前記第2の中心窩領域画素の深度平面と前記第2の中心窩外領域画素の深度平面との間でアルファブレンディングを適用する、ように構成される、請求項10に記載のヘッドマウント型ディスプレイデバイス。
【請求項１８】
ヘッドマウント型ディスプレイデバイスとともに使用するための複数の命令を含むコンピュータ読み取り可能な記憶媒体であって、前記複数の命令は、実行されると、少なくとも1つのプロセッサが、
前記ヘッドマウント型ディスプレイデバイスを装着しているユーザの視線追跡情報に基づいて、第1のディスプレイの第1の中心窩領域、前記第1のディスプレイの第1の中心窩外領域、第2のディスプレイの第2の中心窩領域、及び前記第2のディスプレイの第2の中心窩外領域を決定し、前記視線追跡情報は、前記ユーザの眼球の動き又は眼球の位置のうちの少なくとも1つを表し、
前記第1の中心窩領域と関連する第1の中心窩領域画素に対応するデータの第1のサブセットを識別し、
前記第1の中心窩外領域と関連する第1の中心窩外領域画素に対応する前記データの第2のサブセットを識別し、 
前記第2の中心窩領域と関連する第2の中心窩領域画素に対応する前記データの第3のサブセットを識別し、
前記第2の中心窩外領域と関連する第2の中心窩外領域画素に対応する前記データの第4のサブセットを識別し、
メモリから第1の中心窩フレームバッファへと第1のフル解像度で前記第1のサブセットをロードし、
前記メモリから第1の中心窩外領域フレームバッファへと第1の低下させた解像度で前記第2のサブセットをロードし、
前記メモリから第2の中心窩フレームバッファへと第2のフル解像度で前記第3のサブセットをロードし、
前記メモリから第2の中心窩外領域フレームバッファへと第2の低下させた解像度で前記第4のサブセットをロードする、
ようにさせる、
コンピュータ読み取り可能な記憶媒体。
【請求項１９】
前記複数の命令は、実行されると、前記1つ又は複数のプロセッサが、
画素のグループの中の画素の値を選択し、
隣接する画素に前記画素の値を複製する、ことによって、
前記画素の値の大きさを増加させて、前記画素の値の解像度を前記第1の低下させた解像度又は前記第2の低下させた解像度へと低下させる、ようにさせる、請求項18に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２０】
前記複数の命令は、実行されると、前記1つ又は複数のプロセッサが、前記ユーザの前記視線追跡情報に基づいて、前記第1の中心窩領域、前記第1の中心窩外領域、前記第2の中心窩領域、又は、前記第2の中心窩外領域のうちの少なくとも1つを調整する、ようにさせる、請求項18に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２１】
前記複数の命令は、実行されると、前記1つ又は複数のプロセッサが、前記メモリ及び前記第1のディスプレイ又は前記第2のディスプレイのうちの少なくとも1つと通信するディスプレイシリアルインターフェイスから画素の値を受信した後に、前記画素の値を複製する、ようにさせる、請求項18に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２２】
前記複数の命令は、実行されると、前記1つ又は複数のプロセッサが、前記画素の値を複製して、前記第1の低下させた解像度又は前記第2の低下させた解像度のうちの少なくとも1つを生成する、ようにさせる、請求項21に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２３】
前記複数の命令は、実行されると、前記1つ又は複数のプロセッサが、第1のディスプレイシリアルインターフェイス及び第2のディスプレイシリアルインターフェイスによって、前記第1の中心窩フレームバッファ及び前記第2の中心窩フレームバッファからの前記データをパラレルに転送する、ようにさせる、請求項18に記載のコンピュータ読み取り可能な記憶媒体。
【請求項２４】
前記複数の命令は、実行されると、前記1つ又は複数のプロセッサが、(a)  前記第1の中心窩領域画素の深度平面と前記第1の中心窩外領域画素の深度平面との間でアルファブレンディングを適用するとともに、(b)  前記第2の中心窩領域画素の深度平面と前記第2の中心窩外領域画素の深度平面との間でアルファブレンディングを適用する、ようにさせる、請求項18に記載のコンピュータ読み取り可能な記憶媒体。
【国際調査報告】
2019512750.tif 000010
2019512750.tif 000011
2019512750.tif 000012