JP 2021-500102 A 2021.7.13(12)公表特許公報(A)(19)日本国特許庁(JP)(43)公表日(51)国際特許分類
Ｇ０６Ｆ
3/01 (2006.01)
Ｇ０６Ｆ
3/14 (2006.01)
Ｇ０９Ｇ
5/00 (2006.01)

ＦＩ
Ｇ０６Ｆ
Ｇ０６Ｆ
Ｇ０９Ｇ
Ｇ０９Ｇ
Ｇ０９Ｇ
審査請求

3/01
５１０
3/14
３１０Ａ
5/00
５５０Ｃ
5/00
５５０Ｘ
5/00
５１０Ａ
有 予備審査請求 有(71)出願人(11)公表番号
特表2021-500102(P2021-500102A)
令和3年7月13日(2021.7.13)
テーマコード（参考）
３Ｄ０３９
３Ｊ５５２

（全23頁）

最終頁に続く(21)出願番号

特願2019-502705(P2019-502705)(86)(22)出願日

平成29年6月29日(2017.6.29)

個人統合申請人 太郎(11)特許番号

特許第6556973号(P6556973)

ＫＯＪＩＮＴＯＧＯＳＩＮＳＥＩＮＩＮ(45)特許公報発行日

令和1年8月7日(2019.8.7)

ＴＡＲＯ(85)翻訳文提出日

平成31年1月18日(2019.1.18)

東京都中央区日本橋小伝馬町(86)国際出願番号

PCT/US2017/040080

ＴＯＫＹＯＣＨＵＯＮＩＨＯＮＢＡＳＨ(87)国際公開番号

WO2018/022250

ＩＫＯＤＥＮＮＢＡＣＨＯ(87)国際公開日

平成30年2月1日(2018.2.1)

日本における営業所(31)優先権主張番号62/368,241(32)優先日

平成28年7月29日(2016.7.29)

城山営業所(74)代理人(33)優先権主張国・地域又は機関(74)代理人(31)優先権主張番号

15/253,201(32)優先日

平成28年8月31日(2016.8.31)

個人統合申請人 太郎

592134583
弁理士(72)発明者(33)優先権主張国・地域又は機関

個人統合申請人 太郎

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２

最終頁に続く

最終頁に続く

仮想現実システムにおける動作反映待ち時間およびメモリ帯域幅を低減するためのシステ
ムおよび方法(57)【要約】【要約】
仮想現実ディスプレイシステムにおける動作反映待ち時
間およびメモリ帯域幅を低減するためのシステム、方法、およびコンピュータプログラムが開示される。例示的な方法は、仮想現実アプリケーション用の、ユーザの並進および回転動作を追跡する1つまたは複数のセンサからセンサデータを受信するステップを伴う。ユーザの更新された位置は、受信されたセンサデータに基づいて計算される。ユーザ運動の速度および加速度は、センサデ
ータに基づいて計算されてもよい。更新された位置、速度、および加速度は、更新された位置、速度、および加速度のうちの1つまたは複数に基づいて、仮想現実ディ
スプレイに送信する前に、レンダリングされた画像を更新するように構成されるワープエンジンに提供されてもよい。

592134583
弁理士

米国(US)(54)【発明の名称】

592134583

(2)JP 2021-500102 A 2021.7.13【特許請求の範囲】【請求項１】
仮想現実ディスプレイシステムにおける動作反映待ち時間およびメモリ帯域幅を低減する方法であって、
仮想現実アプリケーション用の、ユーザの並進および回転動作を追跡する1つまたは複数のセンサからセンサデータを受信するステップと、
前記センサデータに基づいて前記ユーザの更新された位置を計算するステップと、
前記センサデータに基づいて前記ユーザの速度および加速度を計算するステップと、前記更新された位置、前記速度、および前記加速度を、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する

10

前に、レンダリングされた画像を更新するように構成されるワープエンジに提供するステ
ップとを含む、方法。
【請求項２】
前記更新された位置、前記速度、および前記加速度は、グラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファに直接供給される、請求項1に記載の方法。
【請求項３】
前記更新された位置、前記速度、および前記加速度を前記ワープエンジンに提供する前記
ステップは、グラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファをバイパスするステップを含む、請求項1に記載の方法。

20【請求項４】
前記1つまたは複数のセンサは、カメラ、加速度計、およびジャイロスコープセンサを備える、請求項1に記載の方法。
【請求項５】
専用ハードウェアデバイスが、前記センサデータを前記カメラ、前記加速度計、および前記ジャイロスコープセンサから直接受信する、請求項4に記載の方法。
【請求項６】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいてレンダリング
解像度を調整するようにさらに構成される、請求項1に記載の方法。
【請求項７】

30

ヘッドマウント仮想現実デバイスにおいて実装される、請求項1に記載の方法。
【請求項８】
仮想現実ディスプレイシステムにおける動作反映待ち時間およびメモリ帯域幅を低減する
ためのシステムであって、仮想現実アプリケーション用の、ユーザの並進および回転動作を追跡する1つまたは複数のセンサからセンサデータを受信するための手段と、前記センサデータに基づいて前記ユーザの更新された位置を計算するための手段と、前記センサデータに基づいて前記ユーザの速度および加速度を計算するための手段と、前記更新された位置、前記速度、および前記加速度を、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する

40

前に、レンダリングされた画像を更新するように構成されるワープエンジに提供するための手段とを備える、システム。
【請求項９】
前記更新された位置、前記速度、および前記加速度は、グラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファに直接供給される、請求項8に記載のシステム。
【請求項１０】
前記更新された位置、前記速度、および前記加速度を前記ワープエンジンに前記提供するための手段は、グラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファをバイパスする

50

(3)

JP 2021-500102 A 2021.7.13

ための手段を備える、請求項8に記載のシステム。
【請求項１１】
前記1つまたは複数のセンサは、カメラ、加速度計、およびジャイロスコープセンサを備える、請求項8に記載のシステム。
【請求項１２】
前記センサデータを前記受信するための手段は、前記カメラ、前記加速度計、および前記
ジャイロセンサに結合される専用ハードウェアユニットを備える、請求項11に記載のシステム。
【請求項１３】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいてレンダリング

10

解像度を調整するようにさらに構成される、請求項8に記載のシステム。
【請求項１４】
ヘッドマウント仮想現実デバイスにおいて実装される、請求項8に記載のシステム。
【請求項１５】
仮想現実ディスプレイシステムにおける動作反映待ち時間およびメモリ帯域幅を低減するための方法を実装するための、メモリ中で具現化されるとともに、処理デバイスによって実行可能なコンピュータプログラムであって、前記方法は、
仮想現実アプリケーション用の、ユーザの並進および回転動作を追跡する1つまたは複数のセンサからセンサデータを受信するステップと、
前記センサデータに基づいて前記ユーザの更新された位置を計算するステップと、

20

前記センサデータに基づいて前記ユーザの速度および加速度を計算するステップと、前記更新された位置、前記速度、および前記加速度を、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する
前に、レンダリングされた画像を更新するように構成されるワープエンジに提供するステ
ップとを含む、コンピュータプログラム。
【請求項１６】
前記更新された位置、前記速度、および前記加速度は、グラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファに直接供給される、請求項15に記載のコンピュー
タプログラム。

30【請求項１７】
前記更新された位置、前記速度、および前記加速度を前記ワープエンジンに提供する前記
ステップは、グラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファをバイパスするステップを含む、請求項15に記載のコンピュータプログラム。
【請求項１８】
前記1つまたは複数のセンサは、カメラ、加速度計、およびジャイロセンサを備える、請求項15に記載のコンピュータプログラム。
【請求項１９】専用ハードウェアデバイスが、前記センサデータを前記カメラ、前記加速度計、および前記ジャイロセンサから直接受信する、請求項18に記載のコンピュータプログラム。

40【請求項２０】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいて、レンダリン
グ解像度を調整するようにさらに構成される、請求項15に記載のコンピュータプログラ
ム。
【請求項２１】
ヘッドマウント仮想現実デバイスにおいて実装される、請求項15に記載のコンピュータ
プログラム。
【請求項２２】
仮想現実ディスプレイシステムにおける動作反映待ち時間を低減するためのコンピュータ
システムであって、

50

(4)

JP 2021-500102 A 2021.7.13

ユーザの並進および回転動作を追跡するための1つまたは複数のセンサと、処理デバイスによって実行される仮想現実アプリケーションと、
前記仮想現実アプリケーションに関連付けられた、レンダリングされた画像を表示するためのグラフィックス処理ユニット(GPU)と、
前記1つまたは複数のセンサおよび前記GPUに電気的に結合される専用センサ処理コンポーネントであって、
前記1つまたは複数のセンサからセンサデータを受信し、前記センサデータに基づいて前記ユーザの更新された位置を計算し、前記センサデータに基づいて前記ユーザの速度および加速度を計算し、前記更新された位置、前記速度、および前記加速度を、前記GPUに関連付けられたワー

10プエンジンに供給するように構成される、専用センサ処理コンポーネントと備える、コンピュータシステム。
【請求項２３】
前記更新された位置、前記速度、および前記加速度は、ダブルデータレート(DDR)メモ
リ中に格納されるとともに前記GPUに関連付けられたコマンドバッファに直接供給される、請求項22に記載のコンピュータシステム。
【請求項２４】
前記更新された位置、前記速度、および前記加速度は、GPUに関連付けられたコマンド
バッファをバイパスしながら、前記GPUに直接供給される、請求項22に記載のコンピュ

20

ータシステム。
【請求項２５】
前記1つまたは複数のセンサは、前記専用センサ処理コンポーネントに各々が電気的に結合されるカメラ、加速度計、およびジャイロセンサを備える、請求項22に記載のコンピュータシステム。
【請求項２６】
前記ワープエンジンは前記GPUによって実装される、請求項22に記載のコンピュータシ
ステム。
【請求項２７】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいて、レンダリン

30

グ解像度を調整するように構成される、請求項22に記載のコンピュータシステム。
【請求項２８】
前記仮想現実アプリケーション、前記GPU、および前記専用センサ処理コンポーネント
は、ダブルデータレート(DDR)メモリに電気的に結合されるシステムオンチップ(SoC)
上に存在する、請求項22に記載のコンピュータシステム。
【請求項２９】前記専用センサ処理コンポーネントは中央処理ユニット(CPU)を備える、請求項22に記載のコンピュータシステム。
【請求項３０】ヘッドマウント仮想現実デバイス中に組み込まれる、請求項22に記載のコンピュータシ

40

ステム。
【発明の詳細な説明】【技術分野】【０００１】
優先権主張および関連出願の相互参照
本特許出願は、2016年7月29日に出願された、"SYSTEMS AND METHODS FOR RE
DUCING MOTION-TO-PHOTON LATENCY AND MEMORY BANDWIDTH IN A V
IRTUAL REALITY SYSTEM"という表題の米国特許仮出願第62/368,241号への、米国特許法第119条(e)に基づく優先権を主張し、上記の出願の内容全体が参照により本明細書に組み込まれる。

50

(5)

JP 2021-500102 A 2021.7.13【背景技術】【０００２】
仮想現実(VR)システムでは、動作反映(motion-to-photo:M2P)待ち時間または遅延が重要な性能メトリックである。M2P待ち時間は、ユーザの運動(たとえば、頭、眼、または他の身体部分)から、ディスプレイ上で仮想現実シーンが更新される時間までの時間遅延である。たとえば、ユーザがヘッドマウントディスプレイ(HMD)をつけた頭を左/右に動かしたとき、ユーザの運動をディスプレイ上で反映するのに50msかかる場合、50ms
が、仮想現実システムのM2P待ち時間である。高M2P待ち時間は、乏しい仮想現実エク
スペリエンスを提供し、ユーザが運動をすると、頭では、ディスプレイがそのアクションを反映するように更新されることを予期するので、乗り物酔いおよび吐き気を引き起こす10

場合さえもある。表示がユーザ運動よりも遅れると、ユーザは、方向感覚喪失および乗り物酔いを経験する場合がある。仮想現実ユーザに、別の場所にいること(「プレゼンス」と呼ばれる)を確信させるために、低M2P待ち時間が必要である。プレゼンスは、仮想現実ユーザが、コンピュータシミュレーションされた世界にいるかのように感じる状態である。HMDを用いると、M2P待ち時間がおよそ20msを下回ると、仮想現実システムでのプレゼンスが達成される場合があることが研究により示されている。
【０００３】
既存のVRシステムは、「タイムワープ」、「再投影」、または「再レンダリング」(まとめて、「タイムワープ」と呼ばれる)と呼ばれるグラフィックスレンダリング技法を使って、M2P待ち時間を低減する。タイムワープは、レンダリングされた画像を、レンダリ

20

ングの後に起きたユーザの運動を補正するために、ディスプレイに送信する前にワープすることを伴う。タイムワープは、待ち時間を低減し、フレームレート(すなわち、毎秒表
示フレーム数(fps))を増大するか、または維持する場合がある。このプロセスは、すでにレンダリングされた画像をとり、センサ(たとえば、HMDに収容されたセンサ)から取得された、収集された位置的情報に基づいて、予測される位置的情報で修正し、次いで修正された画像をVRディスプレイ上に表示する。
【０００４】
タイムワープなしの場合、VRシステムは、ユーザの位置についてのデータをキャプチャ
し、この位置的データに基づいて画像をレンダリングし、次いで次のシーンが迫ると画像を表示する。たとえば、毎秒60フレーム(fps)のVRアプリケーションでは、新たなシー

30

ンが16.7msごとに一度、表示される場合がある。表示される各画像は、およそ16.7ms
前に取得された位置的データに基づく。ただし、タイムワープを用いると、HMDは、位置的データをキャプチャし、位置的データに基づいて画像をレンダリングし、画像を表示
する前に、HMDは更新された位置的データをキャプチャする。更新された位置的データを使って、レンダリングされた画像は、ユーザの最新の位置に合うように、適切なアルゴ
リズムで修正され、次いでユーザに対して表示される。このようにして、修正された画像
は、表示時において、最初にレンダリングされた画像よりも最近のものになり、ユーザの位置をより正確に反映する。
【０００５】
ただし、既存のVRシステムには、M2P待ち時間を最適に最小限にすることを問題のある40ものにする可能性があるいくつかの制限がある。タイムワープを実装するとき、位置的データは通常、様々な中間ユニットによって操作される必要があり、レンダリングのためにグラフィックス処理ユニット(GPU)に届くまでに、ダブルデータレート(DDR)メモリとの間で複数のホップをとる。たとえば、中間位置的データは、中間フロントエンド(IFE)によって処理され、DDRメモリ中に記憶されてもよい。センサ処理コンポーネントおよび/または処理デバイスが、中間位置的データにアクセスし、位置を算出し、算出された位置をDDRメモリ中に記憶し、算出された位置を、VRアプリケーション、GPUコマンド
バッファ、ワープエンジンなどに提供してもよい。DDRメモリとの間のこれらの複数のホップにより、処理待ち時間が増大し、M2P待ち時間を最小限にする可能性を制限する可能性がある。

50

(6)JP 2021-500102 A 2021.7.13【０００６】
既存のVRシステムにおける別の限定は、利用可能なDDRメモリが欠如していることにある。仮想現実をシミュレートするために、ディスプレイ解像度は、非常に高い解像度(たとえば、片眼ごとに8Kピクセル)およびフレームレート(たとえば、120Hz)にある必要がある。両方の要因が、システムにおけるDDR帯域幅需要を大幅に増大する。これらの問題を軽減するために、既存のソリューションは、中心窩レンダリングなどのグラフィッ
クスレンダリング技法に頼る場合がある。
【発明の概要】【発明が解決しようとする課題】【０００７】

10

したがって、VRシステムにおけるM2P待ち時間およびDDR帯域幅需要を低減するための改善されたシステムおよび方法が必要である。
【課題を解決するための手段】【０００８】
仮想現実ディスプレイシステムにおける動作反映待ち時間およびDDRメモリ帯域幅を低減するためのシステム、方法、およびコンピュータプログラムが開示される。例示的な方法は、仮想現実アプリケーション用の、ユーザの並進および回転動作を追跡する1つまたは複数のセンサからセンサデータを受信するステップを伴う。ユーザの更新された位置は、受信されたセンサデータに基づいて計算される。ユーザ運動の速度および加速度は、センサデータに基づいて計算されてもよい。更新された位置、速度、および加速度は、レン20

ダリングされた画像を、更新された位置、速度、および加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する前に更新するように構成されるハードウェア
ワープエンジンに提供されてもよい。
【０００９】
別の実施形態は、ユーザの並進および回転動作を追跡するための1つまたは複数のセンサを備えるコンピュータシステムである。コンピュータシステムは、処理デバイスによって実行される仮想現実アプリケーションを含む。グラフィック処理ユニット(GPU)が、仮
想現実アプリケーションに関連付けられた、レンダリングされた画像を表示する。専用セ
ンサ処理コンポーネントが、1つまたは複数のセンサおよびGPUに電気的に結合される。
専用センサ処理コンポーネントは、1つまたは複数のセンサからセンサデータを受信し、30

センサデータに基づいて、ユーザの更新された位置ならびに速度および加速度を計算する。専用センサ処理コンポーネントは、更新された位置、速度、および加速度を、GPUに関連付けられたワープエンジンに供給する。
【００１０】
図では、同様の参照番号は、その他の形で示されない限り、様々な図の全体を通して同様の部分を指す。"102A"または"102B"などの文字指定を伴う参照番号の場合、文字指定
は、同じ図に存在している2つの同様の部分または要素を区別する場合がある。参照番号
がすべての図において同じ参照番号を有するすべての部分を含むことが意図されるとき、参照番号に対する文字指定は省略される場合がある。
【図面の簡単な説明】

40【００１１】【図１】仮想現実システムにおける動作反映待ち時間およびDDR帯域幅を低減するためのシステムの実施形態のブロック図である。
【図２】図1のシステムを組み込むためのヘッドマウント仮想現実ディスプレイの実施形
態を示す図である。
【図３】図1の仮想現実システムにおけるデータフローの実施形態を示す図である。
【図４】図1におけるセンサデータ処理オフロードハードウェアの例示的な実施形態のコ
ンポーネントおよび入力/出力を示す図である。
【図５】動作反映待ち時間およびDDR帯域幅を低減するための図1のシステムにおいて実装される方法の実施形態を示すフローチャートである。

50

(7)

JP 2021-500102 A 2021.7.13【図６】図1の仮想現実システムのいくつかの態様を実装するためのポータブルコンピュ
ーティングデバイスの実施形態のブロック図である。
【発明を実施するための形態】【００１２】「例示的」という語は、本明細書では「例、事例、または例示として機能すること」を意味するために使用される。本明細書で「例示的」と記載されている任意の態様は、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきではない。
【００１３】
本明細書において、「アプリケーション」という用語はまた、オブジェクトコード、スク
リプト、バイトコード、マークアップ言語ファイル、およびパッチなどの実行可能なコン10テンツを有するファイルを含む場合がある。さらに、本明細書で言及する「アプリケーシ
ョン」はまた、開かれる必要がある場合があるドキュメント、またはアクセスされる必要がある他のデータファイルなどの本質的に実行可能ではないファイルを含む場合がある。
【００１４】「コンテンツ」という用語はまた、オブジェクトコード、スクリプト、バイトコード、マークアップ言語ファイル、およびパッチなどの実行可能なコンテンツを有するファイルを含む場合がある。加えて、本明細書で参照される「コンテンツ」はまた、開かれる必要がある場合があるドキュメントまたはアクセスされる必要がある他のデータファイルなどの本質的に実行可能でないファイルを含む場合がある。
【００１５】

20

本説明で使用される場合、「コンポーネント」、「データベース」、「モジュール」、「システム」、「エンジン」などの用語は、ハードウェア、ファームウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、または実行中のソフトウェアのいずれかのコ
ンピュータ関連エンティティを指すことが意図される。たとえば、コンポーネントは、限定はしないが、プロセッサ上で稼働するプロセス、プロセッサ、オブジェクト、実行ファ
イル、実行のスレッド、プログラム、および/またはコンピュータであってもよい。例として、コンピューティングデバイス上で稼働しているアプリケーションとコンピューティ
ングデバイスとの両方がコンポーネントであってもよい。1つまたは複数のコンポーネン
トが、プロセスおよび/または実行のスレッド内に存在する場合があり、コンポーネント
が、1つのコンピュータに局在し、かつ/または2つ以上のコンピュータ間に分散される場

30

合がある。加えて、これらのコンポーネントは、様々なデータ構造を記憶している様々なコンピュータ可読媒体から実行してもよい。コンポーネントは、1つもしくは複数のデー
タパケット(たとえば、ローカルシステム、分散システムの中の別のコンポーネントと、
ならびに/またはインターネットなどのネットワークにわたって、信号により他のシステ
ムと対話する1つのコンポーネントからのデータなど)を有する信号などに従って、ローカルおよび/もしくは遠隔のプロセスにより通信してもよい。
【００１６】
図1は、仮想現実システムにおける動作反映(M2P)待ち時間およびダブルデータレート(
DDR)帯域幅需要を低減するためのシステム100の実施形態を示す。システム100は、様々なタイプの仮想現実システム(たとえば、ヘッドセット、ゴーグル、アイウェア、外部

40

VRディスプレイ、投射システムなど)において実装されてもよいことを了解されたい。図2の実施形態に示されるように、システム100は、ユーザによって装着される一体型ヘッドマウントディスプレイ(HMD)200に組み込まれてもよい。他の実施形態では、システ
ム100におけるコンポーネントのうちのいくつかは、HMD200に統合されてもよく、他のコンポーネントは、外部処理システム(たとえば、ポータブルコンピューティングデバイス)または外部ディスプレイ(たとえば、コンピュータディスプレイ、投射ディスプレイ
など)によって提供されてもよい。
【００１７】
図1に示すように、システム100は、メモリバスを介して1つまたは複数のセンサとメモ
リシステムとに電気的に結合されるシステムオンチップ(SoC)102を備える。図1の実施

50

(8)

JP 2021-500102 A 2021.7.13

形態において、メモリシステムは、ランダムアクセスメモリ(RAM)バス(たとえば、ダブ
ルデータレート(DDR)バス105)を介してSoC102に結合されるダイナミックランダムア
クセスメモリ(DRAM)104を備える。センサは、カメラ124、加速度計センサ126、およびジャイロスコープセンサ128を備えてもよく、これらの各々は、SoC102中に存在するセンサ入力/出力(I/O)コンポーネント120に電気的に結合される場合がある。図2に示すように、センサは、システム100が、6自由度(6DOF)を使って、3次元空間内でのユーザ(たとえば、ユーザの頭、眼、および/または他の身体部分)の回転および並進運
動を追跡することを可能にする。当技術分野において知られているように、6DOFという用語は、3次元空間におけるユーザの運動の自由度を指す。センサは、3つの垂直軸(すなわち、ピッチ、ヨー、およびロール)の回りの回転を通した配向の変化と組み合わされた10、3つの垂直軸における前/後(サージ)、上/下(ヒーブ)、左/右(スウェイ)並進としての動作を追跡する。
【００１８】
様々なタイプ、構成、および数のセンサがシステム100において実装されてもよく、1つまたは複数のカメラ124が、眼の動きを追跡してもよい。1つまたは複数の加速度計セン
サ126が、ユーザの頭および/または他の身体部分の適切な加速度の規模および/または方向の変化を検知してもよい。1つまたは複数のジャイロスコープセンサ128が、ユーザの頭および/または他の身体部分の角度動作を追跡するのに使われてもよい。
【００１９】
図1に示すように、SoC102は、SoCバス122を介して相互接続される、中央処理ユニッ

20

ト(CPU)106、グラフィックス処理ユニット(GPU)108、1つまたは複数の仮想現実ア
プリケーションコンポーネント120、DRAMコントローラ112、システムキャッシュ11
8、スタティックランダムアクセスメモリ(SRAM)116、読出し専用メモリ(ROM)114、およびセンサI/O120を備える。システム100は、ハイレベルオペレーティングシステム(HLOS)122を含む。
【００２０】
仮想現実アプリケーションコンポーネント120は、仮想現実環境を提供するための専用処理デバイス(たとえば、アプリケーションデジタル信号プロセッサ(ADSP))として実装されてもよい。他の実施形態では、仮想現実アプリケーション120は、CPU106および
GPU108上で実行するソフトウェアを備えてもよい。仮想現実環境は、たとえばビデオ

30

ゲーミング、エンターテインメント、設計アプリケーション、トレーニングシミュレーシ
ョン、産業アプリケーションなどを含む、どの望ましい目的のために設計されてもよいことを了解されたい。
【００２１】DRAMコントローラ112は、DDRバス105を介したデータの転送を制御する。システム
キャッシュ118は、データについての将来の要求がより速くサーブされることが可能であるようにデータを記憶するコンポーネントである。ある実施形態では、システムキャッ
シュ118は、SoC102上の複数のメモリクライアントの間で共有される最終レベルキャ
ッシュをもつマルチレベル階層(たとえば、L1キャッシュ、L2キャッシュなど)を備える
場合がある。

40【００２２】
図1に示すように、システム100は、センサデータ処理オフロードハードウェアコンポー
ネント130をさらに備える。センサデータ処理オフロードハードウェアコンポーネント1
30は、センサデータの処理をオフロードするように構成される専用ハードウェアユニッ
トを備える。専用ハードウェアユニットへのセンサデータ処理のオフロードは、センサデ
ータ処理オフロードハードウェアコンポーネント130を介して、追跡センサからGPU108への最適化センサデータフローパイプラインを提供することによってM2P待ち時間およびDDR帯域幅需要を低減する場合があることを了解されたい。最適化センサデータフロ
ーパイプラインは、追跡センサ(たとえば、センサI/O120を介したカメラ124、加速度計センサ126、ジャイロスコープセンサ128)からの直接供給132およびGPU108への直

50

(9)

JP 2021-500102 A 2021.7.13

接供給を含む。
【００２３】
図3は、仮想現実システム100におけるM2P待ち時間およびDDR帯域幅需要を低減する
ためのセンサデータフローパイプライン300の実施形態を示す。センサデータ処理オフ
ロードハードウェアコンポーネント130は、それぞれインターフェース301、303、および305を介して、加速度計センサ126、ジャイロスコープセンサ128、およびカメラ1
24から未加工センサデータを受信する場合がある。センサデータ処理オフロードハード
ウェアコンポーネント130は、センサデータを処理するための計算エンジンを備える。
カメラ124、加速度計センサ126、およびジャイロスコープセンサ128からの未加工センサデータは、並進および回転座標に変換されてもよい。ジャイロスコープセンサ128

10および/または加速度計センサ126から受信されたデータに基づいて、速度および加速度情報が計算されてもよい。このように、計算エンジンは、更新された位置的情報、ならびにワープエンジンに提供される場合がある速度および加速度データを判断することを了解されたい。速度および加速度データは、ユーザの位置をより正確に予測するのに使われてもよい。たとえば、速度および加速度データを用いて、ワープエンジンは、更新時にユー
ザがどこにいるかを予測することができる。ワープエンジンは、レンダリング解像度を調整するために、速度データを眼追跡情報とともに使ってもよい。たとえば、ユーザの頭(または眼)が十分速く(たとえば、一定の閾、すなわち100度/秒を超えて)動いている場
合、レンダリングは、DDR帯域幅を最小限にするために、より低い解像度で実施されて
もよい。

20

【００２４】
図3に示すように、センサデータ処理オフロードハードウェアコンポーネント130は、更新された位置的情報、速度データ、および/または加速度データをDRAMメモリ104中に存在するGPUコマンドバッファ314に直接供給してもよい(参照番号331)。当技術分野において知られているように、GPUコマンドバッファ314は、レンダリングされた画像をステレオディスプレイ302において表示するためのコマンドをGPU108に与える。GP
U108がハードウェアワープエンジンを含む場合、センサデータ処理オフロードハードウ
ェアコンポーネント130は、更新された位置的情報、速度データ、および/または加速度データをGPU108に直接供給する(参照番号335)ことによってコマンドバッファ314をバイパスしてもよい。仮想現実アプリケーション120は、コマンドバッファ314とイン

30

ターフェースする(参照番号329)。
【００２５】
GPU108は、マルチビューレンダリングされた画像320を生成するためのテクスチャプ
ロセス(ブロック316)を実装してもよい(参照番号337および339)。GPU108はまた、後処理された画像324を生成するためのタイル行プロセス(ブロック322)を実装してもよい(参照番号343)。後処理された画像324は、ディスプレイ302上に提示される(参照番号343および345)。
【００２６】
図3にさらに示すように、システム100は、センサ処理コンポーネント350により、従来のセンサ処理を実装してもよい。この場合、センサデータは、DRAMメモリ104に書き40

込まれることになる。センサデータは次いで、センサデータ処理ブロック350(図3)によって取り出され、位置的および回転情報を生成するように処理されることになり、この情報は次いでVRアプリケーション120またはCPU106(図3)によって後で消費するために
DRAMメモリ104に戻されて書き込まれる。センサデータ処理は、DRAMメモリ104を複数回読み取り、書き込むことを伴ってもよいことを了解されたい。図3にさらに示すよ
うに、カメラデータは、CPU106またはVRアプリケーション120によって消費される前にIFE(撮像フロントエンド)304ブロック、および次いでIPE(撮像後処理エンジン)ブロック310によって処理される。
【００２７】
図4は、センサデータ処理オフロードハードウェア130の例示的な実施形態のコンポーネ

50

(10)

JP 2021-500102 A 2021.7.13

ントおよび入力/出力を示す。本実施形態では、センサデータ処理オフロードハードウェ
ア130は、サンプリング/フィルタリングコンポーネント404、構成レジスタ402、計算
エンジン406、およびメモリ(たとえば、SRAM408)を備える。CPU106は、構成レジ
スタ402を介して、センサデータ処理オフロードハードウェア130の側面を制御および/またはプログラムしてもよい。SRAM408は、履歴的、位置的、速度、および加速度データを記憶してもよく、これらのデータは、計算エンジン406を強化する場合がある。
サンプリング/フィルタリングコンポーネント404は、カメラ124、加速度計センサ126、およびジャイロスコープセンサ128から未加工センサデータ401を受信する。サンプ
リング/フィルタリングコンポーネント404は、未加工センサデータ401中のノイズを低減してもよい。フィルタリングされた位置情報に基づいて、計算エンジン406は、ワー

10プエンジン403に提供される速度データ414、および/または加速度416を生成するための様々なアルゴリズムを実行してもよいことを了解されたい。これらのアルゴリズムは、
速度および加速度データを作成するために、それぞれ位置的データの単純な第1または第2の導出物をとることを含む。
【００２８】
図5は、動作反映待ち時間およびDDR帯域幅を低減するための、システム100において実装される方法500の実施形態を示す。ブロック502において、未加工センサデータ401
は、仮想現実ユーザの並進および回転動作を追跡する1つまたは複数のセンサ(たとえば、カメラ124、加速度計センサ126、およびジャイロスコープセンサ128)から受信される。ブロック504において、センサデータ処理オフロードハードウェア130は、受信さ20れたセンサデータに基づいて、ユーザについての更新された位置データを計算する。セン
サデータ処理オフロードハードウェア130はまた、受信されたセンサデータに基づいて
速度および加速度データを計算してもよい(ブロック506)。ブロック508において、センサデータ処理オフロードハードウェア130は、更新された位置、速度、および/または加速度をワープエンジン403に直接供給してもよい。
【００２９】
上述のように、システム100は、任意の望ましいコンピューティングシステム内に組み込まれてもよい。図6は、仮想現実システム100の1つまたは複数のコンポーネントが例
示的なポータブルコンピューティングデバイス(PCD)600に組み込まれている実施形態を示す。PCD600は、スマートフォン、タブレットコンピュータ、ウェアラブルデバイ

30ス(たとえば、HMD200)を備えてもよい。システム100のいくつかのコンポーネント(
たとえば、センサデータ処理オフロードハードウェア130および仮想現実アプリケーシ
ョン120)が、SoC322(図6)上で含まれるが、他のコンポーネント(たとえば、DRAM104)は、SoC322に結合される外部コンポーネントであることが容易に了解されよう。SoC322は、マルチコアCPU602を含んでもよい。マルチコアCPU602は、第0のコア61
0、第1のコア612および第Nのコア614を含んでもよい。コアのうちの1つは、たとえばグラフィックス処理ユニット(GPU)を備えてもよく、他のコアのうちの1つまたは複数
は、CPUを備える。
【００３０】
ディスプレイコントローラ328およびタッチスクリーンコントローラ330は、CPU602

40に結合されてもよい。一方、オンチップシステム322の外部にあるタッチスクリーンディスプレイ606は、ディスプレイコントローラ328およびタッチスクリーンコントロー
ラ330に結合されてもよい。
【００３１】
図6は、ビデオエンコーダ334、たとえば位相反転線(PAL)エンコーダ、順次式カラーメ
モリ(SECAM)エンコーダ、または全米テレビジョン方式委員会(NTSC)エンコーダが、マルチコアCPU602に結合されることをさらに示す。さらに、ビデオ増幅器336がビデ
オエンコーダ334とタッチスクリーンディスプレイ606とに結合される。また、ビデオ
ポート338がビデオ増幅器336に結合される。図6に示すように、ユニバーサルシリアル
バス(USB)コントローラ340がマルチコアCPU602に結合される。また、USBポート34

50

(11)

JP 2021-500102 A 2021.7.13

2がUSBコントローラ340に結合される。メモリ104および加入者識別モジュール(SIM)
カード346も、マルチコアCPU602に結合されてもよい。
【００３２】
さらに、図6に示すように、デジタルカメラ348がマルチコアCPU602に結合されてもよい。例示的な態様において、デジタルカメラ348は、電荷結合デバイス(CCD)カメラまたは相補型金属酸化物半導体(CMOS)カメラである。
【００３３】
図6にさらに示すように、ステレオオーディオコーダ-デコーダ(コーデック)350がマル
チコアCPU602に結合されてもよい。さらに、オーディオ増幅器352がステレオオーディオコーデック350に結合されてもよい。例示的な態様では、第1のステレオスピーカー

10354および第2のステレオスピーカー356がオーディオ増幅器352に結合される。図6は、マイクロフォン増幅器358もまたステレオオーディオコーデック350に結合されてもよいことを示す。さらに、マイクロフォン360がマイクロフォン増幅器358に結合されてもよい。特定の態様では、周波数変調(FM)無線チューナー362がステレオオーディオ
コーデック350に結合される場合がある。また、FMアンテナ364が、FM無線チューナ
ー362に結合される。さらに、ステレオヘッドフォン366がステレオオーディオコーデ
ック350に結合されてもよい。
【００３４】
図6は、無線周波数(RF)トランシーバ368がマルチコアCPU602に結合されてもよいことをさらに示す。RFスイッチ370が、RFトランシーバ368およびRFアンテナ372に結20合されてもよい。キーパッド204が、マルチコアCPU602に結合されてもよい。また、マイクロフォン付きモノヘッドセット376が、マルチコアCPU602に結合されてもよい。さらに、バイブレータデバイス378がマルチコアCPU602に結合されてもよい。
【００３５】
図6はまた、電源380がオンチップシステム322に結合されてもよいことを示す。特定の態様では、電源380は、電力を必要とするPCD600の様々なコンポーネントに電力を供給する直流(DC)電源である。さらに、特定の態様では、電源は、充電式DCバッテリ、またはAC電源に接続された交流(AC)からDC変圧器へと誘導されるDC電源である。
【００３６】
図6はさらに、PCD600がまた、データネットワーク、たとえばローカルエリアネットワ

30

ーク、パーソナルエリアネットワーク、または任意の他のネットワークにアクセスするために使用される場合があるネットワークカード388を含んでもよいことを示す。ネット
ワークカード388は、Bluetooth(登録商標)ネットワークカード、WiFiネットワークカ
ード、パーソナルエリアネットワーク(PAN)カード、パーソナルエリアネットワーク超低電力技術(PeANUT)ネットワークカード、テレビジョン/ケーブル/衛星チューナー、または当技術分野でよく知られている任意の他のネットワークカードであってもよい。さらに、ネットワークカード388は、チップ内に組み込まれる場合があり、すなわち、ネットワークカード388は、チップ内のフルソリューションである場合があり、別個のネットワークカード388でなくてもよい。
【００３７】40

図6に示すように、タッチスクリーンディスプレイ606、ビデオポート338、USBポート
342、カメラ348、第1のステレオスピーカー354、第2のステレオスピーカー356、マイクロフォン360、FMアンテナ364、ステレオヘッドフォン366、RFスイッチ370、R
Fアンテナ372、キーパッド374、モノヘッドセット376、バイブレータ378、および電源380は、オンチップシステム322の外部にあってもよい。
【００３８】
本明細書において説明する方法ステップのうちの1つまたは複数は、上記のモジュールなどのコンピュータプログラム命令としてメモリに記憶される場合があることを了解されたい。これらの命令は、本明細書で説明した方法を実施するために対応するモジュールと組
み合わせて、または協働して、任意の適切なプロセッサによって実行されてもよい。

50

(12)

JP 2021-500102 A 2021.7.13【００３９】
本明細書で説明するプロセスまたはプロセスフローにおけるいくつかのステップは、当然、説明したように本発明が機能するために他のステップに先行する。しかしながら、そのような順序またはシーケンスが本発明の機能を変えない場合には、本発明は、説明したス
テップの順序に限定されない。すなわち、本発明の範囲および趣旨から逸脱することなく、あるステップは、他のステップの前に実施されるか、後に実施されるか、または他のステップと並行して(実質的に同時に)実施される場合があることを認識されたい。いくつかの例では、ある特定のステップは、本発明から逸脱することなく、省略されるか、または実施されない場合がある。さらに、「その後(thereafter)」、「次いで(then)」、「次に(next)」などの語は、ステップの順序を限定することを意図していない。これらの語

10は単に、例示的な方法の説明を通して読者を導くために使用される。
【００４０】
加えて、プログラミングにおける当業者は、たとえば本明細書におけるフローチャートおよび関連する説明に基づいて、難なく、開示した発明を実装するコンピュータコードを書くことができるか、または実装するのに適したハードウェアおよび/もしくは回路を識別することができる。
【００４１】
したがって、プログラムコード命令または詳細なハードウェアデバイスの特定のセットの開示が、本発明をどのように製作し使用すべきかについて適切に理解するために必要であるとは見なされない。特許請求されるコンピュータ実装プロセスの発明性のある機能は、

20

上記の説明において、かつ様々なプロセスフローを示す場合がある図とともに、より詳細に説明される。
【００４２】
1つまたは複数の例示的な態様では、説明する機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せとして実装されてもよい。ソフトウェアにおいて実装される場合、機能は、コンピュータ可読媒体上の1つまたは複数の命令またはコードとして記憶または送信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体と、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体との両方を含む。記憶媒体は、コンピュータによりアクセスされる場合がある任意の利用可能な媒体であってもよい。限定ではなく例として、そのようなコンピュ

30

ータ可読媒体は、RAM、ROM、EEPROM、NANDフラッシュ、NORフラッシュ、M-R
AM、P-RAM、R-RAM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクス
トレージもしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形態で所望のプログラムコードを搬送もしくは記憶するために使用され、コンピュータによってアクセスされる場合がある任意の他の媒体を含んでもよい。
【００４３】
また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェア
が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線("DSL")、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト
、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケ

40

ーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。
【００４４】
本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)("CD")、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)("DVD")、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
【００４５】50

(13)JP 2021-500102 A 2021.7.13

代替的な実施形態は、本発明がその趣旨および範囲から逸脱することなく関係する技術分
野の当業者には明らかとなろう。したがって、選択された態様が図示され詳細に説明されてきたが、以下の特許請求の範囲によって定義されるように、本発明の趣旨および範囲から逸脱することなく、態様において様々な置換および改変が行われてもよいことが理解されよう。
【符号の説明】【００４６】
100 システム、仮想現実システム
102 システムオンチップ(SoC)
104 ダイナミックランダムアクセスメモリ(DRAM)、DRAMメモリ

10105 ダブルデータレート(DDR)バス
106 中央処理ユニット(CPU)108 グラフィックス処理ユニット(GPU)112 DRAMコントローラ
114 読出し専用メモリ(ROM)116 スタティックランダムアクセスメモリ(SRAM)
118 システムキャッシュ120 センサ入力/出力(I/O)コンポーネント、センサI/O
120 仮想現実アプリケーションコンポーネント、仮想現実アプリケーション
122 SoCバス

20

124 カメラ126 加速度計センサ
128 ジャイロスコープセンサ
130 センサデータ処理オフロードハードウェアコンポーネント、センサデータ処理オフ
ロードハードウェア
200 一体型ヘッドマウントディスプレイ(HMD)
204 キーパッド
300 センサデータフローパイプライン
301 インターフェース
302 ステレオディスプレイ、ディスプレイ

30

303 インターフェース
304 IFE(撮像フロントエンド)
305 インターフェース
310 IPE(撮像後処理エンジン)ブロック
314 GPUコマンドバッファ、コマンドバッファ
322 SoC、オンチップシステム
328 ディスプレイコントローラ
330 タッチスクリーンコントローラ
334 ビデオエンコーダ
336 ビデオ増幅器

40338 ビデオポート
340 ユニバーサルシリアルバス(USB)コントローラ
342 USBポート
346 加入者識別モジュール(SIM)カード
348 デジタルカメラ、カメラ
350 センサ処理コンポーネント、センサデータ処理ブロック
350 ステレオオーディオコーダ-デコーダ(コーデック)
352 オーディオ増幅器
354 第1のステレオスピーカー
356 第2のステレオスピーカー
358 マイクロフォン増幅器

50

(14)

JP 2021-500102 A 2021.7.13

360 マイクロフォン
362 周波数変調("FM")無線チューナー
364 FMアンテナ
366 ステレオヘッドフォン
368 無線周波数(RF)トランシーバ
370 RFスイッチ
372 RFアンテナ
374 キーパッド
376 マイクロフォン付きモノヘッドセット、モノヘッドセット
378 バイブレータデバイス、バイブレータ

10

380 電源388 ネットワークカード
404 サンプリング/フィルタリングコンポーネント
402 構成レジスタ
403 ワープエンジン
406 計算エンジン
408 SRAM
600 ポータブルコンピューティングデバイス(PCD)
602 マルチコアCPU、CPU
606 タッチスクリーンディスプレイ

20

610 第0のコア
612 第1のコア
614 第Nのコア
【図面】
【図１】

【図２】

30

40

50

(15)

【図３】

JP 2021-500102 A 2021.7.13

【図４】

10

20

【図５】

【図６】

30

40

50

(16)

JP 2021-500102 A 2021.7.13【手続補正書】【提出日】平成31年1月18日(2019.1.18)【手続補正１】【補正対象書類名】特許請求の範囲【補正対象項目名】全文【補正方法】変更【補正の内容】

10

20

30

40

50

(17)

JP 2021-500102 A 2021.7.13【特許請求の範囲】【請求項１】
仮想現実ディスプレイシステムにおける動作反映待ち時間およびメモリ帯域幅を低減する方法であって、専用センサ処理コンポーネントによって、仮想現実アプリケーションのための、ユーザの並進および回転動作を追跡する1つまたは複数のセンサから直接センサデータを受信する
ステップと、
前記専用センサ処理コンポーネントによって、前記センサデータに基づいて前記ユーザの更新された位置を計算するステップと、前記専用センサ処理コンポーネントによって、前記センサデータに基づいて前記ユーザの10

速度および加速度を計算するステップと、前記専用センサ処理コンポーネントによって、前記更新された位置、前記速度、および前
記加速度をグラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファおよ
び前記GPUによって実装されるワープエンジンに直接提供するステップであって、前記G
PUは、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する前にレンダリングされた画像を更新するように構成される、ステップとを含む、方法。
【請求項２】
前記更新された位置、前記速度、および前記加速度をコマンドバッファに直接提供するス

20

テップは、前記コマンドバッファを有するダブルデータレート(DDR)メモリに前記更新された位置、前記速度、および前記加速度を提供するステップを含む、請求項1に記載の方法。
【請求項３】
前記1つまたは複数のセンサは、カメラ、加速度計、およびジャイロスコープセンサを備える、請求項1に記載の方法。
【請求項４】
専用ハードウェアデバイスが、前記センサデータを前記カメラ、前記加速度計、および前記ジャイロスコープセンサから直接受信する、請求項3に記載の方法。
【請求項５】

30

前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいてレンダリング
解像度を調整するようにさらに構成される、請求項1に記載の方法。
【請求項６】
ヘッドマウント仮想現実デバイスにおいて実装される、請求項1に記載の方法。
【請求項７】
仮想現実ディスプレイシステムにおける動作反映待ち時間およびメモリ帯域幅を低減する
ためのシステムであって、仮想現実アプリケーションのための、ユーザの並進および回転動作を追跡する1つまたは複数のセンサから直接センサデータを受信するための手段と、前記センサデータに基づいて前記ユーザの更新された位置を計算するための手段と、前記

40

センサデータに基づいて前記ユーザの速度および加速度を計算するための手段と、前記更新された位置、前記速度、および前記加速度をグラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファおよび前記GPUによって実装されるワープエンジンに直接提供するための手段であって、前記GPUは、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する前にレンダリングされた画像を更新するように構成される、手段とを備える、システム。
【請求項８】
前記コマンドバッファはダブルデータレート(DDR)メモリ中に格納される、請求項7に記載のシステム。

50

(18)JP 2021-500102 A 2021.7.13【請求項９】
前記1つまたは複数のセンサは、カメラ、加速度計、およびジャイロスコープセンサを備える、請求項7に記載のシステム。
【請求項１０】前記センサデータを前記受信するための手段は、前記カメラ、前記加速度計、および前記
ジャイロセンサに結合される専用ハードウェアユニットを備える、請求項9に記載のシステム。
【請求項１１】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいてレンダリング
解像度を調整するようにさらに構成される、請求項7に記載のシステム。

10【請求項１２】
ヘッドマウント仮想現実デバイスにおいて実装される、請求項7に記載のシステム。
【請求項１３】
処理デバイスによって実行されると、仮想現実ディスプレイシステムにおける動作反映待ち時間およびメモリ帯域幅を低減するための方法を実装する命令をコンピュータ実行可能
な形で記憶した非一時的コンピュータ可読記録媒体であって、前記方法は、専用センサ処理コンポーネントによって、仮想現実アプリケーションのための、ユーザの並進および回転動作を追跡する1つまたは複数のセンサから直接センサデータを受信する
ステップと、
前記専用センサ処理コンポーネントによって、前記センサデータに基づいて前記ユーザの20更新された位置を計算するステップと、前記専用センサ処理コンポーネントによって、前記センサデータに基づいて前記ユーザの速度および加速度を計算するステップと、前記専用センサ処理コンポーネントによって、前記更新された位置、前記速度、および前
記加速度をグラフィックス処理ユニット(GPU)に関連付けられたコマンドバッファおよ
び前記GPUによって実装されるワープエンジンに直接提供するステップであって、前記G
PUは、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する前にレンダリングされた画像を更新するように構成される、ステップとを含む、非一時的コンピュータ可読記録媒体。

30【請求項１４】
前記更新された位置、前記速度、および前記加速度を前記コマンドバッファに直接提供
するステップは、前記更新された位置、前記速度、および前記加速度を、前記コマンドバ
ッファを有するダブルデータレート(DDR)メモリに提供するステップを含む、請求項13に記載の非一時的コンピュータ可読記録媒体。
【請求項１５】
前記1つまたは複数のセンサは、カメラ、加速度計、およびジャイロセンサを備える、請求項13に記載の非一時的コンピュータ可読記録媒体。
【請求項１６】
専用ハードウェアデバイスが、前記センサデータを前記カメラ、前記加速度計、および前40

記ジャイロセンサから直接受信する、請求項15に記載の非一時的コンピュータ可読記録
媒体。
【請求項１７】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいてレンダリング
解像度を調整するようにさらに構成される、請求項13に記載の非一時的コンピュータ可
読記録媒体。
【請求項１８】ヘッドマウント仮想現実デバイスにおいて実装される、請求項13に記載の非一時的コン
ピュータ可読記録媒体。
【請求項１９】50

(19)JP 2021-500102 A 2021.7.13

仮想現実ディスプレイシステムにおける動作反映待ち時間を低減するためのコンピュータ
システムであって、ユーザの並進および回転動作を追跡するための1つまたは複数のセンサと、処理デバイスによって実行される仮想現実アプリケーションと、
前記仮想現実アプリケーションに関連付けられた、レンダリングされた画像を表示するためのグラフィックス処理ユニット(GPU)と、
前記1つまたは複数のセンサおよび前記GPUに電気的に結合される専用センサ処理コンポーネントであって、
前記1つまたは複数のセンサから直接センサデータを受信することと、
前記センサデータに基づいて前記ユーザの更新された位置を計算することと、

10

前記センサデータに基づいて前記ユーザの速度および加速度を計算することと、
前記更新された位置、前記速度、および前記加速度を前記GPUに関連付けられたコマン
ドバッファおよび前記GPUによって実装されるワープエンジンに直接供給することと、
前記GPUによって、前記更新された位置、前記速度、および前記加速度のうちの1つまたは複数に基づいて、仮想現実ディスプレイに送信する前にレンダリングされた画像を更新することとを行うように構成される、専用センサ処理コンポーネントとを備える、コンピュータシステム。
【請求項２０】
前記コマンドバッファはダブルデータレート(DDR)メモリ中に格納される、請求項19に20

記載のコンピュータシステム。
【請求項２１】
前記1つまたは複数のセンサは、前記専用センサ処理コンポーネントに各々が電気的に結合されるカメラ、加速度計、およびジャイロセンサを備える、請求項19に記載のコンピュータシステム。
【請求項２２】
前記ワープエンジンは、前記速度および前記加速度のうちの1つに基づいてレンダリング
解像度を調整するように構成される、請求項19に記載のコンピュータシステム。
【請求項２３】
前記仮想現実アプリケーション、前記GPU、および前記専用センサ処理コンポーネント

30

は、ダブルデータレート(DDR)メモリに電気的に結合されるシステムオンチップ(SoC)
上に存在し、前記コマンドバッファは前記DDRメモリ中に格納される、請求項19に記載のコンピュータシステム。
【請求項２４】
前記専用センサ処理コンポーネントは中央処理ユニット(CPU)を備える、請求項19に記載のコンピュータシステム。
【請求項２５】ヘッドマウント仮想現実デバイス中に組み込まれる、請求項19に記載のコンピュータシ
ステム。
40

50

(20)

JP 2021-500102 A 2021.7.13【国際調査報告】

10

20

30

40

50

(21)

JP 2021-500102 A 2021.7.13

10

20

30

40

50

(22)

JP 2021-500102 A 2021.7.13

10

20

30

40

50

(23)

JP 2021-500102 A 2021.7.13

フロントページの続き(51)国際特許分類

ＦＩ
Ｇ０９Ｇ

テーマコード（参考）
5/00

５３０Ａ

米国(US)(81)指定国・地域

AP(BW,BW,GH,GH,GM,GM,KE,KE,LR,LR,LS,LS,MW,MW,MZ,MZ,NA,NA,RW,RW,SD,SD,SL,SL,ST,
ST,SZ,TZ,TZ,UG,UG,ZM,ZM,ZW,ZW),EA(AM,AM,AZ,AZ,BY,BY,KG,KG,KZ,KZ,RU,RU,TJ,TJ,TM,TM),
EP(AL,AL,AT,AT,BE,BG,BG,CH,CH,CY,CZ,CZ,DE,DE,DK,DK,EE,EE,ES,ES,FI,FI,FR,GB,GB,GR,HR,HR,
HU,HU,IE,IS,IS,IT,LT,LU,LU,LV,MC,MK,MK,MT,NL,NO,NO,PL,PL,PT,PT,RO,RO,RS,RS,SE,SE,SI,SK,
SK,SM,SM,TR,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AO,AU,
BA,BB,BH,BN,BR,BZ,CA,CL,CN,CO,CR,CU,DJ,DM,DO,DZ,EC,EG,GD,GE,GT,HN,ID,IL,IN,IR,JO,JP,KH,
KN,KP,KR,KW,LA,LC,LK,LY,MA,MD,ME,MG,MN,MX,MY,NG,NI,NZ,OM,PA,PE,PG,PH,QA,SA,SC,SG,SV,SY,TH,TN,TT,UA,US,UZ,VC,VN,ZA

１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５(72)発明者

ニョン・クアック
アメリカ合衆国・カリフォルニア・９２１２１・サン・ディエゴ・モアハウス・ドライヴ・５７７５Ｆターム（参考）

3D039

AB01

3J552

VB01W

10