(57)【要約】      （修正有）【課題】表示されるべきコンテンツを変更するためのフォービエイテッド・レンダリング・システム及び方法を提供する。【解決手段】フォービエイテッド・レンダリング・システムは、ユーザの頭の動きおよび目の動きに関する情報を含むユーザプロファイルを取得するように動作可能であるユーザプロファイル取得ユニットと、取得したユーザプロファイル情報に応じて、表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作するフォービエイテッド・レンダリング・ユニットと、を備える。【選択図】図１２
2020042807.tif 000002
【特許請求の範囲】
【請求項１】
表示されるべきコンテンツを変更するためのフォービエイテッド・レンダリング・システムであって、
ユーザの頭の動きおよび目の動きに関する情報を含むユーザプロファイルを取得するように動作可能であるユーザプロファイル取得ユニットと、
取得されたユーザプロファイル情報に応じて、前記表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能であるフォービエイテッド・レンダリング・ユニットと
を備えるシステム。
【請求項２】
前記ユーザプロファイルは、目の動きおよび頭の動きについてのユーザの好みを識別する、請求項１に記載のシステム。
【請求項３】
前記ユーザプロファイルは、表示されたコンテンツ要素間の１つ以上の視野の遷移の実行においてユーザによって使用される頭の動きおよび目の動きの割合を識別する、請求項２に記載のシステム。
【請求項４】
前記取得されたユーザプロファイルに応じて、ユーザの１つ以上のグループの特性を決定するように動作可能であるユーザプロファイル分析ユニットを備える、請求項１に記載のシステム。
【請求項５】
前記ユーザプロファイル分析ユニットは、すべてのユーザを含む単一のグループの特性を決定するように動作可能で、
前記フォービエイテッド・レンダリング・ユニットは、前記ユーザプロファイル分析ユニットによって決定された前記特性に応じて、前記表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能である、
請求項４に記載のシステム。
【請求項６】
前記ユーザプロファイル分析ユニットは、前記すべてのユーザのグループを代表するしきい値を上回る数のユーザに対応する特性を識別するように動作可能である、請求項４に記載のシステム。
【請求項７】
前記ユーザプロファイル分析ユニットは、ユーザプロファイル間の共有の特性に従ってユーザの１つ以上のグループを識別するように動作可能で、
前記フォービエイテッド・レンダリング・ユニットは、各々のグループについて表示されるべき処理済みコンテンツを生成するために、前記ユーザプロファイル分析ユニットによって決定された前記特性に応じて、前記表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能である、
請求項４に記載のシステム。
【請求項８】
前記フォービエイテッド・レンダリング・ユニットは、すでにフォービエイテッド・レンダリング処理が行われた表示されるべきコンテンツに、フォービエイテッド・レンダリング処理を適用するように動作可能である、請求項１に記載のシステム。
【請求項９】
ユーザの視線方向を検出するように動作可能である視線検出機構を備えており、
前記フォービエイテッド・レンダリング・ユニットは、前記ユーザの検出された視線方向に応じて、前記表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能である、請求項１に記載のシステム。
【請求項１０】
前記フォービエイテッド・レンダリング・ユニットは、取得されたユーザプロファイル情報に応じて、処理後の画像における高品質の画像領域のサイズおよび位置を変更するように動作可能である、請求項１に記載のシステム。
【請求項１１】
高品質の画像領域のサイズおよび位置は、前記表示されたコンテンツの領域間の１つ以上の視野の遷移の実行においてユーザによって使用される頭の動きおよび目の動きに依存する、請求項１０に記載のシステム。
【請求項１２】
高品質の画像領域は、より高い解像度、より多い色数、より高いフレームレート、および／またはより多い３次元画像の使用のうちの１つ以上を含む、請求項１に記載のシステム。
【請求項１３】
表示されるべきコンテンツを変更するためのフォービエイテッド・レンダリング方法であって、
ユーザの頭の動きおよび目の動きに関する情報を含むユーザプロファイルを取得するステップと、
取得されたユーザプロファイル情報に応じて、前記表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するステップと
を含む方法。
【請求項１４】
コンピュータによって実行されたときに請求項１３に記載の方法を前記コンピュータに実行させるコンピュータソフトウェア。
【請求項１５】
請求項１４に記載のコンピュータソフトウェアを格納した非一時的な機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、フォービエイテッド・レンダリング（ｆｏｖｅａｔｅｄ  ｒｅｎｄｅｒｉｎｇ）システムおよび方法に関する。
【背景技術】
【０００２】
近年においては、ビデオコンソールまたはコンピュータなどの処理装置のユーザに、より自然な入力を提供しようという傾向が存在している。例えば、ユーザがボタン操作に全面的に頼るよりもむしろジェスチャを使用してコマンドを入力できるようにするモーション検出コントローラを提供することが可能である。これは、直感的なコマンドの入力方法であると考えられるが、場合によっては、専用の入力装置の使用に関連するコストまたは不便さゆえに望ましくない可能性があり、これは、アプリケーションまたはハードウェアが他の目的に使用することができない専用のハードウェアを有する場合にとくに当てはまり、なぜならば、ユーザがいくつかの異なるアプリケーションまたはハードウェア装置の利用を望む可能性があるからである。
【０００３】
このような入力の別の例は、例えば手によるジェスチャ、頭の動き、または目の動きを追跡するなど、１つ以上のカメラでユーザを追跡する入力である。カメラは、例えばゲーム機またはコンピュータに関連付けられていても、スタンドアロンの追跡システムの一部であってもよい。このような方法は、ユーザがいかなる周辺機器も使用せずにシステムと相互作用することを可能にでき、したがって、自然で便利な入力方法と考えることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、これらのユーザ追跡方法は、いくつかの潜在的な欠点を有する可能性もある。
【０００５】
例えば、ジェスチャに基づく入力をもたらすために、ユーザが体を動かすのに余地の多い領域に位置しなければならない可能性があり、これは不便である可能性がある。さらに、体の一部を動かす必要があるため、とりわけ動作が頻繁であったり、繰り返されたり、あるいはユーザにとって不自然な場合や、体の不自由なユーザの場合に、ユーザは、疲労したり、不快に感じたりする可能性がある。このような問題は、ユーザがヘッドマウントディスプレイ（ＨＭＤ）にてコンテンツを眺める仮想現実（ＶＲ）の構成と組み合わせて使用されるとき、さらに明白になる可能性があり、この典型的な使用の事例において、ユーザは現実の環境内の障害物を視認することができず、（潜在的な）表示領域がテレビ受像機などの固定されたディスプレイと比べて（ユーザが通常はあらゆる方向に存在する仮想環境に置かれるがゆえに）大きくなるにつれて、より大きく動かなければならないかもしれない。
【０００６】
この観点から、相互作用型コンテンツについてのユーザの楽しみを高めるために、より快適なユーザエクスペリエンスを提供することが望ましいと考えられる。とくには、カメラに基づく改善された追跡および相互作用を提供するためのシステムおよび方法が、望ましいかもしれない。
【０００７】
以上の問題を背景に、本発明がもたらされる。
【課題を解決するための手段】
【０００８】
本開示は、請求項１によって定められる。
【０００９】
本開示のさらなるそれぞれの態様および特徴が、添付の特許請求の範囲に定められる。
【図面の簡単な説明】
【００１０】
次に、本発明の実施形態を、添付の図面を参照して、あくまでも例として説明する。
【図１】コンテンツ鑑賞の構成を概略的に示す図である。
【図２】第２のコンテンツ鑑賞の構成を概略的に示す図である。
【図３】較正ディスプレイを概略的に示す図である。
【図４】アイインヘッド（ｅｙｅ−ｉｎ−ｈｅａｄ）半径を概略的に示す図である。
【図５】視野の遷移（ｔｒａｎｓｉｔｉｏｎ）を実行するための２つの異なる方法の例を概略的に示す図である。
【図６】さらなる視野の遷移の例を概略的に示す図である。
【図７】いくつかの領域に分割された表示画面を概略的に示す図である。
【図８】３つの領域に分割された画面を概略的に示す図である。
【図９】３つの異なる領域に分割された画面を概略的に示す図である。
【図１０】フォービアルレンダリング（ｆｏｖｅａｌ  ｒｅｎｄｅｒｉｎｇ）処理を概略的に示す図である。
【図１１】ユーザプロファイル生成システムを概略的に示す図である。
【図１２】フォービエイテッド・レンダリング・システムを概略的に示す図である。
【図１３】ユーザプロファイル生成方法を概略的に示す図である。
【図１４】表示されるべきコンテンツを変更するためのフォービエイテッド・レンダリング方法を概略的に示す図である。
【発明を実施するための形態】
【００１１】
本明細書は、おおむね、コンテンツをユーザへと表示するために使用される表示装置がＨＭＤである構成に言及するが、提示される教示は、コンテンツをユーザへと示すためにテレビ受像機（または、他のディスプレイ）が使用されるより伝統的な構成にも同様に適用可能であり得る。
【００１２】
図１が、このような構成の概略図を示しており、この図から明らかなように、ユーザの視線は、ディスプレイの一部分のみに向けられており、結果として、ユーザは、ディスプレイの他の部分を眺めるために頭を動かす必要がある。
【００１３】
この図において、ユーザ１００は、ディスプレイ１１０に表示されたコンテンツを眺めている。さらに、カメラ１２０が、ディスプレイ１１０の上部に示されており、カメラ１２０を、ユーザの動き（例えば、目、頭、または体の動き）を追跡するために使用することができる。コーン１３０が、周辺視野の領域を無視し、まっすぐ前方を見つめているユーザ１００の視野角を表している。コーン１３０を、ユーザ１００が（例えば）目、頭、または全身を動かすことによって移動させることができる。コーン１４０が、ディスプレイ１１０の全体を眺めるために必要な視野角を表しており、これはコーン１３０よりも明らかに大きいため、ユーザは、ディスプレイ１１０の全体を眺めるために、頭および／または目を動かさなければならないと予想される。
【００１４】
別の構成が、図２に示されており、図２は、ユーザ１００が表示装置としてＨＭＤ２００を代わりに使用する同等の構成を概略的に示している。ユーザ１００に、仮想環境２２０の領域２１０に対応する視界が提示される。この場合、ユーザは、目の動きだけを使用して領域２１０のさまざまな領域を眺めることができる一方で、領域２１０の仮想環境２２０の外側の領域を眺めるためには、頭の動きも必要とされる可能性がある。
【００１５】
これらの構成の各々において、ユーザは、表示された（さらに／あるいは、ＨＭＤの場合には、表示され得る）すべてのコンテンツを眺めるために、頭および／または目を動かす必要がある。しかしながら、ユーザの直接の視野の外にあるコンテンツを眺めるための頭および／または目の動きの使用は、人によってさまざまであり得る。
【００１６】
例えば、一部のユーザは、頭の動きに大きく依存し、目の動きをまったく控える可能性があり、自身の眺めたい何かが自身の直接前方には存在しない場合はいつも、対象が自身の直接前方に位置するまで頭を動かす。当然ながら、そのようなユーザはおそらくはまれであり、少なくとも或る程度の目の動きが使用されると予想される。
【００１７】
分布の他端には、目の動きに大きく依存するユーザが存在する可能性があり、したがって、頭の動きが、その頭の位置ではコンテンツを眺めることがユーザにとって物理的に不可能である場合に限って実行される。
【００１８】
大部分のユーザは、これら２つの両極端の間の分布のどこかに存在すると考えられ、したがって、さまざまなユーザが、所望の視界を得ることができるように、頭および目の動きのさまざまな組み合わせを使用すると予想される。
【００１９】
一般に、とくには鑑賞の時間が長くなると、頭の動きよりも目の動きの方がユーザにとってより楽であり、より快適であると考えられる。したがって、視聴者がいつ頭および／または目を動かすかを考慮に入れるようにユーザエクスペリエンスを調整することが有利である可能性があり、これは、頭および／または目の動きを使用してコンテンツへの入力をもたらすことができる相互作用型コンテンツの観点から、とくに重要かもしれない。
【００２０】
図３は、頭および／または目の動きに関する情報を取得するための較正プロセスにおいてユーザへと表示され得る画面を概略的に示している。ディスプレイ３００（例えば、ＨＭＤによって提供される視界、またはＴＶなどの表示画面に対応する）が、ユーザの焦点領域および視覚の周囲の領域をそれぞれ示す同心円３１０および３２０と共に図示されている。
【００２１】
ディスプレイ３００上には、文字Ａ〜Ｅで表されるいくつかのマーカも示されており、ユーザを、それらのそれぞれを順番に見つめるように促すことができる。さらなるマーカ（Ｆ）が、ディスプレイ３００の外側に示されているが、表示された視点を変えることによってユーザによって視認可能であってよく、これは、構成に応じて、例えばユーザによる入力または頭の動きによって実行可能である。この構成を使用した較正プロセスの例を、以下に示す。
【００２２】
まず、ユーザは、文字Ａを見つめるように指示され、これは、文字Ａが領域３１０内にあるため、目の動きをほとんど、またはまったくもたらさず、頭の動きももたらさないと予想される。ユーザを、文字Ａを見つめていることを示す入力（ボタン操作または言葉によるコマンドなど）をもたらすように促すことができ、あるいは文字Ａを見つめていることを単に視線追跡データを使用して識別することができる。
【００２３】
次に、ユーザは、文字Ｂを見つめるように指示される。文字Ｂは、ユーザの視線の中央領域３１０からわずかに外れているにすぎないため、大部分のユーザは、領域３１０が文字Ｂを中心とする（あるいは、文字Ｂを少なくとも含む）ように、単に視線を上方に調整すると予想される。これは、実行されると予想される。
【００２４】
これに続き、ユーザを、すぐに文字Ｃへと向けることができ、あるいは文字Ｃを眺める前にマーカＡへと戻るように指示することができる。
【００２５】
文字Ｃは、ユーザにとって不可視であってよく、あるいはユーザの周辺視野においてのみ可視であってよい。多くのユーザにとって、目の動きだけを使用して文字Ｃを眺めることは、おそらくは快適でないと考えられる。したがって、文字Ｃを眺めるために、大部分のユーザは頭を動かすと予想される。
【００２６】
文字Ｄを眺めるときは、文字Ｃを眺めるときと同様の作用がもたらされるが、程度はより大きくなる。ここでは、文字間の距離が大きいがゆえに、文字Ｃを眺めるときよりも大きな頭の動きが予想される。
【００２７】
同様に、文字Ｅを眺めるとき、ユーザの頭の動きはさらに大きくなると予想される。ユーザがより大きな間隔で位置する眺める文字の間を遷移するときに、ユーザによって実行される頭および目の動きの組み合わせを識別することができる。例えば、第１のユーザは、文字が視野の中心に現れるように頭を動かすことによって、目を動かすことなく頭を動かすかもしれない。第２のユーザは、ユーザが不快を感じない範囲の目の動きにて文字を眺めることができるならば、頭をできる限り動かさないかもしれない。他のユーザは、おそらくはこれら２つの間に位置する頭／目の動きの組み合わせを実行し、これを較正プロセスによって引き起こされるいくつかの異なる遷移を通じて識別することができる。
【００２８】
図示されている最後の文字Ｆは、表示領域３００の外側に位置する。文字Ｆの場所をユーザに知らせる矢印が表示され、ユーザは、文字Ｆが表示領域３００に入るように、コントローラの入力をもたらし、あるいは頭／体を充分に回転させなければならない。
【００２９】
大きさおよび方向の異なるいくつかの視点変更を実行するようにユーザに指示することにより、プロファイルを生成することができる。例えば、ユーザが頭を動かさずに眺めるマーカ間の最大距離を特定することができる。特定の距離だけ離れたマーカを眺めるために使用される頭の動き、ユーザ入力、および目の動きの組み合わせも特定することができ、例えば、プロファイルは、表示されたオブジェクトの間の角度間隔のリスト（５度または１０度の間隔ごとのエントリなど）、およびユーザが実行したアクションを含むことができる。随意により、このような角度間隔を、水平成分および垂直成分へとそれぞれのエントリによって分離することができ、なぜならば、水平方向の角度間隔と垂直方向の角度間隔とでは、同じようなサイズでもユーザの動きおよび挙動が異なる可能性があるからである。同様に、随意により、図３に示した文字／マーカを、較正時に目および／または頭の動きについて少なくともいくつかの水平方向が支配的または垂直方向が支配的な遷移を発生させるような配置または順序とすることができる。
【００３０】
実行されたアクションを、任意の適切なやり方で記録することができ、適切な方法の一例は、３つの列を持つルックアップテーブルである。１列目は、目の動きに関係し得、２列目は、頭の動きに関係し得、３列目は、体／胴体の動きに関係し得る。これらのそれぞれは、実行された動きの量を示す値を含むことができ、例えば、各々の成分からから生じる視点の角度変化、または遷移の動きのうちの各々の成分の寄与割合を含むことができる。
【００３１】
これに代え、あるいはこれに加えて、ユーザを目／頭／体の動きのパターンがよく似た参照プロファイルにマッチさせる分類を、各々のユーザに適用することができる。最も基本的な例においては、ユーザを、何らかのしきい値量よりも頻繁に頭を動かす場合に「ヘッドムーバー」に分類でき、そうでない場合には「アイムーバー」に分類することができる。さまざまなユーザの分布を適度に正確に表現するために、任意の数の分類を定義することができる。
【００３２】
当然ながら、ユーザへと指示される眺めるべき種々のマーカの順序は、さまざまであってよい。また、ユーザごとに異なるマーカを提示することもでき、使用されるマーカの数を自由に選択することができ、実際に、較正プロセスは無制限であってよく、適切に正確なプロファイルが生成されるまでマーカの生成を続けることができる。
【００３３】
いくつかの例においては、マーカの順序、数、および位置を、生成される較正データに応じて変化させることができる。例えば、マーカを、頭の動きおよび目だけの動きを交互に生じさせるように選択することができ、これを行うことにより、ユーザが目の動きに加えて頭の動きを使用し始める境界を、いくつかの場合により迅速に識別することができる。
【００３４】
これに代え、あるいはこれに加えて、マーカの順序、数、および位置を、ユーザ情報に応じて選択することができる。例えば、ユーザが、大きな頭の動きが予想されるか否かを判断するために、自身の癖に関する情報を提供することができる（あるいは、情報を追跡の事前較正を実行することによって収集することができる）。同様に、ユーザに関する統計データ（年齢、性別、または身長など）および／またはユーザの機器使用に関する統計データ（ＴＶ／ＨＭＤ、ディスプレイからの距離、主要なアプリケーション／アプリケーションの種類）を使用して、予想されるプロファイルを特定し、この予想プロファイルからのずれを特定するように較正を実行することができる。このような予想されるプロファイルを、例えば、他の較正を通じて収集された統計データから導出することができる。
【００３５】
較正を、さまざまな使用の事例において実行し、時間またはユーザの状態に基づくプロファイルを生成することもできる。例えば、ユーザが疲れるにつれて（例えば、夜間、勤務日の夜／通学日の夜、または長時間のゲームの後など）、ユーザの頭の動きの量が大幅に減少し、目の動きが有利になる可能性があり、なぜならば、その方がユーザにとってエネルギーを必要としないからである。これに代え、あるいはこれに加えて、これらの（または、他の）要因による変化をモデル化し、ユーザによる１回または少数回の較正に適用することができる。
【００３６】
より詳細なプロファイルをもたらすために、マーカの形式はさまざまであってよく、例えば、ユーザは、異なる色に異なるやり方で反応する可能性がある。明るい黄色または赤色などの視覚的に印象的な色は、淡い青色または緑色などの視覚的に目立たない色よりも、大きな頭の動きを引き起こす可能性がある。これは、特定の色が個人の好みゆえにユーザの注意をより強く引くこと、または特定の感情（恐怖または危険など）に関連付けられた色であることの結果であるかもしれない。同様に、一部の形状は、ユーザのアクションに異なる影響をもたらす可能性があり、したがって異なる形状のマーカを、較正プロセスに取り入れることができる。
【００３７】
いくつかの実施形態において、較正プロセスは、時間制限要素を取り入れることができる。一般に、目の動きは頭の動きよりも速いため、一部のユーザは、より速い視野の遷移が必要とされる場合に、頭の動きよりも目の動きへの依存度を高めると予想することができる。これは、いくつかのやり方で実行可能であり、例えばタイマーを用意することができ、あるいは較正プロセス（または、プロセスの一部）を特定の時間内で実行することがユーザにとって有利であるようにすることができる。これに代え、あるいはこれに加えて、マーカを、特定の色または形状を使用することによってより高速な頭の動きを促すように設計することができ、さらには／あるいは較正を、ユーザをより興奮させ（あるいは、あまり興奮させず）、したがって反応がより精力的に（あるいは、より非活発に）なる状況において提供することができる。
【００３８】
ひとたびユーザプロファイルが生成されると、どのような将来の較正をも、そのユーザにとってより快適になるように調整することが可能である。一例は、ＨＭＤ（または、他のシステム）のセットアップ時に初期の較正が実行され、後日にアプリケーション固有の較正またはリフレッシャー較正が実行される場合である。リフレッシャー較正は、以前の較正の以後にユーザのプロファイルが変化していないことを確認するためのものであってよく、あるいは例えば新たな視線追跡の構成の較正を支援するためのものであってよい。いくつかの実施形態においては、例えば初期の較正の以後にユーザの目／頭の動きの比率が変化した旨の知らせなど、そのような再較正がいつ必要とされるかを識別する決定を、装置によって行うことができる。これに代え、あるいはこれに加えて、再較正プロセスを、新たな機器の取得、以前の較正からの時間、および／または以前の較正からのゲーム内時間など、特定のマイルストーンまたはしきい値が満たされている旨の識別によって駆動することができる。
【００３９】
そのような実施形態においては、ユーザが目の動きだけで眺める傾向にはない領域を識別し、これらの領域に提示される較正用のマーカの数を減らす（場合によっては、数をゼロに減らす）ことができる。
【００４０】
例えば、図４は、ユーザが目の動きのみを使用して最も快適であると判断される中央領域４００を示している。これは、ユーザによるすべての動きが目の動きのみ、または少なくともしきい値を超える割合になると考えられる領域であってよい。
【００４１】
中央領域４００を囲んで、ユーザが目の動きに代えて（あるいは、目の動きに加えて）頭の動きを使用することがあるが、依然として目の動きのみを使用して快適であると考えられる二次領域４１０が位置する。
【００４２】
二次領域４１０の外側においては、ユーザは、目の動きだけではコンテンツを快適に眺めることができないと考えられる。
【００４３】
当然ながら、ユーザは、或る方向に目および／または頭を動かす方が、他の方向に目および／または頭を動かすよりも快適かもしれず、そのような場合、領域４００および４１０は円形である必要はなく、代わりに任意の適切な形状をとることができる。
【００４４】
これを考慮し、大部分の較正マーカ、またはいくつかの実施形態においてはすべての較正マーカが、領域４００および４１０に存在すると予想される。領域４１０の外側に少数が存在し得るが、この数は、ユーザにとって頭を動かさずに眺めることが不快感を引き起こすという事実に鑑みて、制限されるべきである。領域４００および４１０のサイズは、以前の較正情報またはユーザの動きのプロファイルに応じて決定され得る。
【００４５】
さらに、生成されたユーザプロファイルを、他の代替／追加のやり方でも使用することができる。一例においては、ユーザのプロファイル情報を使用して、ユーザの表示されたコンテンツとの相互作用の特徴が表される。例えば、「異常な」相互作用（すなわち、ユーザプロファイルによって示唆されるとおりの予想されるアクションから逸脱するアクション）を、表示されたオブジェクトなどに対する特定のユーザの関心を表すものと解釈することができる。
【００４６】
フォービエイテッド・レンダリングとは、検出された（または、予測による）ユーザの視線方向に応じて、高い視覚品質の領域と低い視覚品質の領域とを含む表示用画像を生成するために使用される技術群を指す。これらの方法からの利益は、ユーザの視覚の中央領域が周囲の領域よりもはるかに高いレベルの視覚的詳細を有しており、この結果として、これらの周囲の領域においては高品質の画像と低品質の画像との間の識別がユーザにとって困難であり得るという事実を利用することによって得られる。
【００４７】
本開示において、画像の品質への言及は、例えば、高品質の画像（または、画像領域）が、より高い解像度を有することができ、より多くの色を使用することができ、より高解像度のメッシュおよびテクスチャを使用することができ、２次元の要素よりもむしろ３次元の要素を表示し、さらには／あるいはリフレッシュレートがより高いなど、画像の任意のいくつかの特性に関係し得る。
【００４８】
例えば、高解像度の領域が、画像において視聴者の視線の中心に提供される一方で、画像の残りの部分は、より低い解像度でレンダリングされる。ユーザにとって、この画像は、周囲の領域においては視力が低くなり、かつ／またはユーザの周辺視野の外側のものを見ることは不可能であるがゆえに、全体が高解像度で表示された画像と同じように見えると予想される。
【００４９】
このような方法は、コンテンツの表示または処理に必要な電力量の削減ならびにコンテンツを保存するためのデータ要件の削減に有利かもしれない。例えば、ディスプレイの一部分の更新頻度を低くし、かつ／または有効解像度を低くすることができ、レンダリング画像を生成するための処理時間を短縮でき、これらはそれぞれ、それぞれの装置の電力使用量を削減する。データの伝送に関しては、送信の必要がある情報の量を減らすことで、そのデータの伝送に必要な電力量が下がると予想される。したがって、本開示の実施形態の実施によってもたらされる電力消費の削減は顕著であり得る。
【００５０】
図５が、視野の遷移を実行するための２つの異なる方法の例を模式的に示している。図５は、ＨＭＤを装着しているユーザと、そのＨＭＤに関連付けられたディスプレイとを示している（ただし、当然ながら、これらの教示は、テレビ受像機などのより典型的な表示画面の構成にも適用可能である）。ここで、視野の遷移とは、視線をディスプレイの一部分から別の部分へと移すためにユーザが実行するアクションを意味する。例５１０および５２０において、ユーザ５００は、視線および／またはアイインヘッド半径を、実線で示された領域から破線で示された領域へと移動させている。小さい方の円が、焦点位置（図４の領域４００に相当）を示している一方で、大きい方の円は、アイインヘッド半径（図４の領域４１０に相当）を示している。
【００５１】
例５１０において、ユーザ５００は、目の位置をユーザの頭に対して固定したままで、頭だけを動かすことによって視野の遷移を実行している。上述したように、遷移を実行するこの方法は、まれであると考えられる。
【００５２】
例５２０は、遷移を実行する正反対の方法を示しており、ユーザ５００は目だけを動かし、頭の位置はディスプレイに対して不動のままである。
【００５３】
図６が、これら２つの例５１０および５２０の間の中道を模式的に示している。例６００において、ユーザ５００は、頭を例５１０よりも小さい距離だけ動かす一方で、例５２０のように目も動かしている（ただし、頭の動きゆえに程度は小さい）。
【００５４】
当然ながら、特定の視野の遷移を実行するために使用される頭および目の動きのそれぞれの量は、ユーザごとに異なる。上述したように、１つ以上の遷移または遷移の種類（大遷移／小遷移など）に関する各々の動きのそれぞれの量についての情報が、ユーザプロファイルに保存される。
【００５５】
図７が、典型的なフォービエイテッド・レンダリング方法に従っていくつかの領域に分割された表示画面３００を概略的に示している。この例においては、３つの領域が識別されているが、２つ以上の任意の数の領域が適切であり得る。
【００５６】
領域７００が、ユーザの視界の中央領域、すなわちユーザの視覚のうちの最も視力が高い部分に対応する一方で、領域７１０は、ユーザの視界の残りの領域に対応する。これらはそれぞれ円形として示されているが、これは分かりやすくするための単純化にすぎず、これらの領域を非円形の形状を有すると予想できることを、理解すべきである。領域７２０は、ユーザの視界の外側の表示領域の残りの部分を表している。
【００５７】
領域７００および７１０のそれぞれのサイズは、多くの場合、ユーザの視覚の同等の領域と比べて大きくされ、これにより、ユーザのエクスペリエンスが視線追跡処理の不正確さなどによって影響されることがないより堅牢なシステムがもたらされる。
【００５８】
フォービアルレンダリング（ｆｏｖｅａｌ  ｒｅｎｄｅｒｉｎｇ）の構成においては、領域７００が最高の画像品質で表示される一方で、領域７１０はより低い画像品質でレンダリングされる。領域７２０は、領域７１０と同等の品質でレンダリングされてよく、あるいはさらに低い品質でレンダリングされてもよい。
【００５９】
領域の位置を、表示画面３００のどの領域を眺めているかを識別するための視線検出方法を使用して決定することができる。例えば、１つ以上のカメラをユーザの目に向けて、ユーザの目の向きを決定することができ、そこから、表示画面３００のどの領域を眺めているかについての情報を導出することができる。ひとたびこの情報が取得されると、領域７００を、表示画面３００のうちの識別された領域に配置することができる。
【００６０】
これに代え、あるいはこれに加えて、予測的な方法を使用して、推測による注視方向を決定することができ、例えば、いくつかの構成において、ユーザは映画シーンにおける主役またはゲームにおける特定の敵に注目すると推測される。次いで、この決定の結果として、これらの要素および周囲の要素を、より高い画像品質でレンダリングすることができる。
【００６１】
既知の構成において、フォービアルレンダリングは、表示の直前に実行される。例えば、装置は、ビデオの高解像度および低解像度の両方のコピーを保存し、ユーザの視線方向の検出に応答して両者を適切に組み合わせることができる。ゲームなどの他の例においては、コンテンツが、ユーザの視線方向の検出に応答してリアルタイムでレンダリングされる。
【００６２】
本出願においては、ユーザプロファイルに含まれる情報の使用が検討される。すでに述べたように、ユーザプロファイルは、コンテンツを眺める際のユーザが好む頭および／または目の動きの使用に関する情報を含む。図８および図９が、ユーザプロファイルから導出できるユーザの頭および／または目の動きの特性である「アイムーバー」および「ヘッドムーバー」の視覚プロファイルの例を示している。
【００６３】
図８は、３つの領域に分割された画面３００を概略的に示している。これらのうちの最初の領域は、内側領域または焦点領域８００であり、ユーザが頭および目を画面３００の中心へと向けているときにユーザの視線の中心を占める領域である。これは、視聴者にとって最もはっきりと見える領域である。
【００６４】
周囲の領域８１０は、ユーザが例えば周辺視野にて視認することができるが、正確に眺めることができるためには目／頭を動かす必要があると考えられる画面３００の領域を表す。領域８１０の範囲は、ユーザの目の動きの範囲に相当し、領域８１０および８２０の間の境界は、ユーザが目だけを動かすことによって眺めることができる最も外側の領域を表し、これを最大アイインヘッド半径と称することができる。
【００６５】
画面３００の残りの領域８２０は、ユーザにとって頭を動かさなければ眺めることができない領域に対応し、すなわちユーザは、目を最大限に回転させても領域８００および８１０の外側の領域を眺めることはできない。
【００６６】
当然ながら、領域８００および８１０を、ユーザごとに決定することができる。これに加え、あるいはこれに代えて、領域を、ユーザの物理的な限界よりもむしろユーザの好みに基づいて決定してもよい。例えば、第１のユーザが目の動きだけを使用して視界を変更するよりも頭を動かす傾向にある（例えば、上述の「ヘッドムーバー」である）場合に、領域８１０は、第１のユーザについて、同じ身体的能力の第２のユーザの場合よりも小さくてよい。この意味で、領域８１０を、最大アイインヘッド半径よりもむしろ、好ましいアイインヘッド半径と考えることができる。本明細書におけるアイインヘッド半径への言及は、所与の頭の位置における物理的な最大の目の動きまたは好ましい最大の目の動きのいずれかを意味するものと解釈されるべきである。
【００６７】
一部のユーザにとって、或る方向に目および／または頭を動かす方が、他の方向に目および／または頭を動かすよりも快適かもしれないことを考慮すべきであり、そのような場合、領域８００および８１０は円形である必要はなく、代わりに任意の適切な形状をとることができる。
【００６８】
図９は、好ましい（または、最大）アイインヘッド半径が図８よりも小さいユーザの例を概略的に示している。焦点領域９００は、図４の領域８００と同じであるが、領域９１０は、図８の対応する領域８１０よりもはるかに小さくなっている。当然ながら、この結果として、領域９２０は領域８２０よりも大きい。
【００６９】
したがって、ユーザプロファイルに含まれる情報に依存するフォービエイテッド・レンダリング・システムを提供することが、可能であると考えるべきである。例えば、上記の特性に基づいて、画像品質が異なる各領域のサイズを、個々のユーザに合わせて調整できると考えられる。
【００７０】
より具体的には、最高の画像品質の領域が、これらの特性の各々について同じサイズでなければならない（領域８００および９００が同じサイズであるため）一方で、周囲の領域を、アイムーバーについて、対応する表示領域を眺める可能性がより高いがゆえに、より大きくすべきであることは明らかである。
【００７１】
いくつかの実施形態においては、目の動きの量が多いユーザについて、中央の高品質の領域のサイズを大きくすることが有利であると考えられ、なぜならば、とくには目の動きが通常は頭の動きよりも高速であることに鑑みて、フォービアルレンダリングシステムの弾力を高めることができるからである。
【００７２】
さらに、ユーザプロファイルは、ユーザを異なる方向について異なる動きプロファイルを有していると識別することができる。例えば、ユーザは、特定の方向（左右など）の動きについて、他の方向（上下など）の動きと比べて目をより動かす傾向にあるかもしれず、したがってフォービアルレンダリング領域は、これを反映するために非円形の形状を有することができる。例えば、この例において、フォービアルレンダリング領域は、長軸を水平に配置した楕円形を有することができる。
【００７３】
これに加え、ユーザプロファイルは、ユーザを異なるコンテンツについて異なる動きプロファイルを有していると識別することもできる。例えば、ユーザは、映画を観るときよりもビデオゲームをプレイするときに、（例えば、没入度が高いがゆえに）より大きな割合で頭の動きを使用する傾向があるかもしれない。同様に、ユーザプロファイルは、ジャンルごとのやり方、または実際にはコンテンツの任意の適切な分類で、これを識別することができる。例えば、ユーザは、「コメディ」コンテンツを眺める場合よりも「アクション」コンテンツを眺める場合に、頭の動きをより多く使用する傾向があるかもしれない。
【００７４】
これを、ユーザの好みに応じて実行することもでき、例えばユーザは、好みのコンテンツについて異なる移動プロファイルを有し得る。好みのコンテンツは、特定のジャンル、コンテンツ、またはコンテンツの構成要素（俳優または場所など）を含むことができる。いずれの場合も、ユーザのプロファイル情報を使用して、視聴されるコンテンツへと適用されるべき適切なフォービアルレンダリングを、直接的（適切なレンダリングが情報において指定されるという点で）または間接的（適切なレンダリングを情報に依存して予測することができるという点で）に特定することができると考えられる。
【００７５】
上述のように、いくつかの実施形態においては、時間に基づくユーザプロファイルまたは状態に基づくユーザプロファイルが有利であると考えられる。そのようなプロファイルは、頭の動きに対する目の動きの比率の変化を指定することができる。例えば、この変化を、ユーザの視聴時間が長くなるにつれて、予想される目の動きおよび頭の動きの比率が、ユーザの疲労などを考慮して変化するように指定することができる。同様に、ユーザの状態の判定（ボタン操作の強度およびユーザの応答性などの任意の適切なバイオフィードバックまたはインジケータから検出できる疲労度の指標など）を使用して、同様の変化を判断することができる。
【００７６】
フォービアルレンダリング方法を、各々のユーザのユーザプロファイルに応じて、各々のユーザに合わせて調整することが可能であるが、いくつかの場合、これが不可能または非効率的である可能性がある。例えば、（携帯電話機などの）処理能力がより限られており、あるいはネットワーク接続がより低速である装置では、リアルタイムのフォービエイテッド・レンダリングの実行が現実的でないかもしれない。このような場合、事前適用のフォービエイテッド・レンダリング方式でコンテンツを事前にレンダリングすることが好都合かもしれない。当然ながら、これをユーザごとのやり方で実行することは実現不可能であると考えられ、ユーザの現在の視線位置に関する情報に応じて実行することも不可能であると考えられる。
【００７７】
これに対処するために、ユーザプロファイルを、ユーザのグループを代表する複数の異なるグループのうちの１つ以上へと分類することができる。これらの例は上述されている（アイムーバーおよびヘッドムーバーのグループ）が、任意の数の別のグループまたは追加のグループを、それらの共通の特性に基づいて識別できると考えられる。グループの数は、ユーザの数よりも大幅に少なくてよく、生成、保存、および送信する必要がある異なるレンダリングのストリームの数が少なくて済む。
【００７８】
当然ながら、このようなグループに基づくフォービエイテッド・レンダリング方法を、リアルタイムのフォービエイテッド・レンダリングを実行する場合にも実行することができ、必ずしも事前にレンダリングされたコンテンツに限定される必要はない。例えば、グループに基づくフォービエイテッド・レンダリング方法を使用すると、フォービエイテッド・レンダリングをコンテンツにどのように適用したいかを指定する際のコンテンツ開発者の負担を軽減することができる。
【００７９】
いくつかの例においては、これらのプロファイルの多くが、適用されるフォービエイテッド・レンダリングにおいて大きな重なり合いを有する可能性がある。この場合、処理されたコンテンツを異なるグループ間で共有して、保存する必要があるコンテンツの量を減らすことができる。たとえ重なり合いがそれほど大きくない場合でも、両方のグループのユーザに高品質の視聴体験を可能にするフォービエイテッド・レンダリングを適用することが、好ましい可能性がある。これにより、（両方／すべてのユーザグループからのフォービエイテッド領域を取り入れるために高品質の領域が大きくなるがゆえに）ファイルサイズが大きくなる可能性があるが、複数のファイルではなく単一のファイルのみが必要である点で、依然として有益であると考えられる。
【００８０】
さらに、各々のグループについて同じやり方でレンダリングされるコンテンツ内の領域が識別される場合があり得る。例えば、大多数のユーザがコンテンツを眺めるときに検索しない場合があり、したがって、この領域がすべての視聴者について低品質でレンダリングされるストリームを生成することができる。
【００８１】
いくつかの実施形態においては、ユーザに、（上述のとおりの）グループ化に基づいてそれぞれのユーザプロファイルに合わせて調整されたコンテンツが提供される。しかしながら、いくつかの実施形態においては、このコンテンツに、ユーザに固有のさらなるフォービエイテッド・レンダリングを適用することができる。このような実施形態において、これは、２段階または３段階のフォービエイテッド・レンダリング処理をもたらすことができる。
【００８２】
多段階のフォービエイテッド・レンダリング処理は、各段階において適用される処理の量を減らすことができるという利点があり、これにより、フォービエイテッド・レンダリングがリアルタイムで実行されているときに、そのようなコンテンツを表示するための応答時間が短縮されるだけでなく、フォービエイテッド・レンダリング処理を実行する各々の装置の効率も向上させることができる。
【００８３】
図１０が、このような処理の例を概略的に示している。
【００８４】
ステップ１０００において、ユーザプロファイルが調査される。これは、特定のユーザ（コンテンツを要求したユーザなど）のユーザプロファイルの識別、および／またはユーザプロファイルの代表グループの識別を含むことができる。これらのグループのうちの１つ以上について、１人以上のユーザに提供されるコンテンツに適用されるべきフォービエイテッド・レンダリングを識別できるように、フォービエイテッド・レンダリング・プロファイルを識別または生成することができる。
【００８５】
ステップ１０１０において、グループがユーザプロファイルにおいて識別される。例えば、ユーザは、それぞれの頭および／または目の動きの好みに基づいて分類され得る。このようなグループ化は、例えば装置の較正時または以前のコンテンツの鑑賞を通じて生成されたユーザ情報にすでに存在でき、その場合、グループをさらなる分析を必要とせずに識別することができる。
【００８６】
ステップ１０２０において、汎用コンテンツ、すなわちすべてのユーザグループに適したコンテンツが生成される。いくつかの例において、これは、単に非フォービエイテッドコンテンツであってよいが、他の例では、この段階でコンテンツにフォービエイテッド・レンダリングを適用してもよい。このコンテンツを、ユーザにとって直接利用できるようにすることができ、あるいはユーザへの提供の前にコンテンツをさらに変更するサーバに提供することもできる。
【００８７】
ステップ１０３０において、グループコンテンツが生成され、すなわち１つ以上のグループに合わせて（フォービエイテッド・レンダリング処理を使用して）調整されたコンテンツが生成される。これらのコンテンツの各々を、ユーザにとって利用可能にすることができ、あるいは１つをユーザプロファイルに応じてユーザ用に選択することができる。グループコンテンツは、（ステップ８２０において述べたように）フォービエイテッド・レンダリング処理を経ていてもよいユニバーサルコンテンツから生成される。グループコンテンツを、グループごとのやり方で生成することができるが、当然ながら、複数のグループに対して単一のグループコンテンツが生成されてもよい。
【００８８】
ステップ１０４０において、個人コンテンツが生成される。これは、（グループ全体よりもむしろ）特定のユーザに合わせて（フォービエイテッド・レンダリング処理を使用して）調整されたコンテンツであり、ユーザプロファイル内の情報およびそのユーザの視線追跡情報の一方または両方に基づくことができる。個人コンテンツを、用途に応じて、グループコンテンツまたはユニバーサルコンテンツから生成することができる。
【００８９】
ステップ１０２０〜１０４０は、任意の適切な組み合わせにて実行することができ、いくつかの実施形態においては、これらのステップのうちの１つまたは２つのみが実行されてもよい。例えば、いくつかの場合においては、ユニバーサルコンテンツをユーザに提供でき、これから個人コンテンツが直接生成される（ステップ１０３０の省略）。あるいは、ステップ１０４０を完全に省略でき、代わりにステップ１０３０で生成されたグループコンテンツがユーザに提供される。
【００９０】
ステップ１０２０〜１０４０の各々において、高品質領域および低品質領域が異なるだけでなく、各々のステップによって生じる高品質領域と低品質領域との間の差も異なり得るように、異なるフォービエイテッド・レンダリング処理を適用することができる。例えば、ステップ１０２０が、（最大の人数に対応するように）高品質領域と低品質領域との間の差が小さい画像をもたらすことができる一方で、ステップ１０４０における低品質画像領域の画像品質の低下は、（特定のユーザに合わせて調整されるがゆえに）はるかに積極的である。
【００９１】
図１１が、コンテンツを表示するように動作可能である処理装置と共に使用するためのユーザプロファイルを生成するためのユーザプロファイル生成システム１１００を概略的に示している。システム１１００は、随意により、１つ以上のカメラ１１１０、頭部運動追跡ユニット１１２０、眼球運動追跡ユニット１１３０、およびプロファイル生成ユニット１１４０を備える。
【００９２】
１つ以上のカメラ１１１０は、随意により、ユーザの画像をキャプチャするように動作可能で、適切な装置の例として、ユーザおよび／またはユーザの目の動きを識別するために使用することができる画像をキャプチャする任意の可視光またはＩＲカメラが挙げられる。いくつかの実施形態においては、カメラがユーザの頭および目の両方の動きを検出するために使用される一方で、他の実施形態においては、各々の動きを決定するために専用のカメラ（または、他の追跡装置）が使用され得る。例えば、目の動きを追跡するために使用される撮像装置がＨＭＤに存在できる。これに代え、あるいはこれに加えて、頭の動きを、ヘッドマウントディスプレイ上の加速度計などから決定してもよい。同様に、ユーザ自身の画像をキャプチャするよりもむしろ、１つ以上のカメラをヘッドマウントディスプレイに取り付けて環境の見かけの動きを追跡することにより、頭の動きを決定することができる。一方で、ユーザの片目または両目の運動追跡は、それぞれの目を観察する１つまたは２つのカメラ、あるいは技術的に公知の他の追跡方法によって達成することができる。
【００９３】
頭部運動追跡ユニット１１２０は、例えば１つ以上のカメラ１１１０によってキャプチャされたユーザの画像から、ユーザの頭の動きを識別するように動作可能である。これを、任意の適切な運動追跡方法を使用して達成することができる。いくつかの実施形態において、ユーザは、カメラに基づく追跡方法を簡単にするために使用される１つ以上のマーカを着用してもよい。これに代え、あるいはこれに加えて、頭部運動追跡ユニット１１２０は、（例えば、ユーザに装着されたＨＭＤに取り付けられた加速度計からの）運動センサデータを使用することができ、キャプチャ画像を使用してユーザの頭の動きを検出することは必須ではない。したがって、頭部運動追跡ユニットが、運動センサデータおよび／またはカメラデータに依存して頭の動きを識別するように動作できることは明らかである。
【００９４】
眼球運動追跡ユニット１１３０は、ユーザの目の動きを識別するように動作可能で、これは、１つ以上のカメラ１１１０によってキャプチャされた画像を使用して実行することができる。例えば、各々の目を個別に追跡することができ、あるいは単一の目を追跡することができ、これに基づいて焦点を予測するためにモデルを使用することができる。
【００９５】
プロファイル生成ユニット１１４０は、ユーザの頭の動きおよび目の動きの情報を含むユーザプロファイルを生成するように動作可能である。この運動情報を、任意の適切な期間にわたって生成することができ、例えば短い較正期間にわたって生成することができ、あるいはプロファイルが常に更新されるようにシステムによるユーザエクスペリエンスの全体にわたって生成することができる。生成されたユーザプロファイルは、ユーザと処理装置との間の相互作用を変更するために使用され、これを、上述のように、プロファイル情報を使用して較正プロセスに応答してコンテンツを変更することによって実行でき、あるいはユーザプロファイル情報と比較したユーザ相互作用の特性に応答してコンテンツを変更することによって実行できる。
【００９６】
上述のように、ユーザプロファイルは、目の動きおよび頭の動きについてのユーザの好みを識別する。いくつかの実施形態において、ユーザプロファイルは、表示されたコンテンツ要素間の１つ以上の視野の遷移を実行する際にユーザが使用する頭の動きおよび目の動きの割合を識別し、さらに（あるいは、代わりに）、ユーザを目の動きおよび頭の動きに関する好みに応じて１つ以上の分類に属すると識別することもできる。
【００９７】
上述の相互作用は、コンテンツの視聴、視線に基づく入力、ジェスチャ入力、音声入力、および制御装置入力を含むリストのうちの任意の１つ以上であってよい。例えば、コンテンツを観察する視聴者は、コンテンツと相互作用していると考えられ、視線方向に基づく入力、手または腕によるジェスチャ、音声コマンド、あるいはゲームコントローラにおけるボタン操作をもたらすユーザも同様である。当然ながら、いくつかの実施形態においては、視線方向を他の入力のうちの１つ以上と組み合わせて、行われる相互作用を決定できると考えられる。
【００９８】
図１２が、表示されるコンテンツを変更するためのフォービエイテッド・レンダリング・システムを概略的に示している。このシステムは、カメラ１２００、ユーザプロファイル取得ユニット１２１０、ユーザプロファイル分析ユニット１２２０、フォービエイテッド・レンダリング・ユニット１２３０、および表示ユニット１２４０を含む。当然ながら、カメラ１２００および表示ユニット１２４０は随意であると考えられるべきであり、これらの装置に関する機能は、フォービエイテッド・レンダリング・システムに関連する他のシステムによって実行されてもよい。
【００９９】
カメラ１２００は、ユーザプロファイル生成システム１１００で使用されるカメラ１１１０と同じにすることが、２つのシステムが一緒に提供される場合に可能である。あるいは、これらのカメラ１２００は、ユーザの頭および／または目の追跡に使用される画像をキャプチャするように動作可能である別の１つ以上の撮像装置であってよい。例えば、カメラ１２００は、ユーザに装着されたＨＭＤ内に位置でき、あるいはユーザの体の全体の画像をキャプチャするためにユーザから離れて位置してもよい。当然ながら、カメラ１２００は、これらの両方、ならびにユーザの追跡の実行において有用な任意の他のいくつかの撮像装置を含むことができる。
【０１００】
ユーザプロファイル取得ユニット１２１０は、ユーザの頭の動きおよび目の動きの情報を含むユーザプロファイルを取得するように動作可能である。ユーザプロファイルは、関連するプロファイル生成システム１１００によって生成されてよく、あるいは記憶媒体または任意の他の適切な情報源から取得されてよい。
【０１０１】
上述のように、ユーザプロファイルは、目の動きおよび頭の動きについてのユーザの好みを識別する。いくつかの実施形態において、ユーザプロファイルは、表示されたコンテンツ要素間の１つ以上の視野の遷移を実行する際にユーザが使用する頭の動きおよび目の動きの割合を識別し、さらに（あるいは、代わりに）、ユーザを目の動きおよび頭の動きに関する好みに応じて１つ以上の分類に属すると識別することもできる。
【０１０２】
システムは、ユーザプロファイル取得ユニット１２１０に加えて、ユーザプロファイル分析ユニット１２２０を備えることができる。このようなユニットは、それが実行する機能がフォービエイテッド・レンダリング・システムの動作にとって必須ではないため、随意であってよい。ユーザプロファイル分析ユニット１２２０は、取得されたユーザプロファイルに依存して、ユーザの１つ以上のグループの特性を決定するように動作可能である。例えば、ユーザプロファイル分析ユニット１２２０は、図１０のステップ１０２０において使用される全体的なユーザ特性を特定するために、すべてのユーザを含む単一のグループの特性を決定するように動作可能（または、すべてのユーザのグループを代表するしきい値を上回る数のユーザに対応する特性を特定するように動作可能）であってよく、さらには／あるいは図１０のステップ１０３０において使用されるユーザグループ特性を識別するために、ユーザプロファイル間の共有の特性に従ってユーザの１つ以上のグループを識別するように動作可能であってよい。
【０１０３】
いくつかの実施形態においては、ユーザプロファイル分析ユニット１２２０が、例えばオンラインで保存されたユーザプロファイルの組に関する情報を取得するように動作可能である一方で、他の実施形態においては、複数のユーザプロファイルをダウンロードすることが可能であってよい。いくつかの実施形態において、ユーザプロファイル分析ユニット１２２０は、例えばそのような情報を生成および保存するためのサーバから、異なるユーザグループに関する情報を必要に応じて受信するように動作可能である。
【０１０４】
フォービエイテッド・レンダリング・ユニット１２３０は、取得されたユーザプロファイル情報に応じて、フォービエイテッド・レンダリング処理を表示されるコンテンツに適用するように動作可能である。例えば、フォービエイテッド・レンダリング・ユニット１２３０は、図１０のステップ１０２０〜１０４０のいずれか１つ以上を実行するように動作可能であってよい。上述のように、フォービエイテッド・レンダリング処理は、低品質の画像領域と高品質の画像領域とを有する画像を生成するように動作可能で、高品質の画像領域は、低品質の領域と比べてより高い解像度、より多い色数、より高いフレームレート、および／またはより多くの３次元画像の使用のうちの１つ以上を含む。
【０１０５】
いくつかの実施形態において、フォービエイテッド・レンダリング・ユニット１２３０は、取得されたユーザプロファイル情報に応じて、処理された画像内の高品質の画像領域のサイズおよび位置を修正するように動作可能である。例えば、この修正は、高品質の画像領域のサイズおよび位置が、表示されたコンテンツの領域間の１つ以上の視野の遷移の実行においてユーザによって使用される頭の動きおよび目の動きに依存するように実行されてよい。
【０１０６】
例えば、フォービエイテッド・レンダリング・ユニット１２３０は、すべてのユーザ（または、すべてのユーザのグループを代表すると考えられるしきい値を上回る数のユーザ）を含む単一のグループに関連するユーザプロファイル分析ユニット１２２０によって決定された特性に応じて、表示されるコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能であってよい。
【０１０７】
これに代え、あるいはこれに加えて、フォービエイテッド・レンダリング・ユニット１２３０は、各々のグループについて表示されるべき処理済みコンテンツを生成するようにユーザプロファイル分析ユニット１２２０によって決定された特性に応じてフォービエイテッド・レンダリング処理を表示されるべきコンテンツに適用するように動作可能であってよい。
【０１０８】
以上の説明から明らかなように、フォービエイテッド・レンダリング・ユニット１２３０は、すでにフォービエイテッド・レンダリング処理を経た表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能である。すなわち、フォービエイテッド・レンダリング・ユニット１２３０は、同じ画像コンテンツに対して図１０のステップ１０２０〜１０４０において言及したフォービエイテッド・レンダリング・ステップのうちの２つ以上を実行するように動作可能である。
【０１０９】
フォービエイテッド・レンダリング・ユニット１２３０は、ユーザの検出された視線方向に応じて、表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用するように動作可能であってよいが、いくつかの場合には、（例えば、ユーザのプロファイル情報またはコンテンツ内の予想される関心の対象物に基づいて）予測される視線方向などを代わりに使用してもよい。ユーザの検出された視線方向が使用される場合、フォービエイテッド・レンダリング・システムは、例えば視線方向の検出に使用されるユーザの目の画像をキャプチャするためのカメラ１２００を使用してユーザの視線方向を検出するように動作可能である視線検出機構を備えるべきである。
【０１１０】
図１３が、コンテンツを表示するように動作可能である処理装置と共に使用するためのユーザプロファイルを生成するためのユーザプロファイル生成方法を概略的に示している。
【０１１１】
ステップ１３００が、随意によりユーザの画像をキャプチャすることを含み、このステップ１３００は、やはりユーザの動きを識別するために使用することができる慣性センサなどからのデータを収集することをさらに含むことができる。
【０１１２】
ステップ１３１０が、ユーザの頭の動きを識別することを含む。
【０１１３】
ステップ１３２０が、ユーザの画像から目の動きを識別することを含む。
【０１１４】
ステップ１３３０が、ユーザの頭の動きおよび目の動きに関する情報を含むユーザプロファイルを生成することを含む。
【０１１５】
図１４は、表示されるべきコンテンツを変更するためのフォービエイテッド・レンダリング方法を概略的に示している。
【０１１６】
ステップ１４００が、ユーザの頭の動きおよび目の動きに関する情報を含むユーザプロファイルを取得することを含む。これは、１つ以上のユーザプロファイルを分析して、１つ以上のプロファイルの特性を決定し、グループなどを決定することを含み得る。いくつかの例において、ステップ１４００は、図８のステップ１０００および１０１０の一方または両方を含むことができる。
【０１１７】
ステップ１４１０が、取得されたユーザプロファイル情報に応じて、表示されるべきコンテンツにフォービエイテッド・レンダリング処理を適用することを含み、例えば図１０のステップ１０２０〜１０４０の方法のうちのいずれか１つ以上が実行される。
【０１１８】
随意によるステップ１４２０が、生成された画像の送信を含む。例えば、これは、ユーザ、別のコンピュータ／記憶装置、またはユーザへの提示用のディスプレイへの画像の送信を含むことができる。
【０１１９】
いくつかの実施形態において、図１４の方法は、ユーザの視線方向を検出するための視線追跡ステップ、および処理されたコンテンツのユーザへの表示をさらに含むことができる。
【０１２０】
上述の技術は、ハードウェア、ソフトウェア、または両者の組み合わせにて実施可能でＳある。実施形態の１つ以上の特徴を実施するためにソフトウェアによって制御されるデータ処理装置が使用される場合、そのようなソフトウェア、ならびにそのようなソフトウェアを提供するための非一時的な機械可読記憶媒体などの記憶媒体または伝送媒体も、本開示の実施形態と見なされることを理解できるであろう。
【図１】
2020042807.tif 000003
【図２】
2020042807.tif 000004
【図３】
2020042807.tif 000005
【図４】
2020042807.tif 000006
【図５】
2020042807.tif 000007
【図６】
2020042807.tif 000008
【図７】
2020042807.tif 000009
【図８】
2020042807.tif 000010
【図９】
2020042807.tif 000011
【図１０】
2020042807.tif 000012
【図１１】
2020042807.tif 000013
【図１２】
2020042807.tif 000014
【図１３】
2020042807.tif 000015
【図１４】
2020042807.tif 000016
【外国語明細書】
2020042807000001.pdf