(57)【要約】【解決手段】ビデオコンテンツを表示するためのディスプレイシステムであって、表示部は、ビデオコンテンツの少なくとも一領域の表示を制御するように動作可能なディスプレイコントローラと、ビデオコンテンツの特定の領域に対応する表示位置にある視聴者の少なくとも高視力および低視力の領域を識別するように動作可能な視力識別部とを備える。ディスプレイコントローラは、高視力の領域が低視力の領域とは異なるように表示されるようにビデオコンテンツの表示を制御するように動作可能である。【選択図】図４
2020526076.tif 000002
【特許請求の範囲】
【請求項１】
仮想シーンに対するメッシュおよびテクスチャデータを生成するように動作可能であるデータ生成部と、
生成されたメッシュおよびテクスチャデータの少なくとも一部を含む１つまたは複数のフレームを符号化するように動作可能であるフレーム符号化部とを含み、
符号化されるメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用可能な情報を含む、コンテンツ生成装置。
【請求項２】
前記フレーム符号化部はまた、別の符号化されたフレームに対する前記仮想シーン内の１つまたは複数のメッシュの位置の変化に関する情報を含む１つまたは複数のフレームを符号化するように動作可能である、請求項１のコンテンツ生成装置。
【請求項３】
メッシュに対する位置の変化の情報を含む１つまたは複数のフレームはまた、追加的なメッシュおよびテクスチャ情報を含む、請求項２のコンテンツ生成装置。
【請求項４】
前記フレーム符号化部によって出力されるフレームは、グループオブピクチャ（ＧＯＰ）構造で配置される、請求項２のコンテンツ生成装置。
【請求項５】
前記フレーム符号化部は、１つまたは複数のフレームにおいて、そのフレームを使用して生成される可能な視点の範囲を示す情報を符号化するように動作可能である、請求項１のコンテンツ生成装置。
【請求項６】
前記データ生成部は、前記仮想シーン内の１つまたは複数の視点で遮られる前記仮想シーン内のオブジェクトに対するメッシュおよびテクスチャデータを生成するように動作可能である、請求項１のコンテンツ生成装置。
【請求項７】
前記フレーム符号化部は、１つまたは複数のフレームにおいて、そのフレーム内のデフォルトの視点位置を示す情報を符号化するように動作可能である、請求項１のコンテンツ生成装置。
【請求項８】
前記フレーム符号化部は、１つまたは複数のフレームにおいて、視点の変更の要求と表示されるべき視点の変化との間のギアリング比を示す情報を符号化するように動作可能である、請求項１のコンテンツ生成装置。
【請求項９】
メッシュおよびテクスチャデータを含む１つまたは複数のフレームを復号するように動作可能であるフレーム復号部と、
指定された視点に応じて１つ以上のデコードされたフレームから表示用の１つ以上の画像を生成するように動作可能である画像レンダリング部とを含み、
１つ以上のフレームから復号されたメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用可能な情報を含む、コンテンツ再生装置。
【請求項１０】
指定された視点は、ユーザ入力、受信されたフレームに存在する指示、シーン内のイベントまたはオブジェクト、および／または視聴者の頭の位置および／または向きの１つまたは複数に依存して決定される、請求項９のコンテンツ再生装置。
【請求項１１】
請求項９のコンテンツ再生装置と、
ヘッドマウントディスプレイを含む、コンテンツ再生システム。
【請求項１２】
仮想シーンに対するメッシュおよびテクスチャデータを生成するステップと、
生成されたメッシュおよびテクスチャデータの少なくとも一部を含む１つまたは複数のフレームを符号化するステップとを含み、
符号化されるメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用可能な情報を含む、コンテンツ生成方法。
【請求項１３】
メッシュおよびテクスチャデータを含む１つまたは複数のフレームを復号するステップと、
指定された視点に応じて１つ以上のデコードされたフレームから表示用の１つ以上の画像を生成するステップとを含み、
１つ以上のフレームから復号されたメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用可能な情報を含む、コンテンツ再生方法。
【請求項１４】
コンピュータによって実行される時、前記コンピュータに請求項１２または１３の方法を実行させる、コンピュータプログラム。
【請求項１５】
請求項１４のコンピュータプログラムを格納する非一時的機械読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ生成方法および装置に関する。
【背景技術】
【０００２】
近年、ビデオおよび画像コンテンツの視聴者に提供される没入感を改善する意欲が高まっている。これは、ヘッドマウントディスプレイ（ＨＭＤ）の可用性の向上に加えて、立体視コンテンツの制作につながってきている。これらのそれぞれは、特に互いに組み合わせて使用する場合に、視聴者が感じる没入度を高めることができる。
【０００３】
しかし、没入感の増加の結果として発生する問題の１つは、仮想現実コンテンツを探索または他の方法で相互作用しようとする時、ユーザが人為的に制約されていると感じることである。ユーザがコンテンツに没頭している場合、さまざまな角度からシーンを表示したり、環境内で視点を移動したりすることがある。これは、視聴者の位置と向きに応じてコンテンツが生成される場合（ゲームをプレイする場合など）に可能であるが、事前に生成されたビデオコンテンツなどでは、そのような機能を提供する能力が不足することがある。これにより、ユーザはインタラクションの試行とは無関係に特定の視点に「固定」され、没入感が失われる可能性がある。
【０００４】
したがって、コンテンツが視聴者の位置と向きに関係なく事前に生成される場合でも、ユーザが仮想環境をより完全に体験できる構成を提供することが望ましい。
【０００５】
本開示は、上記の問題を軽減するための方法および装置を提供する。
【発明の概要】
【０００６】
本発明の様々な態様および特徴は、添付の特許請求の範囲および添付の説明の本文内で定義され、少なくともディスプレイおよびディスプレイを操作する方法、ならびにコンピュータプログラムを含む。
【図面の簡単な説明】
【０００７】
ここで、本発明の実施の形態を、添付の図面を参照して、一例として説明する。
【図１】基本的なメッシュとテクスチャの概略図である。
【図２】ピクチャグループ構造の概略図である。
【図３】データ構造の概略図である。
【図４】コンテンツ生成装置の概略図である。
【図５】コンテンツ再生装置の概略図である。
【図６】コンテンツ生成方法の概略図である。
【図７】コンテンツ再生方法の概略図である。
【図８】変化する視点の概略図である。
【発明を実施するための形態】
【０００８】
多くの画像レンダリングプロセスでは、オブジェクトを表すためにメッシュが使用され、これらのメッシュにテクスチャが適用される。図１は、これの簡略化した表現を示し、メッシュ１００は２つのポリゴン（三角形１０１および１０２）を使用して正方形を表し、テクスチャ１１０はレンダリング中にメッシュに画像の詳細を適用するために使用される。この例では、テクスチャによって適用される詳細は単なる表面パターンであるが、テクスチャを使用して（追加的にまたは代替として）モデルの形状を調整したり、反射特性などを提供してもよい。そのような方法は、他の方法に比べてはるかに低い計算コストで高品質の画像を提供できるという点で有利である。
【０００９】
もちろん、この図は単純化された例にすぎない。このようなメッシュを使用して、任意のレベルの複雑さの２次元または３次元のオブジェクトを表してもよい。実際、仮想環境全体は、１つ以上のこのようなメッシュで構成される。テクスチャは、図に示されているものよりもはるかに複雑になる場合があることにも留意すべきである。
【００１０】
多くのビデオ生成方法では、メッシュにテクスチャを適用して表示デバイスによる表示に適した画像フレームを生成する処理が実行される。ビデオを生成するために、複数のそのような画像フレームを順番に提供してもよい。その後、ビデオはエンコードされ、適切なデバイスによる再生の準備が整う。
【００１１】
図２は、グループオブピクチャ（ＧＯＰ）構造に配置されたそのような複数の生成された画像フレームを概略的に示す。
【００１２】
このような構造では、「Ｉ」（イントラ符号化ピクチャ）フレームは、他の各フレームとは独立してレンダリングされるフレームである。この画像は、他の画像を参照せずにデコードおよび表示される。「Ｐ」（予測符号化ピクチャ）および「Ｂ」（双予測符号化ピクチャ）フレームは、他のフレームを参照して動き補償された差分を用いてエンコードされたフレームである。
【００１３】
一部の例では、最初のＩフレームを使用して最初のＰフレームを生成し、これら２つのフレームを一緒に使用して最初の２つのＢフレームを生成する。同様に、最初のＩフレームは２番目のＰフレームを生成するために使用することができ、３番目と４番目のＢフレームはどちらの側のＰフレームにも依存して生成される。しかし、特定のビデオ符号化方式の制約内で、任意の適切な予測方式を実装してもよい。フレームがデコーダによって受信される順序は、フレームが表示される順序と異なる場合がある。たとえば、予測に必要なすべてのフレームが予測の実行前に利用できるように、最初のＰフレームは上記のエンコードスキームの最初の２つのＢフレームの前に提供されなければならない。
【００１４】
既存の構成では、フレームは完全にレンダリングされた画像から生成され、受信したビデオファイルからビデオコンテンツを生成する際のデコーディングデバイスの処理負荷を軽減する。ただし、前述のように、没入型のビデオベースの体験を提供しようとすると、事前にレンダリングされたコンテンツを表示に使用することにより、ユーザのインタラクションに応答するべきコンテンツの表示範囲がほとんどないため、これが制限になる場合がある。
【００１５】
Ｉ、Ｐ、およびＢフレームのベースとして完全にレンダリングされた画像を使用する代わりに、本構成では、メッシュおよびテクスチャデータに応じてフレームをエンコードする。もちろん、ビデオファイルがＩ、Ｐ、およびＢフレームのそれぞれを含むことは必須ではない。たとえば、Ｂフレームは省略することができる。これにより、ビデオコンテンツの再生／表示時の予測エラーの可能性が減る。
【００１６】
メッシュおよびテクスチャデータを含むフレームの形式でコンテンツを送信することは、この形式を使用して、シーン内の単一の視点に対する画像データよりもシーンに関するより多くの情報を提供できるという利点がある。たとえば、オブジェクトの単一の視点を示す画像ではなく、オブジェクト全体を説明するメッシュおよびテクスチャデータを提供することにより、視点の回転または平行移動が望ましいことを示すことによって、ユーザは視点を移動して、シーンの見えない部分を見ること（障害物の周りをのぞき見ること、視点を左右または上下に回転させること、またはテーブルなどの下を見ることができることなど）ができる。
【００１７】
したがって、提案された構成は、視聴者が視点を変更し、予想外の方法でシーンを探索することができるため、他の従来のビデオコンテンツでも視聴者が経験する没入感を高めることができる。既存の構成では、このような体験は一般に、ゲームや他のインタラクティブな体験など、ユーザの頭の位置／向きなどに応じて生成されるコンテンツ用に用意されており、事前レンダリングされたコンテンツによっては提供されていない。
【００１８】
本構成のいくつかの例では、これらのフレームで提供されるメッシュおよびテクスチャデータの量は、コンテンツ作成者によって決定される視点の動きの許容範囲によって決定される。たとえば、「ベース」視点（コンテンツのデフォルトの視点）を定義し、許容範囲内の各視点を生成するために必要なすべてのメッシュおよびテクスチャ情報をキャプチャし、エンコードしてもよい。
【００１９】
あるいは、シーン内の各オブジェクト（および／またはユーザが視点を変更した後にのみ見える場合、潜在的にシーン内にある可能性のあるオブジェクト）のフルメッシュおよびテクスチャ情報をキャプチャしてエンコードしてもよい。これにより、コンテンツのファイルサイズが大きくなる可能性があるが、エンコーディングデバイスの負担も軽減される。
【００２０】
図３は、本構成によるＩフレーム３００および予測（ＰまたはＢなど）フレーム３１０を概略的に示す。
【００２１】
Ｉフレーム３００は、メッシュデータ３０１、テクスチャデータ３０２、位置データ３０３、および追加のメタデータなどを含むことができるオプションのデータフィールド３０４を含む。
【００２２】
メッシュデータ３０１は、フレーム内のオブジェクトを定義するために使用されるポリゴンの構造を詳述する情報を含む。これには、ポリゴンの形状（三角形や正方形など）と、オブジェクトを表す他のポリゴンに対する任意の数のポリゴンの相対的な位置と方向が含まれる。メッシュデータ３０１は、所望の最終画像に存在する（または存在する可能性がある）各オブジェクトまたは特徴に対するそのような情報を含む。
【００２３】
メッシュデータ３０１を生成するために使用される情報のフォーマットは、ユースケースに適切なように選択されてもよい。メッシュデータ３０１は、頂点、エッジ、面、および／または表面データを含んでもよい。メッシュ要素はサブオブジェクトにグループ化してもよく、メッシュの１つ以上の領域にマテリアルを定義して、レンダリング中に正しいシェーダが使用されるようにしてもよい。ＵＶ座標もまた提供してもよい。
【００２４】
メッシュ表現の例には、面−頂点メッシュ、クワッド−エッジメッシュ、頂点−頂点メッシュ、および翼のある（ウイングド）エッジメッシュが含まれる。もっとも、本開示に関連して任意の適切な表現が使用されてもよいため、これは限定と見なされるべきではない。
【００２５】
テクスチャデータ３０２は、メッシュデータ３０１に記述されたメッシュに関連付けられたテクスチャを含む。図１を参照して説明したように、これには、メッシュで記述されたオブジェクトの外観および／または形状に関する任意のタイプの情報が含まれる。テクスチャデータ３０２は、例えばオブジェクトＩＤの使用によりメッシュデータ３０１内の個々の要素にリンクされてもよく、または対応するオブジェクトが占める位置に対応するシーン内の特定の位置に関連付けられてもよい。
【００２６】
位置データ３０３は、シーン内のメッシュおよび／またはテクスチャの位置に関する情報を含む。ここでも、位置データは、オブジェクトＩＤなどによって特定のメッシュに関連付けることができる。あるいは、オブジェクトのリストは、位置データ３０３の位置のリストと相関するメッシュデータ３０１に存在し、オブジェクトリストのｎ番目のエントリがポジションのリストのｎ番目のエントリで指定された位置を有するようにすることができる。位置データは、任意の適切な座標系で、たとえば、仮想世界の座標や画面上の位置に基づいて提供することができる。もちろん、いくつかの実施の形態では、位置データは必要ではないかもしれない。たとえば、単一のメッシュを使用してシーン全体を記述することができるかもしれない。
【００２７】
いくつかの実施の形態では、位置データ３０３は、さらに（または代替として）シーン内のメッシュに対する方向データを含んでもよい。たとえば、これには、メッシュの方向を記述するために使用できる最大３つの異なる角度（ロール、ピッチ、ヨーに対応）を含めることができる。あるいは、メッシュがすでにｘ、ｙ、またはｚ平面のいずれかで正しい角度で提供されている場合、これらのサブセット（０〜２）のみが必要とされることがある。
【００２８】
オプションのデータフィールド３０４は、コンテンツまたはその再生に関連する他の情報を含んでもよい。例えば、オプションのデータフィールド３０４は、仮想シーンおよび／またはデフォルトの視点位置を探索する際に可能な視界範囲（ユーザの頭の最大変位など）に関するメタデータを含むことができる。この情報の代わりに、またはそれに加えて、その他の補足情報が提供されてもよい。例には、コンテンツのコンテキスト情報、字幕、関連コンテンツ情報、コンテンツソース情報、ファイルタイプ情報が含まれる。
【００２９】
図３に示される第２のフレーム３１０は、上述のＰまたはＢフレームなどの予測フレームの一例である。これらのフレームは一般に、メッシュまたはテクスチャ情報自体を含まず、代わりにフレーム３００に存在するデータを使用する。フレーム３１０は、動きデータ３１１およびオプションのデータフィールド３１２を含む。
【００３０】
動きデータ３１１は、仮想環境内のオブジェクトの位置の変化に関する情報を含む。これは、位置データの新しいセットの形式（およびＩフレームの位置データ３０３を置換するために使用できるもの）であってもよく、または、フレーム３１０に対応する画像がそこから生成されるフレームに関連付けられた位置データ３０３に関する差分データのセットとしてであってもよい。 もちろん、仮想シーン内のオブジェクトに対する動き情報を提供する他の多くの適切な方法のいずれかを利用してもよい。
【００３１】
代替的または追加的に、動きデータ３１１は、フレームのデフォルト視点の動きを記述してもよい。場合によっては、これは、シーン内の各オブジェクトに対応するモーションを記述するよりも簡単であるかもしれない。 視点とシーン内のオブジェクトの動きを記述する組み合わせは、動いているカメラと動いているオブジェクトを用いてビデオコンテンツを記述する際に望ましい場合がある。これは、シーンにおける多くのオブジェクト（一般的には静的オブジェクト）が同じ動きになる簡単化されたデータセットを生成するからである。
【００３２】
オプションのデータフィールド３１２は、上述のオプションのデータフィールド３０４のものと同様、任意のタイプの補足情報を含んでもよい。いくつかの実施の形態では、オプションのデータフィールド３１２は、Ｉフレーム３００で提供された情報を更新または修正するために使用できる追加のメッシュまたはテクスチャ情報を含むことができる。たとえば、交換用のメッシュまたはテクスチャを提供する（新しい視点を考慮する、またはオブジェクトの以前には見えなかった後部に対するテクスチャを必要とするなど、時間の経過とともにオブジェクトを変更する）、または拡張機能を提供する（さらなるメッシュデータを追加するためにストリーミングメッシュを使用するなど）ことができる。
【００３３】
図４は、コンテンツ生成の構成を概略的に示す。この構成を使用して、ビデオコンテンツの単一の画像または複数のフレームに対応するコンテンツを生成することができるが、この構成はビデオ生成を参照して説明する。ビデオ生成装置４００は、データ生成部４０１、データ判定部４０２、フレーム符号化部４０３、およびコンテンツ出力部４０４を備える。
【００３４】
データ生成部４０１は、仮想シーンに対するメッシュおよびテクスチャデータを生成するように動作可能である。これは、異なるオブジェクトや環境機能などのシーン内の要素を識別し、ローカルストレージデバイスなどの情報ソースから対応するメッシュおよびテクスチャデータを取得することによって実行される。いくつかの実施の形態では、データ生成部は、仮想シーン内の１つまたは複数の視点で遮られるか、さもなければ見えない仮想シーン内のオブジェクトに対するメッシュおよびテクスチャデータを生成するように動作可能であってもよい。これは、観察者による視点のわずかな動きに基づいてオブジェクトが見えるようになる場合に特に有利である。
【００３５】
データ決定部４０２は、生成されるべきフレームに含まれるべき生成された情報の量を決定するように動作可能である。たとえば、可能な視点の比較的狭い範囲が定義されている場合、視聴者が仮想シーン内のオブジェクトの特定の面を見ることができない場合がある。たとえば、視聴者が家の前に立っており、視点がどちらの側でも10度しかずれない場合、家の背面に対するテクスチャデータは、そのフレームでは表示されないため、含める必要はない。
【００３６】
この場合、そのような面に対するメッシュとテクスチャの情報は（このフレームに表示することは不可能であるため）不要であると見なされてもよく、後先のことを考えずに除外してもよい。もちろん、オブジェクトがフレーム間を移動すると、これらの他の面が見えるようになるため、生成された各フレームのコンテンツに依存する後のフレームの表示要件を考慮する必要がある。
【００３７】
データ決定部４０２はまた、デフォルトの視点を表示する時にシーンには全くないが、ユーザが視点の回転を要求すると見えるようになるオブジェクトを特定するように動作可能であってもよい。この場合、すべての表示可能なオブジェクトを表すデータが存在することを保証するために、送信用のフレームを生成する時に、特定されたオブジェクトのメッシュが考慮される。
【００３８】
データ決定部４０２は、上記の考慮事項に応じて、メッシュおよびテクスチャデータをそれに応じて適合させるように動作可能であってもよい。例えば、これには、メッシュおよび／またはテクスチャを切り取って不要なデータ（表示できないオブジェクトの面など）を削除する処理や、圧縮された形式などで不要な部分を提供する処理が含まれる。異なるオブジェクトなどのどの部分を可能性のある視点のいずれかで見ることができるかを判断するために、仮想シーンをモデル化してオクルージョンなどを特定することが有利な場合がある。
【００３９】
フレーム符号化部４０３は、生成されたメッシュおよびテクスチャデータの少なくとも一部を含む１つまたは複数のフレームを符号化するように動作可能であり、符号化されるメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用される情報を含む。フレーム符号化部４０３は、図３を参照して説明したようなフレームを生成するように動作可能である。
【００４０】
フレーム符号化部４０３は、特定のユースケースに応じて、データ生成部４０１またはデータ決定部４０２により生成されたデータを使用してもよい。フレーム符号化部４０３はまた、上述のような追加情報を符号化してもよい。 例えば、フレーム符号化部は、１つまたは複数のフレームにおいて、そのフレームを使用して生成される可能な視点の範囲を示す情報を符号化するように動作可能であってもよい。あるいは、またはさらに、フレーム符号化部は、１つまたは複数のフレームにおいて、そのフレーム内のデフォルトの視点位置を示す情報を符号化するように動作可能であってもよい。
【００４１】
フレーム符号化部４０３は、図２および図３を参照して説明した方法でフレームを生成するように動作可能である。これは、メッシュまたはテクスチャデータを含まないフレーム（フレーム３１０など）を生成することを含み、代わりに、そのようなデータを含むフレームを参照する予測情報を含むことがある。結果として、フレーム符号化部は、連続表示を目的とするフレーム間の差（上記のオブジェクト／視点の動きなど）を特定するための処理を実行してもよい。
【００４２】
これは、別の符号化フレームに対する仮想シーン内の１つまたは複数のメッシュの位置の変化に関する情報を含む１つまたは複数のフレームを符号化するように動作可能なフレーム符号化部の例である。しかしながら、いくつかの実施の形態では、メッシュに対する位置情報の変化を含むフレームはまた、上述のように追加のメッシュおよびテクスチャ情報も含む。これらのようなフレームが使用される場合、フレーム符号化部によって出力されるフレームは、図２を参照して説明したようなグループオブピクチャ構造に配置されてもよい。位置情報フレームにおける変化を含む予測フレームは、ＰおよびＢフレームに匹敵する。
【００４３】
いくつかの実施の形態では、これらのタイプの予測フレームのそれぞれが利用される。例えば、Ｐフレームは、そこからＰフレームが予測されるＩフレームの情報を補うために、追加のメッシュおよび／またはテクスチャ情報を含んでもよい。 そのような実施の形態におけるＢフレームは、オブジェクトメッシュに対する位置情報の変化を含むが、追加のメッシュまたはテクスチャ情報は含まない。
【００４４】
コンテンツ出力部４０４は、フレーム符号化部４０３によって生成された符号化フレームデータを出力するように動作可能である。いくつかの実施の形態では、これは、コンテンツをローカルストレージメディアに保存することを含む。代替的または追加的に、これは、コンテンツを視聴者に（たとえば、ネットワークまたはインターネット接続を介して）送信することを含むことができる。
【００４５】
図５は、コンテンツ再生システムの概略図である。 図４を参照して説明したように、そのようなシステムは、単一の画像またはビデオを形成する複数のフレームとともに使用することができる。ただし、ここでの説明はビデオ再生のコンテキストでなされる。ビデオ再生システム５００は、ビデオ再生部５１０およびＨＭＤ５６０を備える。ビデオ再生部５１０は、コンテンツ受信部５２０、フレーム復号部５３０、視点決定部５４０、および画像レンダリング部５５０を備える。
【００４６】
コンテンツ受信部５２０は、上述のようなメッシュおよびテクスチャデータのフレームを含むコンテンツを受信するように動作可能である。このコンテンツは、任意の適切な有線または無線ネットワーク接続、または取り外し可能な記憶媒体などを介して受信されてもよい。たとえば、コンテンツはオンラインストア経由でストリーミングしたり、ディスクで提供してもよい。
【００４７】
フレーム復号部５３０は、コンテンツ受信部５２０によって受信されたメッシュおよびテクスチャデータを含む１つまたは複数のフレームを復号するように動作可能である。この復号化は、使用可能なメッシュおよびテクスチャデータが受信した画像フレームから生成される限り、任意の適切な方法で実行できる。
【００４８】
視点決定部５４０は、フレームに関する画像コンテンツの表示のために要求された視点を決定するように動作可能である。いくつかの実施の形態では、これは、コンテンツによって定義されるベース視点からの要求視点の偏差を決定することを含む。たとえば、ディスプレイとしてＨＭＤを使用する場合、検出された頭部の動きは、その種類（頭部の回転または並進としての分類など）、大きさ（例えば角度またはセンチメートル）、速度、加速度、および/または方向の一つ以上の観点で特徴づけられてもよい。
【００４９】
ディスプレイとしてのHMDの使用の例では、視点の要求された変化は、ユーザ／ＨＭＤの頭部運動追跡を実行することにより識別されてもよい。あるいは、またはそれに加えて、ユーザのコントローラ入力、手のジェスチャ、または音声コマンドを使用して、視点の望ましい変化を示すことができる。
【００５０】
画像レンダリング部５５０は、指定された視点に応じて１つ以上のデコードされたフレームから表示用の１つ以上の画像を生成するように動作可能であり、１つ以上のフレームからデコードされたメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用可能な情報を含む。
【００５１】
画像レンダリング部５５０によって実行されるこの画像レンダリング処理は、所望の視点に対する画像をレンダリングするのに必要な仮想シーンを構成するオブジェクトを識別し、続いて適切な位置で対応するメッシュを識別して位置決めし、対応するテクスチャをそのメッシュに適用することを含んでもよい。
【００５２】
ＨＭＤ５６０は、ビデオ再生装置５１０によって受信されるコンテンツを表示するのに適切であるディスプレイユニットの一例である。ただし、任意のディスプレイが適切な場合があるため、これは限定と見なされるべきではない。ＨＭＤ５６０は、各フレームの仮想シーンのナビゲーションをユーザの頭の動きに結び付けることができるため、より没入感のある視聴体験をユーザに提供するのに望ましい。それにもかかわらず、現在開示されている構成の利点は、要求された視点を特定するために入力デバイスなどと組み合わせていくつかの異なるタイプのディスプレイのいずれかを使用して享受することができる。
【００５３】
図６は、コンテンツ生成方法の概要を示す。
【００５４】
ステップ６００は、仮想シーンのためのメッシュおよびテクスチャデータを生成することを含み、メッシュおよびテクスチャ情報は、仮想シーンの環境内の少なくとも潜在的に目に見えるオブジェクトおよび特徴を記述する。
【００５５】
ステップ６１０は、エンコードされるメッシュおよびテクスチャデータを決定することを含む。これは、各フレームの視聴者に見えるまたは潜在的に見える仮想シーンの部分を考慮して実行されてもよい。このステップは、エンコードされた冗長データの量を減らすために、生成されたメッシュおよび／またはテクスチャデータの適応または選択を含むこともできる。
【００５６】
ステップ６２０は、メッシュおよびテクスチャデータを１つまたは複数のフレームにエンコードすることを含み、エンコードされるメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点のいずれかを記述するために使用できる情報を含む。
【００５７】
ステップ６３０は、エンコードされたコンテンツを出力すること、例えば、コンテンツをローカルストレージメディアに保存すること、および／またはコンテンツを視聴者に送信することを含む。
【００５８】
図７は、コンテンツ再生方法を模式的に示す。
【００５９】
ステップ７００は、エンコードされたコンテンツを受信することを含む。このコンテンツは、前述のように、任意の適切な有線または無線ネットワーク接続、またはリムーバブルストレージメディアなどを介して受信してもよい。
【００６０】
ステップ７１０は、メッシュおよびテクスチャデータを含む受信フレームのうちの１つまたは複数を復号することを含む。
【００６１】
ステップ７２０は、要求された視点を決定することを含む。これは、表示用の画像を生成するときに指定された視点として機能する。指定された視点は、ユーザ入力、受信フレームに存在する指示、シーン内のイベントまたはオブジェクト、および／または視聴者の頭の位置および／または向きの１つまたは複数に応じて決定されてもよい。
【００６２】
ステップ７３０は、指定された視点に応じて１つ以上のデコードされたフレームから表示のための１つ以上の画像を生成することを含み、１つ以上のフレームからデコードされたメッシュおよびテクスチャデータは、同じ仮想シーン内の複数の異なる視点を記述するために使用される情報を含む。
【００６３】
図８は、本開示による修正可能な視点の例を概略的に示す。
【００６４】
正方形８００は、コンテンツに記述されたデフォルトの視点から表示される仮想シーン内の例示的なオブジェクトを表す。ここでは完全に２次元のオブジェクトとして示されているが、視聴者は、ディスプレイ上にその画像が表示されたとき、それが奥行きを持つオブジェクトであることを識別できるであろう。
【００６５】
ユーザは、何らかの形式の入力を与えることにより、オブジェクトのいずれかの側をのぞき見ることができる。たとえば、視点の右上への変化を示すことにより、キューブ８１０で示されるように、オブジェクトのビューがユーザに表示される。同様に、視点の左上への視点の変化を示すことにより、立方体８２０で示されるように、オブジェクトのビューがユーザに表示される。
【００６６】
もちろん、デフォルトの表示位置からの偏差は、表示されているものよりもはるかに大きくなる場合がある。ユーザが十分に移動して、オブジェクトの背面を見たり、デフォルトの視点位置に対する仮想シーンにおいて背後にあるものを見ることができるように情報を提供することができる。
【００６７】
したがって、この図は、開示された構成を使用して、視聴者が画像の隠された部分を調べることができる方法を概略的に示す。
【００６８】
本構成は、ビデオコンテンツにのみ関連するのではなく、単一の画像を提供するために使用されてもよい。これにより、たとえば、ゲーム内のスクリーンショット、または実際にあらゆるタイプの画像のコンテキストで、改善された視聴体験を提供できる。たとえば、複数の写真を実際の環境の異なる視点でキャプチャして使用することで、メッシュおよびテクスチャデータを生成することができる。その後、このデータを使用して、画像間でシーンをキャプチャする複数の画像ではなく、単一のナビゲート可能な画像を生成することができる。
【００６９】
ビデオゲームの再生は、このような構成のユースケースの例である（ただし、説明した方法はもちろん、任意のビデオコンテンツにも適用できる）。開示された構成に関連する利点は、そのような状況で特に有益であろう。これにより、ユーザはゲーム内のアクションについて異なる視点を得ることができ、これによりゲームのプレイ方法のより深い理解を得ることができ、あるいは、少なくとも、ビデオで行われているイベントに対する追加的なコンテキストを提供することができる。
【００７０】
本開示の方法に従ってビデオコンテンツが提供される多くの実施の形態では、各個別フレーム自体が何らかの方法でナビゲート可能でない場合があることを理解すべきである。これは、ビデオの再生中に、ユーザが要求視点の大幅な変更を示すのに十分な時間、フレームが表示されない場合があるためである。その代わりに、ビデオディスプレイは、要求された視点の変化に対応するために、現在表示されている画像とは異なる視点で表示する次の画像を生成することにより、各フレームに対して利用可能な視点の範囲を活用するように動作可能である。
【００７１】
場合によっては、生成されるのは個別フレームだけである。これは、ビデオコンテンツではなく静止画像を表す。そのような場合、コンテンツ自体が時間とともに変化することなく、画像のレンダリングがユーザの頭の動きの変化（または異なる視点を要求する別の指示）とともに更新される。
【００７２】
したがって、各画像またはフレームが個別にナビゲートできる実施の形態が存在し、そうではない実施の形態が存在するが、２つ以上のフレームの表示期間にわたってデフォルトの視聴位置からの偏差がありうることは明らかである。いくつかの実施の形態、たとえば、可変フレームレート（一部のフレームがナビゲートできるように十分長く表示される）や、画像コンテンツがビデオコンテンツと一緒にまたはその一部として提供される実施の形態では、これらのそれぞれがありうるかもしれない。たとえば、明らかに、ユーザはビデオの再生を一時停止することもできる。これにより、現在のフレームの役割がビデオシーケンスの一部から静止画像に変わる。システムは、ユーザが視点を変更するにつれて、ここで説明する範囲の制約内で、この現在のフレームに対するさまざまなビューを出力することができる。
【００７３】
指定された視点は、ユーザ入力、画像フレームに存在する指示、シーン内のイベントまたはオブジェクト、および／または視聴者の頭の位置および／または向きの１つまたは複数に依存して決定されてもよい。 一般に、これらの要因の組み合わせが使用される。たとえば、画像フレームに存在する指示は、デフォルトの視点（たとえば、映画のシーンのメインイベントに焦点を当てる視点）を定義することができ、ユーザ入力（頭の動きなど）はこれからの偏差を定義することができる。
【００７４】
コンテンツ内のイベントの発生を使用して、指定された視点を定義することができる。いくつかの実施の形態では、イベントの発生に関する情報をフレームにおいてエンコードしてもよい。あるいは、またはさらに、コンテンツ再生デバイスによって処理を実行して、コンテンツ内のイベント―たとえば、オブジェクトに対するしきい値を超える位置変更（または完全に消失）、またはテクスチャの外観の大幅な変更などを特定することができる。
【００７５】
上述のように、各画像またはフレームは、定義された視点からの最大偏差を有してもよい。これはいくつかの方法で決定できる。たとえば、特定の画像またはビデオ形式は、コンテンツごとに提供する必要がある特定の可能な偏差を定義できる。 代替的または追加的に、視点からの最大偏差は、たとえばコンテンツの種類や身体的考慮事項を考慮して、ユーザの予想される動作範囲に基づいて定義してもよい。
【００７６】
この一例では、視聴者は、話者に焦点を合わせている可能性が高いため、キャラクタが話しているビデオシーケンスを検討するときに、広い範囲の視点の動きを必要とする可能性は低い。ただし、車両の走行を描写するビデオシーケンスでは、ユーザは車両の外側の環境を見るために周囲を見回す傾向がある。したがって、このような場合には、より広い範囲の視点の動きが望ましく、この機能は、より多くのメッシュおよびテクスチャ情報を含めること、および／またはデフォルトの視点からのより大きな最大偏差を定義することにより、コンテンツ生成部によって提供されてもよい。
【００７７】
代替視点の要求との間の対応は、さまざまなアプリケーションに応じて異なってもよい。いくつかの実施の形態では、同じアクションがコンテンツの各部分に対して同じ視点の変化をもたらさないようにギアリングが適用されてもよい。これの一例は、可能な視点の非常に狭い範囲が定義されるビデオである。そのような実施の形態では、特定の量の視点の動きを生成するためにより大きな頭の動き（または所望の視点の変化の同等の指示）を要求することが有利かもしれない。これは、ユーザが画像の境界に到達する前には頭をより大きく動かすことができ、さらなる頭の動きに対して異なる視点をもはや経験しなくなることを意味する。もちろん、ギア比が高すぎる場合、予想される視点の動きと実際の視点の動きの間の不一致により、視点の変化がもはや自然に感じられなくなるため、ユーザは没入感の一部を失うことが予想される。
【００７８】
そのような構成において、デフォルトの視点などからの最大偏差に関する情報を使用して、ギアリングをコンテンツの再生時に決定することができる。あるいは、またはさらに、コンテンツを生成するフレーム符号化部は、視点の変更の要求と表示されるべき視点の変化との間のギアリング比を示す情報を１つまたは複数のフレームにおいて符号化するように動作可能であってもよい。
【００７９】
そのような構成のさらなる利点は、早送りまたは巻き戻しなどのビデオコンテンツのスキップをより効率的にできることである。従来のビデオコンテンツのＧＯＰにおいてＩフレーム以外のフレームを生成する際に画像をレンダリングしてからイントラ予測などを実装する代わりに、レンダリングが実行される前にこのＩフレームからのデータを予測フレームからのデータと組み合わせることができる。結果として、表示用の画像を生成するためのすべての情報がレンダリングの前に特定されるため、単一の画像のみをレンダリングする必要がある。
【００８０】
本発明の実施の形態は、ハードウェア、プログラム可能なハードウェア、ソフトウェア制御のデータ処理装置、またはこれらの組み合わせで実施できることが理解されよう。 そのような実施の形態で使用されるコンピュータソフトウェアまたはファームウェア、およびそのようなソフトウェアまたはファームウェアを提供するための媒体（記憶媒体、例えば、磁気または光学ディスクなどの機械可読非一時的記憶媒体、またはフラッシュメモリ）を提供することも本発明の実施の形態を表すものと考えられることが理解されよう。
【図１】
2020526076.tif 000003
【図２】
2020526076.tif 000004
【図３】
2020526076.tif 000005
【図４】
2020526076.tif 000006
【図５】
2020526076.tif 000007
【図６】
2020526076.tif 000008
【図７】
2020526076.tif 000009
【図８】
2020526076.tif 000010
【国際調査報告】
2020526076.tif 000011