(57)【要約】  ビデオデータを処理するための方法および装置において、１つまたは複数のプロセッサは、ピクセル領域ビデオデータを生成するようにピクセル領域において記憶されたビデオデータの一部分を符号化するように構成され、第１のグラフィックス処理ユニットは、グラフィックス領域ビデオデータを生成するようにグラフィックス領域においてビデオデータを処理するように構成され、インターフェースは、グラフィックス領域ビデオデータおよびピクセル領域ビデオデータを送信する。１つまたは複数のプロセッサは、ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、ビデオデータを復号することとを行うように構成され、センサは、ユーザの運動適応を感知し、第２のグラフィックス処理ユニットは、グラフィックスストリームから受信されたテクスチャ情報を用いて球面上にキャンバスを生成することと、ユーザの感知された運動適応に基づいて視野をレンダリングすることとを行うように構成される。
2019517191.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを処理するように構成された装置であって、
前記ビデオデータを記憶するように構成されたメモリと、
ピクセル領域ビデオデータを生成するようにピクセル領域において前記記憶されたビデオデータの一部分を符号化するように構成された１つまたは複数のプロセッサと、
グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理するように構成された第１のグラフィックス処理ユニットと、
前記グラフィックス領域ビデオデータおよび前記ピクセル領域ビデオデータを送信するためのインターフェースと
を備える、装置。
【請求項２】
前記１つまたは複数のプロセッサは、エクイレクタングラーキャンバスを形成するように前記ビデオデータを共にスティッチングするようにさらに構成され、前記第１のグラフィックス処理ユニットは、前記キャンバスをテクスチャに変換することと、スフィアの内側に前記テクスチャをレンダリングすることとを行うようにさらに構成される、請求項１に記載の装置。
【請求項３】
前記第１のグラフィックスプロセッサは、第１のフレームレートで前記インターフェースを介して前記テクスチャを送信するように構成され、前記１つまたは複数のプロセッサは、前記第１のフレームレートよりも大きい第２のフレームレートで前記インターフェースを介して前記ピクセル領域ビデオデータを送信するようにさらに構成される、請求項２に記載の装置。
【請求項４】
前記第１のグラフィックスプロセッサは、第１の解像度で前記インターフェースを介して前記テクスチャを送信するように構成され、前記１つまたは複数のプロセッサは、前記第１の解像度よりも大きい第２の解像度で前記インターフェースを介して前記ピクセル領域ビデオデータを送信するようにさらに構成される、請求項２に記載の装置。
【請求項５】
前記１つまたは複数のプロセッサは、キューブマップまたは角錐投影法のうちの１つに前記キャンバスをマッピングすることと、複数の解像度で複数のタイルを符号化することと、ユーザの視野内にある前記複数のタイルのうちの１つまたは複数のタイルを送信することとを行うように構成される、請求項２に記載の装置。
【請求項６】
前記１つまたは複数のプロセッサは、前記ユーザの運動適応を決定することと、前記ユーザの前記決定された運動適応に基づいて前記視野を決定することとを行うように構成される、請求項５に記載の装置。
【請求項７】
前記１つまたは複数のプロセッサは、前記ユーザの運動適応を決定することと、前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと、前記決定された視野に基づいてサラウンドサウンドビデオを適応させることとを行うように構成される、請求項５に記載の装置。
【請求項８】
前記１つまたは複数のプロセッサは、前記運動適応に基づいて第１の解像度で前記視野の中心にあるタイルを送信することと、前記第１の解像度よりも少ない第２の解像度で、前記視野内にはあるが前記視野の中心にはないタイルを送信することとを行うように構成される、請求項６に記載の装置。
【請求項９】
前記ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記ビデオデータを復号することとを行うように構成された１つまたは複数のプロセッサと、
ユーザの運動適応を感知するためのセンサと、
前記グラフィックスストリームから受信されたテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを行うように構成された第２のグラフィックス処理ユニットと
をさらに備える、請求項１に記載の装置。
【請求項１０】
ビデオデータを処理するように構成された装置であって、
ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶するように構成されたメモリと、
前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記パースされたビデオストリームを復号することとを行うように構成された１つまたは複数のプロセッサと、
ユーザの運動適応を感知するためのセンサと、
前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを行うように構成されたグラフィックス処理ユニットと
を備える、装置。
【請求項１１】
前記１つまたは複数のプロセッサは、前記ユーザの前記視野内にある複数のタイルを復号することと、低解像度タイルである前記複数のタイルのうちのタイルと、高解像度タイルである前記複数のタイルのうちのタイルとの両方をアップサンプリングすることと、単一画像オーバーレイを形成するように前記低解像度タイルと前記高解像度タイルとを組み合わせることとを行うように構成される、請求項１０に記載の装置。
【請求項１２】
前記１つまたは複数のプロセッサは、前記ユーザの前記感知された運動適応に基づいて前記単一画像オーバーレイを形成するように構成される、請求項１１に記載の装置。
【請求項１３】
前記１つまたは複数のプロセッサは、前記ユーザの前記感知された運動適応により、前記アップサンプリングされたタイルが前記視野の外側に出ると決定することに基づいて前記単一画像オーバーレイを形成しないように構成される、請求項１２に記載の装置。
【請求項１４】
前記ユーザの前記感知された運動適応は、頭部運動の軌跡を備える、請求項１３に記載の装置。
【請求項１５】
前記１つまたは複数のプロセッサは、前記ユーザの頭部運動の程度を可視性ウィンドウと比較するように構成される、請求項１３に記載の装置。
【請求項１６】
ビデオデータを処理する方法であって、
前記ビデオデータを記憶することと、
ピクセル領域ビデオデータを生成するようにピクセル領域において前記ビデオデータの一部分を符号化することと、
グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理することと、
前記グラフィックス領域ビデオデータおよび前記ピクセル領域ビデオデータを送信することと
を備える、方法。
【請求項１７】
エクイレクタングラーキャンバスを形成するように前記ビデオデータを共にスティッチングすることと、
前記キャンバスをテクスチャに変換することと、
スフィアの内側に前記テクスチャをレンダリングすることと
をさらに備える、請求項１６に記載の方法。
【請求項１８】
第１のフレームレートで前記テクスチャを送信することと、
前記第１のフレームレートよりも大きい第２のフレームレートで前記ピクセル領域ビデオデータを送信することと
をさらに備える、請求項１７に記載の方法。
【請求項１９】
第１の解像度でを介して前記テクスチャを送信することと、
前記第１の解像度よりも大きい第２の解像度で前記ピクセル領域ビデオデータを送信することと
をさらに備える、請求項１７に記載の方法。
【請求項２０】
キューブマップまたは角錐投影法のうちの１つに前記キャンバスをマッピングすることと、
複数の解像度で複数のタイルを符号化することと、
ユーザの視野内にある前記複数のタイルのうちの１つまたは複数のタイルを送信することと
をさらに備える、請求項１７に記載の方法。
【請求項２１】
前記ユーザの運動適応を決定することと、
前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと
をさらに備える、請求項２０に記載の方法。
【請求項２２】
前記ユーザの運動適応を決定することと、
前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと、
前記決定された視野に基づいてサラウンドサウンドビデオを適応させることと
をさらに備える、請求項２０に記載の方法。
【請求項２３】
前記決定された運動適応に基づいて、第１の解像度で前記視野の中心にあるタイルを送信することと、
前記第１の解像度よりも少ない第２の解像度で、前記視野内にはあるが前記視野の中心にはないタイルを送信することと
をさらに備える、請求項２１に記載の方法。
【請求項２４】
前記ビデオデータを復号することと、前記ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、
ユーザの運動適応を感知することと、
前記グラフィックスストリームから受信されたテクスチャ情報を用いて球面上にキャンバスを生成することと、
前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることと
をさらに備える、請求項１６に記載の方法。
【請求項２５】
ビデオデータを処理する方法であって、
ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶することと、
前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記ビデオストリームを復号することと、
ユーザの運動適応を感知することと、
前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、
前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることと
を備える、方法。
【請求項２６】
前記ユーザの前記視野内にある複数のタイルを復号することと、
低解像度タイルである前記複数のタイルのうちのタイルと、高解像度タイルである前記複数のタイルのうちのタイルとの両方をアップサンプリングすることと、
単一画像オーバーレイを形成するように前記低解像度タイルと前記高解像度タイルとを組み合わせることと
をさらに備える、請求項２５に記載の方法。
【請求項２７】
前記ユーザの前記感知された運動適応に基づいて前記単一画像オーバーレイを形成することをさらに備える、請求項２６に記載の方法。
【請求項２８】
前記ユーザの前記感知された運動適応により、前記アップサンプリングされたタイルが前記視野の外側に出ると決定することに基づいて前記単一画像オーバーレイを形成しないことをさらに備える、請求項２７に記載の方法。
【請求項２９】
前記ユーザの前記感知された運動適応は、頭部運動の軌跡を備える、請求項２８に記載の方法。
【請求項３０】
前記ユーザの頭部運動の程度を可視性ウィンドウと比較することをさらに備える、請求項２８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本出願は、２０１６年５月６日に出願され、その各々の内容全体が参照によって本明細書に組み込まれている、米国仮特許出願第６２／３３２,９１８号の利益を主張する。
【０００２】
[0002]  本開示は、３６０度ビデオのコード化および送信に関する。
【背景技術】
【０００３】
[0003]  近年の３６０度ビデオ技術の結果、ユーザが経験するビデオ環境は、ビデオ自体の主題と全く同じように重要になっている。このような３６０ビデオ（360 video）技術は、３６０度ビデオカメラまたはウェブサイトから、バーチャルリアリティ（ＶＲ）ヘッドマウントディスプレイ（ＨＭＤ）のようなリアルタイムビデオディスプレイへの３６０ビデオのリアルタイムストリーミングおよび／または３６０ビデオグラフィックスのリアルタイムストリーミングを伴い得る。ＶＲ ＨＭＤは、ユーザが、頭部の回転で視聴角度を変更することによって彼らの周囲一帯で起きているアクションを経験することを可能にする。３６０度ビデオを作成するために、特別セットのカメラが３６０度のシーンすべてを同時に記録するために使用され得るか、または複数のビュー（例えば、ビデオおよび／またはコンピュータ生成の画像）が画像を形成するように共にスティッチング（stitched）され得る。
【発明の概要】
【０００４】
[0004]  概して、本開示は、３６０ビデオデータのストリーミングのための技法を説明する。１つの例において、本開示は、ピクセル領域ビデオデータ（pixel domain video data）を生成するようにピクセル領域において前記３６０ビデオデータの一部分を符号化するように構成されたビデオエンコーダと、グラフィックス領域ビデオデータ（graphics domain video data）を生成するようにグラフィックス領域において前記３６０ビデオデータを処理するための第１のグラフィックス処理ユニットと、前記３６０ビデオデータをストリーミングするために前記グラフィックス領域ビデオデータおよび前記ピクセル領域ビデオデータを送信するためのインターフェースとを提案する。
【０００５】
[0005]  １つの例において、本開示は、ビデオデータを処理するように構成された装置を提案する。メモリは、前記ビデオデータを記憶するように構成され、１つまたは複数のプロセッサは、ピクセル領域ビデオデータを生成するようにピクセル領域において前記記憶されたビデオデータの一部分を符号化するように構成され、第１のグラフィックス処理ユニットは、グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理するように構成される。インターフェースは、ビデオストリームとして、グラフィックス領域ビデオデータおよびピクセル領域ビデオデータを送信するように構成される。
【０００６】
[0006]  別の例において、本開示はさらに、ビデオデータを処理するように構成された装置を提案する。メモリは、ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶するように構成され、１つまたは複数のプロセッサは、前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリーム（audio-video stream）にパース（parse）することと、前記ビデオストリームを復号することとを行うように構成される。センサは、ユーザの運動適応（movement adaptation）を感知し、グラフィックス処理ユニットは、前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを行うように構成される。
【０００７】
[0007]  別の例において、ビデオデータを処理する方法は、前記ビデオデータを記憶することと、ピクセル領域ビデオデータを生成するようにピクセル領域において前記ビデオデータの一部分を符号化することと、グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理することと、前記グラフィックス領域ビデオデータおよび前記ピクセル領域ビデオデータを送信することとを備える。別の例において、ビデオデータを処理する方法は、ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶することと、前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースし、前記ビデオストリームを復号することと、ユーザの運動適応を感知することと、前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを備える。
【０００８】
[0008]  １つの例において、本開示は、３６０ビデオデータのストリーミングの方法を提案し、前記方法は、グラフィックス領域において前記３６０ビデオデータをストリーミングすることと、ピクセル領域において前記３６０ビデオデータの少なくとも一部分を符号化することと、前記グラフィックス領域における前記ストリーミングされた３６０ビデオデータおよび前記ピクセル領域における前記３６０ビデオデータの前記少なくとも一部分を送信することとを備える。
【０００９】
[0009]  別の例において、本開示はさらに、センサデータを抽出することと、ユーザの運動適応を決定するために前記抽出されたセンサデータを処理することとを提案する。別の例において、本開示はさらに、グラフィックス領域において前記３６０ビデオデータをストリーミングすることが、スフィア（sphere）の内側に前記３６０ビデオデータをレンダリングするようにグラフィックスプロセッサによる実行のために、前記グラフィックス領域における前記３６０ビデオデータをテクスチャに変換することと、同期のためにタイムスタンプを適用することと、トランスポートのために前記ビデオデータをリアルタイムプロトコルカプセル化（real-time protocol encapsulating）することとを備えることを提案する。別の例において、本開示はさらに、前記ピクセル領域において前記３６０ビデオデータの少なくとも一部分をストリーミングすることが、前記３６０ビデオデータを、キューブマップ（cube map）、エクイレクタングラー（equirectangular）、および角錐投影法（pyramid projection）のうちの１つにマッピングすることと、様々な解像度で前記３６０ビデオデータの前記少なくとも一部分を複数のタイルに符号化することと、ユーザの決定された運動適応に基づいて前記複数のタイルの一部分をストリーミングすることとを備えることを提案する。
【００１０】
[0010]  別の例において、本開示は、前記ストリーミングされた３６０ビデオデータを受信することと、前記ストリーミングされた３６０ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、球面上にキャンバスを生成することと、ユーザの運動を感知することと、前記生成されたキャンバスおよび前記感知された運動に基づいて視界をレンダリングすることとを提案する。別の例において、本開示は、グラフィックス領域において前記３６０ビデオデータを生成およびストリーミングすることと、ピクセル領域において前記３６０ビデオデータを生成およびストリーミングすることと、前記ストリーミングされた３６０ビデオデータを送信することとを行うように構成されたプロセッサを備えるソースデバイスと、前記送信されたストリーミングされた３６０ビデオを受信するための、ならびに前記ストリーミングされた３６０ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、球面上にキャンバスを生成することと、ユーザの運動を感知することと、前記生成されたキャンバスおよび前記感知された運動に基づいて視界をレンダリングすることとを行うように構成されたプロセッサを備える宛先デバイスとを提案する。
【００１１】
[0011]  別の例において、本開示は、スフィアの内側に前記３６０ビデオデータをレンダリングするようにグラフィックスプロセッサによる実行のために、前記グラフィックス領域における前記３６０ビデオデータをテクスチャに変換することと、同期のためにタイムスタンプを適用することと、トランスポートのために前記ビデオデータをリアルタイムプロトコルカプセル化することとを提案する。
【００１２】
[0012]  別の例において、本開示はさらに、実行されたときに１つまたは複数のプロセッサに方法を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体を提案し、前記方法は、３６０ビデオデータのストリーミングの方法の任意の組合せを備える。
【００１３】
[0013]  本開示の１つまたは複数の態様の詳細は、添付の図面および以下の説明において記述される。本開示で説明される技法の他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】[0014]  本開示で説明される１つまたは複数の技法を利用し得るビデオデータを処理するための装置のブロック図。
【図２】[0015]  本開示で説明される１つまたは複数の技法をインプリメントし得る例となるソースデバイスを例示するブロック図。
【図３】[0016]  本開示で説明される１つまたは複数の技法をインプリメントし得る例となるデバイスを例示するブロック図。
【図４】[0017]  本開示の一例に係るビデオデータを処理するための方法のフローチャート。
【図５】[0018]  本開示の一例に係るビデオデータを処理するための方法のフローチャート。
【詳細な説明】
【００１５】
[0019]  ビデオに関連するデータのストリーミングは有利に、ビデオ品質または解像度を妥協することなく、視野（ＦｏＶ：field of view）の変更中にユーザが経験する遅れ時間の影響を回避するために迅速に生じる。特に、３６０ビデオのための純粋な（pure）ピクセル領域アーキテクチャ（例えば、ビデオ符号化／復号技法のみからなるアーキテクチャ）は、必要とされる符号化および復号オーバーヘッドによりレイテンシペナルティを課し得、一方、純粋なグラフィックス領域アーキテクチャは、３６０度ビデオ全体が送信される（例えば、リアルタイムにワイヤレスに送信される）ことが望まれる場合に、極端に高いテクスチャオーバーヘッドを有し得る。
【００１６】
[0020]  本開示は、ハイブリッドなグラフィックスおよびピクセル領域アプローチを利用する、ビデオデータのためのストリーミングビデオシステムのための技法を説明し、ここで、ベースライン品質（baseline quality）および即時応答性（immediate responsiveness）が、グラフィックス領域パイプラインによって提供され、高解像度ビデオが、ピクセル領域パイプラインによって提供される。加えて、ストリーミングビデオシステムはまた、指向性オーディオ（directional audio）およびビデオの同期のためにＶＲ ＨＭＤアプリケーションのための頭部運動適応に対処する。結果として、本開示で説明される技法およびデバイスは、リアルタイムアプリケーションのためのピクセルおよびグラフィックス領域ストリーミングの強みを活かし、可視性ウィンドウの制約（window of visibility constraints）と併せて人間の視野特性（visual field characteristics）を考慮に入れる。
【００１７】
[0021]  図１は、本開示で説明される１つまたは複数の技法を利用し得るビデオデータを処理するための装置のブロック図である。図１に示されているように、ビデオをストリーミングするためのシステム１０は、宛先デバイス１４によってその後復号されることになる符号化されたビデオデータを提供するビデオソースデバイス１２を含む。特に、ソースデバイス１２は、コンピュータ可読媒体１１を介して宛先デバイス１４にビデオデータを提供する。ソースデバイス１２および宛先デバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンのような電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス、または同様のものを含む、幅広い範囲のデバイスの任意のものを備え得る。いくつかのケースでは、ソースデバイス１２および宛先デバイス１４は、ワイヤレス通信のために装備され得る。１つの例では、宛先デバイス１４は、バーチャルリアリティ（ＶＲ）ヘッドマウントディスプレイ（ＨＭＤ）であり得、ビデオソースデバイス１２は、３６０ビデオを生成して宛先デバイスにストリーミングし得る。
【００１８】
[0022]  宛先デバイス１４は、コンピュータ可読媒体１１を介して、復号されることになる符号化されたビデオデータを受信し、符号化されたビデオデータをメモリ２９に記憶し得る。コンピュータ可読媒体１１は、ソースデバイス１２から宛先デバイス１４に、符号化されたビデオデータを移動することが可能な、任意のタイプの媒体またはデバイスを備え得る。１つの例では、コンピュータ可読媒体１１は、ソースデバイス１２が符号化されたビデオデータをリアルタイムに宛先デバイス１４に直接送信することを可能にするための通信媒体を備え得る。符号化されたビデオデータは、ワイヤレス通信プロトコルのような通信規格にしたがって変調され、宛先デバイス１４に送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理的な伝送線のような、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのようなグローバルネットワークといった、パケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに有用であり得る他の任意の機器を含み得る。
【００１９】
[0023]  宛先デバイス１４は、インターネット接続を含む、任意の標準データ接続を通して、符号化されたビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化されたビデオデータにアクセスするのに好適である、ワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ接続）、ワイヤード接続（例えば、ＤＳＬ、ケーブルモデム、等）、またはその両方の組合せを含み得る。記憶デバイスからの符号化されたビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
【００２０】
[0024]  本開示の技法は、ワイヤレスアプリケーションまたは設定に必ずしも限定されるわけではない。本技法は、無線テレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、ＨＴＴＰを介した動的適応型ストリーミング（ＤＡＳＨ）のようなインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されるデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他のアプリケーションのような、様々なマルチメディアアプリケーションの任意のものをサポートするビデオコード化に適用され得る。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオ電話通信のようなアプリケーションをサポートするために、一方向または二方向のビデオ送信をサポートするように構成され得る。
【００２１】
[0025]  図１の例となるシステム１０に例示されているように、ビデオソースデバイス１２は、以下で詳細に説明されるような本開示の組み合わされたグラフィックス領域およびピクセル領域技法を使用して、ビデオデータソース１７からの３６０ビデオデータのようなビデオデータを符号化するビデオエンコーダ１６を含み、送信入力／出力インターフェース１８を介して、符号化されたビデオを送信する。宛先デバイス１４に沿って配置された１つまたは複数のセンサ２４を含む例では、ビデオエンコーダ１６は、以下で説明されるように、ユーザの運動を決定するために入力／出力インターフェース１８を介して宛先デバイス１４からセンサデータを受信し得る。ビデオデータはまた、グラフィックス処理ユニット（ＧＰＵ）１９によってビデオソース１７から受信され、ＧＰＵ１９は、処理されたビデオデータを入力／出力インターフェース１８に送信する。加えて、プロセッサ１５は、ビデオソース１７からビデオデータビデオデータを受信し、ビデオエンコーダ１６および／またはＧＰＵ１９による使用のためのビデオデータを処理する。ソースデバイス１７は、サラウンドサウンドオーディオ（surround sound audio）を符号化することが可能なマイクロフォン（図示せず）を含み得る。
【００２２】
[0026]  宛先デバイス１４は、ビデオデコーダ２０およびグラフィックス処理ユニット（ＧＰＵ）２３を含む。符号化されたビデオデータは、ビデオソースデバイス１２からワイヤレスに送信され、送信入力／出力インターフェース２２を介して宛先デバイス１４において受信され、プロセッサ２１によって処理され得る。結果として生じる処理されたビデオデータは次いで、デコーダ２０によって復号され、および／または、以下で詳細に説明されるように、ディスプレイプロセッサ２５およびディスプレイ２７を介して視界（ＦｏＶ：field of vision）を生成またはレンダリングするためにグラフィックス処理ユニット（ＧＰＵ）２３によって利用される。宛先デバイス１４が、例えばバーチャルリアリティ（ＶＲ）ヘッドマウントディスプレイ（ＨＭＤ）である場合、１つまたは複数のモーションセンサ（motion sensor）のような、１つまたは複数のセンサ２４もまた、ユーザの向きおよび運動を感知するために含まれ得る。ディスプレイプロセッサ２５は、ＧＰＵ２３からのレンダリングされた視界と共に、ビデオデコーダ２０からの復号されたビデオデータを受信し、宛先デバイス１４のディスプレイ２７上でのユーザによる視聴のために３６０ビデオが生成されることを可能にするように、受信されたデータを処理する。
【００２３】
[0027]  図１の例示されているシステム１０は、単に１つの例に過ぎない。本開示の技法に係るビデオデータのコード化および送信のための技法は、任意のデジタルビデオ符号化および／または復号デバイスによって実行され得る。概して本開示の技法はビデオ符号化または復号デバイスによって実行されるが、本技法はまた、ビデオコーデックによっても実行され得る。さらに、本開示の技法はまた、ビデオプロセッサによっても実行され得る。ソースデバイス１２および宛先デバイス１４は単に、ソースデバイス１２が宛先デバイス１４への送信のためのコード化されたビデオデータを生成する、そのようなコード化デバイスの例にすぎない。
【００２４】
[0028]  ソースデバイス１２のビデオデータソース１７は、３６０度ビデオカメラシステム、ビデオカメラ、以前にキャプチャされたビデオを含むビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースのような、ビデオキャプチャデバイスを含み得る。さらなる例として、ビデオデータソース１７は、ソースビデオ、またはライブビデオ、アーカイブされたビデオ、およびコンピュータ生成のビデオの組合せとして、コンピュータグラフィックスベースのデータを生成し得る。いくつかのケースでは、ビデオデータソース１７がビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、いわゆるカメラフォンまたはビデオフォンを形成し得る。しかしながら上述されたように、本開示で説明される技法は、概してビデオコード化に適用可能であり得、ワイヤレスおよび／またはワイヤードアプリケーションに適用され得る。各ケースでは、キャプチャされた、事前キャプチャされた、またはコンピュータ生成されたビデオは、ビデオエンコーダ１６によって符号化され得る。符号化されたビデオ情報は次いで、コンピュータ可読媒体１１上に出力インターフェース１８によって出力され得る。
【００２５】
[0029]  コンピュータ可読媒体１１は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信のような一時的な媒体、またはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、または他のコンピュータ可読媒体のような記憶媒体（すなわち、非一時的記憶媒体）を含み得る。いくつかの例では、ネットワークサーバ（図示せず）は、符号化されたビデオデータをソースデバイス１２から受信し、例えばネットワーク送信を介して、符号化されたビデオデータを宛先デバイス１４に提供し得る。同様に、ディスクスタンピング設備のような媒体製造設備のコンピューティングデバイスは、符号化されたビデオデータをソースデバイス１２から受信し、符号化されたビデオデータを含むディスクを作成し得る。それゆえ、コンピュータ可読媒体１１は、様々な例において、様々な形態の１つまたは複数のコンピュータ可読媒体を含むと理解され得る。
【００２６】
[0030]  宛先デバイス１４の入力インターフェース２２は、コンピュータ可読媒体１１からの情報を受信する。コンピュータ可読媒体１１の情報は、ブロックおよび他のコード化された単位の処理および／または特性を記述するシンタックス要素を含み、ビデオデコーダ２０によっても使用される、ビデオエンコーダ１６によって定義されるシンタックス情報を含み得る。ディスプレイデバイス２７は、復号されたビデオデータをユーザに表示し、３６０度ビデオディスプレイおよびＶＲ ＨＭＤ、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスのような、様々なディスプレイデバイスの任意のものを備え得る。
【００２７】
[0031]  ビデオエンコーダ１６およびビデオデコーダ２０は各々、適用可能である場合、１つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組合せのような、様々な好適なエンコーダまたはデコーダ回路の任意のものとしてインプリメントされ得る。本技法が部分的にソフトウェアにおいてインプリメントされるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、本開示の技法を実行するように１つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ１６およびビデオデコーダ２０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれも、組み合わされたビデオエンコーダ／デコーダ（コーデック）の一部として一体化され得る。ビデオエンコーダ１６および／またはビデオデコーダ２０を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラ電話のようなワイヤレス通信デバイスを備え得る。
【００２８】
[0032]  ディスプレイプロセッサ２５は、アップサンプリング、ダウンサンプリング、ブレンディング、合成、スケーリング、回転、および他のピクセル処理のような、２Ｄ動作を画像データに対して行うように構成されたプロセッサであり得る。ディスプレイプロセッサ２５はまた、ディスプレイ２７を駆動するように構成され得る。ディスプレイプロセッサ２５は、メモリ２９（例えば、ＧＰＵがピクセル表現の形態でグラフィカルデータをそこに出力するフレームバッファおよび／または他のメモリ）から複数の画像レイヤ（例えば、ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータ）をプリフェッチまたはフェッチし、そのようなレイヤを表示のための単一画像へと合成する。ディスプレイプロセッサ２５は、複数レイヤからのピクセルを処理し得る。例えば、ディスプレイプロセッサ２５は、複数レイヤからのピクセルをブレンドし、ブレンドされたピクセルをタイルフォーマットでメモリへと書き戻し得る。次いで、ブレンドされたピクセルは、ラスタフォーマットでメモリから読み取られ、提示（presentment）のためにディスプレイ２７に送られる。
【００２９】
[0033]  ビデオエンコーダ１６およびビデオデコーダ２０は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ規格のようなビデオ圧縮規格にしたがって動作し得る。しかしながら、本開示の技法は、いずれの特定のコード化規格にも限定されず、いかなるビデオコード化技法も使用され得る。
【００３０】
[0034]  ＨＥＶＣでは、ビデオピクチャは、輝度(luma)サンプルおよび彩度(chroma)サンプルの両方を含む最大コード化単位（ＬＣＵ）またはツリーブロックのシーケンスへと分割され得る。ビットストリーム内のシンタックスデータは、ピクセル数の観点では最大コード化単位であるＬＣＵについてのサイズを定義し得る。スライスは、多くの連続したコード化ツリー単位（ＣＴＵ）を含む。ＣＴＵの各々は、輝度サンプルの１つのコード化ツリーブロック、彩度サンプルの２つの対応するコード化ツリーブロック、およびこれらコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造を備え得る。白黒ピクチャ、または３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一のコード化ツリーブロックおよびこのコード化ツリーブロックのサンプルをコード化するために使用されるシンタックス構造を備え得る。
【００３１】
[0035]  ビデオピクチャは、１つまたは複数のスライスへと区分化され得る。各ツリーブロックは四分木にしたがってコード化単位（ＣＵ）へと分けられ得る。一般に、四分木データ構造はＣＵごとに１つのノードを含み、ルートノードがツリーブロックに対応する。ＣＵが４つのサブＣＵへと分けられる場合、ＣＵに対応するノードは４つのリーフノードを含み、その各々がサブＣＵのうちの１つに対応する。ＣＵは、輝度サンプルアレイ、Ｃｂサンプルアレイ、およびＣｒサンプルアレイを有するピクチャの、輝度サンプルの１つのコード化ブロックおよび彩度サンプルの２つの対応するコード化ブロック、ならびにそれらコード化ブロックのサンプルをコード化するために使用されるシンタックス構造を備え得る。白黒ピクチャ、または３つの別個の色平面を有するピクチャでは、ＣＵは、単一のコード化ブロックおよびこのコード化ブロックのサンプルをコード化するために使用されるシンタックス構造を備え得る。コード化ブロックは、サンプルのＮ×Ｎブロックである。
【００３２】
[0036]  四分木データ構造の各ノードは、対応するＣＵにシンタックスデータを提供し得る。例えば、四分木におけるノードは、ノードに対応するＣＵがサブＣＵへと分けられるかどうかを示す、分割フラグ（split flag）を含み得る。ＣＵについてのシンタックス要素は、再帰的に定義され得、ＣＵがサブＣＵへと分けられるかどうかに依存し得る。ＣＵがこれ以上分けられない場合、それはリーフＣＵと称される。本開示では、リーフＣＵの４つのサブＣＵもまた、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵと称されることになる。例えば、１６×１６のサイズのＣＵがこれ以上分けられない場合、４つの８×８のサブＣＵもまた、１６×１６のＣＵが全く分けられなかったとはいえリーフＣＵと称されることになる。
【００３３】
[0037]  ＣＵは、ＣＵがサイズ区別（size distinction）を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは４つの子ノード（サブＣＵとも称される）へと分けられ得、各子ノードは、次に親ノードになり、別の４つの子ノードへと分けられ得る。四分木のリーフノードと称される、最後の非分割子ノードは、リーフＣＵとも称されるコード化ノードを備える。コード化されたビットストリームに関連付けられたシンタックスデータは、最大ＣＵ深度と称される、ツリーブロックが分けられ得る最大回数を定義し得、またコード化ノードの最小サイズも定義し得る。したがって、ビットストリームはまた、最小コード化単位（ＳＣＵ）も定義し得る。本開示は、ＨＥＶＣのコンテキストではＣＵ、ＰＵ、またはＴＵのいずれかを、あるいは他の規格のコンテキストでは同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロックおよびそのサブブロック）を指すように、「ブロック」という用語を使用する。
【００３４】
[0038]  ＣＵは、コード化ノード、およびこのコード化ノードに関連付けられた予測単位（ＰＵ）ならびに変換単位（ＴＵ）を含む。ＣＵのサイズはコード化ノードのサイズに対応し、形状が正方形でなければならない。ＣＵのサイズは、８×８ピクセルから最大で、最大の６４×６４ピクセルまたはそれ以上のツリーブロックのサイズまでの範囲に及び得る。各ＣＵは、１つまたは複数のＰＵおよび１つまたは複数のＴＵを含み得る。
【００３５】
[0039]  一般に、ＰＵは、対応するＣＵのすべてまたは一部分に対応する空間的エリアを表し、ＰＵについての参照サンプルを検索するためのデータを含み得る。さらに、ＰＵは、予測に関連するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵについてのデータは残差四分木（ＲＱＴ）に含まれ得、それは、ＰＵに対応するＴＵのためのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、そのＰＵについての１つまたは複数の動きベクトルを定義するデータを含み得る。予測ブロックは、同じ予測が適用されるサンプルの矩形（即ち、正方形または非正方形の）ブロックであり得る。ＣＵのＰＵは、ピクチャの、輝度サンプルの１つの予測ブロック、彩度サンプルの２つの対応する予測ブロック、および予測ブロックサンプルを予測するために使用されるシンタックス構造を備え得る。白黒ピクチャ、または３つの別個の色平面を有するピクチャでは、ＰＵは、単一の予想ブロックおよび予想ブロックサンプルを予測するために使用されるシンタックス構造を備え得る。
【００３６】
[0040]  ＴＵは、変換、例えば、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の残差ビデオデータへの変換の適用に従う変換領域における係数を含み得る。残差データは、ＰＵに対応する予測値と非符号化ピクチャのピクセルとの間のピクセル差分に対応し得る。ビデオエンコーダ２０は、ＣＵについての残差データを含むＴＵを形成し、次いで、ＣＵについての変換係数を生成するためにＴＵを変換し得る。変換ブロックは、同じ変換が適用されるサンプルの矩形ブロックであり得る。ＣＵの変換単位（ＴＵ）は、輝度サンプルの変換ブロック、彩度サンプルの２つの対応する変換ブロック、および変換ブロックサンプルを変換するために使用されるシンタックス構造を備え得る。白黒ピクチャ、または３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックおよび変換ブロックサンプルを変換するために使用されるシンタックス構造を備え得る。
【００３７】
[0041]  変換に続いて、ビデオエンコーダ１６は、変換係数の量子化を実行し得る。量子化は一般に、係数を表すために使用されるデータの量をできる限り低減するように変換係数が量子化されるプロセスを指し、さらなる圧縮を提供する。量子化プロセスは、係数のうちの一部または全部に関連付けられたビット深度を低減し得る。例えば、ｎビット値は量子化中にｍビット値に丸められ得、ここで、ｎはｍよりも大きい。
【００３８】
[0042]  ビデオエンコーダ１６は、変換係数を走査し得、量子化された変換係数を含む２次元マトリックスから一次元ベクトルを生成する。走査は、より高いエネルギー（それゆえ、より低い周波数）係数を、アレイの前方に置き、より低いエネルギー（それゆえ、より高い周波数）係数を、アレイの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ１６は、エントロピー符号化されることができる直列ベクトルを生成するように、量子化変換係数を走査するための所定の走査順序を利用し得る。他の例では、ビデオエンコーダ１６は、適応走査を実行し得る。
【００３９】
[0043]  １次元ベクトルを形成するように量子化変換係数を走査した後、ビデオエンコーダ１６は、例えば、コンテキスト適応可変長コード化（ＣＡＶＬＣ：context-adaptive variable length coding）、コンテキスト適応二進演算コード化（ＣＡＢＡＣ：context-adaptive binary arithmetic coding）、シンタックスベースのコンテキスト適応二進演算コード化（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分化エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コード化または別のエントロピー符号化方法にしたがって、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ１６はまた、ビデオデータを復号する際にビデオデコーダ２０による使用のための符号化されたビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
【００４０】
[0044]  ビデオエンコーダ１６はさらに、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、またはピクチャのグループ（ＧＯＰ：group of pictures）ヘッダにおける、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびＧＯＰベースのシンタックスデータのようなシンタックスデータをビデオデコーダ２０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰにおけるピクチャの数を記述し得、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示し得る。
【００４１】
[0045]  ビデオデコーダ２０は、コード化されたビデオデータを取得すると、ビデオエンコーダ１６に関して説明された符号化パスと概して相反する復号パスを実行し得る。例えば、ビデオデコーダ２０は、ビデオエンコーダ１６から、符号化されたビデオスライスのビデオブロックおよび関連付けられたシンタックス要素を表す符号化されたビデオビットストリームを取得し得る。ビデオデコーダ２０は、ビットストリームに含まれるデータを使用して、元の符号化されていないビデオシーケンスを再構築し得る。
【００４２】
[0046]  ＨＥＶＣでは、各ブロックについて、動き情報のセットが利用可能であり得る。動き情報のセットは、前方予測方向および後方予測方向についての動き情報を含む。本明細書で説明されるとき、前方予測方向および後方予測方向は、双方向予測モードの２つの予測方向であり、「前方」および「後方」という用語は、必ずしも幾何学的な方向を暗に示すわけではない。そうではなく、本明細書で使用されるとき、「前方」および「後方」は、現在ピクチャについての参照ピクチャリスト０（ＲｅｆＰｉｃＬｉｓｔ０）および参照ピクチャリスト１（ＲｅｆＰｉｃＬｉｓｔ１）にそれぞれ対応する。１つの参照ピクチャリストのみがピクチャまたはスライスのために利用可能であるケースでは、ビデオエンコーダ１６および／またはビデオデコーダ２０は、ＲｅｆＰｉｃＬｉｓｔ０のみと決定し得る。よって、１つの参照ピクチャリストのみが現在ピクチャまたはスライスのために利用可能であるケースでは、ビデオエンコーダ１６および／またはビデオデコーダ２０は、現在ピクチャ／スライスの各ブロックの動き情報が常に「前方」であると決定し得る。
【００４３】
[0047]  各予測方向について、動き情報は、参照インデックスおよび動きベクトルを含む。いくつかのケースでは、単純にするために、ビデオエンコーダ１６は、動きベクトル自体が、それが関連する参照インデックスを有すると仮定されるように参照され得るように、動きベクトルを符号化し得る。例えば、ビデオデコーダ２０は動きベクトルを再構築し得、動きベクトルに基づいて、ビデオデコーダ２０は、動きベクトルと特定の参照インデックスを関連付け得る。より具体的には、ビデオエンコーダ１６および／またはビデオデコーダ２０は、対応する動きベクトルに関する現在の参照ピクチャリスト（例えば、ＲｅｆＰｉｃＬｉｓｔ０またはＲｅｆＰｉｃＬｉｓｔ１）中の特定の参照ピクチャを識別するために参照インデックスを使用し得る。動きベクトルは、水平成分および垂直成分を有する。
【００４４】
[0048]  ピクチャ順序カウント（ＰＯＣ：picture order count）は、ピクチャの表示順序を識別するためにビデオコード化規格で広く使用されている。いくつかの事例では、ビデオエンコーダ１６は、同じＰＯＣ値を有するように１つのコード化ビデオシーケンス内の２つのピクチャを符号化し得るが、典型的には、単一のコード化ビデオシーケンスは、同じＰＯＣ値を有する複数のピクチャを含まないこともある。複数のコード化ビデオシーケンスがビットストリームに存在する事例では、（異なるビデオシーケンスにおいてであるが）同じＰＯＣ値を有するピクチャは、復号順序の点から互いに比較的近いこともある。ビデオエンコーダ１６および／またはビデオデコーダ２０は、典型的には、参照ピクチャリスト構築、ＨＥＶＣ等での参照ピクチャセットの導出、および動きベクトルスケーリングのためにピクチャのＰＯＣ値を使用し得る。
【００４５】
[0049]  図２は、本開示で説明される１つまたは複数の技法をインプリメントし得る、例となる３６０ビデオエンコーダを例示するブロック図である。図２に示されているように、例えば３６０ビデオカメラシステムによってキャプチャされ得るようなビデオデータは、エクイレクタングラーキャンバスを形成するようにプロセッサ１５によって共にスティッチングされる（３０）。プロセッサ１５は、スフィアの内側への３６０ビデオテクスチャのレンダリング（３２）のために、ＯｐｅｎＧＬ ＶＲアプリケーションのようなグラフィックスプロセッサ（例えば、図１のＧＰＵ１９）による実行のためにキャンバスをテクスチャに変換する（３２）。低解像度ビデオデータまたは高解像度ビデオデータのいずれかを含むことができる、ブロック３２におけるＧＰＵ１９によるテクスチャ変換は、例えば１秒ごとというような、リフレッシュ期間ごとに更新され得る。テクスチャのストリーミングが、ロスレス圧縮を含み得る図１のＧＰＵ１９のスケーラブルなストリーミング機能を用いてグラフィックスオフロードを介して実行される（３４）。ＧＰＵ１９は、同期のためにタイムスタンプを適用し得、ストリーミングデータは、トランスポートのためにリアルタイムプロトコル（ＲＴＰ）カプセル化される（３６）。ＧＰＵ１９によってストリーミングされた送信されたテクスチャは、比較的低いフレームレート（例えば、２フレーム毎秒（ｆｐｓ））で送られ得る。本開示の１つの例では、ＧＰＵ１９によってストリーミングされたテクスチャは、ディスプレイ（例えば、ＶＲ ＨＭＤ）のユーザが、３６０ビデオ画像の全体をより低い解像度で利用できるようにすることを可能にする。ＧＰＵ１９を使用してレンダリングされたビデオのＦｏＶは、適応が、ユーザの頭部運動を提示するローカルセンサデータを用いて宛先デバイス１４において適用されるので、リアルタイムで適応されることができる。加えて、ＦｏＶの変化に対応してテクスチャの変化もリフレッシュも必要とされない。
【００４６】
[0050]  ブロック３２〜３６に示されているＧＰＵ１９によるグラフィックス領域におけるビデオデータのストリーミングに加えて、ブロック３０のスティッチングされたビデオはまた、ビデオエンコーダ１６によっても符号化され、ピクセル領域において送信される。ピクセル領域における符号化されたビデオは、より高いフレームレート（例えば、６０ｆｐｓ）で、およびより高い解像度で送られ得る。このように、３６０ビデオ中の動くオブジェクトが符号化され、より良い平滑さを伴ってより詳細にレンダリングされ得る。
【００４７】
[0051]  例えば、プロセッサ１５は、キャンバスをキューブマップまたは角錐投影法にマッピングし得（３８）、ビデオエンコーダ１６は、様々な解像度のタイルでストリーミングビデオを符号化する（４０）。ビデオエンコーダ１６は、任意のビデオ圧縮技法を使用して、スティッチングされたキャンバスのビデオデータのタイルを符号化するように構成され得る。例えば、ビデオエンコーダ１６は、Ｈ．２６４／ＡＶＣまたはＨ．２６５（ＨＥＶＣ）のようなハイブリッドビデオエンコーダを使用してタイルを符号化し得る。ビデオエンコーダ１６は、感知されたユーザの頭部運動に基づいてタイルのサブセットを送信するように構成され得る（４２）。実際送信されるタイルのサブセットは、ユーザの視野（ＦｏＶ）内に現在あるタイルであり得る。ユーザの頭部運動に基づいてサブセットタイルをストリーミングするために（４２）、ビデオエンコーダ１６はまた、ユーザの頭部運動を検出する１つまたは複数のセンサ２４からのセンサデータを抽出し、ユーザの頭部運動に基づくサブセットタイルのストリーミング（４２）を助けるために、感知されたデータをユーザの運動を処理するために使用する（４４）。本開示の１つの例では、ソースデバイス１２によって送られるタイルのサブセットは、センサデータから決定されたＦｏＶの中心に高解像度タイルを含み、高解像度タイルを空間的に囲む、周辺視覚領域における画像に対応する、低解像度タイルもまた送る。ユーザの目は、スクリーンの中心でだけより高い解像度を感知する可能性が高い。ユーザの視界の周囲のタイルにはユーザの目の焦点が合っていないので、これらのタイルをより高い解像度で送る利点はない。よって、より低い解像度が使用され得、帯域幅を節約する。これは、高フレームレートも維持しながら、視野の中心で解像度を高くより保ち易くし得る。ピクセル領域データのためのＦｏＶ適応は、ユーザの頭部運動に対応するセンサデータを使用してソースデバイス１２および宛先デバイス１４の両方で生じる。ソースデバイス１２において、使用されることになるタイルの解像度は、最高品質（解像度）がＦｏＶの中心にあり、品質がＦｏＶの周辺部に向かって減少するように、ＦｏＶ適応に基づいて決定され得る。ソースデバイス１２におけるＦｏＶ適応は、宛先デバイス１４における頭部運動のタイミングと比較して、遅延を招くこともあり、大きいスケールの適応である。センサデータが頭部運動をキャプチャした時間と、キャプチャされた頭部運動に関連付けられたセンサデータがソースデバイス１２に到達した時間との間に頭部運動における大きいシフトが生じる事例に対処するために、宛先デバイス１４において、ＦｏＶ適応は、頭部運動のタイミングに関連する補正を含み得る。
【００４８】
[0052]  加えて、ブロック４４で抽出および処理されたセンサデータは、グラフィックス背景と運動を同期させるように、頭部運動のようなユーザの運動にサラウンドオーディオを適応させるためにビデオエンコーダ１６によって利用され得る（４６）。例えば、ビデオエンコーダ１６がユーザの頭部運動を一旦感知すると、どのピクセルがディスプレイのビューポイント内にあるかを決定することによって、ビューポイントが適宜変更される。別の実施形態では、サラウンドオーディオは、その全体がストリーミングされ得、方向オーディオ（direction audio）は、宛先デバイス１４における、すなわち、バーチャルリアリティ（ＶＲ）ヘッドマウントディスプレイ（ＨＭＤ）における頭部運動に基づいて高められ得る。ストリーミングされたタイルの両方（４２）、および頭部運動のようなユーザの運動へのサラウンドオーディオの適応（４６）は、同期のためのタイムスタンプの適用およびトランスポートのためのリアルタイムプロトコル（ＲＴＰ）カプセル化（３６）の間に含められる。例えば、グラフィックスフレーム、（タイルの）符号化されたビデオフレーム、およびオーディオフレームは、同じ参照クロックに対してタイムスタンプされ得、各々についてのサンプリングレートは異なることもある。しかしながら、適用されたタイムスタンプは、３６０ビデオソースおよびサラウンドオーディオソースからのキャプチャ時の画像およびオーディオに対応する。
【００４９】
[0053]  ビデオエンコーダ１６は、アンテナ５４を介して、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）５０またはユーザデータグラムプロトコル／インターネットプロトコル（ＵＤＰ／ＩＰ）５２を使用して、ＷｉＦｉ／ＷｉＧｉｇを介して、ブロック３６から、結果として生じるタイムスタンプされたストリーミングされたビデオを送信する（ブロック４８）。
【００５０】
[0054]  このようにして、ストリーミングビデオシステム１０は、ベースライン品質および即時応答性がグラフィックス領域パイプラインによって提供され（ブロック３２〜３６）、高解像度ビデオがピクセル領域パイプラインによって提供される（ブロック３８〜４６）、ハイブリッドなグラフィックスおよびピクセル領域アプローチを利用する。加えて、ストリーミングビデオシステム１０はまた、頭部運動適応と指向性オーディオおよびビデオの同期とに対処する。結果として、本開示は、リアルタイムアプリケーションのためのピクセルおよびグラフィックス領域ストリーミングの強みを活かし、可視性ウィンドウの制約と併せて人間の視野特性を考慮に入れる。グラフィックス領域部分の利点は、頻繁に頭部運動があってもビデオの継続的なベースライン品質である。ピクセル領域オーバーレイは、現在のＦｏＶのための高い品質フレームレートおよび解像度を提供する。
【００５１】
[0055]  図３は、本開示で説明される１つまたは複数の技法をインプリメントし得る例となる宛先デバイス１４を例示するブロック図である。図３に示されているように、宛先デバイス１４は、アンテナ６０を介して、ソースデバイス１２から上述されたようにワイヤレスに送信された、結果として生じるタイムスタンプされたストリーミングされたビデオ（３６）を受信し、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）またはユーザデータグラムプロトコル／インターネットプロトコル（ＵＤＰ／ＩＰ）を使用して、ＷｉＦｉ／ＷｉＧｉｇ信号を受信する（６２）。宛先デバイス１４は、受信されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースする（６４）。ＧＰＵ２３は、受信されたテクスチャ情報を用いて球面上にキャンバス全体を生成または作成し（６６）、１つまたは複数のセンサ２４から受信された最新の感知されたユーザの頭部運動に基づいて（７４）、視界（ＦｏＶ）すなわちビューポイントをレンダリングする（６８）。
【００５２】
[0056]  加えて、宛先デバイス１４のビデオデコーダ２０は、パースされたビデオストリームを復号し（７０）、視界についての受信されたタイルをアップサンプリングおよび統合する（consolidate）（７２）。例えば、宛先デバイス１４は、より低い解像度で送られたタイルの任意のものをアップサンプリングし得、その結果、そのようなタイルは、単一画像オーバーレイ（single image overlay）を形成するように高解像度タイルと組み合わされ得る。タイル構成（tile organization）（すなわち、表示されることになるＦｏＶ）は、リフレッシュ期間ごとに、例えば１秒ごとに更新され得る。しかしながら、異なるリフレッシュレートが使用されてもよい。例えば、リフレッシュレートは、送信リンク上のサービスの電力（ＱｏＳ）および処理電力に依存し得る。リフレッシュレートは、例えば、フレームごとに、１秒、半秒から１００ミリ秒まで変動し得る。
【００５３】
[0057]  視界についてのタイルのアップサンプリングおよび統合の間に（７２）、宛先デバイス１４は、バーチャルリアリティ（ＶＲ）ヘッドマウントディスプレイ（ＨＭＤ）デバイス７８に関連付けられた、センサフレームワークのトランスポートおよびセンサデータ（７６）をインターセプトすることによって、頭部の位置および運動データを決定する（７４）。このように、最新の頭部運動に基づく予測適応が、視界についてのタイルのアップサンプリングおよび統合の両方の間（７２）ならびに視野のレンダリングの間（６８）に利用される。１つの例では、ベースライン表面にオーバーレイされた画像（すなわち、グラフィックス領域テクスチャ）の適応は、最新の頭部運動に基づく。頭部運動によりタイルのレンダリングが最新の頭部運動に基づいて視野から出る場合、宛先デバイス１４はそれらのタイルをオーバーレイしない。適応は、頭部運動の軌跡（trajectory）に基づいて、コード化された動き情報を外挿することを含み得る。別の例では、ユーザが彼または彼女の頭部を動かしたときにシームレスな画像の遷移を確実にするために、頭部運動の範囲（例えば、程度／秒）が、可視性ウィンドウと対照して（against）テストされ得る。
【００５４】
[0058]  アップサンプリング（７２）およびレンダリング（６８）の間に利用されることに加えて、頭部の位置および運動のセンサデータ（ブロック７４）は、アンテナ６０を介して、上述されたようにエンコーダ１２による使用のためにワイヤレスに送信される。視界のためのアップサンプリングおよび統合されたタイル（ブロック７２）、およびレンダリングされた視野（ブロック６８）は、高解像度ビデオグラフィックスを低解像度ビデオグラフィックスとオーバーレイするように、提示タイムスタンプごとに合成およびレンダリングされ（８０）、次いで、ブロック６４からのパースオーディオストリームから決定された最新の頭部運動ブロック８２に適応した、スピーカ（図示せず）を介したサラウンドオーディオと共に、ディスプレイ２７を介してバーチャルリアリティ（ＶＲ）ヘッドマウントディスプレイ（ＨＭＤ）デバイス７８によってユーザに出力される。
【００５５】
[0059]  図４は、本開示の一例に係るビデオデータを処理するための方法のフローチャートである。図４に例示されているように、１つの例によれば、ソースデバイス１２は、ビデオデータを受信し（１００）、ソースデバイス１２の１つまたは複数のプロセッサ１５および１６は、ピクセル領域ビデオデータを生成するようにピクセル領域においてビデオデータの一部分を符号化する（１０２）ように構成される。加えて、ソースデバイス１２のグラフィックス処理ユニット１９は、グラフィックス領域ビデオデータを生成するようにグラフィックス領域においてビデオデータを処理する（１０４）ように構成される。グラフィックス領域ビデオデータおよびピクセル領域ビデオデータは、ビデオデータをストリーミングするためのインターフェース１８によって送信される（１０６）。
【００５６】
[0060]  ピクセルデータを生成するように符号化する間に（１０２）、１つまたは複数のプロセッサ１５および１６は、グラフィックス領域ビデオデータを生成する（１０４）ために、エクイレクタングラーキャンバスを形成するように３６０ビデオデータを共にスティッチングし得、グラフィックス処理ユニット１９は、スフィアの内側にテクスチャをレンダリングするためにキャンバスをテクスチャに変換し得る。１つの例では、エクイレクタングラー投影法以外の投影法が使用され得る。例えば、立方体投影法（cubic projection）または角錐投影法が、適切な変換を用いて処理パイプライン全体を通して使用され得る。
【００５７】
[0061]  テクスチャは、第１のフレームレートでインターフェース１８を介して送信され得（１０６）、ピクセル領域ビデオデータは、第１のフレームレートよりも大きい第２のフレームレートでインターフェース１８を介して送信される（１０６）。１つの例によれば、テクスチャは、第１の解像度でインターフェース１８を介して送信され得（１０６）、ピクセル領域ビデオデータは、第１の解像度よりも大きい第２の解像度でインターフェースを介して送信され得る（１０６）。１つの例によれば、ピクセルデータを生成するように符号化する間に（１０２）、１つまたは複数のプロセッサ１５および１６は、キューブマップまたは角錐投影法のうちの１つにキャンバスをマッピングし、ストリーミングビデオを複数の解像度で複数のタイルに符号化し、ユーザの視野内にある複数のタイルのうちの１つまたは複数のタイルを送信し得る（１０６）。１つの例によれば、１つまたは複数のプロセッサ１５および１６は、ユーザの運動適応を決定することと、ユーザの決定された運動適応に基づいて視野を決定することとを行うように構成される。１つの例によれば、１つまたは複数のプロセッサ１５および１６は、ユーザの運動適応を決定することと、ユーザの決定された運動適応に基づいて視野を決定することと、決定された視野に基づいてサラウンドサウンドビデオを適応させることとを行うように構成される。１つの例によれば、１つまたは複数のプロセッサ１５および１６は、運動適応に基づいて第１の解像度で視野の中心にあるタイルを送信することと、第１の解像度よりも少ない第２の解像度で、視野内にはあるが視野の中心にはないタイルを送信することとを行うように構成される。
【００５８】
[0062]  図５は、本開示の一例に係るビデオデータを処理する方法のフローチャートである。図５に例示されているように、１つの例によれば、宛先デバイス１４は、ビデオデコーダ２０からストリーミングされたビデオを受信し、ストリーミングされたビデオをメモリ２９に記憶し（１０８）、１つまたは複数のプロセッサ２０および２１は、受信されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースし、パースされたビデオストリームを復号する（１１０）。宛先デバイス１４の１つまたは複数のセンサ２４は、ユーザの運動適応を感知し（１１２）、グラフィックス処理ユニット１９は、グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成し（１１４）、ユーザの感知された運動適応に基づいて視野をレンダリングする（１１６）。
【００５９】
[0063]  １つの例によれば、１つまたは複数のプロセッサ２０および２１は、ユーザの視野内にある複数のタイルを復号し、低解像度タイルである複数のタイルのうちのタイルと、高解像度タイルである複数のタイルのうちのタイルとの両方をアップサンプリングし、単一画像オーバーレイを形成するように低解像度タイルと高解像度タイルとを組み合わせ得る。１つの例によれば、単一画像オーバーレイは、１つまたは複数のセンサ２４を介して感知されたユーザの感知された運動適応に基づいて形成され得る。１つの例によれば、１つまたは複数のプロセッサ２０および２１は、ユーザの感知された運動適応により、アップサンプリングされたタイルが視野の外側に出るかどうかを決定し得、ユーザの感知された運動適応により、アップサンプリングされたタイルが視野の外側に出ると決定することに基づいて単一画像オーバーレイを形成しない。
【００６０】
[0064]  １つの例によれば、ユーザの感知された運動適応（１１２）は、頭部運動の軌跡を含み得る。１つの例によれば、ユーザの頭部運動の程度は、可視性ウィンドウと比較され得、ユーザの感知された運動により、アップサンプリングされたタイルが視野の外側に出るかどうかについての決定がなされ得、そうである場合、ビデオデコーダは、単一画像オーバーレイを形成しない。
【００６１】
[0065]  このようにして、本開示の１つの例によれば、ビデオストリーミングシステム１０は、３６０度ビデオをストリーミングするために、上述された技法を利用する。ストリーミングビデオシステム１０は、ベースライン品質および即時応答性がグラフィックス領域パイプラインによって提供され、高解像度テクスチャがピクセル領域パイプラインによって提供される、ハイブリッドなグラフィックスおよびピクセル領域アプローチを利用する。加えて、ストリーミングビデオシステム１０はまた、頭部運動適応と方向オーディオおよびビデオの同期とに対処する。結果として、本開示は、リアルタイムアプリケーションのためのピクセルおよびグラフィックス領域ストリーミングの強みを活かし、可視性ウィンドウの制約と併せて人間の視野特性を考慮に入れる。
【００６２】
[0066]  １つの例によれば、本開示は、グラフィックス領域ビデオデータを作成するようにグラフィックス領域において３６０ビデオデータをコード化することと、ピクセル領域ビデオデータを作成するようにピクセル領域において３６０ビデオデータを符号化することと、グラフィックス領域およびピクセル領域ビデオデータを送信することとを提案する。
【００６３】
[0067]  別の例では、本開示はさらに、センサデータを抽出することと、ユーザの運動適応を決定するために抽出されたセンサデータを処理することと、抽出されたセンサに基づいてピクセル領域ビデオデータのタイルのサブセットを送信することとを開示する。別の例では、本開示はさらに、スフィアの内側に３６０ビデオデータをレンダリングするようにグラフィックスプロセッサによる実行のために、グラフィックス領域における３６０ビデオデータをテクスチャに変換することと、同期のためにタイムスタンプを適用することと、トランスポートのためにビデオデータをリアルタイムプロトコルカプセル化することとを開示する。別の例では、本開示はさらに、キューブマップおよび角錐投影法のうちの１つに３６０ビデオデータをマッピングすることと、３６０ビデオデータを様々な解像度で複数のタイルに符号化することと、ユーザの決定された運動適応に基づいて複数のタイルのサブセットをストリーミングすることとを開示する。別の例では、本開示はさらに、ユーザの決定された運動適応にサラウンドオーディオを適応させることと、決定された運動をグラフィックス背景と同期させることと、同期のためのタイムスタンプの適用およびトランスポートのためにビデオデータをリアルタイムプロトコルカプセル化する間に、複数のタイルのうちのストリーミングされた所定のタイルおよび適応されたサラウンドオーディオを利用することとを開示する。
【００６４】
[0068]  別の例では、本開示はさらに、グラフィックス領域ビデオデータを作成するようにグラフィックス領域において３６０ビデオデータをコード化することと、ピクセル領域ビデオデータを作成するようにピクセル領域において３６０ビデオデータをコード化することと、グラフィックス領域およびピクセル領域ビデオデータを送信することと、送信されたグラフィックス領域およびピクセル領域ビデオデータを受信してグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、球面上にキャンバスを生成することと、ユーザの運動を感知することと、生成されたキャンバスおよび感知された運動に基づいて視界をレンダリングすることとを開示する。
【００６５】
[0069]  別の例では、本開示は、グラフィックス領域ビデオデータを作成するようにグラフィックス領域において３６０ビデオデータをコード化することと、ピクセル領域ビデオデータを作成するようにピクセル領域において３６０ビデオデータをコード化することと、グラフィックス領域およびピクセル領域ビデオデータを送信することとを行うように構成されたソースプロセッサを備えるソースデバイスと、送信されたグラフィックス領域およびピクセル領域ビデオデータを受信するための、ならびに送信されたグラフィックス領域およびピクセル領域ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、球面上にキャンバスを生成することと、ユーザの運動を感知することと、生成されたキャンバスおよび感知された運動に基づいて視界をレンダリングすることとを行うように構成された宛先プロセッサを備える宛先デバイスと、を備える、ストリーミング３６０ビデオシステムを開示する。
【００６６】
[0070]  １つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せにおいてインプリメントされ得る。ソフトウェアにおいてインプリメントされる場合には、これら機能は、１つまたは複数の命令あるいはコードとして、コンピュータ可読媒体に記憶、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルにしたがって、コンピュータプログラムの１つの場所から別の場所への転送を容易にする任意の媒体を含む通信媒体、またはデータ記憶媒体のような有体の媒体に対応するコンピュータ可読記憶媒体を含み得る。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波のような通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法のインプリメンテーションのための命令、コード、および／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされることができる任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【００６７】
[0071]  限定ではなく例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置、またはその他の磁気記憶デバイス、フラッシュメモリ、あるいは、データ構造または命令の形態で所望のプログラムコードを記憶するために使用されることができ、かつコンピュータによってアクセスされることができる他の任意の媒体を備えることができる。また、任意の接続は、コンピュータ可読媒体と正しくは称される。例えば、命令がウェブサイト、サーバ、または、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、あるいは赤外線、無線、およびマイクロ波のようなワイヤレス技術を使用する他の遠隔ソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含むのではなく、非一時的な有形の記憶媒体を対象とすることが理解されるべきである。ディスク（disk）およびディスク（disc）は、本明細書で使用されるとき、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびブルーレイディスクを含み、ここで、ディスク（disk）は通常、磁気的にデータを再生するが、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【００６８】
[0072]  命令は、１つまたは複数のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または、他の同等の集積回路またはディスクリート論理回路のような１つまたは複数のプロセッサによって実行され得る。したがって、「プロセッサ」という用語は、本明細書で使用されるとき、前述の構造、または本明細書で説明された技法のインプリメンテーションに好適な他の任意の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能性は、符号化および復号のために構成された専用ハードウェアモジュールおよび／またはソフトウェアモジュール内で提供され得るか、または組み合わされたコーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路あるいは論理要素において十分にインプリメントされることができる。
【００６９】
[0073]  本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む、幅広い種類のデバイスまたは装置においてインプリメントされ得る。開示された技法を実行するように構成されたデバイスの機能的な態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示において説明されているが、異なるハードウェアユニットによる実現を必ずしも必要とするわけではない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニットに組み合わされ得るか、または、好適なソフトウェアおよび／またはファームウェアと併せて、上述された１つまたは複数のプロセッサを含む、相互動作のハードウェアユニットの集合によって提供され得る。
【００７０】
[0074]  様々な例が説明されてきた。これらの例および他の例は、以下の特許請求の範囲内にある。
【図１】
2019517191.tif 000003
【図２】
2019517191.tif 000004
【図３】
2019517191.tif 000005
【図４】
2019517191.tif 000006
【図５】
2019517191.tif 000007
【手続補正書】
【提出日】平成31年1月18日(2019.1.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを処理するように構成された装置であって、
前記ビデオデータを記憶するように構成されたメモリと、
ピクセル領域ビデオデータを生成するようにピクセル領域において前記記憶されたビデオデータの一部分を符号化するように構成された１つまたは複数のプロセッサと、ここにおいて、前記ピクセル領域ビデオデータは、３６０ビデオ画像の一部分を各々有する複数のタイルを備える、
グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理するように構成された第１のグラフィックス処理ユニットと、ここにおいて、前記グラフィックス領域ビデオデータは、前記３６０ビデオ画像の全体を有するテクスチャを備える、
前記３６０ビデオ画像の前記全体を有する前記テクスチャを含む前記グラフィックス領域ビデオデータ、および前記複数のタイルのサブセットを含む前記ピクセル領域ビデオデータのサブセットを送信するためのインターフェースと
を備える、装置。
【請求項２】
前記１つまたは複数のプロセッサは、エクイレクタングラーキャンバスを形成するように前記ビデオデータを共にスティッチングするようにさらに構成され、前記第１のグラフィックス処理ユニットは、前記キャンバスを前記テクスチャに変換することと、スフィアの内側に前記テクスチャをレンダリングすることとを行うようにさらに構成される、請求項１に記載の装置。
【請求項３】
前記第１のグラフィックスプロセッサは、第１のフレームレートで前記インターフェースを介して前記テクスチャを送信するように構成され、前記１つまたは複数のプロセッサは、前記第１のフレームレートよりも大きい第２のフレームレートで前記インターフェースを介して前記ピクセル領域ビデオデータの前記サブセットを送信するようにさらに構成される、請求項２に記載の装置。
【請求項４】
前記第１のグラフィックスプロセッサは、第１の解像度で前記インターフェースを介して前記テクスチャを送信するように構成され、前記１つまたは複数のプロセッサは、前記第１の解像度よりも大きい第２の解像度で前記インターフェースを介して前記ピクセル領域ビデオデータの前記サブセットを送信するようにさらに構成される、請求項２に記載の装置。
【請求項５】
前記１つまたは複数のプロセッサは、キューブマップまたは角錐投影法のうちの１つに前記キャンバスをマッピングすることと、複数の解像度で前記複数のタイルを符号化することとを行うように構成され、前記複数のタイルの前記サブセットは、ユーザの視野内にある、請求項２に記載の装置。
【請求項６】
前記１つまたは複数のプロセッサは、前記ユーザの運動適応を決定することと、前記ユーザの前記決定された運動適応に基づいて前記視野を決定することとを行うように構成される、請求項５に記載の装置。
【請求項７】
前記１つまたは複数のプロセッサは、前記ユーザの運動適応を決定することと、前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと、前記決定された視野に基づいてサラウンドサウンドビデオを適応させることとを行うように構成される、請求項５に記載の装置。
【請求項８】
前記１つまたは複数のプロセッサは、前記運動適応に基づいて第１の解像度で前記視野の中心にあるタイルの前記サブセットのタイルを送信することと、前記第１の解像度よりも少ない第２の解像度で、前記視野内にはあるが前記視野の中心にはないタイルの前記サブセットのタイルを送信することとを行うように構成される、請求項６に記載の装置。
【請求項９】
ビデオデータを処理するように構成された装置であって、
ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶するように構成されたメモリと、
前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記パースされたビデオストリームを復号することとを行うように構成された１つまたは複数のプロセッサと、ここにおいて、前記復号されたビデオストリームは、３６０ビデオ画像の一部分を各々有する複数のタイルを含み、前記複数のタイルは全部で、前記３６０ビデオ画像の全体未満を含む、
ユーザの運動適応を感知するためのセンサと、
前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを行うように構成されたグラフィックス処理ユニットと、ここにおいて、前記テクスチャ情報は、前記３６０ビデオ画像の前記全体を含む、
を備える、装置。
【請求項１０】
前記１つまたは複数のプロセッサは、前記ユーザの前記視野内にある前記複数のタイルを復号することと、低解像度タイルである前記複数のタイルのうちのタイルと、高解像度タイルである前記複数のタイルのうちのタイルとの両方をアップサンプリングすることと、単一画像オーバーレイを形成するように前記低解像度タイルと前記高解像度タイルとを組み合わせることとを行うように構成される、請求項９に記載の装置。
【請求項１１】
前記１つまたは複数のプロセッサは、前記ユーザの前記感知された運動適応に基づいて前記単一画像オーバーレイを形成するように構成される、請求項１０に記載の装置。
【請求項１２】
前記１つまたは複数のプロセッサは、前記ユーザの前記感知された運動適応により、前記アップサンプリングされたタイルが前記視野の外側に出ると決定することに基づいて前記単一画像オーバーレイを形成しないように構成される、請求項１１に記載の装置。
【請求項１３】
前記ユーザの前記感知された運動適応は、頭部運動の軌跡を備える、請求項１２に記載の装置。
【請求項１４】
前記１つまたは複数のプロセッサは、前記ユーザの頭部運動の程度を可視性ウィンドウと比較するように構成される、請求項１２に記載の装置。
【請求項１５】
ビデオデータを処理する方法であって、
前記ビデオデータを記憶することと、
ピクセル領域ビデオデータを生成するようにピクセル領域において前記ビデオデータの一部分を符号化することと、ここにおいて、前記ピクセル領域ビデオデータは、３６０ビデオ画像の一部分を各々有する複数のタイルを備える、
グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理することと、ここにおいて、前記グラフィックス領域ビデオデータは、前記３６０ビデオ画像の全体を有するテクスチャを備える、
前記３６０ビデオ画像の前記全体を有する前記テクスチャを含む前記グラフィックス領域ビデオデータ、および前記複数のタイルのサブセットを含む前記ピクセル領域ビデオデータのサブセットを送信することと
を備える、方法。
【請求項１６】
エクイレクタングラーキャンバスを形成するように前記ビデオデータを共にスティッチングすることと、
前記キャンバスを前記テクスチャに変換することと、
スフィアの内側に前記テクスチャをレンダリングすることと
をさらに備える、請求項１５に記載の方法。
【請求項１７】
第１のフレームレートで前記テクスチャを送信することと、
前記第１のフレームレートよりも大きい第２のフレームレートで前記ピクセル領域ビデオデータの前記サブセットを送信することと
をさらに備える、請求項１６に記載の方法。
【請求項１８】
第１の解像度でを介して前記テクスチャを送信することと、
前記第１の解像度よりも大きい第２の解像度で前記ピクセル領域ビデオデータの前記サブセットを送信することと
をさらに備える、請求項１６に記載の方法。
【請求項１９】
キューブマップまたは角錐投影法のうちの１つに前記キャンバスをマッピングすることと、
複数の解像度で前記複数のタイルを符号化することと、ここにおいて、前記複数のタイルの前記サブセットは、ユーザの視野内にある、
をさらに備える、請求項１６に記載の方法。
【請求項２０】
前記ユーザの運動適応を決定することと、
前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと
をさらに備える、請求項１９に記載の方法。
【請求項２１】
前記ユーザの運動適応を決定することと、
前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと、
前記決定された視野に基づいてサラウンドサウンドビデオを適応させることと
をさらに備える、請求項１９に記載の方法。
【請求項２２】
前記決定された運動適応に基づいて、第１の解像度で前記視野の中心にあるタイルの前記サブセットのタイルを送信することと、
前記第１の解像度よりも少ない第２の解像度で、前記視野内にはあるが前記視野の中心にはないタイルの前記サブセットのタイルを送信することと
をさらに備える、請求項２０に記載の方法。
【請求項２３】
前記ビデオデータを復号することと、前記ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、
ユーザの運動適応を感知することと、
前記グラフィックスストリームから受信されたテクスチャ情報を用いて球面上にキャンバスを生成することと、
前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることと
をさらに備える、請求項１５に記載の方法。
【請求項２４】
ビデオデータを処理する方法であって、
ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶することと、
前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記ビデオストリームを復号することと、ここにおいて、前記復号されたビデオストリームは、３６０ビデオ画像の一部分を各々有する複数のタイルを含み、前記複数のタイルは全部で、前記３６０ビデオ画像の全体未満を含む、
ユーザの運動適応を感知することと、
前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、ここにおいて、前記テクスチャ情報は、前記３６０ビデオ画像の前記全体を含む、
前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることと
を備える、方法。
【請求項２５】
前記ユーザの前記視野内にある前記複数のタイルを復号することと、
低解像度タイルである前記複数のタイルのうちのタイルと、高解像度タイルである前記複数のタイルのうちのタイルとの両方をアップサンプリングすることと、
単一画像オーバーレイを形成するように前記低解像度タイルと前記高解像度タイルとを組み合わせることと
をさらに備える、請求項２４に記載の方法。
【請求項２６】
前記ユーザの前記感知された運動適応に基づいて前記単一画像オーバーレイを形成することをさらに備える、請求項２５に記載の方法。
【請求項２７】
前記ユーザの前記感知された運動適応により、前記アップサンプリングされたタイルが前記視野の外側に出ると決定することに基づいて前記単一画像オーバーレイを形成しないことをさらに備える、請求項２６に記載の方法。
【請求項２８】
前記ユーザの前記感知された運動適応は、頭部運動の軌跡を備える、請求項２７に記載の方法。
【請求項２９】
前記ユーザの頭部運動の程度を可視性ウィンドウと比較することをさらに備える、請求項２７に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
[0074]  様々な例が説明されてきた。これらの例および他の例は、以下の特許請求の範囲内にある。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを処理するように構成された装置であって、
前記ビデオデータを記憶するように構成されたメモリと、
ピクセル領域ビデオデータを生成するようにピクセル領域において前記記憶されたビデオデータの一部分を符号化するように構成された１つまたは複数のプロセッサと、
グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理するように構成された第１のグラフィックス処理ユニットと、
前記グラフィックス領域ビデオデータおよび前記ピクセル領域ビデオデータを送信するためのインターフェースと
を備える、装置。
［Ｃ２］
前記１つまたは複数のプロセッサは、エクイレクタングラーキャンバスを形成するように前記ビデオデータを共にスティッチングするようにさらに構成され、前記第１のグラフィックス処理ユニットは、前記キャンバスをテクスチャに変換することと、スフィアの内側に前記テクスチャをレンダリングすることとを行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ３］
前記第１のグラフィックスプロセッサは、第１のフレームレートで前記インターフェースを介して前記テクスチャを送信するように構成され、前記１つまたは複数のプロセッサは、前記第１のフレームレートよりも大きい第２のフレームレートで前記インターフェースを介して前記ピクセル領域ビデオデータを送信するようにさらに構成される、Ｃ２に記載の装置。
［Ｃ４］
前記第１のグラフィックスプロセッサは、第１の解像度で前記インターフェースを介して前記テクスチャを送信するように構成され、前記１つまたは複数のプロセッサは、前記第１の解像度よりも大きい第２の解像度で前記インターフェースを介して前記ピクセル領域ビデオデータを送信するようにさらに構成される、Ｃ２に記載の装置。
［Ｃ５］
前記１つまたは複数のプロセッサは、キューブマップまたは角錐投影法のうちの１つに前記キャンバスをマッピングすることと、複数の解像度で複数のタイルを符号化することと、ユーザの視野内にある前記複数のタイルのうちの１つまたは複数のタイルを送信することとを行うように構成される、Ｃ２に記載の装置。
［Ｃ６］
前記１つまたは複数のプロセッサは、前記ユーザの運動適応を決定することと、前記ユーザの前記決定された運動適応に基づいて前記視野を決定することとを行うように構成される、Ｃ５に記載の装置。
［Ｃ７］
前記１つまたは複数のプロセッサは、前記ユーザの運動適応を決定することと、前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと、前記決定された視野に基づいてサラウンドサウンドビデオを適応させることとを行うように構成される、Ｃ５に記載の装置。
［Ｃ８］
前記１つまたは複数のプロセッサは、前記運動適応に基づいて第１の解像度で前記視野の中心にあるタイルを送信することと、前記第１の解像度よりも少ない第２の解像度で、前記視野内にはあるが前記視野の中心にはないタイルを送信することとを行うように構成される、Ｃ６に記載の装置。
［Ｃ９］
前記ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記ビデオデータを復号することとを行うように構成された１つまたは複数のプロセッサと、
ユーザの運動適応を感知するためのセンサと、
前記グラフィックスストリームから受信されたテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを行うように構成された第２のグラフィックス処理ユニットと
をさらに備える、Ｃ１に記載の装置。
［Ｃ１０］
ビデオデータを処理するように構成された装置であって、
ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶するように構成されたメモリと、
前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記パースされたビデオストリームを復号することとを行うように構成された１つまたは複数のプロセッサと、
ユーザの運動適応を感知するためのセンサと、
前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることとを行うように構成されたグラフィックス処理ユニットと
を備える、装置。
［Ｃ１１］
前記１つまたは複数のプロセッサは、前記ユーザの前記視野内にある複数のタイルを復号することと、低解像度タイルである前記複数のタイルのうちのタイルと、高解像度タイルである前記複数のタイルのうちのタイルとの両方をアップサンプリングすることと、単一画像オーバーレイを形成するように前記低解像度タイルと前記高解像度タイルとを組み合わせることとを行うように構成される、Ｃ１０に記載の装置。
［Ｃ１２］
前記１つまたは複数のプロセッサは、前記ユーザの前記感知された運動適応に基づいて前記単一画像オーバーレイを形成するように構成される、Ｃ１１に記載の装置。
［Ｃ１３］
前記１つまたは複数のプロセッサは、前記ユーザの前記感知された運動適応により、前記アップサンプリングされたタイルが前記視野の外側に出ると決定することに基づいて前記単一画像オーバーレイを形成しないように構成される、Ｃ１２に記載の装置。
［Ｃ１４］
前記ユーザの前記感知された運動適応は、頭部運動の軌跡を備える、Ｃ１３に記載の装置。
［Ｃ１５］
前記１つまたは複数のプロセッサは、前記ユーザの頭部運動の程度を可視性ウィンドウと比較するように構成される、Ｃ１３に記載の装置。
［Ｃ１６］
ビデオデータを処理する方法であって、
前記ビデオデータを記憶することと、
ピクセル領域ビデオデータを生成するようにピクセル領域において前記ビデオデータの一部分を符号化することと、
グラフィックス領域ビデオデータを生成するようにグラフィックス領域において前記ビデオデータを処理することと、
前記グラフィックス領域ビデオデータおよび前記ピクセル領域ビデオデータを送信することと
を備える、方法。
［Ｃ１７］
エクイレクタングラーキャンバスを形成するように前記ビデオデータを共にスティッチングすることと、
前記キャンバスをテクスチャに変換することと、
スフィアの内側に前記テクスチャをレンダリングすることと
をさらに備える、Ｃ１６に記載の方法。
［Ｃ１８］
第１のフレームレートで前記テクスチャを送信することと、
前記第１のフレームレートよりも大きい第２のフレームレートで前記ピクセル領域ビデオデータを送信することと
をさらに備える、Ｃ１７に記載の方法。
［Ｃ１９］
第１の解像度でを介して前記テクスチャを送信することと、
前記第１の解像度よりも大きい第２の解像度で前記ピクセル領域ビデオデータを送信することと
をさらに備える、Ｃ１７に記載の方法。
［Ｃ２０］
キューブマップまたは角錐投影法のうちの１つに前記キャンバスをマッピングすることと、
複数の解像度で複数のタイルを符号化することと、
ユーザの視野内にある前記複数のタイルのうちの１つまたは複数のタイルを送信することと
をさらに備える、Ｃ１７に記載の方法。
［Ｃ２１］
前記ユーザの運動適応を決定することと、
前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと
をさらに備える、Ｃ２０に記載の方法。
［Ｃ２２］
前記ユーザの運動適応を決定することと、
前記ユーザの前記決定された運動適応に基づいて前記視野を決定することと、
前記決定された視野に基づいてサラウンドサウンドビデオを適応させることと
をさらに備える、Ｃ２０に記載の方法。
［Ｃ２３］
前記決定された運動適応に基づいて、第１の解像度で前記視野の中心にあるタイルを送信することと、
前記第１の解像度よりも少ない第２の解像度で、前記視野内にはあるが前記視野の中心にはないタイルを送信することと
をさらに備える、Ｃ２１に記載の方法。
［Ｃ２４］
前記ビデオデータを復号することと、前記ビデオデータをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、
ユーザの運動適応を感知することと、
前記グラフィックスストリームから受信されたテクスチャ情報を用いて球面上にキャンバスを生成することと、
前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることと
をさらに備える、Ｃ１６に記載の方法。
［Ｃ２５］
ビデオデータを処理する方法であって、
ピクセル領域ビデオデータおよびグラフィックス領域ビデオデータを備えるビデオストリームを記憶することと、
前記記憶されたビデオストリームをグラフィックスストリームおよびオーディオ−ビデオストリームにパースすることと、前記ビデオストリームを復号することと、
ユーザの運動適応を感知することと、
前記グラフィックスストリームからのテクスチャ情報を用いて球面上にキャンバスを生成することと、
前記ユーザの前記感知された運動適応に基づいて視野をレンダリングすることと
を備える、方法。
［Ｃ２６］
前記ユーザの前記視野内にある複数のタイルを復号することと、
低解像度タイルである前記複数のタイルのうちのタイルと、高解像度タイルである前記複数のタイルのうちのタイルとの両方をアップサンプリングすることと、
単一画像オーバーレイを形成するように前記低解像度タイルと前記高解像度タイルとを組み合わせることと
をさらに備える、Ｃ２５に記載の方法。
［Ｃ２７］
前記ユーザの前記感知された運動適応に基づいて前記単一画像オーバーレイを形成することをさらに備える、Ｃ２６に記載の方法。
［Ｃ２８］
前記ユーザの前記感知された運動適応により、前記アップサンプリングされたタイルが前記視野の外側に出ると決定することに基づいて前記単一画像オーバーレイを形成しないことをさらに備える、Ｃ２７に記載の方法。
［Ｃ２９］
前記ユーザの前記感知された運動適応は、頭部運動の軌跡を備える、Ｃ２８に記載の方法。
［Ｃ３０］
前記ユーザの頭部運動の程度を可視性ウィンドウと比較することをさらに備える、Ｃ２８に記載の方法。
【国際調査報告】
2019517191.tif 000008
2019517191.tif 000009
2019517191.tif 000010