(57)【要約】      （修正有）【課題】表示プロセッサに必要とされる処理を削減するのに適したフォーマットにおける２Ｄおよび３Ｄのグラフィックスプロセッサを備えて、ビデオを、レンダリングされた３Ｄグラフィカルユーザインターフェース（ＧＵＩ）に組み込む。【解決手段】ビデオ復号システムにおいて、あらかじめ符号化されたビデオのフレームを圧縮および非圧縮フォーマットに復号する。非圧縮フォーマットのフレームは、記憶されて、追加のビデオのフレームを復号するために利用される。圧縮フォーマットのフレームは、さらに記憶されて、追加のテクスチャでレンダリングされるために表示プロセッサに提供される。【選択図】図５
2014168244.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたビデオデータを受信し、前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮テクスチャフォーマットに復号するように構成された復号器と、
前記非圧縮フォーマットのデータを記憶するように構成されたメモリと、
前記圧縮テクスチャフォーマットのデータを受信するように構成され、前記圧縮テクスチャフォーマットのデータを利用して３Ｄシーンを構築し、前記３Ｄシーンを表すデータを出力するように構成された表示プロセッサとを備えるビデオ復号システム。
【請求項２】
前記非圧縮フォーマットが、ＹＵＶ４：２：０フォーマットである、請求項１に記載のビデオ復号システム。
【請求項３】
前記非圧縮フォーマットが、ＹＵＶ４：２：２フォーマットである、請求項１に記載のビデオ復号システム。
【請求項４】
前記圧縮フォーマットが、ＲＧＢフォーマットである、請求項１に記載のビデオ復号システム。
【請求項５】
前記圧縮フォーマットが、ＤＸＴ、ＡＴＩ、またはＥＴＣ１フォーマットのうちの１つである、請求項１に記載のビデオ復号システム。
【請求項６】
前記３Ｄシーンを表示するように構成された表示装置をさらに備える請求項１に記載のビデオ復号システム。
【請求項７】
前記表示プロセッサが、表示のために、前記非圧縮フォーマットのデータをレンダリングするようにさらに構成された、請求項１に記載のビデオ復号システム。
【請求項８】
前記表示プロセッサが、前記非圧縮フォーマットのデータを受信し、前記非圧縮フォーマットのデータまたは前記３Ｄシーンを表すデータのいずれかに基づいて、表示デバイスに画像を選択的に出力するようにさらに構成された、請求項７に記載のビデオ復号システム。
【請求項９】
前記圧縮フォーマットのデータを記憶するためのメモリをさらに備える請求項１に記載のビデオ復号システム。
【請求項１０】
符号化されたビデオデータを受信することと、
前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮フォーマットに復号することと、
前記非圧縮フォーマットのデータを記憶することと、
３Ｄシーンの一部としてレンダリングするために、前記圧縮フォーマットのデータを読み込むことと、
前記３Ｄシーンを表すデータを出力することとを備えるビデオを復号する方法。
【請求項１１】
前記符号化されたビデオデータが、２Ｄビデオシーンを表す、請求項１０に記載の方法。
【請求項１２】
前記非圧縮フォーマットが、ＹＵＶ４：２：０フォーマットである、請求項１０に記載の方法。
【請求項１３】
前記非圧縮フォーマットが、ＹＵＶ４：２：２フォーマットである、請求項１０に記載の方法。
【請求項１４】
前記圧縮フォーマットが、ＲＧＢフォーマットである、請求項１０に記載の方法。
【請求項１５】
前記圧縮フォーマットが、ＤＸＴ、ＡＴＩ、またはＥＴＣ１フォーマットのうちの１つである、請求項１０に記載の方法。
【請求項１６】
表示のために、前記非圧縮フォーマットのデータをレンダリングすることをさらに備える、請求項１０に記載の方法。
【請求項１７】
前記非圧縮フォーマットのデータまたは前記３Ｄシーンを表すデータのいずれかに基づいて、表示デバイスに画像を選択的に出力することをさらに備える請求項１７に記載の方法。
【請求項１８】
前記圧縮フォーマットのデータを記憶することをさらに備える請求項１０に記載の方法。
【請求項１９】
符号化されたビデオデータを受信するための手段と、
前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮フォーマットに復号するための手段と、
前記非圧縮フォーマットのデータを記憶するための手段と、
レンダリングするために、前記圧縮フォーマットのデータを読み込むための手段とを備えるビデオ復号器。
【請求項２０】
受信するための前記手段が復号器を備え、復号するための前記手段が前記復号器を備え、記憶するための前記手段がメモリを備え、読み込むための前記手段が表示プロセッサを備える、請求項１９に記載のビデオ復号器。
【請求項２１】
実行されるときに、
符号化されたビデオデータを受信することと、
前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮フォーマットに復号することと、
前記非圧縮フォーマットのデータを記憶することと、
３Ｄシーンの一部としてレンダリングするために、前記圧縮フォーマットのデータを読み込むことと、
前記３Ｄシーンを表すデータを出力することとを備える方法を実行する命令を備えるコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮フォーマットおよび非圧縮フォーマットでビデオデータを出力するように構成されたビデオ復号器に関する。
【背景技術】
【０００２】
今日のグラフィカルユーザインターフェース（ＧＵＩ）の多くは、３Ｄグラフィカルシーンの一部としてビデオをレンダリングすることを伴う。たとえば、ビデオ再生デバイスが、３Ｄグラフィカルシーンを作成するために、３Ｄレンダリングされたグラフィックスを利用するＧＵＩを含むことがある。ユーザは、ビデオ再生デバイスに記憶されたビデオを見つけるために、ＧＵＩを通じて操縦することができ得る。ユーザがＧＵＩ内を移動して見るとき、ビデオが、３Ｄグラフィカルシーン内のプレビュークリップとして再生することができ得る。
【０００３】
３Ｄ  ＧＵＩ内でビデオを表示するために、ビデオのフレームが最初に復号され、次いで、ビデオプロセッサが、復号されたビデオフレームを使用して３Ｄシーンをレンダリングする。ビデオプロセッサは次いで、表示装置にシーンを出力する。
【０００４】
現在、ビデオ復号器は、ＹＵＶ４：２：０フォーマットなどの単一の非圧縮フォーマットでビデオを復号する。復号されたビデオは、ビデオ復号器から表示プロセッサ中に出力される。表示プロセッサは、２Ｄ画像（すなわち３Ｄコンテキストにおけるテクスチャ）をオーバーレイし、次いで画像が表示される表示装置に信号を出力することができ得る。いくつかのケースでは、表示プロセッサは、表示デバイスに表示するためにテクスチャをオーバーレイしてビデオをレンダリングする前に、ＹＵＶ４：２：０フォーマットからＲＧＢ８：８：８フォーマットへとビデオをコンバートする。
【０００５】
しかしながら、３Ｄグラフィカルシーンにおいてビデオをレンダリングするためには、上記のモデルは非効率である。上記で述べたように、ビデオは従来、非圧縮であるＹＵＶ４：２：０フォーマットで、ビデオ復号器から表示プロセッサのグラフィックスパイプライン中に入力される。表示プロセッサは次いで、ビデオフレームを圧縮フォーマットにコンバートし、今度はその圧縮フォーマットを使用して、テクスチャをオーバーレイすることにより、３Ｄ  ＧＵＩをレンダリングしなければならない。これは、非圧縮ビデオテクスチャをグラフィックスパイプライン中にロードするのに必要とされる余分な帯域幅と、非圧縮テクスチャを圧縮テクスチャにコンバートするためのグラフィックスパイプライン内の余分な命令とにつながる。
【０００６】
グラフィックスパイプラインに必要とされる帯域幅と命令とを削減する以前のソリューションは、表示プロセッサによるコンバージョンを必要としない圧縮フォーマットで、ビデオオフラインの第２のコピーを生成することを含んでいる。しかしながら、そのようなソリューションは、ソースからライブコンテンツをビデオ表示デバイスに非圧縮フォーマットで送ることなどの、ビデオ表示デバイスにおけるビデオのオンザフライ表示を考慮していない。さらに、ビデオの追加のフォーマットを記憶するために、余分な外部処理とメモリとが必要になる。
【図面の簡単な説明】
【０００７】
【図１】ビデオ信号を符号化し、復号するためのソースデバイスと宛先デバイスとを示すブロック図。
【図２】復号されたビデオがその中に組み込まれた、レンダリングされた３Ｄシーンの実施形態の図。
【図３】ビデオのフレームを圧縮するためのプロセスの実施形態の流れ図。
【図４】図３のプロセスにより復号されたビデオを使用して、シーンをレンダリングするプロセスの流れ図。
【図５】図１のビデオ復号器の実施形態のブロック図。
【発明を実施するための形態】
【０００８】
以下の詳細な説明は、ある特定の実施形態を対象とする。しかしながら、本明細書における教示は、多数の異なるやり方において適用され得る。この説明において、全体を通して、同様の部品が同様の番号により示される図面への参照がなされる。
【０００９】
一実施形態は、２Ｄと３Ｄのグラフィックスレンダリングの両方に好適なフォーマットで復号されたビデオを出力するように設計されたビデオ復号器を対象とする。ビデオを非圧縮フォーマットと圧縮フォーマットの両方に復号することにより、ビデオフレームを表示プロセッサに送ることが可能であり、一実施形態では、表示プロセッサは、表示プロセッサに必要とされる処理を削減するのに適したフォーマットにおける２Ｄおよび３Ｄのグラフィックスプロセッサを備えて、ビデオを、レンダリングされた３Ｄグラフィカルユーザインターフェース（ＧＵＩ）に組み込むことができ得る。
【００１０】
図１は、本開示で説明されるようなコーディング技法を実行するビデオ符号化および復号システム１０の実施形態を示すブロック図である。図１に示すように、システム１０は、通信チャネル１６を介して、符号化されたビデオデータを宛先デバイス１４に送信するソースデバイス１２を含む。ソースデバイス１２は、ビデオソース１８と、ビデオ符号器２０と、送信機２２とを含み得る。ソースデバイス１２のビデオソース１８は、ビデオカメラなどのビデオキャプチャデバイス、それ以前にキャプチャされたビデオを含むビデオアーカイブ、またはビデオコンテンツプロバイダからのビデオフィード含み得る。さらなる代替として、ビデオソース１８は、コンピュータグラフィックスベースのデータを、ソースビデオとして、またはライブビデオとコンピュータにより生成されたビデオとの組合せとして、生成し得る。いくつかのケースでは、ソースデバイス１２は、ワイヤレス電話またはビデオ電話であり得、そうしたケースでは、ビデオソース１８は、電話機のビデオカメラであり得る。各ケースにおいて、キャプチャされた、事前キャプチャされた、またはコンピュータにより生成されたビデオは、送信機２２と送信チャネル１６とを介して、ソースデバイス１２から宛先デバイス１４へと送信されるために、ビデオ符号器２０によって符号化され得る。
【００１１】
ビデオ符号器２０は、ビデオソース１８からビデオデータを受信する。ビデオソース１８から受信されたビデオデータは、一連のビデオフレームであり得る。ビデオ符号器２０は、一連のフレームをコーディングユニットに分割し、コーディングユニットを処理して一連のビデオフレームを符号化する。コーディングユニットは、たとえば、フレーム全体、またはフレームの一部（すなわちスライス）であり得る。したがって、いくつかの例では、フレームはスライスに分割され得る。ビデオ符号器２０は、ビデオデータを符号化するために、各コーディングユニットを画素のブロック（本明細書では、ビデオブロックまたはブロックと呼ぶ）に分割し、個々のコーディングユニット内のビデオブロック上で機能する。したがって、コーディングユニット（たとえば、フレームまたはスライス）は、複数のビデオブロックを含み得る。言い換えれば、ビデオシーケンスは、複数のフレームを含み得、フレームは、複数のスライスを含み得、スライスは複数のビデオブロックを含み得る。
【００１２】
ビデオブロックは、固定の、または可変のサイズを有し得、指定されたコーディング標準に従って、サイズが異なり得る。例として、国際電気通信連合標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ１０、アドバンストビデオコーディング（ＡＶＣ）（以下では、「Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ」標準）は、ルーマ成分（luma components）についての１６×１６、８×８、４×４画素、およびクロマ成分（chroma components）についての８×８画素などのさまざまなブロックサイズにおいて、イントラ予測をサポートする。インター予測は、ルーマ成分についての１６×１６、１６×８、８×１６、８×８、８×４、４×８、および４×４画素、ならびにクロマ成分について対応するスケーリングされたサイズなどの、さまざまなブロックサイズにおいて実行され得る。Ｈ．２６４では、たとえば、しばしばマクロブロック（ＭＢ）と呼ばれる１６×１６画素単位の各ビデオブロックが、より小さなサイズのサブブロックに細分化されて、サブブロックにおいてイントラ予測またはインター予測され得る。一般的には、ＭＢおよびさまざまなサブブロックは、ビデオブロックであると考えられ得る。したがって、ＭＢは、ビデオブロックであると考えられ得る、パーティショニングまたはサブパーティショニングされる場合に、ＭＢは、それ自体がビデオブロックの組を定義すると考えられ得る。
【００１３】
ビデオブロックのそれぞれについて、ビデオ符号器２０は、ブロックについてのブロックタイプを選択する。ブロックタイプは、ブロックがインター予測かイントラ予測かのいずれかを使用して予測されるのかに加え、ブロックのパーティションサイズを示し得る。たとえば、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ標準は、インター１６×１６と、インター１６×８と、インター８×１６と、インター８×８と、インター８×４と、インター４×４と、イントラ１６×１６と、イントラ８×８と、イントラ４×４とを含む、いくつかのインター予測およびイントラ予測のブロックタイプをサポートする。以下で詳細に説明するように、ビデオ符号器２０は、符号化されることになるビデオブロックのそれぞれについて、ブロックタイプのうちの１つを選択することができ得る。
【００１４】
ビデオ符号器２０はまた、ビデオブロックのそれぞれについての予測モードを選択する。イントラコーディングされたビデオブロックのケースでは、予測モードは、１つまたは複数の以前に符号化されたビデオブロックを使用して現在のビデオブロックを予測するやり方を決定し得る。Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ標準では、たとえば、ビデオ符号器２０は、各イントラ４×４ブロックについて、垂直予測モード（vertical prediction mode）、水平予測モード（horizontal prediction mode）、ＤＣ予測モード（DC prediction mode）、対角左下予測モード（diagonal down/left prediction mode）、対角右下予測モード（diagonal down/right prediction mode）、垂直右予測モード（vertical-right prediction mode）、水平下予測モード（horizontal-down predication mode）、垂直左予測モード（vertical-left prediction mode）、および水平上予測モード（horizontal-up prediction mode）の、９つの可能な単方向予測モードのうちの１つを選択することができ得る。同様の予測モードが、各イントラ８×８ブロックを予測するのに使用される。イントラ１６×１６ブロックの場合、ビデオ符号器２０は、垂直予測モード、水平予測モード、ＤＣ予測モード、および平面予測モードの、４つの可能な単方向予測モードのうちの１つを選択することができ得る。いくつかの例では、ビデオ符号器２０は、単方向予測モードだけでなく、単方向モードの組合せを定義する１つまたは複数の多方向予測モードもまた含む、一組の予測モードから予測モードを選択することができ得る。たとえば、１つまたは複数の多方向予測モードは、以下でさらに詳細に説明されるように、２つの単方向予測モードを組み合わせた双方向予測モードであり得る。
【００１５】
ビデオブロックについて予測モードを選択した後で、ビデオ符号器２０は、選択された予測モードを使用して予測されたビデオブロックを生成する。予測されたビデオブロックは、オリジナルビデオブロックから減じられて、残差ブロックを形成する。残差ブロックは、オリジナルビデオブロックの画素値と生成された予測ブロックの画素値との差分を定量化する、一組の画素差分値を含む。残差ブロックは、二次元のブロックフォーマット（たとえば、画素差分値の二次元の行列またはアレイ）で表され得る。
【００１６】
残差ブロックの生成に続いて、ビデオ符号器２０は、ブロックを符号化する前に、残差ブロックに対していくつかの他の動作を行うことができ得る。ビデオ符号器２０は、整数変換、ＤＣＴ変換、方向性変換、またはウェーブレット変換などの変換を画素値の残差ブロックに適用して、変換係数のブロックを発生させ得る。変換係数は、残差ブロックの周波数−ドメイン表示であり得る。このようにして、ビデオ符号器２０は、残差画素値を変換係数にコンバートする（残差変換係数とも呼ばれる）。残差変換係数は、変換ブロックまたは係数ブロックと呼ばれ得る。残差変換係数は、分離不能変換が適用されるときは、係数の一次元表示であり得、あるいは分離可能変換が適用されるときは、係数の二次元表示であり得る。分離不能変換は、分離不能方向性変換を含み得る。分離可能変換は、分離方向性変換、ＤＣＴ変換、整数変換、およびウェーブレット変換を含み得る。
【００１７】
変換に続いて、ビデオ符号器２０は、量子化を行って、量子化変換係数（量子化係数、または量子化残差係数とも呼ばれる）を生成する。やはり、量子化係数は、一次元ベクトルフォーマット、または二次元ブロックフォーマットで表され得る。量子化は一般的に、係数を表すのに使用されるデータの量を場合により減少させるために、係数を量子化するプロセスを指す。量子化プロセスは、係数のいくつか、またはすべてに関連付けられたビット深度を減少させ得る。本明細で使用されるとき、用語「係数」は、変換係数、量子化係数、または他のタイプの係数を表すことがある。本開示の技法は、いくつかの例において、変換係数および量子化変換係数と同様に、残差画素値に適用され得る。
【００１８】
分離可能変換が使用され、係数ブロックが二次元ブロックフォーマットで表されるときに、ビデオ符号器２０は、二次元フォーマットから一次元フォーマットまで係数を走査する。言い換えると、ビデオ符号器２０は、二次元ブロックから係数を走査して、係数をシリアル化（serialize）して係数の一次元ベクトル内まで走査することができ得る。本開示の態様のうちの１つに従って、ビデオ符号器２０は、収集された統計値に基づいて係数ブロックを一次元にコンバートするために使用される走査順序を調整することができ得る。統計値は、二次元ブロックの各位置における所与の係数値がゼロ、または非ゼロである尤度の表示を備え得、たとえば、二次元ブロックの係数位置のそれぞれに関連付けられたカウント、確率、または他の統計メトリックを備え得る。いくつかの例において、統計値は、ブロックの係数位置のサブセットについてにしか収集されることができない。たとえば、特定のブロック数の後に走査順序を評価するとき、走査順序は、非ゼロ係数を有する確率がより高いと決定されたブロック内の係数位置が、非ゼロ係数を有する確率がより低いと決定されたブロック内の係数位置の前に走査されるように、変更することができ得る。このようにして、非ゼロ係数を一次元係数ベクトルの始めに、およびゼロ値係数を一次元係数ベクトルの終わりに、より効率的にグループ分けするように、初期走査順序を適応させ得る。これは、エントロピーコーディングに費やされるビットの数を低減することができ得るが、というのは、一次元係数ベクトルの始めの非ゼロ係数間には、より短い連続的ゼロ群（runs of zero）が存在し、一次元係数ベクトルの終わりには、１つのより長い連続的ゼロ群が存在するためである。
【００１９】
係数の走査に続いて、ビデオ符号器２０は、さまざまなエントロピーコーディング方法、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、ラン長（run length）コーディング、その他のうちのいずれかを使用して、コーディングユニットのビデオブロックのそれぞれを符号化する。ソースデバイス１２は、送信機２２とチャネル１６とを介して、符号化されたビデオデータを宛先デバイス１４に送信する。通信チャネル１６は、任意のワイヤレスまたは有線の通信媒体、たとえば、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理的送信ライン、あるいはワイヤレス媒体と有線媒体との任意の組合せを備え得る。通信チャネル１６は、パケットベースのネットワーク、たとえばローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどグローバルネットワークの一部を成し得る。通信チャネル１６は、一般的には、ソースデバイス１２から宛先デバイス１４に符号化されたビデオデータを送信するための、任意の好適な通信媒体、または異なる通信媒体の集合を表す。
【００２０】
宛先デバイス１４は、受信機２４と、ビデオ復号器２６と、表示プロセッサ２７と、表示デバイス２８とを含み得る。ビデオ信号を受信する一手段である受信機２４は、符号化されたビデオビットストリームを、チャネル１６を介してソースデバイス１２から受信する。ビデオ復号器２６は、エントロピー復号を適用して、符号化されたビデオビットストリームを復号し、コーディングされたユニットのコーディングされたビデオブロックの、ヘッダ情報と、動きベクトルと、量子化残差係数とを取得する。上で説明したように、ソースデバイス１２によって符号化された量子化残差係数は、一次元ベクトルとして符号化される。したがって、ビデオ復号器２６は、コーディングされたビデオブロックの量子化残差係数を走査して、一次元の係数ベクトルを量子化残差係数の二次元ブロックにコンバートする。ビデオ符号器２０と同様に、ビデオ復号器２６は、ビデオブロックにおける所与の係数位置がゼロまたは非ゼロである尤度を示す統計値を収集し、それにより、符号化プロセスにおいて使用されたのと同じやり方で走査順序を調整することができ得る。したがって、シリアル化された量子化変換係数の一次元ベクトル表示を変更して量子化変換係数の二次元ブロックに戻すために、可逆的（reciprocal）適応型走査順序がビデオ復号器２６によって適用され得る。
【００２１】
ビデオ復号器２６は、復号されたヘッダ情報と復号された残差情報とを使用して、コーディングユニットのブロックのそれぞれを再構築する。特に、ビデオ復号器２６は、現在のビデオブロックについての予測ビデオブロックを生成し、予測ブロックを対応する残差ビデオブロックと結合して、ビデオブロックのそれぞれを再構築することができ得る。いくつかの実施形態において、ビデオ復号器２６およびビデオ符号器２０によって生成された予測ブロックは同一であることに留意すべきである。したがって、符号化されたビデオビットストリームにおいて送信された残差を予測ブロックと結合することによって、ビデオ復号器２６は、ビデオ符号器２０において生成されたものと同一の再構築されたブロックを生成する。ビデオ復号器２６は次いで、ビデオのフレームを構成する結合されたビデオブロックを記憶することができ得る。ビデオ復号器２６は、ＹＵＶフォーマットで、および／または以下の実施形態において説明される他のフォーマットで、復号されたビデオを出力することができ得る。復号されたビデオは次いで、表示プロセッサ２７に送られ、表示プロセッサ２７は、表示デバイス２８に表示するために、テクスチャをオーバーレイし、テクスチャとビデオとをレンダリングする。いくつかの実施形態において、表示プロセッサ２７は、限定された２Ｄグラフィックス機能（たとえば、単純な２Ｄオーバーレイとブレンディング（blending）とを行う能力）を有し得る。他の実施形態において、表示プロセッサ２７は、２Ｄおよび３Ｄのグラフィックスプロセッサを備え得、より複雑な幾何学的変換を実行し得る。宛先デバイス１４は、再構築されたビデオブロックをレンダリングされたシーンの一部として、表示デバイス２８を介してユーザに表示することができ得る。表示デバイス２８は、陰極線管（ＣＲＴ）、液晶表示装置（ＬＣＤ）、プラズマ表示装置、発光ダイオード（ＬＥＤ）表示装置、有機ＬＥＤ表示装置、または別のタイプの表示ユニットなどのさまざまな表示デバイスのうちのいずれかを備え得る。
【００２２】
いくつかのケースでは、ソースデバイス１２および宛先デバイス１４は、実質的に対称的なやり方で動作し得る。たとえば、ソースデバイス１２および宛先デバイス１４は、それぞれ、ビデオ符号化および復号構成要素を含み得る。したがって、システム１０は、たとえばビデオストリーミング、ビデオブロードキャスティング、またはテレビ電話用のデバイス１２、１４間で、一方向または二方向のビデオ送信をサポートすることができ得る。ビデオ符号化および復号構成要素を含むデバイスはまた、共通の符号化、アーカイブ、およびデジタルビデオレコーダ（ＤＶＲ）などの再生デバイスの一部を成し得る。
【００２３】
ビデオ符号器２０およびビデオ復号器２６は、さまざまなビデオ圧縮標準、たとえば、ムービングピクチャエキスパーツグループ（ＭＰＥＧ）により、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４において定義される標準、ＩＴＵ−Ｔ  Ｈ．２６３標準、米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１ＭビデオＣＯＤＥＣ標準（一般的には「ＶＣ−１」と呼ばれる）、中国オーディオビデオコーディング規格作業部会によって定義された標準（一般的には「ＡＶＳ」と呼ばれる）、ならびに標準機関によって定義されるか、または独自開発標準としての組織によって開発された任意の他のビデオコーディング標準のいずれかに従って動作し得る。図１には示されていないが、いくつかの態様においては、ビデオ符号器２０およびビデオ復号器２６は、それぞれが、音声符号器および音声復号器のそれぞれと一体化し得る、共通のデータストリームまたは別個のデータストリームで、音声とビデオの両方の符号化を取り扱うための、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアとソフトウェアとを含み得る。このようにして、ソースデバイス１２および宛先デバイス１４は、マルチメディアデータ上で動作し得る。該当する場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００２４】
いくつかの態様においては、ビデオブロードキャスティングについて、本開示で説明される技法が、２００７年７月に技術基準ＴＩＡ−１０９９として発行された、順方向リンク専用（ＦＬＯ）エアインターフェース仕様、「地上モバイルマルチメディアマルチキャストに関する順方向リンク専用エアインターフェース仕様」（「ＦＬＯ仕様」）を用いて、地上モバイルマルチメディアマルチキャスト（ＴＭ３）システムにおいて、リアルタイムビデオサービスを配信するための、拡張Ｈ．２６４ビデオコーディングに適用され得る。すなわち、通信チャネル１６は、ＦＬＯ仕様などに従ってワイヤレスビデオ情報をブロードキャストするのに使用されるワイヤレス情報チャネルを備え得る。ＦＬＯ仕様は、ビットストリーム構文および意味論を定義する例と、ＦＬＯエアインターフェースに好適な復号プロセスとを含む。
【００２５】
代替として、ビデオは、ＤＶＢ−Ｈ（デジタルビデオ放送−ハンドヘルド）、ＩＳＤＢ−Ｔ（総合サービスデジタル放送−地上）、またはＤＭＢ（デジタルメディア放送）などの他の標準に従ってブロードキャストされ得る。したがって、ソースデバイス１２は、モバイルワイヤレス端末、ビデオストリーミングサーバ、またはビデオブロードキャストサーバであり得る。しかしながら、本開示において説明される技法は、任意の特定のタイプのブロードキャスト、マルチキャスト、またはポイントツーポイントシステムには限定されない。ブロードキャストのケースでは、ソースデバイス１２は、複数の宛先デバイスにいくつかのチャネルのビデオデータをブロードキャストし得、これらの宛先デバイスのそれぞれは、図１の宛先デバイス１４と同様であり得る。したがって、図１には単一の宛先デバイス１４が示されているが、ビデオブロードキャスト用途に関しては、ソースデバイス１２は、典型的には、多くの宛先デバイスに同時にビデオコンテンツをブロードキャストすることになる。
【００２６】
その他の例において、送信機２２、通信チャネル１６、および受信機２４は、あらゆる有線またはワイヤレスの通信システムに従った通信のために構成され得、通信システムは、イーサネット（登録商標）システム、電話（たとえば、ＰＯＴＳ）システム、ケーブルシステム、電力線システムおよび光ファイバーシステム、および／または符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元（ＯＦＤＭ）接続システム、時間分割多元接続（ＴＤＭＡ）システム、たとえばＧＳＭ（登録商標）（Global System for Mobile Communication）、ＧＰＲＳ（General packet Radio Service：汎用パケット無線サービス）、またはＥＤＧＥ（enhanced data GSM environment：拡張データＧＳＭ環境）、ＴＥＴＲＡ（Terrestrial Trunked Radio：地上基盤無線）モバイル電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ（登録商標））システム、高データレート１×ＥＶ−ＤＯ（第１世代エボリューションデータオンリー）または１×ＥＶ−ＤＯゴールドマルチキャストシステム、ＩＥＥＥ８０２．１８システム、ＭｅｄｉａＦＬＯ（登録商標）システム、ＤＭＢシステム、ＤＶＢ−Ｈシステム、または２つ以上のデバイス間でのデータ通信用の別の方式のうちの１つまたは複数を備えるワイヤレスシステムのうちの１つまたは複数を含む。
【００２７】
ビデオ符号器２０およびビデオ復号器２６は、それぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、離散ロジック、ソフトウェア、ハードウェア、ファームウェア、またはそのいずれかの組合せとして実装され得る。ビデオ符号器２０およびビデオ復号器２６のそれぞれは、１つまたは複数の符号器または復号器内に含まれ得、これらのいずれも、それぞれのモバイルデバイス、加入者デバイス、ブロードキャストデバイス、サーバ、その他において結合された符号器／復号器（ＣＯＤＥＣ）の一部として統合され得る。加えて、ソースデバイス１２および宛先デバイス１４は、該当する場合、それぞれ符号化されたビデオの送信および受信のための適切な変調構成要素と、復調構成要素と、周波数変換構成要素と、フィルタリング構成要素と、増幅器構成要素とを含み得、ワイヤレス通信をサポートするのに十分な無線周波数（ＲＦ）ワイヤレス構成要素とアンテナとを含む。しかしながら、例示しやすいように、そのような構成要素は、図１では、ソースデバイス１２の送信機２２および宛先デバイス１４の受信機２４としてまとめられる。
【００２８】
図５は、圧縮フォーマットと非圧縮フォーマットの両方で、ビデオデータを出力するように構成されたビデオ復号器２６の一実施形態である。符号化されたビットストリームが、システム５００の中に送り込まれる。ビットストリームの一部は、異なるマクロブロックに対応し得る。さらに、それらのマクロブロックのうちのいくつかが、単一のビデオフレームを構成し得る。所与のマクロブロックに対応したビットストリームの一部は、エントロピー復号ユニット５０２でエントロピー復号されて、残差ブロックを形成する。残差ブロックは次いで、逆走査ユニット５０４において逆走査され、逆量子化ユニット５０６において逆量子化され、逆変換ユニット５０８において逆変換される。予測子マクロブロック（predictor macroblock）が生成され、加算ユニット５１０で加算される。
【００２９】
上で説明した予測子マクロブロックは、イントラとインターの、２つのタイプであることができる。空間補償ユニット５１６が、隣接するマクロブロックを使用して、イントラ予測子マクロブロックを生成する。動き補償ユニット５１８が、メモリを備えることができ得る参照フレーム記憶部５２０に記憶された過去／未来のフレームを使用して、インター予測子マクロブロックを生成する。スイッチ５２２が、イントラまたはインター予測子マクロブロックのいずれかを加算ユニット５１０に送信するように切り替えられて、出力信号を生成することができる。
【００３０】
結果として再構築されたマクロブロックは次いで、マクロブロックがフィルタされるデブロックフィルタリングユニット５１２に送られる。たとえば、マクロブロックのエッジがフィルタされて、視覚的にアピールしないことがあるブロッキングアーチファクトを防ぐことができ得る。生成された出力は、非圧縮フォーマット出力（たとえば、ＹＵＶ４：２：０フォーマットまたはＹＵＶ４：２：２フォーマットでのマクロブロック）である一組の原画素である。一実施形態において、非圧縮出力は、サイズが１６×１６のブロックであり得る。非圧縮出力を、他のビデオフレームの再構築のために記憶することができ得る。非圧縮出力の修正は、後に再構築されるフレームにおいて視覚的アーチファクトをもたらすことがある。原画素出力は、原画素出力がグラフィックスパイプラインで使用するのに好適な圧縮フォーマット出力にコンバートされる圧縮ユニット５１４に送られる。一実施形態において、圧縮出力は、サイズが４×４のブロックユニットであり得る。原画素出力はまた、予測子マクロブロックを生成するのに使用され得る参照フレーム記憶部５２０に送られ、そこに記憶される。一実施形態において、圧縮ユニット５１４は、以下で説明されるプロセス３００のステップを実行して、圧縮フォーマット出力を生成する。復号された圧縮マクロブロックに対応する、圧縮ユニット５１４からの出力は、メモリ５２４に記憶される。ビットストリームが復号されるとき、複数の復号された圧縮マクロブロックがメモリ５２４に記憶される。所与のビデオフレームに対応するマクロブロックのすべてがメモリ５２４に記憶されたときに、メモリ５２４は圧縮ビデオフレームを含む。いくつかの実施形態において、圧縮ビデオフレームは次いで、３Ｄ  ＧＵＩまたは３Ｄシーンの一部としてレンダリングするために、表示プロセッサ２７の３Ｄグラフィックスパイプラインの中に読み込まれ、これは以下で説明する。
【００３１】
図２は、本開示のレンダリングされた３Ｄ  ＧＵＩ２００のスナップショットの一実施形態である。この実施形態では、ビデオ２０２〜２１４のそれぞれ、またはビデオ２０２〜２１４のいずれかのサブセットが、ＧＵＩ内で再生し得る。さらに、ビデオが再生し続ける間にシーン内での遠近感および位置を変えるように、各ビデオは、ＧＵＩ内の２Ｄまたは３Ｄ平面に対して動くことができ得る。
【００３２】
一実施形態において、表示プロセッサ２７は、３Ｄ  ＧＵＩまたは３Ｄシーンを生成することが可能な３Ｄグラフィックスパイプラインの処理をサポートする。３Ｄグラフィックスパイプラインは、３Ｄシーンを２Ｄラスタ画像にコンバートするためのソフトウェアまたはファームウェアを備え得る。３Ｄグラフィックスパイプラインは、一連のステージを備え、そこではデータ（たとえば、幾何学的配置、ライティング、その他などのシーン記述データ）と、３Ｄ画像を生成するために使用される画像（たとえば、３Ｄコンテキストにおけるテクスチャ）とが、パイプラインの始めに入力され、２Ｄラスタ画像が、パイプラインの終わりに出力される。入力は、グラフィックスパイプラインの各ステージで処理される。所与のステージでの処理が完了すると、入力は、それがグラフィックスパイプラインの終わりに達するまで、次のステージへと移動する。一実施形態において、３Ｄグラフィックスパイプラインは、モデリング変換ステージと、頂点単位ライティングステージ（a per-vertex lighting stage）と、ビューイング変換ステージと、投影変換ステージ（a projection transformation stage）と、クリッピングステージと、ラスタライゼーションステージと、テクスチャステージと、表示ステージとを備える。表示プロセッサ２７は、３Ｄグラフィックスパイプラインを物理的に具体化したものとして考えられて得る。この実施形態において、表示プロセッサ２７は、各ステージでの入力を処理する。
【００３３】
図５に関して論じたように、ビデオ復号器２６は、ビデオフレームに対応したビットストリームを取り込む。ビデオ復号器２６は次いで、ビットストリームを圧縮フォーマット（たとえば、ＲＧＢ８：８：８）に復号し、圧縮されたビデオフレームを３Ｄグラフィックスパイプラインで使用するように記憶する。ビデオフレームは、記憶域から３Ｄグラフィックスパイプラインへと移動する。他の実施形態において、圧縮フォーマットのデータは、直接３Ｄグラフィックスパイプラインへと送られる。テクスチャがオーバーレイされ、３Ｄシーンがパイプラインでの余分なステージを必要とすることなくレンダリングされて、ビデオを３Ｄシーンにレンダリングされることが可能なフォーマットにコンバートする。上で論じたように、表示プロセッサ２７は、３Ｄグラフィックスパイプラインを物理的に具体化したものであり、テクスチャをオーバーレイし、３Ｄシーンを生成する。表示プロセッサ２７は次いで、表示デバイス２８に表示するために、３Ｄシーンをラスタライズする（すなわち、３Ｄシーンを２Ｄの画素の組にコンバートする）。いくつかの実施形態において、表示プロセッサ２７は、ビデオ復号器２６から、圧縮フォーマットおよび／または非圧縮フォーマットで、ビデオフレームを受信することができ得る。表示プロセッサ２７は次いで、表示デバイス２８に表示するために、圧縮フォーマットまたは非圧縮フォーマットのいずれかをレンダリングすることができ得る。
【００３４】
一実施形態において、ビデオ符号器２６は、テクスチャを圧縮し、それらのテクスチャを使用して３Ｄシーンをレンダリングするために表示プロセッサ２７により使用されるフォーマットに対応したフォーマットで、データを出力するように構成されている。表示プロセッサ２７の異なる実施形態は、１つまたは複数の異なるテクスチャ圧縮方式を利用することができ得る。テクスチャ圧縮方式は、シーンを作成するためのグラフィックスパイプラインにおけるテクスチャのロードに関連付けられた帯域幅を削減する。一例は、ＲＧＢ８：８：８フォーマットの２４−ビットグラフィックから、４−ビットグラフィックへの圧縮である。テクスチャ圧縮フォーマットのいくつかの例が、ＤＸＴ、ＡＴＩ、およびＥＴＣＩである。これらの圧縮技法は、ブロックトランケーション符号化（ＢＴＣ）を利用する。ＢＴＣでは、ビデオのフレームが、オーバーラップしないブロックに分割される。これらのブロックのそれぞれは次いで、一定の圧縮率で圧縮される。さまざまな圧縮フォーマット間で変化する１つの側面が、圧縮フォーマットが異なるブロック特性について発生させる歪み量である。
【００３５】
図３は、テクスチャ圧縮のためのプロセス３００の一実施形態である。ステップ３０２で、ビデオフレームからのブロックが、非圧縮フォーマットでメモリから読み込まれる。次の３０４で、ブロックは、アップサンプルされる。さらに、ステップ３０６で、ブロックの色空間が、ＹＣｂＣｒからＲＧＢにコンバートされる。次のステップ３０８で、ブロックは、テクスチャ圧縮フォーマットのうちの１つに圧縮される。プロセス３００のステップは、ビデオ復号器２６によって実行され、結果として圧縮されたビデオフレームは、３Ｄグラフィックスパイプラインに送られる。
【００３６】
図４は、符号化されたビデオフレームを受信し、表示デバイス２８に表示するためにビデオに埋め込まれる３Ｄシーンを生成するプロセス４００の一実施形態である。ステップ４０２で、ビデオ復号器２６は、符号化されたビデオのフレームを受信する。次にステップ４０４で、ビデオ復号器は、ビデオフレームを非圧縮および圧縮フォーマットに復号する。ステップ４０４の代替的な一実施形態において、ビデオ復号器はまた、本明細書の以下のパラグラフで説明するように、ビデオフレームをダウンサンプルする。いくつかの実施形態において、ビデオ復号器２６は、復号された圧縮フォーマットと、復号された非圧縮フォーマットの両方のビデオを同時に（すなわち、並行して、またはほぼ同じ時間に）記憶する。一実施形態において、圧縮フォーマットのビデオフレームが、プロセス３００に従って生成される。続いて、ステップ４０６で、圧縮されたビデオフレームが、グラフィックスパイプラインに送られる。次のステップ４０８で、表示プロセッサ２７は、テクスチャをオーバーレイし、３Ｄシーン内のテクスチャとして圧縮されたビデオフレームを組み込んだ３Ｄシーンを生成する。さらなるステップ４１０で、表示プロセッサ２７は、ステップ４０８で作成された３Ｄシーンに基づいて、２Ｄ表示デバイス２８に表示するのに好適な出力を生成する。次のステップ４１２で、ステップ４１０で生成された出力が、表示デバイス２８に表示される。
【００３７】
いくつかの実施形態において、表示プロセッサ２７によってレンダリングされたビデオは、非線形幾何変換（non-linear geometric transformation）にかけられ得る。そのような実施形態では、ビデオフレームの異なる部分が、異なる程度にまでサブサンプルされ得る。そのようなサブサンプリングは、ギザギザのエッジ（jagged edge）などの望ましくない視覚的なアーチファクトを招くことがある。いくつかの実施形態において、表示プロセッサ２７は、エイリアシングアーチファクトを緩和するための、アンチエイリアシングフィルタリング機構を含むことができ得る。他の実施形態では、ビデオ復号器２６が、アンチエイリアシングフィルタを含み得、および／またはさまざまなアンチエイリアシング技法を実行するように構成され得る。これらの実施形態は、不均一にサブサンプルされたビデオのフレームで動作するように構成され得る。
【００３８】
ビデオレンダリングプロセスの間、ビデオは、復号されたときとは異なる解像度においてレンダリングされ得ることに留意すべきであり、これは、ダウンサンプリングと呼ばれるプロセスである。ダウンサンプラが、ビデオ復号器と相互に作用して、ビデオ復号器から二次的な出力を作成し得る（たとえば、ダウンサンプルされ圧縮されたビデオ、ダウンサンプルされ圧縮されないビデオ、およびダウンサンプルされずに圧縮されたビデオ）。したがって、ビデオフレームをダウンサンプリングすることにより、ビデオの各フレームを記憶するために必要とされるメモリ空間がさらに削減され得る。
【００３９】
さらに、本開示は３Ｄシーン内に単一のビデオを挿入することを論じているが、当業者は、システムがまた、複数のビデオを組み込んだ３Ｄシーンをレンダリングするように構成され得ることを理解するであろうことに留意すべきである。
【００４０】
本開示において説明される技法は、ハードウェア、ソフトウェア、ファームウェア、またはそのいずれかの組合せにおいて実装され得る。ユニットまたは構成要素として説明されるいずれの特徴も、集積論理デバイス内においてまとめて、または別個であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装された場合は、本技法は、少なくとも部分的には、実行されるときに、上で説明した方法のうちの１つまたは複数を実行する命令を備えるコンピュータ可読媒体によって実現され得る。コンピュータ可読媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を成し得る。コンピュータ可読媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学データ記憶媒体、その他を備え得る。本技法は、追加としてまたは代替として、少なくとも部分的には、命令またはデータ構造の形態で符号を搬送し、または通信し、コンピュータがアクセスし、読み取り、および／または実行することができる、コンピュータ可読通信媒体によって実現され得る。
【００４１】
符号は、１つまたは複数のプロセッサ、たとえば、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の集積回路または別個の論理回路によって実行され得る。したがって、本明細書で使用されるとき、用語「プロセッサ」は、上記の構造、または本明細書で説明される技法の実装に好適な任意の他の構造のうちのいずれかを指すことがある。加えて、いくつかの態様おいて、本明細書で説明される機能性は、符号化し、復号するために構成された専用のソフトウェアユニットまたはハードウェアユニット内において提供されても、または結合されたビデオ符号器−復号器（ＣＯＤＥＣ）内に組み入れられ得る。異なる特徴をユニットとして描写することは、例示されたデバイスの異なる機能上の側面を強調することを意図しており、そのようなユニットが別個のハードウェアまたはソフトウェア構成要素によって実現されなければならないということを必ずしも含意しない。むしろ、１つまたは複数のユニットに関連付けられた機能性は、共通のまたは別個のハードウェアまたはソフトウェア構成要素内に統合され得る。
【００４２】
本開示のさまざまな実施形態が説明されてきた。これらの、および他の実施形態は、以下の特許請求の範囲内にある。
【図１】
2014168244.tif 000003
【図２】
2014168244.tif 000004
【図３】
2014168244.tif 000005
【図４】
2014168244.tif 000006
【図５】
2014168244.tif 000007
【手続補正書】
【提出日】平成26年5月15日(2014.5.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化されたビデオデータを受信し、前記符号化されたビデオデータを非圧縮ビデオデータおよび圧縮ビデオデータの両方に復号するように構成された復号器と、
前記非圧縮ビデオデータおよび前記圧縮ビデオデータの両方を受信するように構成され、さらに前記非圧縮ビデオデータを使用して、ならびに前記非圧縮ビデオデータを圧縮する代わりに前記復号器によって提供された前記圧縮ビデオデータを使用して３Ｄグラフィカルビデオシーンを構築するように構成された表示プロセッサとを備えるビデオ復号システム。
【請求項２】
前記非圧縮ビデオデータが、ＹＵＶ４：２：０フォーマットである、請求項１に記載のビデオ復号システム。
【請求項３】
前記非圧縮ビデオデータが、ＹＵＶ４：２：２フォーマットである、請求項１に記載のビデオ復号システム。
【請求項４】
前記圧縮ビデオデータが、ＲＧＢフォーマットである、請求項１に記載のビデオ復号システム。
【請求項５】
前記圧縮ビデオデータが、ＤＸＴ、ＡＴＩ、またはＥＴＣ１フォーマットのうちの１つである、請求項１に記載のビデオ復号システム。
【請求項６】
前記３Ｄグラフィカルシーンを表示するように構成された表示装置をさらに備える請求項１に記載のビデオ復号システム。
【請求項７】
グラフィックスパイプラインをさらに備える、請求項１に記載のビデオ復号システム。
【請求項８】
前記表示プロセッサが、前記３Ｄグラフィカルビデオシーンを構築するために前記非圧縮ビデオデータを圧縮することと、前記非圧縮ビデオデータを圧縮することなく前記３Ｄグラフィカルビデオシーンを構築するために前記圧縮ビデオデータを利用することとが可能である、請求項１に記載のビデオ復号システム。
【請求項９】
前記非圧縮ビデオデータ、前記圧縮ビデオデータ、またはその両方を記憶するためのメモリをさらに備える請求項１に記載のビデオ復号システム。
【請求項１０】
復号器によって符号化されたビデオデータを受信することと、
前記復号器によって前記符号化されたビデオデータを非圧縮ビデオデータおよび圧縮データの両方に復号することと、
表示プロセッサによって前記非圧縮ビデオデータおよび前記圧縮ビデオデータの両方を受信することと、前記非圧縮ビデオデータを使用して、ならびに前記非圧縮ビデオデータを圧縮することなく前記復号器によって提供された前記圧縮ビデオデータを使用して３Ｄグラフィカルビデオシーンをレンダリングすることと、
前記表示プロセッサによって、表示デバイスに表示するために前記３Ｄグラフィカルビデオシーンを表すデータを出力することとを備えるビデオを復号する方法。
【請求項１１】
前記符号化されたビデオデータが、２Ｄビデオシーンを表す、請求項１０に記載の方法。
【請求項１２】
前記非圧縮ビデオデータが、ＹＵＶ４：２：０フォーマットである、請求項１０に記載の方法。
【請求項１３】
前記非圧縮ビデオデータが、ＹＵＶ４：２：２フォーマットである、請求項１０に記載の方法。
【請求項１４】
前記圧縮ビデオデータが、ＲＧＢフォーマットである、請求項１０に記載の方法。
【請求項１５】
前記圧縮ビデオデータが、ＤＸＴ、ＡＴＩ、またはＥＴＣ１フォーマットのうちの１つである、請求項１０に記載の方法。
【請求項１６】
前記圧縮ビデオデータは、前記３Ｄビデオシーンのためのテクスチャ情報を表す、請求項１０に記載の方法。
【請求項１７】
符号化されたビデオデータを受信するための手段と、
前記符号化されたビデオデータを非圧縮ビデオデータおよび圧縮ビデオデータの両方に復号するための手段と、
前記非圧縮ビデオデータおよび前記圧縮ビデオデータの両方を使用するけれども、レンダリングするための手段が非圧縮フォーマットのビデオデータを圧縮する必要なく、３Ｄグラフィカルシーンをレンダリングするための手段とを備えるビデオ復号器。
【請求項１８】
プロセッサによって実行されるときに、
符号化されたビデオデータを受信することと、
前記符号化されたビデオデータを非圧縮ビデオデータおよび圧縮ビデオデータの両方に復号することと、
前記圧縮ビデオデータが復号動作によって提供されているのでレンダリング動作の一部として前記非圧縮ビデオデータを圧縮することなく、前記非圧縮ビデオデータおよび前記圧縮ビデオデータを使用して３Ｄグラフィカルシーンをレンダリングすることと、
表示デバイスに前記３Ｄグラフィカルシーンを表すデータを出力することとを備える方法を実行する命令を備えるコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
本開示のさまざまな実施形態が説明されてきた。これらの、および他の実施形態は、以下の特許請求の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
符号化されたビデオデータを受信し、前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮テクスチャフォーマットに復号するように構成された復号器と、
前記非圧縮フォーマットのデータを記憶するように構成されたメモリと、
前記圧縮テクスチャフォーマットのデータを受信するように構成され、前記圧縮テクスチャフォーマットのデータを利用して３Ｄシーンを構築し、前記３Ｄシーンを表すデータを出力するように構成された表示プロセッサとを備えるビデオ復号システム。
［Ｃ２］
前記非圧縮フォーマットが、ＹＵＶ４：２：０フォーマットである、Ｃ１に記載のビデオ復号システム。
［Ｃ３］
前記非圧縮フォーマットが、ＹＵＶ４：２：２フォーマットである、Ｃ１に記載のビデオ復号システム。
［Ｃ４］
前記圧縮フォーマットが、ＲＧＢフォーマットである、Ｃ１に記載のビデオ復号システム。
［Ｃ５］
前記圧縮フォーマットが、ＤＸＴ、ＡＴＩ、またはＥＴＣ１フォーマットのうちの１つである、Ｃ１に記載のビデオ復号システム。
［Ｃ６］
前記３Ｄシーンを表示するように構成された表示装置をさらに備えるＣ１に記載のビデオ復号システム。
［Ｃ７］
前記表示プロセッサが、表示のために、前記非圧縮フォーマットのデータをレンダリングするようにさらに構成された、Ｃ１に記載のビデオ復号システム。
［Ｃ８］
前記表示プロセッサが、前記非圧縮フォーマットのデータを受信し、前記非圧縮フォーマットのデータまたは前記３Ｄシーンを表すデータのいずれかに基づいて、表示デバイスに画像を選択的に出力するようにさらに構成された、Ｃ７に記載のビデオ復号システム。
［Ｃ９］
前記圧縮フォーマットのデータを記憶するためのメモリをさらに備えるＣ１に記載のビデオ復号システム。
［Ｃ１０］
符号化されたビデオデータを受信することと、
前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮フォーマットに復号することと、
前記非圧縮フォーマットのデータを記憶することと、
３Ｄシーンの一部としてレンダリングするために、前記圧縮フォーマットのデータを読み込むことと、
前記３Ｄシーンを表すデータを出力することとを備えるビデオを復号する方法。
［Ｃ１１］
前記符号化されたビデオデータが、２Ｄビデオシーンを表す、Ｃ１０に記載の方法。
［Ｃ１２］
前記非圧縮フォーマットが、ＹＵＶ４：２：０フォーマットである、Ｃ１０に記載の方法。
［Ｃ１３］
前記非圧縮フォーマットが、ＹＵＶ４：２：２フォーマットである、Ｃ１０に記載の方法。
［Ｃ１４］
前記圧縮フォーマットが、ＲＧＢフォーマットである、Ｃ１０に記載の方法。
［Ｃ１５］
前記圧縮フォーマットが、ＤＸＴ、ＡＴＩ、またはＥＴＣ１フォーマットのうちの１つである、Ｃ１０に記載の方法。
［Ｃ１６］
表示のために、前記非圧縮フォーマットのデータをレンダリングすることをさらに備える、Ｃ１０に記載の方法。
［Ｃ１７］
前記非圧縮フォーマットのデータまたは前記３Ｄシーンを表すデータのいずれかに基づいて、表示デバイスに画像を選択的に出力することをさらに備えるＣ１７に記載の方法。
［Ｃ１８］
前記圧縮フォーマットのデータを記憶することをさらに備えるＣ１０に記載の方法。
［Ｃ１９］
符号化されたビデオデータを受信するための手段と、
前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮フォーマットに復号するための手段と、
前記非圧縮フォーマットのデータを記憶するための手段と、
レンダリングするために、前記圧縮フォーマットのデータを読み込むための手段とを備えるビデオ復号器。
［Ｃ２０］
受信するための前記手段が復号器を備え、復号するための前記手段が前記復号器を備え、記憶するための前記手段がメモリを備え、読み込むための前記手段が表示プロセッサを備える、Ｃ１９に記載のビデオ復号器。
［Ｃ２１］
実行されるときに、
符号化されたビデオデータを受信することと、
前記符号化されたビデオデータを非圧縮フォーマットおよび圧縮フォーマットに復号することと、
前記非圧縮フォーマットのデータを記憶することと、
３Ｄシーンの一部としてレンダリングするために、前記圧縮フォーマットのデータを読み込むことと、
前記３Ｄシーンを表すデータを出力することとを備える方法を実行する命令を備えるコンピュータ可読媒体。
【外国語明細書】
2014168244000001.pdf