(57)【特許請求の範囲】
【請求項１】
深度エンハーンスト・マルチビュー・ビデオのテクスチャ・ブロックとコロケートしている深度ブロックが、符号化または復号化される前記テクスチャ・ブロックのインター予測に利用可能であるか否かを調査するステップを含む方法であって、
前記調査が、前記コロケートしている深度ブロック内のコロケートしている深度サンプルが前記テクスチャ・ブロックのインター予測に利用できないことを示す場合、
前記方法は、前記コロケートしている深度サンプルを、１つ以上の利用可能な深度サンプルに基づいて詰め込みまたは内挿するステップと、
前記コロケートしている深度ブロックを利用可能なものとして取り扱うステップと、
前記テクスチャ・ブロックのインター予測方法を決定するステップであって、該方法は、前記コロケートしている深度ブロックを使用する、ステップと、
前記テクスチャ・ブロックに対する予測ブロックを、前記コロケートしている深度ブロックを使用して、前記インター予測方法に基づいて導出するステップと、
を備えることを特徴とする、方法。
【請求項２】
前記テクスチャ・ブロックを、前記導出された予測ブロックに基づいて、１つ以上の符号化テクスチャ・ビューおよび１つ以上の符号化深度ビューを備えるために形成されるビットストリームに符号化するステップと、
前記テクスチャ・ブロックを、前記導出された予測ブロックに基づいて、１つ以上の符号化テクスチャ・ビューおよび１つ以上の符号化深度ビューを備えているビットストリームから復号化するステップと、
のうちの１つを更に含む請求項１に記載の方法。
【請求項３】
前記予測ブロックの前記導出のための前記インター予測方法を、
前記１つ以上の符号化テクスチャ・ビューおよび前記１つ以上の符号化深度ビューと、
前記１つ以上の符号化テクスチャ・ビューのビュー間予測依存性と、
前記１つ以上の符号化深度ビューのビュー間予測依存性と、
前記１つ以上の符号化テクスチャ・ビューおよび前記１つ以上の符号化深度ビューのビュー構成要素順序と、
前記テクスチャ・ブロックを含んでいるテクスチャ・ビュー構成要素と同じサンプリングまたは出力時間を有している深度ビュー構成要素の存在と、
の１つ以上に基づいて決定するステップを含む請求項２に記載の方法。
【請求項４】
少なくとも１つのプロセッサと、
コンピュータ・プログラム・コードを含む少なくとも１つのメモリと、を備える装置であって、
前記少なくとも１つのメモリと前記コンピュータ・プログラム・コードは、前記少なくとも１つのプロセッサにより、前記装置に、
深度エンハーンスト・マルチビュー・ビデオのテクスチャ・ブロックとコロケートしている深度ブロックが、符号化または復号化される前記テクスチャ・ブロックのインター予測に利用可能であるか否かを調査するステップを実行させ、
さらに、
前記調査が、前記コロケートしている深度ブロック内のコロケートしている深度サンプルが前記テクスチャ・ブロックのインター予測に利用できないことを示す場合、
前記装置に、
前記コロケートしている深度サンプルを、１つ以上の利用可能な深度サンプルに基づいて詰め込みまたは内挿するステップと、
前記コロケートしている深度ブロックを利用可能なものとして取り扱うステップと、
前記テクスチャ・ブロックのインター予測方法を決定するステップであって、該装置は、前記コロケートしている深度ブロックを使用する、ステップと、
前記テクスチャ・ブロックに対する予測ブロックを、前記コロケートしている深度ブロックを使用して、前記インター予測方法に基づいて導出するステップと、
を実行させることを特徴とする、
装置。
【請求項５】
コードを格納している前記少なくとも１つのメモリは、
前記コードが前記少なくとも１つのプロセッサにより実行されると、
前記テクスチャ・ブロックを、前記導出された予測ブロックに基づいて、１つ以上の符号化テクスチャ・ビューおよび１つ以上の符号化深度ビューを備えるために形成されるビットストリームに符号化することと、
前記テクスチャ・ブロックを、前記導出された予測ブロックに基づいて、１つ以上の符号化テクスチャ・ビューおよび１つ以上の符号化深度ビューを備えているビットストリームから復号化することと、
の少なくとも１つを実行させる、請求項４に記載の装置。
【請求項６】
コードを格納している前記少なくとも１つのメモリは、前記コードが前記少なくとも１つのプロセッサにより実行されると、前記装置に更に、前記予測ブロックの前記導出のための前記インター予測方法を、
前記１つ以上の符号化テクスチャ・ビューおよび前記１つ以上の符号化深度ビューと、
前記１つ以上の符号化テクスチャ・ビューのビュー間予測依存性と、
前記１つ以上の符号化深度ビューのビュー間予測依存性と、
前記１つ以上の符号化テクスチャ・ビューおよび前記１つ以上の符号化深度ビューのビュー構成要素順序と、
の１つ以上に基づいて決定させる、請求項５に記載の装置。
【請求項７】
深度エンハーンスト・マルチビュー・ビデオのテクスチャ・ブロックとコロケートしている深度ブロックが、符号化または復号化される前記テクスチャ・ブロックのインター予測に利用可能であるか否かを調査する手段を備える含む装置であって、
前記調査が、前記コロケートしている深度ブロック内のコロケートしている深度サンプルが前記テクスチャ・ブロックのインター予測に利用できないことを示す場合、
前記装置は、
前記コロケートしている深度サンプルを、１つ以上の利用可能な深度サンプルに基づいて詰め込みまたは内挿する手段と、
前記コロケートしている深度ブロックを利用可能なものとして取り扱う手段と、
前記テクスチャ・ブロックのインター予測方法を決定する手段であって、該装置は、前記コロケートしている深度ブロックを使用する、手段と、
前記テクスチャ・ブロックに対する予測ブロックを、前記コロケートしている深度ブロックを使用して、前記インター予測方法に基づいて導出する手段と、
を備えることを特徴とする、装置。
【請求項８】
１つ以上の命令の１つ以上のシーケンスを含んでいるコンピュータ・プログラムであって、１つ以上のプロセッサで実行されると、装置に、
深度エンハーンスト・マルチビュー・ビデオのテクスチャ・ブロックとコロケートしている深度ブロックが、符号化または復号化される前記テクスチャ・ブロックのインター予測に利用可能であるか否かを調査するステップを実行させ、
さらに、
前記調査が、前記コロケートしている深度ブロック内のコロケートしている深度サンプルが前記テクスチャ・ブロックのインター予測に利用できないことを示す場合、
前記装置に、
前記コロケートしている深度サンプルを、１つ以上の利用可能な深度サンプルに基づいて詰め込みまたは内挿するステップと、
前記コロケートしている深度ブロックを利用可能なものとして取り扱うステップと、
前記テクスチャ・ブロックのインター予測方法を決定するステップであって、該コンピュータ・プログラムは、前記コロケートしている深度ブロックを使用する、ステップと、
前記テクスチャ・ブロックに対する予測ブロックを、前記コロケートしている深度ブロックを使用して、前記インター予測方法に基づいて導出するステップと、
を実行させることを特徴とする、コンピュータ・プログラム。
【請求項９】
１つ以上の指令の１つ以上のシーケンスを更に備え、１つ以上のプロセッサで実行されると、前記装置に、前記テクスチャ・ブロックを、前記導出された予測ブロックに基づいて、１つ以上の符号化テクスチャ・ビューおよび１つ以上の符号化深度ビューを備えるために形成されるビットストリームに符号化することと、
前記テクスチャ・ブロックを、前記導出された予測ブロックに基づいて、１つ以上の符号化テクスチャ・ビューおよび１つ以上の符号化深度ビューを備えているビットストリームから復号化することと、のうちの少なくとも１つ行わせる、請求項８に記載のコンピュータ・プログラム。
【請求項１０】
１つ以上の指令の１つ以上のシーケンスを更に備え、１つ以上のプロセッサで実行されると、前記装置に、前記予測ブロックの前記導出のためのインター予測方法を、
前記１つ以上の符号化テクスチャ・ビューおよび前記１つ以上の符号化深度ビューと、
前記１つ以上の符号化テクスチャ・ビューのビュー間予測依存性と、
前記１つ以上の符号化深度ビューのビュー間予測依存性と、
前記１つ以上の符号化テクスチャ・ビューおよび前記１つ以上の符号化深度ビューのビュー構成要素順序と、
の１つ以上に基づいて決定させる、請求項９に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は概して、ビデオコーディングと復号化のための装置、方法、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
本節は、請求項において引用される発明の背景または状況を提供するように意図されている。ここにおける記述は、更に検討できるコンセプトを含むことができるが、必ずしも以前に考慮または検討されたものとは限らない。従って、ここにおいて別途示されない限り、本節で記述されることは、本願における記述と請求項に対する先行技術ではなく、また本節に含むことにより先行技術と認められることはない。
【０００３】
ビデオコーディングシステムは、入力ビデオを、格納／送信に適切な圧縮表現に変換するエンコーダと、圧縮されたビデオ表現を、見ることが可能な形状に解凍可能なデコーダを備えることができる。エンコーダは、ビデオをよりコンパクトな形状で表現するため、例えば、必要とされるビットレートよりも低いビットレートでビデオ情報を格納／送信することを可能にするために、元々のビデオシーケンスにおけるある情報を廃棄することもある。
【０００４】
スケーラブルビデオコーディングは、１つのビットストリームが、異なるビットレート、解像度、フレームレート、および／または他のタイプのスケーラビリティでのコンテンツの複数の表現を含むことが可能なコーディング構造のことを指す。スケーラブルビットストリームは、利用可能な最も低画質のビデオを提供するベース層と、下位の層と共に受信および復号化されたときに、ビデオ画質を向上する１つ以上のエンハンスメント層から構成できる。エンハンスメント層に対するコーディング効率を改善するために、その層のコード化表現は、下位の層に依存することができる。各層は、その依存するすべての層と共に、ある空間解像度、時間解像度、品質レベル、および／または他のタイプのスケーラビリティの動作点におけるビデオ信号の１つの表現である。
【０００５】
三次元（３Ｄ）ビデオコンテンツを提供するための種々の技術が現在研究および開発されている。特に、視聴者が、特定の視点からステレオビデオの１対のみと、異なる視点から別のステレオビデオの１対のみしか見ることができない種々のマルチビューアプリケーションに集中的研究の焦点が置かれている。そのようなマルチビューアプリケーションに対する最も実現可能性が高いアプローチの１つは、限られた数の入力ビュー、例えば、モノまたはステレオビデオと、ある補足的データのみがデコーダ側に提供され、すべての必要なビューは、デコーダにより局所的に描画（つまり同期）されてディスプレイ上に表示されるというアプローチであることが判明した。
【０００６】
３Ｄビデオコンテンツの符号化においては、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｓｔａｎｄａｒｄ  Ｈ．２６４／ＡＶＣ、またはＭｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ＭＶＣ  ｅｘｔｅｎｔｉｓｏｎ  ｏｆ  Ｈ．２６４／ＡＶＣのようなビデオ圧縮システムを使用可能である。
【発明の概要】
【０００７】
幾つかの実施の形態は、ビデオ情報を符号化および復号化するための方法を提供する。方法の幾つかの実施の形態においては、テクスチャブロックに対する予測方法が、共に位置している深度ブロックの利用可能性に基づいて決定でき、共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する第１予測ブロックを、共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて導出できる。共に位置している深度ブロックが利用可能でない場合は、テクスチャブロックに対する第２予測ブロックを、共に位置している深度ブロックを使用しないで導出できる。
【０００８】
発明の例の種々の形態が、詳細な記述において提供される。
【０００９】
本発明の第１形態によれば、方法であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することと、を備える方法が提供される。
【００１０】
本発明の第２形態によれば、方法であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することと、を備える方法が提供される。
【００１１】
本発明の第３形態によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査させ、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定させ、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出させ、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出させるように構成されている装置が提供される。
【００１２】
本発明の第４形態によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査させ、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定させ、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出させ、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出させるように構成されている装置が提供される。
【００１３】
本発明の第５形態によれば、装置であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査する手段と、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定する手段と、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出する手段と、を備える装置が提供される。
【００１４】
本発明の第６形態によれば、装置であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査する手段と、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定する手段と、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出する手段と、を備える装置が提供される。
【００１５】
本発明の第７形態によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することを少なくとも行わせるコンピュータプログラム製品が提供される。
【００１６】
本発明の第８形態によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することを少なくとも行わせるコンピュータプログラム製品が提供される。
【００１７】
本発明の第９形態によれば、方法であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することと、を備える方法であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの如何なる符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは、同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプと第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している方法が提供される。
【００１８】
本発明の第１０形態によれば、方法であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することであって、決定することは、
入力深度ビューが、１つ以上の符号化テクスチャビューの何れかの予測のために必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要のない深度ビューは符号化されないと決定することと、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られているかの情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することの１つ以上を備えている決定することと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することと、を備える方法が提供される。
【００１９】
本発明の第１１形態によれば、方法であって、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化して、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定することと、
符号化テクスチャビューおよび符号化深度ビューをビットストリームから復号化することと、を備える方法であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプと第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドと第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している方法が提供される。
【００２０】
本発明の第１２形態によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出させ、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化させ、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化させる装置であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプと第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【００２１】
本発明の第１３形態によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出させ、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定させることであって、決定させることは、
１つ以上の符号化テクスチャビューの何れかの予測に入力深度ビューが必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューに何れかの予測に必要のない深度ビューは符号化されないと決定することと、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られているかの情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することの１つ以上を備えており、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化させる装置が提供される。
【００２２】
本発明の第１４形態によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化させて、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定させ、
ビットストリームから符号化テクスチャビューおよび符号化深度ビューを復号化させる装置であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【００２３】
本発明の第１５形態によれば、装置であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出する手段と、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化する手段と、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化する手段と、を備える装置であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【００２４】
本発明の第１６形態によれば、装置であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出する手段と、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定する手段であって、決定する手段は、
１つ以上の符号化テクスチャビューの何れかの予測に入力深度ビューが必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要のない深度ビューは符号化されないと判定する手段と、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られている情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定する手段の１つ以上を備えている手段と、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化する手段と、を備える装置が提供される。
【００２５】
本発明の第１７形態によれば、装置であって、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化して、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定する手段と、
ビットストリームから符号化テクスチャビューおよび符号化深度ビューを復号化する手段と、を備える装置であって、
符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【００２６】
本発明の第１８形態によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することを少なくとも行わせるコンピュータプログラム製品であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの如何なる符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは、同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは、符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の少なくとも１つ以上を有している特性の１つ以上を有しているコンピュータプログラム製品が提供される。
【００２７】
本発明の第１９形態によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるのかを決定することであって、決定することは、
入力深度ビューが、１つ以上の符号化テクスチャビューの何れかの予測のために必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要のない深度ビューは符号化されないと決定し、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られているかの情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することの１つ以上を備える決定することと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することを少なくとも行わせるコンピュータプログラム製品が提供される。
【００２８】
本発明の第２０形態によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化して、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定することと、
符号化テクスチャビューおよび符号化深度ビューをビットストリームから復号化することを少なくとも行わせるコンピュータプログラム製品であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有しているコンピュータプログラム製品が提供される。
【００２９】
本発明の第２１形態によれば、方法であって、
第１視点のテクスチャビューを含んでいないビットストリームから、第１視点の第１深度ビューを受信することと、
第１深度ビューを復号化することと、
復号化された第１深度ビューに基づいて、第１視点への逆方向ビュー合成を使用することと、を備える方法が提供される。
【図面の簡単な説明】
【００３０】
本発明の例としての実施の形態のより完全な理解のために、付随する図と連携して、ここに下記の記述を参照する。
【００３１】
【図１】発明の幾つかの実施の形態を採用している電子装置を模式的に示している。
【図２】発明の幾つかの実施の形態を採用するために適切なユーザー機器を模式的に示している。
【図３】無線および有線ネットワーク接続を使用して接続されている、発明の実施の形態を採用している電子装置を模式的に更に示している。
【図４ａ】エンコーダ内に組み込まれたときの発明の１つの実施の形態を模式的に示している。
【図４ｂ】本発明幾つかの実施の形態に係る、インタ予測器の１つの実施の形態を模式的に示している。
【図５】ＤＩＢＲベース３ＤＶシステムの簡略化モデルを示している。
【図６】立体カメラ装置の簡略化２Ｄモデルを示している。
【図７】アクセスユニットの定義およびコーディング順の例を示している。
【図８】テクスチャビューおよび深度ビューを符号化可能なエンコーダの１つの実施の形態のハイレベルフローチャートを示している。
【図９】テクスチャビューおよび深度ビューを復号化可能なデコーダの１つの実施の形態のハイレベルフローチャートを示している。
【図１０】エンコーダ内の深度マップコーディングのための例としての処理フローを示している。
【図１１】エンコーダのインループ実現形態による２つの深度マップビューのコーディングの例を示している。
【図１２】ジョイントマルチビュービデオおよびアンカピクチャの深度コーディングの例を示している。
【図１３】ジョイントマルチビュービデオおよび非アンカピクチャの深度コーディングの例を示している。
【図１４】方向分離動きベクトル予測のための例としての方法のフローチャートを示している。
【図１５ａ】イントラ予測の候補として機能する現在コード化ブロックの空間的近接を示している。
【図１５ｂ】インタ予測の候補として機能する現在コード化ブロックの時間的近接を示している。
【図１６ａ】Ｐスライスにおけるスキップモードに対する深度ベース動き競合の例としての方法のフローチャートを示している。
【図１６ｂ】Ｂスライスにおけるダイレクトモードに対する深度ベース動き競合の例としての方法のフローチャートを示している。
【図１７】逆方向ビュー合成方式の例を示している。
【発明を実施するための形態】
【００３２】
下記において、発明の幾つかの実施の形態を、１つのビデオコーディング装置と関連して記述される。しかし、発明はこの特定の装置に制限されないということに留意されたい。実際、異なる実施の形態が、参照ピクチャの取り扱いに改良が要求される如何なる環境においても広く適用されている。例えば、発明は、ストリーミングシステム、ＤＶＤプレーヤ、デジタルテレビ受信器、パーソナルビデオレコーダ、パーソナルコンピュータ上のシステムおよびコンピュータプログラム、ハンドヘルドコンピュータ、および通信装置のようなビデオコーディングシステム、そして同時に、トランスコーダおよびビデオデータが取り扱われるクラウドコンピューティング装置のようなネットワーク要素に適用できる。
【００３３】
Ｈ．２６４／ＡＶＣ標準は、国際電気通信連合の電気通信標準化部門（ＩＴＵ−Ｔ）のビデオコーディング専門家グループ（ＶＣＥＧ）のジョイントビデオチーム（ＪＶＴ）と、国際電気技術委員会（ＩＥＣ）の国際標準化機構（ＩＳＯ）の動画像専門家グループ（ＭＰＥＧ）により開発された。Ｈ．２６４／ＡＶＣ標準は、母体となる標準化機構の両者により公表され、ＩＴＵ  −Ｔ勧告  Ｈ．２６４およびＭＰＥＧ−４  Ｐａｒｔ  １０高度動画像圧縮コーディング標準（ＡＶＣ）としても知られているＩＳＯ／ＩＥＣ国際標準１４４９６−１０と称されている。Ｈ．２６４／ＡＶＣ標準には複数のバージョンがあり、それぞれは、新しい拡張または特徴を仕様に統合している。これらの拡張には、スケーラブルビデオコーディング（ＳＶＣ）およびマルチビューコーディング（ＭＶＣ）が含まれる。
【００３４】
Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  ＴｅａｍによるＨｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）の現在進行中の標準化プロジェクト、つまり、ＶＣＥＧおよびＭＰＥＧのＶｉｄｅｏ  Ｃｏｄｉｎｇ（ＪＣＴ−ＶＣ）がある。
【００３５】
Ｈ．２６４／ＡＶＣとＨＥＶＣの幾つかの重要な定義、ビットストリームとコーディング構造、およびコンセプトが、ビデオエンコーダ、デコーダ、符号化方法、復号化方法、およびビットストリーム構造の例としてこの節では記述され、実施の形態を実現できる。Ｈ．２６４／ＡＶＣの幾つかの重要な定義、ビットストリームとコーディング構造、およびコンセプトは、ＨＥＶＣ標準草案と同じであるため、この両者は以下にまとめて記述される。発明の形態はＨ．２６４／ＡＶＣまたはＨＥＶＣに制限されず、記述は１つの可能な基盤に対して行われ、その基盤に基づいて、発明を部分的または全体を実現できる。
【００３６】
多くの以前のビデオコーディング標準に類似して、エラーフリービットストリームに対する復号化プロセスと共に、ビットストリームシンタックスとセマンティックスがＨ．２６４／ＡＶＣおよびＨＥＶＣにおいて指定されている。符号化プロセスは指定されていないが、エンコーダは、規格に準拠しているビットストリームを生成しなければならない。ビットストリームとデコーダが規格に準拠しているかは、仮想参照デコーダ（ＨＲＤ）により検証可能である。この標準は、送信エラーと紛失に対処することを支援するコーディングツールを含んでいるが、符号化におけるツールの使用はオプションであり、復号化プロセスはエラーのあるビットストリームに対しては指定されていない。
【００３７】
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダへの入力と、Ｈ．２６４／ＡＶＣまたはＨＥＶＣデコーダの出力それぞれのための要素ユニットはピクチャである。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ピクチャはフレームまたはフィールドである。フレームはルマサンプルのマトリックスと、対応するクロマサンプルを備えている。フィールドは、フレームの交互のサンプル行のセットであり、ソース信号がインタレースされているときに、エンコーダ入力として使用できる。クロマピクチャは、ルマピクチャと比較されるときに、サブサンプリングできる。例えば、４：２：０サンプリングパターンにおいては、クロマピクチャの空間解像度は、両方の座標軸に沿ってルマピクチャの半分である。
【００３８】
Ｈ．２６４／ＡＶＣにおいて、マクロブロックはルマサンプルの１６×１６ブロックと、クロマサンプルの対応ブロックである。例えば、４：２：０サンプリングパターンにおいては、マクロブロックは、各クロマ構成要素当たり、クロマサンプルの１つの８×８ブロックを含んでいる。Ｈ．２６４／ＡＶＣにおいては、ピクチャは１つ以上のスライスグループにパーティション分割（種類ごとに分割すること）され、スライスグループは１つ以上のスライスを含んでいる。Ｈ．２６４／ＡＶＣにおいては、スライスは、特定のスライスグループ内のラスタスキャンにおいて連続して順序付けられている整数個のマクロブロックから構成されている。
【００３９】
ＨＥＶＣ標準化の過程の間に、例えば、ピクチャパーティション分割ユニットについての用語が発展した。次の段落では、ＨＥＶＣ用語の非制限的な幾つかの例が提供される。
【００４０】
ＨＥＶＣ標準の１つの草案版においては、ビデオピクチャは、ピクチャの領域をカバーするコーディングユニット（ＣＵ）に分割される。ＣＵは、ＣＵ内のサンプルに対する予測プロセスを定義する１つ以上の予測ユニット（ＰＵ）と、ＣＵにおけるサンプルに対する予測エラーコーディングプロセスを定義する１つ以上の変換ユニット（ＴＵ）から構成されている。代表的には、ＣＵは、可能なＣＵサイズの予め定義されたセットから選択可能なサイズのサンプルの正方形ブロックから構成されている。最大可能サイズのＣＵは、代表的にはＬＣＵ（最大コーディングユニット）と称され、ビデオピクチャは、重なりのないＬＣＵに分割される。ＬＣＵは、例えば、ＬＣＵと、結果としてのＣＵを再帰的に分割することにより、より小さなＣＵの組み合わせに更に分割可能である。各結果としてのＣＵは、代表的には、少なくとも１つのＰＵと、ＰＵと関連付けられている少なくとも１つのＴＵを有している。各ＰＵとＴＵは、予測と予測エラーコーディングプロセスそれぞれの粒度を高めるために、より小さなＰＵとＴＵに更に分割可能である。ＰＵの分割は、ＣＵを４つの等しいサイズの正方形ＰＵに分割するか、またはＣＵを、２つの長方形のＰＵに対称または非対称に、垂直または水平方向に分割することにより実現可能である。画像のＣＵへの分割、およびＣＵのＰＵとＴＵへの分割は、代表的には、ビットストリームにおいて信号が送られ、それによりデコーダがこれらのユニットの意図されている構造を再生することが可能になる。
【００４１】
ＨＥＶＣ標準草案においては、ピクチャはタイルにパーティション分割可能であり、タイルは長方形であり、整数個のＬＣＵを含んでいる。ＨＥＶＣ標準草案においては、タイルへのパーティション分割は、規則的グリッドを形成し、このグリッドにおいては、タイルの高さと幅は最大で１ＬＣＵ分だけ互いに異なる。ＨＥＶＣ草案においては、スライスは、整数個のＣＵから構成されている。ＣＵは、タイル内で、またはタイルが使用されていなときはピクチャ内で、ＬＣＵのラスタスキャン順でスキャンされる。ＬＣＵ内においては、ＣＵは特定のスキャン順を有している。
【００４２】
ＨＥＶＣのワーキングドラフト（ＷＤ）５においては、ピクチャパーティション分割に対する幾つかの重要な定義とコンセプトが下記のように定義されている。パーティション分割は、セットのサブセットへの分割と定義され、それにより、セットの各要素は、サブセットの正確に１つにある。
【００４３】
ＨＥＶＣ  ＷＤ５における基本コーディングユニットはツリーブロックである。ツリーブロックは、３つのサンプルアレイを有しているピクチャのルマサンプルのＮ×Ｎブロックと、クロマサンプルの２つの対応するブロック、またはモノクロピクチャまたは３枚の別個の色版を使用してコード化されたピクチャのサンプルのＮ×Ｎブロックである。ツリーブロックは、異なるコーディングおよび復号化プロセスに対してパーティション分割できる。ツリーブロックのパーティション分割部は、３つのサンプルアレイを有しているピクチャに対するツリーブロックのパーティション分割に起因するルマサンプルのブロックと、クロマサンプルの２つの対応するブロックの、または、モノクロピクチャまたは３枚の別個の色版を使用してコード化されたピクチャに対するツリーブロックのパーティション分割に起因するルマサンプルのブロックである。各ツリーブロックには、イントラまたはインタ予測および変換コーディングに対するブロックサイズを識別するためのパーティション分割信号が送られる。パーティション分割は、再帰的四分木パーティション分割である。四分木のルートはツリーブロックと関連付けられている。四分木は、コーディングノードと称されるリーフに到達するまで分割される。コーディングノードは２つのツリー、つまり、予測ツリーと変換ツリーのルートノードである。予測ツリーは、予測ブロックの場所とサイズを指定する。予測ツリーと、関連付けられている予測データは、予測ユニットと称される。変換ツリーは、変換ブロックの場所とサイズを指定する。変換ツリーと、関連付けられている変換データは、変換ユニットと称される。ルマおよびクロマに対する分割情報は、予測ツリーに対しては同一であり、変換ツリーに対しては同一であってもなくてもよい。コーディングノードと、関連付けられている予測および変換ユニットは共に、コーディングユニットを形成する。
【００４４】
ＨＥＶＣ  ＷＤ５においては、ピクチャはスライスとタイルに分割される。スライスはツリーブロックのシーケンスであってよいが、（いわゆる精細粒度のスライスを参照するときは）変換ユニットと予測ユニットが一致する位置において、ツリーブロック内に自身の境界を有することもできる。スライス内のツリーブロックは、ラスタスキャン順でコード化および復号化される。１次コード化ピクチャに対しては、各ピクチャのスライスへの分割はパーティション分割である。
【００４５】
ＨＥＶＣ  ＷＤ５においては、タイルは、１つの列および１つの行において共起し、タイル内で、ラスタスキャンにおいて連続して順序付けられている整数個のツリーブロックと定義される。１次コード化ピクチャに対しては、各ピクチャのタイルへの分割はパーティション分割である。タイルは、ピクチャ内では、ラスタスキャンにおいて連続して順序付けられている。スライスは、タイル内では、ラスタスキャンにおいて連続しているツリーブロックを含むが、これらのツリーブロックは、ピクチャ内では、ラスタスキャンにおいて連続である必要はない。スライスとタイルは、ツリーブロックの同じシーケンスを含む必要はない。タイルは、２つ以上のスライスに含まれているツリーブロックを備えることができる。同様に、スライスは、幾つかのタイルに含まれているツリーブロックを備えることができる。
【００４６】
コーディングユニットとコーディングツリーブロックの間の差異は、例えば、下記のように定義できる。スライスは、タイル内の、またはタイルが使用されないときはピクチャ内のラスタスキャン順における１つ以上のコーディングツリーユニット（ＣＴＵ）のシーケンスと定義できる。各ＣＴＵは、１つのルマコーディングツリーブロック（ＣＴＢ）と、可能性としては（使用されているクロマフォーマットによっては）２つのクロマＣＴＢを備えることができる。
【００４７】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ピクチャ内予測は、スライス境界を跨いでは機能しないようにできる。このため、スライスは、コード化ピクチャを独立して復号化可能な部分に分割する方法と見なすことが可能であり、従って、スライスは、変換のための要素ユニットを見なされることがよくある。多くの場合、エンコーダは、スライス境界を跨いでどのタイプのピクチャ内予測が機能停止にされたかをビットストリームにおいて示すことができ、デコーダの動作は、例えば、どの予測ソースが利用可能であるかを結論するときに、この情報を考慮する。例えば、隣接するマクロブロックまたはＣＵからのサンプルは、隣接するマイクロブロックまたはＣＵが異なるスライスに存在している場合は、イントラ予測に対しては利用できないと見なすことができる。
【００４８】
シンタックス要素は、ビットストリームにおいて表現されるデータの要素と定義できる。シンタックス要素は、指定された順序でビットストリームに共に存在しているゼロ個以上のシンタックス要素と定義できる。
【００４９】
Ｈ．２６４／ＡＶＣまたはＨＥＶＣエンコーダの出力、およびＨ．２６４／ＡＶＣまたはＨＥＶＣデコーダの入力それぞれに対する要素ユニットは、ネットワーク抽象化層（ＮＡＬ）ユニットである。パケット指向のネットワーク上の移送、または構造化ファイルへの格納に対しては、ＮＡＬユニットは、パケットまたは類似の構造にカプセル化できる。バイトストリームフォーマットは、フレーミング構造を提供しない送信または格納環境に対して、Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいて指定されている。バイトストリームフォーマットは、各ＮＡＬユニットの前部に開始コードを貼り付けることにより、ＮＡＬユニットを互いに分離する。ＮＡＬユニット境界の偽検出を回避するために、エンコーダは、バイト指向開始コードエミュレーション防止アルゴリズムを起動し、このアルゴリズムは、開始コードが別に出現していた場合は、ＮＡＬユニットペイロードにエミュレーション防止バイトを追加する。例えば、パケットおよびストリーム指向システム間の単純なゲートウェイ動作を可能にするために、開始コードエミュレーション防止を、バイトストリームフォーマットが使用されていてもいなくても、それには拘わらず、常に行うことができる。ＮＡＬユニットは、後に続くデータのタイプを示す表示と、エミュレーション防止バイトと共に、必要なものとして散在されているローバイトシーケンスペイロード（ＲＢＳＰ）の形状のそのデータを含んでいるバイトを含んでいるシンタックス構造と定義できる。ＲＢＳＰは、ＮＡＬユニットにおいてカプセル化された整数個のバイトを含んでいるシンタックス構造と定義できる。ＲＢＳＰは空、または、ＲＢＳＰ停止ビットが続き、ゼロ個以上の０に等しい後続ビットが続くシンタックス要素を含むデータビット列の形状を有している。
【００５０】
ＮＡＬユニットは、ヘッダおよびペイロードから構成されている。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、ＮＡＬユニットヘッダは、ＮＡＬユニットのタイプと、ＮＡＬユニットに含まれているコード化スライスが、参照ピクチャまたは非参照ピクチャの一部であるかどうかを示している。
【００５１】
Ｈ．２６４／ＡＶＣ  ＮＡＬユニットヘッダは、２ビットのｎａｌ＿ｒｅｆ＿ｉｄｃシンタックス要素を含み、これは、０に等しいときは、ＮＡＬユニットに含まれているコード化スライスは、非参照ピクチャの一部であることを示し、０より大きいときは、ＮＡＬユニットに含まれているコード化スライスは、参照ピクチャの一部であることを示す。ＨＥＶＣ標準草案は、ｎａｌ＿ｒｅｆ＿ｆｌａｇとしても知られている１ビットのｎａｌ＿ｒｅｆ＿ｉｄｃシンタックス要素を含み、これは、０に等しいときは、ＮＡＬユニットに含まれているコード化スライスは、非参照ピクチャの一部であることを示し、１に等しいときは、ＮＡＬユニットに含まれているコード化スライスは、参照ピクチャの一部であることを示す。ＳＶＣおよびＭＶＣ  ＮＡＬユニットに対するヘッダは、スケーラビリティおよびマルチビュー階層に関連する種々の表示を追加的に含むことができる。
【００５２】
ＨＥＶＣ標準草案においては、２バイトのＮＡＬユニットヘッダが、すべての指定されたＮＡＬユニットタイプに対して使用される。ＮＡＬユニットヘッダの最初のバイトは、１つの予約ビットと、このアクセスユニットにおいて保持されているピクチャが、参照ピクチャまたは非参照ピクチャであるかを主に示す１ビット表示のｎａｌ＿ｒｅｆ＿ｆｌａｇと、６ビットのＮＡＬユニットタイプ表示を含んでいる。ＮＡＬユニットヘッダの第２バイトは、時間レベルに対する３ビットのｔｅｍｐｏｒａｌ＿ｉｄ表示と、ＨＥＶＣ標準草案においては１に等しい値を有することが要求される、５ビットの予約フィールド（ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓと呼ばれる）を含んでいる。ｔｅｍｐｏｒａｌ＿ｉｄシンタックス要素は、ＮＡＬユニットに対する時間識別子と見なすことができ、ＴｅｍｐｏｒａｌＩｄ変数は、ｔｅｍｐｏｒａｌ＿ｉｄの値に等しいと定義できる。５ビットの予約フィールドは、将来のスケーラブルおよび３Ｄビデオ拡張のような拡張により使用されると予想されている。一般性を失うことなく、幾つかの例としての実施の形態においては、変数ＬａｙｅｒＩｄは、ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓの値から、例えば、ＬａｙｅｒＩｄ＝ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ−１のようにして導出される。
【００５３】
より最近のＨＥＶＣ標準草案においては、２バイトのＮＡＬユニットヘッダが、すべての指定ＮＡＬユニットタイプに対して使用される。ＮＡＬユニットヘッダは、１予約ビットと、６ビットのＮＡＬユニットタイプ表示、６ビットの予約フィールド（ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓと呼ばれる）、および時間レベルに対する３ビットのｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１表示を含んでいる。ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１シンタックス要素は、ＮＡＬユニットに対する時間識別子と見なすことができ、ゼロベースＴｅｍｐｏｒａｌＩｄ変数は、ＴｅｍｐｏｒａｌＩｄ＝ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１−１のように導出できる。０に等しいＴｅｍｐｏｒａｌＩｄは、最も低い時間レベルに対応している。ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１の値は、２ＮＡＬユニットヘッダバイトを含む開始コードエミュレーションを回避するために、非ゼロであることが要求される。一般性を失うことなく、幾つかの例としての実施の形態においては、変数ＬａｙｅｒＩｄは、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓの値から、例えば、ＬａｙｅｒＩｄ＝ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓのように導出される。
【００５４】
ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ、および／または、ＮＡＬユニットヘッダにおける類似のシンタックス要素は、スケーラビリティ階層についての情報を保持していると予想される。例えば、ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ、および／または類似のシンタックス要素から導出されたＬａｙｅｒＩｄ値は、ｑｕａｌｉｔｙ＿ｉｄまたはそれに類似のもの、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄまたはそれに類似のもの、任意の他の層識別子、ビュー順序インデックスまたはそれに類似のもの、ビュー識別子、ＮＡＬユニットが深度またはテクスチャに関与しているかどうかの表示、つまりｄｅｐｔｈ＿ｆｌａｇまたはそれに類似のもの、または、特定の識別子の値よりも大きなＮＡＬユニットのすべてがビットストリームから除去された場合に、有効なサブビットストリームの抽出を示しているＳＶＣのｐｒｉｏｒｉｔｙ＿ｉｄに類似した識別子のような、異なるスケーラビリティ次元を記述している変数またはシンタックス要素の値にマップできる。ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ、および／または類似のシンタックス要素は、スケーラビリティ特性を示している１つ以上のシンタックス要素にパーティション分割できる。例えば、ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ、および／または類似のシンタックス要素のうちのある数のビットは、ｄｅｐｅｎｄｅｎｃｙ＿ｉｄまたはそれに類似のものに対して使用でき、一方、ｒｅｓｅｒｖｅｄ＿ｏｎｅ＿５ｂｉｔｓ、ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿６ｂｉｔｓ、および／または類似のシンタックス要素のうちの別のある数のビットは、ｑｕａｌｉｔｙ＿ｉｄまたはそれに類似のものに対して使用できる。代替として、ＬａｙｅｒＩｄ値またはそれに類似のものの、異なるスケーラビリティ次元を記述している変数またはシンタックス要素の値へのマッピングは、例えば、ビデオパラメータセット、シーケンスパラメータセット、または他のシンタックス構造において提供できる。
【００５５】
ＮＡＬユニットは、ビデオコーディング層（ＶＣＬ）ＮＡＬユニットと、非ＶＣＬ  ＮＡＬユニットに分類可能である。ＶＣＬ  ＮＡＬユニットは、代表的にはコード化スライスＮＡＬユニットである。Ｈ．２６４／ＡＶＣにおいては、コード化スライスＮＡＬユニットは、それぞれが非圧縮ピクチャにおけるサンプルのブロックに対応している１つ以上のコード化マクロブロックを表現しているシンタックス要素を含んでいる。ＨＥＶＣ標準草案においては、コード化スライスＮＡＬユニットは、１つ以上のＣＵを表現しているシンタックス要素を含んでいる。
【００５６】
Ｈ．２６４／ＡＶＣにおいては、コード化スライスＮＡＬユニットは、瞬間復号化リフレッシュ（ＩＤＲ）ピクチャにおけるコード化スライス、または非ＩＤＲピクチャにおけるコード化スライスとして示すことが可能である。
【００５７】
ＨＥＶＣ標準草案においては、コード化スライスＮＡＬユニットは、下記のタイプの１つとして示すことが可能である。
【表１】
0006787667.tif 000002
【００５８】
ＨＥＶＣ標準草案においては、ピクチャタイプに対する略語を下記のように定義できる。Ｂｒｏｋｅｎ  Ｌｉｎｋ  Ａｃｃｅｓｓ（ＢＬＡ）、Ｃｌｅａｎ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ（ＣＲＡ）、Ｄｅｃｏｄａｂｌｅ  Ｌｅａｄｉｎｇ  Ｐｉｃｔｕｒｅ（ＤＬＰ）、Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ（ＩＤＲ）、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ（ＲＡＰ）、Ｓｔｅｐｗｉｓｅ  Ｔｅｍｐｏｒａｌ  Ｓｕｂ−ｌａｙｅｒ  Ａｃｃｅｓｓ（ＳＴＳＡ）、Ｔａｇｇｅｄ  Ｆｏｒ  Ｄｉｓｃａｒｄ（ＴＦＤ）、およびＴｅｍｐｏｒａｌ  Ｓｕｂ−ｌａｙｅｒ  Ａｃｃｅｓｓ（ＴＳＡ）。ＢＬＡ＿Ｗ＿ＴＦＤに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＢＬＡピクチャは、ビットストリームに存在する関連ＴＦＤピクチャを有することが可能になる。ＢＬＡ＿Ｗ＿ＤＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＢＬＡピクチャは、ビットストリームに存在する関連ＴＦＤピクチャを有していないが、ビットストリームにおける関連ＤＬＰピクチャを有することができる。ＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＢＬＡピクチャは、ビットストリームに存在している関連リーディングピクチャを有していない。ＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＩＤＲピクチャは、ビットストリームに存在する関連リーディングピクチャを有していない。ＩＤＲ＿Ｗ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＩＤＲピクチャは、ビットストリームに存在する関連ＴＦＤピクチャを有していないが、ビットストリームにおける関連ＤＬＰピクチャを有することができる。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値がＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、またはＳＴＳＡ＿Ｎに等しいときは、復号化ピクチャは、同じ時間サブ層の如何なる他のピクチャに対する参照としては使用されない。これは、ＨＥＶＣ標準草案においては、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値がＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、またはＳＴＳＡ＿Ｎに等しいときは、復号化ピクチャは、同じＴｅｍｐｏｒａｌＩｄの値の何れのピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、およびＲｅｆＰｉｃＳｅｔＬｔｃｕｒｒの何れにおいても含まれていないからである。ＴＲＡＩＬ＿Ｎ、ＴＳＡ＿Ｎ、またはＳＴＳＡ＿Ｎに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのコード化ピクチャは、同じＴｅｍｐｏｒａｌＩｄの値の他のピクチャの復号化可能性に影響を与えることなく廃棄できる。上記の表においては、ＲＡＰピクチャは、７から１２まで（両者を含めて）の範囲内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているピクチャである。ビットストリームにおける最初のピクチャ以外の各ピクチャは、復号化順において先行するＲＡＰピクチャと関連付けられていると考えられる。リーディングピクチャは、関連付けられているＲＡＰピクチャに出力順において先行するピクチャと定義できる。リーディングピクチャである何れのピクチャも、ＤＬＰ＿ＮＵＴまたはＴＦＤ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有している。トレーリングピクチャは、関連付けられているＲＡＰピクチャに出力順において後続するピクチャと定義で��る。トレーリングピクチャである何れのピクチャも、ＤＬＰ＿ＮＵＴまたはＴＦＤ＿ＮＵＴに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有していない。リーディングピクチャである何れのピクチャも、同じＲＡＰピクチャと関連付けられているすべてのトレーリングピクチャに復号化順において先行するように抑制できる。ＢＬＡ＿Ｗ＿ＤＬＰまたはＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＢＬＡピクチャと関連付けられているＴＦＤピクチャは、ビットストリームには存在しない。ＢＬＡ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＢＬＡピクチャと関連付けられている、またはＩＤＲ＿Ｎ＿ＬＰに等しいｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有しているＩＤＲピクチャと関連付けられているＤＬＰピクチャは、ビットストリームには存在しない。ＣＲＡまたはＢＬＡピクチャと関連付けられている何れのＴＦＤピクチャも、ＣＲＡまたはＢＬＡピクチャと関連付けられている何れのＤＬＰピクチャに、出力順において先行するように抑制できる。ＣＲＡピクチャと関連付けられている何れのＴＦＤピクチャも、ＣＲＡピクチャに復号化順において先行している何れの他のＲＡＰピクチャに、出力順において後続するように抑制できる。
【００５９】
ＨＥＶＣ標準草案のピクチャタイプを記述する別の手段が次に提供される。下記の表に示されているように、ＨＥＶＣにおいては、ピクチャタイプは下記のａ）ランダムアクセスポイント（ＲＡＰ）ピクチャ、ｂ）リーディングピクチャ、ｃ）サブ層アクセスピクチャ、およびｄ）上記の３つのグループの何れにも属しないピクチャのグループに分類可能である。下記の表において記述されているようなピクチャタイプとそのサブタイプは、ＨＥＶＣにおいては、ＮＡＬユニットタイプで識別される。ＲＡＰピクチャタイプは、ＩＤＲピクチャ、ＢＬＡピクチャ、およびＣＲＡピクチャを含み、下記の表において示されているように、それらと関連付けられているリーディングピクチャに基づいて更に特徴づけることが可能である。
【表２】
0006787667.tif 000003
【００６０】
ＨＥＶＣにおけるＣＲＡピクチャは、復号化順においてＣＲＡピクチャに後続し、出力順においてＣＲＡピクチャに先行するピクチャが、ＣＲＡピクチャの前に復号化されたピクチャを参照として使用することを可能にし、更にＩＤＲピクチャとしての類似するクリーンランダムアクセス機能も可能にする。復号化および出力順の両者においてＣＲＡピクチャに後続するピクチャは、ランダムアクセスがＣＲＡピクチャにおいて行われる場合は復号化可能であり、そのため、クリーンランダムアクセスが達成される。
【００６１】
復号化順においてＣＲＡピクチャに先行する如何なるピクチャをも参照しないＣＲＡピクチャのリーディングピクチャは、復号化がＣＲＡピクチャから開始するときに正しく復号化可能であり、従って、ＤＬＰピクチャである。対照的に、ＴＦＤピクチャは、ＴＦＤピクチャと関連付けられているＣＲＡピクチャから復号化が開始するときは正確には復号できない（一方、ＴＦＤピクチャは、現在のＣＲＡピクチャの前のＲＡＰピクチャから復号化が開始した場合は正しく復号できる）。そのため、ＣＲＡと関連付けられているＴＦＤピクチャは、ＣＲＡピクチャから復号化が開始するときは廃棄できる。
【００６２】
ＣＲＡピクチャから開始するビットストリームの一部が別のビットストリームに含まれているときは、ＣＲＡピクチャと関連付けられているＴＦＤピクチャは復号できない。その理由は、その参照ピクチャの幾つかは合成されたビットストリームには存在しないからである。そのようなスプライシング動作を単純にするために、ＣＲＡピクチャのＮＡＬユニットタイプを、それがＢＬＡピクチャであることを示すように変更可能である。ＢＬＡピクチャと関連付けられているＴＦＤピクチャは正しく復号することはできず、そのため出力／表示されるべきではない。ＢＬＡピクチャと関連付けられているＴＦＤピクチャは復号化から省略できる。
【００６３】
ＨＥＶＣにおいては、ＴＳＡおよびＳＴＳＡピクチャタイプの２つのピクチャタイプがあり、時間サブ層スイッチングポイントを示すために使用可能である。ＮまでのＴｅｍｐｏｒａｌＩｄの時間サブ層が、ＴＳＡまたはＳＴＳＡピクチャまで（ただし、両者は除く）復号化され、ＴＳＡまたはＴＳＡピクチャがＮ＋１に等しいＴｅｍｐｏｒａｌＩｄを有するようになると、ＴＳＡまたはＳＴＳＡピクチャは、Ｎ＋１に等しいＴｅｍｐｏｒａｌＩｄを有しているすべての（復号化順において）後続するピクチャの復号化を可能にする。ＴＳＡピクチャタイプは、ＴＳＡピクチャ自身と、ＴＳＡピクチャに復号化順において後続する同じサブ層におけるすべてのピクチャに制約を課すことができる。これらのピクチャの何れもが、ＴＳＡピクチャに復号化順において先行する同じサブ層における何れのピクチャからのインタ予測を使用することが可能とされない。ＴＳＡの定義は、ＴＳＡピクチャに復号化順において後続する上位のサブ層におけるピクチャに対して制約を更に課すことができる。これらのピクチャの何れもが、ＴＳＡピクチャに復号化順において先行するピクチャが、ＴＳＡピクチャと同じ、または上位のサブ層に属している場合は、そのピクチャを参照することを可能とされない。ＴＳＡピクチャは、０より大きいＴｅｍｐｏｒａｌＩｄを有している。ＳＴＳＡはＴＳＡピクチャに類似しているが、ＳＴＳＡピクチャに復号化順において後続する上位サブ層におけるピクチャに制約を課さず、そのため、ＳＴＳＡピクチャが存在するサブ層上のみへのアップスイッチングを可能にする。
【００６４】
非ＶＣＬ  ＮＡＬユニットは、例えば、シーケンスパラメータセット、ピクチャパラメータセット、補足エンハンスメント情報（ＳＥＩ）、ＮＡＬユニット、アクセスユニットデリミッタ、エンドオブシーケンスＮＡＬユニット、エンドオブストリームＮＡＬユニット、またはフィラーデータＮＡＬユニットのタイプの１つであってよい。パラメータセットは、復号化ピクチャの再構築に必要であり得るが、他の非ＶＣＬ  ＮＡＬユニットの多くは、復号化サンプル値の再構築には必要でない。
【００６５】
コード化ビデオシーケンスにおいて不変のパラメータは、シーケンスパラメータセットに含むことができる。復号化プロセスにより必要とされ得るパラメータに加えて、シーケンスパラメータセットはオプションとして、ビデオユーザビリティ情報（ＶＵI）を含むことができ、ＶＵＩは、バッファリング、ピクチャ出力タイミング、レンダリング、およびリソース予約のために重要であり得るパラメータを含んでいる。シーケンスパラメータセットを保持するために、Ｈ．２６４／ＡＶＣにおいて指定されている３つのＮＡＬユニットがある。それは、シーケンスにおいてＨ．２６４／ＡＶＣ  ＶＣＬ  ＮＡＬユニットに対するすべてのデータを含んでいるシーケンスパラメータセットＮＡＬユニット（７に等しいＮＡＬユニットタイプを有している）、補助コード化ピクチャに対するデータを含んでいるシーケンスパラメータセット拡張ＮＡＬユニット、およびＭＣＶとＳＶＣ  ＶＣＬ  ＮＡＬユニットに対するサブセットシーケンスパラメータセットである。Ｈ．２６４／ＡＶＣのシーケンスパラメータセットＮＡＬユニット（７に等しいＮＡＬユニットタイプを有している）に含まれているシンタックス構造は、シーケンスパラメータセットデータ、ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａ、またはベースＳＰＳデータと称することができる。例えば、プロファイル、レベル、ピクチャサイズ、およびクロマサンプリングフォーマットは、ベースＳＰＳデータに含むことができる。ピクチャパラメータセットは、幾つかのコード化ピクチャにおいて不変である可能性のあるパラメータを含んでいる。
【００６６】
ＨＥＶＣ草案においては、ここでは適応パラメータセット（ＡＰＳ）と称されるパラメータセットの別のタイプがあり、ＡＰＳは幾つかのコード化スライスにおいては不変である可能性があるが、例えば、各ピクチャまたは各数枚のピクチャに対しては変化できるパラメータを含んでいる。ＨＥＶＣ草案においては、ＡＰＳシンタックス構造は、量子化行列（ＱＭ）、適応サンプルオフセット（ＳＡＯ）、適応ループフィルタリング（ＡＬＦ）、およびデブロッキングフィルタリングに関連するパラメータまたはシンタックス要素を含んでいる。ＨＥＶＣ草案においては、ＡＰＳはＮＡＬユニットであり、如何なる他のＮＡＬユニットからの参照または予測なしでコード化される。ａｐｓ＿ｉｄシンタックス要素と称される識別子はＡＰＳ  ＮＡＬユニットに含まれ、特定のＡＰＳを参照するためにスライスヘッダに含まれて使用される。
【００６７】
ＨＥＶＣ標準草案はまた、ビデオパラメータセット（ＶＰＳ）と呼ばれるパラメータセットの更に別のタイプを含み、ＶＰＳは、例えば、文書ＪＣＴＶＣ−Ｈ０３８８（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／８＿Ｓａｎ％２０Ｊｏｓｅ／ｗｇｌｌ／ＪＣＴＶＣ−Ｈ０３８８−ｖ４．ｚｉｐ）において提案された。ビデオパラメータセットＲＢＳＰは、１つ以上のシーケンスパラメータセットＲＢＳＰにより参照可能なパラメータを含むことができる。
【００６８】
ＶＰＳ、ＳＰＳ、およびＰＰＳの間の関係と階層は、次のように記述できる。ＶＰＳは、パラメータセット階層およびスケーラビリティおよび／または３ＤＶの状況においては、ＳＰＳの１つ上のレベルに存在している。ＶＰＳは、コード化ビデオシーケンス全体において、すべての（スケーラビリティまたはビュー）層にわたるすべてのスライスに対して共通なパラメータを含むことができる。ＳＰＳは、コード化ビデオシーケンス全体において、特定の（スケーラビリティまたはビュー）層におけるすべてのスライスに対して共通なパラメータを含み、複数の（スケーラビリティまたはビュー）層により共有できる。ＰＰＳは、特定の層表現（１つのアクセスユニットにおける１つのスケーラビリティまたはビュー層の表現）におけるすべてのスライスに共通で、複数の層表現においてすべてのスライスにより共有される可能性のあるパラメータを含んでいる。
【００６９】
ＶＰＳは、コード化ビデオシーケンス全体においてすべての（スケーラビリティまたはビュー）層にわたるすべてのスライスに適用可能な多くの他の情報と共に、ビットストリームにおける層の依存性関係についての情報を提供できる。ＨＥＶＣのスケーラブル拡張においては、ＶＰＳは、例えば、ＮＡＬユニットヘッダから導出されたＬａｙｅｒＩｄ値の、例えば、ＳＶＣおよびＭＶＣに類似して定義される層に対するｄｅｐｅｎｄｅｎｃｙ＿ｉｄ、ｑｕａｌｉｔｙ＿ｉｄ、ｖｉｅｗ＿ｉｄ、およびｄｅｐｔｈ＿ｆｌａｇに対応する、１つ以上のスケーラビリティ次元値へのマッピングを含むことができる。ＶＰＳは、層表現の１つ以上の時間サブ層（あるＴｅｍｐｏｒａｌＩｄ値以下のＶＣＬ  ＮＡＬユニットから構成されている）に対するプロファイルおよび／またはレベルと共に、１つ以上の層に対するプロファイルおよびレベル情報を含むことができる。
【００７０】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣシンタックスはパラメータセットの多くのインスタンスを可能にし、各インスタンスは、固有の識別子により識別される。パラメータセットに対して必要なメモリの使用量を制限するために、パラメータセット識別子に対する値の範囲が制限されている。Ｈ．２６４／ＡＶＣおよびＨＥＶＣ標準草案においては、各スライスヘッダは、スライスを含むピクチャの復号化に対してアクティブなピクチャパラメータの識別子を含み、各ピクチャパラメータセットは、アクティブシーケンスパラメータセットの識別子を含んでいる。ＨＥＶＣ標準においては、スライスヘッダはＡＰＳ識別子を追加的に含んでいる。従って、ピクチャとシーケンスパラメータの送信は、スライスの送信と正確に同期している必要はない。アクティブシーケンスとピクチャパラメータセットが、それらが参照される前に何れかの時点において受信されればよく、それにより、スライスデータに対して使用されるプロトコルと比較して、より信頼性のある送信機構を使用する「アウトオブバンド」でのパラメータセットの送信が可能となる。例えば、パラメータセットは、リアルタイムトランスポートプロトコル（ＲＴＰ）セッションにおけるセッション記述にパラメータとして含むことが可能である。パラメータセットがインバンドで送信される場合は、パラメータセットはエラーロバストネスを改善するために繰り返すことが可能である。
【００７１】
パラメータセットは、スライスから、または別のアクティブパラメータセットから、またはある場合には、バッファリングピリオドＳＥＩメッセージのような別のシンタックス構造からの参照により起動できる。下記に、ＨＥＶＣ標準草案におけるパラメータセットの起動の非制限的な例を挙げる。
【００７２】
各適応パラメータセットＲＢＳＰは、復号化プロセスの動作の開始時点においてはアクティブではないと考えられる。多くても１つの適応パラメータセットＲＢＳＰが、復号化プロセスの動作の間の何れの所与の時点においてアクティブと考えられ、何れの特定の適応パラメータセットＲＢＳＰの起動は、それまでアクティブであった適応パラメータセットＲＢＳＰ（もしあれば）の起動が停止する結果となる。
【００７３】
適応パラメータセットＲＢＳＰ（ａｐｓ＿ｉｄの特定の値を有している）がアクティブでなく、コード化スライスＮＡＬユニットにより（ａｐｓ＿ｉｄのその値を使用して）参照されるときに適応パラメータセットＲＢＳＰは起動される。この適応パラメータセットＲＢＳＰは、それが、別の適応パラメータセットＲＢＳＰの起動により起動を停止されるまではアクティブ適応パラメータセットＲＢＳＰと呼ばれる。ａｐｓ＿ｉｄのその特定の値を有している適応パラメータセットＲＢＳＰは、その起動に先行する復号化プロセスにおいて利用可能であり、外部手段を通して適応パラメータセットが提供されない限り、適応パラメータセットＮＡＬユニットのｔｅｍｐｏｒａｌ＿ｉｄ以下に等しいｔｅｍｐｏｒａｌ＿ｉｄを有する少なくとも１つのアクセスユニットに含まれる。
【００７４】
各ピクチャパラメータセットＲＢＳＰは、復号化プロセスの動作の開始時点においてはアクティブではないと考えられる。多くても１つのピクチャパラメータセットＲＢＳＰが、復号化プロセスの動作の間の何れの所与の時点においてアクティブと考えられ、何れの特定のピクチャパラメータセットＲＢＳＰの起動は、それまでアクティブであったピクチャパラメータセットＲＢＳＰ（もしあれば）の起動が停止する結果となる。
【００７５】
ピクチャパラメータセットＲＢＳＰ（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有している）がアクティブでなく、コード化スライスＮＡＬユニット、またはコード化スライスデータパーティション分割Ａ  ＮＡＬユニットにより（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄのその値を使用して）参照されるときにピクチャパラメータセットＲＢＳＰは起動される。このピクチャパラメータセットＲＢＳＰは、それが、別のピクチャパラメータセットＲＢＳＰの起動により起動を停止されるまではアクティブピクチャパラメータセットＲＢＳＰと呼ばれる。ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄのその特定の値を有しているピクチャパラメータセットＲＢＳＰは、その起動に先行する復号化プロセスにおいて利用可能であり、外部手段を通してピクチャパラメータセットが提供されない限り、ピクチャパラメータセットＮＡＬユニットのｔｅｍｐｏｒａｌ＿ｉｄ以下に等しいｔｅｍｐｏｒａｌ＿ｉｄを有する少なくとも１つのアクセスユニットに含まれる。
【００７６】
各シーケンスパラメータセットＲＢＳＰは、復号化プロセスの動作の開始時点においてはアクティブではないと考えられる。多くても１つのシーケンスパラメータセットＲＢＳＰが、復号化プロセスの動作の間の何れの所与の時点においてアクティブと考えられ、何れの特定のシーケンスパラメータセットＲＢＳＰの起動は、それまでアクティブであったシーケンスパラメータセットＲＢＳＰ（もしあれば）の起動が停止する結果となる。
【００７７】
シーケンスパラメータセットＲＢＳＰ（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有している）がまだアクティブではなく、ピクチャパラメータセットＲＢＳＰの起動により（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を使用して）参照されるときに、またはバッファリングピリオドＳＥＩメッセージを含んでいるＳＥＩ  ＮＡＬユニットにより（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を使用して）参照されるときにシーケンスパラメータセットＲＢＳＰは起動される。このシーケンスパラメータセットＲＢＳＰは、それが、別のシーケンスパラメータセットＲＢＳＰの起動により起動を停止されるまではアクティブシーケンスパラメータセットＲＢＳＰと呼ばれる。ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有しているシーケンスパラメータセットＲＢＳＰは、外部手段を通してシーケンスパラメータセットが提供されない限り、０に等しいｔｅｍｐｏｒａｌ＿ｉｄを有する少なくとも１つのアクセスユニットに含まれた状態で、その起動に先行する復号化プロセスにおいて利用可能である。起動されたシーケンスパラメータセットＲＢＳＰは、コード化ビデオシーケンス全体の間アクティブであり続ける。
【００７８】
各ビデオパラメータセットＲＢＳＰは、復号化プロセスの動作の開始時点においては最初のうちはアクティブではないと考えられる。多くても１つのビデオパラメータセットＲＢＳＰが、復号化プロセスの動作の間の何れの所与の時点においてアクティブと考えられ、何れの特定のビデオパラメータセットＲＢＳＰの起動は、それまでアクティブであったビデオパラメータセットＲＢＳＰ（もしあれば）の起動が停止する結果となる。
【００７９】
ビデオパラメータセットＲＢＳＰ（ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有している）がまだアクティブではなく、シーケンスパラメータセットＲＢＳＰの起動により（ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を使用して）参照されるときにビデオパラメータセットＲＢＳＰは起動される。このビデオパラメータセットＲＢＳＰは、それが、別のビデオパラメータセットＲＢＳＰの起動により起動を停止されるまではアクティブビデオパラメータセットＲＢＳＰと呼ばれる。ｖｉｄｅｏ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの特定の値を有しているビデオパラメータセットＲＢＳＰは、外部手段を通してビデオパラメータセットが提供されない限り、０に等しいｔｅｍｐｏｒａｌ＿ｉｄを有する少なくとも１つのアクセスユニットに含まれた状態で、その起動に先行する復号化プロセスにおいて利用可能である。起動されたビデオパラメータセットＲＢＳＰは、コード化ビデオシーケンス全体の間アクティブであり続ける。
【００８０】
ＨＥＶＣ標準草案における復号化プロセスの動作中は、アクティブビデオパラメータセット、アクティブシーケンスパラメータセット、アクティブピクチャパラメータセットＲＢＳＰ、およびアクティブ適応パラメータセットＲＢＳＰのパラメータの値は有効であると考えられる。ＳＥＩメッセージの解釈に対して、同じアクセスユニットにおけるコード化ピクチャのＶＣＬ  ＮＡＬユニットに対する復号化プロセスの動作のためのアクティブビデオパラメータセット、アクティブシーケンスパラメータセット、アクティグピクチャパラメータセットＲＢＳＰ、およびアクティブ適応パラメータセットＲＢＳＰの値は、ＳＥＩメッセージセマンティックスにおいて別途指定されない限り有効であると考えられる。
【００８１】
ＳＥＩ  ＮＡＬユニットは、出力ピクチャの復号化には要求されないが、ピクチャ出力タイミング、レンダリング、エラー検出、エラー隠蔽、およびリソース予約のような関連するプロセスにおいて支援できる１つ以上のＳＥＩメッセージを含むことができる。幾つかのＳＥＩメッセージがＨ．２６４／ＡＶＣおよびＨＥＶＣにおいて指定されており、ユーザーデータＳＥＩメッセージは、組織および会社がそれ自身の使用のためのＳＥＩメッセージを指定することを可能にする。Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、指定されたＳＥＩメッセージに対するシンタックスおよびセマンティックスを含んでいるが、受信側におけるメッセージの取り扱いに対するプロセスは定義されていない。従って、エンコーダは、ＳＥＩメッセージを作成するときは、Ｈ．２６４／ＡＶＣ標準またはＨＥＶＣ標準に従うことが要求され、Ｈ．２６４／ＡＶＣ標準またはＨＥＶＣ標準に準拠するデコーダはそれぞれ、ＳＥＩメッセージを出力順と一致するように処理することを要求されない。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいてＳＥＩメッセージのシンタックスおよびセマンティックスを含む理由の１つは、異なるシステムの仕様が、補足情報を同一の意味に解釈し、そして相互動作を可能にするためである。システム仕様は、符号化の終了と復号化の終了の両方において、特定のＳＥＩメッセージの使用を要求することが可能なことが意図されており、追加的に、受信側での特定のＳＥＩメッセージの取り扱いに対するプロセスを指定可能なことが意図されている。
【００８２】
コード化ピクチャは、ピクチャのコード化表現である。Ｈ．２６４／ＡＶＣにおけるコード化ピクチャは、ピクチャの復号化に対して要求されるＶＣＬ  ＮＡＬユニットを備えている。Ｈ．２６４／ＡＶＣにおいては、コード化ピクチャは、１次コード化ピクチャであることも、冗長コード化ピクチャであることも可能である。１次コード化ピクチャは有効ビットストリームの復号化プロセスにおいて使用され、一方、冗長コード化ピクチャは、１次コード化ピクチャの復号化に成功できなかったときにのみ復号化されるべき冗長表現である。ＨＥＶＥ草案においては、冗長コード化ピクチャは指定されていない。
【００８３】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、アクセスユニットは、１次コード化ピクチャおよびそれと関連付けられているＮＡＬユニットを備えている。Ｈ．２６４／ＡＶＣにおいては、アクセスユニット内でのＮＡＬユニットの出現順は、下記のように抑制される。オプションであるアクセスユニットデリミッタＮＡＬユニットは、アクセスユニットの開始を示すことができる。その後に、ゼロ個以上のＳＥＩ  ＮＡＬユニットが続く。１次コード化ピクチャのコード化スライスが次に出現する。Ｈ．２６４／ＡＶＣにおいては、１次コード化ピクチャのコード化スライスには、ゼロ個以上の冗長コード化ピクチャにのためのコード化スライスが続くことができる。冗長コード化ピクチャは、ピクチャまたはピクチャの一部のコード化表現である。冗長コード化ピクチャは、例えば、送信中の紛失、または物理的記憶媒体における破壊のために、デコーダから１次コード化ピクチャが受信されない場合に復号化できる。
【００８４】
Ｈ．２６４／ＡＶＣにおいては、アクセスユニットはまた、補助コード化ピクチャも含むことができ、補助コード化ピクチャは１次コード化ピクチャを補足するピクチャであり、例えば、表示プロセスにおいて使用できる。補助コード化ピクチャは、例えば、アルファチャネル、または復号化ピクチャにおけるサンプルの透明度レベルを指定するアルファプレーンとして使用できる。アルファチャネルまたはプレーンは、出力ピクチャが、少なくとも部分的には透明にピクチャを上下に重ねることにより形成される層化構成要素またはレンダリングシステムにおいて使用できる。補助コード化ピクチャは、モノクロ冗長コード化ピクチャと同じシンタックスおよびセマンティックス規制を有している。Ｈ．２６４／ＡＶＣにおいては、補助コード化ピクチャは、１次コード化ピクチャと同じ数のマクロブロックを含んでいる。
【００８５】
Ｈ．２６４／ＡＶＣにおいては、コード化ビデオシーケンスは、ＩＤＲアクセスユニット（これを含めて）から次のＩＤＲアクセスユニット（ただし、これを除いて）またはビットストリームの最後のうち何れか先に出現する方までの、復号化順において連続するアクセスユニットのシーケンスと定義される。ＨＥＶＣ標準草案においては、コード化ビデオシーケンスは、復号化順に、ビットストリームにおける最初のアクセスユニットであるＣＲＡアクセスユニットおよび、如何なる後続ＩＤＲまたはＢＬＡアクセスユニットを含まないが、これらまでのすべての後続アクセスユニットを含むゼロ個以上の非ＩＤＲおよび非ＢＬＡアクセスユニットが続くＩＤＲアクセスユニットまたはＢＬＡアクセスユニットから構成されるアクセスユニットのシーケンスと定義される。
【００８６】
ピクチャのグループ（ＧＯＰ）とその特性は、下記のように定義できる。ＧＯＰは、如何なるピクチャがその前に復号化されたかに関係なく復号化可能である。オープンＧＯＰとは、初期イントラピクチャに出力順において先行するピクチャが、復号化がオープンＧＯＰの初期イントラピクチャから開始するときは、正しく復号化されない可能性のあるピクチャのグループである。言い換えると、オープンＧＯＰのピクチャは、前のＧＯＰに属しているピクチャであるということができる（インタ予測において）。Ｈ．２６４／ＡＶＣデコーダは、Ｈ．２６４／ＡＶＣビットストリームにおけるリカバリポイントＳＥＩメッセージからオープンＧＯＰを開始するイントラピクチャを認識可能である。ＨＥＶＣデコーダは、オープンＧＯＰを開始するイントラピクチャを認識可能であるが、それは、特定のＮＡＬユニットタイプとＣＲＡ  ＮＡＬユニットタイプがそのコード化スライスに対して使用されているからである。クローズドＧＯＰは、復号化がクローズドＧＯＰの初期イントラピクチャから開始するときにすべてのピクチャを正しく復号化可能なピクチャのグループである。言い換えると、クローズドＧＯＰにおけるピクチャは、前のＧＯＰにおける如何なるピクチャでもない。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、クローズドＧＯＰは、ＩＤＲアクセスユニットから開始する。ＨＥＶＣにおいては、クローズドＧＯＰはまた、ＢＬＡ＿Ｗ＿ＤＬＰまたはＢＬＡ＿Ｎ＿ＬＰピクチャからも開始できる。結果として、クローズドＧＯＰ構造は、オープンＧＯＰ構造と比較して、より強いエラー耐性能力を有しているが、圧縮効率の可能性のある減少を犠牲にしている。オープンＧＯＰコーディング構造は、参照ピクチャの選択におけるより高い柔軟性のために、潜在的には圧縮においてより効率的である。
【００８７】
ストラクチャオブピクチャズ（ＳＯＰ：Ｓｔｒｕｃｔｕｒｅ  ｏｆ  Ｐｉｃｔｕｒｅｓ）は、復号化順において連続している１つ以上のコード化ピクチャと定義でき、ＳＯＰにおいては、復号化順における最初のコード化ピクチャは、最も下位の時間サブ層における参照ピクチャであり、復号化順において潜在的に最初のコード化ピクチャを除くコード化ピクチャは何れもＲＡＰピクチャではない。ピクチャの相対的な復号化順は、ピクチャ内部の数字により示される。前のＳＯＰにおける如何なるピクチャも、現在ＳＯＰにおける如何なるピクチャよりも復号化順において前であり、次のＳＯＰにおける如何なるピクチャも、現在ＳＯＰにおける如何なるピクチャよりも復号化順において後である。ピクチャのグループ（ＧＯＰ）という用語は、ときどきは、ＳＯＰという用語と交換可能に使用でき、上記のように、クローズドＧＯＰまたはオープンＧＯＰのセマンティックスではなく、ＳＯＰのセマンティックスと同じセマンティックスを有している。
【００８８】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣのビットストリームシンタックスは、特定のピクチャが、別のピクチャの何れかのインタ予測のための参照ピクチャであるかどうかを示している。如何なるコーディングタイプ（Ｉ、Ｐ、Ｂ）のピクチャも、Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおける参照ピクチャまたは非参照ピクチャでありことが可能である。Ｈ．２６４／ＡＶＣにおいては、ＮＡＬユニットヘッダは、ＮＡＬユニットのタイプと、ＮＡＬユニットに含まれているコード化スライスが参照ピクチャまたは非参照ピクチャの一部であるかどうかを示している。
【００８９】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くのハイブリッドビデオコーデックは、ビデオ情報を２つのフェーズにおいて符号化する。第１フェーズにおいては、あるピクチャ領域または「ブロック」における画素またはサンプル値が予測される。これらの画素またはサンプル値は、例えば、コード化されているブロックに緊密に対応する、以前に符号化されたビデオフレームの１つにおける領域を見出して示すことを含む動き補償機構により予測可能である。追加的に、画素またはサンプル値は、空間領域関係を見出して示すことを含む空間的機構により予測可能である。
【００９０】
以前にコード化された画像からの画像情報を使用する予測アプローチはまた、インタ予測法とも呼ぶことが可能で、時間予測および動き補償とも称することができる。同じ画像内の画像情報を使用する予測アプローチは、イントラ予測法とも呼ぶことが可能である。
【００９１】
第２フェーズは、画素またはサンプルの予測されたブロックと、画素またはサンプルの元々のブロック間のエラーをコーディングすることの１つである。これは、推定された変換を使用して、画素またはサンプル値における差を変換することにより達成できる。この変換は離散コサイン変換（ＤＣＴ）またはその変形であってよい。差を変換した後に、変換された差は量子化されエントロピ符号化される。
【００９２】
量子化プロセスの忠実度を変えることにより、エンコーダは、画素またはサンプル表現の精度（つまり、ピクチャの視覚的品質）と、結果としての符号化ビデオ表現のサイズ（つまり、ファイルサイズまたは送信ビットレート）の間のバランスを制御可能である。
【００９３】
デコーダは、（エンコーダにより作成され、画像の圧縮表現に格納されている動きまたは空間情報を使用して）画素またはサンプルブロックの予測表現を形成するためにエンコーダにより使用されるものと類似している予測機構および予測エラー復号化（空間ドメインにおける量子化予測エラー信号を回復するための予測エラーコーディングの逆の動作）を適用することにより出力ビデオを再構築する。
【００９４】
画素またはサンプル予測およびエラー復号化プロセスを適用した後に、デコーダは、予測と予測エラー信号（画素またはサンプル値）を合成して、出力ビデオフレームを形成する。
【００９５】
デコーダ（およびエンコーダ）はまた、ビデオシーケンスにおいて後で出現するピクチャのための予測参照としての表示および／または格納のために出力ビデオを渡す前に、出力ビデオの品質を向上するために追加的なフィルタリングプロセスを適用することもできる。
【００９６】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くのビデオコーデックにおいては、動き情報は、各動き補償画像ブロックと関連付けられている動きベクトルにより示される。これらの動きベクトルのそれぞれは、コード化（エンコーダにおいて）または復号化（デコーダにおいて）されるピクチャにおける画像ブロックの変位と、以前にコード化または復号化された画像（またはピクチャ）の１つにおける予測ソースブロックを示している。多くの他のビデオ圧縮標準のように、Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、ピクチャを長方形のメッシュに分割し、各長方形に対しては、参照ピクチャの１つにおける類似のブロックがインタ予測のために示されている。予測ブロックの位置は、コード化されているブロックに対する予測ブロックの場所を示す動きベクトルとしてコード化される。
【００９７】
インタ予測プロセスは、例えば、下記のファクタの１つ以上を使用して特徴付けることができる。
【００９８】
動きベクトル表現の精度  例えば、動きベクトルは、１／４画素精度、１／２画素精度、または全画素精度であってよく、分数画素場所におけるサンプル値は、有限インパルス応答（ＦＩＲ）フィルタを使用して得ることができる。
【００９９】
インタ予測のためのブロックパーティション分割  Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くのコーディング標準は、エンコーダにおける動き補償予測のために動きベクトルが適用されるブロックのサイズと形状の選択を可能にし、ビットストリームにおいて選択されたサイズと形状を示し、それによりデコーダは、エンコーダにおいて行われた動き補償予測を再生可能である。
【０１００】
インタ予測のための参照ピクチャ数  インタ予測のソースは、以前に復号化されたピクチャである。Ｈ．２６４／ＡＶＣおよびＨＥＶＣを含む多くのコーディング標準は、インタ予測のための複数の参照ピクチャの格納、および使用される参照ピクチャの選択をブロックベースで行うことを可能にする。例えば、参照ピクチャは、Ｈ．２６４／ＡＶＣにおいてはマクロブロックまたはマクロブロックパーティション分割部ベースで選択でき、ＨＥＶＣにおいてはＰＵまたはＣＵベースで選択できる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣのような多くのコーディング標準は、デコーダが１つ以上の参照ピクチャリストを作成することを可能にするシンタックス構造をビットストリームに含んでいる。参照ピクチャリストへの参照ピクチャインデックスは、複数の参照ピクチャのうちの何れが、特定のブロックに対するインタ予測に使用されるかを示すために使用できる。参照ピクチャインデックスは、エンコーダにより、あるインタコーディングモードにおいてビットストリームにコード化でき、または、例えば、ある他のインタコーディングモードにおいては、隣接ブロックを使用して導出できる（エンコーダまたはデコーダにより）。
【０１０１】
動きベクトル予測  動きベクトルを、ビットストリームにおいて効率的に表現するために、動きベクトルを、ブロック特有の予測された動きベクトルに関して、異なるようにコード化できる。多くのビデオコーデックにおいては、予測された動きベクトルは、予め定義された方法、例えば、隣接ブロックの符号化または復号化された動きベクトルの中央値を計算することにより作成される。動きベクトル予測を作成する別の方法は、時間参照ピクチャにおける隣接ブロックおよび／または共に位置しているブロックから候補予測のリストを生成して、選択された候補を動きベクトル予測子として信号を送ることである。動きベクトル値を予測することに加えて、以前にコード化／復号化されたピクチャの参照インデックスを予測可能である。参照インデックスは、代表的には、時間参照ピクチャにおける隣接ブロックおよび／または共に位置しているブロックから予測される。動きベクトルの差分コーディングは、代表的には、スライス境界を跨いでは機能が停止される。
【０１０２】
多重仮説動き補償予測  Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、Ｐスライスにおける単一の予測ブロック（ここにおいては、単方向予測スライスと称される）、または、Ｂスライスとも称される双方向予測スライスに対する２つの動き補償予測ブロックの線形組み合わせの使用を可能にする。Ｂスライスにおける個々のブロックは、双方向予測、単方向予測、またはイントラ予測でき、Ｐスライスにおける個々のブロックは、単方向予測またはイントラ予測できる。双方向予測ピクチャのための参照ピクチャは、出力順における後続ピクチャおよび先行ピクチャに制限されることはなく、如何なる参照ピクチャも使用できる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣのような多くのコーディング標準においては、参照ピクチャリスト０と称される１つの参照ピクチャリストがＰスライスに対して構築され、２つの参照ピクチャリストであるリスト０とリスト１がＢスライスに対して構築される。Ｂスライスに対しては、前方向における予測が、参照ピクチャリスト０における参照ピクチャからの予測を参照でき、後方向における予測が、参照ピクチャリスト１における参照ピクチャからの予測を参照できるときは、予測のための参照ピクチャは、互いに、または現在ピクチャに対して如何なる復号化または出力順関係も有することができる。
【０１０３】
重み付け予測  多くのコーディング標準は、ピクチャ間（Ｐ）の予測ブロックに対しては１の予測重み、Ｂピクチャの各予測ブロックに対しては、０．５の予測重み（平均化という結果になる）を使用する。Ｈ．２６４／ＡＶＣは、ＰおよびＢスライス両者に対する重み付け予測を可能にする。暗黙的重み付け予測においては、重みはピクチャ順序カウントに比例し、明示的重み付け予測においては、予測重みは明示的に示される。
【０１０４】
多くのビデオコーデックにおいては、動き補償後の予測残差は、まず変換カーネル（ＤＣＴのような）により変換されてその後にコード化される。その理由は、残差間にある相関関係が依然として存在していることがよくあり、変換は多くの場合に、この相関関係を削減可能で、より効率的なコーディングを提供可能であるからである。
【０１０５】
ＨＥＶＣ草案においては、各ＰＵは、ＰＵと関連付けられ、どの種類の予測がそのＰＵ内の画素に対して適用されるかを定義する予測情報を有している（例えば、インタ予測されたＰＵに対する動きベクトル情報、およびイントラ予測されたＰＵに対するイントラ予測指向性情報）。同様に、各ＴＵは、ＴＵ内のサンプルに対する予測エラー復号化プロセスを記述する情報と関連付けられている（例えば、ＤＣＴ係数情報を含んでいる）。ＣＵレベルで、予測エラーコーディングが、各ＣＵに対して適用されるか否かを信号で送ることができる。ＣＵと関連付けられた予測エラー残差がない場合は、ＣＵに対するＴＵはないと考えることが可能である。
【０１０６】
幾つかのコーディングフォーマットおよびコーデックにおいては、いわゆる短期参照ピクチャと長期参照ピクチャが区別される。この区別は、時間ダイレクトモードまたは暗黙的重み付け予測における動きベクトルの変倍のようなある復号化プロセスに影響を与え得る。時間ダイレクトモードに使用される参照ピクチャの両者が短期参照ピクチャの場合は、予測において使用される動きベクトルは、現在ピクチャと参照ピクチャのそれぞれの間のピクチャ順序カウント（ＰＯＣ）差に従って変倍できる。しかし、時間ダイレクトモードのための少なくとも１つの参照ピクチャが長期参照ピクチャの場合は、動きベクトルのデフォルト変倍が使用でき、例えば、動きを半分にする変倍が使用できる。同様に、暗黙的重み付け予測に短期参照ピクチャが使用される場合は、予測重みは、現在ピクチャのＰＯＣと参照ピクチャのＰＯＣの間のＰＯＣ差に従って変倍できる。しかし、暗黙的重み付け予測に長期参照ピクチャが使用される場合は、双方向予測されたブロックに対する暗黙的重み付け予測における０．５のような、デフォルトの予測重みを使用できる。
【０１０７】
Ｈ．２６４／ＡＶＣのような幾つかのビデオコーディングフォーマットは、複数の参照ピクチャに関連する種々の復号化プロセスに使用されるｆｒａｍｅ＿ｎｕｍシンタックス要素を含んでいる。Ｈ．２６４／ＡＶＣにおいては、ＩＤＲピクチャに対するｆｒａｍｅ＿ｎｕｍの値は０である。非ＩＤＲピクチャに対するｆｒａｍｅ＿ｎｕｍの値は、復号化順において先行する参照ピクチャのｆｒａｍｅ＿ｎｕｍを１だけ増分したものと等しい（モジュロ演算においては、つまり、ｆｒａｍｅ＿ｎｕｍの値は、ｆｒａｍｅ＿ｎｕｍの最大値の後に０になる）。
【０１０８】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、ピクチャ順序カウント（ＰＯＣ）のコンセプトを含んでいる。ＰＯＣの値は各ピクチャに対して導出され、出力順に増大していくピクチャの場所に対して非減少的である。従って、ＰＯＣは、ピクチャの出力順を示している。ＰＯＣは、例えば、双方向予測スライスの時間ダイレクトモードにおける動きベクトルの暗黙的変倍、重み付け予測における暗黙的に導出された重み、および参照ピクチャリスト初期化のための復号化プロセスにおいて使用できる。更に、ＰＯＣは、出力順が規格に準拠しているかを検証するために使用できる。Ｈ．２６４／ＡＶＣにおいては、ＰＯＣは、先行ＩＤＲピクチャ、またはすべてのピクチャを「参照に使用されていない」としてマークするメモリ管理制御動作を含むピクチャに対して指定されている。
【０１０９】
Ｈ．２６４／ＡＶＣは、デコーダにおけるメモリ消費を制御するために、復号化された参照ピクチャマーキングのためのプロセスを指定する。Ｍと称される、インタ予測に使用される参照ピクチャの最大数は、シーケンスパラメータセットにおいて決定される。参照ピクチャが復号化されるときは、「参照に使用されている」としてマークされる。参照ピクチャの復号化により、Ｍピクチャを超える数のピクチャが、「参照に使用されている」としてマークされると、少なくとも１つのピクチャは「参照に使用されていない」としてマークされる。復号化された参照ピクチャマーキングに対しては、適応メモリ制御およびスライディングウィンドウという２つのタイプの動作がある。復号化された参照ピクチャマーキングに対する動作モードはピクチャベースで選択される。適応メモリ制御は、どのピクチャが「参照に使用されていない」としてマークされているかを明示的に信号を送ることを可能にし、また、短期参照ピクチャに対して長期インデックスを割り当てることもできる。適応メモリ制御は、ビットストリームにおいて、メモリ管理制御動作（ＭＭＣＯ）パラメータの存在を要求できる。ＭＭＣＯパラメータは、復号化された参照ピクチャマーキングシンタックス構造に含めることができる。スライディングウィンドウ動作モードが使用中で、Ｍ個のピクチャが「参照に使用されている」としてマークされている場合は、「参照に使用されている」としてマークされている短期参照ピクチャの中で最初に復号化されたピクチャである短期参照ピクチャが、「参照に使用されていない」としてマークされる。言い換えると、スライディングウィンドウ動作モードは、短期参照ピクチャにおける先入れ先出しバッファリング動作という結果になる。
【０１１０】
Ｈ．２６４／ＡＶＣにおけるメモリ管理制御動作の１つは、現在ピクチャを除くすべての参照ピクチャを、「参照に使用されていない」としてマークさせる。瞬間復号化リフレッシュ（ＩＤＲ）ピクチャは、イントラコード化されたスライスのみを含み、参照ピクチャの類似の「リセット」を引き起こす。
【０１１１】
ＨＥＶＣ標準草案においては、参照ピクチャマーキングシンタックス構造および関連する復号化プロセスは使用されず、その代わり、参照ピクチャセット（ＲＰＳ）シンタックス構造および復号化プロセスが類似の目的のために使用される。ピクチャに対して有効またはアクティブな参照ピクチャセットは、ピクチャに対する参照として使用されるすべての参照ピクチャ、および復号化順において後続する如何なるピクチャに対しても「参照に使用されている」としてマークされて続けているすべての参照ピクチャを含んでいる。参照ピクチャセットに対しては、６つのサブセットがあり、それらは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、およびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌと称される。この６つのサブセットの表記法は次の通りである。「Ｃｕｒｒ」は、現在ピクチャの参照ピクチャリストに含まれている参照ピクチャを表し、そのため、現在ピクチャに対するインタ予測参照として使用できる。「Ｆｏｌｌ」は、現在ピクチャの参照ピクチャリストに含まれていない参照ピクチャを表すが、参照ピクチャとして復号化順において後続するピクチャにおいて使用できる。「Ｓｔ」は短期参照ピクチャを表し、短期参照ピクチャは一般的には、ＰＯＣ値の最下位ビットのある数を介して識別できる。「Ｌｔ」は長期参照ピクチャを示し、長期参照ピクチャは具体的に識別され、一般的には、上記の最下位ビットのある数により表現可能なものよりも大きな、現在ピクチャに対するＰＯＣ値の差を有している。「０」は、現在ピクチャのＰＯＣ値よりも小さな値を有している参照ピクチャを表している。「１」は、現在ピクチャのＰＯＣ値よりも大きな値を有している参照ピクチャを表している。ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、およびＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１はまとめて参照ピクチャセットの短期サブセットと称される。ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒおよびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌはまとめて、参照ピクチャセットの長期サブセットと称される。
【０１１２】
ＨＥＶＣ標準草案においては、参照ピクチャセットはシーケンスパラメータセットにおいて指定でき、参照ピクチャセットへのインデックスを介してスライスヘッダにおいて使用される。参照ピクチャセットはまた、スライスヘッダにおいても指定できる。参照ピクチャセットの長期サブセットは、一般的には、スライスヘッダにおいてのみ指定されるが、同じ参照ピクチャセットの短期サブセットは、ピクチャパラメータセットまたはスライスヘッダにおいて指定できる。参照ピクチャセットは独立してコード化、または別の参照ピクチャセットから予測できる（インタＲＰＳ予測として知られている）。参照ピクチャセットが独立してコード化されるときは、シンタックス構造は、異なるタイプの参照ピクチャ、つまり、現在ピクチャよりも小さなＰＯＣ値の短期参照ピクチャ、現在ピクチャよりも大きなＰＯＣ値の短期参照ピクチャ、および長期参照ピクチャに対して繰り返される最大３つのループを含んでいる。各ループのエントリは、ピクチャが「参照に使用されている」とマークされることを指定する。一般的には、ピクチャは、差分ＰＯＣ値で指定される。インタＲＰＳ予測は、現在ピクチャの参照ピクチャセットが、先行して復号化されたピクチャの参照ピクチャセットから予測可能であるという事実を利用する。これは、現在ピクチャのすべての参照ピクチャが、先行するピクチャの参照ピクチャか、先行して復号化されたピクチャ自身の何れかであるからである。これらのピクチャの何れが参照ピクチャとなるべきか、そして現在ピクチャの予測に使用されるべきかを示すことのみが必要である。参照ピクチャセットコーディングの両者のタイプにおいては、フラグ（ｕｓｅｄ＿ｂｙ＿ｃｕｒｒ＿ｐｉｃ＿Ｘ＿ｆｌａｇ）が追加的に各参照ピクチャに対して送られて、参照ピクチャが現在ピクチャにより参照のために使用されているか（＊Ｃｕｒｒリストに含まれている）かいないか（＊Ｆｏｌｌリストに含まれている）を示している。現在スライスにより使用されている参照ピクチャセットに含まれているピクチャは、「参照に使用されている」とマークされ、現在スライスにより使用されている参照ピクチャセットに含まれていないピクチャは、「参照に使用されていない」とマークされる。現在ピクチャがＩＤＲピクチャの場合は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ０、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ１、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、およびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌはすべて空に設定される。
【０１１３】
復号化ピクチャバッファ（ＤＰＢ）は、エンコーダおよび／またはデコーダにおいて使用できる。復号化ピクチャに対してバッファリングを行う理由は２つあり、１つはインタ予測における参照のためと、もう１つは、復号化ピクチャを出力順にする再順序化のためである。Ｈ．２６４／ＡＶＣおよびＨＥＶＣは、参照ピクチャマーキングと出力再順序化の両者に対して非常に高い柔軟性を提供するので、参照ピクチャバッファリングと出力ピクチャバッファリングに対する別個のバッファは、メモリリソースを浪費する可能性がある。そのため、ＤＰＢは、参照ピクチャおよび出力再順序化に対する統合された復号化ピクチャバッファリングプロセスを含むことができる。復号化ピクチャは、それがもはや参照として使用されず、出力にも必要でなくなったときは、ＤＰＢから除去できる。
【０１１４】
Ｈ．２６４／ＡＶＣおよびＨＥＶＣの多くのコーディングモードにおいては、インタ予測のための参照ピクチャは、参照ピクチャリストへのインデックスにより示される。インデックスは、可変長コーディングにおよりコード化でき、通常は、対応するシンタックス要素に対してより短い値を、より小さなインデックスが有するようにさせる。Ｈ．２６４／ＡＶＣおよびＨＥＶＣにおいては、２つの参照ピクチャリスト（参照ピクチャリスト０と参照ピクチャリスト１）が、各双方向予測（Ｂ）スライスに対して生成され、１つの参照ピクチャリスト（参照ピクチャリスト０）が、各インタコード化（Ｐ）スライスに対して形成される。加えて、ＨＥＶＣ標準草案におけるＢスライスに対しては、合成リスト（リストＣ）が、最終参照ピクチャリスト（Ｌｉｓｔ０およびＬｉｓｔ１）が構築された後に構築される。合成リストは、Ｂスライス内にで、単方向予測（単一方向予測としても知られている）に使用できる。
【０１１５】
参照ピクチャリスト０および参照ピクチャリスト１のような参照ピクチャリストは、代表的には、２ステップで構築される。最初に、初期参照ピクチャリストが生成される。初期参照ピクチャリストは、例えば、ｆｒａｍｅ＿ｎｕｍ、ＰＯＣ、ｔｅｍｐｏｒａｌ＿ｉｄ、またはＧＯＰ構造のような予測階層の情報、または、それらの任意の組み合わせに基づいて生成できる。２番目に、初期参照ピクチャリストは、参照ピクチャリスト修正シンタックス構造としても知られている、スライスヘッダに含めることができる参照ピクチャリスト再順序化（ＲＰＬＲ）コマンドにより再順序化できる。ＲＰＬＲコマンドは、各参照ピクチャリストの先頭に順序化されたピクチャを示している。この第２ステップは、参照ピクチャリスト修正プロセスと称することもでき、ＲＰＬＲコマンドは、参照ピクチャリスト修正シンタックス構造に含むことができる。参照ピクチャセットが使用される場合、参照ピクチャリスト０は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０を最初に、そしてそれに続いてＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１、更にそれに続いて、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒを含むように初期化できる。参照ピクチャリスト１は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ１を最初に、そしてそれに続いてＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒ０を含むように初期化できる。初期参照ピクチャリストは、参照ピクチャリスト修正シンタックス構造を介して修正でき、初期参照ピクチャリストリストにおけるピクチャは、リストへのエントリインデックスと介して識別できる。
【０１１６】
ＨＥＶＣ標準草案における合成リストは、下記のように構築できる。合成リストに対する修正フラグがゼロの場合は、合成リストは、暗黙的機構により構築され、それ以外の場合は、ビットストリームに含まれている参照ピクチャ合成コマンドにより構築される。暗黙的機構においては、リストＣにおける参照ピクチャは、リスト０の第１エントリから開始して、リスト１の第１エントリが続くという具合にインタリーブ方式でリスト０からリスト１へ参照ピクチャにマップされる。リストＣにおいてすでにマップされた如何なる参照ピクチャも二度はマップされない、明示的機構においては、リストＣにおけるエントリ数が信号で送られ、それに続いて、リスト０またはリスト１におけるエントリからリストＣにおける各エントリへのマッピングが行われる。加えて、リスト０とリスト１が同一のときは、エンコーダは、リスト１からの参照ピクチャはマップされず、リストＣはリスト０と等価であることを示すために、ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｃｏｍｂｉｎａｔｉｏｎ＿ｆｌａｇを０に設定するオプションを有している。
【０１１７】
ＨＥＶＣコーデック草案のような多くの高効率ビデオコーデックは、しばしばマージング／マージモード／プロセス／機構とも呼ばれる、追加的動き情報コーディング／復号化機構を採用しており、ブロック／ＰＵのすべての動き情報は、何の修正／補正もなく予測されて使用される。ＰＵに対する前述した動き情報は、１）「ＰＵは参照ピクチャリスト０のみを使用して単方向予測された」か、または「ＰＵは参照ピクチャリスト１のみを使用して単方向予測された」か、または「ＰＵは参照ピクチャリスト０およびリスト１の両者を使用して双方向予測された」かについての情報、２）参照ピクチャリスト０に対応する動きベクトル値、３）参照ピクチャリスト０における参照ピクチャインデックス、４）参照ピクチャリスト１に対応する動きベクトル値、および５）参照ピクチャリスト１における参照ピクチャインデックスを備えることができる。同様に、動き情報を予測することは、隣接ブロックおよび／または時間参照ピクチャにおける共に位置しているブロックの動き情報を使用して行われる。しばしばマージリストと呼ばれるリストは、利用可能な隣接／共に位置しているブロックと関連付けられている動き予測候補を含むことにより構築でき、リストにおける選択された動き予測候補のインデックスは信号で送られ、選択された候補の動き情報は、現在ＰＵの動き情報にコピーされる。マージ機構がＣＵ全体に対して採用され、ＣＵに対する予測信号が再構築信号として使用され、つまり、予測残差は処理されないときは、このタイプのＣＵのコーディング／復号化は代表的にはスキップモードまたはマージベーススキップモードと呼ばれる。スキップモードに加えて、マージ機構はまた、個々のＰＵに対して（必ずしもスキップモードにおけるようなＣＵ全体に対してではなく）採用することもでき、この場合、予測残差は、予測品質を向上するために利用できる。このタイプの予測モードは代表的にはマージ間モードと呼ばれる。
【０１１８】
エンコーダによりビットストリームに作成され、デコーダによりビットストリームから復号化され、合成参照ピクチャリストのコンテンツを示している参照ピクチャリスト合成シンタックス構造があってもよい。シンタックス構造は、参照ピクチャリスト０および参照ピクチャリスト１は、単方向予測されている予測ユニットに使用される、追加的参照ピクチャリスト合成として合成されていることを示すことができる。シンタックス構造はフラグを含むことができ、フラグはある値に等しいときは、参照ピクチャリスト０と参照ピクチャリスト１は同一であることを示し、そのため参照ピクチャリスト０は参照ピクチャリスト合成として使用される。シンタックス構造は、それぞれが参照ピクチャリスト（リスト０またはリスト１）および指定されたリストへの参照インデックスを指定するエントリリストを含むことができ、エントリは、合成参照ピクチャリストに含まれる参照ピクチャを指定する。
【０１１９】
復号化参照ピクチャマーキングのためのシンタックス構造は、ビデオコーディングシステムにおいて存在できる。例えば、ピクチャの復号化が完了すると、復号化参照ピクチャマーキングシンタックス構造は、もし存在すれば、ピクチャを「参照に使用されていない」または「長期参照に使用されている」として適応的にマークするために使用できる。復号化参照ピクチャマーキングシンタックス構造が存在せず、「参照に使用されている」とマークされたピクチャの数がこれ以上増加することが可能でない場合は、スライディングウィンドウ参照ピクチャマーキングを使用でき、これは基本的に、最も早い（復号化順において）復号化参照ピクチャを参照に使用されていないとしてマークする。
【０１２０】
孤立領域として知られているコーディング技術は、ピクチャ内予測およびインタ予測を一緒に抑制することに基づいている。ピクチャにおける孤立領域は、何れのマクロブロック（または同様なものの）位置をも含むことが可能で、ピクチャは、互いに重ならないゼロ個以上の孤立領域を含むことが可能である。残存領域は、もし存在すれば、ピクチャの孤立領域の何れによってもカバーされていないピクチャの領域である。孤立領域をコード化するときは、少なくとも幾つかのタイプのピクチャ内予測は、その境界を跨いでは機能が停止される。残存領域は、同じピクチャの孤立領域から予測できる。
【０１２１】
コード化孤立領域は、同じコード化ピクチャの如何なる他の孤立または残存領域の存在なしに復号化可能である。残存領域の前に、ピクチャのすべての孤立領域を復号化することが必要となる。幾つかの実現形態においては、孤立領域または残存領域は、少なくとも１つのスライスを含んでいる。
【０１２２】
孤立領域が互いから予測されるピクチャは、孤立領域ピクチャグループにグループ化できる。孤立領域は、同じ孤立領域ピクチャグループ内の他のピクチャにおける対応する孤立領域からインタ予測可能であるが、他の孤立領域、または孤立領域ピクチャグループの外からのインタ予測は可能とされない。残存領域は、如何なる孤立領域からもインタ予測できる。結合された孤立領域の形状、位置、およびサイズは、孤立領域ピクチャグループにおいてピクチャ毎に発展できる。
【０１２３】
Ｈ．２６４／ＡＶＣコーデックにおける孤立領域のコーディングは、スライスグループに基づくことができる。マクロブロック位置のスライスグループへのマッピングは、ピクチャパラメータセットにおいて指定できる。Ｈ．２６４／ＡＶＣシンタックスは、あるスライスグループパターンをコード化するためのシンタックスを含んでおり、そのシンタックスは、スタティック（ｓｔａｔｉｃ）およびエボルビング（ｅｖｏｌｖｉｎｇ）という２つのタイプに分類可能である。スタティックスライスグループは、ピクチャパラメータセットが有効である限りは変化することなく留まるが、エボルビングスライスグループは、ピクチャパラメータセットにおける対応するパラメータと、スライスヘッダにおけるスライスグループ変化サイクルパラメータに従ってピクチャ毎に変化可能である。スタティックスライスグループパターンには、インタリーブ形状、市松模様、長方形指向、および自由形状がある。エボルビングスライスグループパターンには、水平ワイプ、垂直ワイプ、ボックスイン、およびボックスアウトがある。長方形指向パターンとエボルビングパターンは、孤立領域のコーディングに対して特に適しており、下記に、より念入りに記述される。
【０１２４】
長方形指向スライスグループパターンに対しては、ピクチャ領域内に、所望の数の長方形が指定される。前景スライスグループは、対応する長方形内のマクロブロック位置を含んでいるが、より早く指定されたスライスグループにより既に割り当てられているマクロブロック位置は除外される。残存スライスグループは、前景スライスグループによりカバーされていないマクロブロックを含んでいる。
【０１２５】
エボルビングスライスグループは、マクロブロック位置のスキャン順およびピクチャ当たりのマクロブロック数における、スライスグループのサイズの変化率を示すことにより指定される。各コード化ピクチャは、スライスグループ変化サイクルパラメータ（スライスヘッダにおいて搬送される）と関係付けられている。変化率を掛けた変化サイクルは、第１スライスグループにおけるマクロブロック数を示している。第２スライスグループは、残りのマクロブロック位置を含んでいる。
【０１２６】
Ｈ．２６４／ＡＶＣにおいては、ピクチャ内予測は、スライスグループ境界がスライス境界にあるために、スライスグループ境界を跨いでの機能は停止される。従って、各スライスグループは、孤立領域または残存領域である。
【０１２７】
各スライスグループは、ピクチャ内に識別番号を有している。エンコーダは、符号化されるスライスグループと同じ識別番号を有しているスライスグループに属している復号化マクロブロックのみを参照するように動きベクトルを規制可能である。エンコーダは、幾つかのソースサンプルが分数画素内挿において必要であり、すべてのソースサンプルは、特定のスライスグループ内にあるべきであるという事実を考慮すべきである。
【０１２８】
Ｈ．２６４／ＡＶＣコーデックは、デブロッキングループフィルタを含んでいる。ループフィルタ処理は、各４×４ブロック境界に適用されるが、ループフィルタ処理は、スライス境界においてエンコーダにより機能を停止することが可能である。ループフィルタ処理がスライス境界において機能を停止された場合、デコーダにおける完全再構築ピクチャが、緩やかなランダムアクセスを行うときに達成可能である。それ以外の場合は、再構築ピクチャは、回復ポイントの後でも、コンテンツにおいて不完全であることがある。
【０１２９】
Ｈ．２６４／ＡＶＣ標準の回復ポイントＳＥＩメッセージおよび動き抑制スライスグループセットＳＥＩメッセージは、幾つかのスライスグループは、規制された動きベクトルにより孤立領域としてコード化されていることを示すために使用可能である。デコーダは、例えば、より速いランダムアクセスを達成するため、または残存領域を無視することで処理時間を節約するためにその情報を利用できる。
【０１３０】
サブピクチャのコンセプトがＨＥＶＣに対して提案されており、例えば、文書ＪＣＴＶＣ−Ｉ０３５６＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／９＿Ｇｅｎｅｖａ／ｗｇｌｌ／ＪＣＴＶＣ−Ｉ０３５６−ｖ１．ｚｉｐ＞において提案されており、Ｈ．２６４／ＡＶＣの長方形の孤立領域または長方形の動き抑制スライスグループセットに類似している。ＪＣＴＶＣ−Ｉ０３５６において提案されているサブピクチャのコンセプトを下記に記述するが、サブピクチャは他の方法でも同様に、しかし下記に記述されるものとは同一ではないように定義できるということは理解されたい。サブピクチャのコンセプトにおいては、ピクチャは、予め定義された長方形領域にパーティション分割される。各サブピクチャは、ピクチャを構成しているすべてのサブピクチャが、ＳＰＳ、ＰＰＳ、および参照ピクチャセットのような同じ全体的な情報を共有するということ以外は、独立したピクチャとして処理される。サブピクチャは、幾何学的にタイルに類似している。その特性は下記の通りである。サブピクチャは、シーケンスレベルで指定された、ＬＣＵ整列された長方形領域である。ピクチャにおけるサブピクチャは、ピクチャのサブピクチャラスタスキャンにおいてスキャンできる。各サブピクチャは新しいスライスを開始する。複数のタイルがピクチャに存在する場合は、サブピクチャ境界とタイル境界を整列できる。サブピクチャを跨いでのループフィルタ処理はできない。サブピクチャの外では、サンプル値と動き情報は予測できず、サブピクチャの外側の１つ以上のサンプル値を使用して導出された分数サンプル場所におけるサンプル値は何れも、サブピクチャ内の如何なるサンプルをインタ予測するためには使用できない。動きベクトルがサブピクチャの外側の領域を指し示している場合は、ピクチャ境界に対して定義されたパディング（詰め込み）プロセスを適用できる。ＬＣＵは、サブピクチャが２つ以上のタイルを含んでいない限り、サブピクチャ内でラスタ順にスキャンされる。サブピクチャ内のタイルは、サブピクチャのタイルラスタスキャンにおいてスキャンされる。タイルは、デフォルトである１つのピクチャあたり１つのタイルという場合を除いて、サブピクチャ境界を横切ることはできない。ピクチャレベルで利用可能なすべてのコーディング機構は、サブピクチャレベルでサポートされる。
【０１３１】
スケーラブルビデオコーディングは、１つのビットストリームが、異なるビットレート、解像度、および／またはフレームレートでのコンテンツの複数の表現を含むことが可能なコーディング構造のことを指す。これらの場合、受け手側は、その特性（例えば、装置のディスプレイの解像度に最もよく整合する解像度）に従って、所望の表現を抽出可能である。代替として、サーバーまたはネットワーク要素は、受け手側に送信されるビットストリームの部分を、例えば、ネットワーク特性または受け手側の処理能力に従って抽出可能である。
【０１３２】
スケーラブルビットストリームは、利用可能な最も低画質のビデオを提供するベース層と、下位の層と共に受信および復号化されたときに、ビデオ画質を向上する１つ以上のエンハンスメント層から構成できる。エンハンスメント層は、時間解像度（つまりフレームレート）、空間解像度、または単に、別の層またはその一部により表現されるビデオコンテンツの品質を向上することができる。エンハンスメント層に対するコーディング効率を改善するために、その層のコード化表現は、下位の層に依存することができる。例えば、エンハンスメント層の動きおよびモード情報は、下位の層から予測可能である。同様に、下位の層の画素データは、エンハンスメント層に対する予測を作成するために使用可能である。
【０１３３】
各スケーラブル層は、その依存層すべてと共に、ある空間解像度、時間解像度、および品質レベルにおけるビデオ信号の１つの表現である。この文書においては、スケーラブル層を、その依存層すべてと共に、「スケーラブル層表現」と称する。スケーラブル層表現に対応するスケーラブルビットストリームの部分は、ある忠実度における元々の信号の表現を生成するために抽出且つ復号化可能である。
【０１３４】
幾つかの場合においては、エンハンスメント層におけるデータは、ある位置以降を、または任意の場所でトランケートすること（ある場所以降を切り捨てること）が可能であり、各トランケーションの場所は、益々向上されている視覚品質を表現している追加的データを含むことができる。そのようなスケーラビリティは、精細粒度スケーラビリティ（ＦＧＳ）と称される。ＦＧＳはＳＶＣ標準の幾つかの草案バージョンに含まれていたが、最終ＳＶＣ標準からは結局は除外された。ＦＧＳは、ＳＶＣ標準の幾つかの草案バージョンとの関連において続いて検討される。トランケートできないエンハンスメント層により提供されるスケーラビリティは、粗粒度スケーラビリティ（ＣＧＳ）と称される。ＣＧＳは、従来の品質（ＳＮＲ）スケーラビリティと空間スケーラビリティをまとめて含んでいる。ＳＶＣ標準は、いわゆる中間粒度スケーラビリティ（ＭＧＳ）をサポートしており、このスケーラビリティにおいては、品質エンハンスメントピクチャは、ＳＮＲスケーラブル層ピクチャと類似してコード化されるが、０より大きなｑｕａｌｉｔｙ＿ｉｄシンタックス要素を有することにより、ＦＧＳ層ピクチャと類似して、ハイレベルシンタックス要素により示される。
【０１３５】
ＳＶＣは、層間予測機構を使用し、ある情報は、現在再構築されている層以外の層、または次の下位層から予測可能である。層間予測が可能な情報には、イントラテクスチャ、動きおよび残差データが含まれる。層間動き予測は、ブロックコーディングモード、ヘッダ情報などの予測を含み、下位層からの動きは、上位層の予測に使用できる。イントラコーディングの場合、周囲のマクロブロックからの、または下位層の共に位置しているマクロブロックからの予測が可能である。これらの予測技術は、先行してコード化されたアクセスユニットからの情報を採用しないので、イントラ予測技術と称される。更に、下位層からの残差データはまた、現在層の予測にも採用可能である。
【０１３６】
ＳＶＣは、シングルループ復号化として知られているコンセプトを指定している。シングルループ復号化は、抑制イントラテクスチャ予測モードを使用ことにより機能するようになり、それにより、層間イントラテクスチャ予測は、ベース層の対応するブロックが、イントラマクロブロック（ＭＢ）の内部に位置しているマクロブロック（ＭＢ）に適用可能である。同時に、ベース層におけるイントラＭＢは、抑制イントラ予測を使用する（つまり、１に等しいシンタックス要素「ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ」を有している）。シングルループ復号化においては、デコーダは、再生が所望されるスケーラブル層（「所望層」または「目標層」と呼ばれる）に対してのみ動き補償と完全ピクチャ再構築を行うので、それにより、復号化の煩雑さを相当に削減する。層間予測（それが層間イントラテクスチャ予測、層間動き予測、または層間残差予測であろうとなかろうと）に使用されていないＭＢのデータのすべてまたは一部は所望層の再構築に必要ないので、所望層以外のすべての層が完全に復号化される必要はない。シングル復号化ループは、ほとんどのピクチャの復号化に必要であるが、第２復号化ループは、予測参照として必要であるが、出力または表示には必要なく、いわゆるキーピクチャ（これに対しては、「ｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ」は１に等しい）に対してのみ再構築されるベース表現を再構築するために選択的に適用される。
【０１３７】
ＳＶＣ草案におけるスケーラビリティ構造は、３つのシンタックス要素、「ｔｅｍｐｏｒａｌ＿ｉｄ」、「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」、および「ｑｕａｌｉｔｙ＿ｉｄ」により特徴付けられる。シンタックス要素「ｔｅｍｐｏｒａｌ＿ｉｄ」は、時間スケーラビリティ階層、または間接的には、フレームレートを示すために使用される。より小さな最大「ｔｅｍｐｏｒａｌ＿ｉｄ」値のピクチャを備えているスケーラブル層表現は、より大きな最大「ｔｅｍｐｏｒａｌ＿ｉｄ」のピクチャを備えているスケーラブル層表現よりも、より小さなフレームレートを有している。所与の時間層は代表的には、下位の時間層（つまり、より小さな「ｔｅｍｐｏｒａｌ＿ｉｄ」値の時間層）に依存するが、如何なる上位の時間層にも依存しない。シンタックス要素「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」は、ＣＧＳ層間コーディング依存性階層（前述したように、ＳＮＲおよび空間スケーラビリティの両者を含む）を示すために使用される。何れの時間レベル位置においても、より小さな「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」値のピクチャは、より大きな「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」値のピクチャのコーディングのための層間予測に使用できる。シンタックス要素「ｑｕａｌｉｔｙ＿ｉｄ」は、ＦＧＳまたはＭＧＳ層の品質レベル階層を示すために使用される。何れの時間位置においても、同じ「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」値であれば、ＱＬに等しい「ｑｕａｌｉｔｙ＿ｉｄ」のピクチャは、層間予測のために、ＱＬ−１に等しい「ｑｕａｌｉｔｙ＿ｉｄ」のピクチャを使用する。０より大きい「ｑｕａｌｉｔｙ＿ｉｄ」のコード化スライスは、トランケーション可能ＦＧＳスライスまたは非トランケーション可能ＭＧＳスライスの何れかとしてコード化できる。
【０１３８】
簡便性のために、「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」の同じ値を有している１つのアクセスユニットにおけるすべてのデータユニット（例えば、ＳＶＣに関連するネットワーク抽象化層ユニットまたはＮＡＬユニット）は、依存性ユニットまたは依存性表現と称する。１つの依存性ユニット内では、「ｑｕａｌｉｔｙ＿ｉｄ」の同じ値を有しているすべてのデータユニットは、品質ユニットまたは層表現と称される。
【０１３９】
復号化ベースピクチャとしても知られているベース表現は、０に等しい「ｑｕａｌｉｔｙ＿ｉｄ」を有しており、「ｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ」が１に等しいように設定されている依存性ユニットのビデオコーディング層（ＶＣＬ）ＮＡＬユニットを復号化した結果としての復号化ピクチャである。復号化ピクチャとも称されるエンハンスメント表現は、最上位の依存性表現のために存在しているすべての層表現が復号化される規則的復号化プロセスの結果である。
【０１４０】
前述したように、ＣＧＳは空間スケーラビリティとＳＮＲスケーラビリティの両者を含んでいる。空間スケーラビリティは最初は、異なる解像度のビデオの表現をサポートするために設計された。各時間インスタンスに対して、ＶＣＬ  ＮＡＬユニットは同じアクセスユニットにおいてコード化され、これらのＶＣＬ  ＮＡＬユニットは、異なる解像度に対応することが可能である。復号化の間、低解像度のＶＣＬ  ＮＡＬユニットは、高解像度のピクチャの最終復号化および再構築によりオプションとして受け継がれることが可能な動きフィールドおよび残差を提供する。以前のビデオ圧縮標準と比較すると、ＳＶＣの空間スケーラビリティは、ベース層が、エンハンスメント層のクロップされ（出力画像の形態に合わせて上下左右の画素が切り出され）およびズームされ（拡大／縮小され）たバージョンであることを可能にするために普遍化された。
【０１４１】
ＭＧＳ品質層は、ＦＧＳ品質層と同様に、「ｑｕａｌｉｔｙ＿ｉｄ」により示される。各依存性ユニット（同じ「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」を有している）に対しては、０に等しい「ｑｕａｌｉｔｙ＿ｉｄ」の層があり、０より大きい「ｑｕａｌｉｔｙ＿ｉｄ」の他の層もあり得る。０より大きな「ｑｕａｌｉｔｙ＿ｉｄ」のこれらの層は、スライスがトランケーション可能なスライスとしてコード化されたかどうかに従って、ＭＧＳ層またはＦＧＳ層の何れかである。
【０１４２】
ＦＧＳエンハンスメント層の基本形状においては、層間予測のみが使用される。従って、ＦＧＳエンハンスメント層は、復号化されたシーケンスにおいて如何なるエラー伝搬も引き起こすことなく自由にトランケーションが可能である。しかし、ＦＧＳの基本形状は、低圧縮効率の影響を受ける。この問題は、低品質ピクチャのみがインタ予測参照に使用されるために起こる。従って、ＦＧＳ強化ピクチャがインタ予測参照として使用されるべきであるということが提案されている。しかし、これは、何らかのＦＧＳデータが破棄されたときに、符号化と復号化の間の、ドリフトとも称される不整合を引き起こす。
【０１４３】
ＳＶＣ標準草案の１つの特徴は、ＦＧＳ  ＮＡＬユニットを自由にドロップまたはトランケートすることが可能であるということであり、ＳＶＣＶ標準の特徴は、ＭＧＳ  ＮＡＬユニットを自由に、ビットストリームの準拠状態に影響を与えることなく自由にドロップすることが可能である（しかし、トランケートすることはできない）ということである。上記に検討したように、ＦＧＳまたはＭＧＳデータが、符号化の間のインタ予測参照に使用されたときは、データのドロッピングまたはトランケーションは、デコーダ側およびエンコーダ側における復号化ピクチャ間の不整合という結果になる。この不整合はドリフトとも称される。
【０１４４】
ＦＧＳまたはＭＧＳデータのドロッピングまたはトランケーションによるドリフトを制御するために、ＳＶＣは下記のソリューションを適用した。ある依存性ユニットにおいては、（０に等しい「ｑｕａｌｉｔｙ＿ｉｄ」のＣＧＳピクチャのみと、下位層に依存するすべてのデータを復号化することによる）ベース表現は、復号化ピクチャバッファに格納される。「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」の同じ値の後続する依存性ユニットを符号化するときは、ＦＧＳまたはＭＧＳ  ＮＡＬユニットを含むすべてのＮＡＬユニットは、インタ予測参照にベース表現を使用する。従って、先行するアクセスユニットにおけるＦＧＳまたはＭＧＳ  ＮＡＬユニットのドロッピングまたはトランケーションによるすべてのドリフトはこのアクセスユニットにおいて止められる。「ｄｅｐｅｎｄｅｎｃｙ＿ｉｄ」の同じ値の他の依存性ユニットに対しては、すべてのＮＡＬユニットは、高いコーディング効率のために、インタ予測参照に復号化ピクチャを使用する。
【０１４５】
各ＮＡＬユニットは、ＮＡＬユニットヘッダにおいて、シンタックス要素「ｕｓｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ」を含んでいる。この要素の値が１に等しいときは、ＮＡＬユニットの復号化は、インタ予測プロセスの間に参照ピクチャのベース表現を使用する。シンタックス要素「ｓｔｏｒｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ」は、現在ピクチャのベース表現を、インタ予測に使用する将来ピクチャのために格納する（１に等しいとき）か否か（０に等しいとき）を指定する。
【０１４６】
０より大きい「ｑｕａｌｉｔｙ＿ｉｄ」のＮＡＬユニットは、参照ピクチャリスト構築および重み付け予測に関連するシンタックス要素を含んでいない。つまり、シンタックス要素「ｎｕｍ＿ｒｅｆ＿ａｔｉｖｅ＿ｌｘ＿ｍｉｎｕｓ１」（ｘ＝０または１）、参照ピクチャリスト再順序化シンタックステーブル、および重み付け予測シンタックステーブルは存在しない。従って、ＭＧＳまたはＦＧＳ層は、これらのシンタックス要素を、必要なときは、同じ依存性ユニットの、０に等しい「ｑｕａｌｉｔｙ＿ｉｄ」のＮＡＬユニットから受け継がなければならない。
【０１４７】
ＳＶＣにおいては、参照ピクチャリストは、ベース表現のみか（「ｕｓｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ」が１に等しいとき）または「ベース表現」とマークされていない復号化ピクチャのみ（「ｕｓｅ＿ｒｅｆ＿ｂａｓｅ＿ｐｉｃ＿ｆｌａｇ」が０に等しいとき）の何れかにより構成されるが、同時に両者から構成されることはない。
【０１４８】
Ｈ．２６４／ＡＶＣビットストリームにおいては、１つのコード化ビデオシーケンスにおけるコード化ピクチャは同じシーケンスパラメータセットを使用し、復号化プロセスの間の何れの時間インスタンスにおいても、１つのシーケンスパラメータセットのみがアクティブである。ＳＶＣにおいては、異なるスケーラブル層からのコード化ピクチャは、異なるシーケンスパラメータセットを使用できる。異なるシーケンスパラメータセットが使用された場合、復号化プロセスの間の何れの時間インスタンスにおいても、２つ以上のアクティブシーケンスピクチャパラメータセットが存在し得る。ＳＶＣ仕様においては、上層に対するシーケンスピクチャパラメータセットは、アクティブシーケンスピクチャパラメータセットとして表わされ、残りは、層アクティブシーケンスピクチャパラメータセットと称される。何れの所与のアクティブシーケンスピクチャパラメータセットも、アクティブシーケンスラメータセットが参照される層におけるコード化ビデオシーケンスを通して、不変のままで留まる。
【０１４９】
スケーラブルネスティングＳＥＩメッセージがＳＶＣにおいて指定されている。スケーラブルネスティングＳＥＩメッセージは、ＳＥＩメッセージを、示されている依存性表現または他のスケーラブル層のような、ビットストリームのサブセットと関連付けるための機構を提供する。スケーラブルネスティングＳＥＩメッセージは、スケーラブルネスティングＳＥＩメッセージ自体ではない、１つ以上のＳＥＩメッセージを含んでいる。スケーラブルネスティングＳＥＩメッセージに含まれているＳＥＩメッセージは、ネステッドＳＥＩメッセージと称される。スケーラブルネスティングＳＥＩメッセージに含まれていないＳＥＩメッセージは、非ネステッドＳＥＩメッセージと称される。
【０１５０】
品質スケーラビリティ（信号対雑音比またはＳＮＲとしても知られている）および／または空間スケーラビリティのためのスケーラブルビデオエンコーダは、下記のように実現できる。ベース層に対しては、従来の非スケーラブルビデオエンコーダおよびデコーダが使用できる。ベース層の再構築／復号化ピクチャは、エンハンスメント層用の参照ピクチャバッファおよび／または参照ピクチャリストに含まれている。空間スケーラビリティの場合は、再構築／復号化ベース層ピクチャは、エンハンスメント層ピクチャ用の参照ピクチャリストに挿入される前に、アップサンプリングできる。ベース層復号化ピクチャは、エンハンスメント層の復号化参照ピクチャと同様に、エンハンスメント層ピクチャのコーディング／復号化のための参照ピクチャリストに挿入できる。従って、エンコーダは、ベース層参照ピクチャを、インタ予測参照として選択でき、その使用を、コード化ビットストリームにおける参照ピクチャインデックスにより示すことができる。デコーダは、ビットストリームから、例えば、参照ピクチャインデックスから、ベース層ピクチャが、エンハンスメント層に対するインタ予測参照として使用されているということを復号化する。復号化ベース層ピクチャが、エンハンスメント層に対する予測参照として使用されるときは、それは層間参照ピクチャと称される。
【０１５１】
前段落では、エンハンスメント層とベース層の２つのスケーラビリティ層のスケーラブルビデオコーデックを記述したが、記述は、３つ以上の層のスケーラビリティ階層における任意の２つの層に対しても一般化可能であるということは理解される必要がある。この場合、符号化および／または復号化プロセスにおいては、第２エンハンスメント層は、第１エンハンスメント層に依存でき、従って、第１エンハンスメント層は、第２エンハンスメント層の符号化および／または復号化のためのベース層と見なすことができる。更に、エンハンスメント層の参照ピクチャバッファまたは参照ピクチャリストにおける２つ以上の層からの層間参照ピクチャがあり得、これらの層間参照ピクチャのそれぞれは、符号化および／または復号化されているエンハンスメント層のためのベース層または参照層に存在すると考えることもできるということは理解される必要がある。
【０１５２】
フレームパッキングとは、２つ以上のフレームが、エンコーダ側で、符号化のための前処理ステップとして単一のフレームにパックされる（詰め込まれる）方法のことであり、フレームがパックされたフレームは、従来の２Ｄビデオコーディング方式により復号化される。従って、デコーダにより生成された出力フレームは、エンコーダ側で１つのフレームに空間的にパックされた入力フレームに対応する構成要素フレームを含んでいる。フレームパッキングは立体映像ビデオに対して使用でき、１つが左の目／カメラ／ビューに対応し、他の１つが右の目／カメラ／ビューに対応する１対のフレームが単一フレームにパックされる。フレームパッキングはまた、または代替として、深度またはディスパリティ強化ビデオに使用でき、構成要素フレームの１つが、規則的カラー情報（ルマおよびクロマ情報）を含んでいる他の構成要素フレームに対応する深度またはディスパリティ情報を表現する。フレームパッキングの使用は、例えば、Ｈ．２６４／ＡＶＣまたはそれに類似のフレームパッキング配置ＳＥＩメッセージを使用して、ビデオビットストリームにおいて信号で知らせることができる。フレームパッキングの使用はまた、または代替として、高精細マルチメディアインタフェース（ＨＤＭＩ）のようなビデオインタフェース上を介して示すことができる。フレームパッキングの使用はまた、または代替として、セッション記述プロトコル（ＳＤＰ）のような、種々の機能交換およびモードネゴシエーションプロトコルを使用して表示／またはネゴシエートできる。デコーダまたはレンダラは、表示されたフレームパッキング配置タイプに従って、復号化フレームから構成要素フレームを抽出できる。
【０１５３】
一般的に、フレームパッキングは、例えば、フレームが３つ以上のビューの構成要素フレームを含むことができるように、および／または、幾つかのまたはすべての構成要素フレームが等しくない空間範囲を有することができるように、および／または構成要素フレームが深度またはビュー構成要素であることができるような方法で適用できる。例えば、フレームがパックされたビデオのピクチャは、ビデオプラス深度表現、つまり、テクスチャフレームと深度フレームを、例えば、横に並べたフレームパッキング配置において含むことができる。
【０１５４】
フレームがパックされたビデオにおける構成要素フレームのサブセットに対してのみ適用される特徴、コーディング特性、およびそれに類似したものは、例えば、特定のネスティングＳＥＩメッセージを介して表示できる。そのようなネスティングＳＥＩメッセージは、それがどの構成要素フレームに対して適用されるかを示すことができ、また、示された構成要素フレームに適用される１つ以上のＳＥＩメッセージを含むことができる。例えば、動き抑制タイルセットＳＥＩメッセージは、コード化ビデオシーケンス内のような、孤立領域ピクチャグループを形成する、示されたまたは推測されるピクチャのグループ内におけるタイルインデックスまたはアドレスのようなセットを示すことができる。
【０１５５】
前述したように、ＭＶＣはＨ．２６４／ＡＶＣの拡張である。Ｈ．２６４／ＡＶＣの定義、コンセプト、シンタックス構造、セマンティックス、および復号化プロセスの多くがそのまま、またはある一般化または抑制を伴ってＭＶＣにも適用される。ＭＶＣの幾つかの定義、コンセプト、シンタックス構造、セマンティックス、および復号化プロセスが下記に記述される。
【０１５６】
ＭＶＣにおけるアクセスユニットは、復号化順において連続しており、１つ以上のビュー構成要素から構成されている正確に１つの１次コード化ピクチャを含んでいるＮＡＬユニットのセットとして定義される。１次コード化ピクチャに加えて、アクセスユニットはまた、１つ以上の冗長コード化ピクチャ、１つの補助コード化ピクチャ、またコード化ピクチャのスライスまたはスライスデータパーティション分割部を含んでいない他のＮＡＬユニットも含むことができる。アクセスユニットの復号化は、復号化に影響を与え得る復号化エラー、ビットストリームエラー、または他のエラーが起きないときは、１つ以上の復号化ビュー構成要素から構成される１つの復号化ピクチャという結果になる。言い換えると、ＭＶＣにおけるアクセスユニットは、１つの出力時間インスタンスに対するビューのビュー構成要素を含んでいる。
【０１５７】
ＭＶＣにおけるビュー構成要素は、単一のアクセスユニットにおけるビューのコード化表現と称される。
【０１５８】
ビュー間予測はＭＶＣにおいて使用でき、同じアクセスユニットの異なるビュー構成要素の復号化サンプルからのビュー構成要素の予測のことを指す。ＭＶＣにおいては、ビュー間予測は、インタ予測と同様に実現される。例えば、ビュー間参照ピクチャは、インタ予測のための参照ピクチャと同じ参照ピクチャリストに置かれ、動きベクトルと共に、参照インデックスはビュー間およびインタ参照ピクチャに対してと同様にコード化または推測される。
【０１５９】
アンカピクチャはコード化ピクチャであり、すべてのスライスは同じアクセスユニット内のスライスのみを参照できる。つまり、ビュー間予測を使用できるが、インタ予測は使用されず、出力順において後続するすべてのコード化ピクチャは、コード化ピクチャに復号化順において先行する何れのピクチャからのインタ予測も使用しない。ビュー間予測は、非ベースビューの一部であるＩＤＲビュー構成要素に使用できる。ＭＶＣにおけるべースビューは、コード化ビデオシーケンスにおけるビュー順序インデックスの最小値を有しているビューである。べースビューは、他のビューとは独立して復号化可能で、ビュー間予測を使用しない。べースビューは、Ｈ．２６４／ＡＶＣのベースラインプロファイルまたはハイプロファイルのような、シングルビュープロファイルのみをサポートしているＨ．２６４／ＡＶＣデコーダにより復号化可能である。
【０１６０】
ＭＶＣ標準においては、ＭＶＣ復号化プロセスのサブプロセスの多くは、Ｈ．２６４／ＡＶＣ標準のサブプロセス仕様における用語「ピクチャ」、「フレーム」、および「フィールド」を、「ビュー構成要素」、「フレームビュー構成要素」、および「フィールドビュー構成要素」それぞれに置き換えることにより、Ｈ．２６４／ＡＶＣ標準の各サブプロセスを使用する。同様に、用語「ピクチャ」、「フレーム」、および「フィールド」は下記においては、「ビュー構成要素」、「フレームビュー構成要素」、および「フィールドビュー構成要素」それぞれを意味するためにしばしば使用される。
【０１６１】
前述したように、ＭＶＣビットストリームの非べースビューは、サブセットシーケンスパラメータセットＮＡＬユニットを参照できる。ＭＶＣに対するサブセットシーケンスパラメータセットは、ベースＳＰＳデータ構造およびシーケンスパラメータセットＭＶＣ拡張データ構造を含んでいる。ＭＶＣにおいては、異なるビューからのコード化ピクチャは、異なるシーケンスパラメータセットを使用できる。ＭＶＣにおけるＳＰＳ（具体的には、ＭＶＣにおけるＳＰＳのシーケンスパラメータセットＭＶＣ拡張部）は、ビュー間予測のためのビュー依存性情報を含むことが可能である。これは、例えば、ビュー依存性ツリーを構築するために、シグナリング処理可能メディアゲートウェイにより使用できる。
【０１６２】
マルチビュービデオコーディングに関連して、ビュー順序インデックスは、アクセスユニットにおけるビュー構成要素の復号化またはビットストリーム順を示すインデックスと定義できる。ＭＶＣにおいては、ビュー間依存性関係は、シーケンスパラメータセットに含まれている、シーケンスパラメータセットＭＶＣ拡張において示される。ＭＶＣ標準によれば、コード化ビデオシーケンスにより参照されるすべてのシーケンスパラメータセットＭＶＣ拡張は、同一であることが要求される。シーケンスパラメータセットＭＶＣ拡張の下記の抜粋は、ビュー間依存性関係がＭＶＣにおいて示される様子の更なる詳細を提供する。
【表３】
0006787667.tif 000004
【０１６３】
ＭＶＣ復号化プロセスにおいて、変数ＶＯＩｄｘは、ｖｉｅｗ＿ｉｄ（復号化されているコード化スライスのＭＶＣ  ＮＡＬユニットヘッダから得ることができる）により識別されるビューのビュー順序インデックスを表現でき、また、参照されたサブセットシーケンスパラメータセットに含まれているシンタックス要素ｖｉｅｗ＿ｉｄ［ｉ］がｖｉｅｗ＿ｉｄに等しく設定される、ｉの値に等しく設定することができる。
【０１６４】
シーケンスパラメータセットＭＶＣ拡張のセマンティックスは、次のように指定できる。ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１は、コード化ビデオシーケンスにおけるコード化ビューの最大数を指定する。コード化ビデオシーケンスにおけるビューの実際の数は、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ１プラス１未満であってよい。ｖｉｅｗ＿ｉｄ［ｉ］は、ｉに等しいＶＯＩｄｘのビューのｖｉｅｗ＿ｉｄを指定する。ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ０［ｉ］は、ｉに等しいＶＯＩｄｘのアンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０におけるビュー間予測のためのビュー構成要素の数を指定する。ａｎｃｈｏｒ＿ｒｅｆ＿Ｉ０［ｉ］［ｊ］は、ｉに等しいＶＯＩｄｘのアンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０におけるビュー間予測のためのｊ番目のビュー構成要素のｖｉｅｗ＿ｉｄを指定する。ｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ１［ｉ］は、ｉに等しいＶＯＩｄｘのアンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１におけるビュー間予測のためのビュー構成要素の数を指定する。ａｎｃｈｏｒ＿ｒｅｆ＿Ｉ１［ｉ］［ｊ］は、ｉに等しいＶＯＩｄｘのアンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１におけるビュー間予測のためのｊ番目のビュー構成要素のｖｉｅｗ＿ｉｄを指定する。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ０［ｉ］は、ｉに等しいＶＯＩｄｘの非アンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０におけるビュー間予測のためのビュー構成要素の数を指定する。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ０［ｉ］［ｊ］は、ｉに等しいＶＯＩｄｘの非アンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０におけるビュー間予測のためのｊ番目のビュー構成要素のｖｉｅｗ＿ｉｄを指定する。ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ１［ｉ］は、ｉに等しいＶＯＩｄｘの非アンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１におけるビュー間予測のためのビュー構成要素の数を指定する。ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ１［ｉ］［ｊ］は、ｉに等しいＶＯＩｄｘの非アンカビュー構成要素を復号化するときの初期参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１におけるビュー間予測のためのｊ番目のビュー構成要素のｖｉｅｗ＿ｉｄを指定する。ｖＩｄ１に等しいｖｉｅｗ＿ｉｄおよびｖＯＩｄｘ１に等しいＶＯＩｄｘの如何なる特定のビュー、およびｖＩｄ２に等しいｖｉｅｗ＿ｉｄおよびｖＯＩｄｘ２に等しいＶＯＩｄｘの別のビューに対しても、ｖＩｄ２が、０からｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ０［ｖＯＩｄｘ１］の間（ただし、両者は除外する）の範囲におけるすべてのｊに対するｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿Ｉ０［ｖＯＩｄｘ１］［ｊ］の１つ、または０からｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ１［ｖＯＩｄｘ１］の間（ただし、両者は除外する）の範囲におけるすべてのｊに対するｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿Ｉ１［ｖＯＩｄｘ１］［ｊ］の１つの値に等しいときは、ｖＩｄ２はまた、０からｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ０［ｖＯＩｄｘ１］の間（ただし、両者は除外する）の範囲におけるすべてのｊに対するａｎｃｈｏｒ＿ｒｅｆ＿Ｉ０［ｖＯＩｄｘ１］［ｊ］の１つ、または０からｎｕｍ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ１［ｖＯＩｄｘ１］の間（ただし、両者は除外する）の範囲におけるすべてのｊに対するａｎｃｈｏｒ＿ｒｅｆ＿Ｉ１［ｖＯＩｄｘ１］［ｊ］の１つにの値に等しいことが要求される。非アンカビュー構成要素に対するビュー間依存性は、アンカビュー構成要素に対するビュー間依存性のサブセットである。
【０１６５】
ＭＶＣにおいては、動作ポイントは、次の通り定義できる。動作ポイントは、目標時間レベルを表現しているｔｅｍｐｏｒａｌ＿ｉｄ値および目標出力ビューを表現しているｖｉｅｗ＿ｉｄ値のセットにより識別される。１つの動作ポイントは、目標出力ビューおよび目標出力ビューが依存するすべての他のビューから構成され、ｔｅｍｐｏｒａｌ＿ｉｄ値と等しいｔＩｄＴａｒｇｅｔと、入力としてのｖｉｅｗ＿ｉｄ値のセットから構成されるｖｉｅｗＩｄＴａｒｇｅｔＬｉｓｔによるサブビットストリーム抽出プロセスを使用して導出されるビットストリームサブセットと関連付けられている。２つ以上の動作ポイントを同じビットストリームサブセットと関連付けることができる。「動作ポイントが復号化」されるときに、動作ポイントに対応するビットストリームサブセットは復号化でき、その後、目標出力ビューを出力できる。
【０１６６】
スケーラブルマルチビューコーディングにおいては、同じビットストリームは、複数のビューのコード化ビュー構成要素を含むことができ、少なくとも幾つかのコード化ビュー構成要素は、品質および／または空間スケーラビリティを使用してコード化できる。
【０１６７】
テクスチャビューとは、通常のビデオコンテンツを表現し、例えば、通常のカメラを使用して捕捉され、普通は、ディスプレイ上でのレンダリングに適切なビューのことである。テクスチャビューは代表的には、３つの構成要素、つまり、１つのルマ構成要素と２つのクロマ構成要素を有しているピクチャを備えている。下記においては、テクスチャビューは代表的には、別途、例えばルマテクスチャピクチャおよびクロマテクスチャピクチャの用語で示されない限り、すべてのその構成要素ピクチャまたはカラー構成要素を備えている。
【０１６８】
深度ビューとは、カメラセンサからのテクスチャサンプルの距離情報、またはテクスチャビューサンプルと、別のビューにおけるそれぞれのテクスチャサンプルの間のディスパリティまたはパララックス、または類似の情報を表現するビューのことである。深度ビューは、テクスチャビューのルマ構成要素と類似している１つの構成要素を有している深度ピクチャ（深度マップとしても知られている）を備えることができる。深度マップは、画素毎の深度情報またはそれに類似のものを有している画像である。例えば、深度マップにおける各サンプルは、それぞれのテクスチャサンプルまたは複数のテクスチャサンプルの、カメラが存在するプレーンからの距離を表現している。言い換えれば、ｚ軸がカメラの撮影軸に沿っている（従って、カメラが存在するプレーンに直交している）場合は、深度マップにおけるサンプルは、ｚ軸上の値を表現する。深度マップ値のセマンティックスは、例えば、下記を含むことができる。
１．コード化深度ビュー構成要素における各ルマサンプル値は、リアルワールド距離（Ｚ）値の逆数、つまり１／Ｚであって、８ビットルマ表現のために、０から２５５（両者の値も含めて）の範囲のような、ルマサンプルの動的範囲において正規化された逆数を表現する。正規化は、量子化１／Ｚが、ディスパリティに関して一様な方法で行うことができる。
２．コード化深度ビュー構成要素における各ルマサンプル値は、リアルワールド距離（Ｚ）値の逆数、つまり１／Ｚであって、８ビットルマ表現のために、０から２５５（両者の値も含めて）の範囲のような、ルマサンプルの動的範囲に、区分的線形マッピングのようなマッピング関数ｆ（１／Ｚ）またはテーブルを使用してマップされる逆数を表現する。言い換えれば、深度マップ値は、関数ｆ（１／Ｚ）の適用という結果になる。
３．コード化深度ビュー構成要素における各ルマサンプル値は、８ビットルマ表現のために、０から２５５（両者の値も含めて）の範囲のような、ルマサンプルの動的範囲において正規化されたリアルワールド距離（Ｚ）値を表現する。
４．コード化深度ビュー構成要素における各ルマサンプル値は、現在深度ビューから別の、示されたまたは導出された深度ビューまたはビューの場所までのディスパリティまたはパララックス値を表現する。
【０１６９】
深度ビュー、深度ビュー構成要素、深度ピクチャ、および深度マップのような語句は種々の実施の形態を記述するために使用されるが、深度マップ値の如何なるセマンティックスも、制限されることはないが、上記の実施の形態を含む種々の実施の形態において使用できるということは理解されるべきである。例えば、発明の実施の形態は、サンプル値がディスパリティ値を示す深度ピクチャに対して適用できる。
【０１７０】
コード化深度マップを含んでいるビットストリームを作成または修正する符号化システムまたは任意の他のエンティティは、深度サンプルのセマンティックスおよび深度サンプルのビットストリームへの量子化方式の情報を作成して含むことができる。深度サンプルのセマンティックスおよび深度サンプルの量子化方式のそのような情報は、例えば、ビデオパラメータセット構造、シーケンスパラメータセット構造、またはＳＥＩメッセージに含むことができる。
【０１７１】
深度強化ビデオとは、１つ以上の深度ビューを有している深度ビデオと関連付けられている１つ以上のビューを有しているテクスチャビデオのことである。深度強化ビデオの表現のために多数のアプローチが使用でき、このアプローチにはビデオプラス深度（Ｖ＋Ｄ）、マルチビュービデオプラス深度（ＭＶＤ）、および層化深度ビデオ（ＬＤＶ）の使用が含まれる。ビデオプラス深度（Ｖ＋Ｄ）表現においては、テクスチャのシングルビューおよびそれぞれの深度のビューが、テクスチャピクチャおよび深度ピクチャそれぞれのシーケンスとして表現される。ＭＶＤ表現は、多数のテクスチャビューおよびそれぞれの深度ビューを含む。ＬＤＶ表現においては、中心ビューのテクスチャおよび深度は従来通りに表現されるが、他のビューのテクスチャおよび深度は部分的に表現され、中間ビューの正しいビュー合成に対して要求される非遮蔽領域のみをカバーする。
【０１７２】
テクスチャビュー構成要素は、単一のアクセスユニットにおけるビューのテクスチャのコード化表現と定義できる。深度強化ビデオビットストリームにおけるテクスチャビュー構成要素は、シングルビューテクスチャビットストリームまたはマルチビューテクスチャビットストリームと互換性のある方法でコード化でき、それにより、シングルビューまたはマルチビューデコーダは、たとえ深度ビューを復号化する能力を有していなくても、テクスチャビューを復号化可能である。例えば、Ｈ．２６４／ＡＶＣデコーダはシングルテクスチャビューを、深度強化Ｈ．２６４／ＡＶＣビットストリームから復号化できる。テクスチャビュー構成要素は、代替として、Ｈ．２６４／ＡＶＣまたはＭＶＣデコーダのようなシングルビューまたはマルチビューテクスチャ復号化が可能なデコーダが、例えば、深度ベースコーディングツールを使用しているために、テクスチャビュー構成要素を復号化できないような方法でコード化できる。深度ビュー構成要素は、単一のアクセスユニットにおけるビューの深度のコード化表現と定義できる。ビュー構成要素対は、同じアクセスユニット内の同じビューのテクスチャビュー構成要素と深度ビュー構成要素と定義できる。
【０１７３】
深度強化ビデオは、テクスチャおよび深度が互いに独立してコード化されるようにコード化できる。例えば、テクスチャビューは、１つのＭＶＣビットストリームとして、そして深度ビューは別のＭＶＣビットストリームとしてコード化できる。深度強化ビデオはまた、テクスチャと深度が一緒にコード化されるようにもコード化できる。テクスチャおよび深度ビューの一緒のコーディングの形状においては、テクスチャピクチャの幾つかの復号化サンプル、またはテクスチャピクチャの復号化のためのデータ要素は、深度ピクチャの幾つかの復号化サンプルまたは、深度ピクチャの復号化プロセスにおいて得られるデータ要素から予測または導出される。代替として、または追加的に、深度チャピクチャの幾つかの復号化サンプル、または深度ピクチャの復号化のためのデータ要素は、テクスチャピクチャの幾つかの復号化サンプル、またはテクスチャピクチャの復号化プロセスにおいて得られるデータ要素から予測または導出される。別のオプションにおいては、テクスチャのコード化ビデオデータおよび深度のコード化ビデオデータは、互いからは予測されず、または一方は、他方に基づいてはコード化／復号化されないが、コード化テクスチャおよび深度ビューは、符号化において同じビットストリームに多重化でき、復号化においてビットストリームから多重分離できる。更に別のオプションにおいては、テクスチャのコード化ビデオデータは、例えば、スライス層の下においては、深度のコード化ビデオデータからは予測されないが、テクスチャビューおよび深度ビューのハイレベルコーディング構造の幾つかは共有でき、または互いから予測できる。例えば、コード化深度スライスのスライスヘッダは、コード化テクスチャスライスのスライスヘッダから予測できる。更に、パラメータセットの幾つかは、コード化テクスチャビューとコード化深度ビューの両者により使用できる。
【０１７４】
幾つかのマルチビュー３Ｄビデオ（３ＤＶ）アプリケーションに対するソリューションは、例えば、モノクロまたはステレオビューの限られた数の入力ビューとある補足的データを有し、必要なビューはすべてデコーダ側で局所的にレンダリングする（つまり合成する）ことであることが判明した。ビューレンダリングに対する幾つかの利用可能な技術から、深度画像ベースレンダリング（ＤＩＢＲ）は、競合可能な代替であることを示した。
【０１７５】
ＤＩＢＲベース３ＤＶシステムの簡略化モデルが図５に示されている。３Ｄビデオコーデックの入力は、立体映像ビデオと、立体映像ベースラインｂ０を有する対応する深度情報を備えている。そして、３Ｄビデオコーデックは、ベースラインの２つの入力ビュー間（ｂｉ＜ｂ０）の多数の仮想ビューを合成する。ＤＩＢＲアルゴリズムはまた、２つの入力ビューの外側にあって、その間にはないビューの外挿も可能にする。同様に、ＤＩＢＲアルゴリズムは、テクスチャのシングルビューおよびそれぞれの深度ビューからのビュー合成を可能にできる。しかし、ＤＩＢＲベースマルチビューレンダリングを可能にするためには、テクスチャデータは、対応する深度データと共に、デコーダ側で利用可能であるべきである。
【０１７６】
そのような３ＤＶシステムにおいては、深度情報はエンコーダ側において、テクスチャビューに対する深度ピクチャ（深度マップとしても知られている）の形状で生成される。
【０１７７】
深度情報は種々の手段により得ることが可能である。例えば、３Ｄシーンの深度は、撮像カメラまたはカラーイメージセンサにより記録されディスパリティから計算できる。ステレオマッチングと称することもできる深度推定アプローチは、立体映像ビューを入力として、ビューの２つのオフセット画像間の局所的ディスパリティを計算する。２つの入力ビューは、異なる視点または観点を表現しているので、パララックスは、点の距離に従って、撮像プレーン上のシーン点の相対的な場所間のディスパリティを作り出す。ステレオマッチングの目標は、ディスパリティを、画像間の対応する点を見つけることにより、または検出することにより抽出することである。ステレオマッチングに対しては幾つかのアプローチが存在する。例えば、ブロックまたはテンプレートマッチングアプローチにおいては、各画像は、重なっているブロックにおいて画素毎に処理され、画素の各ブロックに対しては、オフセット画像におけるマッチングブロックの水平局在化検索が行われる。画素についてのディスパリティが計算されると、対応する深度値ｚは方程式（１）
【数１】
0006787667.tif 000005
により計算され、ここにおいてｆはカメラの焦点距離、ｂは、図６に示されているように、カメラ間のベースライン距離である。更に、ｄは２つのカメラ間で観測されるディスパリティ、または２つのカメラにおける対応する画素間で推定されるディスパリティを示していると考えられる。カメラオフセットΔｄは、２つのカメラの光学中心の可能性のある水平方向の誤った設置、または前処理によるカメラフレームにおける可能性のある水平方向のクロッピングを反映している考えることができる。しかし、アルゴリズムはブロックマッチングに基づいているので、ディスパリティを介しての深度推定の品質はコンテンツに依存し、正確でないこと非常によくある。例えば、テクスチャまたは大きなレベルのノイズがない非常に滑らかな領域を特徴とする画像片に対する深度推定に対する単純なソリューションはない。
【０１７８】
上記のステレオビュー深度推定に対する代替、またはそれに加えて、深度値を、例えば、光源、例えば、シーンを照明するための赤外線エミッタを設けることができるカメラを使用して、光の飛行時間（ＴＯＦ）原理を使用して得ることができる。そのような照明器は、ＬＥＤまたはレーザーダイオードの使用を要求する、例えば１０から１００ＭＨｚ間の周波数に対する強度変調電磁放射を生成するために配置できる。赤外線光は、照明を目立たないようするために使用できる。シーンにおける対象物から反射された光はイメージセンサにより検出され、照明器と同じ周波数で同期して変調できる。イメージセンサには、反射光を集めるレンズおよび照明器と同じ波長の光のみを通過させる光学バンドパスフィルタのような光学機器を設けることができ、そのため、背景光を抑制することが支援される。イメージセンサは、光が照明器から対象物を往復するために必要な時間を各画素に対して測定できる。対象物までの距離は、シーンにおける各画素に対して、サンプリングされたデータから同時に決定可能な、照明変調における位相シフトとして表現できる。
【０１７９】
上述のステレオビュー深度推定および／またはＴＯＦ原理に基づく深度感知の代替として、またはそれらに加えて、深度値は、例えば近似的に次のように動作できる構造化光アプローチを使用して得ることができる。赤外線レーザーエミッタまたは赤外線ＬＥＤエミッタのような光エミッタは、３Ｄ空間におけるある方向を有することができ（例えば、ラスタスキャンまたは擬似ランダムスキャニング順に追従できる）、および／または、例えば、ある波長および／または振幅パターンのようなあるパターンと共に、光エミッタのアレイ内の場所を有することができる光を出射できる。出射された光は対象物から反射され、赤外線イメージセンサのようなセンサを使用して捕捉できる。センサにより得られた画像／信号は、出射された光のパターンと共に、出射された光の方向に関して処理でき、それにより、例えば、三角測量原理を使用して、受信された信号と、出射された光のパターンと共に、出射された光の方向／場所の間の対応を検出できる。この対応から画素の距離と場所を結論できる。
【０１８０】
上述の深度推定および感知方法は、非制限的な例として提供されたものであり、実施の形態は、記述した、または何れの他の深度推定および感知方法および装置により実現できるということは理解されるべきである。
【０１８１】
ディスパリティマップ、またはＩＳＯ／ＩＥＣ国際標準２３００２−３において指定されているようなパララックスマップは、深度マップと同様に処理できる。深度とディスパリティは単純な対応を有しており、数学的方程式により互いに計算可能である。
【０１８２】
テクスチャビューと深度ビューは単一のビットストリームにコード化でき、テクスチャビューの幾つかは、Ｈ．２６４／ＡＶＣおよび／またはＭＶＣのような１つ以上のビデオ標準と互換性を有することができる。言い換えると、デコーダは、そのようなビットストリームのテクスチャビューの幾つかを復号化可能であり、残りのテクスチャビューおよび深度ビューを省略可能であってよい。
【０１８３】
これに関連して、１つ以上のテクスチャおよび深度ビューを、Ｈ．２６４／ＡＶＣおよび／またはＭＶＣと互換性のある単一のビットストリームに符号化するエンコーダは、３ＤＶ−ＡＴＭエンコーダとも呼ばれる。そのようなエンコーダにより生成されるビットストリームは、３ＤＶ−ＡＴＭビットストリームと称することが可能である。３ＤＶ−ＡＴＭビットストリームは、Ｈ．２６４／ＡＶＣおよび／またはＭＶＣデコーダが復号化できないテクスチャビューの幾つかと、深度ビューを含むことができる。３ＤＶ−ＡＴＭビットストリームからすべてのビューを復号化可能なデコーダはまた、３ＤＶ−ＡＴＭデコーダと呼ぶこともできる。
【０１８４】
３ＤＶ−ＡＴＭビットストリームは、選択された数のＡＶＣ／ＭＶＣと互換性のあるテクスチャビューを含むことが可能である。更に、３ＤＶ−ＡＴＭビットストリームは、ＡＶＣ／ＭＶＣ標準のみのコーディングツールを使用してコード化された、選択された数の深度ビューを含むことが可能である。ＡＶＣ／ＭＶＣと互換性のあるテクスチャビューに対する３ＤＶ−ＡＴＭビットストリームの残りの深度ビューはテクスチャビューから予測でき、および／または、現在はＡＶＣ／ＭＶＣ標準に含まれていない深度コーディング法を使用できる。残りのテクスチャビューは、強化テクスチャコーディング、つまり、現在はＡＶＣ／ＭＶＣ標準に含まれていないコーディングツールを利用できる。
【０１８５】
構成要素間予測は、シンタックス要素値、サンプル値、復号化プロセスにおいて使用される変数値、または如何なる類似のものの、１つのタイプの構成要素ピクチャから別のタイプ構成要素ピクチャへの予測を備えるように定義できる。例えば、構成要素間予測は、深度ビュー構成要素からのテクスチャビュー構成要素の予測、またはその逆の予測を備えることができる。
【０１８６】
３ＤＶ−ＡＴＭビットストリームのシンタックスとセマンティックス、および３ＤＶ−ＡＴＭビットストリームに対する復号化プロセスの例は、文書ＭＰＥＧ  Ｎ１２５４４、「Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ２  ｏｆ  ＭＶＣ  ｅｘｔｅｎｓｉｏｎ  ｆｏｒ  ｉｎｃｌｕｓｉｏｎ  ｏｆ  ｄｅｐｔｈ  ｍａｐｓ」において見出すことができ、少なくとも２つのテクスチャビューがＭＶＣと互換性があることが要求される。更に、深度ビューは、現存するＡＶＣ／ＭＶＣコーディングツールを使用してコード化される。３ＤＶ−ＡＴＭビットストリームのシンタックスとセマンティックス、および３ＤＶ−ＡＴＭビットストリームに対する復号化プロセスの例は、文書ＭＰＥＧ  Ｎ１２５４５、「Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  １  ｏｆ  ＡＶＣ  ｃｏｍｐａｔｉｂｌｅ  ｖｉｄｅｏ  ｗｉｔｈ  ｄｅｐｔｈ  ｉｎｆｏｒｍａｔｉｏｎ」において見出すことができ、少なくとも１つのテクスチャビューがＡＶＣと互換性があること、更にテクスチャビューがＭＶＣとの互換性を有することができることが要求される。上記の文書において指定されているビットストリームのフォーマットと復号化プロセスは、下記に記述されるように互換性がある。「ＭＶＣ  ｅｘｔｅｎｓｉｏｎ  ｆｏｒ  ｉｎｃｌｕｓｉｏｎ  ｏｆ  ｄｅｐｔｈ  ｍａｐｓ」（ＭＰＥＧ  Ｎ１２５４４）のワーキングドラフトに対応する３ＤＶ−ＡＴＭ構成は、「３Ｄ  Ｈｉｇｈ」または「ＭＶＣ＋Ｄ」（ＭＶＣプラス深度を表している）と称することができる。「ＡＶＣ  ｃｏｍｐａｔｉｂｌｅ  ｖｉｄｅｏ  ｗｉｔｈ  ｄｅｐｔｈ  ｉｎｆｏｒｍａｔｉｏｎ」（ＭＰＥＧ  Ｎ１２５４５）のワーキングドラフトに対応している３ＤＶ−ＡＴＭ構成は、「３Ｄ  Ｅｘｔｅｎｄｅｄ  Ｈｉｇｈ」または「３Ｄ  Ｅｎｈａｎｃｅｄ  Ｈｉｇｈ」または「３Ｄ−ＡＶＣ」と称することができる。３Ｄ  Ｅｘｔｅｎｄｅｄ  Ｈｉｇｈ構成は、３Ｄ  Ｈｉｇｈ構成のサブセットである。つまり、３Ｄ  Ｅｘｔｅｎｄｅｄ  Ｈｉｇｈ構成をサポートするデコーダは、３Ｄ  Ｈｉｇｈ構成に対して生成されたビットストリームを復号化可能であるべきである。
【０１８７】
ＭＶＣ＋Ｄ仕様の、より最近の草案バージョンは、ＭＰＥＧ文書Ｎ１２９２３（「Ｔｅｘｔ  ｏｆ  ＩＳＯ／ＩＥＣ  １４４９６−１０：２０１２／ＤＡＭ２  ＭＶＣ  ｅｘｔｅｎｓｉｏｎ  ｆｏｒ  ｉｎｃｌｕｓｉｏｎ  ｏｆ  ｄｅｐｔｈ  ｍａｐｓ」）として利用可能である。３ＤＶ−ＡＶＣ仕様の、より最近の草案バージョンは、ＭＰＥＧ文書Ｎ１２７３２（「Ｗｏｒｋｉｎｇ  Ｄｒａｆｔ  ２  ｏｆ  ＡＶＣ  ｃｏｍｐａｔｉｂｌｅ  ｖｉｄｅｏ  ｗｉｔｈ  ｄｅｐｔｈ」）として利用可能である。
【０１８８】
図１０は、例えば、３ＤＶ−ＡＴＭにおける深度マップコーディングのための例としての処理フローを示している。
【０１８９】
ＭＶＣ＋Ｄのような、幾つかの深度強化ビデオコーディングおよびビットストリームにおいては、深度ビューとは、テクスチャビューに対するシーケンスパラメータセットとは異なって構造化されている、サブセットＳＰＳ  ＮＡＬユニットのようなシーケンスパラメータセットのことであるといえる。例えば、深度ビューに対するシーケンスパラメータセットは、シーケンスパラメータセット３Ｄビデオコーディング（３ＤＶＣ）拡張を含むことができる。異なるＳＰＳ構造が深度強化ビデオコーディングに使用されるときは、ＳＰＳは、例えば、３Ｄビデオコーディング（３ＤＶＣ）サブセットＳＰＳまたは３ＤＶＣ  ＳＰＳと称することができる。シンタックス構造の観点からは、３ＤＶＣサブセットＳＰＳは、ＭＶＣサブセットＳＰＳのようなマルチビュービデオコーディングに対するＳＰＳのスーパーセットであってよい。
【０１９０】
ＭＶＣ＋Ｄビットストリームのような、深度強化マルチビュービデオビットストリームは、２つのタイプの動作ポイント、つまり、マルチビュービデオ動作ポイント（例えば、ＭＶＣ＋Ｄビットストリームに対する動作ポイント）および深度強化動作ポイントを含むことができる。テクスチャビュー構成要素のみから構成されるマルチビュービデオ動作ポイントは、マルチビュービデオに対するＳＰＳ、例えば、１つ以上のテクスチャビューにより参照されるＳＰＳに含まれているシーケンスパラメータセットＭＶＣ拡張により指定できる。深度強化動作ポイントは、深度強化ビデオに対するＳＰＳ、例えば、１つ以上の深度ビューにより参照されるＳＰＳに含まれているシーケンスパラメータセットＭＶＣまたは３ＤＶＣ拡張により指定できる。
【０１９１】
深度強化マルチビュービデオビットストリームは、複数のシーケンスパラメータセット、例えば、１つがベーステクスチャビューに対するものであり、別の１つが非ベーステクスチャビューに対するものであり、３つ目が深度ビューに対するものであるような複数のシーケンスパラメータセットを含むことができ、またはそれに関連付けることができる。例えば、ＭＶＣ＋Ｄビットストリームは、１つのＳＰＳ  ＮＡＬユニット（例えば０に等しいＳＰＳ識別子を有している）、１つのＭＶＣサブセットＳＰＳ  ＮＡＬユニット（例えば１に等しいＳＰＳ識別子を有している）、および１つの３ＤＶＣサブセットＳＰＳ  ＮＡＬユニット（例えば２に等しいＳＰＳ識別子を有している）を含むことができる。最初の１つは、他の２つとはＮＡＬユニットタイプにより区別されるが、後の２つは異なるプロファイル、つまり、１つはＭＶＣプロファイルを表示し、他の１つはＭＶＣ＋Ｄプロファイルを表示する異なるプロファイルを有している。
【０１９２】
テクスチャビュー構成要素と深度ビュー構成要素のコーディングおよび復号化順は、例えば、シーケンスパラメータセットにおいて表示できる。例えば、シーケンスパラメータセット３ＤＶＣ拡張の下記のシンタックスが、３Ｄ−ＡＶＣ仕様草案（ＭＰＥＧ  Ｎ１２７３２）において使用される。
【表４】
0006787667.tif 000006
【０１９３】
ｄｅｐｔｈ＿ｐｒｅｃｅｄｉｎｇ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］のセマンティックスは次のように指定できる。ｄｅｐｔｈ＿ｐｒｅｃｅｄｉｎｇ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］は、テクスチャビュー構成要素と関連する深度ビュー構成要素の復号化順を指定する。１に等しいｄｅｐｔｈ＿ｐｒｅｃｅｄｉｎｇ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］は、ｉに等しいｖｉｅｗ＿ｉｄｘのビューの深度ビュー構成要素は、テクスチャおよび深度ビュー構成要素の両者を含む各アクセスユニットにおいて、復号化順において同じビューのテクスチャビュー構成要素に先行することを表示する。０に等しいｄｅｐｔｈ＿ｐｒｅｃｅｄｉｎｇ＿ｔｅｘｔｕｒｅ＿ｆｌａｇ［ｉ］は、ｉに等しいｖｉｅｗ＿ｉｄｘのビューのテクスチャビュー構成要素は、テクスチャおよび深度ビュー構成要素の両者を含む各アクセスユニットにおいて、復号化順において同じビューの深度ビュー構成要素に先行することを表示する。
【０１９４】
ＭＶＣ＋ＤビットストリームまたはＡＶＣ−３Ｄビットストリームのようなコード化深度強化ビデオストリームは、２つのタイプの動作ポイント、つまりＭＶＣ動作ポイントのようなテクスチャビデオ動作ポイントと、テクスチャビューと深度ビューの両者を含んでいるテクスチャプラス深度動作ポイントを含んでいると考えることができる。ＭＶＣ動作ポイントは、ＳＰＳ  ＭＶＣ拡張により指定されているようなテクスチャビュー構成要素を備えている。ＭＶＣ＋ＤビットストリームまたはＡＶＣ−３Ｄビットストリームのようなコード化深度強化ビデオビットストリームは深度ビューを含んでおり、そのため、サブビットストリームと共に、ビットストリーム全体は、ＭＶＣ＋ＤおよびＡＶＣ−３Ｄ仕様草案においては、各目標出力ビューに対する深度およびテクスチャの両者を含んでいる、いわゆる３ＤＶＣ動作ポイントを提供可能である。ＭＶＣ＋ＤおよびＡＶＣ−３Ｄ仕様草案においては、３ＤＶＣ動作ポイントは、３ＤＶＣサブセットＳＰＳにおいては、ＳＰＳ  ＭＶＣ拡張において使用されているシンタックス構造と同じシンタックス構造により定義される。
【０１９５】
テクスチャビュー構成要素および深度ビュー構成要素のコーディングおよび／または復号化順は、構成要素間予測に関連するシンタックス要素と、構成要素間予測に関連するシンタックス要素の可能な値の存在を決定できる。
【０１９６】
下記においては、発明の種々の実施の形態において、またはそれらと共に使用できる幾つかの例としてのコーディングおよび復号化方法が記述される。これらのコーディングおよび復号化方法は例として記述され、発明の実施の形態は、他の類似のコーディング方法および／または構成要素間冗長性または依存性を利用する他のコーディング方法により適用できるということは理解される必要がある。
【０１９７】
深度マップは、例えば、下記に記述されるようなインループＪｏｉｎｔ  ｉｎｔｅｒ−Ｖｉｅｗ  Ｄｅｐｔｈ  Ｆｉｌｔｅｒｉｎｇ（ＪＶＤＧ）または類似のフィルタリングプロセスを使用して、まとめてフィルタ処理できる。現在処理中のビューＶｃの深度マップは深度空間（Ｚ空間）
【数２】
0006787667.tif 000007
に変換できる。
【０１９８】
これに続いて、他の利用可能なビュー（Ｖａ１，Ｖａ２）の深度マップ画像は深度空間に変換でき、現在処理中のビューＶｃに投射できる。これらの投射は、深度値の幾つかの推定値を作成し、これらの推定値は、深度値のノイズが除去された推定値を生成するために平均化できる。現在ビューＶｃのフィルタ処理された深度値
【数３】
0006787667.tif 000008
は、利用可能なビューＶａから現在処理中のビューＶｃへ投射された深度推定値
【数４】
0006787667.tif 000009
による重み付け平均により生成できる。
【数５】
0006787667.tif 000010
ここにおいて｛ｗ１，ｗ２｝は、異なるビューまたはビュー投射の深度値に対する重み付けファクタまたはフィルタ係数である。
【０１９９】
フィルタリングは、深度値推定値がある信頼区間に属している場合、言い換えれば、推定値の差の絶対値が、特定の閾値（Ｔｈ）未満であれば適用できる。
｜ｚａ−＞ｃ−ｚｃ｜＜Ｔｈであれば、ｗ１＝ｗ２＝０．５、それ以外はｗ１＝１、ｗ２＝０である。
【０２００】
パラメータＴｈは、例えばシーケンスパラメータセット内においてデコーダに送信できる。
【０２０１】
図１１は、ＪＶＤＦのインループ実現形態の２つの深度マップビューのコーディングの例を示している。Ｈ．２６４／ＡＶＣのような従来のビデオコーディングアルゴリズムは、黒色でマークされている破線のボックス１１００内に描かれている。ＪＶＤＦは、実線のボックス１１０２に描かれている。
【０２０２】
ｊｏｉｎｔ  ｍｕｌｔｉｖｉｅｗ  ｖｉｄｅｏ  ｐｌｕｓ  ｄｅｐｔｈ  ｃｏｄｉｎｇ（ＪＭＶＤＣ）として知られているコーディングツールにおいては、マルチビューテクスチャビデオと、関連する深度ビューシーケンスの間の相関関係が利用される。テクスチャビデオと、その深度マップシーケンスの間では画素値はまったく異なるが、テクスチャビデオと、関連する深度マップシーケンスにおける対象物のシルエットと動きは典型的には類似している。提案されたＪＭＶＤＣ方式は、ＭＶＣおよびＳＶＣコーディング方式の組み合わせにより実現できる。具体的には、ＪＭＶＤＣは、ＳＶＣの層間動き予測機構を、ＭＶＣにおける予測構造に埋め込むことにより実現できる。各ビューは、２層表現のビューとしてコード化および／または見なすことができ、２層表現においては、テクスチャはベース層に存在し、深度はエンハンスメント層に存在し、層間動き予測のみが可能なＳＶＣの粗粒度スケーラビリティ（ＣＧＳ）を使用してコード化できる。加えて、ビュー間予測は、非ベースビューに対してベース層（テクスチャ）およびはエンハンスメント層（深度）の両者において可能とされている。ＪＭＶＤＣの層間動き予測は、ベース層に使用される如何なるビュー間予測構造に対しても適用でき、一方、エンコーダとデコーダは、ビュー間予測がＩＤＲとアンカアクセスユニットにおいてのみ出現するような方法で実現でき、それにより、複雑性と圧縮効率の間の合理的な妥協点が提供され、ＪＭＶＤＣの実現努力も緩和される。下記においては、ＪＭＶＤＣ方式が、ビュー間予測がＩＤＲ／アンカアクセスユニットにおいてのみ可能で、非ＩＤＲ／非アンカアクセスユニットにおいては機能が停止されるときのＩＤＲ／アンカおよび非アクセスユニットに対して記述される。
【０２０３】
ＩＤＲおよびアンカピクチャに対しては、ＪＭＶＤＣ方式は次のように適用できる。ビュー間予測に使用される動きベクトルは、ディスパリティベクトルと呼ばれる。図１２に示されているように、マルチビューテクスチャビデオのディスパリティベクトルは、層間動き予測プロセスにおけるマルチビュー深度マップのディスパリティベクトルの導出のための予測参照として使用される。例としてのコーディング方式においては、この予測機構は、層間ディスパリティ予測と称される。ＪＭＶＤＣにおける非ＩＤＲ／非アンカピクチャのコーディングに対しては、インタ予測のための深度動きベクトルは、図１３に示されているように、それぞれのテクスチャ動きベクトルから、層間動き予測プロセスを使用して予測できる。
【０２０４】
エンハンスメント層マクロブロックに対するモード決定プロセスは、アンカピクチャと非アンカピクチャの両者に対して同一であってよい。ベースモードを、モード決定プロセスに追加でき、ベース層における共に位置しているマクロブロックの動き／ディスパリティは、各エンハンスメント層マクロブロックに対する動き／ディスパリティベクトル予測子として選択できる。
【０２０５】
ＪＭＶＤＣツールはまた、深度ビューがベース層として見なされ、それぞれのテクスチャビューがエンハンスメント層と見なされる設備においても使用でき、コーディングと復号化は、上述のように別の方法で行うことができる。
【０２０６】
内部ビュー動き予測（ＩＶＭＰ）として知られているコーディングツールは次のように動作できる。ＩＶＭＰモードにおいては、ｍｂ＿ｔｙｐｅ、ｓｕｂ＿ｍｂ＿ｔｙｐｅを含む動き情報、参照インデックス、およびテクスチャビュー構成要素における共に位置しているマクロブロックの動きベクトルは、同じビューの深度ビュー構成要素により再度使用できる。各マクロブロックまたはマクロブロックパーティション分割部において、それがＩＶＭＰモードを使用しているかどうかを示すためにフラグを信号で送ることができる。深度ビュー構成要素の空間解像度がテクスチャビュー構成要素の空間解像度とは異なっている場合は、深度ビュー構成要素の動きベクトルを、それらが、テクスチャビュー構成要素の共に位置しているブロックまたはマクロブロックの動きベクトルとして使用されているときは、テクスチャビュー構成要素と深度ビュー構成要素の空間解像度の比に比例して変倍できる。
【０２０７】
深度強化ビデオに対するテクスチャおよび深度のジョイントコーディングの場合は、ビュー合成をコーデックのループにおいて利用可能であり、それにより、ビュー合成予測（ＶＳＰ）が提供される。ＶＳＰにおいては、ＶＳＰ参照ピクチャのような予測信号は、テクスチャおよび深度情報を利用するＤＩＢＲまたはビュー合成アルゴリズムを使用して形成される。例えば、合成ピクチャ（つまり、ＶＳＰ参照ピクチャ）は、ビュー間参照ピクチャおよびビュー間のみ参照ピクチャに対して行った方法と類似の方法で、参照ピクチャリストに導入できる。代替として、または追加的に、ある予測ブロックに対する特定のＶＳＰ予測モードはエンコーダにより決定でき、エンコーダによりビットストリームに表示でき、デコーダによりビットストリームから結論されたものとして使用できる。
【０２０８】
ＭＶＣにおいては、インタ予測およびビュー間予測の両者は、類似した動き補償予測プロセスを使用する。ビュー間参照ピクチャおよびビュー間のみ参照ピクチャは基本的には、異なる予測プロセスにおける長期参照ピクチャとして取り扱われる。同様に、ビュー合成予測は、それが、インタ予測およびビュー間予測と同じ動き補償予測プロセスを基本的には使用するよう実現できる。如何なるＶＳＰもなしで、単一のビュー内においてのみ起こる動き補償予測から差別化するために、インタ予測、ビュー間予測、および／またはビュー合成予測を含み、それらを柔軟に混合して選択できる動き補償予測は、ここでは混合方向動き補償予測と称する。
【０２０９】
ＭＶＣ、および３ＤＶ−ＡＴＭのようなＭＶＤに対して構想されているコーディング方式、および類似のコーディング方式における参照ピクチャリストは、２つ以上のタイプの参照ピクチャ、つまり、インタ参照ピクチャ（ビュー内参照ピクチャとしても知られている）、ビュー間参照ピクチャ、ビュー間のみ参照ピクチャ、およびＶＳＰ参照ピクチャを含むことができるので、予測方向という用語は、ビュー内参照ピクチャ（時間予測）、ビュー間予測、またはＶＳＰの使用を表示していると定義できる。例えば、エンコーダは、特定のブロックに対して、ビュー間参照ピクチャを指し示している参照インデックスを選択でき、そのため、ブロックの予測方向はビュー間である。
【０２１０】
現在テクスチャビュー構成要素のコーディングのためのビュー合成予測を可能にするために、同じアクセスユニットの、以前にコード化されたテクスチャおよび深度ビュー構成要素をビュー合成に使用できる。同じアクセスユニットの、以前にコード化されたテクスチャおよび深度ビュー構成要素を使用するそのようなビュー合成は、前方ビュー合成または前方投射ビュー合成と称することができ、同様に、そのようなビュー合成を使用するビュー合成予測は、前方ビュー合成予測または前方投射ビュー合成予測と称することができる。
【０２１１】
前方ビュー合成予測（ＶＳＰ）は、次のようにして行うことができる。ビュー合成は、合成された目標画像ｔ（ｘ＋Ｄ，ｙ）における新しい画素位置でのソースピクチャｓ（ｘ，ｙ）の下記のマッピング画素による、深度マップ（ｄ）からディスパリティ（Ｄ）への変換を介して実現できる。
【数６】
0006787667.tif 000011
【０２１２】
テクスチャピクチャの投射の場合、ｓ（ｘ，ｙ）はテクスチャ画像のサンプルであり、ｄ（ｓ（ｘ，ｙ））は、ｓ（ｘ，ｙ）と関連付けられている深度マップ値である。
【０２１３】
合成に使用される参照フレームが４：２：０の場合は、クロマ構成要素は、例えば、サンプル値を下記のように繰り返すことによりアップサンプリングできる。
ｓ’ｃｈｒｏｍａ（ｘ，ｙ）＝ｓｃｈｒｏｍａ（［ｘ／２］，［ｙ／２］）
ここにおいて、ｓ’ｃｈｒｏｍａ（・，・）はフル解像度におけるクロマサンプル値であり、ｓｃｈｒｏｍａ（・，・）は１／２解像度におけるクロマサンプル値である。
【０２１４】
深度マップ値の投射の場合、ｓ（ｘ，ｙ）＝ｄ（ｘ，ｙ）であり、このサンプルはそれ自身の値ｄ（ｓ（ｘ，ｙ））＝ｄ（ｘ，ｙ）を使用して投射される。
【０２１５】
ワーピングは、合成フレームを元の解像度にするためのワーピングとダウンサンプリングを行う前に、参照フレーム上でのアップサンプリングによりサブ画素精度で行うことができる。
【０２１６】
ビュー合成プロセスは、２つの概念的ステップ、つまり前方ワーピングとホールフィリングを備えることができる。前方ワーピングにおいては、参照画像の各画素は、合成画像にマップされる。参照フレームからの複数の画素が合成ビューにおける同じ位置にマップされるときは、より大きな深度値と関連付けられている画素（カメラにより近い）を、マッピング競合において選択できる。すべての画素をワープした後は、参照フレームからマップされたサンプル値を有していない幾つかのホール画素が残ることがあり、これらのホール画素は、例えば、ｌｉｎｅ−ｂａｓｅｄ  ｄｉｒｃｔｉｏｎａｌホールフィリングにより充填され、ここにおいて、「ホール」は、２つの非ホール画素間の水平な直線における連続するホール画素と定義できる。ホール画素は、より小さな深度サンプル値を有する（カメラから、より離れている）２つの隣接する非ホール画素の１つにより充填できる。
【０２１７】
ワーピングとホールフィリングは、単一の処理ループにおいて、例えば次のように行うことができる。入力参照画像の各画素行は、例えば、左から右へ横切っており、入力参照画像における各画素は次のように処理される。
【０２１８】
現在の画素は、上記の深度−ディスパリティマッピング／ワーピング方程式に従って目標合成画像にマップされる。深度境界の周りの画素は、１つの画素が２つの隣接する位置にマップされるスプラッティングを使用できる。境界検出は、参照画像の各線におけるＮ個の画素毎に行うことができる。画素の深度サンプル値と、同じ線における隣接画素（画素のＮ画素分だけ右側）の深度サンプル値の差が閾値（合成画像に対する、整数ワーピング精度におけるＭ画素のディスパリティ差に対応している）を超える場合は、画素は、深度境界画素と考えることができる。深度境界画素と、深度境界画素の右側のＫ個の隣接画素はスプラッティングを使用できる。より具体的には、Ｎ＝４×ＵｐＲｅｆｓ、Ｍ＝４、およびＫ＝１６×ＵｐＲｅｆｓ−１であり、ＵｐＲｅｆｓは、ワーピング前の参照画像のアップサンプリング比である。
【０２１９】
現在の画素がｚ−バッファリングを得るとき、つまり、現在の画素が、以前にワープされた画素がない、または、より小さな深度サンプル値を有する画素が以前にワープされた位置へワープされるときは、反復は有効であると定義され、後続のステップを行うことができる。それ以外の場合は、反復は有効ではなく、処理は、入力参照画像における次の画素から継続する。
【０２２０】
この反復と、以前の有効な反復のマップされた位置の間にギャップがある場合は、ホールを識別できる。
【０２２１】
ホールが識別されて、現在のマップされた位置が、以前のマップされた位置の右側にある場合は、ホールは充填できる。
【０２２２】
ホールが識別され、現在の反復が画素を、以前の有効な反復のマップされた位置の左にマップした場合は、このマップされた位置のすぐ左にある連続する画素は、それらがホールであった場合は更新される。
【０２２３】
左の参照ビューからビュー合成ピクチャを生成するために、まず、参照画像を反転でき、そして、ワーピングとホールフィリングの上記のプロセスを使用して、中間合成ピクチャを生成できる。中間合成ピクチャは、合成ピクチャを得るために反転できる。代替として、上記のプロセスを、深度−ディスパリティマッピング、境界処理可能スプラッティング、およびビュー合成予測のための他のプロセスを、基本的に水平方向および順序についての逆の仮定により行うために変更できる。
【０２２４】
別の例としての実施の形態においては、ビュー合成予測は下記を含むことができる。ビュー合成ピクチャを導出するための、この例としてのプロセスの入力は、テクスチャビュー構成要素ｓｒｃＰｉｃＹの復号化ルマ構成要素と、ｓｒｃＰｉｃＹの解像度にアップサンプリングされた２つのクロマ構成要素ｓｒｃＰｉｃＣｂとｓｒｃＰｉｃＣｒと、深度ピクチャＤｉｓＰｉｃである。
【０２２５】
ビュー合成ピクチャを導出するための例としてのプロセスの出力は、下記の擬似コードで示すことが可能なディスパリティベースのワーピングを介して生成される合成参照構成要素ｖｓｐＰｉｃのサンプルアレイである。
ｆｏｒ（ｊ＝０；ｊ＜ＰｉｃＨｅｉｇｈ；ｊ＋＋）｛
ｆｏｒ（ｉ＝０；ｉ＜ＰｉｃＷｉｄｔｈ；ｉ＋＋）｛
ｄＸ＝Ｄｉｓｐａｒｉｔｙ（ＤｉｓＰｉｃ（ｊ，ｉ））；
ｏｕｔｐｕｔＰｉｃＹ［ｉ＋ｄＸ，ｊ］＝ｓｒｃＴｅｘｔｕｒｅＰｉｃＹ［ｉ，ｊ］；
ｉｆ（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝１）｛
ｏｕｔｐｕｔＰｉｃＣｂ［ｉ＋ｄＸ，ｊ］＝ｎｏｒｍＴｅｘｔｕｒｅＰｉｃＣｂ［ｉ，ｊ］
ｏｕｔｐｕｔＰｉｃＣｒ［ｉ＋ｄＸ，ｊ］＝ｎｏｒｍＴｅｘｔｕｒｅＰｉｃＣｂ［ｉ，ｊ］
｝
｝
｝
ここにおいて関数「Ｄｉｓｐａｒｉｔｙ（）」は空間位置ｉ、ｊにおける深度マップ値をディスパリティ値ｄＸに変換し、ＰｉｃＨｅｉｇｈはピクチャの高さであり、ＰｉｃＷｉｄｔｈはピクチャの幅であり、ｓｒｃＴｅｘｔｕｒｅＰｉｃＹはソーステクスチャピクチャであり、ｏｕｔｐｕｔＰｉｃＹは出力ピクチャのＹ成分であり、ｏｕｔｐｕｔＰｉｃＣｂは出力ピクチャのＣｂ成分であり、ｏｕｔｐｕｔＰｉｃＣｒは、出力ピクチャのＣｒ成分である。
【０２２６】
ディスパリティは、２つのビューの間の平行移動ｂ、カメラの焦点距離ｆ、および深度マップ表現のパラメータ（Ｚｎｅａｒ，Ｚｆａｒ）などのカメラ設定を考慮して下記に示されるように計算される。
【数７】
0006787667.tif 000012
【０２２７】
上記のプロセスに起因するｖｓｐＰｉｃピクチャは、ホールおよび／または遮蔽のような種々のワーピングアーティファクトを特徴としており、それらのアーティファクトを抑制するために、ホールフィリングのような種々の後処理動作を適用できる。
【０２２８】
しかし、ビュー合成ピクチャｖｓｐＰｉｃは、予測のための参照ピクチャに利用され、ディスプレイには出力しなくてもよいので、これらの動作を、計算の複雑性を削減するために回避できる。
【０２２９】
後方ビュー合成または後方投射ビュー合成と称される方式においては、合成ビューと共に位置している深度マップは、ビュー合成プロセスにおいて使用される。そのような後方ビュー合成を使用するビュー合成予測は、後方ビュー合成予測または後方投射ビュー合成予測またはＢ−ＶＳＰと称することができる。現在テクスチャビュー構成要素のコーディングのための後方ビュー合成予測を可能にするためには、現在コード化／復号化されているテクスチャビュー構成要素の深度ビュー構成要素が利用可能であることが要求される。言い換えれば、深度ビュー構成要素のコーディング／復号化順が、それぞれのテクスチャビュー構成要素のコーディング／復号化に先行するときは、テクスチャビュー構成要素のコーディング／復号化において、後方ビュー合成予測を使用できる。
【０２３０】
Ｂ−ＶＳＰでは、依存ビューのテクスチャ画素は、合成ＶＳＰフレームからではなく、ベースまたは参照ビューのテクスチャ画素から直接予測可能である。このプロセスに対して要求される変位ベクトルは、依存ビューの深度マップデータから、つまり、現在コード化／復号化されているテクスチャビュー構成要素に対応する深度ビュー構成要素から生成できる。
【０２３１】
Ｂ−ＶＳＰのコンセプトは、図１７を参照して、下記のように説明できる。下記のコーディング順（Ｔ０，Ｄ０，Ｄ１，Ｔ１）が利用されると仮定しよう。テクスチャ構成要素Ｔ０はベースビューであり、Ｔ１は、Ｂ−ＶＳＰを１つの予測ツールとして使用してコード化／復号化された依存ビューである。深度マップ構成要素Ｄ０およびＤ１はそれぞれ、Ｔ０とＴ１それぞれと関連付けられている深度マップである。依存ビューＴ１においては、現在コード化されているブロックＣｂのサンプル値は、ベースビューＴ０のサンプル値から構成される参照領域Ｒ（Ｃｂ）から予測できる。コード化および参照サンプル間の変位ベクトル（動きベクトル）は、現在コード化されているテクスチャサンプルと関連付けられている深度マップ値から、Ｔ１とＴ０の間のディスパリティとして求めることができる。
【０２３２】
深度（１／Ｚ）表現のディスパリティへの変換プロセスは、例えば、下記の方程式により行うことができる。
【数８】
0006787667.tif 000013
ここにおいて、ｊとｉはＣｂ内の局所的空間座標、ｄ（Ｃｂ（ｊ，ｉ）はビュー＃１の深度マップ画像における深度マップ値、Ｚは実際の深度値、およびＤは特定のビュー＃０に対するディスパリティである。パラメータｆ、ｂ、Ｚｎｅａｒ、およびＺｆａｒはカメラ装備を指定するパラメータ、つまり、使用される焦点距離（ｆ）、ビュー＃１とビュー＃０の間のカメラの距離（ｂ）、および深度マップ変換のパラメータを表現している深度範囲（Ｚｎｅａｒ，Ｚｆａｒ）である。
【０２３３】
ＶＳＰに起因する合成ピクチャは、例えば、時間またはビュー間参照フレームに続く初期参照ピクチャリストであるリスト０とリスト１に含むことができる。しかし、参照ピクチャリスト修正シンタックス（つまり、ＲＰＬＲコマンド）はＶＳＰ参照ピクチャをサポートするように拡張できるため、エンコーダは、参照ピクチャリストを任意の順序に順序付けすることが可能で、最終順序をビットストリームにおいてＲＰＬＲコマンドで表示して、デコーダに同じ最終順序を有する参照ピクチャリストを再構築させることが可能である。
【０２３４】
ＶＳＰはまた、イントラ、インタ、ビュー間、および他のコーディングモードとは別のモードとして、幾つかの符号化および復号化設備において使用することもできる。例えば、ＶＳＰスキップ／ダイレクトモードを使用するブロックに対しては、動きベクトル差分をビットストリームに符号化はできないが、エンコーダおよびデコーダは、動きベクトル差分は０に等しい、および／または動きベクトルは０に等しいと推測できる。更に、ＶＳＰスキップ／ダイレクトモードは、変換コード化残差ブロックは、ＶＳＰスキップ／ダイレクトモードを使用するブロックに対しては符号化されないと推測できる。
【０２３５】
深度ベース動きベクトル予測（Ｄ−ＭＶＰ）は、利用可能な深度マップデータを使用して、それを関連する深度マップテクスチャデータのコーディング／復号化に利用するコーディングツールである。このコーディングツールは、ビューの深度ビュー構成要素が、同じビューのテクスチャビュー構成要素に先行してコード化／復号化されることを要求できる。Ｄ−ＭＶＰツールは、次に記述される、スキップおよびダイレクトモードに対する方向分離ＭＶＰおよび深度ベースＭＶ競合の２つの部分を備えることができる。
【０２３６】
方向分離ＭＶＰは、次のように記述できる。すべての利用可能な隣接ブロックは、その予測の方向（例えば、時間、ビュー間、およびビュー合成予測）に従って分類される。現在ブロックＣｂがビュー間参照ピクチャを使用する場合は（図１５参照）、ビュー間予測を利用しないすべての隣接ブロックは、ＭＶＰに対して利用できないとしてマークされ、ＭＶＰまたはＨ．２６４／ＡＶＣのような従来の動きベクトル予測においては考慮されない。同様に、現在ブロックＣｂが時間予測を使用する場合は、ビュー間参照フレームを使用した隣接ブロックは、ＭＶＰに対して利用できないとしてマークされる。このプロセスのフローチャートは図１４に示されている。フローチャートおよび下記の記述は、時間およびビュー間予測方向のみを考慮するが、ビュー合成予測のような他の予測方向もカバーするように同様に拡張でき、または時間およびビュー間予測方向の一方または両者を同様に、他の予測方向と置き換えることができる。
【０２３７】
隣接ブロックから利用できる動きベクトル候補がない場合は、ビュー間予測のためのデフォルトである「ｚｅｒｏ−ＭＶ」ＭＶＰ（ｍｖｙ＝０，ｍｖｘ＝０）は、ｍｖｙ＝０および
【数９】
0006787667.tif 000014
と置き換えることができ、ここにおいて
【数１０】
0006787667.tif 000015
は、現在テクスチャＣｂと関連付けられている平均ディスパリティであり、
【数１１】
0006787667.tif 000016
により計算でき、ここにおいてｉは現在ブロックＣｂ内の画素のインデックスであり、Ｎは現在ブロックＣｂにおける画素の合計数である。
【０２３８】
スキップおよびダイレクトモードのための深度ベースＭＶ競合は、３ＤＶ−ＡＴＭと関連して次のように記述できる。スキップおよびダイレクトモードにおいて提案されている深度ベース動き競合（ＤＭＣ）のためのプロセスのフローチャートは、図１６ａと１６ｂそれぞれに示されている。スキップモードにおいては、テクスチャデータブロック｛Ａ，Ｂ，Ｃ｝の動きベクトル｛ｍｖｉ｝は、その予測方向に従ってグループ化されており、時間およびビュー間予測それぞれのために、Ｇｒｏｕｐ  １およびＧｒｏｕｐ  ２を形成している。ＤＭＣプロセスは、図１６ａのグレーのブロックにおいて詳細が示されており、各グループに対して独立して行うことができる。
【０２３９】
所与のグループ内の各動きベクトルｍｖｉに対して、動き補償深度ブロックｄ（ｃｂ，ｍｖｉ）は最初に導出でき、ｍｖｉにより指し示されている参照深度マップから深度ブロックを得るために、動きベクトルｍｖｉは相対的にｄ（ｃｂ）の場所に適用される。そして、ｄ（ｃｂ）とｄ（ｃｂ，ｍｖｉ）の間の類似度は、
ＳＡＤ（ｍｖｉ）＝ＳＡＤ（ｄ（ｃｂ，ｍｖｉ），ｄ（ｃｂ））
により推定できる。
【０２４０】
現在グループ内の最小の絶対差の合計（ＳＡＤ）値を提供するｍｖｉは、特定の方向（ｍｖｐｄｉｒ）に対する最適予測子として選択でき、
【数１２】
0006787667.tif 000017
である。
【０２４１】
これに続いて、時間予測（ｍｖｐｔｍｐ）における予測子は、ビュー間予測（ｍｖｐｉｎｔｅｒ）における予測子に対して競合する。最小ＳＡＤを提供する予測子は、
【数１３】
0006787667.tif 000018
により得ることが可能である。
【０２４２】
最後に、別のビューを参照する（ビュー間予測）ｍｖｐｏｐｔは、下記のサニティチェックを受けることができる。つまり、「Ｚｅｒｏ−ＭＶ」が利用されている場合は、それは「ｄｉｓｐａｒｉｔｙ−ＭＶ」予測子ｍｖｙ＝０および
【数１４】
0006787667.tif 000019
と置き換えられ、ここにおいて
【数１５】
0006787667.tif 000020
は、上記のように導出できる。
【０２４３】
ＢスライスのダイレクトモードのためのＭＶＰは、図１６ｂに示されており、スキップモードと類似することができるが、ＤＭＣ（グレーのブロックでマークされている）は、両者の参照ピクチャリスト（リスト０およびリスト１）に対して独立して行うことができる。このため、各予測方向（時間またはビュー間）に対して、ＤＭＣは、２つの予測子（ｍｖｐ０ｄｉｒおよびｍｖｐ１ｄｉｒ）を、リスト０およびリスト１それぞれに対して生成する。これに続いて、ｍｖｐ０ｄｉｒおよびｍｖｐ１ｄｉｒから導出される双方向補償ブロックは、
ｄ（ｃｂ，ｍｖｐｄｉｒ）＝（ｄ（ｃｂ，ｍｖｐ０ｄｉｒ）＋ｄ（ｃｂ，ｍｖｐ１ｄｉｒ））／２
のように計算できる。
【０２４４】
そして、この双方向補償ブロックとＣｂの間のＳＡＤ値は、各方向に対して独立して計算でき、ダイレクトモードに対するＭＶＰは、スキップモードに対して上記に示したように、利用可能なｍｖｐｉｎｔｅｒおよびｍｖｐｔｍｐから選択できる。スキップモードと同様に、ｍｖｐｏｐｔが別のビューを参照する場合（ビュー間予測）は、各参照リストのおける「ｚｅｒｏ−ＭＶ」は、「ｄｉｓｐａｒｉｔｙ−ＭＶ」と置き換えることができる。
【０２４５】
マルチビューコーディング（ＭＶＣ）、深度強化ビデオコーディング、マルチビュー＋深度（ＭＶＤ）コーディング、およびループ内ビュー合成のマルチビュー（ＭＶＣ−ＶＳＰ）の目的のためのテクスチャビューに対する深度／ディスパリティベースイントラ予測は、下記のように記述できる。テクスチャの深度／ディスパリティベースイントラ予測は、テクスチャデータの現在ブロック（ｃｂ）に対する深度またはディスパリティ情報（Ｄｉ）の利用に基づく新しいイントラ予測機構のセットを含んでいると考えることができる。テクスチャデータの現在ブロック（ｃｂ）に対する深度またはディスパリティ情報（Ｄｉ）は、コード化深度またはディスパリティ情報の復号化を介して利用可能であり、または現在テクスチャブロックの復号化に先立ってデコーダ側において推定可能であり、この情報はイントラ予測において利用可能であることが仮定されている。
【０２４６】
下記においては、テクスチャブロックは、代表的には、テクスチャピクチャの単一カラー構成要素のサンプルのブロックのこと、つまり、代表的には、テクスチャピクチャのルマまたはクロマ構成要素の１つのサンプルのブロックのことを指している。
【０２４７】
エンコーダは、イントラコード化テクスチャブロックのコーディングのための下記の動作の１つ以上を含むことができる。ここでは、類似のピクチャもまたデコーダ側において、イントラコード化テクスチャブロックの復号化のために適用可能であることに留意すべきである。テクスチャに対する深度ベースイントラ予測が深度を参照して記述されるが、ディスパリティまたはパララックスも同様に、深度の代わりに使用できるということも理解されるべきである。記述は、例えばＨ．２６４／ＡＶＣにおいて使用されているブロックに類似しているマクロブロックであってもよいブロックという用語と、ＨＥＶＣ  ＷＤにおいて使用されているツリーブロックに類似しているツリーブロックという用語、または類似の任意の用語に言及する。
【０２４８】
深度境界検出
エンコーダは、深度境界検出を、例えば、次のように適用できる。深度境界はまた、例えば、深度エッジ、深度不連続点、または深度輪郭と称することもできる。エンコーダにおいては、関連付けられている（再構築／復号化）深度ブロックは、深度境界を含むまたは含まない、の何れかに分類される。同じ深度境界検出アルゴリズムもまたデコーダにおいて行うことができ、そして、エンコーダとデコーダの両者は、再構築／復号化深度ピクチャに対して深度境界検出を行う。検出された深度境界は、下記に記述する動作の１つ以上において使用できる。
【０２４９】
エンコーダおよびデコーダは、エッジまたは境界検出アルゴリズムを使用して、ピクチャまたはブロック内における可能性のあるエッジまたは他の境界を検出することを試みることができる。適用できる可能性のあるアルゴリズムは多数あってよい。例えば、深度境界分類は、次のように行うことができる。分類は、グラジエントマグニチュードイメージ（ｇｒａｄｉｅｎｔ  ｍａｇｎｉｔｕｄｅ  ｉｍａｇｅ）Ｇを得るために、下記の２つの３×３カーネルを使用するソーベル（Ｓｏｂｅｌ）演算子を使用できる。
【数１６】
0006787667.tif 000021
ここにおいてＡはソース画像（再構築深度画像）である。
【０２５０】
シーケンスは、Ｇ値において異なる動的サンプル値範囲を有することができるので、Ｇは、ヒストグラム均等化を使用して画像Ｇ’に変換できる。ヒストグラム均等化においては、Ｇ’の最小および最大値は、０および２５５にそれぞれ設定できる。更に、第１閾値Ｔ１および第２閾値Ｔ２もまた、適切な値に設定できる。エンコーダまたはデコーダは、Ｇ’（ｘ，ｙ）＞１であるかどうかを調べることができる。これが成り立つ場合は、点（ｘ，ｙ）は、境界点に分類される。現在ブロックに対してヒストグラム均等化が行われたときは、現在ブロックにおける可能性のある境界点の数を、１つのブロックにおける境界点の数が第２閾値Ｔ２よりも大きいかどうかを判定するためにチェックできる。この数が第２閾値Ｔ２よりも大きい場合は、このブロックは深度境界を含んでいると分類される。
【０２５１】
デコーダは、上記の閾値Ｔ１およびＴ２の何れの値も、例えば、閾値の異なる値の符号化ブロックに基づいて決定することができ、ラグランジアンレートディストーション（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ）最適化方程式に従って、最適な閾値の値を選択できる。エンコーダは、閾値Ｔ１および／またはＴ２の決定された値を、それらを、例えば、シーケンスパラメータセット、ピクチャパラメータセット、スライスパラメータセット、ピクチャヘッダ、スライスヘッダにおいて、またはマクロブロックシンタックス構造または任意の類似のものにおける１つ以上のシンタックス要素として符号化することにより、ビットストリーム内で表示できる。デコーダは、閾値Ｔ１および／またはＴ２を、ビットストリームにおいて符号化された情報に基づいて、閾値Ｔ１および／またはＴ２の値を表示する１つ以上のコードワードとして決定できる。
【０２５２】
テクスチャブロックは、テクスチャブロックと共に位置している深度ブロックが深度境界を含んでいるときは、深度境界を含む、カバーする、有する、または深度境界と共に存在する。深度は、テクスチャとは異なる空間解像度でコード化できる。従って、テクスチャブロックが深度境界を含んでいる、またはカバーしているときは、空間解像度の比に従う変倍を、決定するときに考慮することができる。
【０２５３】
深度ベースピクチャパーティション分割
エンコーダはピクチャを、深度情報に基づいてパーティション分割できる。エンコーダは、ピクチャパーティション分割をビットストリームにコード化でき、またはデコーダは、深度情報に基づいてピクチャをパーティション分割できる。エンコーダおよびデコーダは、１つのピクチャパーティション分割部のブロックが、別のピクチャパーティション分割部のブロックに、コーディングまたは復号化順において先行できるように、ピクチャパーティション分割に従ってブロックコーディングまたは復号化順を変更できる。
【０２５４】
ブロックコーディング順および復号化順それぞれは、深度境界を含んでいないテクスチャブロックが最初に、例えば、ラスタスキャン順にコード化または復号化され、一方、深度境界を含んでいるテクスチャブロックがその後に、スキップおよびコード化または復号化されるように変更できる。深度境界を含んでいるテクスチャブロックは、符号化および／または復号化において、深度境界を含んでいないブロックのための予測に利用できないとマークすることができる（あたかも、それらが異なるスライスにあり、抑制されたイントラ予測の機能が作動されているかのように）。
【０２５５】
ブロックコーディング順および復号化順それぞれは、深度境界を含んでいるテクスチャブロックが最初に、例えば、ラスタスキャン順にコード化または復号化され、一方、深度境界を含んでいないテクスチャブロックが、深度境界を含んでいるテクスチャブロックに続いて、例えば、ラスタスキャン順にコード化または復号化されるように変更できる。深度境界を含んでいないテクスチャブロックは、符号化および／または復号化において、深度境界を含んでいるブロックのための予測に利用できないとマークすることができる（あたかも、それらが異なるスライスにあり、抑制されたイントラ予測の機能が作動されているかのように）。
【０２５６】
深度ベースピクチャパーティション分割においては、エンコーダは、Ｈ．２６４／ＡＶＣの柔軟マクロブロック順序化のｓｌｉｃｅ＿ｇｒｏｕｐ＿ｍａｐ＿ｔｙｐｅ  ６を使用することができ、それにより、マクロブロックのスライスグループへのマクロブロック処理可能マッピングを提供することが可能になる。スライスグループマップの作成は、分類された深度エッジマクロブロック、つまり深度エッジを含んでいないと分類されたすべてのマクロブロックは１つのスライスグループに属し、深度エッジを有しているマクロブロックは別のスライスグループに属していると分類された深度エッジマクロブロックに基づいて行うことができる。
【０２５７】
エンコーダおよびデコーダは、再構築／復号化深度ビュー構成要素の深度境界分類に基づいて、スライスグループマッピングを推測できる。例えば、深度エッジを含んでいないと分類されたすべてのマクロブロックは１つのスライスグループに属し、深度エッジを有しているマクロブロックは別のスライスグループに属している。
【０２５８】
別の例においては、同じ深度範囲のすべてのマクロブロックは、符号化および／または復号化においてスライスグループを形成すると分類でき、一方、深度エッジを含んでいるマクロブロックは、符号化および／または復号化においてそれら自身のスライスグループを形成すると分類できる。
【０２５９】
深度境界を含んでいると分類されたマクロブロックを含んでいるスライスグループは、別のスライスグループの後にコード化または復号化できる。代替として、深度境界を含んでいると分類されたマクロブロックを含んでいるスライスグループは、別のスライスグループの前にコード化または復号化できる。
【０２６０】
マクロブロックは、ラスタスキャン順または任意の他の予め定義された順でコード化または復号化されるが、深度エッジを含んでいるマクロブロックは、同じスライスのすべての他のマクロブロックの後にスキップおよびコード化または復号化できる。代替として、深度エッジを含んでいるマクロブロックは、同じスライスのすべての他のマクロブロックの前にコード化または復号化できる。
【０２６１】
深度ベースブロックパーティション分割
エンコーダはテクスチャブロックを、深度情報に基づいてパーティション分割できる。エンコーダは、ブロックパーティション分割部の１つのセットが深度境界を含み、一方、ブロックパーティション分割部別のセットが深度境界を含まないようにブロックパーティション分割を行うことができる。エンコーダは、定義された基準、または定義された複数の基準を使用してブロックパーティション分割部を選択でき、例えば、エンコーダは、深度境界を含んでいないブロックのサイズを、可能な限り大きく選択できる。デコーダはまた、同じブロックパーティション分割アルゴリズムを作動させることもでき、またはエンコーダは、使用されたブロックパーティション分割を、例えば、従来のＨ．２６４／ＡＶＣブロックパーティション分割シンタックス要素を使用して信号を送ることができる。
【０２６２】
イントラコード化ルマテクスチャマクロブロックは、イントラ予測のために１６×１６、８×８、または４×４ブロックにパーティション分割できるが、他のブロックサイズもまた適用可能であるということは明白である。更に、ブロックは、正方形のブロックである必要はなく、他の形状もまた適用可能である。一般化としては、ブロックサイズは、Ｍ、Ｎ∈Ｚ＋であるＭ×Ｎとして表現できる。
【０２６３】
深度ブロックのブロックパーティション分割は、それぞれの、または共に位置しているテクスチャブロックに対するブロックパーティション分割として使用できる。
【０２６４】
ブロックパーティション分割は、ビットストリームにおいてコード化または表示することはできない。従って、エンコーダおよびデコーダは、同じ深度ベースブロックパーティション分割を行うことができる。
【０２６５】
ブロックパーティション分割についての情報がエンコーダからデコーダに引き渡されるときは、それに対して多数のオプションがあり得る。例えば、ブロックパーティション分割についての情報は、ビットストリームにエントロピコード化できる。ブロックパーティション分割のエントロピコーディングは、多数の方法で行うことができる。例えば、エンコーダは、使用されたブロックパーティション分割をデコーダに、Ｈ．２６４／ＡＶＣブロックパーティション分割シンタックス要素を使用して信号を送ることができる。ブロックパーティション分割はビットストリームにコード化できるが、深度ベースブロックパーティション分割は、エンコーダおよびデコーダの両者において適用されて、コンテキスト適応型２値算術コーディング（ＣＡＢＡＣ）またはコンテキストベース可変長コーディングまたは任意の類似エントロピコーディングのコンテキスト状態を、深度ベースブロックパーティション分割方法により選択されたブロックパーティション分割が、より少ない量のコード化データビットを使用するように修正する。実際に、深度ベースブロックパーティション分割導出により推論されるブロックパーティション分割の可能性は、エントロピコーディングおよび復号化において増大する。
【０２６６】
ブロックパーティション分割は、ビットストリームにコード化できるが、ブロックパーティション分割コードワードにおいて使用されるコードテーブルまたは２値化テーブルは、深度ベースブロックパーティション分割の結果に依存することができる。
【０２６７】
使用されるブロックパーティション分割方法はエンコーダにより、例えば、レートディストーション最適化により選択でき、エンコーダにより、コード化ビットストリームにおいて、シンタックス要素または複数のシンタックス要素、またはシンタックス要素の値として表示できる。シンタックス要素は、例えば、シーケンスパラメータセット、ピクチャパラメータセット、適応パラメータセット、ピクチャヘッダ、またはスライスヘッダに存在できる。
【０２６８】
エンコーダは、従来のブロックパーティション分割選択を、例えば、レートディストーション最適化を使用して行うことができる。従来のブロックパーティション分割のレートディストーションのコストの方が、深度ベースブロックパーティション分割のコストよりも小さい場合は、エンコーダは、従来のブロックパーティション分割を使用することを選択でき、従来のブロックパーティション分割の使用をビットストリームにおいて、例えば、スライスヘッダ、マクロブロックシンタックス、またはブロックシンタックスにおいて表示できる。
【０２６９】
デコーダは、ブロックパーティション分割方法に関連するシンタックス要素を復号化でき、表示されているブロックパーティション分割方法および関連シンタックス要素を使用してビットストリームを復号化できる。
【０２７０】
ブロック内におけるサブブロックまたはブロックパーティション分割部のコーディングまたは復号化順は、深度境界または複数の深度境界に基づいて決定できる。例えば、Ｈ．２６４／ＡＶＣベースコーディングまたは復号化においては、マクロブロック内におけるブロックパーティション分割に従うブロックのコーディング順は、深度境界に基づいて決定できる。深度境界がないブロックは、深度境界を有しているブロックに先行してコード化または復号化できる。
【０２７１】
例えば、深度境界を含んでいるテクスチャマクロブロックを、Ｈ．２６４／ＡＶＣベースコーディング／復号化方式においてコーディングまたは復号化するためには、深度境界（もしあれば）を含んでいない８×８ブロックを最初にコード化または復号化できる。それに続いて、深度境界を含んでいない４×４ブロック（深度境界を含んでいる８×８ブロックに存在する）をコード化または復号化できる。最後に、深度境界を含んでいる４×４ブロックを、例えば、双方向イントラ予測モードを使用してコード化または復号化できる。
【０２７２】
Ｈ．２６４／ＡＶＣベースコーディング／復号化方式に対する別の例においては、深度境界を含んでいる４×４テクスチャブロックが最初にコード化または復号化される。そして、テクスチャマクロブロックの残りのサンプルは、隣接するテクスチャマクロブロックの境界サンプルと、深度境界を含んでいる再構築／復号化４×４テクスチャブロックから予測される。
【０２７３】
ブロックパーティション分割は、従来は、サブブロックの場所の規則的グリッドを使用して行われた。例えば、Ｈ．２６４／ＡＶＣにおいては、マクロブロックは、マクロブロック内で、規則的４×４グリッドにおいて、４×４または、より大きなブロックにパーティション分割される。テクスチャブロックのブロックパーティション分割は、サブブロックの場所の座標の少なくとも１つが、サブブロックの場所の規則的グリッドとは異なるように適用できる。深度境界を有しているサブブロックは、例えば、それらの垂直座標は規則的４×４グリッドに従うが、水平座標は、例えば、深度境界を有している４×４サブブロックの数を最小にするために選択されるように選択できる。
【０２７４】
テクスチャブロックのイントラ予測に使用されるブロックパーティション分割は、同じテクスチャブロックの予測エラーコーディングまたは復号化に使用されるブロックパーティション分割とは異なってもよい。例えば、深度境界の検出に基づく上記の方法の何れをも、テクスチャブロックのイントラ予測のためのブロックパーティション分割を決定するために使用でき、異なるブロックパーティション分割を、変換コード化予測エラーコーディングまたは復号化に使用できる。エンコーダおよび／またはデコーダは、テクスチャのイントラ予測に使用されたブロックパーティション分割を、共に位置している、またはそれぞれの再構築深度または復号化深度に基づいて推測できる。エンコーダは、イントラコード化テクスチャブロックの予測エラーコーディングのためのブロックパーティション分割をビットストリームに符号化でき、デコーダは、イントラコード化テクスチャブロックの予測エラー復号化に使用されるブロックパーティション分割をビットストリームから復号化できる。エンコーダは、イントラ予測および予測エラーコーディング／復号化が同じブロックパーティション分割を使用するかどうかを選択するときに、例えば、レートディストーション最適化を使用できる。
【０２７５】
深度ベースイントラ予測モード決定
エンコーダおよび／またはデコーダは、イントラ予測モードを深度情報を使用して決定できる。コード化または復号化されている現在テクスチャブロックの深度は、隣接するテクスチャブロック、または、隣接テクスチャブロックと共に位置している、またはそれに対応している深度ブロックの境界サンプルの深度と比較することができ、現在テクスチャブロックのイントラ予測モードを、この比較に基づいて決定できる。例えば、現在テクスチャブロックの深度が境界サンプルの深度と非常に類似している場合は、ＤＣ予測を推測することができる。別の例においては、深度境界が現在深度ブロックにおいて検出され、現在テクスチャブロックのための双方向イントラ予測が推測される。
【０２７６】
イントラ予測モードは、エンコーダおよびデコーダにおいて推測できるので、シンタックス要素はコード化しなくてよく、ビットレートを削減できる。深度ベースイントラ予測モード決定の使用は、例えば、スライスヘッダにおいて信号を送ることができ、エンコーダは、深度ベースイントラ予測モードを、深度ベースイントラ予測モード決定、従来のイントラ予測モード決定、およびシンタックス要素コーディングを比較するレートディストーション最適化決定を使用して起動することができる。
【０２７７】
深度ブロックのイントラ予測モードは、それぞれの、または共に位置しているテクスチャブロックのイントラ予測に使用できる（エンコーダおよびデコーダの両者において）。
【０２７８】
コード化または復号化されている現在テクスチャブロックの深度は、隣接テクスチャブロック、または隣接テクスチャブロックと共に位置している、またはそれに対応している深度ブロックの境界サンプルの深度と比較することができ、現在テクスチャブロックのイントラ予測モードをこの比較に基づいて決定できる。例えば、現在テクスチャブロックの深度が、境界サンプルの深度に非常に類似している場合は、ＣＤ予測を推測することができ、または従来のイントラ予測モード信号送信を推測できる。別の例においては、深度境界は深度テクスチャブロックにおいて検出され、現在テクスチャブロックのための双方向イントラ予測が推測される。
【０２７９】
ブロックパーティション分割と同様に、下記を含む、イントラ予測モードのエントロピコーディングに対する複数のオプションがある。ブロック内に深度境界があるときは、双方向イントラ予測モードを推測することができ、それ以外は、ブロックに従来のイントラ予測を使用でき、その場合は、エンコーダは、イントラ予測モードを決定し、それをビットストリームにおいて表示する。イントラ予測モードが、エンコーダおよびデコーダの両者において推測されるので、シンタックス要素はコード化されない。
【０２８０】
別のオプションにおいては、イントラ予測モードはビットストリームにコード化できるが、イントラ予測モードの深度ベース予測は、エンコーダおよびデコーダの両者に適用でき、ＣＡＢＡＣのコンテキスト状態、またはコンテキストベース可変長コーディング、または如何なる類似のエントロピコーディングを、深度ベースアルゴリズムにより選択されたイントラ予測モードが、最小の量のコード化データビットを使用できるように修正できる。実際、深度ベースアルゴリズムにより推論されたイントラ予測モードの可能性は、エントロピコーディングおよび復号化において増大できる。
【０２８１】
更に別のオプションにおいては、イントラ予測モードをビットストリームにコード化できるが、イントラ予測モードコードワードに使用されるコードテーブルまたは２値化テーブルは、深度ベースアルゴリズムの結果に依存することができる。
【０２８２】
深度ベースイントラ予測モード決定の使用は、例えば、スライスヘッダ、マクロブロックシンタックス、またはブロックシンタックスにおいて信号を送ることができ、エンコーダは、深度ベースイントラ予測モード決定を、深度ベース予測モード決定と従来のイントラ予測モード決定を比較するレートディストーション最適化決定を使用して起動することができる。
【０２８３】
デコーダは、例えば、レートディストーション最適化を使用して、従来のイントラ予測モード選択を行うことができる。従来のイントラ予測のレートディストーションのコストが、深度ベースイントラ予測モード選択のレートディストーションのコストよりも小さい場合は、エンコーダは、従来のイントラ予測を使用することを選択でき、従来のイントラ予測の使用をビットストリームにおいて、例えば、スライスヘッダ、マクロブロックシンタックス、またはブロックシンタックスにおいて表示できる。
【０２８４】
デコーダは、イントラ予測モードに関連するシンタックス要素を復号化でき、ビットストリームを、表示されているイントラ予測モードおよび、関連するシンタックス要素を使用して復号化できる。
【０２８５】
イントラ予測のための深度ベースサンプル利用可能性
エンコーダおよび／またはデコーダはまた、イントラ予測のための１つ以上のサンプルが存在しているかどうかを決定できる。符号化および／または復号化において、予測されているサンプルとして使用している、同じ対象物に属すると分類されたサンプルのみが、予測ソースとして使用できる。同じ対象物への分類は、例えば、深度サンプル値が同じ対象物に属するために互いに十分に接近しているサンプル位置のみを考慮することで、例えば、深度サンプル値を比較することにより行うことができる。
【０２８６】
例としての実現においては、テクスチャブロックに対するイントラ予測モード決定と共に、イントラコーディングモードおよびマクロブロックパーティション分割についてのエンコーダおよび／またはデコーダの決定は、それぞれの深度ビューとは独立して行うことができる。しかし、イントラ予測のためのテクスチャサンプルの利用可能性情報は、利用可能な深度情報に従って修正できる。
【０２８７】
深度境界を含んでいるブロックのための双方向イントラ予測
エンコーダおよびデコーダは、深度境界を含んでいるテクスチャブロックのための双方向イントラ予測を使用することが可能である。双方向イントラ予測は、深度構成要素がテクスチャ構成要素の前に符号化または復号化されるときは、より効率的となり得る。そのため、現在ブロックの可能性のあるすべての隣接ブロックの深度構成要素は、現在ブロックのテクスチャ構成要素を符号化または復号化するときに利用可能である。
【０２８８】
コード化または復号化されるテクスチャブロックは、２つ以上の深度領域に分割できる。隣接テクスチャブロックの境界サンプルは、符号化および／または復号化において、等価な２つ以上の深度領域に分類できる。そして、コード化または復号化されているブロックにおける特定の深度領域内のサンプルは、隣接ブロックのそれぞれの境界サンプルからのみ予測できる。異なる予測方向またはイントラ予測モードを、異なる領域に対して選択できる。
【０２８９】
下記のステップの１つ以上は、深度境界を含んでいるテクスチャブロックの双方向または多方向イントラ予測のために行うことができる。
ａ．双方向イントラ予測のための新しいイントラ予測モードが、下記に指定されるように、正規のイントラモードに追加して指定される。
ｂ．エンコーダは、マクロブロックまたはツリーブロックパーティション分割のような、ブロックパーティション分割と、新しい双方向イントラ予測をテストされたモードの１つとして含んで使用されるコーディングモードのレートディストーション最適化決定を行う。一般化としては、３つ以上のイントラ予測方向、つまり、３方向イントラ予測または一般的は、ｎを正の整数として、ｎ方向イントラ予測があり得る。
ｃ．テクスチャブロック（１６×１６、８×８、および４×４のような任意のサイズおよび形状）が深度境界を含んでいる場合は、隣接ブロックにおけるブロック境界サンプルの利用可能性を決定できる。ブロックまたはマクロブロックコーディングおよび復号化順は変更でき、予測されるブロックは、最大４つの側から、隣接ブロックにおける利用可能なブロック境界サンプルにより取り囲むことができる。
ｄ．隣接テクスチャブロックにおける利用可能なブロック境界サンプルが、異なる深度範囲からの深度サンプルと共に位置している場合は、双方向イントラ予測モードがエンコーダおよび／またはデコーダに対して利用可能である。
【０２９０】
双方向イントラ予測モードの利用可能性は、例えば、ＣＡＢＡＣにおいて双方向イントラモードの確率をゼロに設定することにより、または、双方向イントラ予測が利用可能でない場合は、コンテキスト適応可変長コーディングにおいて双方向イントラモードを除外するコードテーブルを選択することにより、エントロピコーディングを調節するために使用できる。
ｅ．２つの最も顕著な深度領域を、符号化および／または復号化において、隣接するブロックにおける利用可能なブロック境界深度領域、およびコード化されているテクスチャブロックと共に位置している深度ブロックから選択できる。例えば、深度ブロックにおいて最も多くのサンプルを有している２つの深度領域は、それらに対して、隣接ブロックにおけるブロック境界深度サンプルもまた利用可能であれば選択できる。
ｆ．深度ブロックにおける各サンプルは、例えば、深度領域の中央値または平均深度値に最も近い絶対値の差に従って、２つの最も顕著な深度領域の１つにマップできる。結果として、コード化されているテクスチャブロックにおける各サンプルは、深度領域０または深度領域１と表記できる何れかの深度領域にマップできる。
【０２９１】
ステップｅとｆは、例えば、次のように行うことができる。ＤｍａｘおよびＤｍｉｎを、テクスチャブロックと共に位置している再構築深度ブロックにおけるそれぞれ最大値および最小値とする。閾値ＤＴｈｅｓ＝（Ｄｍａｘ＋Ｄｍｉｎ）／２とする。深度領域０におけるサンプルは、深度＜＝ＤＴｈｅｓを満たす。深度領域１におけるサンプルは深度＞ＤＴｈｅｓを満たす。
【０２９２】
深度領域は隣接していると決定できる。例えば、ウェッジレットパーティション分割は、エンコーダおよびデコーダ両者において使用できる。ウェッジレットパーティション分割部に対しては、２つの領域は、直線により分離されていると定義される。分離線は、開始点Ｓと終点Ｐにより決定され、両者の点は、ブロックの異なる境界上に位置している。分離線は、直線の方程式により記述できる。ウェッジレットパーティション分割のための開始点および終点は、例えば次のようにコスト関数を最小にすることにより決定できる。ＳおよびＰに対する異なる可能性はテストされ、それぞれのコストが導出される。例えば、ＳおよびＰのすべての可能性のある組み合わせをテストできる。ＳおよびＰの各対に対して、領域０および１に対する代表値が最初に、例えば領域０および１それぞれにおける深度サンプル値を平均することにより最初に決定される。そしてコストを、何れの領域に対して深度サンプルがＳおよびＰに従って分割されたかに依存して、例えば、領域０または１の代表値に対する、深度サンプルの差の絶対値の合計を導出することによりカウントできる。コストを最小にするＳおよびＰの値がウェッジレットパーティション分割に対して選択される。
【０２９３】
幾つかの場合においては、深度領域は隣接していると決定できるが、直線により分離されることは要求されなくてもよい。
ｇ．テクスチャブロックのためのイントラ予測は、深度領域０および深度領域１に対して別々に行うことができる。深度領域０に対して、深度領域１とは異なるイントラ予測方向を選択できる。予測方向は、エンコーダおよびデコーダ両者により推測できる。代替として、予測方向はエンコーダにより決定でき、ビットストリームにおいて信号を送ることができる。後者の場合、２つの予測方向コードワードがコード化され、１つは深度領域０に対して、もう１つは深度領域１に対してコード化される。
【０２９４】
イントラ予測のためのサンプル利用可能性は、例えば、上記のように深度ベースであってよい。別の類似の代替は、イントラ予測に使用できる隣接ブロックにおけるサンプルを、その深度値を閾値ＤＴｈｅｓと比較することにより領域０と領域１に分類することである。領域０に分類された隣接ブロックからのサンプルは、コード化または復号化されている現在ブロックにおける領域０のサンプルを予測するために使用でき、領域１に分類された隣接ブロックからのサンプルは、コード化または復号化されている現在ブロックにおける領域０のサンプルを予測するためには使用されない。コード化または復号化されている現在ブロックの領域１は同様に取り扱うことができる。
【０２９５】
ブロックまたはマクロブロックコーディングまたは復号化順は変更でき、予測されるブロックは、最大４つの側から、隣接ブロックにおける利用可能なブロック境界サンプルにより取り囲むことができ、そのため、イントラ予測モード、およびイントラ予測モードが使用する隣接ブロックにおけるブロック境界サンプルはまた、現在のＨ．２６４／ＡＶＣまたはＨＥＶＣ、または、任意の類似のコーディングまたは復号化方法またはシステムにおけるものとは異なっていてもよい。例えば、Ｈ．２６４／ＡＶＣイントラ予測モードは次のように変更できる。
【０２９６】
ＤＣモードにおいては、領域０／１は、現在ブロックを任意の方向から取り囲み、自身もまた領域０／１に存在する隣接ブロックのサンプルの平均値に設定される。
【０２９７】
水平／垂直モードにおいては、現在ブロックの両側からのブロックの境界サンプルが利用可能である場合は、境界サンプルは、予測されているサンプルへのユークリッド空間距離に従って重み付けされる。例えば、予測サンプルｐ１の水平座標がｘ１＝７、予測サンプルｐ２の水平座標がｘ２＝１６、予測されているサンプルの水平座標がｘ＝１０、および水平予測が使用される場合は、予測サンプルは、ｍ＝（ｘ２−ｘ１）＝９を、（（ｍ−（ｘ−ｘ１））＊ｐ１＋（ｍ−（ｘ２−ｘ））＊ｐ２＝（（９−（１０−７））＊ｐ１＋（９−（１６−１０））＊ｐ２／９＝（６＊ｐ１＋３＊ｐ２）／９として使用して導出できる。１つのみの境界サンプルが利用可能である場合は、それ自体が予測として使用される。境界サンプルが利用可能でない場合は、ＤＣ予測を介して得られる値を使用できる。
【０２９８】
深度重み付けイントラ予測
エンコーダおよびデコーダは深度情報を、イントラ予測における重み付けの目的のために使用できる。テクスチャのイントラ予測のための深度ベース重みは、予測されているテクスチャサンプルの深度と、予測サンプルの深度の差に基づく分数値のような非バイナリ値であってもよい。
【０２９９】
単一のサンプルの予測のために、２つ以上の予測サンプルを使用できる。更に、バイナリ重みを使用できる。つまり、予測サンプルが、予測されているサンプルとして異なる深度領域に属していると分類された場合は、０の重みを使用できる。それ以外は、すべてのサンプルに対して等しい重みを使用できる。幾つかの場合においては、追加的な倍数重みが、予測サンプルと、予測されているサンプルの間のユークリッド空間距離に基づいて決定されている。
【０３００】
幾つかの場合においては、深度ベース重みは、分数値のような非バイナリ値であってよい。例えば、下記の導出が使用できる。予測されているサンプルの深度値をｄで表わすとする。予測サンプルをｐｉで表わし、予測サンプルの深度値をｄｉで表わし、ここにおいてｉは予測サンプルのインデックスとする。予測サンプルの深度はまた、予測されているサンプルの深度と同じ深度領域に属すると分類された隣接深度ブロックのすべての境界サンプルの平均のような、複数の深度サンプルから導出される値も含むことができる。Ｓを、ｉ＝１からｎ（両者も含めて）のすべての値のΣａｂｓ（ｄｉ−Ｄ）に等しいとし、ここにおいてｎは予測サンプルの数とする。各予測に対して定義されるｗｉを、ｊ＝１からｎ（両者も含めて）の値に対する（Ｓ−Σａｂｓ（ｄｊ−Ｄ）））／Ｓに等しいとし、ここにおいてｉ≠ｊとする。これにより、予測サンプルｐは、ｉ＝１からｎ（両者も含めて）のすべての値のΣ（ｗｉ＊ｐｉ）として導出できる。
【０３０１】
３ＤＶ−ＡＴＭのような、特定のコーデックに関連して、多くのコーディングツールが記述されたが、それらは、ＨＥＶＣの深度強化マルチビュービデオコーディング拡張のような他のコーデック構造に同様に適用できるということは理解されるべきである。
【０３０２】
上記のように、コード化および／または復号化深度ビュー構成要素は、例えば、下記の目的の１つ以上のために使用できる。ｉ）他の深度ビュー構成要素のための予測参照として、ｉｉ）例えば、ビュー合成予測を介しての、テクスチャビュー構成要素のための予測参照として、ｉｉｉ）復号化のための後処理として、またはレンダリング／表示のための前処理として行われるＤＩＢＲまたはビュー合成プロセスへの入力として。多くの場合、深度マップにおけるディストーションは、ビュー合成プロセスに影響を与え、復号化のための後処理として行われるビュー合成予測および／またはビュー合成に使用できる。このため、多くの場合、深度ディストーションは、レンダリングされたビューの視覚品質／忠実度において、および／または予測信号の品質／忠実度において間接的な影響を有していると考えることができる。復号化された深度マップ自体はアプリケーションにおいて使用されなくてもよく、例えば、エンドユーザーには表示されなくてもよい。深度マップの上記の特性およびそれらの影響は、レートディストーション最適化エンコーダ制御に使用できる。レートディストーション最適化モードおよび深度ピクチャに対するパラメータ選択は、合成ビュー構成要素の推定または導出された品質または忠実度に基づかせることができる。更に、テクスチャビュー構成要素の結果としてのレートディストーション性能（深度ベース予測およびコーディングツールによる）は、深度ピクチャに対するモードおよびパラメータ選択において考慮できる。ビュー合成忠実度を考慮する、深度強化ビデオコーディングのレートディストーション最適化のための幾つかの方法が提示されている。これらの方法は、ビュー合成最適化（ＶＳＯ）法と称することができる。
【０３０３】
テクスチャビューおよび深度ビューを符号化可能なエンコーダ２００の実施の形態のハイレベルフローチャートが図８に示され、テクスチャビューおよび深度ビューを復号化可能なデコーダ２１０が図９に示されている。これらの図において、実線は全体的なデータフローを示し、破線は、制御情報のシグナリングを示している。エンコーダ２００は、テクスチャエンコーダ２０２により符号化されるテクスチャ構成要素２０１と、深度エンコーダ２０４により符号化される深度マップ構成要素２０３を受信できる。エンコーダ２００が、ＡＶＣ／ＭＶＣに従ってテクスチャ構成要素を符号化しているときは、第１スイッチ２０５をオフにすることができる。エンコーダ２００が強化テクスチャ構成要素を符号化しているときは、第１スイッチ２０５をオンにすることができ、それにより、深度エンコーダ２０４により生成された情報をテクスチャエンコーダ２０２に提供できる。この例のエンコーダはまた、次のように動作できる第２スイッチ２０６も備えている。第２スイッチ２０６は、エンコーダが、ＡＶＣ／ＭＶＣビューの深度情報を符号化しているときはオンにされ、第２スイッチ２０６は、エンコーダが強化テクスチャビューの深度情報を符号化しているときはオフとされる。エンコーダ２００は、符号化ビデオ情報を含んでいるビットストリーム２０７を出力できる。
【０３０４】
デコーダ２１０は、同様に動作できるが、少なくとも部分的には逆の順である。デコーダ２１０は、符号化ビデオ情報を含んでいるビットストリーム２０７を受信できる。デコーダ２１０は、テクスチャ情報を復号化するためのテクスチャデコーダ２１１と、深度情報を復号化するための深度デコーダ２１２を備えている。第３スイッチ２１３を、深度デコーダ２１２からテクスチャデコーダ２１１への情報の引き渡しを制御するために設けることができ、第４スイッチ２１４を、テクスチャデコーダ２１１から深度デコーダ２１２への情報の引き渡しを制御するために設けることができる。デコーダ２１０がＡＶＣ／ＭＶＣテクスチャビューを復号化するときは第３スイッチ２１３はオフであってよく、デコーダ２１０が強化テクスチャビューを復号化するときは第３スイッチ２１３をオンにすることができる。デコーダ２１０がＡＶＣ／ＭＶＣテクスチャビューの深度を復号化するときは第４スイッチ２１４はオンとすることができ、デコーダ２１０が強化テクスチャビューの深度を復号化するときは第４スイッチ２１４はオフとすることができる。デコーダ２１０は、再構築テクスチャ構成要素２１５および再構築深度マップ構成要素２１６を出力できる。
【０３０５】
多くのビデオデコーダは、例えば、所望のマクロブロックモードおよび関連動きベクトルのようなレートディストーション最適コーディングモードを見出すためにラグランジアンコスト関数を利用する。このタイプのコスト関数は、画像領域における、損失のあるコーディング法に起因する正確または推定画像ディストーションと、画像領域における画素／サンプル値を表現するために要求される情報の正確または推定量を一緒につなぎ合わせるために、重み付けファクタまたはλを使用する。ラグランジアンコスト関数は、方程式
Ｃ＝Ｄ＋λＲ
で表現でき、ここにおいて、Ｃは最小化されるラグランジアンコスト、Ｄは、現在考慮されているモードおよび動きベクトルの画像ディストーション（例えば、元々の画像ブロックとコード化画像ブロックにおける画素／サンプル値の間の最小二乗誤差）、λはラグランジアン係数、そしてＲは、デコーダにおいて画像ブロックを再構築するために必要なデータを表現するために必要なビット数である（候補の動きベクトルを表現するためのデータ量も含まれている）。
【０３０６】
コーディング標準は、サブビットストリーム抽出プロセスを含むことができ、例えば、ＳＶＣ、ＭＶＣ、およびＨＥＶＣにおいて指定されている。サブビットストリーム抽出プロセスは、ＮＡＬユニットをサブビットストリームに移動することによりビットストリームを変換することに関連している。サブビットストリームは依然として標準に準拠している。例えば、ＨＥＶＣ標準草案においては、選択された値より大きい、またはそれに等しいｔｅｍｐｏｒａｌ＿ｉｄを有しているすべてのＶＣＬ  ＮＡＬユニットを除外し、その他のすべてのＶＣＬ  ＮＡＬユニットを含むことにより作成されるビットストリームは、準拠状態に留まっている。従って、ＴＩＤに等しいｔｅｍｐｏｒａｌ＿ｉｄを有しているピクチャは、ＴＩＤより大きなｔｅｍｐｏｒａｌ＿ｉｄを有している如何なるピクチャもインタ予測参照としては使用しない。
【０３０７】
前に提示したもの以外の他のタイプのパラメータセットシンタックス構造もまた提案されている。下記の段落においては、提案されたタイプのパラメータセットの幾つかが記述される。
【０３０８】
従来はスライスヘッダに含まれていたシンタックス要素の少なくともサブセットは、エンコーダによりＧＯＳ（スライスのグループ）パラメータセットに含まれることが提案されている。エンコーダは、ＧＯＳパラメータセットを、ＮＡＬユニットとしてコード化できる。ＧＯＳパラメータセットＮＡＬユニットは、例えばコード化スライスＮＡＬユニットと一緒にビットストリームに含むことができるが、他のパラメータセットと関連して前述したように、アウトオブバンドでも携えることができる。
【０３０９】
ＧＯＳパラメータセットシンタックス構造は、例えば、スライスヘッダまたは別のＧＯＳパラメータセットから特定のＧＯＳパラメータセットインスタンスを参照するときに使用できる識別子を含むことができる。代替として、ＧＯＳパラメータセットシンタックス構造は識別子を含まないが、識別子は、例えば、ＧＯＳパラメータセットシンタックス構造のビットストリーム順および予め定義されたナンバリング方式を使用して、エンコーダおよびデコーダの両者により推測できる。
【０３１０】
エンコーダおよびデコーダは、ＧＯＳパラメータセットのコンテンツまたはインスタンスを、既に符号化または復号化され、またはビットストリームに存在している他のシンタックス構造から推測できる。例えば、ベースビューのテクスチャビュー構成要素のスライスヘッダは、暗黙的にＧＯＳパラメータセットを形成できる。エンコーダおよびデコーダは、そのような推測されたＧＯＳパラメータセットに対する識別子値を推測できる。例えば、ベースビューのテクスチャビュー構成要素のスライスヘッダから形成されたＧＯＳパラメータセットは、０に等しい識別子値を有していると推測できる。
【０３１１】
ＧＯＳパラメータセットは、それに関連付けられている特定のアクセスユニット内において有効であり得る。例えば、ＧＯＳパラメータセットシンタックス構造が特定のアクセスユニットに対して、シーケンスが復号化またはビットストリーム順であるＮＡＬユニットシーケンスに含まれている場合、ＧＯＳパラメータセットは、その出現位置から、アクセスユニットの終わりまで有効であり得る。代替として、ＧＯＳパラメータセットは、多くのアクセスユニットに対して有効であり得る。
【０３１２】
エンコーダは、アクセスユニットに対して、多くのＧＯＳパラメータセットを符号化できる。エンコーダは、コード化されるスライスヘッダにおけるシンタックス要素値の少なくともサブセットが、後続するスライスヘッダにおけるものと同じであることが知られている、予期されている、または推定される場合は、ＧＯＳパラメータセットを符号化することを決定できる。
【０３１３】
限られたナンバリング空間を、ＧＯＳパラメータセット識別子に使用できる。例えば、固定長コードが使用でき、ある範囲の符号なしの整数値として解釈できる。エンコーダは、第１ＧＯＳパラメータセットが後続において、例えば、如何なるスライスヘッダまたはＧＯＳパラメータセットにより参照されない場合は、第１ＧＯＳパラメータセットおよび後続して、第２ＧＯＳパラメータセットに対してＧＯＳパラメータセット識別子値を使用できる。エンコーダは、例えば、送信エラーに対するより良好なローバストネスを達成するために、ＧＯＳパラメータセットシンタックス構造をビットストリーム内で繰り返すことができる。
【０３１４】
ＧＯＳパラメータセットに含むことができるシンタックス要素は、概念的には、シンタックス要素のセットにおいて収集できる。ＧＯＳパラメータセットに対するシンタックス要素のセットは、例えば、１つ以上の下記のベースで形成できる。
スケーラブル層および／または他のスケーラビリティ特徴を表示するシンタックス要素
ビューおよび／または他のマルチビュー特徴を表示するシンタックス要素
深度／ディスパリティのような、特定の構成要素タイプに関連するシンタックス要素
アクセスユニット識別、復号化順および／または出力順に関連するシンタックス要素、および／またはアクセスユニットのすべてのスライスに対して不変で留まることができる他のシンタックス要素
ビュー構成要素のすべてのスライスにおいて不変で留まることができるシンタックス要素
参照ピクチャリスト修正に関連するシンタックス要素
使用される参照ピクチャセットに関連するシンタックス要素
復号化参照ピクチャマーキングに関連するシンタックス要素
重み付け予測のための予測重みテーブルに関連するシンタックス要素
デブロッキングフィルタリングを制御するためのシンタックス要素
適応ループフィルタリングを制御するためのシンタックス要素
サンプル適応オフセットを制御するためのシンタックス要素
上記のセットの任意の組み合わせ
【０３１５】
各シンタックス要素セットに対して、エンコーダは、ＧＯＳパラメータセットをコード化するときに、下記のオプションの１つ以上を有することができる。
シンタックス要素は、ＧＯＳパラメータセットシンタックス構造にコード化できる。つまり、シンタックス要素セットのコード化シンタックス要素値は、ＧＯＳパラメータセットシンタックス構造に含むことができる。
シンタックス要素セットは、参照によりＧＯＳパラメータセットに含めることができる。参照は、別のＧＯＳパラメータセットへの識別子として与えることができる。エンコーダは、異なる参照ＧＯＳパラメータセットを、異なるシンタックス要素セットに対して使用できる。
シンタックス要素セットは、ＧＯＳパラメータセットには存在しないと表示、または推測できる。
【０３１６】
ＧＯＳパラメータセットをコーディングするときに、エンコーダが特定のシンタックス要素セットに対して選択できるオプションは、シンタックス要素セットのタイプに依存してもよい。例えば、スケーラブル層に関連するシンタックス要素セットは常にＧＯＳパラメータセットに存在することができ、一方、ビュー構成要素のすべてのスライスにおいて不変で留まることができるシンタックス要素のセットは、参照により含めるときには利用できないこともあるが、オプションとしてＧＯＳパラメータセットにおいて存在でき、参照ピクチャリスト修正に関連するシンタックス要素は参照によりそれ自体含まれることができ、またはＧＯＳパラメータセットシンタックス構造に存在しないこともできる。エンコーダはビットストリームにおいて、例えば、ＧＯＳパラメータセットシンタックス構造において、どのオプションが符号化に使用されたかの表示を符号化できる。コードテーブルおよび／またはエントロピコーディングは、シンタックス要素セットのタイプに依存してもよい。デコーダは、復号化されているシンタックス要素セットのタイプに基づいて、エンコーダにより使用されたコードテーブルおよび／またはエントロピ符号化と整合するコードテーブルおよび／またはエントロピ符号化を使用できる。
【０３１７】
エンコーダは、シンタックス要素セットと、シンタックス要素セットの値に対するソースとして使用されたＧＯＳパラメータセットの間の関連付けを表示する複数の手段を有することができる。例えば、エンコーダは、シンタックス要素のループを符号化でき、ここにおいて、各ループエントリは、参照として使用されたＧＯＳパラメータセット識別子値を表示し、参照ＧＯＰパラメータセットからコピーされたシンタックス要素セットを識別するシンタックス要素として符号化される。別の例においては、エンコーダは、それぞれがＧＯＳパラメータセットを表示している多数のシンタックス要素を符号化できる。特定のシンタックス要素セットを含んでいるループにおける最後のＧＯＳパラメータセットは、エンコーダが現在ビットストリームに符号化しているＧＯＳパラメータセットにおけるシンタックス要素セットに対する参照である。デコーダは、それに従って、ビットストリームから符号化されたＧＯＳパラメータセットを構文解析して、エンコーダと同じＧＯＳパラメータセットを再生する。
【０３１８】
ヘッダパラメータセット（ＨＰＳ）は、文書ＪＣＴＶＣ−Ｊ０１０９（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｃｕｒｒｅｎｔ＿ｄｏｃｕｍｅｎｔ．ｐｈｐ？ｉｄ＝５９７２）において提案された。ＨＰＳは、ＧＯＳパラメータセットに類似している。スライスヘッダは、１つ以上のＨＰＳから予測される。言い換えれば、スライスヘッダシンタックス要素の値は、選択的に１つ以上のＨＰＳから取ることができる。ピクチャが１つのスライスのみから構成されている場合は、ＨＰＳの使用なオプションであり、スライスヘッダは、コード化スライスＮＡＬユニットに含むことが可能である。ＨＰＳ設計の２つの代替としてのアプローチ、シングル−ＡＵ  ＨＰＳとマルチ−ＡＵ  ＨＰＳがＪＣＴＶＣ−Ｊ１０９において提案された。シングル−ＡＵ  ＨＰＳにおいては、ＨＰＳは同じアクセスユニット内のスライスのみに適用可能で、マルチ−ＡＵ  ＨＰＳにおいては、ＨＰＳは、複数のアクセスユニットにおけるスライスに適用可能である。２つの提案されたアプローチは、そのシンタックスにおいて類似している。２つのアプローチの間の主な差は、シングル−ＡＵ  ＨＰＳ設計は、各アクセスユニットについてのＨＰＳの送信を要求するが、マルチ−ＡＵ  ＨＰＳ設計は、複数のＡＵにわたって同じＨＰＳの再使用を可能にするという事実にある。
【０３１９】
カメラパラメータセット（ＣＰＳ）は、ＡＰＳ、ＧＯＳパラメータセット、およびＨＰＳに類似していると考えることが可能であるが、ＣＰＳは、カメラパラメータとビュー合成予測パラメータのみ、および潜在的には、深度ビューまたは深度ビューの使用に関連する他のパラメータを携えていると意図することができる。
【０３２０】
図１は、例としての実施の形態に係るビデオコーディングシステムのブロック図を、発明の実施の形態に係るコーデックを組み込むことができる例としての装置または電子装置５０の模式ブロック図として示している。図２は、例としての実施の形態に係る装置のレイアウトを示している。図１と２の要素を次に説明する。
【０３２１】
電子装置５０は、例えば、無線通信システムの携帯端末またはユーザー機器であってよい。しかし、発明の実施の形態は、符号化および復号化、またはビデオ画像の符号化または復号化を要求できる任意の電子装置または装置内で実現できるということは認識されよう。
【０３２２】
装置５０は、装置を組み込み、そして保護するためのハウジング３０を備えることができる。装置５０は、液晶ディスプレイの形状のディスプレイ３２を更に備えることができる。発明の他の実施の形態においては、ディスプレイは、画像またはビデオを表示するのに適している如何なる適切なディスプレイ技術であってもよい。装置５０は、キーパッド３４を更に備えることができる。発明の他の実施の形態においては、任意の適切なデータまたはユーザーインタフェース機構を採用できる。例えば、ユーザーインタフェースは、タッチ感知ディスプレイの一部としての、仮想キーボードまたはデータエントリシステムとして実現できる。装置は、デジタルまたはアナログ信号入力装置であってよいマイクロフォン３６または任意の適切なオーディオ入力装置を備えることができる。装置５０は、発明の実施の形態においては、イヤフォン３８、スピーカ、またはアナログオーディオまたはデジタルオーディオ出力接続機器の何れか１つを更に備えることができる。装置５０はまた、バッテリ４０（または、発明の他の実施の形態においては、装置は、太陽電池、燃料電池、またはぜんまい仕掛けの発電機のような任意の適切な可動エネルギー装置により動力を与えることができる）も備えることができる。装置は、画像またはビデオを記録または撮像可能なカメラ４２を更に備えることができる。幾つかの実施の形態においては、装置５０は、他の装置へのショートレンジ見通し内通信用の赤外線ポートを更に備えることができる。他の実施の形態においては、装置５０は、例えば、ブルートゥース無線接続またはＵＳＢ／ファイヤワイヤ有線接続のような任意の適切なショートレンジ通信ソリューションを更に備えることができる。
【０３２３】
装置５０は、装置５０を制御するためのコントローラ５６またはプロセッサを備えることができる。コントローラ５６は、発明の実施の形態においては、画像の形状のデータとオーディオデータの両者を格納でき、および／またはコントローラ５６上での実現のための指令もまた格納できるメモリ５８に接続できる。コントローラ５６は、オーディオおよび／またはビデオデータのコーディングと復号化を行うため、またはコントローラ５６により行われるコーディングと復号化を支援するために適切なコーデック回路５４に更に接続することができる。
【０３２４】
装置５０は、例えば、ユーザー情報を提供し、ネットワークにおけるユーザーの承認および認可のための承認情報を提供するために適しているＵＩＣＣおよびＵＩＣＣリーダーのようなカードリーダー４８およびスマートカード４６を更に備えることができる。
【０３２５】
装置５０は、コントローラに接続され、例えばセルラ通信ネットワーク、無線通信システム、または無線ローカルエリアネットワークとの通信のための無線通信信号を生成するために適している無線インタフェース回路５２を備えることができる。装置５０は、無線インタフェース回路５２に接続され、無線インタフェース回路５２で生成された無線周波数信号を他の装置に送信し、他の装置から無線周波数信号を受信するためのアンテナ４４を更に備えることができる。
【０３２６】
発明の幾つかの実施の形態においては、装置５０は、個々のフレームを記録または検出可能なカメラを備えており、個々のフレームは、処理のためにコーデック５４またはコントローラに送られる。発明の幾つかの実施の形態においては、装置は、送信および／または格納に先行して、別の装置から、処理のためにビデオ画像データを受信できる。発明の幾つかの実施の形態においては、装置５０は、無線または有線接続で、コーディング／復号化のために画像を受信できる。
【０３２７】
図３は、ビデオコーディングのための設備を示しており、例としての実施の形態に係る複数の装置、ネットワーク、およびネットワーク要素を備えている。図３に関して、本発明の実施の形態を利用可能なシステムの例が示されている。システム１０は、１つ以上のネットワークを介して通信可能な複数の通信装置を備えている。システム１０は、制限されることはないが、無線セルラ電話ネットワーク（ＧＳＭ、ＵＭＴＳ、ＣＤＭＡネットワークなどのような）、ＩＥＥＥ８０２．ｘ標準の何れかにより定義される無線ローカルエリアネットワーク（ＷＬＡＮ）、ブルートゥースパーソナルエリアネットワーク、イーサネットローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、およびインターネットを含む有線または無線ネットワークの任意の組み合わせを備えることができる。
【０３２８】
システム１０は、発明の実施の形態を実現するために適切な有線および無線通信装置または装置５０を含むことができる。例えば、図３に示されているシステムは、携帯電話ネットワーク１１と、インターネット２８の表現を示している。インターネット２８への接続は、制限されることはないが、ロングレンジワイヤレス接続、ショートレンジワイヤレス接続、および種々の、例えば、制限されることはないが、電話線、ケーブル線、電線、および類似の通信経路を含む有線接続を含むことができる。
【０３２９】
システム１０において示されている例としての通信装置は、制限されることはないが、電子装置または装置５０、個人情報端末（ＰＤＡ）と携帯電話１４の組み合わせ、ＰＤＡ１６、統合メッセージグ装置（ＩＭＤ）１８、デスクトップコンピュータ２０、ノートブックコンピュータ２２を含むことができる。装置５０は静止型、または移動している個人により持ち運ばれるときは可動型であってよい。装置５０はまた、制限されることはないが、車、トラック、タクシー、バス、列車、ボート、飛行機、自転車、モータバイク、または輸送の類似の適切なモードを含む輸送のモードに位置することもできる。
【０３３０】
幾つかのまたは更なる装置は、呼（コール）とメッセージを送受信でき、基地局２４への無線接続２５により、サービスプロバイダを通信できる。基地局２４は、携帯電話ネットワーク１１とインターネット２８の間の通信を可能にするネットワークサーバー２６に接続できる。システムは、追加的通信装置および種々のタイプの通信装置を含むことができる。
【０３３１】
通信装置は、制限されることはないが、コード分割多重アクセス（ＣＤＭＡ）、グローバル移動通信システム（ＧＳＭ）、ユニバーサル移動電気通信システム（ＵＭＴＳ）、時間分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、送信制御プロトコル−インターネットプロトコル（ＴＣＰ−ＩＰ）、ショートメッセージングサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、電子メール、インスタントメッセージングサービス（ＩＭＳ）、ブルートゥース、ＩＥＥＥ８０２．１１、および類似の無線通信技術を含む種々の送信技術を使用して通信できる。本発明の種々の実施の形態を実現することに関連する通信装置は、制限されることはないが、無線、赤外線、レーザー、ケーブル接続、および任意の適切な接続を含む種々のメディアを使用して通信できる。
【０３３２】
図４ａと４ｂは、例としての実施の形態に係るビデオ符号化および復号化のためのブロック図を示している。
【０３３３】
図４ａは、画素予測器３０２、予測エラーエンコーダ３０３、および予測エラーデコーダ３０４を備えるエンコーダを示している。図４ａはまた、インタ予測器３０６、イントラ予測器３０８、モードセレクタ３１０、フィルタ３１６、および参照フレームメモリ３１８を備えている画素予測器３０２の実施の形態も示している。この実施の形態においては、モードセレクタ３１０は、ブロックプロセッサ３８１およびコスト評価器３８２を備えている。エンコーダは、ビットストリームのエントロピ符号化のためのエントロピエンコーダ３３０を更に備えている。
【０３３４】
図４ｂは、インタ予測器３０６の実施の形態を示している。インタ予測器３０６は、参照フレームまたは複数の参照フレームを選択するための参照フレームセレクタ３６０、動きベクトルデファイナ３６１、予測リストフォーマーおよび動きベクトルセレクタ３６４を含んでいる。これらの要素、またはそれらの幾つかは予測プロセッサ３６２の一部であってよく、またはそれらは他の手段を使用することで実現できる。
【０３３５】
画素予測器３０２は、符号化される画像３００を、インタ予測器３０６（画像と、動き補償参照フレーム３１８の間の差を決定する）とイントラ予測器３０８（現在フレームまたはピクチャの既に処理された部分のみに基づいて、画像ブロックに対する予測を決定する）の両者において受信する。インタ予測器およびイントラ予測器両者の出力は、モードセレクタ３１０に送られる。インタ予測器３０６とイントラ予測器３０８の両者は、２つ以上のイントラ予測モードを有することができる。そのため、インタ予測およびイントラ予測は各モードについて行うことができ、予測された信号は、モードセレクタ３１０に提供できる。モードセレクタ３１０はまたは、画像３００のコピーも受信する。
【０３３６】
モードセレクタ３１０は、現在ブロックを符号化するためにどの符号化モードを使用するかを決定する。モードセレクタ３１０が、インタ予測モードを使用すると決めた場合は、モードセレクタ３１０は、インタ予測器３０６の出力をモードセレクタ３１０の出力に送る。モードセレクタ３１０がイントラ予測モードを使用すると決めた場合は、モードセレクタ３１０は、イントラ予測モードの１つの出力を、モードセレクタ３１０の出力に送る。
【０３３７】
モードセレクタ３１０は、コスト評価器ブロック３８２において、例えば、ラグランジアンコスト関数を使用でき、コーディングモード間、および動きベクトル、参照インデックス、およびインタ予測方向などのパラメータ値間で、代表的にはブロックベースで選択できる。この種のコスト関数は、重み付けファクタであるｌａｍｂｄａを使用でき、損失のあるコーディング方法に起因する（正確または推定）画像ディストーションと、画像領域で画素値を表現するために要求される情報の（正確または推定）量を一緒に結び付けることができる。Ｃ＝Ｄ＋ｌａｍｂｄａ×Ｒ、ここにおいて、Ｃは最小化されるラグランジアンコスト、Ｄは、モードおよびそのパラメータでの画像ディストーション（例えば、平均二乗誤差）、およびＲはデコーダにおいて画像ブロックを再構築するための必要なデータを表現するために必要なビット数である（例えば、候補の動きベクトルを表現するためのデータ量を含んでいる）。
【０３３８】
モードセレクタの出力は、第１合計装置３２１に送られる。第１合計装置は、画素予測器３０２の出力を画像３００から減算して、予測エラーエンコーダ３０３に入力される第１予測エラー信号３２０を生成する。
【０３３９】
画素予測器３０２は、予備再構築器３３９から、画像ブロック３１２の予測表現と、予測エラーデコーダ３０４の出力３３８の組み合わせを更に受信する。予備再構築画像３１４は、イントラ予測器３０８およびフィルタ３１６に送ることができる。予備表現を受信するフィルタ３１６は、予備表現のフィルタ処理を行うことができ、参照フレームメモリ３１８に保存できる最終再構築画像３４０を出力する。参照フレームメモリ３１８は、インタ予測動作において将来画像３００と比較される参照画像として使用されるためにインタ予測器３０６に接続できる。多くの実施の形態において、参照フレームメモリ３１８は２つ以上の復号化ピクチャを格納可能であってよく、その復号化ピクチャの１つ以上は、インタ予測器３０６により、インタ予測動作において、将来画像３００と比較される参照ピクチャとして使用できる。参照フレームメモリ３１８は、幾つかの場合においては、復号化ピクチャバッファとも称される。
【０３４０】
画素予測器３０２の動作は、この技術において知られている如何なる知られている画像予測アルゴリズムをも行うように構成できる。
【０３４１】
画素予測器３０２はまた、予測値を画素予測器３０２から出力する前に、予測値をフィルタ処理するためのフィルタ３８５もまた備えることができる。
【０３４２】
予測エラーデエンコーダ３０２と予測エラーデコーダ３０４の動作を、以下に更に詳細に記述する。下記の例においては、エンコーダは、フル画像またはピクチャを形成する１６×１６画素マクロブロックの画像を生成する。しかし、図４ａは、ブロックサイズ１６×１６に制限されず、何れのブロックサイズおよび形状が一般的に使用可能で、同様に、図４ａはピクチャのマクロブロックへのパーティション分割に制限されず、コーディング単位でのブロックへの任意の他のピクチャパーティション分割も使用できるということに留意されたい。このため、下記の例に対しては、画素予測器３０２は、一連のサイズ１６×１６画素の予測マクロブロックを出力し、第１合計装置３２１は、画像３００における第１マクロブロックと予測マクロブロック（画素予測器３０２の出力）の間の差を表現できる一連の１６×１６画素残差データマクロブロックを出力する。
【０３４３】
予測エラーエンコーダ３０３は、変換ブロック３４２と量子化器３４４を備えている。変換ブロック３４２は、第１予測エラー信号３２０を変換してドメインを変換する。変換は、例えば、ＤＣＴ変換またはその変形例である。量子化器３４４は変換ドメイン信号、例えば、ＤＣＴ係数を量子化して、量子化係数を形成する。
【０３４４】
予測エラーデコーダ３０４は予測エラーエンコーダ３０３からの出力を受信して、第２合計装置３３９において画像ブロック３１２の予測表現と組み合わせられるときに、予備再構築画像３１４を生成する復号化予測エラー信号３３８を生成する。予測エラーデコーダは、量子化係数値、例えばＤＣＴ係数を反量子化して、変換信号を近似的に再構築する反量子化器３４６と、再構築変換信号に対して逆変換を行う逆変換ブロック３４８を備えていると考えることができ、逆変換ブロック３４８の出力は、再構築ブロックを含んでいる。予測エラーデコーダはまた、更に復号化された情報およびフィルタパラメータに従って、再構築マクロブロックをフィルタ処理できるマクロブロックフィルタ（図示せず）も備えることができる。
【０３４５】
下記において、インタ予測器３０６の例としての実施の形態の動作がより詳細に記述される。インタ予測器３０６は、インタ予測のために現在ブロックを受信する。現在ブロックに対しては、符号化された１つ以上の隣接ブロックが既に存在しており、動きベクトルは、それらに対して定義されていると仮定する。例えば、現在ブロックの左側のブロックおよび／または現在ブロックの上方のブロックはそのようなブロックである。現在ブロックに対する空間動きベクトル予測は、例えば、同じスライスまたはフレームにおける符号化隣接ブロックおよび／または非隣接ブロックの動きベクトルを使用して、空間動きベクトル予測の線形または非線形関数を使用して、種々の空間動きベクトル予測子と線形または非線形動作の組み合わせを使用して、または、時間参照情報を利用しない任意の他の適切な手段により形成することが可能である。動きベクトル予測子を、１つ以上の符号化ブロックの空間および時間予測の両者を組み合わせることにより得ることもまたできる。これらの種類の動きベクトル予測子は、空間−時間動きベクトル予測子と呼ぶこともできる。
【０３４６】
符号化に使用される参照フレームは、参照フレームメモリに格納できる。各参照フレームは、１つ以上の参照ピクチャリストに含むことができ、参照ピクチャリスト内では、各エントリは、参照フレームを識別する参照インデックスを有している。参照フレームがもはや参照フレームとして使用されなくなると、参照フレームは参照フレームメモリから除去でき、または「参照に使用されていない」または非参照フレームとマークでき、その参照フレームの格納位置は、新しい参照フレームに対して占めることができる。
【０３４７】
上記のように、アクセスユニットは、異なる構成要素タイプ（例えば、１次テクスチャ構成要素、冗長テクスチャ構成要素、補助構成要素、深度／ディスパリティ構成要素）、異なるビュー、および異なるスケーラブル層のスライスを含むことができる。構成要素ピクチャは、依存性表現、層表現、テクスチャビュー構成要素、深度ビュー構成要素、深度マップ、または類似のものに対する集合的用語として定義できる。コード化構成要素ピクチャは、構成要素ピクチャデリミッタＮＡＬユニットを使用して互いに分離でき、構成要素ピクチャデリミッタＮＡＬユニットもまた、構成要素ピクチャのコード化スライスの復号化に使用される共通シンタックス要素を携えることもできる。アクセスユニットは、相対的に大きな数の、例えば、依存性および層表現と共に、コード化テクスチャおよび深度ビュー構成要素のような構成要素ピクチャから構成可能である。幾つかの構成要素ピクチャのコード化サイズは、例えば、構成要素ピクチャが、ベースビューまたはベース層に対するデルタを表現していると考えることが可能であるという理由、および深度構成要素ピクチャは、相対的に圧縮するのが容易であるという理由により相対的に小さくてもよい。構成要素ピクチャデリミッタＮＡＬユニットがビットストリームに存在しているときは、構成要素ピクチャは、構成要素ピクチャデリミッタＮＡＬユニットおよびアクセスユニットの終わりまで、または、次の構成要素ピクチャデリミッタＮＡＬユニット（ただし、これは除外する）の何れか復号順において早い方までの後続コード化スライスＮＡＬユニットと定義できる。
【０３４８】
ＭＰＥＧ文書Ｎ１２７３２において指定されている３Ｄ−ＡＶＣと共に、ＭＰＥＧ文書Ｎ１２９２３において指定されているＭＶＣ＋Ｄにおいては、ビットストリームにおける深度ビューの数は、同じビットストリームにおけるテクスチャビューの数と等しいことが要求される。更に、ビットストリームにおける深度ビューは、同じビットストリームのテクスチャビューと共に位置することが要求される。言い換えると、ビットストリームの深度ビューは、ビットストリームのテクスチャビューの深度またはディスパリティ情報を表現する。更に、深度ピクチャのサンプルは、それぞれのテクスチャピクチャのサンプル以外の同じ空間領域をカバーすることが要求される。言い換えると、各テクスチャサンプルに対する深度情報は深度ピクチャに存在しており、それぞれのテクスチャサンプルまたは複数のテクスチャサンプルがテクスチャピクチャにおいて存在しない深度ピクチャにおいてはサンプルはない。
【０３４９】
しかし、ビットストリームにおける深度ビューの数は、同じビットストリームにおけるテクスチャビューの数とは等しくなく、および／または深度ビューの幾つかまたはすべては、如何なるテクスチャビューとも共に位置しておらず、および／または深度ピクチャが、それぞれのテクスチャピクチャに対して異なる空間領域をカバーするということは望ましい。そのような方式がなぜ望ましいのかの例としては、制限されることはないが、下記の段落において与えられる。
【０３５０】
幾つかの３Ｄビデオおよび画像捕捉システムにおいては、例えば、光の飛行時間（ＴＯＦ）の原理に基づく特定のセンサまたはセンサアレイを、深度または距離感知に使用でき、そのようなセンサまたはセンサアレイは、例えば、電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化膜半導体（ＣＯＭＳ）サンサのような規則的カラー画像の捕捉のために使用されるものとは異なってもよい。この差には、捕捉３Ｄシーンおよび／またはテクスチャおよび深度センサに対するカメラパラメータに関する異なる解像度、異なるアスペクト比が含まれる。従って、深度ピクチャは、テクスチャピクチャの視点（つまり、カラー画像センサの位置）とは異なる視点（つまり、深度センサの異なる位置）から捕捉されることになる。従って、捕捉システムの出力は、それぞれのセンサが、捕捉装置またはカメラリグのような複数の装置設備内の異なる空間位置に存在するので、テクスチャビューとは共に位置していない深度ビューを備えることができる。深度センサはまた、例えば、センサおよび画素／サンプル解像度、サンプルアスペクト比および／またはピクチャアスペクト比の実際のサイズに関するときは、カラー画像センサとは異なる特性を有することもできる。代替として、または追加的に、深度センサは、カラー画像センサと一緒に較正されてなくてもよく、または深度画像は、カラー画像と調整されてなくてもよい。代替として、または追加的に、深度センサは、カラー画像センサのものと比較して、異なるカメラパラメータ、例えば非本質的な、および焦点距離のような本質的なカメラパラメータを有することができる。従って、深度センサによりカバーされる画像領域は、同じ３Ｄ捕捉システムにおけるカラー画像センサによりカバーされる画像領域と比較して等しくなくてもよいということは理解されるべきである。
【０３５１】
カメラは、マイクロレンズ、および／または、ある波長範囲のみを通過させる光学フィルタのような光学設備を含むことができる。そのような設備においては、例えば、異なるセンサアレイまたはセンサアレイの異なる部分を、異なる波長範囲を捕捉するために使用できる。別の例においては、レンズレットが使用され、各レンズレットは、シーンをわずかにことなる角度から捉える。従って、マイクロ画像のアレイから構成できる画像は、それぞれが１つのレンズレットに対応しており、わずかに異なる角度において捕捉されたシーンを表現している。更に、例えば赤外線波長を使用する深度距離測定は、そのようなマイクロレンズまたはレンズレット設備またはその類似物により行うことができる。しかし、そのような設備における深度ビューの視点は、テクスチャビューの視点とは、両者が同じセンサで捕捉された場合でもわずかに異なることがある。従って、捕捉システムの出力は、テクスチャビューとは共に位置していない深度ビューを備える可能性がある。
【０３５２】
ステレオマッチングにおいては、ディスパリティ検索は、１方向の方法で行われる。つまり、第１ビュー構成要素における各サンプル（例えば、左ビューのピクチャ）に対しては、第２ビュー構成要素における対応するサンプル（例えば、右ビューのピクチャ）が検索される。しかし、第２ビュー構成要素における各サンプルに対するディスパリティを見出すためには、ステレオマッチングを、第１ビュー構成要素における対応するサンプルを見出すために、少なくとも幾つかのサンプルに対して再度行うことが必要である。ステレオマッチングを１方向のみ、つまり１つのビューに対して（または一般的には、ビューのサブセットに対して）行う理由は、制限されることはないが、下記を含む幾つかの理由があり得る。
１．ステレオマッチングまたは深度推定を、計算リソースおよび／またはメモリリソースおよび／またはバッテリ電源／充電レベルを節約するために、ビューのサブセットに対して行うことができる。深度の第２ビューを生成するためには、深度推定を繰り返さなければならず、これは計算およびメモリの必要条件を倍増させ得る。
２．コンテンツは、合成ビューが、深度ピクチャが導出されたビューに相対的に近接して位置し、それにより、ビュー合成品質が、ビューのサブセットのみが各深度ビューと関連付けられていた場合でも十分に良好であると結論または推定されるような方法でのみ修正されるように意図または規制できる。
３．レンダリング装置はＤＩＢＲを、合成ビューが、深度ピクチャが導出されたビューに相対的に近接して位置し、それにより、ビュー合成品質が、ビューのサブセットのみが各深度ビューと関連付けられていた場合でも十分に良好であると結論または推定されるような方法で行うということを知ることができ、または信号で送ることができる。
【０３５３】
上記のリストの項目２と３を参照すると、２Ｔ＋１Ｄと称される２つのテクスチャビューと１つの深度ビューを備えているビットストリームの例を考えることが可能である。２Ｔ＋１Ｄフォーマットは、深度画像ベースレンダリングを介してレンダリング機能を可能にできる。仮想テクスチャビューは、利用可能なテクスチャビューから、ある観察角の範囲内で合成可能である。合成ビューと共に表示される第２テクスチャビューと組み合わされて、２Ｔ＋１Ｄ方式は、調整可能なステレオベースライン機能により立体映像表示を可能にできる。高品質ビュー合成は、従来の２Ｔ＋２Ｄ  ＭＶＤデータと比較すると、合成ビューにおいて出現し得る遮蔽／非遮蔽のために、より小さな観察範囲で利用可能であるということは理解されるべきである。しかし、ある使用の場合および／または適用は、２Ｔ＋１Ｄにより提供されるレンダリング範囲で満足でき、インペインティングまたはホールフィリングのような高度後処理技術は、遮蔽／非遮蔽問題を隠蔽できるものと信じられている。
【０３５４】
幾つかの捕捉設備においては、例えば、２つ以上のカラー画像センサ、例えば、立体映像カラー画像カメラと、距離測定または距離感知カメラ（または、一般的には、多くの深度距離測定カメラ）がある。ステレオマッチングまたは深度推定を介して、１つ以上の深度ビューが得られるが、深度ビューは、カラー画像センサにより得られるテクスチャビューの深度ビューと比較して、視点のサブセットを表現できる（例えば、上記に説明した理由の何れかのため）。加えて、テクスチャビューと共に位置していない、距離測定センサに起因する深度ビューがあり得る。
【０３５５】
例えば、電力消費、処理電力使用量、メモリアクセス帯域、およびメモリ空間必要条件を削減するために、テクスチャビューの数と比較して、より少ない数の深度ビューを符号化して続いて復号化することが望ましい。例えば、２つのビューの代わりに、深度マップデータの単一のビューのコーディング／復号化は、テクスチャと深度の２つのビューを備えている完全ＭＶＤデータと比較して、コーデックに対する複雑さを削減可能である。
【０３５６】
従って、本発明においては、深度強化マルチビュービデオを符号化、復号化、および処理する方法が提示され、その方法においては、テクスチャおよび深度ビューの数が等しくなくてもよく、および／またはテクスチャビューの幾つかは、共に位置している深度ビューを有してなくてもよく、および／または深度ビューの幾つかは共に位置しているテクスチャビューを有してなくてもよく、深度ビュー構成要素の幾つかは、テクスチャビュー構成要素と時間的に一致してなくてもよく、またその逆であってもよく、共に位置しているテクスチャおよび深度ビューは異なる空間領域をカバーしてもよく、および／または２つ以上のタイプの深度ビュー構成要素があってもよい。発明の、幾つかの非制限的な実施の形態が下記に提示される。
【０３５７】
種々の実施の形態の記述においては、共に位置している、並べられている、および重なっているという用語は、テクスチャビュー構成要素におけるあるサンプルまたは領域は、同じ物理的対象物または３Ｄシーンの一部を、深度ビュー構成要素における、ある共に位置している／並べられている／重なっているサンプルまたは領域として表現していることを表示するために交換可能に使用できる。幾つかの実施の形態においては、テクスチャビュー構成要素のサンプリンググリッドは、深度ビュー構成要素のサンプリンググリッドと同じであってよい。つまり、テクスチャビュー構成要素の、ルマ画像のような構成要素画像の１つのサンプルは、深度ビュー構成要素の１つのサンプルに対応している。つまり、サンプルの物理的寸法は、テクスチャビュー構成要素の、ルマ画像のような構成要素画像と、対応する深度ビュー構成要素の間で整合している。幾つかの実施の形態においては、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドのサンプル寸法（ｔ幅×ｔ高さ）は、深度ビュー構成要素のサンプリンググリッドのサンプル寸法（ｄ幅×ｄ高さ）の整数倍であってもよい。つまり、ｔ幅＝ｍ×ｄ幅およびｔ高さ＝ｎ×ｄ高さであり、ここにおいてｍとｎは正の整数である。幾つかの実施の形態においては、ｔ幅＝ｍ×ｄ幅およびｔ高さ＝ｎ×ｄ高さ、または代替として、ｄ幅＝ｍ×ｔ幅およびｄ高さ＝ｎ×ｔ高さであり、ここにおいてｍとｎは正数であり、非整数であってもよい。これらの実施の形態においては、内挿方式を、エンコーダ、デコーダ、ビュー合成プロセス、および他のプロセスに使用でき、テクスチャと深度の間の共に位置しているサンプル値を導出できる。幾つかの実施の形態においては、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドの物理的場所は、対応する深度ビューの物理的場所と整合でき、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプル寸法は、深度ビュー構成要素のサンプリンググリッドのサンプル寸法（ｄ幅×ｔ高さ）の整数倍であってもよく（またはその逆であってもよく）、そして、テクスチャビュー構成要素および深度ビュー構成要素は、共に位置しており、同じ視点を表現していると考えることができる。幾つかの実施の形態においては、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドの場所は、深度ビュー構成要素のサンプリンググリッド場所に対して整数サンプルオフセットを有しることができる。言い換えれば、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドの左上サンプルは、深度ビュー構成要素のサンプリンググリッドにおける場所（ｘ，ｙ）のサンプルに対応でき、またその逆も可能で、ここにおいてｘとｙは、非負値のみの、原点が左上隅にある二次元直交座標系における非負整数である。幾つかの実施の形態においては、ｘおよび／またはｙの値は、非整数であってもよく、従って、内挿方式を、エンコーダ、デコーダ、ビュー合成プロセス、および他のプロセスに使用でき、テクスチャと深度の間の共に位置しているサンプル値を導出できる。幾つかの実施の形態においては、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドは、深度ビュー構成要素のサンプリンググリッドの範囲とは等しくない範囲を有することができる。言い換えれば、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドにおける水平および／または垂直方向のサンプル数は、深度ビュー構成要素のサンプリンググリッドにおける水平および／または垂直方向それぞれのサンプル数とは異なってもよく、および／またはテクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドの物理的幅および／または高さは、深度ビュー構成要素のサンプリンググリッドの物理的幅および／または高さそれぞれと異なってもよい。幾つかの実施の形態においては、非一様および／または非整合サンプルグリッドを、テクスチャおよび／または深度構成要素に対して利用できる。深度ビュー構成要素のサンプルグリッドは、テクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドが、深度ビュー構成要素のサンプリンググリッドのサンプル寸法（ｄ幅×ｄ高さ）の整数倍ではなく、またはテクスチャビュー構成要素の、ルマ画像のような構成要素画像のサンプリンググリッドの場所が、深度ビュー構成要素のサンプリンググリッドの場所と比較して非整数オフセットを有しているとき、または深度ビュー構成要素とテクスチャビュー構成要素のサンプリンググリッドが整列／調整されていないときは、テクスチャビュー構成要素のサンプルグリッドと整合していない。これは、例えば、構成要素の１つにおけるデータの冗長性を削減する目的で、または深度センサとカラー画像センサの間の較正／調整プロセスの不正確性のために起こり得る。
【０３５８】
発明の幾つかの実施の形態においては、エンコーダは、テクスチャビューの数と比較して、異なる数の深度ビューを入力し、および／または、コード化深度ビューの数がコード化テクスチャビューの数と異なるように、深度ビューの符号化を省略する。追加的に、または代替として、エンコーダは、符号化のための少なくとも１つの深度ビューが、異なる視点を有している、または符号化のためのテクスチャビューの何れとも共に位置していないとうことを入力または結論できる。幾つかの実施の形態においては、コード化深度ビューの数は、コード化テクスチャビューの数と等しくてもよいが、少なくとも１つのコード化深度ビューは異なる視点を有する、またはコード化テクスチャビューの何れとも共に位置していない。例えば、深度ビューは、現在のテクスチャビューの何れとも並んでいなくてもよく、現在のテクスチャビューの間の間隔を空けた観察角、または現在のテクスチャビューの観察角の外側からの情報を表現できる。
【０３５９】
種々の実施の形態においては、エンコーダおよび／またはエンコーダに接続されている別のユニット（例えば、エンコーダを使用するアプリケーション）は、特に下記のステップの１つ以上を行うことができる。
１．入力テクスチャおよび深度ビューの何れが符号化されるかを決定すること。
２．テクスチャビューおよび深度ビューのビュー間予測階層を決定すること。
３．ＡＵビュー構成要素順とも称される、アクセスユニット内のビュー構成要素順を決定すること。
４．入力テクスチャおよび深度ビューの何れかが符号化されるかの１つ以上の表示、テクスチャビューおよび深度ビューのビュー間予測階層、および／またはＡＵビュー構成要素順をビットストリームに符号化すること。
５．参照として要求された深度ビュー、または予測（ビュー合成予測、ビュー間予測、構成要素間予測、および／またはそれに類似のもの）および／または復号化のために後処理として行われるビュー合成に対する入力、およびエンコーダに入力されなかった、またはコード化されないと決定された深度ビューの応答として、下記の
深度ビュー、深度ビューに対する１つ以上の深度ビュー構成要素、または深度ビューに対する１つ以上の深度ビュー構成要素の一部を、コード化深度ビューおよび／またはコード化テクスチャビューおよび／または再構築深度ビューおよび／または再構築深度ビューまたはそれらの一部に基づいて導出することであって、導出は、例えば、ビュー合成またはＤＩＢＲに基づくことができ、
導出された深度ビューを参照、または予測（ビュー合成予測、ビュー間予測、構成要素間予測、および／またはそれに類似のもの）および／または復号化のために後処理として行われるビュー合成のための入力として使用すること、を行うこと。
６．１つ以上のコーディングツールの使用、コーディングツールのモード、および／またはテクスチャビューをコーディングするためのコーディングパラメータを、それぞれのコード化深度ビューの存在または不在、および／またはそれぞれの導出された深度ビューの存在または不在に基づいて推測すること。幾つかの実施の形態においては、深度ビューが参照として、または予測（ビュー合成予測、ビュー間予測、構成要素間予測、および／またはそれに類似のもの）のための入力として要求され、しかし符号化されないときは、エンコーダは、
深度ビューを導出または
深度ビューを参照、または予測のための入力として要求させたコーディングツールの機能が停止されたと推測、または
上記の１つを適応的に選択し、選択されたオプションおよび、もしあれば関連するパラメータ値を、１つ以上の表示としてビットストリームに符号化できる。
７．深度ビュー構成要素から（または、一般的には、１つ以上の深度ビュー構成要素から）テクスチャビュー構成要素への（または、一般的には、１つ以上のテクスチャビュー構成要素への）構成要素間予測信号または予測ブロックまたは類似のものを、テクスチャビュー構成要素における予測されたブロックのサブセットに対して、深度ビュー構成要素における共に位置しているサンプルまたはブロックの利用可能性に基づいて形成すること。同様に、テクスチャビュー構成要素から（または、一般的には、１つ以上のテクスチャビュー構成要素から）深度ビュー構成要素への（または、一般的には、１つ以上の深度ビュー構成要素への）構成要素間予測信号または予測ブロックまたは類似のものを、深度ビュー構成要素における予測されたブロックのサブセットに対して、テクスチャビュー構成要素における共に位置しているサンプルまたはブロックの利用可能性に基づいて形成すること。
８．テクスチャブロックに対するビュー合成予測信号または予測ブロックまたは類似のものを、共に位置している深度サンプルの利用可能性に基づいて形成すること。
【０３６０】
上記のステップは、上記の順で行う必要はないということは理解されるべきである。例えば、ステップ１から３は関連していると考えることができ、一緒のプロセスとして、または上記に提示された順とは異なる順で行うことができる。
【０３６１】
幾つかの実施の形態においては、エンコーダおよび／またはエンコーダに接続された別のユニット(例えば、エンコーダを使用するアプリケーション）は、入力テクスチャおよび深度ビューの何れが符号化されるかを決定する。決定は、例えば、コンテンツアイテム（例えばビデオフィルム）またはセッション（ビデオ電話接続または呼（コール））毎に１回行うことができ、または決定は、コンテンツアイテムまたはセッションの間に複数回行うことができる。つまり、コード化テクスチャおよび深度ビューは、コンテンツアイテムまたはセッション内で変化することが可能である。エンコーダプロセスまたはコード化テクスチャおよび深度ビューに対する決定をするための推論は、制限されることはないが、下記の１つ以上を含むことができる。
１．エンコーダは、例えば、アプリケーション設定から、コード化深度ビュー数および／またはコード化テクスチャビュー数を入力するように構成できる。
２．エンコーダは、どの深度ビューがコード化されるかを、使用中のビュー合成、ビュー間、および／または構成要素間予測階層に基づいて決定できる。深度ビューが、ビュー合成、ビュー間および／または構成要素間予測のための参照として使用される場合は、エンコーダは深度ビューをコード化することを決定できる。それ以外では、深度ビューが、ビュー合成、ビュー間および／または構成要素間予測のための参照として使用されない場合は、エンコーダは深度ビューの符号化を省略することを決定できる。
３．前述の項目と類似して、エンコーダは、どの深度ビューがコード化されて、どの深度ビューが省略されるかを、構成要素間予測ツールおよび／またはどのタイプのビュー合成予測（前方ＶＳＰまたは後方ＶＳＰのような予測）が使用されているか、つまり、深度ビューが何れかの他のビューまたは複数のビューのコーディングに必要かどうかに基づいて選択できる。そのような決定は、例えば、下記の１つ以上に基づくことができる。
エンコーダは、コード化テクスチャおよび深度ビュー、構成要素間コーディングおよび／またはビュー合成予測ツール、およびＡＵビュー構成要素順が他のものよりも、例えば、レートディストーション（またはある他のコスト）測定基準において良好に行う最適化プロセスを行うことができる。
エンコーダは、どの深度ビューがコード化されるかについて抑制を課す、あるコーディングツール、コーディングモード、および／またはコーディングパラメータを使用するように、またはそれらを使用することを決定するように構成できる。例えば、前方ＶＳＰが前述のように使用される場合は、ビュー合成予測のための参照として使用されるビューのテクスチャビュー構成要素とそれぞれの深度ビュー構成要素の両者はコード化される必要がある。
４．エンコーダはＶＳＯ方法または類似の方法を実行して、コード化深度ビューが、予測（ビュー合成、ビュー間、または構成要素間のような予測）のためにコード化深度ビューを参照として使用可能な他のビューに対してレートディストーション（または他のコスト測定基準）の恩恵をもたらすかどうかを決定できる。ＶＳＯ方法または類似の方法に対しては、エンコーダは、例えば、第１アクセスユニットまたは第１ＧＯＰのビュー構成要素のみを使用できる。コーディングおよび復号化プロセスが、コード化深度ビューおよび／またはコード化テクスチャビューおよび／または再構築深度ビューおよび／または再構築テクスチャビューまたはそれらの一部に基づく深度ビューの導出を可能にする場合は、エンコーダのＶＳＯ方法または類似の方法は、コーディング／復号化プロセスの一部としての深度ビューのコーディングまたは深度ビューの導出のレートディストーション（または他のコスト測定基準）の影響を比較できる。コード化深度ビューがレートディストーションの恩恵をもたらす場合は、エンコーダは、深度ビューを符号化することを決定でき、それ以外では、エンコーダは、深度ビューの符号化を省略することを決定できる。
５．エンコーダは、復号化のために後処理として行われるビュー合成のための合成ビュー構成要素に対する予期されまたは知られている視点、または予期されまたは知られている視点の範囲を入力するように構成できる。エンコーダは、ＶＳＯ方法または類似の方法を実行して、コード化深度ビューが、合成ビュー構成要素に対する予期されまたは知られている視点、または予期されまたは知られている視点の範囲にレートディストーション（または他のコスト測定基準）の恩恵をもたらすかどうか（同じ視点を、そうでなければ利用可能な深度ビューに基づいて合成することと比較して）を決定できる。ＶＳＯ方法または類似の方法に対しては、エンコーダは、例えば、第１アクセスユニットまたは第１ＧＯＰのビュー構成要素のみを使用できる。コード化深度ビューがレートディストーションの恩恵をもたらす場合は、エンコーダは、深度ビューを符号化することを決定でき、それ以外では、エンコーダは、深度ビューの符号化を省略することを決定できる。
【０３６２】
テクスチャビューおよび深度ビューのビュー間予測階層を決定することは、エンコーダにおいて、例えば次のように行うことができる。
【０３６３】
幾つかの実施の形態においては、エンコーダは、テクスチャビューおよび深度ビューに対して、ある同一のビュー間依存性順を選択するように構成できる。代替として、または追加的に、エンコーダは、同一ビュー間依存性順が、例えば、レートディストーション測定基準を使用して、幾つかの他よりも良好に行う最適化プロセスを実行できる。
【０３６４】
幾つかの実施の形態においては、エンコーダは、テクスチャビューに対するビュー間依存性順を、深度ビューとは異なって選択する。例えば、エンコーダは、テクスチャビューおよび深度ビューに対して、あるビュー間依存性順を選択するように構成できる。代替として、または追加的に、エンコーダは、ビュー間依存性順が、例えば、レートディストーション測定基準を使用して、テクスチャビューおよび深度ビューに対する幾つかの他よりも良好に行う最適化プロセスを実行できる。
【０３６５】
幾つかの実施の形態においては、エンコーダは、他の実施の形態におけるビュー間依存性順の代替として、またはそれに追加して、テクスチャおよび深度ビューに対するビュー間依存性順および／またはＡＵビュー構成要素順を、深度ビュー内の深度マップのタイプおよび／または使用されている予測深度マップのタイプに基づいて選択できる。２つ以上の深度マップがディスパリティを表現している場合は、エンコーダは、ビュー間依存性順および／または深度ビューに対するＡＵビュー構成要素順を、ビュー間依存性順および／または深度ビューのＡＵビュー構成要素順が、ディスパリティマップが導出されたビューの順と整合するように選択できる。更に、エンコーダが後方ＶＳＰを使用している場合は、エンコーダは、テクスチャビューのビュー間依存性順およびテクスチャおよび深度ビューのＡＵビュー構成要素順を、深度ビュー構成要素のサンプル値を変換することなく、ディスパリティマップを表現する深度ビュー構成要素を使用する後方ＶＳＰを直接使用できるように選択できる。ある例においては、一次元平行装備における３台のカメラがマルチビュービデオシーケンスを捕捉するために使用され、ステレオマッチングが２つのディスパリティマップを生成するために使用され、第１ディスパリティマップは、左のカメラから右のカメラまでのディスパリティ値を含み、第２ディスパリティマップは、右のカメラから中間のカメラまでのディスパリティ値を含んでいる。同じ例を続けると、後方ＶＳＰを使用することができ、テクスチャビューは、左ビュー、右ビュー、そして中間ビューの順にコード化できる。第１ディスパリティマップは、第２ディスパリティマップに先行してコード化できる。第１ディスパリティマップおよび左ビューのテクスチャビュー構成要素は、右ビューのテクスチャビュー構成要素に対する後方ＶＳＰにおいて使用できる。続いて、第２ディスパリティマップおよび右ビューのテクスチャビュー構成要素が、中間ビューのテクスチャビュー構成要素に対する後方ＶＳＰにおいて使用できる。
【０３６６】
下記の段落においては、エンコーダプロセスまたは、コード化テクスチャおよび深度ビューに対する決定をするための推論の幾つかの例としての記述および／または更なる詳細が提供される。
【０３６７】
上述したように、幾つかの実施の形態においては、エンコーダは、どの深度ビューがコード化されるかを、使用されているビュー間および構成要素間予測階層に基づいて決定できる。エンコーダは、ビュー間および／または構成要素間予測依存性階層を入力するように構成でき、および／または予め定義されたビュー間および／または構成要素間予測依存性階層を使用でき、または、レートディストーション最適化のようなコスト関数を、ビュー間および／または構成要素間予測依存性階層を決定するために行うことができる。エンコーダはまた、テクスチャおよび深度ビュー構成要素のコーディング／復号化順を決定することもでき、これは、ビュー間および構成要素間予測依存性階層の決定に基づくことができる。代替として、エンコーダはテクスチャおよび深度ビュー構成要素のコーディング／復号化順を入力するように構成でき、または、テクスチャおよび深度ビュー構成要素の予め定義されたコーディング／復号化順を使用でき、またはレートディストーション最適化のようなコスト関数を、テクスチャおよび深度ビュー構成要素のコーディング／復号化順を決定するために行うことができる。従って、テクスチャおよび深度ビュー構成要素のコーディング／復号化順に基づいて、エンコーダはビュー間および／または構成要素間予測依存性階層を決定できる。
【０３６８】
例えば、エンコーダは、３つのビューのコーディングのために、「ＰＩＰ」ビュー間予測階層を使用するように構成されている。ＰＩＰビュー間予測階層においては、中間テクスチャビューはベーステクスチャビューとしてコード化され、左および右のテクスチャビューは、ベーステクスチャビューからのビュー間予測を使用できる。同じ例を続けると、エンコーダは、構成要素間予測と、左および右のテクスチャビュー（つまり、「Ｐ」テクスチャビュー）のためのビュー合成予測を使用しないように構成できる。前方ＶＳＰが使用されている場合、中間深度ビューは、ビュー合成予測信号を形成する必要があり、エンコーダによりコード化されると決定され、従って、左および右の深度ビューのコーディングは省略できる。後方ＶＳＰが使用されている場合、中間深度ビューはビュー合成予測信号を形成するためには必要はなく、そのコーディングも省略できるが、左および右の深度ビューはビュー合成予測信号を形成するために使用され、従って、エンコーダによりコード化されると決定される。上記の後方ＶＳＰの場合においては、中間深度ビューはコード化されず、左および右のビューの１つはベース深度ビューとして選択できるが、他方の１つは、ベース深度ビューからのビュー間予測を使用できる。
【０３６９】
幾つかの実施の形態においては、エンコーダは、復号化のための後処理として行われるビュー合成のための合成ビュー構成要素に対する、予期されまたは知られている視点、または予期され知られている視線の範囲を入力するように構成できる。例えば、ユーザーは、コンテンツ符号化を支援して、所望のマルチビューレンダリングを受けることになる視点の範囲を設定できる。別の例においては、異なる合成ビューに起因する、最大正ディスパリティおよび／または最小負ディスパリティおよび／またはディスパリティ分布のような、ディスパリティ特性および／または、それぞれの知覚される深度特性は、所望の／受け入れられる合成視点または所望の／受け入れられる合成視点範囲を決定するために使用できる。別の例においては、符号化側は、復号化側の装置またはターミナルの表示および観察環境の情報を受信できる。例えば、ビデオ電話またはビデオ会議アプリケーションにおいては、受け手側（復号化側とも称することができる）が、そのレンダリング環境の特性を符号化側に表示するシグナリング機構を設けることも可能である。これらの特性には、制限されることはないが、下記の１つ以上を含むことができる。同時に表示されるビュー数、各ビューに対して別々に与えることができるサンプルまたは構成要素サンプル（例えば、赤、緑、および青の画素構成要素）に関する表示または観察ウィンドウの水平および垂直方向の解像度、表示領域または観察ウィンドウの水平および垂直方向のサイズ、観察距離（例えば、１つ以上のビューワの推奨される観察距離、または検出された観察距離）、表示されているビューまたは視点および／または表示されているビューまたは視点間のベースライン差／距離。特性は時間の関数として変化し得るので、受け手側は、セッションの間に、特性の新しい値を信号で送るための手段を有することができる。例えば、１つ以上の新しいコーデック制御メッセージを、ＩＥＴＦ  ＲＦＣ  ５１０４において指定されているコーデック制御メッセージと同様に指定できる。コーデック制御メッセージは、フィードバック付きオーディオ−ビジュアルプロトコル（ＡＶＰＦ、ＩＥＴＦ  ＲＦＣ  ４５８５）を、リアルタイムトランスポートコントロールプロトコル（ＲＴＣＰ、ＩＥＴＦ  ＲＦＣ  ３５５０）上でメッセージを搬送するために使用できる。
【０３７０】
復号化のための後処理としてなされるビュー合成のための合成ビュー構成要素に対する予期されまたは知られている視点、または予期されまたは知られている視点の範囲に基づいて、エンコーダは、ＶＳＯ方法または類似の方法を実行して、コード化深度ビューが、合成ビュー構成要素に対する予期されまたは知られている視点、または予期されまたは知られている視点の範囲にレートディストーション（または他のコスト測定基準）の恩恵をもたらすかどうか（同じ視点を、そうでなければ利用可能な深度ビューに基づいて合成することと比較して）を決定できる。ＶＳＯ方法または類似の方法に対しては、エンコーダは、例えば、第１アクセスユニットまたは第１ＧＯＰのビュー構成要素のみを使用できる。コード化深度ビューがレートディストーションの恩恵をもたらす場合は、エンコーダは、深度ビューを符号化することを決定でき、それ以外では、エンコーダは、深度ビューの符号化を省略することを決定できる。
【０３７１】
幾つかの実施の形態においては、エンコーダ側および／またはデコーダ側は、深度ビュー構成要素の、合成ビュー構成要素に対する予期されまたは知られている視点、または予期され知られている視点範囲への前方ビュー合成を使用できる。続いて、エンコーダ側および／またはデコーダ側は、前方合成深度ビュー構成要素に基づいて、テクスチャビュー構成要素の後方ビュー合成を使用できる。幾つかの実施の形態においては、エンコーダは、ＶＳＯ方法または類似の方法を実行して、記述されたビュー合成プロセスとの組み合わせにおけるそれぞれのコード化テクスチャビューなしのコード化深度ビューが、合成ビュー構成要素に対する予期されまたは知られている視点、または予期されまたは知られている視点の範囲にレートディストーション（または他のコスト測定基準）の恩恵をもたらすかどうか（同じ視点を、そうでなければコード化される深度ビューに基づいて合成することと比較して）を決定できる。幾つかの実施の形態においては、エンコーダは、それぞれのテクスチャビュー構成要素なしでコード化される深度ビューまたは視点を入力するように予め定義でき、または構成できる。幾つかの実施の形態においては、エンコーダは、それぞれのテクスチャビューを有していない深度ビューを入力として受信しないこともでき、そしてエンコーダは続いて、深度ビューの前方ビュー合成を行って、入力として受信されず、符号化されるべきそのような深度ビューを生成できる。エンコーダは、前方深度ビュー合成および後方テクスチャビュー合成の使用およびパラメータについての１つ以上の表示を符号化でき、１つ以上の表示をビットストリームにおいて、例えば、ビデオパラメータセット、シーケンスパラメータセット、補足エンハンスメント情報、または任意の他のシンタックス構造に含むことができる。デコーダは、前方深度ビュー合成および後方テクスチャビュー合成の使用およびパラメータについての１つ以上の表示をビットストリームから復号化でき、復号化された表示に従って、復号化の後処理により、ビュー合成予測および／またはビュー合成を行うことができる。
【０３７２】
幾つかの実施の形態においては、エンコーダは、リアルワールドディスパリティを表現していなくてもよいが、ディスパリティが空間的または局所的に適応されている非線形ディスパリティマップを入力または生成するように構成できる。空間的または局所的適応は、例えば、ユーザー支援の方法で、および／またはエネルギー最小化問題を解くことにより行うことができる。エネルギー最小化問題は、例えば、制限されることはないが、スパースステレオコレスポンデンス（ｓｐａｒｓｅ  ｓｔｅｒｅｏ  ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ）、ビジュアルインポータンス（ｖｉｓｕａｌ  ｉｍｐｏｒｔａｎｃｅ）またはセイリエンシ（ｓａｌｉｅｎｃｙ）、およびテンポラルコンシステンシ（ｔｅｍｐｏｒａｌ  ｃｏｎｓｉｓｉｔｅｎｃｙ）を含むことができる幾つかの用語による方程式または公式により公式化できる。非線形ディスパリティマップは、例えば、前景対象物の実際のディスパリティと比較したときの前景対象物に対する異なるディスパリティを表示できるが、シーンの背景のディスパリティは、その実際のディスパリティを反映できる。非線形ディスパリティマップは、コード化テクスチャビュー構成要素の視点に対して、エンコーダにより入力または生成でき、非線形ディスパリティマップは、エンコーダ側および／またはデコーダ側により前方ビュー合成に使用できる（ビュー合成予測および／または復号化の後処理のためのビュー合成において）。代替として、または追加的に、非線形ディスパリティマップは、テクスチャビュー構成要素がコード化されていない視点に対して、エンコーダにより入力または生成でき、非線形ディスパリティマップは、エンコーダ側および／またはデコーダ側により後方ビュー合成に使用できる（ビュー合成予測および／または復号化の後処理のためのビュー合成において）。幾つかの実施の形態においては、エンコーダは、非線形ディスパリティマップに対する使用およびパラメータの１つ以上の表示を符号化して、ビットストリームに含む（例えば、シーケンスパラメータセットまたは補足エンハンスメント情報メッセージまたは任意の他のシンタックス構造において）。例えば、エンコーダは、非線形ディスパリティマップにおけるディスパリティ値の予め定義された、または線形の、または信号で送られた変倍を使用して非線形ディスパリティマップを適用できる視点（例えば、基準カメラの場所に対する平行移動可能なカメラの場所のような視点）の範囲またはリストを含むことができる。エンコーダは非線形ディスパリティマップを、何れの他のタイプの深度またはディスパリティマップと同じに、または類似して符号化でき、デコーダは非線形ディスパリティマップを、何れの他のタイプの深度またはディスパリティマップと同じに、または類似して復号化できる。幾つかの実施の形態においては、デコーダはビットストリームから、非線形ディスパリティマップの使用とパラメータの１つ以上の表示を受信して復号化する。デコーダは１つ以上の表示に基づいて、ビュー合成予測に対して要求される、またはレンダリング／表示に対して所望される視点が、非線形ディスパリティマップが適用可能な視点の範囲またはリスト内にあるかどうかを結論できる。続���て、デコーダはディスパリティ補償またはビュー合成またはＤＩＢＲアルゴリズムを適用して、要求／所望される視点に対するビュー構成要素を、非線形ディスパリティマップに基づいて生成できる。ビューが、受信した非線形ディスパリティマップに対応する視点において合成されることが決定された場合は、ビュー合成またはＤＩＢＲを、非線形ディスパリティマップに基づいて適用可能であり、それは、後方ビュー合成に類似している。ビューが、如何なるコード化された非線形ディスパリティマップとも共に位置していない視点において合成されることが決定された場合は、テクスチャビューおよび深度／ディスパリティビューの両者が利用可能（先行するステップで受信または合成された）な視点から前方ビュー合成を直接適用できる。代替として、または追加的に、例えば、非線形ディスパリティマップに基づいて、深度／ディスパリティビューの前方ビュー合成を、最初は、所望の視点に対して行うことができ、例えば、変倍された非線形ディスパリティマップという結果になる。そして、変倍された非線形ディスパリティマップは、後方ビュー合成に対して使用して、所望の視点に対する合成テクスチャビューを得ることができる。
【０３７３】
幾つかの実施の形態においては、エンコーダは、同じ視点またはカメラの場所に対して、２つ以上の深度ビューを符号化できる。エンコーダまたは符号化側が、同じ視点に対して２つ以上の深度ビューを符号化する理由は、制限されることはないが、下記の１つ以上を含むことができる。
同じ視点に対してコード化される第１深度ビューおよび第２深度ビューは、異なる発生源を有することができる。例えば、第１深度ビューは、深度レンジセンサを発生源とすることができ、視点に投射され、第２深度ビューは、立体映像カメラのカラー画像対間のステレオマッチングを発生源とすることができる。別の例においては、３つのカラー画像センサを有するカメラ設備を使用できる。中間カメラに対する第１深度ビューは、左ビュー／カメラと中間カメラのステレオマッチングにより生成でき、一方、中間カメラに対する第２深度ビューは、右ビュー／カメラと中間カメラのステレオマッチングにより生成できる。デコーダ側は、同じ視点（および同じ時間の瞬間）を表現している異なる深度マップからの深度サンプルを、例えば、平均化またはメディアンフィルタリングにより、例えば、融合でき、融合された深度サンプルをビュー合成に使用できる。
同じ視点に対してコード化される第１深度ビューおよび第２深度ビューは、第１および第２深度ビューの視点に対する特定の、または表示された方向または視点に向けて適用される深度またはディスパリティを表現できる。例えば、第１深度ビューは、第１および第２深度ビューの視点から左に向けての前方ビュー合成に適用できるディスパリティマップを表現でき、第２深度ビューは、第１および第２深度ビューの視点から右に向けての前方ビュー合成に適用できるディスパリティマップを表現できる。デコーダ側は、同じ視点に対する多くの深度ビューの中から、ビュー合成に使用する適用深度ビューを、深度ビューの視点に対する合成視点の方向に基づいて選択できる。
同じ視点に対してコード化される第１深度ビューおよび第２深度ビューは、異なる表示設備または観察状況において適用できる異なる非線形ディスパリティマップを表現できる。エンコーダは、深度ビューと関連付けられた表示設備または観察状況をビットストリーム内において、例えば、ビデオパラメータセット構造、シーケンスパラメータセット構造、ＳＥＩメッセージ、または任意の他のシンタックス構造において表示できる。表示設備または観察状況は、１つ以上のパラメータにより特徴付けることができ、１つ以上のシンタックス要素としてコード化できる。例えば、表示設備または観察状況を特徴付けるパラメータは、制限されることはないが、下記の１つ以上を含むことができる。表示されるビューのピクチャアスペクト比、表示されるビューのサンプルアスペクト比、表示されるビューの知覚された深度レンジまたは近似的／正確な知覚された深度統計値、基準表示幅および／または観察状況に対する観察距離。デコーダ側は、ビュー合成に使用する非線形ディスパリティマップを、知られているまたは推定される表示特性および／または観察条件に基づいて、例えば、選択された、知られているまたは推定される表示特性および／または観察条件が、選択された非線形ディスパリティマップに対してビットストリームにおいて信号で送られたパラメータと一致し、および／または選択された非線形ディスパリティマップに対してビットストリームにおいて信号で送られたパラメータに対する知られているまたは推定される表示特性および／または観察条件の差が可能な限り小さくなるように選択できる。
【０３７４】
幾つかの実施の形態においては、エンコーダは予め定義でき、時間的な非対深度ビューの下記の場合の１つ以上を使用するために制御を入力でき、またはそれらを使用することを決定できる。
幾つかの他の深度ビューおよび／またはテクスチャビューのピクチャレートと比較したときの、１つ以上の深度ビューのコーディングにおける異なるピクチャレート、
たとえピクチャレートが同じであったとしても、別の深度ビューのピクチャおよび／またはテクスチャビューのピクチャと比較して、深度ビューのピクチャ間の同期していな捕捉、つまり、異なる捕捉（従って、潜在的に異なる出力または表示）インスタンス、
非時間重なりおよび／または不規則捕捉期間、例えば、深度ビューは、テクスチャビューと比較してより短い時間で捕捉でき、または深度ビューの捕捉は、短期間中止し、その短期間の後に継続できる。
【０３７５】
エンコーダ側が、１つ以上の時間的な非対深度ビューを使用またはコード化する理由は、制限されることはないが、下記の１つ以上を含むことができる。
深度ビューは、同じ捕捉設備におけるカラー画像センサとは本質的には異なる時間解像度またはピクチャレートを有しているセンサを発生源とすることができ、従って、カラー画像センサにより得られるテクスチャビューにステレオマッチングを適用して導出される深度ビューとなる。例えば、距離測定カメラは、１秒あたり１５枚のピクチャの時間解像度で作動でき、一方、カラー画像センサは、１秒あたり６０フレームの時間解像度で作動できる。
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、ピクチャレートアップサンプリングプロセスを使用して、深度ビューのピクチャレートを、例えば、テクスチャビューのピクチャレートと同じにするために増大することができる。多数のピクチャレートアップサンプリング方法が存在し、如何なる方法または方法の組み合わせを使用可能である。ピクチャレートアップサンプリング方法は、例えば、ビットストリームの動きベクトルを、動き補償を適用することにより、ピクチャが時間ドメインにおいて合成される中間的時間の場所に適用できるように変倍できる。代替として、または追加的に、ピクチャレートアップサンプリング方法は、コード化／復号化ピクチャの動きフィールドを、例えば、良好で滑らかな動きフィールドに調節でき、続いて、得られた動きフィールドを、中間的時間の場所を動き補償するために変倍できるブロックマッチングアルゴリズムにより推定できる。エンコーダは、レートディストーション最適化方法、ＶＳＯ方法、または類似の方法を実行して、深度ビューのピクチャレートを決定でき、深度ビューのピクチャレートアップサンプリングは考慮することができる。エンコーダは、使用または仮定されたピクチャレートアップサンプリングアルゴリズムとそのパラメータの１つ以上の表示を符号化できる。デコーダは、使用または仮定されたピクチャレートアップサンプリングアルゴリズムと深度ビューに対するパラメータの１つ以上の表示を復号化できる。デコーダはピクチャレートアップサンプリング方法を、例えば、復号化テクスチャビューと比較して等しいピクチャレートを有している深度ビューを導出するために適用できる。
エンコーダは、構成要素間予測および／またはビュー合成予測および／または類似の予測を、あるアクセスユニットまたは時間インスタンスおよび／またはあるアクセスユニットまたは時間インスタンス内のあるビュー構成要素のみに対して使用、または使用することを決定するように構成できる。例えば、エンコーダは、ＶＳＯ方法または類似の方法を実行して、深度ビューからの構成要素間予測および／または深度ビューに基づくビュー合成および／または類似のものが恩恵があるか否かを、レートディストーションまたは幾つかの他のコスト測定基準に基づいて決定できる。エンコーダは、深度ビューをあるピクチャレートでコード化することが恩恵があることを、例えば、レートディストーションまたは幾つかの他のコスト測定基準の観点から推定および決定できる。代替として、または追加的に、エンコーダは、深度ビュー構成要素をコード化またはそのコーディングを省略することが恩恵があることを、例えば、レートディストーションまたは幾つかの他のコスト測定基準に基づいて決定できる。
エンコーダ側は、利用可能なネットワークスループットまたは輻輳特性を推定または検出でき、それに従って、深度ビュー構成要素を符号化するか否かを決定できる。従って、コード化深度ビューは、変動するピクチャレートを有することができる。
【０３７６】
種々の実施の形態を、時間的な非対深度ビューで、例えば、下記のベース１つ以上において適用できる。
時間的な非対深度ビューのピクチャレートおよび／または捕捉／表示インスタンスは、他の深度ビューおよび／またはテクスチャビューのピクチャレートおよび／または捕捉／表示インスタンスを整合するために調整できる(例えば、ピクチャレートアップサンプリングまたはピクチャレートダウンサンプリング／デシメーションを介して）。
エンコーダおよびデコーダは、深度ビューからの構成要素間予測および／または深度ビューに基づくビュー合成予測および／または類似の予測を、深度ビューの深度ビュー構成要素がコード化されるアクセスユニットまたは時間インスタンスに対して使用できる。深度ビュー構成要素がコード化されないときは、エンコーダおよびデコーダは、深度ビューからの構成要素間予測および／または深度ビューに基づくビュー合成予測および／または類似の予測は使用されないと結論できる。
デコーダ側は、深度ビューに基づくビュー合成を、深度ビューの深度ビュー構成要素がコード化されて受信されるアクセスユニットまたは時間インスタンスに対してのみ適用できる。デコーダ側は、例えば、第１深度ビューの深度ビュー構成要素がコード化および／または受信されないアクセスユニットまたは時間インスタンスに対して利用可能な第２深度ビューに基づくビュー合成を適用できる。例えば、３ビュービットストリームは、１秒あたり６０枚のピクチャでコード化された中央視点に対する深度ビューを有することができ、一方、左および右の視点の深度ビューは、１秒あたり３０枚のピクチャでコード化できる。復号化側は、すべての３つの深度ビューの深度ピクチャに基づいてすべての他のアクセスユニットに対するビュー合成を行うことができ、一方、残りのアクセスユニットに対するビュー合成は、中央深度ビューのみに基づいて行うことができる。そのようなビュー合成プロセスにおいては、深度ピクチャおよび／または合成テクスチャピクチャを時間的に滑らかにすることは、合成ビューの適度に安定した品質を達成するために適用できる。
【０３７７】
前述したように、異なるタイプの深度ピクチャと、深度ピクチャのサンプル値に対して異なるセマンティックスがある。幾つかの実施の形態においては、第１深度ビューは、同じビットストリーム内の第２深度ビューとは異なるタイプおよび／またはサンプル値の異なるセマンティックスを有することができる。そのような非対深度ビュータイプがある理由は、制限されることはないが、下記の１つ以上を含むことができる。
第１深度ビューと第２深度ビューは異なる発生源を有することができる。例えば、第１深度ビューは深度レンジセンサを発生源とすることができ、第２深度ビューは、立体映像カメラのカラー画像対の間のステレオマッチングに起因することができる。深度レンジセンサを発生源とする第１深度ビューは、例えば、リアルワールド距離（Ｚ）値の逆数を表現しているタイプ、またはリアルワールド距離を直接表現しているタイプを使用できる。ステレオマッチングを発生源とする第２深度ビューは、例えば、ディスパリティマップを表現できる。
予測機構および／またはコーディング／復号化ツールにより、あるタイプの深度ビューを使用することを要求できる。言い換えると、予測機構および／またはコーディング／復号化ツールは、あるタイプのまたはある複数のタイプの深度マップのみを入力として使用可能なように指定および／または実現されている。異なる予測機構および／またはコーディング／復号化ツールは異なるビューに対して使用できるので、エンコーダは、予測機構および／またはコーディング／復号化ツールに影響を受けたビューに対して使用される予測機構および／またはコーディング／復号化ツールに従って異なるタイプの深度ビューを選択できる。
コーディングおよび／または復号化動作において、第１視点に対してはあるタイプの深度ビューを使用し、第２視点に対しては、別のタイプの深度ビューを使用することは恩恵があり得る。エンコーダは、ビュー合成予測および／または構成要素間予測および／または類似の予測に使用可能なタイプの深度ビューを、計算操作なしで、または少ない数の計算操作で、および、別のタイプの深度ビューと比べて、より少ない数の、またはより簡単な計算で選択できる。例えば、多くのコーディング設備においては、構成要素間予測およびビュー合成予測は、ベーステクスチャビューに対しては使用されない。従って、同じ視点に対する深度ビューは、例えば、リアルワールド距離値の逆数を表現でき、ベーステクスチャビューおよび対応する深度ビューに基づく前方ビュー合成を容易にする。同じ例を続けると、非ベーステクスチャビューは、後方ビュー合成予測を使用して、コード化および復号化できる。従って、非ベーステクスチャビューに対応する深度ビューはディスパリティを表現でき、ディスパリティは、深度値をディスパリティ値に変換する必要なく、ディスパリティ補償または後方ビュー合成に対するワーピングを直接得るために使用できる。従って、後方ビュー合成予測に必要な計算操作数は、対応する深度ビューが、例えば、リアルワールド距離の逆数を表現しているときに必要な操作数と比較して削減できる。
第１深度ビューは、第２深度ビューにおける深度のサンプル値のセマンティックスに対して異なってよい深度のサンプル値のセマンティックスを有することができ、セマンティックスは、例えば、深度ビューまたは深度ビュー内のビュー構成要素により表現されるディスパリティレンジ、深度レンジ、最近接リアルワールド深度値、または最遠リアルワールド値に基づく深度サンプル量子化または深度サンプル値のダイナミックレンジまたはリアルワールド深度のダイナミックレンジまたは深度サンプル値により表現されるディスパリティに関連するパラメータ値に基づいて異なることができる。例えば、第１深度ビューまたは第１深度ビュー構成要素（第１深度ビュー内）は、第１最小ディスパリティおよび／または第１最大ディスパリティを有することができ、このディスパリティは、第１深度ビューまたは第１深度ビュー構成要素と関連付けることができ、例えば、エンコーダによりビットストリームにおいて表示でき、一方、第２深度ビューまたは第２深度ビュー構成要素（第２深度ビュー内）は第２最小ディスパリティおよび／または第２最大ディスパリティを有することができ、このディスパリティは、第２深度ビューまたは第２深度ビュー構成要素と関連付けることができ、ビットストリームにおいて表示できる。この例においては、第１最小ディスパリティは、第２最小ディスパリティとは異なり、および／または第１最大ディスパリティは、第２最大ディスパリティとは異なっている。
【０３７８】
幾つかの実施の形態においては、深度ピクチャのタイプおよび／または深度ピクチャのサンプル値に対するセマンティックスは深度ビュー内で、例えば時間の関数として変化できる。
【０３７９】
幾つかの実施の形態においては、ＡＵビュー構成要素順とも称せられるアクセスユニット内のビュー構成要素順を決定することは、次のように行うことができる。
【０３８０】
アクセスユニット内のテクスチャおよび深度ビュー構成要素のコーディングおよび復号化順は、コード化ビュー構成要素のデータが如何なる他のコード化ビュー構成要素によりインタリーブされず、アクセスユニットに対するデータが、ビットストリーム／復号化順において如何なる他のアクセスユニットによってもインタリーブされないような順であってよい。例えば、図７に示されているように、異なるアクセスユニット（ｔ，ｔ＋１，ｔ＋２）において２つのテクスチャおよび深度ビュー（Ｔ０ｔ，Ｔ１ｔ，Ｔ０ｔ＋１，Ｔ１ｔ＋１，Ｔ０ｔ＋２，Ｔ１ｔ＋２，Ｄ０ｔ，Ｄ１ｔ，Ｄ０ｔ＋１，Ｄ１ｔ＋１，Ｄ０ｔ＋２，Ｄ１ｔ＋２）があると、テクスチャおよび深度ビュー構成要素（Ｔ０ｔ，Ｔ１ｔ，Ｄ０ｔ，Ｄ１ｔ）から構成されるアクセスユニットｔは、テクスチャおよび深度ビュー構成要素（Ｔ０ｔ＋１，Ｔ１ｔ＋１，Ｄ０ｔ＋１，Ｄ１ｔ＋１）から構成されるアクセスユニットｔ＋１にビットストリームおよび復号化順において先行する。
【０３８１】
アクセスユニット内のビュー構成要素のコーディングおよび復号化順はコーディングフォーマットにより律せられてもよく、またはエンコーダにより決定されてもよい。コード化される決定されたテクスチャおよび深度ビューと共に決定されたビュー間予測階層は、コーディングおよび復号化順を規定できる。同じアクセスユニットのテクスチャビュー構成要素は、ビュー順インデックスにより表示されるビュー依存性順でコード化できる。同様に、同じアクセスユニットの深度ビュー構成要素は、ビュー依存性順でコード化できる。
【０３８２】
テクスチャビュー構成要素は、同じビューのそれぞれの深度ビュー構成要素の前にコード化でき、そのため、そのような深度ビュー構成要素は、同じビューのテクスチャビュー構成要素から予測できる。そのようなテクスチャビュー構成要素は、例えば、ＭＶＣエンコーダによりコード化でき、ＭＶＣデコーダにより復号化できる。強化テクスチャビュー構成要素とは、ここでは、同じビューのそれぞれの深度ビュー構成要素の後にコード化され、それぞれの深度ビュー構成要素から予測できるテクスチャビュー構成要素のことである。例えば、深度ベース動きベクトル予測（Ｄ−ＭＶＰ）は、強化テクスチャビュー構成要素に使用できる。幾つかの実施の形態においては、深度ビュー構成要素は、同じビューのそれぞれのテクスチャビュー構成要素の前にコード化でき、そのため、そのようなテクスチャビュー構成要素は、同じビューの深度ビュー構成要素から予測できる。従って、エンコーダは、同じビューの深度ビュー構成要素およびテクスチャビュー構成要素のコーディング、ビットストリーム、および復号化順を、構成要素間予測ツールおよび／またはどのタイプのビュー合成予測（前方ＶＳＰまたは後方ＶＳＰのような予測）をそれが使用すると決定したかに基づいて選択できる。そのような決定は、例えば、下記の１つ以上に基づくことができる。
符号化されたビットストリームが、シングルまたはマルチビューテクスチャビデオを復号化できるデコーダと互換性を有することが所望される場合は、エンコーダは、選択された数のテクスチャビューに対しては深度ベーステクスチャコーディングツールは使用しないと決定でき、従って、それぞれの深度ビューに先行してテクスチャビューをコード化する。
エンコーダは、構成要素間コーディングツールおよびＡＵビュー構成要素順が、例えば、レートディストーション測定基準において幾つかの他よりもより良好に行う最適化プロセスを行うことができる。
エンコーダは、ＡＵビュー構成要素順を抑制する、あるコーディングツール、コーディングモード、および／またはコーディングパラメータを使用するように構成でき、またはそれらを使用することを決定できる。例えば、前述のように前方ＶＳＰが使用される場合は、ビュー合成予測に参照として使用されるビューのテクスチャビュー構成要素と深度ビュー構成要素の両者は、コード化／復号化され、合成参照構成要素が導出されるテクスチャビュー構成要素にＡＵビュー構成要素順において先行していなければならない。
【０３８３】
幾つかの実施の形態においては、構成要素間コーディングおよびビュー合成予測および他のコーディングツールと共に、テクスチャおよび深度ビューのビュー間依存性順は、ＡＵビュー構成要素順と共に、コード化テクスチャおよび深度ビューの決定に共に影響を与えることができる。
【０３８４】
下記に例を挙げる。３つのビューがコード化され、エンコーダがテクスチャビューＴ０、Ｔ１、およびＴ２（真ん中のビューがベースビューであり、他の２つのビューは非ベースビュー）それぞれに対しては、ＰＩＰビュー間予測階層を使用し、深度ビューＤ０、Ｄ１、およびＤ２（左のビューがベースビューであり、右のビューは左のビューから予測でき、中間のビューは、左のビューおよび／または右のビューから予測できる）それぞれに対しては、ＩＢＰビュー間予測階層を使用することを決定しており、エンコーダが、非ベースビューテクスチャコーディングに対しては、Ｄ−ＭＶＰコーディングツールまたは任意の他の深度ベーステクスチャコーディングツールを使用することを決定し、テクスチャのベースビューに対しては、構成要素間予測ツールが使用されない場合は、ＡＵビュー構成要素順に対する下記の抑制は、エンコーダにおいて推測できる。Ｔ１はＤ０、Ｄ１、およびＤ２とは独立してコード化されるので、Ｔ１はそれらに対して如何なる順も取ることができる。Ｄ０およびＤ２の復号化サンプル値は、Ｄ−ＭＶＰツールにおいてＴ０およびＴ２それぞれの復号化に使用されるので、Ｔ０は、Ｄ０がその前に復号化されることを要求し、同様に、Ｔ２は、Ｄ２がその前に復号化されることを要求する。Ｄ１はＴ１（または如何なる他のテクスチャビュー）に対する構成要素間予測参照としては使用されず、そのためＡＵビュー構成要素順におけるその位置は、深度のビュー間依存性順により律せられるのみである。従って、ビュー合成予測が使用されていないと仮定すれば、例えば、下記のＡＵビュー構成要素順、（Ｔ１，Ｄ０，Ｄ２，Ｄ１，Ｔ０，Ｔ２）、（Ｔ１，Ｄ０，Ｔ０，Ｄ２，Ｔ２，Ｄ１）、（Ｔ１，Ｄ０，Ｄ２，Ｄ１，Ｔ０，Ｔ２）、（Ｄ０，Ｄ２，Ｄ１，Ｔ１，Ｔ０，Ｔ２）が可能である。更に、Ｄ１は如何なる他のビューを予測するための参照として使用されないので、その符号化は完全に省略できる。つまり、例えば、下記のＡＵビュー構成要素順、（Ｔ１，Ｄ０，Ｄ２，Ｔ０，Ｔ２）、（Ｔ１，Ｄ０，Ｔ０，Ｄ２，Ｔ２）、（Ｄ０，Ｄ２，Ｔ１，Ｔ０，Ｔ２）が可能である。
【０３８５】
例としての実施の形態においては、例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ草案において指定されているような算術演算子、論理演算子、関係演算子、二値演算子、代入演算子、および範囲表記のための共通の表記が使用できる。更に、例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ草案において指定されているような共通の数学的関数を使用でき、例えば、Ｈ．２６４／ＡＶＣまたはＨＥＶＣ草案において指定されているような演算子の優先権および実行順（左から右、または右から左）の共通の順が使用できる。
【０３８６】
例としての実施の形態においては、下記のディスクリプタが、各シンタックス要素の構文解析プロセスを指定するために使用できる。
ｂ（８）：任意のパターンのビット列を有するバイト（８ビット）
ｓｅ（ｖ）：左ビットを最初とする符号付き整数型指数ゴロムコード化シンタックス要素
ｕ（ｎ）：ｎビットを使用する符号なしの整数。シンタックステーブルでｎが「ｖ」のときは、ビット数は、他のシンタックス要素の値に依存して変化する。このディスクリプタに対する構文解析プロセスは、最初に書かれた最上位ビットを有する符号なし整数の２進表現として解釈されたビットストリームから、ｎ個の次のビットにより指定される。
ｕｅ（ｖ）：左ビットを最初とする符号なし整数型指数ゴロムコード化シンタックス要素
【０３８７】
指数ゴロムビット列は、例えば、下記のテーブルを使用してコード番号（ｃｏｄｅＮｕｍ）に変換できる。
【表５】
0006787667.tif 000022
【０３８８】
指数ゴロムビット列に対応するコード番号は、例えば、下記のテーブルを使用してｓｅ（ｖ）に変換できる。
【表６】
0006787667.tif 000023
【０３８９】
例としての実施の形態においては、シンタックス構造、シンタックス要素のセマンティックス、および復号化プロセスは次のように指定できる。ビットストリームにおけるシンタックス要素はボールドタイプで表現される。各シンタックス要素はその名前（すべて下線文字の付いた小文字）で記述され、オプションとしては、１つまたは２つのシンタックスカテゴリ、およびコード化表現の方法に対する１つまたは２つのディスクリプタで記述される。復号化プロセスの動作は、シンタックス要素の値、および以前に復号化されたシンタックス要素の値に従う。シンタックス要素の値がシンタックステーブルまたはテキストで使用されるときは、それは正規の（つまり、ボールドでない）タイプで現れる。幾つかの場合においては、シンタックステーブルはシンタックス要素値から導出された他の変数の値を使用できる。そのような変数は、シンタックステーブルまたはテキストに、下線文字なしで、小文字と大文字が混合した名前を付けられて現れる。大文字で始まる変数は、現在シンタックス構造およびすべての依存シンタックス構造の復号化のために導出される。大文字で始まる変数は、変数の発生源のシンタックス構造に言及することなく、後続のシンタックス構造のための復号化プロセスにおいて使用できる。小文字で始まる変数は、それらが導出されたコンテキスト内でのみ使用される。幾つかの場合においては、シンタックス要素値または変数値に対する「記憶のための」名前が、それらの数値と交換可能に使用される。「記憶のための」名前は、関連付けられた数値なしで使用されることもときどきある。値と名前の関連付けは、テキストにおいて指定される。名前は、下線文字により分離された１つ以上の文字のグループから構成される。各グループは、大文字から始まり、より多くの大文字を含むことができる。
【０３９０】
例としての実施の形態においては、シンタックス構造は下記を使用して指定できる。中括弧で囲まれたステートメントのグループは、複合ステートメントであり、機能的には単一のステートメントとして取り扱われる。「ｗｈｉｌｅ」構造は、条件が真であるかどうかのテストを示し、真の場合は、ステートメント（または複合ステートメント）の評価を、条件がもはや真でなくなるまで繰り返し指定する。「ｄｏ．．．ｗｈｉｌｅ」構造は、いったんステートメントの評価を指定し、それに続いて、条件が真であるかどうかのテストを指定し、真の場合は、条件がもはや真でなくなるまでのステートメントの繰り返し評価を指定する。「ｉｆ．．．ｅｌｓｅ」構造は、条件が真であるかどうかのテストを指定し、条件が真の場合は、最初のステートメントの評価を指定し、それ以外の場合は、代替ステートメントの評価を指定する。この構造の「ｅｌｓｅ」部分と、関連代替ステートメントは、代替ステートメントの評価が必要でない場合は省略される。「ｆｏｒ」構造は、初期ステートメントの評価を指定し、それに続いて、条件のテストを指定し、条件が真の場合は、最初のステートメントと、後続するステートメントの繰り返し評価を、条件がもはや真でなくなるまで指定する。
【０３９１】
幾つかの実施の形態においては、エンコーダは、例えば、１つ以上のビデオパラメータセットシンタックス構造、および／または１つ以上のシーケンスパラメータセットシンタックス構造、および／または任意の他のシンタックス構造において、コード化ビデオシーケンスまたはビットストリームに存在しているテクスチャビューおよび深度ビューを表示する。例えば、エンコーダは、非ベーステクスチャビューのコード化スライスを、それらが、シーケンスパラメータセットが起動されたコード化ビデオシーケンスにおいて存在しているテクスチャビューを表示しているビュー識別子値のリストまたはループを含んでいるシーケンスパラメータセットを起動するように符号化できる。同じ例を続けると、エンコーダは、深度ビューのコード化スライスを、それらが、シーケンスパラメータセットが起動されたコード化ビデオシーケンスにおいて存在している深度ビューを表示しているビュー識別子値のリストまたはループを含んでいるシーケンスパラメータセットを起動するように符号化できる。幾つかの実施の形態においては、エンコーダを、テクスチャビューのサブセットである深度ビューを符号化し表示するように規制できる。つまり、テクスチャビューのサブセットは、関連付けられた深度ビューを有しているが、残りのテクスチャビューは関連付けられた深度ビューを有しておらず、各深度ビューは、テクスチャビューと共に位置する、またはそれと関連付けられている。そのような規制は、エンコーダによって、例えば、コード化ビデオシーケンスまたはビットストリームに対する表示されたプロファイルの一部として表示でき、一方、そのような規制は、ｐｒｏｆｉｌｅ＿ｉｄｃシンタックス要素、または類似のシンタックス要素または類似の複数のシンタックス要素、および／または、例えば、シーケンスパラメータセット、またはビデオパラメータセット、または類似のシンタックス構造におけるフラグまたは他の表示を介して表示できる。言い換えると、幾つかの実施の形態においては、テクスチャビュー構成要素よりも少ない深度ビュー構成要素があってもよく、一方、現在のテクスチャビュー構成要素は、現在のテクスチャビュー構成要素の幾つかにより表現されているものと同じビューを表現する。
【０３９２】
例においては、３Ｄビデオコーディングのためのサブセットシーケンスパラメータセットは、ベースＳＰＳデータおよびシーケンスパラメータセット３ＤＶＣ拡張を次のように含んでいる。
【表７】
0006787667.tif 000024
【０３９３】
この例においては、定数ＡＮＹ＿３ＤＶＣ＿ＰＲＯＦＩＬＥは、深度強化ビデオコーディングのための任意のプロファイルに対するｐｒｏｆｉｌｅ＿ｉｄｃ値であってよい。
【０３９４】
例においては、エンコーダは、シーケンスパラメータセット３ＤＶＣ拡張における、コード化ビデオシーケンスに存在しているテクスチャビューおよび深度ビューを、下記のシンタックスを使用して表示できる。
【表８】
0006787667.tif 000025
０に等しいｄｅｐｔｈ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを有している深度ビューはないことを指定する。１に等しいｄｅｐｔｈ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを有している深度ビューがあることを指定する。０に等しいｔｅｘｔｕｒｅ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを有しているテクスチャビューはないことを指定する。１に等しいｔｅｘｔｕｒｅ＿ｖｉｅｗ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｉ］は、ｖｉｅｗ＿ｉｄ［ｉ］に等しいｖｉｅｗ＿ｉｄを有しているテクスチャビューがあることを指定する。
【０３９５】
幾つかの実施の形態においては、エンコーダは、例えば、１つ以上のビデオパラメータセットシンタックス構造、および／または１つ以上のシーケンスパラメータセットシンタックス構造、および／または任意の他のシンタックス構造において、コード化ビデオシーケンスまたはビットストリームに深度ビューのタイプを表示できる。上記の例を続けると、エンコーダは、深度ビューのタイプを、シーケンスパラメータセット３ＤＶＣ拡張においてｄｅｐｔｈ＿ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｙｐｅ［ｉ］シンタックスを次のように追加することにより表現できる。
【表９】
0006787667.tif 000026
ｄｅｐｔｈ＿ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｙｐｅ［ｉ］は、ｉに等しいビュー順インデックスを有する深度ビューの表現フォーマットを、例えば、ディスパリディが２つのテクスチャビューの間の水平変位を指定し、Ｚ値がカメラからの距離を指定している下記のテーブルにおいて指定されるように指定する。
【表１０】
0006787667.tif 000027
【０３９６】
幾つかの実施の形態に置いては、エンコーダは、選択されたアクセスユニットまたはビュー構成要素のようなコード化ビデオシーケンスのサブセットに対して起動できるカメラパラメータセット、適応パラメータセット、または任意の他のシンタックス構造におけるシーケンスパラメータセットに対して記述したようなシーケンスレベル表示の代替として、またはそれに対する追加として、深度ビューのタイプを表示できる。存在している場合は、シーケンスレベル表示は、第１カメラパラメータセットまたは類似のものが起動されるまで、および／または、アクティブであると表示されているカメラパラメータセットまたは類似のものがないときは有効であり得る。
【０３９７】
幾つかの実施の形態においては、上記に指定したようなシーケンスパラメータセット３ＤＶＣ拡張、または任意の類似のシンタックス構造は、１つ以上の深度ビューに対して起動でき、またはそれらと関連付けることができるが、如何なるテクスチャビューに対しても起動されない。従って、エンコーダは、シーケンスパラメータセット３ＤＶＣ拡張、または任意の類似のシンタックス構造において、深度ビューのビュー間予測関係または階層を表示でき、テクスチャビューのビュー間予測関係または階層を省略できる。例えば、シーケンスパラメータセット３ＤＶＣ拡張は下記のシンタックスを含むことができる。
【表１１】
0006787667.tif 000028
【０３９８】
シーケンスパラメータセット３ＤＶＣ拡張の上述の部分におけるシンタックス要素のセマンティックスおよびそれらから導出された変数は、シーケンスパラメータセットＭＶＣ拡張（以前に提示した）におけるそれぞれのシンタックス要素と同一にまたはそれに類似して指定できるが、セマンティックスは深度ビューにしか適用できない。例えば、ビュー順インデックスＶＯＩｄｘ値は、シーケンスパラメータセット３ＤＶＣ拡張に基づいて深度ビューに対して具体的に導出できるが、ビュー順インデックスＶＯＩｄｘ値の異なるセットは、シーケンスパラメータセットＭＶＣ拡張に基づいて、テクスチャビューに対して導出できる。
【０３９９】
前述のシンタックス例の代替として、エンコーダは、シーケンスパラメータセット３ＤＶＣ拡張、または任意の類似のシンタックス構造において、深度ビューのビュー間予測関係または階層を表示でき、テクスチャビューのビュー間予測関係または階層を省略できるが、テクスチャビューおよび深度ビューに対してビュー順インデックスＶＯＩｄｘ値の同じ割り当てを使用できる。例えば、シーケンスパラメータセット３ＤＶＣ拡張は下記のシンタックスを含むことができる。
【表１２】
0006787667.tif 000029
【０４００】
シーケンスパラメータセット３ＤＶＣ拡張の上述の部分におけるシンタックス要素のセマンティックスおよびそれらから導出された変数は、シーケンスパラメータセットＭＶＣ拡張（以前に提示した）におけるそれぞれのシンタックス要素と同一にまたはそれに類似して指定できるが、セマンティックスは深度ビューにしか適用できない。ビュー順インデックスＶＯＩｄｘ値は、テクスチャビューおよび深度ビューの両者に対して、シーケンスパラメータセット３ＤＶＣ拡張に基づいて導出できる。
【０４０１】
深度ビューのビュー間予測関係または階層を表示する上記の両者のシンタックス例においては、深度強化ビデオの復号化プロセス、例えば、ＭＶＣ＋Ｄに対する復号化プロセスに従うＶＯＩｄｘ値のｖｉｅｗ＿ｉｄへの関連付けは、マルチビュービデオに対する復号化プロセス、例えば、ＭＶＣに対する復号化プロセスのものとは異なってもよい。このため、ビットストリームが、深度強化ビデオの復号化プロセスを使用して復号化されるときの同じビットストリームからのＶＯＩｄｘ値の導出は、ビットストリームが、マルチビュービデオに対する復号化プロセスを使用して復号化されるときと比較して異なってもよい（深度ビューは考慮しない）。
【０４０２】
幾つかの実施の形態においては、エンコーダはビットストリームにおいて、深度ビューおよびテクスチャビューの特性、例えば、使用されたセンサ、光学設備、捕捉条件、カメラ設定、および解像度のような使用された表現フォーマットに関連する特性を表示する。表示された特性は、表示された深度ビューまたはテクスチャビューに対して特定のものであってもよく、または多くの表示された深度ビューおよび／またはテクスチャの間で共有されてもよい。例えば、特性は、制限されることはないが、下記の１つ以上を含むことができる。
空間解像度、例えば、ビュー構成要素における水平および垂直サンプルカウントに関しての空間解像度
ビット深度および／またはサンプルのダイナミックレンジ
水平および垂直成分に分離できる焦点距離
水平および垂直成分に分離できる主点
カメラ／センサの場所の平行移動行列のような非本質的なカメラ／センサパラメータ
テクスチャビュー構成要素に対する深度ビュー構成要素のサンプリンググリッドの相対的な場所、例えば、深度ビュー構成要素のサンプリンググリッドにおける左上のサンプルに対応するルマピクチャ内の水平および垂直座標、またはその逆。
テクスチャビュー構成要素のルマまたはクロマサンプルに対する深度サンプルの相対的な水平および／または垂直サンプルアスペクト比、例えば、ｄ幅÷ｔ幅に（正確に、または近似的に）等しい水平乗算ファクタおよびｄ高さ÷ｔ高さに（正確に、または近似的に）等しい垂直乗算ファクタであって、ここにおいて、ｄ幅、ｔ幅、ｄ高さ、およびｔ高さ、またはサンプル寸法は前述した通りである。
テクスチャビュー構成要素および／または深度ビュー構成要素に対する水平および／または垂直サンプル間隔であって、サブサンプリング方式（潜在的に先行するローパスフィルタリング）を表示するために使用できる。
【０４０３】
例えば、幾つかの実施の形態においては、下記のシンタックス要素または類似のシンタックス要素を、シーケンスパラメータセット３ＤＶＣ拡張シンタックス構造、または任意の類似のシンタックス構造に追加できる。
【表１３】
0006787667.tif 000030
【０４０４】
幾つかの実施の形態においては、ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素は、次のように指定できる。ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔは、復号化されたテクスチャビュー構成要素のルマサンプル数に関して、同じｖｉｅｗ＿ｉｄの、復号化されたテクスチャビュー構成要素（シーケンスパラメータセットにおいて指定されるようなクロッピングの後）の最も左のサンプル列に対する、復号化深度ビュー構成要素（シーケンスパラメータセットにおいて指定されるようなクロッピングの後）の最も左のサンプル列の位置の水平オフセットを指定する。幾つかの実施の形態においては、ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素は次のように指定できる。ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔは、復号化テクスチャビュー構成要素のルマサンプル数に関して、同じｖｉｅｗ＿ｉｄの復号化テクスチャビュー構成要素（シーケンスパラメータセットにおいて指定されるようにクロッピングなし）の最も左のサンプル列に対する、復号化深度ビュー構成要素（シーケンスパラメータセットにおいて指定されるようにクロッピングなし）の最も左のサンプル列の位置の水平オフセットを指定する。
【０４０５】
幾つかの実施の形態においては、ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素および関連するシンタックス要素は、テクスチャビュー構成要素に対する深度ビュー構成要素のサンプリンググリッドの相対的な場所を、追加的または代替的に異なる方法で示すように指定できる。例えば、オフセットがテクスチャビュー構成要素の左または右の境界に対してなのかをシンタックス要素を使用して指定でき、および／または１／４サンプル精度のような異なる精度を使用できる。
【０４０６】
幾つかの実施の形態においては、ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素、および／または類似のシンタックス要素、および／または関連するシンタックス要素の存在は、下記の１つ以上に依存してもよい。
ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素、および／または類似のシンタックス要素、および／または関連するシンタックス要素の存在は、深度ビューのタイプに依存してもよい。例えば、ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素は、深度ビュー構成要素がディスパリティピクチャを表現するときに存在するように指定でき、深度ビュー構成要素が距離情報（例えば、リアルワールド距離値の逆数、またはリアルワールド距離値自体）を表現するときに存在するように指定できる。
ｄｅｐｔｈ＿ｌｏｃ＿ｏｆｆｓｅｔシンタックス要素、および／または類似のシンタックス要素、および／または関連するシンタックス要素の存在は、ビュー依存性順および／またはＡＵビュー構成要素順に依存してもよい。例えば、ベース深度ビューは、ベーステクスチャビューと同じ領域をカバーでき、ベース深度およびテクスチャビューが入力である前方ビュー合成を可能にできるが、非ベース深度ビューは、ビューのフィールドに関して他の深度ビューと重なっている領域のみしかカバーできない。
【０４０７】
幾つかの実施の形態においては、エンコーダは、テクスチャビューおよびそれぞれのテクスチャビューを、あたかもそれらのサンプリンググリッドが整列し、同じ空間領域をカバーしているかのように符号化できる。深度ビューがそれぞれの深度ビューよりも小さな領域をカバーしている場合は、エンコーダは、サンプリンググリッドの場所、または深度ビュー構成要素の有効サンプルアレイを、Ｈ．２６４／ＡＶＣのｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｄａｔａデータ構造の、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、およびｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔのような表示されたクロッピング長方形で表示できる。例えば、深度ビュー構成要素の左側のサンプル列の数に対して利用可能な深度サンプル値がない場合は、このサンプル列数は、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ値で表示できる。
【０４０８】
幾つかの実施の形態においては、エンコーダは、深度ビュー導出に関連するパラメータをビットストリーム内で表示できる。これらのパラメータは、制限されることはないが、下記を含むことができる。
深度ビュー導出のために使用される方法、およびその方法を制御するために使用される関連パラメータ値の１つ以上の表示、
表示された深度ビューを投射できる視点（例えば、ビュー識別子値）のリスト、および／または、例えば、ユークリッド距離測定におけるカメラの平行移動に関して、投射された視点が、コード化深度ビューの視点からどれだけ異なることが可能かを表示する閾値または複数の閾値。
【０４０９】
エンコーダは、深度ビューおよびテクスチャビュー、および／または深度ビュー導出に関連するパラメータを符号化して、ビデオパラメータセット、シーケンスパラメータセット、カメラパラメータセット、ビデオユーザビリティ情報、ＳＥＩメッセージ、または類似のもののような１つ以上のシンタックス構造に含むことができる。
【０４１０】
幾つかの実施の形態においては、エンコーダは、例えばＳＥＩメッセージにおける後処理として、またはビデオユーザビリティ情報として、または他のシンタックス構造において行うことができるビュー合成に関連するパラメータおよびパラメータ値を表示できる。これらのパラメータは、特には、テクスチャおよび深度ビューの数が等しくない場合、および／またはテクスチャビューの幾つかが、共に位置している深度ビューを有していない場合、および／または深度ビューの幾つかが、共に位置しているテクスチャビューを有していない場合、および／または共に位置しているテクスチャおよび深度ビューが異なる空間領域をカバーしている場合に対処するパラメータを含むことができる。後処理（復号化の後）として行うことができるビュー合成に関連するこれらのパラメータは、制限されることはないが、
ビットストリームにおける深度ビューおよびテクスチャビューの特性に対する、上記に列挙したパラメータの任意のサブセット、
深度ビュー導出に関連するパラメータの任意のサブセット、
復号化の後の後処理として合成されることを可能とされた視点の範囲または視点のリストであって、例えば、コード化深度ビューの視点からの平行移動の差（１次元平行カメラ装備におけるカメラの軸に沿う）の絶対値を提供する値を与えることができる、
最大正ディスパリティ、および／または最小負ディスパリティ、および／または表示されているコード化または合成視点に起因するディスパリティ分布のような、推定、近似、または正確なディスパリティ特性、および／またはそれぞれの知覚された深度特性、
表示された合成視点に関連するディストーションまたは他のコスト測定基準の１つ以上の推定値または値を含むことができる。
【０４１１】
ビットストリームにおけるビュー間予測階層の表示の符号化は、例えば、ビデオパラメータセット、および／またはシーケンスパラメータセットにおいて、例えば、シンタックス、またはシーケンスパラメータセットＭＶＣ拡張に類似したものを使用して表示をコード化することにより行うことができる。エンコーダは、どのビデオパラメータセットまたはシーケンスパラメータセットが使用されているのかを、パラメータセット識別子を、それが、ビュー間予測階層記述を含むパラメータセットを起動するように、ＶＣＬ  ＮＡＬユニットにコード化することにより表示できる。
【０４１２】
幾つかの実施の形態においては、テクスチャビューに対する表示されているビュー間依存性順は、深度ビューに対するものとは異なることを可能とされている。例えば、シーケンスパラメータセットＭＶＣ拡張は、深度ビュー構成要素に対するコンテンツと比較して、テクスチャビュー構成要素に対する同一のコンテンツを有する必要はなく、そのため、テクスチャビューに対するビュー間依存性順が、深度ビューに対するものとは異なることが可能とされる。
【０４１３】
幾つかの実施の形態においては、現在の深度ビュー構成要素とテクスチャビュー構成要素、および／またはそれらの特性、および／またはＡＵビュー構成要素順は、例えば、ピクチャパラメータセット、適応パラメータセット、またはアクセスユニットデリミッタにおいて、アクセスユニットレベルで表示できる。幾つかの実施の形態においては、現在の深度ビュー構成要素とテクスチャビュー構成要素、および／またはそれらの特性、および／またはＡＵビュー構成要素順は、ＧＯＳパラメータセット、ピクチャヘッダ、構成要素ピクチャデリミッタ、構成要素ピクチャヘッダ、またはスライスヘッダのようなアクセスユニットより下のレベルにおいて表示でき、現在の深度ビュー構成要素とテクスチャビュー構成要素、および／またはそれらの特性、およびＡＵビュー構成要素順は、同じアクセスユニットに対しては有効なすべてのシンタックス構造において同一であることを要求できる。
【０４１４】
幾つかの実施の形態においては、現在のテクスチャと深度ビュー構成要素、および／またはＡＵビュー構成要素順の２つ以上のセットは、例えば、ビデオパラメータセットまたはシーケンスパラメータセットのようなパラメータセットにおいて、例えば、上記に提示したものと類似したシンタックスを使用して指定できる。現在のテクスチャと深度ビュー構成要素、および／またはＡＵビュー構成要素順の各リストは、例えば、０から始まり、現在のテクスチャと深度ビュー構成要素、および／またはＡＵビュー構成要素順がパラメータセットにおいて指定された順に１だけ増加される整数値のようなビュー存在識別子と関連付けることができる。ビュー存在識別子値は、例えば、コード化ビデオシーケンス、ＧＯＰ、またはアクセスユニットレベルに、どのテクスチャと深度ビューが存在し、および／またはどのＡＵビュー構成要素順が使用されているかを、それぞれのコード化ビデオシーケンス、ＧＯＰ、またはアクセスユニットに対して表示するために含めることができる。ビュー存在識別子値は、例えば、ピクチャパラメータセット、ＧＯＳパラメータセット、アクセスユニットデリミッタ、ピクチャヘッダ、構成要素ピクチャデリミッタ、構成要素ピクチャヘッダ、またはスライスヘッダに含めることができる。ビュー存在識別子値は、同じアクセスユニットに対して有効なすべてのシンタックス構造において同一であることを要求できる。
【０４１５】
幾つかの実施の形態においては、どのテクスチャと深度ビューが存在しているかについてと、ＡＵビュー構成要素順の表示は、例えば、パラメータセット、または、異なるＡＵビュー構成要素順がビットストリームにおいて、そのため符号化および復号化において使用されることと共に、異なるテクスチャと深度ビューが存在することを可能にするシンタックスおよびセマンティックスを有する上記のような任意の他のシンタックス構造において指定できる。例えば、現在の深度とテクスチャビュー、およびＡＵビュー構成要素順は、例えば、特定の深度ビュー構成要素が、ＡＵビュー構成要素順において特定のテクスチャビュー構成要素に先行することを示すことができる抑制のリストまたはシーケンスにより指定できる。抑制のリストまたはシーケンスにおける項目は、抑制のタイプおよび関連する深度とテクスチャビュー構成要素の表示を含むことができる。例えば、抑制のタイプは、深度ビュー構成要素が、ＡＵビュー構成要素順において、特定のテクスチャビュー構成要素よりも早く出現することを要求されていることを表示することができ、深度ビュー構成要素の範囲またはリスト（例えば、そのビュー順インデックス値）、および、例えばテクスチャビュー構成要素のビュー順インデックス値を含むことができる。例えば、立体映像深度強化ビットストリームにおいて、両者の深度ビュー構成要素（Ｄ０とＤ１）は、アクセスユニットにおいて、非ベーステクスチャビュー構成要素（Ｔ１）よりも早く出現することを指定できる。この抑制は、２つのＡＵビュー構成要素順（Ｄ０，Ｄ１，Ｔ０，Ｔ１）および（Ｔ０，Ｄ０，Ｄ１，Ｔ１）に適しており／それらを可能にする。
【０４１６】
幾つかの実施の形態においては、存在している深度とテクスチャビュー構成要素およびＡＵビュー構成要素順は、ビットストリームにおけるビュー構成要素の出現順により暗黙的に表示できる。
【０４１７】
幾つかの実施の形態においては、深度ビューは、テクスチャビューのアクティブシーケンスパラメータセットとは異なるアクティブシーケンスパラメータセットを使用できる。更に、１つの深度ビューは、別の深度ビューとは異なるシーケンスパラメータを使用できる（つまり、それを起動できた）。同様に、１つのテクスチャビューは、別のテクスチャビューとは異なるシーケンスパラメータを使用できる（つまり、それを起動できた）。
【０４１８】
幾つかの実施の形態においては、シーケンスパラメータセットに含まれているシンタックス要素のサブセットのセマンティックスは、シーケンスパラメータセットがテクスチャビュー構成要素または深度ビュー構成要素により参照されたか、またはシーケンスパラメータセットがテクスチャビュー構成要素に対して、または深度ビュー構成要素に対してアクティブかどうかに依存してもよい。特に、シーケンスパラメータセットに含まれているシンタックス要素のサブセットのセマンティックスは、シーケンスパラメータセットがテクスチャビュー構成要素により参照されたか、またはテクスチャビュー構成要素に対してアクティブである場合は、１つ以上のテクスチャビューに適用できる。特に、シーケンスパラメータセットに含まれているシンタックス要素のサブセットのセマンティックスは、シーケンスパラメータセットが深度ビュー構成要素により参照されたか、または深度ビュー構成要素に対してアクティブである場合は、１つ以上の深度ビューに適用できるが、一方、シーケンスパラメータセットにおけるシンタックス要素の別のサブセットは、テクスチャと深度ビューにまとめて適用できる。例えば、ＶＵＩパラメータが、３ＤＶＣサブセットＳＰＳのシーケンスパラメータセットデータシンタックス構造に含まれている場合は、ＶＵＩパラメータは、３ＤＶＣサブセットＳＰＳを参照する深度ビューのみに適用されるアスペクト比情報およびビットストリーム規制情報（もしあれば）を除いて、３ＤＶＣサブセットＳＰＳを参照する深度ビューと、対応するテクスチャビューの両者にまとめて適用できる。テクスチャビューに対するアスペクト比情報およびビットストリーム規制情報は、ＭＶＣサブセットＳＰＳに含まれているｖｕｉ＿ｐａｒａｍｅｔｅｒｓ（）シンタックス構造において存在できる。
【０４１９】
幾つかの実施の形態においては、エンコーダは、復号化ピクチャバッファ（ＤＰＢ）の要求されるサイズを、復号化テクスチャビュー構成要素および復号化深度ビュー構成要素の両者を備えているユニットを使用して表示できる。この表示は、ＶＵＩの一部として行うことができ、または、例えば、ｍａｘ＿ｄｅｃ＿ｆｒａｍｅ＿ｂｕｆｆｅｒｉｎｇシンタックス要素または類似のものを使用して行うことができる。テクスチャビューおよび深度ビューは非対であってもよいので、復号化テクスチャビュー構成要素および復号化深度ビュー構成要素の両者を備えているそのようなユニットは最適ではない可能性もある。このため、幾つかの実施の形態においては、エンコーダは、ＤＰＢの要求されるサイズを、メモリ割り当てのより精細な粒度、従って、より効率的なメモリ使用量を可能にする手段を介して表示できる。そのような手段は、制限されることはないが、下記の１つ以上を含むことができる。
ＤＰＢサイズを表示するためのユニットは、復号化テクスチャビュー構成要素がユニットの整数倍であり、復号化深度ビュー構成要素もまたユニットの整数倍であるように選択できる。例えば、ユニットが復号化テクスチャビュー構成要素のクロマ構成要素のサイズとして選択された場合は、（クロマフォーマット４：２：０の）各復号化テクスチャビュー構成要素は、６ユニットを占め、（テクスチャビュー構成要素のルマ構成要素のサイズの１／４の）各復号化深度ビュー構成要素は、１ユニットを占める。エンコーダは、どのユニットが表示されたＤＰＢサイズにおいて使用されているかを、ビットストリーム、例えば、シーケンスパラメータセットにおいて表示できる。
１つは復号化テクスチャビュー構成要素に対して、別の１つは復号化深度ビュー構成要素に対しての２つのＤＰＢサイズを表示できる。それぞれについて、復号化テクスチャビュー構成要素に対して、復号化深度ビュー構成要素とは別のＤＰＢを使用できるが、同じアクセスユニットの復号化テクスチャおよび深度ビュー構成要素は、基本的に同時に出力できるように出力プロセスを整列または同期できる。
深度ビューに対するＤＰＢサイズは、フレームバッファに関して、テクスチャビューのサイズと同じとして受け継ぐことができる。復号化テクスチャビュー構成要素に対して、復号化深度ビュー構成要素とは別のＤＰＢを使用できるが、同じアクセスユニットの復号化テクスチャおよび深度ビュー構成要素は、基本的に同時に出力できるように出力プロセスを整列または同期できる。
【０４２０】
ＤＰＢの表示されたサイズはＨＲＤにおいて使用できる。ＨＲＤおよび／またはＤＰＢは、符号化プロセスの一部であってもよく、または符号化プロセスに接続されてもよく、ＨＲＤおよび／またはＤＰＢは、符号化プロセスを制御するために使用できる。ＤＰＢは、復号化プロセスの一部であってもよく、または復号化プロセスに接続されてもよい。ＤＰＢの表示されたサイズは、復号化テクスチャおよび深度ビュー構成要素のためのメモリの割り当て、または予約のために、デコーダにおいて使用できる。
【０４２１】
幾つかの実施の形態においては、ＤＰＢは、テクスチャビュー構成要素と深度ビュー構成要素に対して別々に操作でき、テクスチャＤＰＢと深度ＤＰＢという用語をそれぞれ使用できる。テクスチャＤＰＢのフレームバッファのそれぞれは、復号化テクスチャフレームビュー構成要素、復号化深度フレームビュー構成要素、復号化補足テクスチャフィールドビュー構成要素対、または、「参照に使用されている」（参照ピクチャ）とマークされている、または、将来の出力のために保持されている（再順序化または遅延ピクチャ）、またはビュー間予測（ビュー間のみ参照構成要素）のための参照として保持されている単一の（非対の）復号化テクスチャフィールドビュー構成要素を含むことができる。深度ＤＰＢのフレームバッファのそれぞれは、復号化深度フレームビュー構成要素、復号化補足深度フィールドビュー構成要素対、または、「参照に使用されている」（参照ピクチャ）とマークされている、または、将来の出力のために保持されている（再順序化または遅延ピクチャ）、またはビュー間予測（ビュー間のみ参照構成要素）のための参照として保持されている単一の（非対の）復号化深度フィールドビュー構成要素を含むことができる。ＤＰＢの操作は、例えば、ピクチャ復号化、ピクチャ出力、ピクチャマーキング（例えば、「参照に使用されている」および「参照に使用されていない」）、およびＤＰＢからのピクチャ除去を含むことができる。ピクチャ出力は、ビットストリームにおいて、または外部手段により表示できるピクチャ出力時間に基づくことができ、または、すべての利用可能なフレームバッファが占められたときに、ＤＰＢのフレームバッファを自由にする、または割り当てを解除できる「バンピング」プロセスに基づくことができる。
【０４２２】
幾つかの実施の形態においては、ＤＰＢに対する「バンピング」プロセスは、ＤＰＢが、深度ビュー構成要素およびテクスチャビュー構成要素に対して別に操作を行っている場合、例えば、深度ＤＰＢとテクスチャＤＰＢがある場合でも、テクスチャおよび深度ビュー構成要素に対して一緒に、または同期して動作できる。テクスチャおよび深度ビュー構成要素に対して一緒に動作する「バンピング」プロセスは、ｖｉｅｗ＿ｉｄの等しい値、および／または、基本的には一緒、または前後に続く任意の他のビュー識別子シンタックス要素または変数を有しているテクスチャビュー構成要素と深度ビュー構成要素を出力できる。
【０４２３】
テクスチャおよび深度ビュー構成要素に対して一緒に動作する「バンピング」プロセスの例は、下記に提供される。記述された「バンピング」プロセスは、各「ビュー構成要素」を「テクスチャビュー構成要素」または「深度ビュー構成要素」で置き換えて、「フレームビュー構成要素」を「テクスチャフレームビュー構成要素」または「深度フレームビュー構成要素」で置き換えて、および「フィールドビュー構成要素」を「テクスチャフィールドビュー構成要素」で置き換えて、ビュー順インデックスＶＯＩｄｘで特定のテクスチャビューおよび深度ビューに対して起動できる。特定のテクスチャビューに対するプロセスの起動間は、特定のビューのテクスチャビュー構成要素のみが考慮され、一方、それぞれの深度ビュー構成要素はクロップおよび出力することもできる。特定の深度ビューに対するプロセスの起動間は、特定のビューの深度ビュー構成要素のみが考慮され、他のビューのビュー構成要素を含んでいるフレームバッファは空にされない。ＤＰＢ最大容量は、他のビューのビュー構成要素を含んでいるフレームバッファを含む、非空フレームバッファの総数を表現している。ＤＰＢ最大容量は、プロセスがテクスチャビューまたは深度ビューそれぞれに対して起動されたかに従って、テクスチャＤＰＢまたは深度ＤＰＢに対する、他のビューのビュー構成要素を含んでいるフレームバッファを含む、非空フレームバッファの総数を表現している。
【０４２４】
ＤＰＢの例を続けると、テクスチャおよび深度ビュー構成要素に対して一緒に動作する「バンピング」は下記に提供され、「バンピング」プロセスは、下記のステップの１つ以上を備えることができる。
１．出力のために最初に考慮されるピクチャまたは補足参照フィールド対は次のように選択される。
ａ．「出力に必要」とマークされているＤＰＢにおけるすべてのピクチャの中で、ＰｉｃＯｒｄｅｒＣｎｔ（）（つまり、ピクチャ順カウント）の最小値を有しているピクチャを含むフレームバッファが選択される。
ｂ．フレームバッファに従って、下記が適用される
このフレームバッファが、両者のフィールドが「出力に必要」とマークされ、両者のフィールドが同じＰｉｃＯｒｄｅｒＣｎｔ（）を有している補足非参照フィールド対を含んでいる場合は、これらの２つのフィールドの復号化順における最初のフィールドが、出力のために最初に考慮される。
それ以外で、このフレームバッファが、両者のフィールドが「出力に必要」とマークされ、両者のフィールドが同じＰｉｃＯｒｄｅｒＣｎｔ（）を有している補足参照フィールド対を含んでいる場合は、補足参照フィールド対全体が、出力のために最初に考慮される。
それ以外では、このフレームバッファにおいて、ＰｉｃＯｒｄｅｒＣｎｔ（）の最小値を有しているピクチャが、出力に対して最初に考慮される。
２．単一のピクチャまたは補足参照フィールド対が出力に対して考慮されるかどうかに従って、下記が適用される。
単一のピクチャが出力に対して最初に考慮される場合は、ピクチャに対してアクティブシーケンスパラメータセットにおいて指定されたクロッピング長方形を使用してこのピクチャがクロップされ、クロップされたピクチャは出力され、このピクチャは「出力に必要ない」とマークされる。
それ以外では（補足参照フィールド対が出力に対して最初に考慮される場合）は、ピクチャに対してアクティブシーケンスパラメータセットにおいて指定されたクロッピング長方形を使用して、補足参照フィールド対の２つのフィールドは両者ともクロップされ、補足参照フィールド対の２つのフィールドは一緒に出力され、補足参照フィールド対の両者のフィールドは「出力に必要ない」とマークされる。
３．出力に対して考慮される単一のピクチャまたは補足参照フィールド対と同じｖｉｅｗ＿ｉｄおよびＰｉｃＯｒｄｅｒＣｎｔ（）の値を有している単一の深度ビュー構成要素または補足参照フィールド対がある場合は、単一の深度ビュー構成要素または補足参照フィールド対がある場合は、単一の深度ビュー構成要素または補足参照フィールド対はステップ２と同じように出力される。
４．クロップされ、出力されたピクチャまたは補足参照フィールド対を含んでいたフレームバッファはチェックされ、下記の条件の何れかが真のときは、フレームバッファは空にされ、ＤＰＢ最大容量は１だけ減少される。
フレームバッファは、非参照非対フィールドを含んでいる。
フレームバッファは、非参照フレームを含んでいる。
フレームバッファは、両者のフィールドが「出力に必要ない」とマークされている補足非参照フィールド対を含んでいる。
フレームバッファは、「参照に使用されていない」とマークされている非対参照フィールドを含んでいる。
フレームバッファは、両者のフィールドが「参照に使用されていない」とマークされている参照フレームを含んでいる。
フレームバッファは、両者のフィールドが「参照に使用されていない」および「出力に必要ない」とマークされている補足参照フィールド対を含んでいる。
【０４２５】
「バンピング」プロセスは、例えば、下記の場合の１つ以上において起動できる。
空のフレームバッファがなく（つまり、ＤＰＢ最大容量がＤＰＢサイズと等しい）、空のフレームバッファが、推測された「非存在」フレームの格納に必要。
現在ピクチャはＩＤＲピクチャであり、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇが１に等しくなく、１に等しいとは推測されない。
現在ピクチャは、すべての先行ピクチャを「参照に使用されていない」とマークさせるメモリ管理コントロールを含んでいる。
空のフレームバッファがなく（つまり、ＤＰＢ最大容量がＤＰＢサイズに等しい）、空のフレームバッファが、復号化（非ＩＤＲ）参照ピクチャまたは参照ベースピクチャの格納に必要。
空のフレームバッファがなく（つまり、ＤＰＢ最大容量がＤＰＢサイズに等しい）、現在ピクチャは、補足非参照フィールド対の第２フィールドではない非参照ピクチャであり、現在ピクチャは出力が意図され、ＤＰＢには、「出力に必要」とマークされ、出力順において現在非参照ピクチャに先行するピクチャがあり、そのため、空のバッファが、現在ピクチャの格納のために必要。
空のフレームバッファがなく（つまり、ＤＰＢ最大容量がＤＰＢサイズに等しい）、現在ピクチャは、補足非参照フィールド対の第２フィールドではない非参照ピクチャであり、現在ピクチャは、ビュー間のみ参照ピクチャとして必要であり、そのため、空のフレームバッファが、現在ピクチャの格納のために必要。
【０４２６】
幾つかの実施の形態においては、エンコーダは、例えば、複数のプロセッサおよび／またはプロセシングコア、グラフィックスプロセシングユニット（ＧＰＵ）、または如何なる類似のものを介して平行処理が可能であることができる。エンコーダは、異なる平行処理ユニット上での符号化のためにテクスチャおよび深度ビュー構成要素を、例えば、使用される構成要素間予測ツールに従って決定できる、例えば、ビュー間予測階層および構成要素間依存性階層により決定される順に割り当てることができる。平行処理ユニットにおける符号化のためにビュー構成要素を割り当てるときは、エンコーダは、別の平行処理ユニットにおける符号化の完了を待つために、如何なる処理も停止させてはならないことを確実にすべきである。ビュー構成要素の符号化の完了順は、ビュー構成要素が異なる平行処理ユニットにおいて符号化されるために割り当てられた順とは同じでなくてもよい。例えば、幾つかのコーディング設備においては、深度ビュー構成要素は、テクスチャビュー構成要素の解像度と比較して、より低い空間解像度を有することができ、そのため、深度ビュー構成要素の符号化もまた、テクスチャビュー構成要素の処理時間と比較して、より短い処理時間しか要しない可能性がある。平行処理ユニットは、符号化スライスまたはビュー構成要素をビットストリームに、それらが完成した順で出力するように構成できる。従って、幾つかの実施の形態においては、ＡＵビュー構成要素順は、１つ以上の平行処理ユニットにおけるビュー構成要素の符号化の完成順により決定できる。幾つかの実施の形態においては、ビュー構成要素の符号化の完成順の末端にある深度ビュー構成要素または複数の深度ビュー構成要素は、ビットストリームから省略または廃棄できる。
【０４２７】
多くの実施の形態においては、コーディングフォーマットは、アクセスユニットのテクスチャおよび深度ビュー構成要素を、順序がビュー間および構成要素間予測階層の両者に準じる限り、互いに対して如何なる順序で有してもよいことを可能にする。言い換えると、多くのコーディングフォーマットは、受信したビットストリームの復号化を、線形順、例えば、ビットストリームにおいてＮＡＬユニットを受信した順で行うことを可能にするような抑制を有している。つまり、受信したビュー構成要素は、ビットストリームにおいて先に出現したデータに対する依存性を有することを可能にするようにでき、ビットストリームにおいて後に出現したデータに対する依存性を有することを可能にしないようにできる。エンコーダは、そのような抑制がビットストリームにおいて順守されることを、ビュー構成要素をそれぞれの順で符号化し、および／または、符号化データをバッファ処理し、バッファ処理されたデータを、抑制が順守されるように再順序化して、再順序化されたデータをビットストリームに書き込むことで確実にできる。更に、エンコーダは、そのような抑制がビットストリームにおいて順守されるように、１つ以上のビュー構成要素を符号化または廃棄しないと決定することができる。
【０４２８】
幾つかの実施の形態においては、エンコーダは、深度ビューが予測（ビュー合成予測、ビュー間予測、構成要素間予測、および／または類似の予測）のための参照または入力として要求され、エンコーダには入力されず、またはコード化されないと決定されたと結論できる。そのような場合は、エンコーダは、
深度ビュー、深度ビューに対する１つ以上の深度ビュー構成要素、または深度ビューに対する１つ以上の深度ビュー構成要素の一部を、コード化深度ビュー、および／またはコード化テクスチャビュー、および／または再構築深度ビュー、および／または再構築テクスチャビュー、またはそれらの一部に基づいて導出でき、
導出された深度ビューを、予測（ビュー合成予測、ビュー間予測、構成要素間予測、および／または類似の予測）のための参照または入力として、および／または復号化のための後処理として行われるビュー合成のための参照または入力として使用できる。
【０４２９】
深度ビュー構成要素の導出の例としての実施の形態が次に提供される。同じまたは類似のプロセスが、深度ビュー全体、深度ビューに対する他の深度ビュー構成要素、または深度ビューに対する１つ以上の深度ビュー構成要素を導出するために使用できるということは理解されるべきである。前方ＶＳＰプロセスまたは類似のものを、代表的には同じアクセスユニットの１つ以上の再構築深度ビュー構成要素に適用できる。深度ビュー構成要素は、画素ごとのディスパリティ情報であって、それに従ってワーピングを行うことができる情報のソースであると共に、ワープされる入力ピクチャであると考えることができる。言い換えると、深度ビュー構成要素は、前方ＶＳＰプロセスを使用して別の視点に再投射される。再投射された深度ビュー構成要素の品質を向上するための、ホールフィリングのような高度な方法を使用できる。
【０４３０】
例えば、エンコーダは、深度ビュー構成要素はＤＭＶＰまたは類似のものに対して必要であるが、要求されたビューに対して深度ビュー構成要素はコード化されていないと結論できる。そして、エンコーダは、前方ＶＳＰまたは類似のプロセスを使用して深度ビュー構成要素を導出できる。続いて、エンコーダは、導出された深度ビュー構成要素を、あたかも導出された深度ビュー構成要素が、深度ビュー構成要素をコード化した結果の再構築深度ビュー構成要素であるかのように、類似して、またはまったく同じように使用できる。幾つかの実施の形態においては、エンコーダはまた、２つ以上の再構築深度ビュー構成要素を、導出された深度ビュー構成要素に対するソースとして使用することもできる。例えば、エンコーダは、それぞれが異なるソース深度ビュー構成要素、および／または異なる導出プロセス、および／または導出プロセスにおいて適用された異なるパラメータを有している複数の候補深度ビュー構成要素を導出できる。そして、エンコーダは、候補深度ビュー構成要素間に対しフィルタリングを適用して、導出された深度ビュー構成要素を得ることができる。フィルタリングは、制限されることはないが、平均化、中央値フィルタリング、線形または非線形融解の１つ以上を含むことができる。フィルタリングはまた、信頼性重み付けすることができ、例えば、ホール充填サンプルは、より高い信頼性、従って、ワープされたサンプルのより大きな重みと比較して、より低い信頼性を有し、従って、より小さな重みを有することになる。
【０４３１】
幾つかの実施の形態においては、ここではビットストリームモディファイアと称されるエンティティは、ビットストリームが完全には復号化されずまた再符号化されず、ビットストリームに対して、より軽い重みの処理が行われるようにビットストリームを修正する。例えば、元々の／入力されたビットストリームの選択されたＮＡＬユニットは、修正ビットストリームに廃棄できる（つまり、含めないことができる）。ビットストリームモディファイアは、例えば、サーバー、メディア処理可能ネットワーク要素（ＭＡＮＥ）、受信機、メディアプレーヤ、またはデコーダの一部であってよい。ビットストリームモディファイアはビットストリームを、例えば、推定された、または一般的なダウンリンクネットワーク条件またはスループット、および／または、例えば、使用されている表示のタイプ（例えば、非立体映像、立体映像、自動立体映像）、表示される所望のビュー、計算能力、利用可能なメモリ、および／またはメモリアクセスバンド幅に関して、復号化側の推定された、または知られている能力または動作モードに基づいて修正することを決定でき、または修正するように構成できる。幾つかの実施の形態においては、ビットストリームモディファイアは、深度ビューまたは深度ビュー内のある深度ビュー構成要素が、修正されたビットストリームに含まれているか、またはビットストリームから省略／廃棄されているかを決定するために、上記のようなエンコーダと同様に動作できる。例えば、ビットストリームモディファイアは、デコーダと同様に、ビットストリームに含まれている１つ以上の表示に基づいて、深度ビューが、ビュー合成、ビュー間、および／または構成要素間予測のための参照として使用されていないと結論することができ、従って、ビットストリームモディファイアは、深度ビューを修正ビットストリームから省略することを決定できる。代替として、または追加的に、ビットストリームモディファイアは、復号化のための後処理として行われるビュー合成のための合成ビュー構成要素の予期されまたは知られている視点、または予期されまたは知られている視点の範囲を入力するように構成できる。ビットストリームモディファイアは、ＶＳＯ方法または類似の方法を実行して、コード化深度ビューが、合成ビュー構成要素に対する予期されまたは知られている視点、または予期されまたは知られている視点の範囲にレートディストーション（または他のコスト測定基準）の恩恵をもたらすかどうか（同じ視点を、そうでなければ利用可能な深度ビューに基づいて合成することと比較して）を決定できる。代替として、または追加的に、ビットストリームモディファイアは、復号化または出力に必要でないビュー構成要素を、上記の能力および／または復号化側の動作モード、およびビットストリームに含まれている表示に基づいて結論でき、これらの不要なコード化ビュー構成要素の少なくとも幾つかを、修正ビットストリームから省略できる。ビットストリームモディファイアは、ビットストリームからシンタックス要素およびパラメータ値を受信して復号化するときに、デコーダと類似して動作できる。ビットストリームモディファイアは、ストリーミングの方法、例えば、一度に全体のビットストリームではなく、一度に１つのアクセスユニット、コード化ピクチャ、またはＮＡＬユニットのような方法で動作できる。
【０４３２】
種々の実施の形態においては、デコーダまたはデコーダ側は、特に下記のステップの１つ以上を行うことができる。
１．コード化テクスチャおよび深度ビュー、テクスチャビューおよび深度ビューのビュー間予測階層、および／またはＡＵビュー構成要素順の１つ以上の表示をビットストリームから受信して復号化すること。
２．深度ビューが、予測（ビュー合成予測、ビュー間予測、構成要素間予測、および／または類似の予測）のための参照または入力として要求され、しかし受信したビットストリームには含まれていないときは、
深度ビューを導出すること、または
深度ビューを、予測のための参照または入力として要求されるようにしたコーディングツールはその機能が停止されていると推測すること、または
上記の１つを、ビットストリームから受信して復号化した１つ以上の表示に基づいて選択すること。
３．１つ以上のコーディングツールの使用、コーディングツールのモード、および／またはテクスチャを復号化するためのコーディングパラメータを、それぞれのコード化深度ビューの存在または不在、および／またはそれぞれの導出された深度ビューの存在または不在に基づいて推測すること。
４．テクスチャビュー構成要素における予測されたブロックのサブセットに対して、深度ビュー構成要素から（または、一般的には、１つ以上の深度ビュー構成要素から）テクスチャビュー構成要素への（一般的には、１つ以上のテクスチャビュー構成要素への）構成要素間予測信号、または予測ブロック、または類似のものを、深度ビュー構成要素における、共に位置しているサンプルまたはブロックの利用可能性に基づいて形成すること。同様に、深度ビュー構成要素における予測されたブロックのサブセットに対して、テクスチャビュー構成要素から（または、一般的には、１つ以上のテクスチャビュー構成要素から）深度ビュー構成要素への（一般的には、１つ以上の深度ビュー構成要素への）構成要素間予測信号、または予測ブロック、または類似のものを、テクスチャビュー構成要素における、共に位置しているサンプルまたはブロックの利用可能性に基づいて形成すること。
５．ビュー合成予測信号、または予測ブロック、または類似のものを、共に位置している深度サンプルの利用可能性に基づいて形成すること。
６．深度ビューが、後処理として行われるビュー合成の予測のための参照または入力として要求されているときは、深度ビューを導出すること。
７．復号化または出力に必要のないビュー構成要素を、上記の信号を送ることに基づいて決定し、デコーダをこれらの不要なコード化ビュー構成要素を復号化することを回避するように構成すること。
【０４３３】
デコーダは、コード化テクスチャおよび深度ビュー、テクスチャビューおよび深度ビューのビュー間予測階層、およびＡＵビュー構成要素順の表示をビットストリームから受信して復号化することを、例えば、次のようにして行うことができる。デコーダは、アクティブビデオパラメータセットまたは類似のもの、アクティブシーケンスパラメータセットまたは類似のもの、アクティブピクチャパラメータセットまたは類似のもの、およびアクティブ適応パラメータまたは類似のものの１つ以上を、例えば、復号化されている１つ以上のコード化スライスシンタックス構造に含まれているパラメータセット識別子に基づいて結論できる。例えば、幾つかの実施の形態においては、デコーダは、各テクスチャビューまたは深度ビューごとにパラメータセットを起動でき、一方では、同じパラメータセットを複数のビューに対して起動できる。テクスチャビューおよび深度ビューに対するビュー識別子または類似のもののリストまたはループは、パラメータセット構造の１つ以上において存在できる。深度ビューに対して表示されているのとは等しくない数の、テクスチャビューに対して表示されているビュー識別子または類似のものがあってもよく、および／またはテクスチャビューに対する表示されているビュー識別子値の幾つかまたはすべては、深度ビューに対して表示されているものとは異なってもよい。ビュー間予測階層は、これらのパラメータセット構造の１つ以上に存在できる。幾つかの実施の形態においては、深度ビューに対するものとは異なっている、テクスチャビューに対するビュー間予測階層を有することが可能とされ、従って、デコーダは、異なるパラメータセット、またはパラメータセットの異なる部分が、ビュー間依存性階層を復号化できるテクスチャおよび深度ビューから参照されると結論できる。幾つかの実施の形態においては、テクスチャおよび深度ビュー構成要素、および／またはテクスチャおよび深度ビューのビュー間予測階層の存在はアクセスユニットおよび／または、アクセスユニットデリミッタ、構成要素ピクチャデリミッタ、スライスヘッダ、または任意の類似のものにおいて存在できる、例えば、ビュー順インデックスのようなコード化スライスにより表示され、デコーダは、ビュー間予測階層情報を、例えば、ビュー順インデックスシンタックス要素または類似のものから構文解析できる。幾つかの実施の形態においては、テクスチャおよび深度ビュー構成要素の存在は、コード化スライスＮＡＬユニット、または類似のコード化ビデオ構造、またはアクセスユニットに対するユニットに含まれる、またはそれらに対して推測されるビュー識別子値、ビュー順インデックス値または類似の識別子値により暗黙的に表示できる。更に、ビュー間予測階層は、アクセスユニット内のテクスチャまたは深度ビュー構成要素の復号化／ビットストリーム順により暗黙的に表示できる。
【０４３４】
デコーダは、ビットストリームからＡＵビュー構成要素順の１つ以上の表示を、例えば、次のようにして受信し、復号化できる。ＡＵビュー構成要素順の表示は、上記の何れかまたは如何なる類似の表示であってもよい。デコーダは、例えば、どのパラメータセットがアクティブであるかを結論でき、ＡＵビュー構成要素順を表示しているアクティブパラメータセットの一部を復号化できる。幾つかの実施の形態においては、デコーダは、使用されるＡＵビュー構成要素順のインデックスを、例えば、ピクチャパラメータセットから復号化でき、インデックスを使用して、アクティブビデオパラメータセットまたはシーケンスパラメータに含まれているＡＵビュー構成要素順の何れかが、ピクチャパラメータセットを参照するアクセスユニットに使用されるかを結論できる。
【０４３５】
幾つかの実施の形態においては、送信エラー、大容量メモリ媒体の破壊、または如何なる類似のものに対するエラー耐性のために、復号化または結論されたＡＵビュー構成要素順と共に、どのテクスチャおよび深度ビュー構成要素が存在するかについての復号化または結論された情報を、次のように使用できる。デコーダは、例えば、ビットストリームが構成要素ピクチャデリミッタＮＡＬユニット、構成要素ピクチャヘッダ、または以前のスライスの以前のものと比較して異なっているビュー順インデックスおよび／または異なっているビュー構成要素タイプ（例えば、深度またはテクスチャ）を表示しているスライスヘッダを含んでいるとき、新しい／次のビュー構成要素の復号化が開始したと結論できる。デコーダは、ビュー構成要素タイプおよび、ビュー順インデックスのようなビュー構成要素のインディケータを、ＡＵビュー構成要素順が次のビュー構成要素に対して推測するそれらと比較できる。ビュー構成要素タイプおよびビュー構成要素のインディケータの両者が、ＡＵビュー構成要素順に基づいて予期されるものと整合する場合は、デコーダは、ビュー構成要素の全体の紛失は起こらなかったと結論できる。ビュー構成要素タイプおよびビュー構成要素のインディケータの何れかまたは両者が、ＡＵビュー構成要素順に基づいて予期されるものと整合しない場合は、デコーダは、ビュー構成要素全体の紛失を結論できる。幾つかの実施の形態においては、２つ以上のＡＵビュー構成要素順が可能であり、従って、デコーダは、次のビュー構成要素が、可能性のあるＡＵビュー構成要素順の何れかに準拠しているかどうかをチェックできる。幾つかの実施の形態においては、デコーダに入力されたビットストリームは、ビットストリーム抽出またはプルーニングを受けることができ、一方、ＡＵビュー構成要素順の表示は、プルーニングに先行してビットストリームを反映できる。例えば、幾つかの実施の形態においては、ビットストリームからすべての深度ビュー構成要素を除去することができ、残りのビットストリームは、規格に準拠している。つまり復号化可能である。幾つかの実施の形態においては、デコーダは、ビュー構成要素の紛失は意図的なものか／意図的であり得るか、または、偶然であるか／偶然であり得るかを、例えば、構成要素間コーディングツールが使用されているかどうか、および何れのビューにそれらが使用され、または使用できるかの表示に基づいて結論できる。デコーダが、最初のビュー構成要素が、別のビュー構成要素のコーディング／復号化に使用されたコーディングツールに対して要求された、または要求できると結論した場合は、デコーダは、最初のビュー構成要素の紛失は偶然であったと結論できる。
【０４３６】
それぞれのコード化深度ビューの存在または不在、および／またはエンコーダおよび／またはデコーダにおけるそれぞれの導出された深度ビューの存在または不在に基づく、１つ以上のコーディングツールの使用、コーディングツールのモード、および／またはコーディングパラメータを推測する例としての実施の形態は、下記の段落で提供される。
【０４３７】
幾つかの実施の形態においては、Ｄ−ＭＶＰのような、深度からテクスチャへの構成要素間依存性、テクスチャに対する深度ベースイントラ予測、またはベース層における深度とエンハンスメント層におけるテクスチャのＪＭＶＤＣを使用する１つ以上のコーディングツールが、ビューの深度ビュー構成要素がビットストリームに存在し、同じビューのテクスチャビュー構成要素にＡＵビュー構成要素順において先行する場合、または深度ビュー構成要素が導出される場合は、符号化および復号化に使用される。幾つかの実施の形態においては、ビューの深度ビュー構成要素が同じビューのテクスチャビュー構成要素にＡＵビュー構成要素順において続き、または存在しない場合は、エンコーダは、深度ビュー構成要素がビットストリームにおいて導出される否かを表示し、導出方法および／または導出方法のためのパラメータ値をビットストリームに表示できる。デコーダは、ビットストリームから、深度ビューが導出されるか否かの表示を受信して復号化できる。深度ビューが導出されると表示されている場合は、デコーダは、ビットストリームから、どの導出方法および／またはどのパラメータ値が導出方法に対して使用されるかの表示を受信して復号化でき、従って深度ビューを（または、予測のために参照またはソースとして必要とされるその一部）を導出する。幾つかの実施の形態においては、ビューの深度ビュー構成要素が、同じビューのテクスチャビュー構成要素にＡＵビュー構成要素順において先行する場合、または深度ビュー構成要素が導出される場合は、エンコーダは、Ｄ−ＭＶＰのような、深度からテクスチャへの構成要素間依存性、テクスチャに対する深度ベースイントラ予測、またはベース層における深度とエンハンスメント層におけるテクスチャのＪＭＶＤＣを使用する１つ以上のコーディングツールの使用をビットストリームにおいて表示し、一方、ビューの深度ビュー構成要素がビットストリームに存在しない、または同じビューのテクスチャビュー構成要素にＡＵビュー構成要素順において続く場合は、エンコーダは、深度からテクスチャへの構成要素間依存性を使用する１つ以上のコーディングツールの使用をビットストリームにおいて表示しない。デコーダは、ビュー構成要素の存在または不在から、および／または深度ビュー構成要素の導出が行われたか、または可能とされているかどうか、および／または復号化ＡＵビュー構成要素順から、Ｄ−ＭＶＰのような、深度からテクスチャへの構成要素間依存性を使用する１つ以上のコーディングツールの使用の表示がビットストリームに存在するかどうかを結論でき、それらが存在する場合は、それらをビットストリームから復号化し、コード化ビデオデータを、深度ベーステクスチャコーディングツールの結論されたまたは復号化された使用に基づいて復号化する。幾つかの実施の形態においては、深度ベースコーディングツールの使用および深度ビューの導出はシンタックス要素にコード化され、またはシンタックス要素の特定の値、または特定の複数の値は、深度ベースコーディングツールの使用および深度ビューの導出を表示する。
【０４３８】
幾つかの実施の形態においては、ベース層におけるテクスチャとエンハンスメント層における深度のＪＭＶＤＣのような、テクスチャから深度への構成要素間依存性を使用する１つ以上のコーディングツールが、ビューのテクスチャビュー構成要素が同じビューの深度ビュー構成要素にＡＵビュー構成要素順において先行し、深度ビュー構成要素がビットストリームに存在する場合は、符号化および復号化に使用される。幾つかの実施の形態においては、ビューの深度ビュー構成要素が同じビューのテクスチャビュー構成要素にＡＵビュー構成要素順において続き、ビットストリームに存在している場合は、エンコーダは、ベース層におけるテクスチャとエンハンスメント層における深度のＪＭＶＤＣのような、テクスチャから深度への構成要素間依存性を使用する１つ以上のコーディングツールの使用をビットストリームにおいて表示し、一方、ビューの深度ビュー構成要素が同じビューのテクスチャビュー構成要素にＡＵビュー構成要素順において先行し、またはビットストリームに存在しない場合は、エンコーダは、テクスチャから深度への構成要素間依存性を使用する１つ以上のコーディングツールの使用をビットストリームにおいて表示しない。デコーダは、復号化または結論された存在または不在、またはＡＵビュー構成要素順から、テクスチャから深度への構成要素間依存性を使用する１つ以上のコーディングツールの表示がビットストリームに存在するかどうかを結論し、それらが存在する場合は、ビットストリームから復号化し、テクスチャベース深度コーディングツールの結論または復号化された使用に基づいて、コード化ビデオデータを復号化する。
【０４３９】
幾つかの実施の形態においては、エンコーダとデコーダは、少なくとも２つの深度ビュー構成要素がＡＵビュー構成要素順において連続して存在する場合は、ＪＶＤＦプロセスまたは何れかの他のマルチビュー深度フィルタリングを、ＡＵビュー構成要素順において、そのような連続する深度ビュー構成要素の最後の深度ビュー構成要素の再構築または復号化の後で行うことができると結論できる。ＡＵビュー構成要素順において、連続する深度ビュー構成要素の最後の１つまでの、すべての再構築または復号化深度ビュー構成要素は、ＪＶＤＦプロセスまたは類似のもの関与できる。従って、同じ画素またはサンプル位置に投射またはワープされた深度サンプルの数は、より少ない数、例えば、各深度ビュー構成要素が再構築または復号化された後にＪＶＤＦまたは何れかの他のマルチビュー深度フィルタリングが適用された場合の結果としての数よりも大きくなる可能性がある。同じ画素位置にマップされた深度サンプルの数がより大きいことにより、フィルタリング処理はより良好な結果となり得る。例えば、画素位置へマップされた深度／ディスパリティ値の大半が、それらの深度／ディスパリティ値のみの中で信頼区間に収まる場合は、重み付け平均化を適用でき、区間外の深度／ディスパリティ値を除外できる。
【０４４０】
幾つかの実施の形態においては、エンコーダは、非対テクスチャおよび深度ビューと共に、テクスチャビューおよび対応する深度ビューの十分な組み合わせが存在し、コーディングツールと関連付けら、またはコーディングツールに信号で送られたビュー構成要素順が達成されるときは、コーディングツールが使用されるということを、ビットストリームにおける表示で表示できる。テクスチャおよび深度ビューの十分な組み合わせは、１つ以上のコーディングツールに対して信号で送ることができ、および／または１つ以上のコーディングツールに対して予め定義でき、または知ることができる。それ以外の場合は、コーディングツールは使用できない。言い換えると、特定のビュー構成要素がビットストリームに符号化される場合、アクセスユニット内の先行するビュー構成要素が、あるコーディングツールの使用を可能にし、コーディングツールの使用が表示で示されると、エンコーダは、その特定のビュー構成要素の符号化にコーディングツールを使用できる。例えば、深度ビュー構成要素が符号化されている場合、符号化されている深度ビュー構成要素と同じビューのテクスチャビュー構成要素は、既に符号化されており、ＩＶＭＰの使用は、シーケンスパラメータセットまたは類似のものにおいて可能にされており、エンコーダは、ＩＶＭＰを使用して現在深度ビュー構成要素を符号化できる。デコーダは、エンコーダそれぞれに対する、コーディングツールの使用を結論できる。つまり、特定のビュー構成要素がビットストリームから復号化されている場合で、アクセスユニット内の先行するビュー構成要素があるコーディングツールの使用を可能にし、およびコーディングツールの使用がビットストリームにおいて表示されていると、デコーダは、コーディングツールを特定のビュー構成要素の復号化に使用できる。例えば、深度ビュー構成要素が復号化されている場合で、復号化されている深度ビュー構成要素と同じビューのテクスチャビュー構成要素が既に復号化されており、ＩＶＭＰの使用がシーケンスパラメータセットまたは何れかの類似のものにおいて可能とされていると、デコーダはＩＶＭＰを使用して現在深度ビュー構成要素を復号化できる。幾つかの実施の形態においては、コーディングツールが使用されているというビットストリームにおける表示は、特定の表示されたビュー構成要素または特定の表示されたビュー構成要素のセットに対して特有であってよく、一方、コーディングツールが使用されているという表示は、コーディングツールと関連付けられている、またはコーディングツールに信号で送れられたビュー構成要素順が、表示された特定のビュー構成要素に対して達成される場合のみに有効であることができる。
【０４４１】
幾つかの実施の形態においては、エンコーダおよびデコーダは、ＨＥＶＣにおいて指定されたものと類似して、コード化構成要素／ビューの不在／存在に従って、ＭＶＰ候補を再構成／再初期化、および／またはリスト融合できる。前記再構成／再初期化は、ビットストリーム上で明示的に信号を送ることにより実現でき、またはエンコーダ側および／またはデコーダ側で暗黙的に実現できる。
【０４４２】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、テクスチャビュー構成要素における予測されたブロックのサブセットに対して、深度ビュー構成要素から（または、一般的には、１つ以上の深度ビュー構成要素から）テクスチャビュー構成要素への（または、一般的には、１つ以上のテクスチャビュー構成要素への）構成要素間予測信号、または予測ブロック、または類似のものを、深度ビュー構成要素における共に位置しているサンプルまたはブロックの利用可能性に基づいて、次のよう形成できる。幾つかの実施の形態においては、共に位置しているサンプルまたはブロックの導出において、ディスパリティおよび／または動き補償を適用できる。つまり、ディスパリティまたは動きベクトルまたは類似のものは、予測ブロックの位置を、予測されているブロックの位置から導出するために適用でき、ディスパリティまたは動きベクトルまたは類似のものは、ビットストリームにおいて表示でき、および／または深度ビュー構成要素から導出できる。幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、コード化／復号化されているテクスチャブロックに対して、共に位置している深度ブロックが利用可能かどうかを結論できる。結論するプロセスは、下記のステップの１つ以上を備えることができる。
符号化／復号化されているテクスチャビュー構成要素と同じビュー識別子で再構築、復号化、または導出された深度ビュー構成要素がない場合は、共に位置している深度ブロックは利用可能ではない。
それ以外で、再構築／復号化／導出されたビュー構成要素が共に位置し、符号化／復号化されているテクスチャビュー構成要素以外の同じ領域をカバーしている場合は、共に位置している深度ブロックは利用可能である。
それ以外で、符号化／復号化されているテクスチャブロックが、再構築／復号化／導出された深度ビュー構成要素において深度ブロックと重なっている場合は、共に位置している深度ブロックは利用可能である。言い換えると、符号化／復号化されているテクスチャブロックが、再構築／復号化／導出された深度ビュー構成要素によりカバーされているピクチャ領域内の場合は、共に位置している深度ブロックは利用可能である。
【０４４３】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、深度ビュー構成要素における予測されたブロックのサブセットに対して、テクスチャビュー構成要素から（または、一般的には、１つ以上のテクスチャビュー構成要素から）深度ビュー構成要素への（または、一般的には、１つ以上の深度ビュー構成要素への）構成要素間予測信号、または予測ブロック、または類似のものを、テクスチャビュー構成要素における共に位置しているサンプルまたはブロックの利用可能性に基づいて形成できる。前の段落において記述されたプロセスに類似しているプロセスを、深度ビュー構成要素をテクスチャビュー構成要素と交換して、および逆に交換して使用できる。
【０４４４】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、ビュー合成予測信号、または予測ブロック、または類似のものを、共に位置している深度サンプルの利用可能性に基づいて、次のよう形成できる。後方ＶＳＰが使用される場合、エンコーダおよび／またはデコーダは、構成要素間予測に対して上述したものと類似して、または同じように、共に位置している深度ブロックが、コード化／復号化されているテクスチャブロックに対して利用可能かどうかを結論できる。共に位置している深度ブロックが利用可能な場合は、エンコーダおよび／またはデコーダはそれを、ビュー合成予測信号、または予測ブロック、または類似のものを形成するために使用できる。前方ＶＳＰが使用される場合、ビュー合成予測信号、または予測ブロック、または類似のものは、現在テクスチャビュー構成要素と同じ視点の合成されたビュー構成要素における共に位置しているブロックのサンプル数が、予め定義された、または表示された閾値を超えるワープされたサンプル数または一部を含んでいる場合、および／または、合成されたビュー構成要素における共に位置しているブロックにワープされたサンプルの平均または累積信頼度が、予め定義された、または表示された閾値を超える場合は利用可能と考えることができる。そのような閾値は、エンコーダによりビットストリームにおいて表示でき、デコーダによりビットストリームから復号化でき、復号化プロセスにおいて、合成されたビュー構成要素におけるブロックの利用可能性を結論するために使用できる。
【０４４５】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、前の段落で記述したものと同様に、構成要素間予測および／またはビュー合成予測のための共に位置しているサンプルの利用可能性を結論できる。しかし、エンコーダおよび／またはデコーダは、利用可能でないとされたそれらのサンプルに対して詰め込みプロセスを適用でき、その後は、それらのサンプルを利用可能なものとして取り扱うことができる。詰め込みプロセスは、利用可能でないサンプルの幾つかまたはすべてに対してサンプル値を導出する。サンプル値は、例えば、最初に、利用可能でないサンプルを、それに水平方向において最も近接している利用可能なサンプルの値に割り当てることにより利用可能にする水平詰め込みプロセスを行い、続いて、利用可能でないサンプルを、それに垂直方向において最も近接している利用可能なサンプルの値に割り当てることにより利用可能にする垂直詰め込みプロセスを適用することにより導出できる。如何なる他のタイプの詰め込みプロセスも代替として適用できる。幾つかの実施の形態においては、エンコーダは、詰め込みが使用されたか否か、および／または適用された詰め込み方法をビットストリームにおいて表示し、デコーダは、ビットストリームから適用された詰め込み方法の１つ以上の表示を受信および復号化して、それに従って詰め込みプロセスを行う。
【０４４６】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、前の段落で記述したものと同様に、構成要素間予測および／またはビュー合成予測のための共に位置しているサンプルの利用可能性を結論できる。しかし、エンコーダおよび／またはデコーダは、利用可能でないとされたそれらのサンプルに対して、ビュー構成要素の両者または何れかに全体的または局所的内挿プロセスを適用でき、その後は、それらのサンプルを利用可能なものとして取り扱うことができる。内挿プロセスは、利用可能でないサンプルの幾つかまたはそのすべてに対してサンプル値を導出する。
【０４４７】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、深度ビュー構成要素がテクスチャビュー構成要素と整列していない、または調整されていないと結論でき、ビュー構成要素の両者または何れかに対して整列または調整プロセスを適用できる。その後、エンコーダおよび／またはデコーダは共に位置しているサンプルの利用可能性を決定でき、利用可能でないサンプルに対する上記のような詰め込みまたは内挿のような動作を行うことができ、その後は、それらのサンプルを利用可能なものとして取り扱うことができる。
【０４４８】
幾つかの実施の形態においては、エンコーダおよび／またはデコーダは、前の段落で記述したものと同様に、構成要素間予測および／またはビュー合成予測のための共に位置しているサンプルの利用可能性を結論でき、整列または調整プロセスを、利用可能でないとされたそれらのサンプルに対して適用できる。整列または調整の後でもサンプルが利用可能でない場合は、エンコーダおよび／またはデコーダは、利用可能でないサンプルに対する上記のような詰め込みまたは内挿のような動作を行うことができ、その後は、それらのサンプルを利用可能なものとして取り扱うことができる。
【０４４９】
多数の実施の形態が、フレームパッキングが使用されないときの、深度強化マルチビューの符号化および復号化に対して上述された。発明の多数の実施の形態はまた、フレームパッキングが使用される場合のコーディングおよび復号化シナリオにも適用可能であるということは理解されるべきである。２つ以上のテクスチャビュー構成要素の単一フレームへのパッキング、および／または２つ以上の深度ビュー構成要素の単一フレームへのパッキング、および／または１つ以上のテクスチャビュー構成要素および１つ以上の深度ビュー構成要素の単一フレームへのパッキングのような異なるタイプのフレームパッキングが適用できる。エンコーダは、上記のように異なる表示をコード化して含むことができ、追加的に、適切なネスティングＳＥＩメッセージを使用して、または、構成要素フレームの識別子を、テクスチャおよび深度ビューの特性を表示するために使用されるシンタックス構造に含めるなどの他の手段により、構成要素タイプ（例えば、テクスチャまたは深度）および／またはビュー識別子を構成要素フレームに関連付けることにより、表示が適用されるビューまたはビュー構成要素を表示できる。ネスティングＳＥＩメッセージは、例えば、ネストされたＳＥＩメッセージがテクスチャビューまたは深度ビューまたはその両者に適用されるかどうかを表示でき、および／またはどのビュー（例えば、ビュー識別子またはビュー順インデックス）にネストされたＳＥＩメッセージが適用されるかを表示でき、および／またはどの構成要素フレームにネストされたＳＥＩメッセージが適用されるかを表示できる。
【０４５０】
幾つかの実施の形態においては、デコーダおよび／またはポストプロセッサおよび／またはデンダラのようなデコーダ側は、ビュー合成を、復号化テクスチャおよび深度ビュー構成要素に基づいて行うことができる。デコーダ側は、例えば、ＳＥＩメッセージから、またはビデオユーザビリティ情報から、または他のシンタックス構造から、後処理として行うことができるビュー合成に関連するパラメータおよびパラメータ値を得ることができる。これらのパラメータは、特には、テクスチャおよび深度ビューの数が等しくない場合、および／またはテクスチャビューの幾つかが、共に位置している深度ビューを有していない場合、および／または深度ビューの幾つかが、共に位置しているテクスチャビューを有していない場合、および／または共に位置しているテクスチャおよび深度ビューが異なる空間領域をカバーしている場合に対処するパラメータを含むことができる。デコーダ側はこれらのパラメータを構文解析でき、どの視点が合成されたか、およびどのパラメータがビュー合成に使用されたかの制御にこれらのパラメータを使用できる。例えば、デコーダ側は、合成されることを可能とされた視点の範囲または視点のリストを、復号化の後の後処理として復号化できる。更に、デコーダ側は、あるカメラ距離またはディスパリディ特性（例えば、ある最大正および最小負ディスパリティ）または類似のものを、例えば、使用されているディスプレイに対する予め定義された値、またはユーザーが選択可能な値として使用するように構成できる。そして、デコーダ側は、合成される適切な視点を、可能とされた視点の範囲またはリスト、および所望のカメラ距離またはディスパリティ特性、または類似のものに基づいて選択できる。幾つかの実施の形態においては、デコーダ側は、ビットストリームから、表示された合成視点に関連する１つ以上の推定値またはディストーションの値また他のコスト測定基準を更に復号化でき、従って、合成視点を、ディストーションまたは他のコスト測定基準に関して有利なように選択できる。
【０４５１】
上記においては、幾つかの実施の形態は、特定のタイプのパラメータセットに関連して記述された。しかし、実施の形態は、ビットストリームにおける如何なるタイプのパラメータセットまたは他のシンタックス構造によっても実現できるということは理解される必要がある。
【０４５２】
上記においては、幾つかの実施の形態は、表示、シンタックス要素、および／またはシンタックス構造のビットストリームへの、またはコード化ビデオシーケンスへの符号化、および／または表示、シンタックス要素、および／またはシンタックス構造のビットストリームからの、またはコード化ビデオシーケンスからの復号化に関連して記述された。しかし、実施の形態は、表示、シンタックス要素、および／またはシンタックス構造を、ビットストリームまたは、コード化スライスのようなビデオコーディング層データを備えているコード化ビデオシーケンスの外側のシンタックス構造またはデータユニットへ符号化するとき、および／または表示、シンタックス要素、および／またはシンタックス構造をビットストリームまたは、コード化スライスのようなビデオコーディング層データを備えているコード化ビデオシーケンスの外側のシンタックス構造またはデータユニットから復号化するときにも実現できるということは理解される必要がある。例えば、幾つかの実施の形態においては、上記の何れかの実施の形態に従う表示は、ビデオパラメータセットまたはシーケンスパラメータセットにコード化でき、例えば、ＳＤＰのような制御プロトコルを使用して、コード化ビデオシーケンスから外部的に搬送される。同じ例を続けると、受け手側は、例えば、制御プロトコルを使用して、ビデオパラメータセットまたはシーケンスパラメータセットを得ることができ、ビデオパラメータセットまたはシーケンスパラメータセットを復号化のために提供できる。
【０４５３】
上記においては、幾つかの実施の形態は、特定のタイプの構成要素ピクチャ、つまり、深度ビュー構成要素およびテクスチャビュー構成要素に関して記述された。しかし、実施の形態は、ビットストリームにおいてテクスチャおよび深度ビュー構成要素の代わりに、またはそれに追加して存在できる如何なるタイプの構成要素ピクチャでも実現できるということは理解される必要がある。例えば、幾つかの実施の形態における構成要素ピクチャは、人間が知覚可能な画像を表現するために使用される従来の無線周波数スペクトルの範囲外である赤外線ビュー構成要素または幾つかの他の画像表現を備えることもできる。
【０４５４】
上記においては、幾つかの実施の形態は、深度ベーステクスチャコーディング／復号化または予測ツールのような、構成要素間依存性を有するコーディング／復号化方法またはツールに関連して記述された。しかし、実施の形態は、上記のコーディング／復号化方法に特定される必要はなく、如何なる類似のコーディング／復号化またはツールでも実現できるということは理解される必要がある。
【０４５５】
上記においては、ビットストリームのシンタックスを利用して例としての実施の形態が記述された。しかし、対応する構造および／またはコンピュータプログラムが、ビットストリームを生成するためにエンコーダ側に、および／またはビットストリームを復号化するためにデコーダ側に存在することもできるということは理解される必要がある。同様に、エンコーダを参照して例としての実施の形態が記述された場合、結果としてのビットストリームおよびデコーダは、それらの中に対応する要素を有しているということは理解される必要がある。同様に、デコーダを参照して例としての実施の形態が記述された場合、エンコーダは、デコーダにより復号化されるビットストリームを生成するための構造および／またはコンピュータプログラムを有しているということは理解される必要がある。
【０４５６】
上記の例は、電子装置内のコーデック内で動作する発明の実施の形態を記述しているが、下記に記述されるような発明は、任意のビデオコーデックの一部として実現できるということは認識されよう。このため、例えば、発明の実施の形態は、ビデオコーディングを、固定または有線通信経路上で実現できるビデオコーデックにおいて実現できる。
【０４５７】
このため、ユーザー機器は、上記の発明の実施の形態において記述されたようなビデオコーデックを備えることができる。ユーザー機器という用語は、携帯電話、携帯型データ処理装置、または携帯型ウェブブラウザのような任意の適切なタイプのワイヤレスユーザー機器もカバーすることを意図されていることは認識されるべきである。
【０４５８】
更に、公衆ランドモバイルネットワーク（ＰＬＭＮ）もまた、上記のようなビデオコーデックを備えることができる。
【０４５９】
一般的に、発明の種々の実施の形態は、ハードウェアまたは特定用途回路、ソフトウェア、論理回路、またはそれらの任意の組み合わせにおいて実現できる。例えば、幾つかの形態はハードウェアにおいて実現でき、一方、他の形態は、発明がそれに制限されることはないが、コントローラ、マイクロプロセッサ、または他のコンピューティング装置により実行されるファームウェアまたはソフトウェアで実現できる。発明の種々の形態を、ブロック図またはフローチャートとして、または幾つかの他の図による表現を使用して例示および記述できるが、ここで記述されたこれらのブロック装置、システム、技術、または方法は、非制限的な例、ハードウェア、ソフトウェア、ファームウェア、特殊用途回路、または論理回路、汎用ハードウェア、またはコントローラ、または他のコンピューティング装置、またはそれらのある組み合わせにより実現できるということは良く理解されよう。
【０４６０】
この発明の実施の形態は、プロセッサエンティティにおけるような携帯装置のデータプロセッサ、またはハードウェア、またはソフトウェアおよびハードウェアの組み合わせにより実行可能なコンピュータソフトウェアにより実現できる。更に、この点に関して、図におけるような論理フローの任意のブロックが、プログラムステップ、または相互接続論理回路、ブロックおよび機能、またはプログラムステップと論理回路、ブロックおよび機能の組み合わせを表現できるということに留意すべきである。ソフトウェアは、メモリチップ、またはプロセッサ内において実現されたメモリブロックのような物理的媒体、ハードディスクまたはフロッピディスクのような磁気媒体、および、例えばＤＶＤのような光媒体、およびそのデータ変形例であるＣＤのような媒体に格納できる。
【０４６１】
発明の種々の実施の形態は、メモリに存在し、適切な装置に発明を実行させるコンピュータプログラムコードの支援により実現可能である。例えば、ターミナル装置は、メモリにおけるデータ、コンピュータプログラムコードを取り扱い、受信し、送信するための回路および電子機器、およびコンピュータプログラムコードを起動すると、ターミナル装置に実施の形態の特徴を行わせるプロセッサを備えることができる。更に、ネットワーク装置は、メモリにおけるデータ、コンピュータプログラムコードを取り扱い、受信し、送信するための回路および電子機器、およびコンピュータプログラムコードを起動すると、ネットワーク装置に実施の形態の特徴を行わせるプロセッサを備えることができる。
【０４６２】
メモリは、局所的技術環境に適切な如何なるタイプであってもよく、半導体系メモリ装置、磁気メモリ装置およびシステム、光学メモリ装置およびシステム、固定メモリおよびリムーバブルメモリのような任意の適切なデータ格納技術を使用して実現できる。データプロセッサは、局所的技術環境に適切な如何なるタイプであってもよく、非制限的な例として、汎用コンピュータ、特殊用途コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、およびマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含むことができる。
【０４６３】
発明の実施の形態は、集積回路モジュールのような種々の構成要素において実践できる。集積回路の設計は、一般的には高度に自動化されたプロセスである。複雑且つ強力なソフトウェアツールが、論理レベルの設計を、半導体基板上でのエッチングおよび形成が容易な半導体回路設計への変換に利用可能である。
【０４６４】
カリフォルニアのマウンテンビューのＳｙｎｏｐｓｙｓ  Ｉｎｃ．およびカリフォルニアのサンホセのＣａｄｅｎｃｅ  Ｄｅｓｉｇｎにより提供されるようなプログラムは、予め格納されている設計モジュールのライブラリと共に、良好に確立された設計規則を使用して、半導体チップ上に導体を自動的に配線し、構成要素を自動的に位置させる。半導体回路の設計が完了すると、結果としての設計は、標準化された電子フォーマット（例えば、Ｏｐｕｓ、ＧＤＳＩＩ、または類似のもの）で半導体製造施設または製造のための「ファブ」へ送ることができる。
【０４６５】
上記の記述は、例および非制限的な例により、本発明の例としての実施の形態の完全且つ情報を与える記述を提供した。しかし、種々の修正および適応は、上記の記述を考慮し、付随する図面および請求項と共に読むことにより当業者には明白となるであろう。しかし、本発明の教示のそのような、および類似の修正は、本発明の範囲に依然として留まる。
【０４６６】
下記に、幾つかの例が提供される。
【０４６７】
第１例によれば、方法であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することと、を備える方法が提供される。
【０４６８】
幾つかの例においては、方法は更に、
導出された第１および第２予測ブロックに基づいてテクスチャブロックを符号化することを更に備えている。
【０４６９】
幾つかの例においては、方法は、
テクスチャブロックおよび深度ブロックを、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームに符号化することを更に備えている。
【０４７０】
幾つかの例においては、方法は、
第１および第２予測ブロックの導出のための予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックを含んでいるテクスチャビュー構成要素と同じサンプリングまたは出力時間有している深度ビュー構成要素の存在の１つ以上に基づいて決定することを更に備えている。
【０４７１】
幾つかの例においては、方法は、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックを含んでいるテクスチャビュー構成要素と同じサンプリングまたは出力時間有している深度ビュー構成要素の存在、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる第１空間領域、
深度ブロックを含んでいる深度ビューによりカバーされる第２空間領域、
第２空間領域内で、テクスチャブロックによりカバーされている位置および領域の１つ以上に基づいて決定することを更に備えている。
【０４７２】
方法の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０４７３】
方法の幾つかの例においては、調査は、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査することを備えている。
【０４７４】
幾つかの例においては、方法は、
利用可能でない共に位置している深度サンプルに応えて、深度サンプルを詰め込みまたは内挿して、深度ブロックを利用可能なものとして取り扱うことを更に備えている。
【０４７５】
幾つかの例においては、方法は、
利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱うことを更に備えている。
【０４７６】
方法の幾つかの例においては、第２予測ブロックの導出は、
利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックをビュー合成に基づいて導出することを更に備えている。
【０４７７】
幾つかの例においては、方法は、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することを更に備えている。
【０４７８】
方法の幾つかの例においては、どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかの決定は、
入力深度ビューが、１つ以上の符号化テクスチャビューの何れかの予測に必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要でない深度ビューは符号化されないと決定することと、
どのテクスチャが出力されると予期または知られているかの情報を受信し、出力されていると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することを更に備えている。
【０４７９】
方法の幾つかの例においては、出力されていると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することは、
入力深度ビューを符号化するための第１コスト、および、符号化された入力深度ビューを使用して復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第１ディストーションを導出することと、
符号化された入力深度ビューなしの第２コスト、および符号化された入力深度ビューを使用しないで復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第２ディストーションを導出することと、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定することを更に備えている。
【０４８０】
幾つかの例においては、方法は
深度ブロックを備えている深度ビューおよびテクスチャブロックを備えているテクスチャビューを符号化するための第１コストおよび第１ディストーションを、深度ブロックに基づいて導出することと、
第２予測ブロックから予測されたテクスチャブロックを備えているテクスチャビューを符号化するための第２コストおよび第２ディストーションを導出することと、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定することを更に備えている。
【０４８１】
幾つかの例においては、方法は、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層を決定することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層の１つ以上の表示を符号化することを更に備えている。
【０４８２】
第２例によれば、方法であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することと、を備える方法が提供される。
【０４８３】
幾つかの例においては、方法は
テクスチャブロックを、第１または第２予測ブロックに基づいて復号化することを更に備えている。
【０４８４】
幾つかの例においては、方法は、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームから、テクスチャブロックおよび深度ブロックを復号化することを更に備えている。
【０４８５】
幾つかの例においては、方法は、
予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対して表示されている予測方法、
テクスチャブロックを含んでいるテクスチャビュー構成要素と同じサンプリングまたは出力時間有している深度ビュー構成要素の存在の１つ以上に基づいて決定することを更に備えている。
【０４８６】
幾つかの例においては、方法は、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックを含んでいるテクスチャビュー構成要素と同じサンプリングまたは出力時間有している深度ビュー構成要素の存在、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる第１空間領域、
深度ブロックを含んでいる深度ビューによりカバーされる第２空間領域、
第２空間領域内で、テクスチャブロックによりカバーされている位置および領域の１つ以上に基づいて決定することを更に備えている。
【０４８７】
方法の幾つかの例においては、テクスチャブロックは、１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０４８８】
方法の幾つかの例においては、調査は、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査することを備えている。
【０４８９】
幾つかの例においては、方法は、
利用可能でない共に位置している深度サンプルに応えて、深度サンプルを詰め込みまたは内挿して、深度ブロックを利用可能なものとして取り扱うことを更に備えている。
【０４９０】
幾つかの例においては、方法は、
利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱うことを更に備えている。
【０４９１】
方法の幾つかの例においては、第２予測ブロックの導出は、
利用可能でない共に位置している深度サンプルに応えて共に位置している深度ブロックをビュー合成に基づいて導出することを更に備えている。
【０４９２】
幾つかの例においては、方法は、
ビットストリームにおける、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を受信することと、
１つ以上の表示を使用して、どの入力テクスチャビューおよびどの入力深度ビューがビットストリームにおいて符号化されたかを決定することを更に備えている。
【０４９３】
幾つかの例においては、方法は、共に位置している深度ブロックの利用可能性の表示を受信することを更に備えている。
【０４９４】
方法の幾つかの例においては、第２予測ブロックの導出は、
深度ブロックを、
符号化深度ブロック、
符号化テクスチャブロック、
再構築深度ブロック、または
再構築テクスチャブロックの１つに基づいて導出することと、
導出された深度ブロックを、予測のための参照として使用することを備えている。
【０４９５】
幾つかの例においては、方法は、深度ブロックの導出に使用されているブロックの表示を受信することを更に備えている。
【０４９６】
第３例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備える装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査させ、
テクスチャブロックに対する予測方法を、共に位置している深度ブロックの利用可能性に基づいて決定させ、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいてテクスチャブロックに対する第１予測ブロックを導出させ、それ以外の場合は、共に位置している深度ブロックを使用しないでテクスチャブロックに対する第２予測ブロックを導出させるように構成されている装置が提供される。
【０４９７】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
導出された第１または第２予測ブロックに基づいてテクスチャブロックを符号化させる。
【０４９８】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
テクスチャブロックおよび深度ブロックを、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームに符号化させる。
【０４９９】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
第１および第２予測ブロックの導出のための予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順の１つ以上に基づいて決定させる。
【０５００】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる空間領域および深度ブロックを含んでいる深度ビューによりカバーされる空間領域の１つ以上に基づいて決定させる。
【０５０１】
装置の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０５０２】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査させる。
【０５０３】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
利用可能でない共に位置している深度サンプルに応えて、深度サンプルを詰め込みまたは内挿させ、深度ブロックを利用可能なものとして取り扱わせる。
【０５０４】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能なものとして取り扱わせる。
【０５０５】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックをビュー合成に基づいて導出させる。
【０５０６】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信させ、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化させる。
【０５０７】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
深度ブロックを含んでいる深度ビューおよびテクスチャブロックを含んでいるテクスチャビューを符号化するための第１コストおよび第１ディストーションを、深度ブロックに基づいて導出させ、
第２予測ブロックから予測されたテクスチャブロックを備えているテクスチャビューを符号化するための第２コストおよび第２ディストーションを導出させ、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定させる。
【０５０８】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層を決定させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層の１つ以上の表示を符号化させる。
【０５０９】
第４例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備える装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査させ、
テクスチャブロックに対する予測方法を、共に位置している深度ブロックの利用可能性に基づいて決定させ、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいてテクスチャブロックに対する第１予測ブロックを導出させ、それ以外の場合は、共に位置している深度ブロックを使用しないでテクスチャブロックに対する第２予測ブロックを導出させるように構成されている装置が提供される。
【０５１０】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
第１または第２予測ブロックに基づいて、深度ブロックを復号化させる。
【０５１１】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
テクスチャブロックおよび深度ブロックを、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームから復号化させる。
【０５１２】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対する表示されている予測方法の１つ以上に基づいて決定させる。
【０５１３】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる空間領域および深度ブロックを含んでいる深度ビューによりカバーされる空間領域の１つ以上に基づいて決定させる。
【０５１４】
装置の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０５１５】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査させる。
【０５１６】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
利用可能でない共に位置している深度サンプルに応えて、深度サンプルを詰め込みまたは内挿させて、深度ブロックを利用可能なものとして取り扱わせる。
【０５１７】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱わせる。
【０５１８】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックをビュー合成に基づいて導出させる。
【０５１９】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
ビットストリームにおける、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を受信させ、
１つ以上の表示を使用させて、どの入力テクスチャビューおよびどの入力深度ビューがビットストリームにおいて符号化されたかを決定させる。
【０５２０】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、共に位置している深度ブロックの利用可能性の表示を受信させる。
【０５２１】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
深度ブロックを、
符号化深度ブロック、
符号化テクスチャブロック、
再構築深度ブロック、または
再構築テクスチャブロックの１つに基づいて導出させ、
導出された深度ブロックを、予測のための参照として使用させる。
【０５２２】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、深度ブロックの導出に使用されているブロックの表示を受信させる。
【０５２３】
第５例によると、装置であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査する手段と、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定する手段と、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないでテクスチャブロックに対する第２予測ブロックを導出する手段を備える装置が提供される。
【０５２４】
幾つかの例においては、装置は更に、
テクスチャブロックを、導出された第１または第２予測ブロックに基づいて符号化する手段を備えている。
【０５２５】
幾つかの例においては、装置は更に、
テクスチャブロックおよび深度ブロックを、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームに符号化する手段を備えている。
【０５２６】
幾つかの例においては、装置は更に、
第１または第２予測ブロックの導出のための予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順の１つ以上に基づいて決定する手段を備えている。
【０５２７】
幾つかの例においては、装置は更に、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる空間領域および深度ブロックを含んでいる深度ビューによりカバーされる空間領域の１つ以上に基づいて決定する手段を備えている。
【０５２８】
装置の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０５２９】
装置の幾つかの例においては、調査する手段は、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査する手段を備えている。
【０５３０】
幾つかの例においては、装置は更に、
深度サンプルを詰め込みまたは内挿する手段および、利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能なものとして取り扱う手段を備えている。
【０５３１】
幾つかの例においては、装置は更に、
利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱う手段を備えている。
【０５３２】
装置の幾つかの例においては、第２予測ブロックを導出する手段は、
利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックを、ビュー合成に基づいて導出する手段を備えている。
【０５３３】
幾つかの例においては、装置は更に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信する手段と、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化する手段を備えている。
【０５３４】
幾つかの例においては、装置は更に、
深度ブロックを備えている深度ビューおよびテクスチャブロックを備えているテクスチャビューを符号化するための第１コストおよび第１ディストーションを、深度ブロックに基づいて導出する手段と、
第２予測ブロックから予測されたテクスチャブロックを備えているテクスチャビューを符号化するための第２コストおよび第２ディストーションを導出する手段と、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定する手段を備えている。
【０５３５】
幾つかの例においては、装置は更に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層を決定する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層の１つ以上の表示を符号化する手段を備えている。
【０５３６】
第６例によると、装置であって、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査する手段と、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定する手段と、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づ凍て、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないてテクスチャブロックに対する第２予測ブロックを導出する手段を備える装置が提供される。
【０５３７】
幾つかの例においては、装置は更に、
テクスチャブロックを、第１または第２予測ブロックに基づいて復号化する手段を備えている。
【０５３８】
幾つかの例においては、装置は更に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームから、テクスチャブロックおよび深度ブロックを復号化する手段を備えている。
【０５３９】
幾つかの例においては、装置は更に、
予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対して表示されている予測方法の１つ以上に基づいて決定する手段を備えている。
【０５４０】
幾つかの例においては、装置は更に、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる空間領域および深度ブロックを含んでいる深度ビューによりカバーされる空間領域の１つ以上に基づいて決定する手段を備えている。
【０５４１】
装置の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０５４２】
装置の幾つかの例においては、調査する手段は、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査する手段を備えている。
【０５４３】
幾つかの例においては、装置は更に、
深度サンプルを詰め込みまたは内挿する手段および、利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能なものとして取り扱う手段を備えている。
【０５４４】
幾つかの例においては、装置は更に、
利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱う手段を備えている。
【０５４５】
装置の幾つかの例においては、第２予測ブロックを導出する手段は、
利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックを、ビュー合成に基づいて導出する手段を備えている。
【０５４６】
幾つかの例においては、装置は更に、
ビットストリームにおいて、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を受信する手段と、
１つ以上の表示を使用して、どの入力テクスチャビューおよびどの入力深度ビューがビットストリームにおいて符号化されたかを決定する手段を備えている。
【０５４７】
幾つかの例においては、装置は更に、共に位置している深度ブロックの利用可能性の表示を受信する手段を備えている。
【０５４８】
装置の幾つかの例においては、第２予測ブロック導出する手段は、
深度ブロックを、
符号化深度ブロック、
符号化テクスチャブロック、
再構築深度ブロック、または
再構築テクスチャブロックの１つに基づいて導出する手段と、
導出された深度ブロックを、予測のための参照として使用する手段を備えている。
【０５４９】
幾つかの例においては、装置は更に、深度ブロックの導出に使用されたブロックの表示を受信する手段を備えている。
【０５５０】
第７例によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することを少なくとも行わせるコンピュータプログラム製品が提供される。
【０５５１】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックを、導出された第１または第２予測ブロックに基づいて符号化させる。
【０５５２】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックおよび深度ブロックを、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームに符号化させる。
【０５５３】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
第１または第２予測ブロックの導出のための予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順の１つ以上に基づいて決定させる。
【０５５４】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる空間領域および深度ブロックを含んでいる深度ビューによりカバーされる空間領域の１つ以上に基づいて決定させる。
【０５５５】
コンピュータプログラム製品の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０５５６】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査させる。
【０５５７】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、利用可能でない共に位置している深度サンプルに応えて、深度サンプルを詰め込みまたは内挿させ、深度ブロックを利用可能なものとして取り扱わせる。
【０５５８】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱わせる。
【０５５９】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックをビュー合成に基づいて導出させる。
【０５６０】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信させ、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化させる。
【０５６１】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
深度ブロックを備えている深度ビューおよびテクスチャブロックを備えているテクスチャビューを符号化するための第１コストおよび第１ディストーションを、深度ブロックに基づいて導出させ、
第２予測ブロックから予測されたテクスチャブロックを備えているテクスチャビューを符号化するための第２コストおよび第２ディストーションを導出させ、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定させる。
【０５６２】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層を決定させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー間予測階層の１つ以上の表示を符号化させる。
【０５６３】
第８例によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックと共に位置している深度ブロックの利用可能性を調査することと、
共に位置している深度ブロックの利用可能性に基づいて、テクスチャブロックに対する予測方法を決定することと、
共に位置している深度ブロックが利用可能な場合は、共に位置している深度ブロックに基づいて、テクスチャブロックに対する第１予測ブロックを導出し、それ以外の場合は、共に位置している深度ブロックを使用しないで、テクスチャブロックに対する第２予測ブロックを導出することを少なくとも行わせるコンピュータプログラム製品が提供される。
【０５６４】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックを、第１または第２予測ブロックに基づいて復号化させる。
【０５６５】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
テクスチャブロックおよび深度ブロックを、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを備えているビットストリームから復号化させる。
【０５６６】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
予測方法を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対する表示された予測方法の１つ以上に基づいて決定させる。
【０５６７】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
共に位置している深度ブロックの利用可能性を、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビュー、
１つ以上の符号化テクスチャビューのビュー間予測依存性、
１つ以上の符号化深度ビューのビュー間予測依存性、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューのビュー構成要素順、
テクスチャブロックに対するテクスチャサンプリンググリッドおよび深度ブロックに対する深度サンプリンググリッド、
テクスチャサンプリンググリッドの場所および深度サンプリンググリッドの場所、
テクスチャブロックを含んでいるテクスチャビューによりカバーされる空間領域および深度ブロックを含んでいる深度ビューによりカバーされる空間領域の１つ以上に基づいて決定させる。
【０５６８】
コンピュータプログラム製品の幾つかの例においては、テクスチャブロックは１つ以上のサンプルを備え、深度ブロックは１つ以上のサンプルを備えている。
【０５６９】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
深度ブロックにおける共に位置しているサンプルが、テクスチャブロックの１つ以上のサンプルのそれぞれに対して利用可能であるかどうかを調査させる。
【０５７０】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、利用可能でない共に位置している深度サンプルに応えて、深度サンプルを詰め込みまたは内挿させ、深度ブロックを利用可能なものとして取り扱わせる。
【０５７１】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、利用可能でない共に位置している深度サンプルに応えて、深度ブロックを利用可能でないものとして取り扱わせる。
【０５７２】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、利用可能でない共に位置している深度サンプルに応えて、共に位置している深度ブロックをビュー合成に基づいて導出させる。
【０５７３】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
ビットストリームにおける、１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を受信させ、
１つ以上の表示を使用させて、どの入力テクスチャビューおよびどの入力深度ビューがビットストリームにおいて符号化されたかを決定させる。
【０５７４】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、共に位置している深度ブロックの利用可能性の表示を受信させる。
【０５７５】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、
深度ブロックを、
符号化深度ブロック、
符号化テクスチャブロック、
再構築深度ブロック、または
再構築テクスチャブロックの１つに基づいて導出させ、
導出された深度ブロックを、予測のための参照として使用させる。
【０５７６】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、深度ブロックの導出に使用されているブロックの表示を受信させる。
【０５７７】
第９例によれば、方法であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することと、を備える方法であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの如何なる符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは、同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプと第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している方法が提供される。
【０５７８】
方法の幾つかの例においては、同じ視点を表現している２つ以上の符号化深度ビューは、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１方向へ向けての、または第１視点へのビュー合成のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２方向へ向けての、または第２視点へのビュー合成のためと意図されており、第１方向は第２方向とは異なり、第１視点は第２視点とは異なっているということ、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１表示設備または観察状況のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２表示設備または観察状況のためと意図されており、第１表示設備または観察状況は、第２表示設備または観察状況とは異なっているということの１つ以上により更に特徴付けられる。
【０５７９】
幾つかの例においては、方法は更に、
第１符号化深度ビューは第１深度マップタイプであり、第２符号化深度ビューは第２深度マップタイプであるということを、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプの使用を要求し、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプが使用されたときは、別の深度マップタイプよりも計算をより少なくするということの１つ以上に基づいて決定することを備えている。
【０５８０】
第１０例によれば、方法であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することであって、決定することは、
入力深度ビューが、１つ以上の符号化テクスチャビューの何れかの予測のために必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要のない深度ビューは符号化されないと決定することと、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られているかの情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することの１つ以上を備えている決定をすることと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することと、を備える方法が提供される。
【０５８１】
方法の幾つかの例においては、出力されていると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することは、
入力深度ビューを符号化するための第１コスト、および、符号化された入力深度ビューを使用して復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第１ディストーションを導出することと、
符号化された入力深度ビューなしの第２コスト、および符号化された入力深度ビューを使用しないで復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第１ディストーションを導出することと、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定することを備えている。
【０５８２】
第１１例によれば、方法であって、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化して、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定することと、
符号化テクスチャビューおよび符号化深度ビューをビットストリームから復号化することと、を備える方法であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプと第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドと第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している方法が提供される。
【０５８３】
方法の幾つかの例においては、同じ視点を表現している２つ以上の符号化深度ビューは、
第１方向へ向けての、または第１視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用すること、および第２方向へ向けての、または第２視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用することであって、第１方向は第２方向とは異なり、第１視点は第２視点とは異なっているということ、
第１表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用すること、および第２表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用することであって、第１表示設備または観察状況は、第２表示設備または観察状況とは異なっているということの１つ以上により更に特徴付けられる。
【０５８４】
第１２例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出させ、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化させ、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化させる装置であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプと第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【０５８５】
装置の幾つかの例においては、同じ視点を表現している２つ以上の符号化深度ビューは、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１方向へ向けての、または第１視点へのビュー合成のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２方向へ向けての、または第２視点へのビュー合成のためと意図されており、第１方向は第２方向とは異なり、第１視点は第２視点とは異なっているということ、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１表示設備または観察状況のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２表示設備または観察状況のためと意図されており、第１表示設備または観察状況は、第２表示設備または観察状況とは異なっているということの１つ以上により更に特徴付けられる。
【０５８６】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、第１符号化深度ビューは第１深度マップタイプであり、第２符号化深度ビューは第２深度マップタイプであるということを、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプの使用を要求し、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプが使用されたときは、別の深度マップタイプよりも計算をより少なくするということの１つ以上に基づいて決定させる。
【０５８７】
第１３例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出させ、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定させることであって、決定させることは、
１つ以上の符号化テクスチャビューの何れかの予測に入力深度ビューが必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューに何れかの予測に必要のない深度ビューは符号化されないと決定することと、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られているかの情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することの１つ以上を備えており、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化させる装置が提供される。
【０５８８】
装置の幾つかの例においては、出力されていると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することはコードを備えており、コードは前記少なくとも１つのプロセッサにより実行されると、装置に更に、
入力深度ビューを符号化するための第１コスト、および、符号化された入力深度ビューを使用して復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第１ディストーションを導出させることと、
符号化された入力深度ビューなしの第２コスト、および符号化された入力深度ビューを使用しないで復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第２ディストーションを導出させることと、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定させることの１つ以上を行わせる。
【０５８９】
第１４例によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含んでいる少なくとも１つのメモリを備えている装置であって、少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサにより、装置に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信させ、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化させて、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定させ、
ビットストリームから符号化テクスチャビューおよび符号化深度ビューを復号化させる装置であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【０５９０】
装置の幾つかの例においては、コードを格納している前記少なくとも１つのメモリは、コードが前記少なくとも１つのプロセッサにより実行されると、装置に更に、
第１方向へ向けての、または第１視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用すること、および、第１方向とは異なる第２方向へ向けての、または第１視点とは異なる第２視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用することと、
第１表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用すること、および第１表示設備または観察状況とは異なる第２表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用することの１つ以上を行わせる。
【０５９１】
第１５例によれば、装置であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出する手段と、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化する手段と、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化する手段と、を備える装置であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【０５９２】
装置の幾つかの例においては、同じ視点を表現している２つ以上の符号化深度ビューは、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１方向へ向けての、または第１視点へのビュー合成のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２方向へ向けての、または第２視点へのビュー合成のためと意図されており、第１方向は第２方向とは異なり、第１視点は第２視点とは異なっているということ、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１表示設備または観察状況のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２表示設備または観察状況のためと意図されており、第１表示設備または観察状況は、第２表示設備または観察状況とは異なっているということの１つ以上により更に特徴付けられる。
【０５９３】
幾つかの例においては、装置は更に、
第１符号化深度ビューは第１深度マップタイプであり、第２符号化深度ビューは第２深度マップタイプであるということを、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプの使用を要求し、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプが使用されたときは、別の深度マップタイプよりも計算をより少なくするということの１つ以上に基づいて決定する手段を備えている。
【０５９４】
第１６例によれば、装置であって、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出する手段と、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定する手段であって、決定する手段は、
１つ以上の符号化テクスチャビューの何れかの予測に入力深度ビューが必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要のない深度ビューは符号化されないと決定する手段と、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られている情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定する手段の１つ以上を備えている手段と、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化する手段と、を備える装置が提供される。
【０５９５】
装置の幾つかの例においては、出力されていると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定する手段は、
入力深度ビューを符号化するための第１コスト、および、符号化された入力深度ビューを使用して復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第１ディストーションを導出する手段と、
符号化された入力深度ビューなしの第２コスト、および符号化された入力深度ビューを使用しないで復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第２ディストーションを導出する手段と、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定する手段を備えている。
【０５９６】
第１７例によれば、装置であって、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信する手段と、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化して、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定する手段と、
ビットストリームから符号化テクスチャビューおよび符号化深度ビューを復号化する手段と、を備える装置であって、
符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有している装置が提供される。
【０５９７】
幾つかの例においては、装置は更に、
第１方向へ向けての、または第１視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用し、および第１方向とは異なる第２方向へ向けての、または第１視点とは異なる第２視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用する手段と、
第１表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第１深度ビューと、および第１表示設備または観察状況とは異なる第２表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用する手段を備えている。
【０５９８】
第１８例によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することを少なくとも行わせるコンピュータプログラム製品であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの如何なる符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは、同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは、符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の少なくとも１つ以上を有している特性の１つ以上を有しているコンピュータプログラム製品が提供される。
【０５９９】
コンピュータプログラム製品の幾つかの例においては、同じ視点を表現している２つ以上の符号化深度ビューは、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１方向へ向けての、または第１視点へのビュー合成のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２方向へ向けての、または第２視点へのビュー合成のためと意図されており、第１方向は第２方向とは異なり、第１視点は第２視点とは異なっているということ、
２つ以上の符号化深度ビューのうちの第１深度ビューは、第１表示設備または観察状況のためと意図されており、２つ以上の符号化深度ビューのうちの第２深度ビューは、第２表示設備または観察状況のためと意図されており、第１表示設備または観察状況は、第２表示設備または観察状況とは異なっているということの１つ以上により更に特徴付けられる。
【０６００】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを備えており、１つ以上のプロセッサにより実行されると、装置に、第１符号化深度ビューは第１深度マップタイプであり、第２符号化深度ビューは第２深度マップタイプであるということを、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプの使用を要求し、
ビットストリームにおいて使用される予測機構は、第１深度マップタイプおよび／または第２深度マップタイプが使用されたときは、別の深度マップタイプよりも計算をより少なくするということの１つ以上に基づいて決定させる。
【０６０１】
第１９例によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の入力テクスチャビューおよび１つ以上の入力深度ビューを受信、捕捉、または導出することと、
どの入力テクスチャビューおよびどの入力深度ビューが符号化されるかを決定することであって、決定することは、
入力深度ビューが、１つ以上の符号化テクスチャビューの何れかの予測のために必要かどうかを結論し、１つ以上の符号化テクスチャビューの何れかの予測に必要な深度ビューは符号化されると決定し、一方、１つ以上の符号化テクスチャビューの何れかの予測に必要のない深度ビューは符号化されないと決定し、
ビットストリームに基づいて、どのテクスチャビューが出力されると予期または知られているかの情報を受信し、出力されると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することの１つ以上を備える決定をすることと、
符号化されると決定された入力テクスチャビューおよび入力深度ビューをビットストリームに符号化することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を符号化することを少なくとも行わせるコンピュータプログラム製品が提供される。
【０６０２】
コンピュータプログラム製品の幾つかの例においては、出力されていると予期または知られている前記テクスチャビューの復号化またはビュー合成を容易にするために符号化テクスチャおよび深度ビューを決定することは、１つ以上の指令の１つ以上のシーケンスを含み、１つ以上の指令の１つ以上のシーケンスは、１つ以上のプロセッサにより実行されると、装置に、
入力深度ビューを符号化するための第１コスト、および、符号化された入力深度ビューを使用して復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第１ディストーションを導出させ、
符号化された入力深度ビューなしの第２コスト、および符号化された入力深度ビューを使用しないで復号化または合成された、出力されると予期または知られている前記テクスチャビューに対する第２ディストーションを導出させ、
第１コスト、第２コスト、第１ディストーション、および第２ディストーションに基づいて、深度ビューを符号化するか否かを決定させる。
【０６０３】
第２０例によれば、１つ以上の指令の１つ以上のシーケンスを含んでいるコンピュータプログラム製品であって、１つ以上のプロセッサにより実行されると、装置に、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューを受信することと、
１つ以上の符号化テクスチャビューおよび１つ以上の符号化深度ビューの１つ以上の表示を復号化して、どの入力テクスチャビューおよびどの入力深度ビューが符号化されたかを決定することと、
符号化テクスチャビューおよび符号化深度ビューをビットストリームから復号化することを少なくとも行わせるコンピュータプログラム製品であって、符号化テクスチャビューおよび符号化深度ビューは、
符号化深度ビューは、ビットストリームの何れの符号化テクスチャビューによっても表現されない視点を表現する特性と、
２つ以上の符号化深度ビューは同じ視点を表現する特性と、
第１符号化深度ビューは第１深度マップタイプの深度ビュー構成要素を備え、第２符号化深度ビューは第２深度マップタイプの深度ビュー構成要素を備え、第１深度マップタイプおよび第２深度マップタイプは異なっている特性と、
符号化深度ビューおよび符号化テクスチャビューは同じ視点を表現し、第１サンプリンググリッドは符号化深度ビューの深度ビュー構成要素に対して使用され、第２サンプリンググリッドは符号化テクスチャビューのテクスチャビュー構成要素に対して使用され、第１サンプリンググリッドおよび第２サンプリンググリッドは、
第１サンプリンググリッドの水平または垂直サンプル寸法と、第２サンプリンググリッドの水平または垂直サンプル寸法、それぞれの比は整数ではない特性と、
第１サンプリンググリッドは、第２サンプリンググリッドと同じサンプリング領域をカバーしない特性の１つ以上を有している特性の１つ以上を有しているコンピュータプログラム製品が提供される。
【０６０４】
幾つかの例においては、コンピュータプログラム製品は更に、１つ以上の指令の１つ以上のシーケンスを含み、１つ以上のプロセッサにより実行されると、装置に、
第１方向へ向けての、または第１視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用すること、および、第１方向とは異なる第２方向へ向けての、または第１視点とは異なる第２視点へのビュー合成のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用することと、
第１表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第１深度ビューを使用すること、および第１表示設備または観察状況とは異なる第２表示設備または観察状況のために、２つ以上の符号化深度ビューのうちの第２深度ビューを使用することの１つ以上を行わせる。
【０６０５】
第２１例によれば、方法であって、
第１視点のテクスチャビューを含んでいないビットストリームから、第１視点の第１深度ビューを受信することと、
第１深度ビューを復号化することと、
復号化された第１深度ビューに基づいて、第１視点への後方ビュー合成を使用することと、を備える方法が提供される。
【図１】
0006787667.tif 000031
【図２】
0006787667.tif 000032
【図３】
0006787667.tif 000033
【図４ａ】
0006787667.tif 000034
【図４ｂ】
0006787667.tif 000035
【図５】
0006787667.tif 000036
【図６】
0006787667.tif 000037
【図７】
0006787667.tif 000038
【図８】
0006787667.tif 000039
【図９】
0006787667.tif 000040
【図１０】
0006787667.tif 000041
【図１１】
0006787667.tif 000042
【図１２】
0006787667.tif 000043
【図１３】
0006787667.tif 000044
【図１４】
0006787667.tif 000045
【図１５ａ】
0006787667.tif 000046
【図１５ｂ】
0006787667.tif 000047
【図１６ａ】
0006787667.tif 000048
【図１６ｂ】
0006787667.tif 000049
【図１７】
0006787667.tif 000050