(57)【要約】【課題】インタレイヤ予測方法及びそれを利用する装置を提供すること。【解決手段】本発明による方法は、参照レイヤからインタレイヤ動き情報を導出するステップ及びインタレイヤ動き情報を利用して現在レイヤ内の現在ブロックに対する予測を実行するステップを含み、インタレイヤ動き情報は、参照レイヤから導出されるインタレイヤ動きベクトルを含む。【選択図】図１
2015512216.tif 000002
【特許請求の範囲】
【請求項１】
参照レイヤからインタレイヤ動き情報を導出するステップと、
前記インタレイヤ動き情報を利用して現在レイヤ内の現在ブロックに対する予測を実行するステップと、を含み、
前記インタレイヤ動き情報は、前記参照レイヤから導出されるインタレイヤ動きベクトルを含み、
前記インタレイヤ動きベクトルは、前記参照レイヤの動きベクトルを前記参照レイヤと前記現在レイヤとの間の解像度の比率に応じてスケーリングして導出されることを特徴とする、インタレイヤ予測方法。
【請求項２】
前記参照レイヤの動きベクトルは、前記参照レイヤ内で前記現在ブロックを特定する位置に対応する参照位置の動きベクトルであることを特徴とする、請求項１に記載のインタレイヤ予測方法。
【請求項３】
前記現在ブロックを特定する位置は、前記現在ブロックの左上端位置であることを特徴とする、請求項２に記載のインタレイヤ予測方法。
【請求項４】
前記参照位置は、前記現在ブロックを特定する位置を、前記参照レイヤと前記現在レイヤとの間の解像度の比率に応じてスケーリングして導出されることを特徴とする、請求項２に記載のインタレイヤ予測方法。
【請求項５】
前記参照位置の動きベクトルは、前記参照位置を含む予測ブロックの動きベクトルであることを特徴とする、請求項２に記載のインタレイヤ予測方法。
【請求項６】
前記予測を実行するステップでは、前記現在ブロックに対する予測モードに応じて、前記インタレイヤ動き情報を含む候補リストを構成し、前記候補リスト内の候補の中から選択された動き情報を利用して、前記現在ブロックに対する予測を実行することを特徴とする、請求項１に記載のインタレイヤ予測方法。
【請求項７】
前記現在ブロックに対する予測モードはマージモードであり、前記インタレイヤ動き情報は、マージモードに対する候補として前記候補リストの最初に追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項８】
前記現在ブロックに対する予測モードはマージモードであり、前記インタレイヤ動き情報は、マージモードに対する候補として前記候補リストの最後に追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項９】
前記現在ブロックに対する予測モードはマージモードであり、前記インタレイヤ動き情報は、マージモードに対する候補として前記現在レイヤの時間的候補より後に前記候補リストに追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１０】
前記現在ブロックに対する予測モードはマージモードであり、前記インタレイヤ動き情報は、マージモードに対する候補として前記現在レイヤの空間的候補より後に前記候補リストに追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１１】
前記現在ブロックに対する予測モードは、動きベクトル予測子（ＭＶＰ）を利用するモードであり、前記インタレイヤ動きベクトルは、前記現在ブロックに対する候補ＭＶＰとして前記候補リストの最初に追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１２】
前記現在ブロックに対する予測モードは、動きベクトル予測子（ＭＶＰ）を利用するモードであり、前記インタレイヤ動きベクトルは、前記現在ブロックに対する候補ＭＶＰとして前記候補リストの最後に追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１３】
前記現在ブロックに対する予測モードは、動きベクトル予測子（ＭＶＰ）を利用するモードであり、前記インタレイヤ動きベクトルは、前記現在ブロックに対する候補ＭＶＰとして前記現在ブロックの左側に位置する空間的候補より後に前記候補リストに追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１４】
前記現在ブロックに対する予測モードは、動きベクトル予測子（ＭＶＰ）を利用するモードであり、前記インタレイヤ動きベクトルは、前記現在ブロックに対する候補ＭＶＰとして前記現在ブロックの上側に位置する空間的候補より後に前記候補リストに追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１５】
前記現在ブロックに対する予測モードは、動きベクトル予測子（ＭＶＰ）を利用するモードであり、前記インタレイヤ動きベクトルは、前記現在ブロックに対する候補ＭＶＰとして前記現在レイヤの空間的候補より後に前記候補リストに追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１６】
前記現在ブロックに対する予測モードは、動きベクトル予測子（ＭＶＰ）を利用するモードであり、前記インタレイヤ動きベクトルは、前記現在ブロックに対する候補ＭＶＰとしてスケーリングされた後に前記候補リストに追加することを特徴とする、請求項６に記載のインタレイヤ予測方法。
【請求項１７】
前記参照レイヤの動きベクトルは、前記参照レイヤ内で前記現在ブロックを特定する位置に対応する参照位置を含む参照ブロックの動きベクトルであり、前記予測を実行するステップでは、前記現在ブロックの参照ピクチャと前記参照ブロックの参照ピクチャが異なる場合、前記インタレイヤ動きベクトルをスケーリングして前記候補リストに追加することを特徴とする、請求項１６に記載のインタレイヤ予測方法。
【請求項１８】
前記インタレイヤ動きベクトルは、現在ピクチャと前記現在ピクチャの参照ピクチャとの間のピクチャ順カウント（ＰＯＣ）差と、前記ピクチャと前記参照レイヤ内で前記インタレイヤ動き情報が導出されるピクチャの参照ピクチャとの間のＰＯＣ差とに基づいてスケーリングすることを特徴とする、請求項１６に記載のインタレイヤ予測方法。
【請求項１９】
参照レイヤに対する予測を実行する第１の予測部と、
前記第１の予測部による予測に基づいたインタレイヤ動き情報を利用して、前記現在レイヤ内の現在ブロックに対する予測を実行する第２の予測部と、を含み、
前記インタレイヤ動き情報は、前記参照レイヤから導出されるインタレイヤ動きベクトルを含み、
前記第２の予測部は、前記参照レイヤの動きベクトルを、前記参照レイヤと前記現在レイヤとの間の解像度の比率に応じてスケーリングすることを特徴とする、スケーラブルビデオ復号装置。
【請求項２０】
前記第２の予測部は、前記現在ブロックに対する予測モードに応じて、前記インタレイヤ動き情報を含む候補リストを構成し、前記候補リスト内の候補の中から選択された動き情報を利用して前記現在ブロックに対する予測を実行することを特徴とする、請求項１９に記載のスケーラブルビデオ復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮技術に関し、より具体的には、スケーラブルビデオ符号化を実行する方法及び装置に関する。
【背景技術】
【０００２】
最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど、該当映像に対する情報量も共に増加している。
【０００３】
情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。
【０００４】
多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツを多様な品質で利用可能になった。
【０００５】
具体的には、端末装置がサポートできる品質の映像が多様化して、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用するが、他の環境ではより高い品質の映像が利用可能になる。
【０００６】
例えば、携帯端末でビデオコンテンツを購買した消費者が、ホーム内の大画面のディスプレイを介して同じビデオコンテンツを大きい画面と高い解像度で鑑賞できるようになる。
【０００７】
最近、高解像度（ＨＤ）を有する放送がサービスされているが、多くのユーザは、既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有する超高解像度（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ、ＵＨＤ）のサービスにも関心を向けている。
【０００８】
したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率の符号化／復号方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の一技術的目的は、スケーラブルビデオ符号化の効果を高めてレイヤごとに重複送信される情報を減らす方法及び装置を提供することである。
【００１０】
本発明の他の技術的目的は、ベースレイヤの情報を利用してエンハンスメントレイヤの符号化／復号効果を高める方法及び装置を提供することである。
【００１１】
本発明の他の技術的目的は、多様なスケーラビリティに対応してベースレイヤの情報を活用する方法及び装置を提供することである。
【００１２】
本発明の他の技術的目的は、多様なインタレイヤ予測方法を介して、符号化効率を向上させる方法及び装置を提供することである。
【００１３】
本発明の他の技術的目的は、ベースレイヤのテクスチャ情報、動き情報、シンタックス情報、ユニット情報、パラメータ情報、レジデュアル情報、差分情報のうち少なくとも一つを利用してエンハンスメントレイヤの符号化効率を上げる方法及び装置を提供することである。
【課題を解決するための手段】
【００１４】
本発明の一実施形態は、インタレイヤ予測方法であって、参照レイヤからインタレイヤ動き情報を導出するステップ及びインタレイヤ動き情報を利用して現在レイヤ内の現在ブロックに対する予測を実行するステップを含み、インタレイヤ動き情報は、参照レイヤから導出されるインタレイヤ動きベクトルを含む。このとき、インタレイヤ動きベクトルは、参照レイヤの動きベクトルを参照レイヤと現在レイヤとの間の解像度の比率に応じてスケーリングして導出される。
【００１５】
本発明の一実施形態は、インタレイヤ予測方法を利用する装置であって、参照レイヤに対する予測を実行する第１の予測部及び第１の予測部による予測に基づいたインタレイヤ動き情報を利用して現在レイヤ内の現在ブロックに対する予測を実行する第２の予測部を含む。このとき、インタレイヤ動き情報は、参照レイヤから導出されるインタレイヤ動きベクトルを含み、第２の予測部は、参照レイヤの動きベクトルを参照レイヤと現在レイヤとの間の解像度の比率に応じてスケーリングする。
【発明の効果】
【００１６】
本発明によると、スケーラブルビデオ符号化の効果を高めてレイヤごとに重複送信される情報を減らすことができる。
【００１７】
本発明によると、ベースレイヤの情報を利用してエンハンスメントレイヤの符号化／復号効果を高めることができる。
【００１８】
本発明によると、多様なスケーラビリティに対応してベースレイヤの情報を活用することができる。
【００１９】
本発明によると、多様なインタレイヤ予測方法を介して、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施例によるスケーラビリティをサポートするビデオ符号化装置を概略的に示すブロック図である。
【図２】本発明によるスケーラブル符号化を実行する符号化装置でのレイヤ間予測に対する一例を説明するブロック図である。
【図３】本発明の一実施例によるスケーラビリティをサポートするビデオ復号装置を概略的に示すブロック図である。
【図４】本発明によるスケーラブル符号化を実行する復号装置でのレイヤ間予測に対する一例を説明するブロック図である。
【図５】本発明によるインタレイヤイントラ予測が実行される例を概略的に説明する図面である。
【図６】本発明によるインタレイヤイントラ予測過程で適用される再スケーリング（ダウンサンプリング／アップサンプリング）の一例を概略的に示す。
【図７】本発明による位相シフトアップサンプリングを実行する一例を概略的に説明する図面である。
【図８】本発明によるＩｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒを利用する方法の一例であって、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの値が１０である場合のサンプリング方法を簡単に説明する図面である。
【図９】他のレイヤを参照せずに、レイヤ内でインタ予測を実行する場合に利用される動き情報の候補に対する一例を簡単に示す。
【図１０】本発明によるインタレイヤ動き予測を実行する方法の一例を概略的に説明する流れ図である。
【図１１】本発明による、参照レイヤの動き情報を導出する方法を概略的に説明する図面である。
【図１２】本発明によるｍｖＩＬをスケーリングする方法を概略的に説明する図面である。
【図１３】本発明によるインタレイヤシンタックス予測を実行する方法の一例を簡単に説明する図面である。
【図１４】本発明によるインタレイヤレジデュアル予測を適用する方法を概略的に説明する図面である。
【図１５】本発明によるインタレイヤユニット情報予測の一例を概略的に説明する図面である。
【図１６】本発明によるインタレイヤユニット予測を適用する一例を概略的に説明する図面である。
【図１７】本発明によるインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。
【図１８】本発明によるインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。
【図１９】本発明による適応的インタレイヤテクスチャ予測を実行する方法の一例を概略的に説明する図面である。
【図２０】本発明によるインタレイヤフィルタパラメータ予測に対して概略的に説明する図面である。
【図２１】本発明によるインタレイヤ差分モードを適用する場合、イントラ予測を実行する方法を概略的に説明する図面である。
【発明を実施するための形態】
【００２１】
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われたものではない。単数の表現は、文脈上明白に異なる表現ではない限り、複数の表現を含む。本明細書で、“含む”又は“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はそれらを組み合わせたものの存在又は付加可能性を予め排除しないと理解しなければならない。
【００２２】
一方、本発明で説明される図面上の各構成は、ビデオ符号化装置／復号装置における別個の特徴的な機能に対する説明の便宜のために独立に図示したものであり、各構成が別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成を統合して一つの構成にすることもできるし、一つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【００２３】
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上、同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複した説明は省略する。
【００２４】
スケーラビリティをサポートするビデオ符号化方法（以下、‘スケーラブル符号化’という）では、入力信号をレイヤごとに処理することができる。レイヤに応じて入力信号（入力映像）は、解像度、フレームレート、ビット深度、カラーフォーマット、アスペクト比のうち少なくとも一つが異なる。
【００２５】
本明細書において、スケーラブル符号化とは、スケーラブル符号化とスケーラブル復号を含む。
【００２６】
スケーラブル符号化／復号では、レイヤ間の差を利用して、すなわち、スケーラビリティに基づいて、レイヤ間の予測を実行することによって情報の重複送信／処理を減らして圧縮効率を上げることができる。
【００２７】
図１は、本発明の一実施例によってスケーラビリティをサポートするビデオ符号化装置を概略的に示すブロック図である。
【００２８】
図１を参照すると、符号化装置１００は、レイヤ１に対する符号化部１０５とレイヤ０に対する符号化部１５５を含む。
【００２９】
レイヤ０は、ベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤ又は上位レイヤである。
【００３０】
レイヤ１の符号化部１０５は、インタ／イントラ予測部１１０、変換／量子化部１１５、フィルタリング部１２０、復号ピクチャバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、ＤＰＢ）１２５、エントロピ符号化部１３０、ユニットパラメータ予測部１３５、動き予測／再スケーリング（ｒｅｓｃａｌｉｎｇ）部１４０、テクスチャ予測／再スケーリング部１４５、パラメータ予測部１５０及び多重化部（Ｍｕｌｔｉｐｌｅｘｅｒ、ＭＵＸ）１８５を含む。
【００３１】
レイヤ０の符号化部１５５は、インタ／イントラ予測部１６０、変換／量子化部１６５、フィルタリング部１７０、ＤＰＢ１７５及びエントロピ符号化部１８０を含む。
【００３２】
インタ／イントラ予測部１１０、１６０は、入力された映像に対してインタ予測とイントラ予測を実行することができる。インタ／イントラ予測部１１０、１６０は、所定の処理単位に予測を実行することができる。予測の実行単位は、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）であってもよいし、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ）であってもよいし、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ）であってもよい。
【００３３】
例えば、インタ／イントラ予測部１１０、１６０は、ＣＵ単位にインタ予測を適用するか、又はイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位又はＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック（レジデュアル信号）の生成とを含む。
【００３４】
インタ予測を介しては、現在ピクチャの以前ピクチャ及び／又は以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することによって、予測ブロックを生成することができる。イントラ予測を介しては、現在ピクチャ内のピクセル情報に基づいて予測を実行することによって、予測ブロックを生成することができる。
【００３５】
インタ予測のモード又は方法として、スキップモード、マージモード、動きベクトル予測（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）方法などがある。インタ予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。インタ／イントラ予測部１６０は、参照ブロックに基づいて予測ブロックを生成することができる。
【００３６】
予測ブロックは、整数サンプル単位に生成することもできるし、整数以下ピクセル単位に生成することもできる。このとき、動きベクトルも整数ピクセル単位又は整数ピクセル以下の単位に表現することができる。
【００３７】
インタ予測において、動き情報、すなわち、参照ピクチャのインデクス、動きベクトル、レジデュアル信号などの情報は、エントロピ符号化されて復号装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。
【００３８】
イントラ予測における予測モードは、３３個の方向性予測モードと少なくとも２個以上の非方向性モードとを有することができる。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒ ｍｏｄｅ）を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。
【００３９】
ＰＵは、多様なサイズ／形態のブロックであり、例えば、インタ予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、又はＮ×Ｎブロック（Ｎは、整数）などである。イントラ予測の場合、ＰＵは、２Ｎ×２Ｎブロック又はＮ×Ｎブロック（Ｎは、整数）などである。このとき、Ｎ×Ｎブロックの大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小の大きさＣＵに対してのみＮ×Ｎブロックの大きさのＰＵを利用するように定め、又はイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロック又はｍＮ×２Ｎブロック（ｍ<１）などのＰＵをさらに定義して使用することもできる。
【００４０】
変換／量子化部１１５、１６５は、変換ブロック単位にレジデュアルブロックに対する変換を実行して変換係数を生成し、変換係数を量子化する。
【００４１】
変換ブロックは、サンプルの四角形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット（ＴＵ）であることもあり、四分木（ｑｕａｄ ｔｒｅｅ）構造を有することができる。
【００４２】
変換／量子化部１１５、１６５は、レジデュアルブロックに適用された予測モードと変換ブロックの大きさによって変換を実行することによって、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックを離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＳＴ）を利用して変換し、その他の場合は、レジデュアルブロックを離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）を利用して変換することができる。
【００４３】
また、変換／量子化部１１５、１６５は、予測モードと変換ブロックの大きさに関係なしで特定変換を固定的に使用することもできる。例えば、変換／量子化部１１５、１６５は、すべての変換ブロックにＤＳＴのみを適用することができる。また、変換／量子化部１１５、１６５は、すべての変換ブロックにＤＣＴのみを適用することもできる。
【００４４】
変換／量子化部１１５、１６５は、変換係数を量子化し、量子化された変換係数を生成することができる。
【００４５】
変換／量子化部１１５、１６５は、量子化された変換係数をエントロピ符号化部１３０、１８０に伝達することができる。このとき、変換／量子化部１６５は、量子化された変換係数の２次元アレイを所定のスキャン順序によって１次元アレイに再整列してエントロピ符号化部１３０、１８０に伝達することもできる。また、変換／量子化部１１５、１６５は、インタ予測のために、レジデュアルと予測ブロックに基づいて生成された復元ブロックを変換／量子化せずに、フィルタリング部１２０、１７０に伝達することができる。
【００４６】
一方、変換／量子化部１１５、１６５は、必要によって、変換を省略（ｓｋｉｐ）し、量子化のみを実行し、又は変換と量子化を全部省略することもできる。例えば、変換／量子化部１１５、１６５は、特定の予測方法が適用され、又は特定の大きさを有するブロック、又は特定予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
【００４７】
エントロピ符号化部１３０、１８０は、量子化された変換係数に対するエントロピ符号化を実行することができる。エントロピ符号化には、例えば、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、文脈適応２進算術符号化（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ、ＣＡＢＡＣ）などのような符号化方法を使用することができる。
【００４８】
フィルタリング部１２０、１７０は、デブロッキングフィルタ、適応ループフィルタ（ＡＬＦ）、サンプル適応オフセット（ＳＡＯ）を復元されたピクチャに適用することができる。
【００４９】
デブロッキングフィルタは、復元されたピクチャでブロック間の境界に発生した歪みを除去することができる。ＡＬＦは、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対して、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ）などの形態で適用される。
【００５０】
フィルタリング部１２０、１７０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全部適用せずに、デブロッキングフィルタのみを適用してもよいし、デブロッキングフィルタとＡＬＦのみを適用してもよいし、デブロッキングフィルタとＳＡＯのみを適用してもよい。
【００５１】
ＤＰＢ１２５、１７５は、フィルタリング部１２５、１７０から復元ブロック又は復元ピクチャの伝達を受けて記憶することができる。ＤＰＢ１２５、１７５は、復元ブロック又はピクチャを、インタ予測を実行するインタ／イントラ予測部１１０、１６０に提供することができる。
【００５２】
レイヤ０のエントロピ符号化部１８０から出力される情報とレイヤ１のエントロピ符号化部１３０から出力される情報は、ＭＵＸ１８５で多重化されてビットストリームで出力することができる。
【００５３】
一方、レイヤ１の符号化部１０５は、レイヤ０の情報を利用してレイヤ１の映像に対する予測を実行するインタレイヤ予測のために、ユニットパラメータ予測部１３５、動き予測／再スケーリング部１４０、テクスチャ予測／再スケーリング部１４５、パラメータ予測部１５０などを含むことができる。
【００５４】
ユニットパラメータ予測部１３５は、ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報を導出してエンハンスメントレイヤのユニット情報として使用するようにし、又はベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報が決定することができるようにする。
【００５５】
動き予測部１４０は、インタレイヤ動き予測を実行する。インタレイヤ動き予測は、インタレイヤインタ予測とも呼ばれる。動き予測部１４０は、参照レイヤ（ベースレイヤ）の動き情報を利用して現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対する予測を実行することができる。
【００５６】
動き予測部１４０は、必要な場合、参照レイヤの動き情報をスケーリングすることができる。
【００５７】
テクスチャ予測部１４５は、レイヤ０の情報に基づいてインタレイヤテクスチャ予測を実行することができる。インタレイヤテクスチャ予測は、インタレイヤイントラ予測又はイントラＢＬ（Ｂａｓｅ Ｌａｙｅｒ）予測とも呼ばれる。テクスチャ予測は、参照レイヤの参照ブロックが復元されている場合に利用することができる。インタレイヤテクスチャ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。
【００５８】
パラメータ予測部１５０は、ベースレイヤで使用したパラメータを導出してエンハンスメントレイヤで再使用するようにし、又はベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。
【００５９】
一方、ここでは、説明の便宜のために、レイヤ１の符号化部１０５がＭＵＸ１８５を含むと説明したが、ＭＵＸは、レイヤ１の符号化部１０５及びレイヤ０の符号化部１５５と別途の装置又はモジュールであってもよい。
【００６０】
図２は、本発明によってスケーラブル符号化を実行する符号化装置でのレイヤ間予測に対する一例を説明するブロック図である。
【００６１】
図２を参照すると、レイヤ１の予測部２１０は、インタ／イントラ予測部２２０及びインタレイヤ予測部２３０を含む。
【００６２】
レイヤ１の予測部２１０は、レイヤ０の情報からレイヤ１の予測に必要なインタレイヤ予測を実行することができる。
【００６３】
例えば、インタレイヤ予測部２３０は、レイヤ０のインタ／イントラ予測部２５０及び／又はフィルタリング部２６０からレイヤ０の情報の伝達を受けてレイヤ１の予測に必要なインタレイヤ予測を実行することができる。
【００６４】
レイヤ１のインタ／イントラ予測部２２０は、レイヤ１の情報を利用してインタ予測又はイントラ予測を実行することができる。
【００６５】
また、レイヤ１のインタ／イントラ予測部２２０は、インタレイヤ予測部２３０から伝達された情報を利用してレイヤ０の情報に基づいた予測を実行することもできる。
【００６６】
併せて、レイヤ１のフィルタリング部２４０は、レイヤ０の情報に基づいてフィルタリングを実行することもできるし、レイヤ０の情報に基づいてフィルタリングを実行することもできる。レイヤ０の情報は、レイヤ０のフィルタリング部２６０からレイヤ１のフィルタリング部２４０に伝達することもできるし、レイヤ１のインタレイヤ予測部２３０からレイヤ１のフィルタリング部２４０に伝達することもできる。
【００６７】
一方、レイヤ０からインタレイヤ予測部２３０に伝達される情報は、レイヤ０のユニットパラメータに対する情報、レイヤ０の動き情報、レイヤ０のテクスチャ情報、レイヤ０のフィルタパラメータ情報のうち少なくとも一つである。
【００６８】
したがって、インタレイヤ予測部２３０は、図１でインタレイヤ予測を実行するユニットパラメータ予測部１３５、動き予測部１４０、テクスチャ予測部１４５、パラメータ予測部１５０のうち一部又は全部を含むことができる。
【００６９】
また、レイヤ１において、インタ／イントラ予測部２２０は、図１のインタ／イントラ予測部１１０に対応することができ、フィルタリング部２４０は、図１のフィルタリング部１２０に対応することができる。レイヤ０において、インタ／イントラ予測部２５０は、図１のインタ／イントラ予測部１６０に対応することができ、フィルタリング部２６０は、図１のフィルタリング部１７０に対応することができる。
【００７０】
図３は、本発明の一実施例によってスケーラビリティをサポートするビデオ復号装置を概略的に示すブロック図である。
【００７１】
図３を参照すると、復号装置３００は、レイヤ１の復号部３１０及びレイヤ０の復号部３５０を含む。
【００７２】
レイヤ０は、ベースレイヤ、参照レイヤ又は下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤ又は上位レイヤである。
【００７３】
レイヤ１の復号部３１０は、エントロピ復号部３１５、再整列部３２０、逆量子化部３２５、逆変換部３３０、予測部３３５、フィルタリング部３４０、メモリを含むことができる。
【００７４】
レイヤ０の復号部３５０は、エントロピ復号部３５５、再整列部３６０、逆量子化部３６５、逆変換部３７０、フィルタリング部３８０、メモリ３８５を含むことができる。
【００７５】
符号化装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ３０５は、レイヤごとに情報を逆多重化してレイヤ別復号装置に伝達することができる。
【００７６】
エントロピ復号部３１５、３５５は、符号化装置で使用したエントロピ符号化方式に対応してエントロピ復号を実行することができる。例えば、符号化装置でＣＡＢＡＣが使われた場合、エントロピ復号部３１５、３５５もＣＡＢＡＣを利用してエントロピ復号を実行することができる。
【００７７】
エントロピ復号部３１５、３５５で復号された情報のうち、予測ブロックを生成するための情報は、予測部３３５、３７５に提供され、エントロピ復号部３１５、３５５でエントロピ復号が実行されたレジデュアル値、すなわち、量子化された変換係数は、再整列部３２０、３６０に入力することができる。
【００７８】
再整列部３２０、３６０は、エントロピ復号部３１５、３５５でエントロピ復号されたビットストリームの情報、すなわち、量子化された変換係数を符号化装置で再整列した方法に基づいて再整列することができる。
【００７９】
例えば、再整列部３２０、３６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部３２０、３６０は、現在ブロック（変換ブロック）に適用された予測モード及び／又は変換ブロックの大きさに基づいてスキャニングを実行することによって、係数（量子化された変換係数）の２次元アレイを生成することができる。
【００８０】
逆量子化部３２５、３６５は、符号化装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することによって、変換係数を生成することができる。
【００８１】
逆量子化部３２５、３６５は、所定の条件によって又は符号化装置での量子化方式によって、エントロピ復号されたレジデュアルを逆量子化せずに逆変換部３３０、３７０に伝達することもできる。
【００８２】
逆変換部３３０、３７０は、変換係数に対して符号化装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部３３０、３７０は、符号化装置で実行されたＤＣＴ及びＤＳＴに対して逆ＤＣＴ及び／又は逆ＤＳＴを実行することができる。
【００８３】
符号化装置において、ＤＣＴ及び／又はＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、復号装置の逆変換部３３０、３７０は、符号化装置で実行された変換情報に基づいて逆変換を実行することができる。
【００８４】
例えば、逆変換部３３０、３７０は、予測モード／ブロックの大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部３３０、３７０は、イントラ予測が適用された４×４ルマ（ｌｕｍａ）ブロックに対して逆ＤＳＴを適用することもできる。
【００８５】
また、逆変換部３３０、３７０は、予測モード／ブロックの大きさに関係なしで、特定逆変換方法を固定的に使用することもできる。例えば、逆変換部３３０、３７０は、すべての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部３３０、３７０は、すべての変換ブロックに逆ＤＣＴのみを適用することもできる。
【００８６】
逆変換部３３０、３７０は、変換係数又は変換係数のブロックを逆変換することによって、レジデュアル又はレジデュアルブロックを生成することができる。
【００８７】
また、逆変換部３３０、３７０は、必要によって又は符号化装置で符号化された方式によって、変換を省略することもできる。例えば、逆変換部３３０、３７０は、特定の予測方法が適用され、又は特定の大きさを有するブロック、又は特定予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
【００８８】
予測部３３５、３７５は、エントロピ復号部３１５、３５５から伝達された予測ブロック生成関連情報とメモリ３４５、３８５で提供された以前に復号されたブロック及び／又はピクチャ情報とに基づいて現在ブロックに対する予測ブロックを生成することができる。
【００８９】
現在ブロックに対する予測モードがイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードである場合、予測部３３５、３７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。
【００９０】
現在ブロックに対する予測モードがインタ予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）モードである場合、予測部３３５、３７５は、現在ピクチャの以前ピクチャ又は以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインタ予測を実行することができる。インタ予測に必要な動き情報の一部又は全部は、符号化装置から受信した情報を確認し、これに対応して導出することができる。
【００９１】
インタ予測のモードとしてスキップモードが適用される場合は、符号化装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。
【００９２】
一方、レイヤ１の予測部３３５は、レイヤ１内の情報のみを利用してインタ予測又はイントラ予測を実行することもできるし、他のレイヤ（レイヤ０）の情報を利用してインタレイヤ予測を実行することもできる。
【００９３】
例えば、レイヤ１の予測部３３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち一つを利用することによって、現在ブロックに対する予測を実行することができる。また、レイヤ１の予測部３３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち、複数の情報を利用することによって、現在ブロックに対する予測を実行することもできる。
【００９４】
レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１の動き情報の伝達を受けて動き予測を実行することができる。インタレイヤ動き予測は、インタレイヤインタ予測とも呼ばれる。インタレイヤ動き予測によって、参照レイヤ（ベースレイヤ）の動き情報を利用することによって、現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対する予測が実行することができる。予測部３３５は、必要な場合、参照レイヤの動き情報をスケーリングして利用することもできる。
【００９５】
レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１のテクスチャ情報の伝達を受けてインタレイヤテクスチャ予測を実行することができる。インタレイヤテクスチャ予測は、インタレイヤイントラ予測又はイントラＢＬ（Ｂａｓｅ Ｌａｙｅｒ）予測とも呼ばれる。インタレイヤテクスチャ予測は、参照レイヤの参照ブロックが復元されている場合に利用することができる。インタレイヤテクスチャ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。
【００９６】
レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１のユニットパラメータ情報の伝達を受けてユニットパラメータ予測を実行することができる。ユニットパラメータ予測によって、ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報がエンハンスメントレイヤのユニット情報として使われ、又はベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。
【００９７】
レイヤ１の予測部３３５は、レイヤ０の予測部３７５からレイヤ１のフィルタリングに対するパラメータ情報の伝達を受けてパラメータ予測を実行することもできる。パラメータ予測によって、ベースレイヤで使用したパラメータを導出してエンハンスメントレイヤで再使用し、又はベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。
【００９８】
加算器３９０、３９５は、予測部３３５、３７５で生成された予測ブロックと逆変換部３３０、３７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器３９０、３９５は、復元ブロックを生成する別途のユニット（復元ブロック生成部）と見ることができる。
【００９９】
加算器３９０、３９５で復元されたブロック及び／又はピクチャは、フィルタリング部３４０、３８０に提供することができる。
【０１００】
フィルタリング部３４０、３８０は、復元されたブロック及び／又はピクチャにデブロッキングフィルタリング、ＳＡＯ及び／又はＡＬＦなどを適用することができる。
【０１０１】
フィルタリング部３４０、３８０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全部適用せずに、デブロッキングフィルタのみを適用してもよく、又はデブロッキングフィルタとＡＬＦのみを適用してもよく、又はデブロッキングフィルタとＳＡＯのみを適用してもよい。
【０１０２】
図３の例を参照すると、レイヤ１のフィルタリング部３４０は、レイヤ１の予測部３３５及び／又はレイヤ１のフィルタリング部３８０から伝達されるパラメータ情報を利用することによって、復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１において、フィルタリング部３４０は、レイヤ０で適用されたフィルタリングのパラメータから予測されたパラメータを利用してレイヤ１に対する又はレイヤ間のフィルタリングを適用することができる。
【０１０３】
メモリ３４５、３８５は、復元されたピクチャ又はブロックを記憶することによって、参照ピクチャ又は参照ブロックとして使用可能にすることができる。メモリ３４５、３８５は、記憶された復元ピクチャを所定の出力部（図示せず）又はディスプレイ（図示せず）を介して出力することもできる。
【０１０４】
図３の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１の符号化装置と同様に、逆量子化／逆変換部の一つのモジュールで再整列、逆量子化、逆変換を順に実行するように復号装置を構成することもできる。
【０１０５】
それに対し、図３の例では予測部として説明したが、図１の例のように、レイヤ１の予測部は、他のレイヤ（レイヤ０）の情報を利用して予測を実行するインタレイヤ予測部と、他のレイヤ（レイヤ０）の情報を利用せずに予測を実行するインタ／イントラ予測部とを含むこともできる。
【０１０６】
図４は、本発明によってスケーラブル符号化を実行する復号装置でのレイヤ間予測に対する一例を説明するブロック図である。
【０１０７】
図４を参照すると、レイヤ１の予測部４１０は、インタ／イントラ予測部４２０及びインタレイヤ予測部４３０を含む。
【０１０８】
レイヤ１の予測部４１０は、レイヤ０の情報からレイヤ１の予測に必要なインタレイヤ予測を実行することができる。
【０１０９】
例えば、インタレイヤ予測部４３０は、レイヤ０のインタ／イントラ予測部４５０及び／又はフィルタリング部４６０からレイヤ０の情報の伝達を受けてレイヤ１の予測に必要なインタレイヤ予測を実行することができる。
【０１１０】
レイヤ１のインタ／イントラ予測部４２０は、レイヤ１の情報を利用してインタ予測又はイントラ予測を実行することができる。
【０１１１】
また、レイヤ１のインタ／イントラ予測部４２０は、インタレイヤ予測部４３０から伝達された情報を利用してレイヤ０の情報に基づいた予測を実行することもできる。
【０１１２】
レイヤ１のフィルタリング部４４０は、レイヤ０の情報に基づいてフィルタリングを実行することもできるし、レイヤ０の情報に基づいてフィルタリングを実行することもできる。レイヤ０の情報は、レイヤ０のフィルタリング部４６０からレイヤ１のフィルタリング部４４０に伝達することもできるし、レイヤ１のインタレイヤ予測部４３０からレイヤ１のフィルタリング部２４０に伝達することもできる。
【０１１３】
一方、レイヤ０からインタレイヤ予測部４３０に伝達される情報は、レイヤ０のユニットパラメータに対する情報、レイヤ０の動き情報、レイヤ０のテクスチャ情報、レイヤ０のフィルタパラメータ情報のうち少なくとも一つである。
【０１１４】
レイヤ１において、予測部４１０は、図３の予測部３３５に対応することができ、フィルタリング部４４０は、図３のフィルタリング部３４０に対応することができる。レイヤ０において、インタ／イントラ予測部４５０は、図３の予測部３７５に対応することができ、フィルタリング部４６０は、図３のフィルタリング部３８０に対応することができる。
【０１１５】
また、図示していないが、インタレイヤ予測部４３０は、実行するインタレイヤ予測の種類（例えば、動き予測、テクスチャ予測、ユニットパラメータ予測、パラメータ予測）によって、動き予測部、テクスチャ予測部、ユニットパラメータ予測部、パラメータ予測部を含むことができる。
【０１１６】
スケーラブルビデオ符号化では、他のレイヤの情報を利用して現在レイヤの情報を予測するインタレイヤ予測が実行することができる。図１〜図４の例で説明したように、インタレイヤ予測の例として、動き予測、テクスチャ予測、ユニット予測、パラメータ予測などを考慮することができる。
【０１１７】
以下、図面を参照して、各インタレイヤ予測に対して具体的に説明する。
【０１１８】
インタレイヤイントラ予測
【０１１９】
インタレイヤイントラ予測は、インタレイヤテクスチャ予測又はイントラＢＬ（Ｂａｓｅ Ｌａｙｅｒ）予測とも呼ばれる。本明細書では、説明の便宜のために、インタレイヤイントラ予測、テクスチャ予測、そして、イントラＢＬ予測の名称を混用して使用することもできる。
【０１２０】
このとき、ベースレイヤの復元された映像とエンハンスメントレイヤの映像の大きさ又は解像度を同じく合わせるために、ベースレイヤの復元された映像に対するアップサンプリングが実行することができる。
【０１２１】
例えば、ＤＣＴＩＦ（ＤＣＴ ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を適用してアップサンプリングが実行することができる。例えば、ルマサンプルに対しては８タブのＤＣＴＩＦを適用してアップサンプリングを実行し、クロマ（ｃｈｒｏｍａ）サンプルに対しては４タブのＤＣＴＩＦを適用してアップサンプリングを実行することができる。
【０１２２】
アップサンプリングは、内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を適用することによって実行することができる。
【０１２３】
一方、本発明によるインタレイヤイントラ予測は、符号化／復号の処理単位別に従来とは異なる特徴を有する。例えば、符号化ブロック（例えば、ＣＵ）レベルから見ると、ベースレイヤのブロックの大きさに従属されずに、独自のＣＵパーティションによって適用することができる。
【０１２４】
また、予測ブロック（例えば、ＰＵ）レベルから見ると、インタレイヤイントラ予測のコストは、現在レイヤ（エンハンスメントレイヤ）内でのイントラ予測に対するコストと比較することができる。このとき、インタレイヤイントラ予測は、イントラ予測モードを使用するものではなく、ベースレイヤ（参照レイヤ）の復元映像を参照映像として使用してイントラ予測とレート歪最適化（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ、ＲＤＯ）を比較する。
【０１２５】
インタレイヤイントラ予測を適用するために、ＰＵに対する新たなモードを生成せずに、上位レベルで、フラグ形態でインタレイヤイントラ予測が適用されるかどうかを通知することができる。例えば、ブロックモード又はパーティショニングに対してパーシングが実行される前に分割フラグ（ｓｐｌｉｔ_ｆｌａｇ）の次の位置で、フラグ形態でインタレイヤイントラ予測の使用可否に対する指示を送信することができる。
【０１２６】
変換ブロック（例えば、ＴＵ）レベルから見ると、ＨＥＶＣの四分木構造を維持したまま、インタレイヤイントラ予測を適用して変換を実行することができる。
【０１２７】
図５は、本発明によってインタレイヤイントラ予測が実行される例を概略的に説明する図面である。
【０１２８】
図５の例では、ベースレイヤの映像５１０とエンハンスメントレイヤの映像５３０は、同じく６４×６４の大きさを有するが、エンハンスメントレイヤの映像５３０がベースレイヤの映像５１０の４倍の解像度を有している。
【０１２９】
したがって、エンハンスメントレイヤの映像５３０の予測時にベースレイヤの映像５１０を参照するために、イントラ予測モードに復元されたベースレイヤの映像５１０をアップサンプリングして参照映像５２０を構成した後、エンハンスメントレイヤの予測に利用する。
【０１３０】
エンハンスメントレイヤの映像５３０で陰影処理された部分は、インタレイヤイントラ予測が適用されないブロックを示す。
【０１３１】
このようにインタレイヤイントラ予測を適用する場合は、ベースレイヤの映像に対する再スケーリングが実行することができる。
【０１３２】
具体的には、符号化装置では、入力映像が互いに異なる解像度を有する複数のレイヤに分けて符号化／復号可能に入力映像をダウンサンプリングする過程を実行することができる。また、符号化装置／復号装置は、符号化／復号過程で下位レイヤの映像を参照映像として使用するために下位レイヤの復元映像をアップサンプリングすることもできる。
【０１３３】
ダウンサンプリングとアップサンプリングを実行する場合、位相（ｐｈａｓｅ）特性が合わないと、符号化／復号過程で損失が発生し、符号化性能に直接的な影響を及ぼす。
【０１３４】
図６は、本発明によってインタレイヤイントラ予測過程で適用される再スケーリング（ダウンサンプリング／アップサンプリング）の一例を概略的に示す。
【０１３５】
図６（ａ）では、同一位置（ｃｏｌ−ｌｏｃａｔｅｄ）整数サンプルをダウンサンプリングされたサンプルとして使用する場合を説明している。図６（ｂ）では、同一位置整数サンプルを使用せずに、１／２位相外れたサンプルを生成して使用する例を説明している。
【０１３６】
図６（ａ）及び図６（ｂ）に示すように、オリジナルサンプルをダウンサンプリングしたサンプルに半ペル（ｈａｌｆ−ｐｅｌ）アップサンプリングフィルタを適用すると、ダウンサンプリングされたサンプル位置から１／２位相外れた位置にサンプルが生成することができる。
【０１３７】
ダウンサンプリングをするとき、位相移動がない図６（ａ）の場合は、オリジナルサンプルと同一位置にアップサンプリングによるサンプルが生成される。それに対し、ダウンサンプリングするとき、位相移動がある図６（ｂ）の場合は、オリジナルサンプルとは異なる位置（１／２位相外れた位置）にサンプルが生成される。したがって、図６（ｂ）の場合は、位相の不一致によってオリジナルサンプルとアップサンプリングされたサンプルとの間に損失が発生することがある。
【０１３８】
この問題を解決するために、アップサンプリング過程でオリジナルサンプル（オリジナル映像）と位相を一致させる位相シフトアップサンプリングを実行することを考慮することができる。
【０１３９】
図７は、本発明によって位相シフトアップサンプリング（ｐｈａｓｅ ｓｈｉｆｔｅｄ ｕｐ−ｓａｍｐｌｉｎｇ）を実行する一例を概略的に説明する図面である。
【０１４０】
図７において、下方サンプルは、オリジナルサンプルから１／２位相移動してダウンサンプリングされたサンプルと、ダウンサンプリングされたサンプルからアップサンプリングされたサンプルとを共に示す。
【０１４１】
図７の例ではダウンサンプリング過程での位相移動を補償するために、アップサンプリング過程でダウンサンプリングされたサンプルに対して１／４位相、３／４位相位置でアップサンプリングを実行する。
【０１４２】
ダウンサンプリングされたサンプルに対して１／４位相、３／４位相のサンプルを補間することによって位相のミスマッチを除去することができる。図７を参照すると、ダウンサンプリングされたサンプルに対する１／４位相、３／４位相位置でアップサンプリングされたサンプルとオリジナルサンプルは位相の差がないことを確認することができる。
【０１４３】
このようにアップサンプリングフィルタリングを適用するとき、どれくらい位相移動してオリジナルサンプルと位相を一致させるかは、ダウンサンプリング時に適用された位相移動によって決定することができる。
【０１４４】
例えば、復号装置でオリジナルサンプルとアップサンプリングされたサンプルとの間に位相の不一致が発生しないようにアップサンプリングフィルタリングを適用するためには、符号化装置で適用したダウンサンプリングフィルタに対する情報又は復号装置で使用するアップサンプリングフィルタに対する情報が符号化装置から復号装置に送信される必要がある。
【０１４５】
次の表１は、本発明によって位相を一致させるために送信されるダウンサンプリング／アップサンプリングのフィルタ情報の一例を示す。
【表１】
2015512216.tif 000003
【０１４６】
フィルタの情報が符号化装置から復号装置に明示的に（ｅｘｐｌｉｃｉｔｌｙ）送信される代わりにルックアップテーブルを利用することもできる。
【０１４７】
このとき、符号化装置は、ルックアップテーブル上でフィルタ情報を指示するインデクスを復号装置に送信することができる。送信されるインデクスは、符号化装置で適用されたダウンサンプリングフィルタの情報を指示するインデクスであってもよいし、復号装置で適用するアップサンプリングフィルタの情報を指示するインデクスであってもよい。
【０１４８】
表２は、本発明によってフィルタ情報の伝達に利用されるルックアップテーブルの一例を簡単に示す。
【表２】
2015512216.tif 000004
【０１４９】
アップサンプリング／ダウンサンプリングのフィルタ情報は、符号化／復号過程の所定レベルで記憶／送信することができる。例えば、フィルタ情報は、シーケンスパラメータセットで送信することができる。この場合、同じシーケンス内では、別途の通知がない限り、同じフィルタが適用することができる。また、フィルタ情報をピクチャパラメータセットで送信することによって、別途の通知がない限り、同じピクチャ内では同じフィルタが適用されるようにすることもできる。又は、フィルタ情報をスライスヘッダに記憶して送信することによって、別途の通知がない限り、同じスライス内では同じフィルタが適用されるようにすることもできる。
【０１５０】
表３は、フィルタ情報をシーケンスパラメータセットに記憶して送信する場合の例を簡単に示す。
【表３】
2015512216.tif 000005
【０１５１】
表３において、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、使用する内挿（補間）フィルタの種類を指示する。
【０１５２】
表３では、シーケンスパラメータセットでフィルタ情報を記憶する場合のシンタックス構造を示すが、これは本発明による一例に過ぎず、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、前述したように、ピクチャパラメータセット又はスライスヘッダで送信することもできる。
【０１５３】
Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒが指示するフィルタの種類は、フィルタの特徴を示す情報として、表１のように、位相、タブ数、タブの係数などを含む。
【０１５４】
すなわち、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、表４のように、ルックアップテーブルのインデクス値を指示することができる。表４は、再スケーリングに適用されるフィルタ情報を、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒを介して指示するのに利用されるテーブルの一例を示す。
【表４】
2015512216.tif 000006
【０１５５】
図８は、本発明によるＩｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒを利用する方法の一例であって、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの値が１０である場合のサンプリング方法を簡単に説明する図面である。
【０１５６】
図８（ａ）は、１／２位相移動が適用されたダウンサンプリングの場合を示し、図８（ｂ）は、図８（ａ）でダウンサンプリングされたサンプルからアップサンプリングを実行する場合を示す。
【０１５７】
図８（ｂ）では、オリジナルサンプルとアップサンプリングされたサンプルとの間の位相を一致させるために、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの指示のとおりに、８−タブ／１／４、３／４位相内挿フィルタを適用してアップサンプリングを実行する。
【０１５８】
すなわち、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒは、復号装置が適用するアップサンプリングフィルタを指示し、例えば、Ｉｎｔｅｒｐｏｌａｔｉｏｎ_ｆｉｌｔｅｒ_ｉｎｄｉｃａｔｏｒの値が１０である場合は、位相を一致させるために‘８−タブ／１／４、３／４位相内挿フィルタ’が適用されるべきであることを指示する。同時に、８−タブ／１／４、３／４位相内挿フィルタが適用されて位相を一致させるということは、符号化装置で１／２位相移動が適用されたダウンサンプリングが実行されたことを意味する。
【０１５９】
以上で説明したインタレイヤイントラ予測は、図１〜図４で説明したインタレイヤ予測部（例えば、テクスチャ予測部）で実行することができる。インタレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによってスケーリングすることができる。
【０１６０】
インタレイヤイントラ予測を適用するかどうかは、ＣＵの分割可否を指示するフラグの次にフラグ形態で指示することができる。インタレイヤイントラ予測でスケーリングが適用される場合、フィルタの情報は、符号化されて伝達することができる。このとき、伝達される情報は、前述したとおりである。
【０１６１】
インタレイヤ動き予測
【０１６２】
インタレイヤ動き予測は、インタレイヤインタ予測とも呼ばれ、本明細書では発明の理解のために、必要によって、インタレイヤ動き予測とインタレイヤインタ予測の表現を混用することができる。
【０１６３】
インタレイヤ動き予測では、参照レイヤ（ベースレイヤ）の動き情報を利用して現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対する予測を実行することができる。
【０１６４】
インタレイヤ動き予測は、図１〜図４の予測部又はインタレイヤ予測部で実行することができる。以下、説明の便宜のために、予測部でインタレイヤ動き予測を実行するとして説明する。
【０１６５】
図９は、他のレイヤを参照せずに、レイヤ内でインタ予測を実行する場合（以下、‘インタ予測’という）に利用される動き情報の候補に対する一例を簡単に示す。
【０１６６】
図９において、Ａ0、Ａ1、Ｂ0、Ｂ1、Ｂ2、ＣＯＬは、該当ブロックを指示することもできるし、該当ブロックの動き情報を指示することもできる。このとき、該当ブロックの動き情報は、動きベクトルであってもよいし、動きベクトルと参照ピクチャインデクスであってもよい。
【０１６７】
ここでは、インタ予測の方法に対してベースレイヤの場合を一例として説明する。
【０１６８】
ベースレイヤでのインタ予測は、図１〜図４の予測部又はインタ／イントラ予測部で実行することができる。以下、説明の便宜のために、予測部でインタ予測を実行するものとして説明する。
【０１６９】
インタ予測のモードとして、マージモード、スキップモード、そして、動きベクトル予測（ＭＶＰ）を利用するモードがある。ＭＶＰを利用するモードを、説明の便宜のために、高度ＭＶＰ（ａｄｖａｎｃｅｄ ＭＶＰ、ＡＭＶＰ）モードということがある。
【０１７０】
マージモードでは、図９に示す隣接ブロックの動き情報（以下、動き情報候補という）の中から選択された動き情報を現在ブロックの動き情報として利用することができる。選択される動き情報候補を指示する符号化装置から復号装置に送信することができる。
【０１７１】
スキップモードでは、マージモードと同じく選択された動き情報候補の動き情報を現在ブロックの動き情報として使用するが、レジデュアルが生成／送信されない。
【０１７２】
マージモード又はスキップモードが適用される場合、予測部は、現在ブロック周辺の空間的候補であるＡ0、Ａ1、Ｂ0、Ｂ1、Ｂ2に対する可用性を判断することができる。可用性判断は、所定の順序に進行することができる。例えば、Ａ1→Ｂ1→Ｂ0→Ａ1→Ｂ2の順序に進行することができる。
【０１７３】
このとき、各候補の可用性判断には、以前候補との同一性判断が含まれることができる。例えば、Ｂ1に対して、Ａ1と動き情報が同じかを考慮して可用性判断をすることができる。具体的には、Ａ1が利用可能であり、かつＡ1とＢ1の動き情報が同じ場合、Ｂ1は利用可能でないと判断することができる。
【０１７４】
同様な方法として、Ｂ0は、Ｂ1と動き情報が同じかを考慮して可用性判断をすることができ、Ａ0は、Ａ1と動き情報が同じかを考慮して可用性判断をすることができる。
【０１７５】
Ｂ2は、Ａ1と動き情報が同じか、又はＢ1と動き情報が同じかを両方とも考慮して可用性判断をすることができ、このとき、以前の候補（Ａ0、Ａ1、Ｂ0、Ｂ1）が全部利用可能な場合は、利用可能でないと判断することもできる。
【０１７６】
ＣＯＬ候補を使用する場合は、参照ピクチャリストを利用してＣＯＬ候補が含まれているＣＯＬピクチャを特定することができる。現在ブロックと同じＬＣＵ内にあるＣＯＬブロックに対して所定位置を含む予測ブロックの動き情報をＣＯＬ候補にすることができる。このとき、ＣＯＬ候補の動きベクトルは、ＣＯＬピクチャと現在ピクチャの参照ピクチャを考慮してスケーリングすることができ、ＣＯＬ候補の参照インデクスは、所定の値（例えば、０）に設定することができる。
【０１７７】
ＣＯＬ候補を含んで利用可能であると判断された候補で、可用性判断の順序によってマージ候補リストを構成することができる。このとき、現在ブロックのスライスタイプがＢ（すなわち、双方向予測が適用されるスライス）であり、かつ現在マージ候補リストに含まれている候補の個数が最大個数より少ない場合は、マージ候補リストに候補（組合せ双予測候補、ｃｏｍｂｉｎｅｄ ｂｉ−ｐｒｅｄｉｃｔｉｏｎ ｃａｎｄｉｄａｔｅｓ）が追加することができる。
【０１７８】
前述したように、マージ候補リストが構成された後にもマージ候補リストに含まれている候補の個数が最大個数より少ない場合は、所定の候補（例えば、ゼロマージ候補）がマージ候補リストに追加することができる。
【０１７９】
予測部は、符号化装置から送信された情報（例えば、マージインデクス  ｍｅｒｇｅ_ｉｄｘ）がマージ候補リスト上で指示する候補の動き情報を現在ブロックに対する動き情報として利用してインタ予測を実行することができる。例えば、予測部は、マージインデクスによって選択された候補の動き情報が指示するサンプルを現在ブロックの予測ブロックにすることができる。
【０１８０】
一方、ＡＭＶＰモードが適用される場合にも、予測部は、ＭＶＰ候補で構成されるＡＭＶＰリストを構成することができる。
【０１８１】
ＡＭＶＰモードで、予測部は、Ａ0→Ａ1の順序に候補の可用性を判断し、Ｂ0→Ｂ1→Ｂ2の順序に候補の可用性を判断する。
【０１８２】
Ａ0→Ａ1の順序に候補の可用性を判断するとき、予測部は、（１）利用可能な候補として、現在ブロックと同じ参照ピクチャを有する候補がある場合、該当候補をＡＭＶＰリストに含ませることができる。（１）を満たす候補がない場合、予測部は、（２）現在ピクチャと現在ピクチャの参照ピクチャとの間のピクチャ順カウント（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ＰＯＣ）差及び現在ピクチャと候補の参照ピクチャとの間のＰＯＣ差に基づいて、利用可能であると先検索された候補の動きベクトルをスケーリングすることができる。予測部は、スケーリングされた動きベクトルをＡＭＶＰリストに含ませることができる。
【０１８３】
Ｂ0→Ｂ1→Ｂ2の順序に候補の可用性を判断するとき、予測部は、（１）利用可能な候補として、現在ブロックと同じ参照ピクチャを有する候補がある場合、該当候補をＡＭＶＰリストに含ませる。（１）を満たす候補がなく、かつＡ0とＡ1のうち利用可能な候補がない場合、予測部は、（２）現在ピクチャと現在ピクチャの参照ピクチャとの間のＰＯＣ差及び現在ピクチャと候補の参照ピクチャとの間のＰＯＣ差に基づいて、利用可能であると先検索された候補の動きベクトルをスケーリングすることができる。予測部は、スケーリングされた動きベクトルをＡＭＶＰリストに含ませることができる。
【０１８４】
ＣＯＬ候補（時間的候補）を使用する場合は、参照ピクチャリストを利用してＣＯＬ候補が含まれているＣＯＬピクチャを特定することができる。現在ブロックと同じＬＣＵ内にあるＣＯＬブロックに対して所定位置を含む予測ブロックの動き情報をＣＯＬ候補にすることができる。このとき、ＣＯＬ候補の動きベクトルは、ＣＯＬピクチャと現在ピクチャの参照ピクチャを考慮してスケーリングすることができる。
【０１８５】
Ａ0→Ａ1の順序に候補の可用性を判断して決定されたＭＶＰ候補をＡとし、Ｂ0→Ｂ1→Ｂ2の順序に候補の可用性を判断して決定されたＭＶＰ候補をＢとし、時間的候補に対する可用性判断によって決定されたＭＶＰ候補をＣＯＬとするとき、ＡＭＶＰリストは、[Ａ Ｂ ＣＯＬ]の順序に構成することができる。
【０１８６】
このとき、予測部は、ＡとＢが同じ場合、二つのうち一つをＡＭＶＰリストから削除することができる。
【０１８７】
また、予測部は、Ａ、Ｂ及びＣＯＬが全部有効な場合、ＡＭＶＰリスト内のＭＶＰ候補の個数を２に調整することができる。例えば、予測部は、ＡとＢでＡＭＶＰリストを構成し、ＣＯＬをＡＭＶＰリストから除去することができる。
【０１８８】
予測部は、ＡＭＶＰリスト内の候補の個数が２より少ない場合、ゼロ（０）動きベクトルを候補として追加することもできる。
【０１８９】
符号化装置は、ＡＭＶＰリスト上で現在ブロックに対するインタ予測に使用するＭＶＰを指示するＭＶＰインデクス、動きベクトルの差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ、ｍｖｄ）と参照ピクチャリスト上で現在ブロックに対する参照ピクチャを指示する参照インデクスを復号装置に送信することができる。参照ピクチャリストは、インタ予測に使われることができる参照ピクチャのリストであって、順方向予測に対するＬ０及び逆方向予測に対するＬ１がある。
【０１９０】
予測部は、ＭＶＰインデクスが指示するＭＶＰとｍｖｄから導出した動きベクトルと参照インデクスが指示する参照ピクチャに基づいて現在ブロックに対する予測ブロックを生成することができる。
【０１９１】
マージモード／スキップモード又はＡＭＶＰモードを適用して予測ブロックが生成されると、予測部は、予測ブロックとレジデュアルに基づいて現在ブロックに対する復元ブロックを生成することができる。スキップモードが適用される場合は、レジデュアルが送信されないため、予測部は、予測ブロックを復元ブロックとして利用することができる。
【０１９２】
以上、インタ予測の方法の例示としてベースレイヤの場合を説明したが、エンハンスメントレイヤでも他のレイヤの情報を利用せずにインタ予測を実行する場合は、前述の説明と同じ方法によってインタ予測を実行することができる。
【０１９３】
ベースレイヤに対して前述したようにインタ予測が実行されると、エンハンスメントレイヤでは、ベースレイヤの動き情報を利用せずにインタレイヤ動き予測（ｉｎｔｅｒ−ｌａｙｅｒ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）を実行することができる。
【０１９４】
インタレイヤ動き予測は、符号化装置と復号装置の予測部で実行することができる。
【０１９５】
図１０は、本発明によってインタレイヤ動き予測を実行する方法の一例を概略的に説明する流れ図である。
【０１９６】
図１０を参照すると、エンハンスメントレイヤの予測部は、参照レイヤの動き情報を導出することができる（Ｓ１０１０）。例えば、エンハンスメントレイヤのインタレイヤ予測部は、参照レイヤの予測部から伝達された情報に基づいて参照レイヤの動き情報を導出することができる。又は、エンハンスメントレイヤの予測部は、符号化装置から伝達された情報に基づいて参照レイヤの動き情報を導出することもできる。
【０１９７】
このとき、エンハンスメントレイヤの予測部は、導出された参照レイヤの動き情報、例えば、導出された参照レイヤの動きベクトルをスケーリングすることもできる。
【０１９８】
エンハンスメントレイヤの予測部は、参照レイヤの動き情報を利用して現在ブロックに対するインタレイヤインタ予測を実行することができる（Ｓ１０２０）。例えば、エンハンスメントレイヤのインタ／イントラ予測部は、インタレイヤ予測部が導出した参照レイヤの動き情報をマージモード／スキップモード又はＡＭＶＰモードの一候補として利用して現在ブロックに対する予測を実行することができる。
【０１９９】
以下、図面を参照して、本発明によるインタレイヤイントラ予測を具体的に説明する。
【０２００】
１．参照レイヤの動き情報導出
【０２０１】
図１１は、本発明によって参照レイヤの動き情報を導出する方法を概略的に説明する図面である。図１１において、現在レイヤは、参照レイヤの上位レイヤであって、現在レイヤの解像度が参照レイヤの解像度より高い場合を例として説明する。
【０２０２】
図１１を参照すると、現在レイヤのＰＵ（現在ＰＵ）１１１０に対応する参照レイヤのＰＵ（参照ＰＵ）１１００に基づいて現在ＰＵを特定することができる。
【０２０３】
現在ＰＵを特定する位置を（ｘＣｕｒｒ,ｙＣｕｒｒ）とし、現在ＰＵに対応する参照レイの位置、例えば、参照ＰＵを特定する位置を（ｘＲｅｆ,ｙＲｅｆ）とする。
【０２０４】
参照レイヤの動きベクトルから導出するインタレイヤ動きベクトルをｍｖＩＬとし、（ｘＲｅｆ,ｙＲｅｆ）によって特定される参照レイヤの動きベクトル（例えば、参照ＰＵの動きベクトル）をｍｖＲＬとする。
【０２０５】
図１１において、ｎＰＳＷは、現在ＰＵ１１１０の幅であり、ｎＰＳＨは、現在ＰＵ１１１０の高さである。
【０２０６】
予測部は、現在ＰＵを特定し、現在ＰＵの位置に基づいて参照ＰＵを特定し、参照ＰＵの動き情報（例えば、動きベクトル）を導出することができる。
【０２０７】
（Ｉ）現在ＰＵを特定する位置（ｘＣｕｒｒ,ｙＣｕｒｒ）の決定
【０２０８】
現在ＰＵを特定する位置（ｘＣｕｒｒ,ｙＣｕｒｒ）は、下記の（１）〜（１２）のような候補のうち、いずれか一つに決定することができる。
【０２０９】
（１）ＬＴ＝（ｘＰ,ｙＰ）
（２）ＲＴ＝（ｘＰ＋ｎＰＳＷ−１,ｙＰ）
（３）ＬＢ＝（ｘＰ,ｙＰ＋ｎＰＳＨ−１）
（４）ＲＢ＝（ｘＰ＋ｎＰＳＷ−１,ｙＰ＋ｎＰＳＨ−１）
（５）ＬＴ′＝（ｘＰ−１,ｙＰ−１）
（６）ＲＴ′＝（ｘＰ＋ｎＰＳＷ,ｙＰ−１）
（７）ＬＢ′＝（ｘＰ−１,ｙＰ＋ｎＰＳＨ）
（８）ＲＢ′＝（ｘＰ＋ｎＰＳＷ,ｙＰ＋ｎＰＳＨ）
（９）Ｃ０＝（ｘＰ＋（ｎＰＳＷ>>１）−１,ｙＰ＋（ｎＰＳＨ>>１）−１）
（１０）Ｃ１＝（ｘＰ＋（ｎＰＳＷ>>１）,ｙＰ＋（ｎＰＳＨ>>１）−１）
（１１）Ｃ２＝（ｘＰ＋（ｎＰＳＷ>>１）−１,ｙＰ＋（ｎＰＳＨ>>１））
（１２）Ｃ３＝（ｘＰ＋（ｎＰＳＷ>>１）,ｙＰ＋（ｎＰＳＨ>>１））
【０２１０】
現在ＰＵを特定する位置（ｘＣｕｒｒ,ｙＣｕｒｒ）は、（１）〜（１２）のうちいずれか一つに決定されて固定的に使用することもできるし、符号化装置でＲＤＯを介して決定した後、いずれの位置を（ｘＣｕｒｒ,ｙＣｕｒｒ）として使用するかを通知することもできる。
【０２１１】
又は、参照レイヤ（ベースレイヤ）でＰＵを特定する位置に対応して、同一位置を現在レイヤ（エンハンスメントレイヤ）のＰＵを特定する位置に決定することもできる。例えば、参照レイヤでＰＵ内の左上端を、ＰＵを特定する位置として利用する場合は、現在レイヤでもＰＵ内の左上端ＬＴ＝（ｘＰ,ｙＰ）を（ｘＣｕｒｒ,ｙＣｕｒｒ）に決定して利用することもできる。
【０２１２】
（ＩＩ）参照レイヤの対象位置（ｘＲｅｆ,ｙＲｅｆ）
【０２１３】
参照レイヤで動きベクトルを利用する位置（参照ＰＵの位置）は、現在ＰＵの位置から現在レイヤと参照レイヤとの間の比によって決定することができる。
【０２１４】
式１は、本発明によって参照レイヤで動きベクトルを利用する位置を決定する方法を示す。
（式１）
ｘＲｅｆ＝ｘＣｕｒｒ／ｓｃａｌｅ
ｙＲｅｆ＝ｙＣｕｒｒ／ｓｃａｌｅ
【０２１５】
このとき、参照レイヤに対する現在レイヤの比を示すｓｃａｌｅは、二つのレイヤの解像度によって決定することができる。例えば、現在レイヤの解像度が参照レイヤの解像度の２倍の場合、適用されるｓｃａｌｅの値は２になる。現在レイヤの解像度と参照レイヤの解像度が同じ場合、適用されるｓｃａｌｅの値は１になる。
【０２１６】
ここでは、現在レイヤと参照レイヤとの間の解像度の比によってｓｃａｌｅの値を決定したが、本発明はこれに限定されない。ｓｃａｌｅは、現在レイヤと参照レイヤとの間に適用されるスケーラビリティの種類によって決定することもできる。例えば、ｓｃａｌｅは、現在レイヤと参照レイヤとの間のピクチャの大きさ比であってもよいし、フレームレート比であってもよい。
【０２１７】
予測部は、（ｘＲｅｆ,ｙＲｅｆ）位置の動きベクトル、すなわち、（ｘＲｅｆ,ｙＲｅｆ）をカバーするＰＵ（参照ＰＵ）の動きベクトルをｍｖＲＬとして導出することができる。
【０２１８】
また、予測部は、（ｘＲｅｆ,ｙＲｅｆ）をカバーするＰＵ（参照ＰＵ）の参照インデクスをインタレイヤ動き予測に使用する参照インデクスｒｅｆＩｄｘＩＬとして導出することができる。
【０２１９】
予測部は、ｍｖＲＬをスケーリングしてインタレイヤ動き予測（インタレイヤインタ予測）に使用する動きベクトルｍｖＩＬを導出することができる。
【０２２０】
式２は、本発明によってｍｖＲＬをスケーリングしてｍｖＩＬを導出する方法を示す。
（式２）
ｍｖＩＬ＝ｓｃａｌｅ＊ｍｖＲＬ
【０２２１】
式２において、係数ｓｃａｌｅは、式１と同様に、参照レイヤに対する現在レイヤの比を示す。例えば、現在レイヤの解像度が参照レイヤの解像度の２倍の場合、適用されるｓｃａｌｅの値は２になる。
【０２２２】
現在レイヤの解像度と参照レイヤの解像度が同じ場合、適用されるｓｃａｌｅの値は、１になり、予測部は、ｍｖＲＬをｍｖＩＬとして利用することができる。
【０２２３】
２．参照レイヤから導出した動き情報を利用したインタレイヤインタ予測
【０２２４】
予測部は、参照レイヤから導出した動き情報を利用して現在レイヤ（エンハンスメントレイヤ）の現在ブロックに対するインタレイヤインタ予測を実行することができる。参照レイヤから導出した動き情報は、動きベクトルｍｖＩＬと参照インデクスｒｅｆＩｄｘＩＬを含む。
【０２２５】
例えば、マージモード／スキップモードが適用される場合、予測部は、ｍｖＩＬとｒｅｆＩｄｘＩＬをマージ候補として現在ブロックに対するマージ候補リストに追加することができる。
【０２２６】
また、ＡＭＶＰモードが適用される場合、予測部は、ｍｖＩＬをＭＶＰ候補として現在ブロックに対するＡＭＶＰリストに追加することができる。
【０２２７】
（Ｉ）マージモードが適用される場合
【０２２８】
表５は、前述したように、インタ予測として他のレイヤを参照せずにレイヤ内でマージモードが適用される場合、構成されるマージ候補リストの一例を示す。
【表５】
2015512216.tif 000007
【０２２９】
表５において、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬは、図９のＡ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬと同じである。また、表５において、インタ予測のマージ候補リストを構成する方法は、図９を参照して説明したインタ予測のマージモードでの方法と同じである。
【０２３０】
表５において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。
【０２３１】
それに対し、インタレイヤ動き予測が適用される場合、予測部は、表５と違って参照レイヤから導出した動き情報を含むマージ候補リストを構成することができる。ここでは、説明の便宜のために、参照レイヤから導出した動き情報を参照レイヤ候補（ｒｅｆｅｒｅｎｃｅ ｌａｙｅｒ ｃａｎｄｉｄａｔｅ）ＲＥＦという。
【０２３２】
ＲＥＦは、ｍｖＩＬとｒｅｆＩｄｘＩＬを含む。
【０２３３】
表６は、本発明によってインタレイヤ動き予測のマージモードが適用される場合、予測部によって構成されるマージ候補リストの一例を示す。表６は、本発明によって参照レイヤ候補がマージ候補リストに追加される順序を説明する。
【表６】
2015512216.tif 000008
【０２３４】
表６において、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬは、図９のＡ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬと同じである。また、表６において、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬでマージ候補リストを構成する方法は、図９を参照して説明したとおりである。
【０２３５】
表６において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。
【０２３６】
ただし、予測部は、図９で説明したように、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2の有効性を判断するたびに、以前の候補との同一性を考慮することができる。
【０２３７】
また、予測部は、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2間の同一性を排除してリストを構成した後、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬ間の同一性を一度に判断することができる。この場合、同じ候補のうち一つを残す作業は、ＣＯＬの有効性を判断した後に実行することができる。
【０２３８】
インタレイヤ動き予測のマージモードが適用される場合、予測部は、表６のマージ候補リストにおいて、(a)〜(f)のうち、いずれか一つの順序にＲＥＦを含ませることができる。
【０２３９】
例えば、予測部は、ＲＥＦに最も小さいインデクス（例えば、０）を割り当ててマージ候補リストの(a)順序に含ませることができる。すなわち、予測部は、マージ候補リストにＲＥＦを最初に追加することができる。
【０２４０】
また、予測部は、ＲＥＦに最も大きいインデクス（例えば、マージ候補リストに含まれることができる最大候補個数−１）を割り当ててマージ候補リストの(f)順序に含ませることができる。すなわち、予測部は、マージ候補リストにＲＥＦを最後に追加することもできる。
【０２４１】
予測部は、空間的候補の次の順序である(c)にＲＥＦを追加することもできる。すなわち、予測部は、空間的候補の有効性を判断した後、ＲＥＦをマージ候補リストに追加することもできる。
【０２４２】
また、予測部は、現在レイヤ内の候補のうち単方向予測に対する候補の次、そして、組合せ双方向候補前の順序である(d)にＲＥＦを追加することもできる。すなわち、予測部は、現在レイヤ内の候補のうち単方向予測の候補に対する有効性を判断し、組合せ双方向候補を追加する前にＲＥＦをマージ候補リストに追加することもできる。
【０２４３】
予測部は、現在レイヤ内の候補を全部考慮した後の順序である(e)にＲＥＦを追加することもできる。すなわち、予測部は、現在レイヤ内の候補に対する有効性を全部検討した後、ＲＥＦをマージ候補リストに追加することもできる。
【０２４４】
併せて、予測部は、現在ブロックの左側の候補と上側の候補を一つずつ考慮した後の順序である(b)にＲＥＦを追加することもできる。すなわち、予測部は、現在ブロックの左側の候補と上側の候補の有効性を一つずつ検討した後、ＲＥＦをマージ候補リストに含ませることもできる。
【０２４５】
表６のインタレイヤ動き予測のマージ候補リストに含まれる候補の個数、すなわち、最大候補個数は、表５と同じであってもよい。この場合、最大候補個数を合わせるために、ＲＥＦが含まれる位置によって、ＲＥＦより後順位にある現在レイヤの候補をマージ候補リストから除外してもよい。また、ＲＥＦより先順位にある現在レイヤの候補で最大候補個数が満たされる場合は、ＲＥＦをマージ候補リストから除外してもよい。
【０２４６】
表６のインタレイヤ動き予測のマージ候補リストに含まれる候補の個数、すなわち、最大候補個数は、表５と異なってもよい。例えば、表６において、最大候補個数は、ＲＥＦを考慮して表５の場合より一つ多い。この場合は、現在レイヤの候補でマージ候補リストが構成された後、ＲＥＦを所定の位置又は所定の順序に含ませることによってマージ候補リストを完成すると見ることもできる。このとき、マージ候補リスト内でＲＥＦの位置又は追加される順序は、予め決めてもよく、符号化装置から指示され、又は復号装置によって導出してもよい。
【０２４７】
マージ候補リスト内の候補のうちいずれの候補を利用してマージモードを実行するかは、符号化装置から指示することができる。例えば、予測部は、符号化装置から受信した情報（例えば、マージインデクス  ｍｅｒｇｅ_ｉｄｘ）が表６のようなマージ候補リスト上で指示する候補を選択し、選択された動き情報が指示するブロックに基づいて現在ブロックに対する予測ブロックを生成することができる。
【０２４８】
（ＩＩ）ＭＶＰ（ＡＭＶＰ）モードが適用される場合
【０２４９】
表７は、前述したように、インタ予測として他のレイヤを参照せずに現在レイヤ内でＭＶＰモードが適用される場合、構成される候補リストの一例を示す。本明細書では、ＭＶＰを利用するインタ予測のモードをＡＭＶＰモードといい、このとき、利用される候補ＭＶＰで構成されるリストをＡＭＶＰリストという。
【表７】
2015512216.tif 000009
【０２５０】
表７において、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬ、そして、Ａ及びＢは、図９のＡ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬ、そして、図９を利用して説明したＭＶＰモードでのＡ及びＢと同じである。また、表７において、インタ予測のＭＶＰ候補リストを構成する方法は、図９を参照して説明したインタ予測のＭＶＰモードでの方法と同じである。
【０２５１】
表７において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。
【０２５２】
それに対し、インタレイヤ動き予測が適用される場合、予測部は、表７と違って参照レイヤから導出した動き情報を含むＭＶＰ候補リストを構成することができる。ここでは、参照レイヤから導出した動きベクトルを参照レイヤ候補ＲＥＦという。
【０２５３】
ＲＥＦは、ｍｖＩＬを含む。
【０２５４】
表８は、本発明によってインタレイヤ動き予測のＭＶＰモードが適用される場合、予測部によって構成されるＡＭＶＰリストの一例を示す。表８は、本発明によって参照レイヤ候補がＡＭＶＰリストに追加される順序を説明する。
【表８】
2015512216.tif 000010
【０２５５】
表８において、Ａ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬ、そして、Ａ及びＢは、図９のＡ1、Ｂ1、Ｂ0、Ａ0、Ｂ2、ＣＯＬ、そして、図９を利用して説明したＭＶＰモードでのＡ及びＢと同じである。また、表８において、Ａ、Ｂ、ＣＯＬでＡＭＶＰリストを構成する方法は、図９を参照して説明したとおりである。
【０２５６】
表８において、最上部に位置する候補には最も小さい値のインデクスを割り当てることができ、最下部に位置する候補には最も大きい値のインデクスを割り当てることができる。
【０２５７】
予測部は、図９で説明したように、ＡとＢとの間の同一性を判断し、ＡとＢが同じ場合は、ＡとＢのうち一つをＡＭＶＰリストから除外することができる。この過程は、Ｂの有効性を判断するときに実行してもよいし、ＡとＢを判断した後に実行してもよいし、ＣＯＬの有効性を判断する場合又はＣＯＬの有効性を判断した後に実行してもよい。
【０２５８】
インタレイヤ動き予測のＭＶＰモードが適用される場合、予測部は、表８のＡＭＶＰリストにおいて、(a)〜(e)のうち、いずれか一つの順序にＲＥＦを含ませることができる。
【０２５９】
例えば、予測部は、ＲＥＦに最も小さいインデクス（例えば、０）を割り当てて、(a)の順序に含ませることができる。すなわち、予測部は、ＡＭＶＰリストにＲＥＦを最初に追加することができる。
【０２６０】
また、予測部は、ＲＥＦに最も大きいインデクス（例えば、ＡＭＶＰリストに含まれることができる最大候補個数−１）を割り当てて、(e)の順序に追加させることもできる。すなわち、予測部は、ＡＭＶＰリストの最後にＲＥＦを追加することもできる。
【０２６１】
また、予測部は、現在レイヤ内の候補を全部考慮した後の順序である(d)にＲＥＦを含ませることもできる。
【０２６２】
予測部は、空間的候補の次の順序である(c)にＲＥＦを追加させることもできる。また、予測部は、現在ブロックの左側の候補を考慮した後、上側の候補を考慮する前の位置である(b)にＲＥＦを含ませることもできる。
【０２６３】
表８のインタレイヤ動き予測のＡＭＶＰリストに含まれる候補の個数、すなわち、最大候補個数は、表７と同じであってもよい。この場合、最大候補個数を合わせるために、ＲＥＦが含まれる位置によって、ＲＥＦより後順位にある現在レイヤの候補をＡＭＶＰリストから除外してもよい。また、ＲＥＦより先順位にある現在レイヤの候補で最大候補個数が満たされる場合は、ＲＥＦをＡＭＶＰリストから除外してもよい。
【０２６４】
例えば、最大候補個数が２の場合、(c)位置のＲＥＦは、ＡＭＶＰリストから除外することができる。
【０２６５】
表８のインタレイヤ動き予測のＡＭＶＰリストに含まれる候補の個数、すなわち、最大候補個数は、表７と異なってもよい。例えば、表８において、最大候補個数は、ＲＥＦを考慮して表７の場合（例えば、２）より一つ多い。この場合は、現在レイヤの候補でＡＭＶＰリストが構成された後、ＲＥＦを所定の位置に含ませることによってＡＭＶＰリストを完成すると見ることもできる。このとき、ＡＭＶＰリスト内でＲＥＦの位置は、予め決めてもよいし、符号化装置から指示され、又は復号装置によって導出してもよい。
【０２６６】
ＡＭＶＰリスト内の候補のうちいずれの候補を利用してＭＶＰモードを実行するかは、符号化装置から指示することができる。例えば、予測部は、符号化装置から受信した情報が表６のようなＡＭＶＰリスト上で指示する候補を選択し、選択された動きベクトルと符号化装置から受信したｍｖｄを利用して現在ブロックに対する動きベクトルを導出することができる。予測部は、導出した動きベクトルと符号化装置から受信した参照インデクスが指示する参照ピクチャに基づいて、現在ブロックに対する予測ブロックを生成することができる。
【０２６７】
一方、所定の条件を満たす場合、予測部は、ＡＭＶＰリストにＲＥＦを追加する前にｍｖＩＬをスケーリングすることができる。
【０２６８】
例えば、現在ＰＵの参照インデクスと、参照ＰＵの参照インデクス（ｒｅｆＩｄｘＩＬ）が異なる場合は、ｍｖＩＬをスケーリングすることができる。すなわち、現在ＰＵの参照インデクスが指示するピクチャ（現在ＰＵの参照ピクチャ）のＰＯＣと、参照ＰＵの参照インデクスが指示するピクチャ（参照ＰＵの参照ピクチャ）のＰＯＣが異なる場合は、ｍｖＩＬをスケーリングすることができる。
【０２６９】
図１２は、本発明によってｍｖＩＬをスケーリングする方法を概略的に説明する図面である。
【０２７０】
図１２を参照すると、現在レイヤにおいて、現在ピクチャのＰＯＣと現在ＰＵ１２００の参照ピクチャ１２２０のＰＯＣとの間の差をｔｂとし、参照レイヤにおいて、現在ピクチャのＰＯＣと参照ＰＵ１２１０の参照ピクチャ１２３０のＰＯＣとの間の差をｔｄとする。
【０２７１】
現在ＰＵ１２００の参照ピクチャ１２２０に対するＰＯＣであるｐｏｃＲｅｆと、参照ＰＵ１２１０の参照ピクチャ１２３０に対するＰＯＣであるｐｏｃＲｅｆＬａｙｅｒが異なる場合、予測部は、ＲＥＦ、すなわち、ｍｖＩＬをスケーリングしてＡＭＶＰに含ませることができる。
【０２７２】
ｍｖＩＬは、式３のような方法によってスケーリングすることができる。スケーリングされたｍｖＩＬをｍｖＩＬ′とする。
（式３）
ｔｘ＝（１６３８４＋（Ａｂｓ（ｔｄ）>>１））／ｔｄ
ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＝Ｃｌｉｐ３（−４０９６,４０９５,（ｔｂ＊ｔｘ＋３２）>>６）
ｍｖＩＬ′＝Ｃｌｉｐ３（−８１９２,８１９１.７５,Ｓｉｇｎ（ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＊ｍｖＩＬ）＊（（Ａｂｓ（ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＊ｍｖＩＬ）＋１２７）>>８））
ｔｄ＝Ｃｌｉｐ３（−１２８,１２７,ｐｏｃＣｕｒｒ−ｐｏｃＲｅｆＬａｙｅｒ）
ｔｂ＝Ｃｌｉｐ３（−１２８,１２７,ｐｏｃＣｕｒｒ−ｐｏｃＲｅｆ）
【０２７３】
式３において、ｐｏｃＣｕｒｒは、現在ピクチャのＰＯＣを示し、ｐｏｃＲｅｆは、現在ＰＵの参照インデクスによって指示されるピクチャのＰＯＣを示し、ｐｏｃＲｅｆＬａｙｅｒは、参照ＰＵの参照インデクス、すなわち、（ｘＲｅｆ,ｙＲｅｆ）の参照インデクスによって指示されるピクチャのＰＯＣを示す。
【０２７４】
また、Ａｂｓ（ｘ）は、ｘが０より小さい場合、−ｘになり、ｘが０より大きい又は同じ場合、ｘになる。Ｃｌｉｐ３（ｘ,ｙ.ｃ）は、ｚがｘより小さい場合、ｘになり、ｚがｙより大きい場合、ｙになり、その他の場合、ｚになる。
【０２７５】
予測部は、ｐｏｃＲｅｆとｐｏｃＲｅｆＬａｙｅｒが異なる場合、式３のように各レイヤにおいて、参照ピクチャまでの距離に基づいてインタレイヤ動きベクトルをスケーリングし、スケーリングされた動きベクトル候補（すなわち、スケーリングされたｍｖＩＬ又はスケーリングされたＲＥＦ）をＡＭＶＰリストに追加することができる。
【０２７６】
このとき、予測部は、ＲＥＦ（すなわち、ｍｖＩＬ）の代わりにスケーリングされたＲＥＦ（すなわち、スケーリングされたｍｖＩＬ）をＡＭＶＰリストに含ませることによって、前述したような同じ方式によってＡＭＶＰモードを適用したインタレイヤ動き予測を実行することができる。
【０２７７】
インタレイヤ動き予測を適用する場合、ＣＵレベルの観点から見ると、ベースレイヤのブロックの大きさと関係なしに、すべてのＣＵパーティションをそのまま使用することができる。また、ＰＵレベルの観点から見ると、符号化装置がインタ予測とインタレイヤ動き予測に対するＲＤＯを実行することによって最適の予測モードを適用することができる。
【０２７８】
インタレイヤシンタックス予測
【０２７９】
インタレイヤシンタックス予測では、参照レイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、又は生成する。このとき、現在ブロックの予測に利用する参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報などである。
【０２８０】
例えば、参照レイヤがＰスライス又はＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである。この場合は、参照レイヤのシンタックス情報のうちイントラモードを利用し、現在レイヤのテクスチャを生成／予測するインタレイヤ予測を実行することができる。具体的には、参照レイヤがＰスライス又はＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである場合、インタレイヤシンタックス予測を適用すると、現在ブロックに対して（１）参照ブロックのイントラ予測モードに（２）現在レイヤで現在ブロック周辺の参照ピクセルを利用し、イントラ予測を実行することができる。
【０２８１】
参照レイヤがＰスライス又はＢスライスであり、かつスライス内の参照ブロックがインタ予測モードの適用されたブロックである場合は、前述したように、インタレイヤ動き予測と同じ方式によって、参照レイヤのシンタックス情報のうち動き情報をスケーリングし、現在レイヤに対するテクスチャを生成／予測するインタレイヤ予測を実行することができる。
【０２８２】
このように、インタレイヤシンタックス予測は、インタレイヤ動き予測とインタレイヤテクスチャ予測を混用する方式であると見ることができる。
【０２８３】
インタレイヤ動き予測は、前述したように、参照レイヤの動き情報を利用してエンハンスメントレイヤで予測信号（予測ブロック）を生成する予測方法である。
【０２８４】
このとき、参照レイヤの動き情報は、レイヤ間の解像度の変化によってスケーリングすることができる。
【０２８５】
参照レイヤでイントラ予測モードが適用されて動き情報がないブロックが参照ブロックである場合は、前述したように、参照レイヤのイントラ予測モードを利用してエンハンスメントレイヤの周辺画素から現在ブロックを予測して予測信号を生成することができる。
【０２８６】
インタレイヤシンタックス予測又はインタレイヤ動き予測の場合、ルマ成分に対する動き情報は、参照レイヤから４×４ブロック単位に利用することができる。この場合、クロマ成分に対する動き情報としてルマ成分に対する動き情報を使用することもできる。
【０２８７】
インタレイヤシンタックス予測を適用すると、ＰＵレベルから見たとき、新たなＰＵモードを生成せずに、上位レベルでどのような予測モードを適用するかを通知することによって、参照レイヤ内の参照ブロックに適用された予測モードに応じてインタレイヤイントラ予測とインタレイヤ動き予測を適応的に適用することができる。
【０２８８】
インタレイヤシンタックス予測を適用するかどうかを指示するフラグは、ＣＵの分割を指示するフラグ（例えば、ＣＵ_ｓｐｌｉｔ_ｆｌａｇ）の次にフラグ形態で送信することもできる。
【０２８９】
図１３は、本発明によってインタレイヤシンタックス予測を実行する方法の一例を簡単に説明する図面である。
【０２９０】
図１３を参照すると、参照レイヤ１３００の参照ブロック１３１０にイントラブロックとインタブロックが存在する。
【０２９１】
図１３の場合、インタレイヤシンタックス予測を適用すると、参照ブロック１３１０を現在レイヤに合わせてアップサンプリングしたピクチャ１３２０を構成してインタレイヤシンタックス予測を適用して復元ブロックを生成することができる（１３３０）。
【０２９２】
このとき、参照レイヤにおいて、イントラ予測モードが適用されたブロック（ｉｎｔｒａ）からはイントラ予測モードを参照し、インタ予測モードが適用されたブロック（ＭＶ）からは動き情報を参照することによって、インタレイヤシンタックス予測を実行することができる。
【０２９３】
現在レイヤの対象ピクチャに対するインタレイヤシンタックス予測は、他の予測モードと混用することもあり、図１３の現在ピクチャ１３４０における斜線領域は、他の予測モードが適用することができる領域を意味する。
【０２９４】
インタレイヤレジデュアル予測
【０２９５】
インタレイヤレジデュアル予測は、参照レイヤのレジデュアル信号を利用してエンハンスメントレイヤのレジデュアル予測映像を生成し、エンハンスメントレイヤではレジデュアル予測映像を参照してレジデュアル映像を符号化／復号する方法である。
【０２９６】
インタレイヤレジデュアル予測は、図１〜図４の予測部又はインタレイヤ予測部で実行することができる。以下、説明の便宜のために、予測部でインタレイヤレジデュアル予測を実行すると説明する。
【０２９７】
予測部は、参照レイヤのレジデュアル信号をレイヤ間の解像度の差又は比に応じてスケーリングすることによって、エンハンスメントレイヤに対するレジデュアル予測映像を生成することができる。
【０２９８】
符号化装置では、インタレイヤシンタックス予測及びインタレイヤイントラ予測とは別に、インタレイヤレジデュアル予測に対するＲＤＯを実行することもできる。ＲＤＯコンテンションを介してインタレイヤレジデュアル予測を適用すると決定されたときは、レジデュアル信号を予測するためのフラグ、すなわち、インタレイヤレジデュアル予測を適用することを指示するフラグは、レジデュアル（変換係数）の前部にＣＵ単位に符号化して送信することができる。
【０２９９】
図１４は、本発明によってインタレイヤレジデュアル予測を適用する方法を概略的に説明する図面である。
【０３００】
図１４を参照すると、インタレイヤ予測のために、参照レイヤのレジデュアル信号１４００で参照される参照ブロック部分１４１０をレイヤ間の解像度の比に応じてスケーリングしてレジデュアル予測映像１４２０が生成することができる。
【０３０１】
レジデュアル予測映像１４２０に基づいて現在ブロックに対するレジデュアル映像１４３０が復元することができる。このとき、斜線処理された領域は、インタレイヤレジデュアル予測が適用されない領域を意味する。
【０３０２】
符号化装置は、すべての予測モードのレジデュアル信号に対してインタレイヤレジデュアル予測を適用するかどうかをＲＤＯに基づいて判断することができる。インタレイヤレジデュアル予測を適用するかどうかを指示する情報は、フラグ形態で係数（例えば、レジデュアルの量子化された変換係数）に対する情報より前に送信することができる。
【０３０３】
インタレイヤ予測のためのシンタックス構造
【０３０４】
符号化装置は、以上で説明したインタレイヤ予測のために必要な情報を通知することができる。また、復号装置は、通知された情報を受信してインタレイヤ予測を実行することができる。
【０３０５】
ここでは、以上で説明した又は以後に追加的に説明するインタレイヤ予測の実行方法と必要な情報の一例を示すシンタックスに対して説明する。
【０３０６】
表９は、本発明によるＮＡＬユニットシンタックスの一例を示す。
【表９】
2015512216.tif 000011
【０３０７】
表１０は、本発明によるＮＡＬユニットヘッダＳＶＣ拡張シンタックスの一例を示す。
【表１０】
2015512216.tif 000012
【０３０８】
表１１は、本発明によるシーケンスパラメータセットＲＢＳＰシンタックスの一例を示す。
【表１１】
2015512216.tif 000013
【０３０９】
【表１２】
2015512216.tif 000014
【０３１０】
表１２は、本発明によるサブセットシーケンスパラメータＲＢＳＰシンタックスの一例を示す。
【表１３】
2015512216.tif 000015
【０３１１】
表１３は、本発明によるシーケンスパラメータセットＳＶＣ拡張シンタックスの一例を示す。
【表１４】
2015512216.tif 000016
【０３１２】
表１４は、本発明によるピクチャパラメータセットＲＢＳＰシンタックスの一例を示す。
【表１５】
2015512216.tif 000017
【表１６】
2015512216.tif 000018
【０３１３】
表１５は、本発明によるスケーリングリストデータシンタックスの一例を示す。
【表１７】
2015512216.tif 000019
【０３１４】
表１６は、本発明によるスケーリングリストシンタックスの一例を示す。
【表１８】
2015512216.tif 000020
【０３１５】
表１７は、本発明による適応的パラメータセットＲＢＳＰシンタックスの一例を示す。
【表１９】
2015512216.tif 000021
【０３１６】
表１８は、本発明による追加的エンハンスメント情報ＲＢＳＰシンタックスの一例を示す。
【表２０】
2015512216.tif 000022
【０３１７】
表１９は、本発明による追加的エンハンスメント情報メッセージシンタックスを示す。
【表２１】
2015512216.tif 000023
【０３１８】
表２０は、本発明によるアクセスユニットデリミタＲＢＳＰシンタックスの一例を示す。
【表２２】
2015512216.tif 000024
【０３１９】
表２１は、本発明によるフィラー（ｆｉｌｌｅｒ）データＲＢＳＰシンタックスの一例を示す。
【表２３】
2015512216.tif 000025
【０３２０】
表２２は、本発明によるスライスレイヤＲＢＳＰシンタックスの一例を示す。
【表２４】
2015512216.tif 000026
【０３２１】
表２３は、本発明によるスライスレイヤ拡張ＲＢＳＰシンタックスの一例を示す。
【表２５】
2015512216.tif 000027
【０３２２】
表２４は、本発明によるＲＢＳＰスライストレーリングビットシンタックスの一例を示す。
【表２６】
2015512216.tif 000028
【０３２３】
表２５は、本発明によるＲＢＳＰトレーリングビットシンタックスの一例を示す。
【表２７】
2015512216.tif 000029
【０３２４】
表２６は、本発明によるＲＢＳＰバイト整列シンタックスの一例を示す。
【表２８】
2015512216.tif 000030
【０３２５】
表２７は、本発明によるスライスヘッダの一例を示す。
【表２９】
2015512216.tif 000031
【表３０】
2015512216.tif 000032
【０３２６】
表２８は、本発明による、スケーラブル拡張におけるスライスヘッダシンタックスの一例を示す。
【表３１】
2015512216.tif 000033
【表３２】
2015512216.tif 000034
【表３３】
2015512216.tif 000035
【０３２７】
表２９は、本発明による短期参照ピクチャセットシンタックスの一例を示す。
【表３４】
2015512216.tif 000036
【０３２８】
表３０は、本発明による参照ピクチャリスト修正シンタックスの一例を示す。
【表３５】
2015512216.tif 000037
【０３２９】
表３１は、本発明による参照ピクチャリスト組合せシンタックスの一例を示す。
【表３６】
2015512216.tif 000038
【０３３０】
表３２は、本発明によるサンプル適応的オフセットパラメータシンタックスの一例を示す。
【表３７】
2015512216.tif 000039
【０３３１】
表３３は、本発明による適応的ループフィルタパラメータシンタックスの一例を示す。
【表３８】
2015512216.tif 000040
【０３３２】
表３４は、本発明による適応的ループフィルタ符号化ユニット制御パラメータシンタックスの一例を示す。
【表３９】
2015512216.tif 000041
【０３３３】
表３５は、本発明による予測加重値テーブルシンタックスの一例を示す。
【表４０】
2015512216.tif 000042
【表４１】
2015512216.tif 000043
【０３３４】
表３６は、本発明によるスライスデータシンタックスの一例を示す。
【表４２】
2015512216.tif 000044
【０３３５】
表３７は、本発明による、スケーラブル拡張におけるスライスデータシンタックスの一例を示す。
【表４３】
2015512216.tif 000045
【０３３６】
表３８は、本発明による符号化ツリーシンタックスの一例を示す。
【表４４】
2015512216.tif 000046
【表４５】
2015512216.tif 000047
【０３３７】
表３９は、本発明による、スケーラブル拡張における符号化ツリーシンタックスの一例を示す。
【表４６】
2015512216.tif 000048
【表４７】
2015512216.tif 000049
【０３３８】
表４０は、本発明による符号化ユニットシンタックスの一例を示す。
【表４８】
2015512216.tif 000050
【表４９】
2015512216.tif 000051
【０３３９】
表４１は、本発明による、スケーラブル拡張における符号化ユニットシンタックスの一例を示す。
【表５０】
2015512216.tif 000052
【表５１】
2015512216.tif 000053
【０３４０】
表４２は、本発明による予測ユニットシンタックスの一例を示す。
【表５２】
2015512216.tif 000054
【表５３】
2015512216.tif 000055
【０３４１】
表４３は、本発明による動きベクトル差分符号化シンタックスの一例を示す。
【表５４】
2015512216.tif 000056
【０３４２】
表４４は、本発明による変換ツリーシンタックスの一例を示す。
【表５５】
2015512216.tif 000057
【表５６】
2015512216.tif 000058
【表５７】
2015512216.tif 000059
【０３４３】
表４５は、本発明による変換係数シンタックスの一例を示す。
【表５８】
2015512216.tif 000060
【表５９】
2015512216.tif 000061
【０３４４】
表４６は、本発明によるレジデュアル符号化シンタックスの一例を示す。
【表６０】
2015512216.tif 000062
【表６１】
2015512216.tif 000063
【０３４５】
前述したシンタックスのうち、ｎａｌ_ｕｎｉｔ_ｔｙｐｅは、表４７のように定義することができる。
【表６２】
2015512216.tif 000064
【０３４６】
ｄｅｐｅｎｄｅｎｃｙ_ｉｄは、各ＮＡＬユニットの従属関係を示すために送信されるＩＤ番号である。
【０３４７】
ｑｕａｌｉｔｙ_ｉｄは、各ＮＡＬユニットの品質レベルを示すために送信されるＩＤ番号である。
【０３４８】
ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１の場合、スケーラブルビットストリームの最上位レイヤでのみ動き補償が実行される。ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が０の場合、すべてのレイヤで動き補償が許容される。
【０３４９】
ｓｌｉｃｅ_ｔｙｐｅは、表４８によるスライスの符号化タイプを特定する。
【表６３】
2015512216.tif 000065
【０３５０】
ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤイントラ予測の動作が適応的に使われるということを特定する。そうでない場合、インタレイヤイントラ予測は使われない。ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇがない場合は、ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値を０に推定することができる。また、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇは、下記のように導出することができる。
【０３５１】
−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１の場合、ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩであると、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇの値を１に設定する。そうでない場合は、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇの値を０に設定する。
【０３５２】
−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が０の場合、ＩＬＩｎｔｒａＰｒｅｄＦｌａｇの値は、ｉｎｔｅｒ_ｌａｙｅｒ_ｉｎｔｒａ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇと同じく設定される。
【０３５３】
ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤシンタックス予測の動作が適応的に利用されるということを特定する。そうでない場合、インタレイヤシンタックス予測が利用されない。ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇがない場合は、ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値を０に推定することができる。また、ＩＬＳｙｎｔａｘＰｒｅｄＦｌａｇは、下記のように導出することができる。
【０３５４】
−ｉｎｔｅｒ_ｌａｙｅｒ_ｓｙｎｔａｘ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩでない場合、ＩＬＳｙｎｔａｘＰｒｅｄＦｌａｇは、１に設定される。そうでない場合、ＩＬＳｙｎｔａｘＰｒｅｄＦｌａｇは、０に設定される。
【０３５５】
ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤレジデュアル予測の動作が適応的に利用されるということを特定する。そうでない場合、インタレイヤレジデュアル予測が利用されない。ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇがない場合、ｉｓ ｎｏｔ ｐｒｅｓｅｎｔ、ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値は、０に推定することができる。また、ＩＬＲｅｓＰｒｅｄＦｌａｇは、下記のように導出することができる。
【０３５６】
−ｉｎｔｅｒ_ｌａｙｅｒ_ｒｅｓｉｄｕａｌ_ｐｒｅｄｉｃｔｉｏｎ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩでない場合、ＩＬＲｅｓＰｒｅｄＦｌａｇは、１に設定される。そうでない場合、ＩＬＲｅｓＰｒｅｄＦｌａｇは、０に設定される。
【０３５７】
ｃａｂａｃ_ｉｎｉｔ_ｉｄｃは、コンテキスト変数（ｃｏｎｔｅｘｔ ｖａｒｉａｂｌｅ）に対する初期化プロセスに使われる初期化表（ｉｎｉｔｉａｌｉｓａｔｉｏｎ ｔａｂｌｅ）を決定するためのインデクスを特定する。ｃａｂａｃ_ｉｎｉｔ_ｉｄｃは、０以上２以下の値を有することができる。
【０３５８】
ｉｌ_ｍｏｄｅは、ベースレイヤの情報を使用するかどうかを指示するシンタックスである。ｉｌ_ｍｏｄｅは、ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ値によって下記のような役割をする
【０３５９】
ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ＝１であり、かつｓｌｉｃｅ_ｔｙｐｅ＝ＥＩの場合、ｉｌ_ｍｏｄｅの値が１であると、復元されたベースレイヤを現在レイヤとの解像度の差に基づいてスケーリングした後、現在ＣＵの予測情報として使用することができる。ｉｌ_ｍｏｄｅの値が０であると、ベースレイヤの復元情報を使用しない。
【０３６０】
ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ＝１であり、かつｓｌｉｃｅ_ｔｙｐｅ!＝ＥＩの場合、ｉｌ_ｍｏｄｅの値が１であると、ベースレイヤの動き情報、イントラ予測情報を対応する現在レイヤとの解像度の差を考慮してスケーリングした後に複製して予測信号を作り、その値を予測子（ｐｒｅｄｉｃｔｏｒ）として使用することができる。ｉｌ_ｍｏｄｅの値が０であるときは、ベースレイヤの復元情報を使用しない。
【０３６１】
ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇ＝０であり、かつｉｌ_ｍｏｄｅの値が１の場合、ベースレイヤの復元されたピクセル情報を、解像度を考慮したスケーリング後、予測情報として使用することができる。
【０３６２】
ｉｌ_ｒｅｓ_ｍｏｄｅが１の場合、対応するベースレイヤの復元されたレジデュアルデータを、解像度を考慮してスケーリングした後、現在ＣＵのレジデュアルに対する予測子として使用することができる。ｉｌ_ｒｅｓ_ｍｏｄｅの値が０の場合、対応するベースレイヤの復元されたレジデュアルデータは使用しない。
【０３６３】
ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇの値が１の場合、符号化ユニットでインタレイヤ差分（ｄｉｆｆｅｒｅｎｔｉａｌ）符号化の動作が適応的に利用することを特定する。そうでない場合、インタレイヤ差分符号化が利用されない。ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇがない場合、ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇの値を０に推定する。また、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇは、下記のように導出することができる。
【０３６４】
−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１であり、かつｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇの値が１であり、かつｓｌｉｃｅ_ｔｙｐｅがＥＩの場合、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇの値は、１に設定される。そうでない場合、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇの値は、０に設定される。
【０３６５】
−ｓｉｎｇｌｅｌｏｏｐ_ｄｅｃｏｄｉｎｇ_ｆｌａｇの値が１でない場合、ＩＬＤｉｆｆＣｏｄｉｎｇＦｌａｇの値は、ｉｎｔｅｒ_ｌａｙｅｒ_ｄｉｆｆｅｒｅｎｔｉａｌ_ｃｏｄｉｎｇ_ｆｌａｇと同じく設定される。
【０３６６】
インタレイヤユニット予測
【０３６７】
スケーラブル符号化に使われる入力信号は、レイヤ間に解像度、フレームレート、ビット深度、カラーフォーマット、アスペクト比などが異なる。
【０３６８】
この点を考慮してレイヤ間予測（インタレイヤ予測）を実行することによって、冗長度を減らしてサイマルキャストに対する符号化効率を上げることができる。
【０３６９】
例えば、情報の重複量を減らす一方法として、エンハンスメントレイヤで送信される処理単位、すなわち、ＣＵ、ＰＵ及び／又はＴＵに対する情報をベースレイヤの情報を利用して減らす方法を使用することができる。
【０３７０】
ベースレイヤのユニット（ＣＵ、ＰＵ及び／又はＴＵ）情報を利用してエンハンスメントレイヤで送信されるユニット情報を減らす方法をインタレイヤユニット予測という。
【０３７１】
インタレイヤユニット予測は、図１〜図４で説明した予測部又はインタレイヤ予測部で実行することができる。ここでは、説明の便宜のために、予測部がインタレイヤユニット予測を実行すると説明する。
【０３７２】
例えば、インタレイヤユニット予測が適用される場合、予測部がベースレイヤのユニット情報を取得すると、これに基づいてエンハンスメントレイヤのパーティショニングを実行することができる。
【０３７３】
図１５は、本発明によるインタレイヤユニット情報予測の一例を概略的に説明する図面である。
【０３７４】
図１５の例では、エンハンスメントレイヤの解像度がベースレイヤの解像度より２倍高いと仮定する。
【０３７５】
図１５において、レイヤ０は、ベースレイヤ又は参照レイヤであり、レイヤ１は、エンハンスメントレイヤ又は現在レイヤである。
【０３７６】
図１５を参照すると、レイヤ０のＬＣＵブロック１５１０は、多様なＣＵ、ＰＵ又はＴＵに分割されている。ここでは、このようなＣＵ、ＰＵ及び／又はＴＵの分割情報を、説明の便宜のために、ＣＵ情報又はユニット情報という。
【０３７７】
予測部は、ベースレイヤのＣＵ情報をアップスケーリングした情報である参照ＣＵ情報１５２０を生成することができる。予測部は、参照ＣＵ情報１５２０を利用してレイヤ０のＣＵ情報を導出することができる。
【０３７８】
例えば、参照ＣＵ情報１５２０からベースレイヤのＣＵ情報を導出してレイヤ１に適用する場合は、レイヤ１のＬＣＵ構造として、ＬＣＵ０ １５３０のようなユニット構造が利用することができる。参照ＣＵ情報１５２０を利用しない場合、すなわち、ベースレイヤのＣＵ情報を利用しない場合は、レイヤ１のＬＣＵ構造として、ＬＣＵ１ １５４０のようなユニット構造が利用することができる。
【０３７９】
レイヤ０のＣＵ情報（ユニット情報）を利用することが符号化効率を上げるのに役立つこともあるし、役立たないこともあるため、符号化装置は、レイヤ０のＣＵ情報を使用するかを適応的に通知することができる。
【０３８０】
ここでは、説明の便宜のために、ユニット情報がＣＵ、ＰＵ、ＴＵの分割情報であると説明したが、ＣＵ、ＰＵ、ＴＵのパーティション構造以外にＣＵ、ＰＵ、ＴＵに対する情報を含むことができる。すなわち、ベースレイヤのＣＵ情報は、ツリー構造又はパーティショニングに対する情報であってもよいし、ＰＵ情報（スキップモードか、又はノンスキップモードか、予測方向、動きベクトル、参照インデクス等）であってもよいし、両方であってもよい。
【０３８１】
例えば、インタレイヤユニット予測がツリー／パーティショニング情報の予測に対するものである場合、下記のようなシンタックスを利用することができる。
【０３８２】
表４９は、本発明による、スケーラブル拡張レイヤに対するスライスデータシンタックスの一例を示す。
【表６４】
2015512216.tif 000066
【０３８３】
表５０は、本発明による、スケーラブル拡張レイヤに対する符号化ツリーシンタックスの一例を示す。
【表６５】
2015512216.tif 000067
【０３８４】
ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が１の場合、ベースレイヤ（参照レイヤ又はレイヤ０）のツリー情報をそのまま使用するということを指示する。ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が０の場合、ベースレイヤのツリー情報を使用しないということを指示する。
【０３８５】
ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇに対する理解のために、図５を参照することができる。もし、ｂｌ_ｔｒｅｅ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が１の場合、ベースレイヤのツリー情報がＣＵ情報アップスケーリングによってエンハンスメントレイヤ（現在レイヤ又はレイヤ１）の解像度に合うようにアップスケーリングされる。したがって、現在ＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）のｓｐｌｉｔ_ｃｏｄｉｎｇ_ｕｎｉｔ_ｆｌａｇ値は、アップスケーリングされたベースレイヤの分割情報と同じ値に導出することができる。
【０３８６】
ＢＬＳｐｌｉｔＩｎｆｏ[ｘ０][ｙ０]は、アップスケーリングされたＣＵ情報に分割情報が存在する場合は、１の値を有し、アップスケーリングされたＣＵ情報に分割情報が存在しない場合は、０の値を有する。
【０３８７】
例えば、エンハンスメントレイヤの解像度がベースレイヤの解像度の２倍であり、エンハンスメントレイヤとベースレイヤのＣＵ深度が同じ場合、アップサンプリングされたベースレイヤの分割情報は、エンハンスメントレイヤの分割情報より深度が１ステップ低くなる。
【０３８８】
もし、ベースレイヤに分割情報が存在しない場合、ＢＬＳｐｌｉｔＩｎｆｏを０に設定し、エンハンスメントレイヤのみのための追加情報（例えば、ｓｐｌｉｔ_ｃｏｄｉｎｇ_ｕｎｉｔ_ｆｌａｇ）を送信することによって、アップスケーリングされたベースレイヤから予測される場合の分割情報より詳細な分割情報を知らせることができる。
【０３８９】
同様な方法をＴＵにも適用することができる。例えば、所定のフラグ程度を使用して現在レイヤに対するＴＵ分割情報を処理するようにすることができる。
【０３９０】
表５１は、本発明による、スケーラブル拡張において符号化ユニットシンタックスの一例を示す。表５１の例では、ｂｌ_ｔｕ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇというフラグを使用して現在レイヤのためのＴＵ分割情報送信を省略することができる。
【表６６】
2015512216.tif 000068
【０３９１】
表５２は、本発明による、スケーラブル拡張において、変換ツリーシンタックスの一例を示す。
【表６７】
2015512216.tif 000069
【０３９２】
前述したように、表５１及び表５２において、ｂｌ_ｔｕ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が１の場合、ベースレイヤのアップスケーリングされたＴＵ分割情報を現在レイヤでそのまま使用することができる。ｂｌ_ｔｕ_ｉｎｆｏ_ｓｋｉｐ_ｆｌａｇの値が０の場合、現在レイヤのためのＴＵ分割情報が符号化装置から独立的に送信することができる。
【０３９３】
一方、インタレイヤユニット予測を適用するにあたって、ＣＵ／ＰＵ／ＴＵの情報を組み合わせて使用することもできる。発明の理解のために、ここでは、ベースレイヤとエンハンスメントレイヤとの間の空間比（ｓｐａｔｉａｌ ｒａｔｉｏ）が２の場合、すなわち、２レイヤの解像度の差が２倍である場合を例として説明する。
【０３９４】
図１６は、本発明によってインタレイヤユニット予測を適用する一例を概略的に説明する図面である。
【０３９５】
図１６では、インタレイヤユニット予測を適用するとき、ベースレイヤ構造をリサンプリングする方法に対して説明する。
【０３９６】
図１６（ａ）は、ベースレイヤのＣＵ及びＰＵ構造を示す。
【０３９７】
図１６（ａ）において、ベースレイヤブロック１６００は、イントラ符号化されたブロックであり、分割領域１６２０は、Ｎ×Ｎパーティションであり、残りの領域は、２Ｎ×２Ｎパーティションであると仮定する。
【０３９８】
図１６（ａ）において、参照ブロック１６１０のＣＵ／ＰＵ情報をエンハンスメントレイヤで使用するために、２倍のアップサンプリングを実行すると、ベースレイヤのパーティション構造をどのレベル（例えば、ＣＵレベル又はＰＵレベル）まで利用するかによって、図１６（ｂ）のブロック１６３０のようなパーティション構造又は図１６（ｃ）のブロック１６４０のようなパーティション構造を得ることができる。
【０３９９】
このとき、ベースレイヤのＣＵ情報のみをエンハンスメントレイヤで使用しようとする場合、エンハンスメントレイヤのＣＵパーティション構造をブロック１６３０のパーティション構造のように構成することができる。この場合、エンハンスメントレイヤの映像がブロック１６３０より細分化されたパーティション構造を有する場合はカバーすることができない。
【０４００】
それに対し、ベースレイヤのＣＵ情報だけでなく、ＰＵ情報まで共にエンハンスメントレイヤのＣＵパーティション構造に反映する場合、図１６（ｃ）のブロック１６４０のようにベースレイヤで２Ｎ×２Ｎパーティションでなく、より細分化されたパーティション（例えば、Ｎ×Ｎパーティション）を有する部分に対応されるエンハンスメントレイヤの領域でも追加的なＣＵ分割が可能である。したがって、この場合、エンハンスメントレイヤの映像は、より細分化されたパーティション構造を有する。
【０４０１】
一方、図１６では、ベースレイヤがイントラ符号化されたブロックである場合を例として説明したが、ベースレイヤがインタ符号化されたブロックである場合にも同じ方法を適用することができる。
【０４０２】
図１７は、本発明によってインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。
【０４０３】
図１７では、ベースレイヤのブロック１７００がインタ符号化されたブロックであり、領域１７２０は、Ｎ×２Ｎパーティションであり、領域１７３０は、２Ｎ×Ｎパーティションであると仮定する。
【０４０４】
インタ符号化されたブロックの場合は、２Ｎ×２Ｎパーティション、Ｎ×Ｎパーティション外にも、２Ｎ×Ｎパーティション、Ｎ×２Ｎパーティション、２Ｎ×ｎＵパーティション、２Ｎ×ｎＤパーティション、ｎＬ×２Ｎパーティション、ｎＲ×２Ｎパーティションのように多様な形態のパーティションタイプを使用することができる。
【０４０５】
ベースレイヤの参照ブロック１７１０のＣＵ／ＰＵ情報をエンハンスメントレイヤで使用するために、２倍のアップサンプリングを実行すると、ベースレイヤのパーティション構造をどのレベル（例えば、ＣＵレベル又はＰＵレベル）まで利用するかによって、図１７（ｂ）のブロック１７４０のようなパーティション構造又は図１７（ｃ）のブロック１７５０のようなパーティション構造を得ることができる。
【０４０６】
ベースレイヤのＣＵ情報のみをエンハンスメントレイヤで使用しようとする場合、参照ブロック１７１０で領域１７２０及び領域１７３０の構造を除いて、ＣＵのパーティション構造のみをアップサンプリングしてエンハンスメントレイヤのＣＵパーティション構造を図１７（ｂ）のブロック１７４０のように構成することができる。
【０４０７】
また、ベースレイヤのＰＵ情報までエンハンスメントレイヤのＣＵパーティション構造に反映しようとする場合は、ベースレイヤで２Ｎ×２Ｎパーティションでないパーティション（例えば、領域１７２０、領域１７３０のパーティション）を有する部分に対応するエンハンスメントレイヤの領域に対して、図１７（ｃ）のように追加的なＣＵ分割が可能である。
【０４０８】
すなわち、図１６及び図１７において、ベースレイヤのＰＵ情報までエンハンスメントレイヤのＣＵパーティション構造に反映しようとする場合は、ベースレイヤでＰＵパーティショニングがある領域に対応するエンハンスメントレイヤの領域でＣＵ分割を行うことができる。
【０４０９】
一方、エンハンスメントレイヤでベースレイヤのパーティション構造を選択的に使用する方法を適用することもできる。
【０４１０】
図１８は、本発明によってインタレイヤユニット予測を適用する他の例を概略的に説明する図面である。
【０４１１】
図１８では、エンハンスメントレイヤでベースレイヤのパーティション構造を再使用する方法に対して説明する。
【０４１２】
図１８（ａ）のように、ベースレイヤのブロック１８００が２Ｎ×２Ｎ又はＮ×Ｎのように正方形のパーティションを有する場合と、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ又はｎＲ×２Ｎのように長方形のパーティションを有する場合とがあると仮定する。
【０４１３】
この場合、ＣＵ分割（ｓｐｌｉｔ）は、正方形の形態（２Ｎ×２Ｎ又はＮ×Ｎ）のみで行われるため、エンハンスメントレイヤでベースレイヤのパーティション構造を選択的に利用する方法を考慮することができる。
【０４１４】
例えば、図１８（ｂ）のようにパーティション形態に関係なしに、参照ブロック１８１０のパーティション構造を、エンハンスメントレイヤのブロック１８４０に対するパーティション構造として全部反映することができる。
【０４１５】
また、図１８（ｃ）のように、参照ブロックのＰＵパーティション構造のうち、正方形のパーティション１８２０は、エンハンスメントレイヤのＣＵパーティション構造に反映し、参照ブロックのＰＵパーティション構造のうち、長方形のパーティション１８３０は、エンハンスメントレイヤのＣＵパーティション構造に反映しない。
【０４１６】
このように、ＣＵ／ＰＵ／ＴＵ情報を組み合わせて使用する方法は、任意の単位別に選択的な使用が可能である。すなわち、シーケンス、ピクチャのグループ、単一ピクチャ、複数のスライス、単一スライス、複数のＬＣＵ、単一ＬＣＵなどのように任意の単位を基準にして、ベースレイヤのＣＵ／ＰＵ／ＴＵ情報を組み合わせてエンハンスメントレイヤに使用する方法を選択するかを決定することができる。
【０４１７】
適応的インタレイヤテクスチャ予測
【０４１８】
インタレイヤ予測において、フィルタを適用して参照映像の品質を向上させることができる。例えば、インタレイヤイントラ予測を実行する場合、参照映像の品質を向上させるために、参照映像にフィルタを適用することができる。
【０４１９】
例えば、空間スケーラビリティの場合、下位レイヤのテクスチャ情報にアップサンプリングフィルタを適用してレイヤ間の解像度を同じく調整した後、調整された下位レイヤのテクスチャ情報を参照映像として利用した。
【０４２０】
このとき、アップサンプリングフィルタが適用された下位レイヤのテクスチャ情報に追加にフィルタリングを適用した後、上位レイヤの予測のための参照映像として使用することができる。本明細書では、この予測方法を適応的インタレイヤテクスチャ予測と表示する。
【０４２１】
図１９は、本発明によって適応的インタレイヤテクスチャ予測を実行する方法の一例を概略的に説明する図面である。
【０４２２】
図１９を参照すると、テクスチャ予測部１９１０は、図１のテクスチャ予測部に対応する。したがって、テクスチャ予測部は、テクスチャ予測と共に、必要な場合、再スケーリングを実行することができる。
【０４２３】
ベースレイヤにおいて、フィルタリング部１９５０によって適用されるフィルタリングは、ダウンコンバータ１９４０でダウンコンバーティングされた入力シーケンスとの差を減らすためである。
【０４２４】
エンハンスメントレイヤにおいて、アップサンプリング部１９３０によってアップサンプリングされたテクスチャがフィルタリング部１９２０でフィルタリングすることは、アップサンプリングされたベースレイヤのテクスチャと入力シーケンスとの間のエラーを減らすためである。
【０４２５】
このとき、適用されるフィルタは、前述したような目的を達成するためのフィルタであれば何でもよい。例えば、フィルタリング部１９２０で適用されるフィルタは、符号化装置／復号装置で所定のタブ数と係数で予め特定されているフィルタであってもよいし、フィルタパラメータ（タブ数、係数等）が適応的に通知されるフィルタであってもよい。
【０４２６】
適応的インタレイヤテクスチャ予測を使用する場合、参照映像の品質向上によって符号化効率が向上することができる。
【０４２７】
適応的インタレイヤテクスチャ予測を適用する場合、参照映像の品質は向上する一方、複雑度が増加し、追加的なフィルタパラメータの符号化／復号が必要である。したがって、状況（例えば、符号化装置と復号装置の性能、入力シーケンスとアップサンプリングされたベースレイヤテクスチャとの間のエラー等）によって適応的インタレイヤテクスチャ予測を使用するかどうかを決定することができる。
【０４２８】
したがって、フィルタリング部１９２０で適用されるフィルタを適応的に符号化／復号ループで適用されるフィルタということができる。説明の便宜のために、本明細書では、フィルタリング部１９２０で適用するフィルタをインタレイヤ適応ループフィルタ（ＡＬＦ）という。符号化装置／復号装置がループ内フィルタとしてのＡＬＦを利用する場合は、ループ内フィルタとしてのＡＬＦをインタレイヤＡＬＦとして使用することもできる。
【０４２９】
適応的インタレイヤテクスチャ予測を使用するためには、インタレイヤＡＬＦの適用可否を指示するフラグが必要である。インタレイヤＡＬＦの適用可否を指示するフラグをｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇとする。
【０４３０】
ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇの値が０の場合、インタレイヤＡＬＦを適用しないことを指示し、ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇの値が１の場合、インタレイヤＡＬＦを適用することを指示する。
【０４３１】
ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇは、シーケンスパラメータセットに定義することができる。
【０４３２】
表５３は、本発明によって適応的インタレイヤテクスチャ予測を適用するためのシーケンスパラメータセットの一例を示す。
【表６８】
2015512216.tif 000070
【０４３３】
ｉｎｔｅｒ_ｌａｙｅｒ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｅｎａｂｌｅｄ_ｆｌａｇは、シーケンスパラメータセットでないスライスヘッダに定義してもよい。
【０４３４】
表５４は、本発明によって適応的インタレイヤテクスチャ予測を適用するためのスライスヘッダの一例を示す。
【表６９】
2015512216.tif 000071
【０４３５】
符号化装置と復号装置がループ内フィルタとしてのＡＬＦを使用する場合、ピクチャパラメータセットでＡＬＦの使用のために使用するシンタックスをインタレイヤＡＬＦにも同じく適用することができる。
【０４３６】
表５５は、本発明によって適応的インタレイヤテクスチャ予測を適用するためのピクチャパラメータセットシンタックスの一例を示す。
【表７０】
2015512216.tif 000072
【０４３７】
表５５において、ｓｈａｒｅｄ_ｐｐｓ_ｉｎｆｏ_ｅｎａｂｌｅｄ_ｆｌａｇの値が１の場合、インタレイヤＡＬＦのパラメータセットを使用することができる。表５５と違って、ループ内フィルタとしてのＡＬＦと別途に、インタレイヤＡＬＦの適用のためのフラグを使用する方法も適用可能である。
【０４３８】
表５５は、本発明によってｓｈａｒｅｄ_ｐｐｓ_ｉｎｆｏ_ｅｎａｂｌｅｄ_ｆｌａｇをインタレイヤＡＬＦに適用する場合、スライスデータシンタックスの例を示す。
【表７１】
2015512216.tif 000073
【０４３９】
インタレイヤフィルタパラメータ予測
【０４４０】
ループフィルタリング過程で適用可能なフィルタとして、デブロッキングフィルタ、ＳＡＯ及びＡＬＦの３種類がある。
【０４４１】
ループフィルタとして、３種類のフィルタを全部適用することもあるし、一部のみを適用することもある。例えば、デブロッキングフィルタのみを適用することもできるし、デブロッキングフィルタとＳＡＯのみを適用することもできる。
【０４４２】
符号化装置は、復元映像が入力映像に最も近くなるようにフィルタパラメータを決定し、決定されたフィルタパラメータを復号装置に送信することができる。したがって、スケーラブル符号化の特性上、ベースレイヤとエンハンスメントレイヤに使われる映像が相当類似するため、フィルタパラメータが二つのレイヤ間で類似する可能性が高い。
【０４４３】
したがって、ベースレイヤで使用したパラメータをエンハンスメントレイヤで再使用する方法を考慮することができる。これをインタレイヤフィルタパラメータ予測という。
【０４４４】
インタレイヤフィルタパラメータ予測は、図１〜図４の予測部又はインタレイヤ予測部で実行することもできるし、エンハンスメントレイヤのフィルタ部で実行することもできる。
【０４４５】
図２０は、本発明によるインタレイヤフィルタパラメータ予測に対して概略的に説明する図面である。
【０４４６】
図２０を参照すると、ベースレイヤのループ内フィルタリング部２０２０で使用したフィルタパラメータを現在レイヤのループ内フィルタリング部２０１０で再使用することができる。
【０４４７】
ＳＡＯパラメータは、適応パラメータセットで送信することができる。ＡＬＦのパラメータの場合も適応パラメータセットで送信することができる。
【０４４８】
表５７は、本発明による、スケーラブル拡張において適応パラメータセットの例を示す。
【表７２】
2015512216.tif 000074
【０４４９】
ａｐｓ_ｉｄは、スライスヘッダで参照される適応パラメータセットを識別する。ａｐｓ_ｉｄの値は、０以上ＴＢＤ以下の値を有し、レベル／プロファイリングに依存する。
【０４５０】
ａｐｓ_ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｆｌａｇの値が１の場合、現在適応パラメータセットで参照するスライスに対してＳＡＯがオンであることを特定する。ａｐｓ_ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｆｌａｇの値が０の場合、現在適応パラメータセットで参照するスライスに対してＳＡＯがオフであることを特定する。活性化された適応パラメータセットがない場合、ａｐｓ_ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｆｌａｇ値は、０に推定される。
【０４５１】
ａｐｓ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｆｌａｇの値が１の場合、現在適応パラメータセットで参照するスライスに対してＡＬＦがオンであることを特定する。ａｐｓ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｆｌａｇの値が０の場合、現在適応パラメータセットで参照するスライスに対してＡＬＦがオフであることを特定する。活性化された適応パラメータセットがない場合、ａｐｓ_ａｄａｐｔｉｖｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ｆｌａｇの値は、０に推定される。
【０４５２】
ａｐｓ_ｃａｂａｃ_ｕｓｅ_ｆｌａｇの値が１の場合、ｓａｏ_ｐａｒａｍ（）とａｌｆ_ｐａｒａｍ（）に対してＣＡＢＡＣ復号過程が利用され、ａｐｓ_ｃａｂａｃ_ｕｓｅ_ｆｌａｇの値が０の場合、ｓａｏ_ｐａｒａｍ（）とａｌｆ_ｐａｒａｍ（）に対してＣＡＶＬＣ復号過程が利用される。
【０４５３】
ａｐｓ_ｃａｂａｃ_ｉｎｉｔ_ｉｄｃは、ＳＡＯとＡＬＦのコンテキスト変数に対する初期化プロセスで利用される初期化テーブルを決定するインデクスを特定する。ａｐｓ_ｃａｂａｃ_ｉｎｉｔ_ｉｄｃの値は、０以上２以下の範囲にある。
【０４５４】
ａｐｓ_ｃａｂａｃ_ｉｎｉｔ_ｑｐ_ｍｉｎｕｓ２６は、量子化パラメータ−２６値を特定する。このとき、量子化パラメータは、ＳＡＯとＡＬＦのコンテキスト変数に対する初期化プロセスに利用される。
【０４５５】
ａｌｆ_ｄａｔａ_ｂｙｔｅ_ｃｏｕｎｔとｓａｏ_ｄａｔａ_ｂｙｔｅ_ｐｏｉｎｔは、バイト数を特定する。
【０４５６】
ｂａｓｅ_ｐｒｅｄ_ａｌｆ_ｐａｒａｍ_ｆｌａｇの値が１の場合、ベースレイヤで使われたＡＬＦパラメータが現在レイヤに使われるということを特定する。ｂａｓｅ_ｐｒｅｄ_ａｌｆ_ｐａｒａｍ_ｆｌａｇの値が０の場合、現在レイヤに対するＡＬＦパラメータが現在レイヤに使われるということを特定する。
【０４５７】
ｂａｓｅ_ｐｒｅｄ_ｓａｏ_ｐａｒａｍ_ｆｌａｇの値が１の場合、ベースレイヤで使われたＳＡＯパラメータが現在レイヤに使われるということを特定する。ｂａｓｅ_ｐｒｅｄ_ｓａｏ_ｐａｒａｍ_ｆｌａｇの値が０の場合、現在レイヤに対するＳＡＯパラメータが現在レイヤに使われないということを特定する。
【０４５８】
インタレイヤ差分ピクチャ符号化
【０４５９】
ベースレイヤの復元映像をＲBLとし、ＲBLをエンハンスメントレイヤの解像度に合わせてアップサンプリングさせた映像をＵＲBLとする。そして、エンハンスメントレイヤの復元映像をＲELとする。
【０４６０】
復元映像は、ループ内フィルタリングを適用する前の映像であってもよい。また、復元映像は、ループ内フィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ、ｓａｍｐｌｅ ａ ｄａｐｔｉｖｅ ｏｆｆｓｅｔ ｆｉｌｔｅｒ及び／又はａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）のうち、一部を適用した後の映像であってもよい。さらに、復元映像は、ループ内フィルタの全部を適用した後の映像であってもよい。
【０４６１】
ここで、ＲELからＵＲBLの値を引いた差分映像をＤとすると、Ｄ映像のドメイン（ｄｏｍａｉｎ）で独立的な符号化／復号を実行することができる。本明細書では、この方法をインタレイヤ差分ピクチャ符号化又はインタレイヤ差分モード（ＩＬ−Ｄｉｆｆ ｍｏｄｅ）という。
【０４６２】
インタレイヤ差分モードは、シーケンス単位、ピクチャ単位、スライス単位、ＬＣＵ（Ｌａｒｇｅｓｔ ＣＵ）単位、符号化ユニット（ＣＵ）単位又は予測ユニット（ＰＵ）単位に適用することができる。インタレイヤ差分モードを適用しようとする処理単位で、インタレイヤ差分モードを使用するかを知らせるフラグが符号化装置から復号装置に送信することができる。
【０４６３】
インタレイヤ差分モードが適用された処理単位に対しては、他のスケーラビリティを利用した符号化（符号化／復号）は実行せずに、単一レイヤ符号化（符号化／復号）方法のみを利用することもできる。この場合、他のスケーラビリティを利用した符号化を実行するかどうかを指示するためのビットを節約することができる。
【０４６４】
インタレイヤ差分モードは、図１〜図４の予測部又はインタレイヤ予測部で実行することができる。ここでは、説明の便宜のために、予測部から実行すると説明する。
【０４６５】
（１）インタレイヤ差分モードに対するイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ＩＬ−Ｄｉｆｆ ｍｏｄｅ）
【０４６６】
図２１は、本発明によってインタレイヤ差分モードを適用する場合、イントラ予測を実行する方法を概略的に説明する図面である。
【０４６７】
図２１を参照すると、エンハンスメントレイヤのピクチャ２１００は、現在ブロック２１１５前後の復元領域２１０５と未復元領域２１１０を含む。復元領域２１０５から復元映像ＲELを得ることができる。エンハンスメントレイヤのピクチャ２１００に対する復元が完了すると、ピクチャ２１００が復元映像ＲELになることができる。
【０４６８】
一方、ベースレイヤの復元映像ＲBL２１２０をアップサンプリングした映像ＵＲBL２１２５は、現在ブロック２１１５に対応するブロックＰBL２１３０を含む。
【０４６９】
符号化過程において、予測部（符号化装置の予測部）は、式４のようにベースレイヤの復元映像とエンハンスメントレイヤの復元映像との間の差分Ｄを導出することができる。
【０４７０】
（式４）
Ｄ＝ＲEL−ＵＲBL
【０４７１】
式４において、ＲELは、まだ復元されない領域２１１０の存在によって、デブロッキングフィルタ、ＳＡＯ又はＡＬＦなどのようなループ内フィルタが適用されない状態の映像を使用することもできる。
【０４７２】
ベースレイヤのピクチャ１２２０は、すべての領域が復元された状態であるため、ＲBLは、ループ内フィルタが適用された状態の復元映像であってもよいし、ループ内フィルタの一部が適用された状態の復元映像であってもよいし、ループ内フィルタが適用されない状態の復元映像であってもよい。
【０４７３】
予測部は、差分映像Ｄ２１４０で、未復元領域２１５０を除いて、復元領域２１４５のピクセル値を参照し、現在ブロック２１５５に対してイントラ予測を実行することができる。
【０４７４】
復号過程において、予測部（復号装置の予測部）は、現在ブロックと同一位置に存在するＵＲBL内のブロック値ＰBLを利用して式５のように現在ブロックを復元することができる。
【０４７５】
（式５）
ＲEL＝ＰD＋ＰBL＋ＲＥＳ
【０４７６】
式５において、ＰDは、差分映像Ｄの復元された領域からイントラ予測を実行して生成された予測ブロックであり、ＲＥＳは、レジデュアルブロックである。
【０４７７】
（２）インタレイヤ差分モードに対するインタ予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｆｏｒ ＩＬ−Ｄｉｆｆ ｍｏｄｅ）
【０４７８】
インタレイヤ差分モードを適用するとき、現在ブロックに対するインタ予測を実行するために、予測部は、現在ピクチャの参照ピクチャに対する差分映像ＤRを生成する。例えば、予測部は、参照ピクチャのエンハンスメントレイヤピクチャに対する復元映像と参照ピクチャのベースレイヤピクチャに対する復元映像とを利用し、現在ピクチャの参照ピクチャに対する差分映像ＤRを生成する。
【０４７９】
予測部は、参照ピクチャの差分映像ＤRに基づいて現在ブロックの差分映像ドメインで予測ブロックＰDを生成することができる。
【０４８０】
予測部は、予測ブロックを利用して式６のように現在ブロックを復元することができる。
【０４８１】
（式６）
ＲEL＝ＰD＋ＰBL＋ＲＥＳ
【０４８２】
式６において、ＲELは、エンハンスメントレイヤで復元された現在ブロックである。ＰBLは、ＵＲBL内で現在ブロックと同一位置に存在するブロックであり、ＲＥＳは、レジデュアルブロックである。
【０４８３】
参照映像の差分映像ＤRは、予め生成されて復号ピクチャバッファ（ＤＰＢ）に記憶することができる。ＤＰＢは、図１及び図３で説明したメモリに対応することができる。
【０４８４】
また、参照映像の差分映像ＤRは、ＲELを生成するたびに、現在ブロックの動き情報によって現在ブロックの復元のために必要な位置に特定されたブロックに対して算出することもできる。
【０４８５】
インタレイヤ差分モードに対するイントラ予測の場合と違って、インタレイヤ差分モードに対するインタ予測では、参照ピクチャに対する差分映像を生成するとき、エンハンスメントレイヤで復元された参照ピクチャとしてループ内フィルタが適用されない状態の復元ピクチャだけでなく、ループ内フィルタの一部又は全部が適用された状態の復元ピクチャを利用することもできる。
【０４８６】
本明細書では、説明の便宜のために、スケーラブルビデオ符号化がサポートされるマルチレイヤ構造であり、レイヤごとに特定時点（例えば、ピクチャ順カウント（ＰＯＣ）又はアクセスユニット（ＡＵ））に復元されるサンプルのアレイを‘ピクチャ’と表現した。
【０４８７】
これと関連し、復号されて出力されるレイヤ（現在レイヤ）で特定時点に復元された又は復元される全体サンプルアレイをピクチャといい、参照されるレイヤの復元された又は復元されるサンプルアレイと区分することもできる。参照されるレイヤで特定時点に復元された又は復元されるサンプルアレイは、リプリゼンテーション、参照レイヤピクチャ、参照レイヤサンプルアレイ、参照レイヤテクスチャなどとも呼ばれる。この場合、一つのＡＵに対しては現在レイヤで復元された一つの復号（符号化）されたピクチャが出力することができる。
【０４８８】
前述した例示的なシステムにおいて、方法は、一連のステップ又はブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序に又は同時に発生できる。また、前述した実施例は、多様な態様の例示を含む。したがって、本発明は、特許請求の範囲内に属するすべての交替、修正及び変更を含む。
【図５】
2015512216.tif 000075
【図９】
2015512216.tif 000076
【図１３】
2015512216.tif 000077
【図１４】
2015512216.tif 000078
【図１６（ａ）】
2015512216.tif 000079
【図１６（ｂ）】
2015512216.tif 000080
【図１６（ｃ）】
2015512216.tif 000081
【図１７（ａ）】
2015512216.tif 000082
【図１７（ｂ）】
2015512216.tif 000083
【図１７（ｃ）】
2015512216.tif 000084
【図１８（ａ）】
2015512216.tif 000085
【図１８（ｂ）】
2015512216.tif 000086
【図１８（ｃ）】
2015512216.tif 000087
【図１】
2015512216.tif 000088
【図２】
2015512216.tif 000089
【図３】
2015512216.tif 000090
【図４】
2015512216.tif 000091
【図６】
2015512216.tif 000092
【図７】
2015512216.tif 000093
【図８】
2015512216.tif 000094
【図１０】
2015512216.tif 000095
【図１１】
2015512216.tif 000096
【図１２】
2015512216.tif 000097
【図１５】
2015512216.tif 000098
【図１９】
2015512216.tif 000099
【図２０】
2015512216.tif 000100
【図２１】
2015512216.tif 000101
【国際調査報告】
2015512216.tif 000102
2015512216.tif 000103
2015512216.tif 000104
2015512216.tif 000105
2015512216.tif 000106
2015512216.tif 000107