(57)【要約】  本発明は、マルチレイヤ構造におけるスケーラブルビデオコーディング方法であって、本発明によるビデオエンコーディング方法は、参照レイヤのピクチャを復号化して格納するステップと、現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、前記参照ピクチャリストを前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、前記予測サンプルと前記現在ブロックに対する予測ブロックに基づいて前記現在ブロックに対する復元サンプルを誘導するステップと、前記参照レイヤのピクチャのうち、インターレイヤの予測に利用されることができるピクチャを指示する参照情報を送信するステップを含むことができる。【選択図】図４
2016504859.tif 000002
【特許請求の範囲】
【請求項１】
参照レイヤのピクチャがインターレイヤ予測に利用することができるかを指示する参照情報を受信するステップと、
前記参照情報に基づいて前記参照レイヤのピクチャを復号化して格納するステップと、
前記参照情報に基づいて前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、
前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、
前記参照ピクチャリストに基づいて前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、
前記予測サンプルと前記現在ブロックに対するレジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを誘導するステップとを含む、ビデオデコーディング方法。
【請求項２】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されることができ、または前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されることができる場合、前記参照情報は、前記参照レイヤの前記ピクチャがインターレイヤ予測に利用することができると指示する、請求項１に記載のビデオデコーディング方法。
【請求項３】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されない場合、前記参照情報は、前記参照レイヤのピクチャがインターレイヤ予測に利用されないと指示する、請求項１に記載のビデオデコーディング方法。
【請求項４】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照情報がインターレイヤ予測に利用されないと指示したピクチャに対して参照されないとマーキングする、請求項１〜３のいずれか一項に記載のビデオデコーディング方法。
【請求項５】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納する、請求項４に記載のビデオデコーディング方法。
【請求項６】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされたピクチャは、メモリから除去する、請求項４に記載のビデオデコーディング方法。
【請求項７】
前記インターレイヤ参照ピクチャを誘導するステップでは、前記参照レイヤのピクチャのうち、前記参照情報がインターレイヤ予測に利用されると指示したピクチャに基づいて前記インターレイヤ参照ピクチャを誘導する、請求項１〜６のいずれか一項に記載のビデオデコーディング方法。
【請求項８】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照情報がインターレイヤ予測に参照されないと指示したピクチャに対して参照されないとマーキングし、前記インターレイヤ参照ピクチャを誘導するステップでは、参照されないとマーキングされない前記参照レイヤのピクチャから前記インターレイヤ参照ピクチャを誘導する、請求項７に記載のビデオデコーディング方法。
【請求項９】
前記インターレイヤ参照ピクチャは、前記現在ピクチャによりインターレイヤ予測に利用することができると指示されたレイヤで、前記参照情報によりインターレイヤ予測に参照することができると指示されたピクチャから誘導される、請求項７に記載のビデオデコーディング方法。
【請求項１０】
参照情報を受信するステップでは、前記参照情報をスライスセグメントヘッダで受信する、請求項１〜９のいずれか一項に記載のビデオデコーディング方法。
【請求項１１】
参照レイヤのピクチャを復号化して格納するステップと、
前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、
前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、
前記参照ピクチャリストを前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、
前記予測サンプルと前記現在ブロックに対する予測ブロックに基づいて前記現在ブロックに対する復元サンプルを誘導するステップと、
前記参照レイヤのピクチャのうち、インターレイヤの予測に利用することができるピクチャを指示する参照情報を送信するステップと、を含む、ビデオエンコーディング方法。
【請求項１２】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されることができ、または前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されることができる場合、前記参照情報は、前記参照レイヤの前記ピクチャがインターレイヤ予測に利用することができると指示する、請求項１１に記載のビデオエンコーディング方法。
【請求項１３】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されない場合、前記参照情報は、前記参照レイヤのピクチャがインターレイヤ予測に利用されないと指示する、請求項１１に記載のビデオエンコーディング方法。
【請求項１４】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されない場合、前記参照レイヤのピクチャに対して参照されないとマーキングし、前記参照情報は、前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報を含む、請求項１１〜１３のいずれか一項に記載のビデオエンコーディング方法。
【請求項１５】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納する、請求項１４に記載のビデオエンコーディング方法。
【請求項１６】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされたピクチャは、メモリから除去する、請求項１４に記載のビデオエンコーディング方法。
【請求項１７】
前記インターレイヤ参照ピクチャを誘導するステップでは、前記現在ブロックに対する予測に参照することができ、または前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照することができるピクチャに基づいて前記インターレイヤ参照ピクチャを誘導し、前記参照情報は、前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報を含む、請求項１１〜１６のいずれか一項に記載のビデオエンコーディング方法。
【請求項１８】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照情報がインターレイヤ予測に参照されないと指示するピクチャに対して参照されないとマーキングし、前記インターレイヤ参照ピクチャを誘導するステップでは、参照されないとマーキングされない前記参照レイヤのピクチャから前記インターレイヤ参照ピクチャを誘導する、請求項１７に記載のビデオエンコーディング方法。
【請求項１９】
参照情報を送信するステップでは、前記参照情報をスライスセグメントヘッダで送信する、請求項１１〜１８のいずれか一項に記載のビデオエンコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化及び復号化に関し、より具体的には、マルチレイヤ構造において、他のレイヤの情報に基づいて現在レイヤの符号化／復号化対象ピクチャを復元する方法及び装置に関する。
【背景技術】
【０００２】
最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど該当映像に対する情報量も共に増加している。
【０００３】
情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツを多様な品質で利用可能になった。
【０００４】
具体的に、端末装置がサポートできる品質の映像が多様化し、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用するが、他の環境ではより高い品質の映像が利用可能になる。
【０００５】
例えば、携帯端末でビデオコンテンツを購買した消費者が、ホーム内の大画面のディスプレイを介して同じビデオコンテンツをより大きい画面とより高い解像度で鑑賞可能になる。
【０００６】
最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度の放送がサービスされながら、多くのユーザは、既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)のサービスにも関心を寄せている。
【０００７】
したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率のエンコーディング/デコーディング方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。また、このようなスケーラビリティに伴われる多様な映像処理方法が論議されなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、効果的なインターレイヤ予測が実行されるための方法及び装置を提供することを目的とする。
【０００９】
本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャに対する選別的な処理が実行されることができるようにする方法及び装置を提供することを目的とする。
【００１０】
本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャのうち、現在レイヤで参照可能なピクチャを特定することができる方法及び装置を提供することを目的とする。
【００１１】
本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、特定された参照レイヤのピクチャに基づいてインターレイヤ予測を効果的に実行することができる方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一実施形態は、マルチレイヤ構造におけるスケーラブルビデオエンコーディング方法であって、参照レイヤのピクチャを復号化して格納するステップと、前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、前記参照ピクチャリストを前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、前記予測サンプルと前記現在ブロックに対する予測ブロックに基づいて前記現在ブロックに対する復元サンプルを誘導するステップと、前記参照レイヤのピクチャのうち、インターレイヤの予測に利用することができるピクチャを指示する参照情報を送信するステップとを含む。
【００１３】
本発明の他の実施形態は、マルチレイヤ構造におけるスケーラブルビデオデコーディング方法であって、参照レイヤのピクチャがインターレイヤ予測に利用することができるかを指示する参照情報を受信するステップと、前記参照情報に基づいて前記参照レイヤのピクチャを復号化して格納するステップと、前記参照情報に基づいて前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、前記参照ピクチャリストに基づいて前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、前記予測サンプルと前記現在ブロックに対するレジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを誘導するステップとを含む。
【発明の効果】
【００１４】
本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、効果的なインターレイヤ予測を実行することができる。
【００１５】
本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャに対する選別的な処理を実行することができる。
【００１６】
本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャのうち、現在レイヤで参照可能なピクチャを特定することができる。
【００１７】
本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、特定された参照レイヤのピクチャに基づいてインターレイヤ予測を効果的に実行することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。
【図２】本発明によってスケーラブルコーディングを実行するエンコーディング装置でのインターレイヤ予測に対する一例を説明するブロック図である。
【図３】本発明が適用されることができる二つの空間的(ｓｐａｔｉａｌ)レイヤシーケンス構造の一例を概略的に説明する図面である。
【図４】本実施例に対して概略的に説明する図面であり、デコーディング装置に伝達する必要がない、またはデコーディングされる必要がないコーディングされたピクチャを除去する方法の一例を示す。
【図５】メモリ管理の一例に対して概略的に説明する図面である。
【図６】本発明によるメモリ管理の一例を概略的に説明する図面である。
【図７】図６の例において、デコーディング過程に必要でないピクチャを除外した状況を概略的に説明する図面である。
【図８】各ピクチャのデコーディング過程でコンテンツ/メモリ状態／ＤＰＢ状態に対する一例を概略的に説明する図面である。
【図９】本発明によるビデオエンコーディング装置の動作に対する一例を概略的に説明する流れ図である。
【図１０】本発明によるビデオデコーディング装置の動作に対する一例を概略的に説明する流れ図である。
【発明を実施するための形態】
【００１９】
本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものの存在または付加可能性を予め排除しないと理解しなければならない。
【００２０】
一方、本発明で説明される図面上の各構成は、ビデオエンコーディング装置／デコーディング装置において、互いに異なる特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も、本発明の本質から外れない限り本発明の権利範囲に含まれる。
【００２１】
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複説明は省略する。
【００２２】
スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」という)では入力信号をレイヤ別に処理することができる。レイヤによって、入力信号(入力映像)は、解像度(ｒｅｓｏｌｕｔｉｏｎ)、フレームレート(ｆｒａｍｅ ｒａｔｅ)、ビットデプス(ｂｉｔ−ｄｅｐｔｈ)、カラーフォーマット(ｃｏｌｏｒ ｆｏｒｍａｔ)、アスペクト率(ａｓｐｅｃｔ ｒａｔｉｏ)、ビュ(ｖｉｅｗ)のうち少なくとも一つが異なる。
【００２３】
本明細書において、スケーラブルコーディングとは、スケーラブルエンコーディングとスケーラブルデコーディングを含む。
【００２４】
スケーラブルエンコーディング／デコーディングではレイヤ間の差を利用して、即ち、スケーラビリティに基づいて、レイヤ間予測を実行することによって、情報の重複送信／処理を減らして圧縮効率を上げることができる。
【００２５】
図１は、本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。
【００２６】
図１の例では、説明の便宜のために、二つのレイヤで構成されたマルチレイヤ構造を例として説明する。しかし、本発明は、これに限定されるものではなく、本発明が適用されるマルチレイヤ構造は、二つ以上のレイヤを含むことができることに留意する。
【００２７】
図１を参照すると、エンコーディング装置１００は、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含む。
【００２８】
レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。
【００２９】
レイヤ１のエンコーディング部１０５は、予測部１１０、変換／量子化部１１５、フィルタリング部１２０、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)１２５、エントロピーコーディング部１３０、及びＭＵＸ(Ｍｕｌｔｉｐｌｅｘｅｒ)１６５を含む。
【００３０】
レイヤ０のエンコーディング部１３５は、予測部１４０、変換／量子化部１４５、フィルタリング部１５０、ＤＰＢ１５５及びエントロピーコーディング部１６０を含む。
【００３１】
予測部１１０、１４０は、入力された映像に対してインター予測とイントラ予測を実行することができる。予測部１１０、１４０は、所定の処理単位に予測を実行することができる。予測の実行単位は、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ)であってもよく、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ)であってもよく、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ)であってもよい。
【００３２】
例えば、予測部１１０、１４０は、ＣＵ単位にインター予測を適用するか、またはイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位またはＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック(レジデュアル信号)の生成を含む。
【００３３】
インター予測を介しては現在ピクチャの以前ピクチャ及び／または以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することで予測ブロックを生成することができる。イントラ予測を介しては現在ピクチャ内のピクセル情報に基づいて予測を実行することで予測ブロックを生成することができる。
【００３４】
インター予測のモードまたは方法として、スキップ(ｓｋｉｐ)モード、マージ(ｍｅｒｇｅ)モード、ＭＶＰ(Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ)モード方法などがある。インター予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。予測部１１０、１４０は、参照ブロックに基づいて予測ブロックを生成することができる。
【００３５】
予測ブロックは、整数サンプル単位に生成されることもでき、整数以下ピクセル単位に生成されることもできる。このとき、動きベクトルも整数ピクセル単位または整数ピクセル以下の単位に表現されることができる。
【００３６】
インター予測において、動き情報、即ち、参照ピクチャのインデックス、動きベクトル、レジデュアル信号などの情報は、エントロピーエンコーディングされてデコーディング装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。
【００３７】
イントラ予測において、予測モードは、３３個の方向性予測モードと少なくとも二つ以上の非方向性モードを有することができる。非向性性モードは、ＤＣ予測モード及びプレーナモード(Ｐｌａｎａｒモード)を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。
【００３８】
ＰＵは、多様なサイズ／形態のブロックであり、例えば、インター予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、またはＮ×Ｎブロック(Ｎは整数)などである。イントラ予測の場合、ＰＵは、２Ｎ×２ＮブロックまたはＮ×Ｎブロック(Ｎは整数)などである。このとき、Ｎ×Ｎブロック大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小大きさＣＵに対してのみＮ×Ｎブロック大きさのＰＵを利用するように定め、またはイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロックまたはｍＮ×２Ｎブロック(ｍ<１)などのＰＵをさらに定義して使用することもできる。
【００３９】
また、予測部１１０は、レイヤ０の情報を利用してレイヤ１に対する予測を実行することができる。本明細書では、他のレイヤの情報を利用して現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測という。
【００４０】
他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。
【００４１】
また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。
【００４２】
インターレイヤ予測において、現在ブロックは、現在レイヤ(図１の例ではレイヤ１)内の現在ピクチャ内のブロックであって、符号化対象ブロックである。参照ブロックは、現在ブロックの予測に参照されるレイヤ(参照レイヤ、図１の例ではレイヤ０)で現在ブロックが属するピクチャ(現在ピクチャ)と同じアクセスユニット(ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ)に属するピクチャ(参照ピクチャ)内のブロックであって、現在ブロックに対応するブロックである。
【００４３】
インターレイヤ予測の一例として、参照レイヤの動き情報を利用して現在レイヤの動き情報を予測するインターレイヤ動き予測がある。インターレイヤ動き予測によると、参照ブロックの動き情報を利用して現在ブロックの動き情報を予測することができる。
【００４４】
インターレイヤ動き予測を適用する場合、予測部１１０は、参照レイヤの動き情報をスケーリングして利用することもできる。
【００４５】
インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、復元された参照ブロックのテクスチャを現在ブロックに対する予測値として使用することができる。このとき、予測部１１０は、参照ブロックのテクスチャをアップサンプリングによりスケーリングすることができる。
【００４６】
インターレイヤ予測の他の例であるインターレイヤユニット情報予測では、参照レイヤのユニット(ＣＵ、ＰＵ及び／/またはＴＵ)情報を誘導して現在レイヤのユニット情報として使用し、または参照レイヤのユニット情報に基づいて現在レイヤのユニット情報を決定することができる。
【００４７】
このとき、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び／またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。
【００４８】
インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、参照レイヤの誘導されたパラメータを現在レイヤで再使用し、または参照レイヤで使用したパラメータに基づいて現在レイヤに対するパラメータを誘導することができる。
【００４９】
インターレイヤ予測の他の例であるインターレイヤレジデュアル予測では、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在ブロックに対する予測を実行することができる。
【００５０】
インターレイヤ予測の他の例であるインターレイヤ差分予測では、現在レイヤの復元ピクチャと参照レイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分を利用して現在ブロックに対する予測を実行することができる。
【００５１】
インターレイヤ予測の他の例であるインターレイヤシンタックス予測では、参照レイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成することができる。このとき、参照される参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報を含むことができる。
【００５２】
前述されたインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個が利用されることもできる。
【００５３】
ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。
【００５４】
例えば、インターレイヤ予測を現在レイヤに対するインター予測の拡張として適用することもできる。即ち、参照レイヤから誘導された参照ピクチャを現在ブロックのインター予測に参照可能な参照ピクチャに含ませることで、現在ブロックに対するインター予測を実行することもできる。
【００５５】
この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部１１０は、インターレイヤ参照ピクチャを利用して現在ブロックに対するインター予測を実行することができる。
【００５６】
ここで、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャである。したがって、参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合は、サンプリング無しで参照レイヤの復元されたピクチャをインターレイヤ参照ピクチャとして利用することができる。例えば、参照レイヤの復元されたピクチャと現在レイヤの復元されたピクチャでサンプルの幅と高さが同じであり、参照レイヤのピクチャで左上端、右上端、左下端、右下端と、現在レイヤのピクチャで左上端、右上端、左下端、右下端との間のオフセットが０の場合、参照レイヤの復元されたピクチャを再びサンプリングせずに、現在レイヤのインターレイヤ参照ピクチャとして使用することもできる。
【００５７】
また、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャである。
【００５８】
インターレイヤ参照ピクチャを参照ピクチャリストに含み、現在ブロックに対するインター予測を実行する場合、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は、参照ピクチャリストＬ０とＬ１で異なる。例えば、参照ピクチャリストＬ０では、現在ピクチャ以前の短期参照ピクチャの次にインターレイヤ参照ピクチャが位置することができ、参照ピクチャリストＬ１では、参照ピクチャリストの最後にインターレイヤ参照ピクチャが位置することもできる。
【００５９】
ここで、参照ピクチャリストＬ０は、Ｐスライスのインター予測に使われる参照ピクチャリストまたはＢスライスのインター予測で１番目の参照ピクチャリストとして使われる参照ピクチャリストである。参照ピクチャリストＬ１は、Ｂスライスのインター予測に使われる２番目の参照ピクチャリストである。
【００６０】
したがって、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャの順に構成されることができる。
【００６１】
このとき、Ｐスライス(ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大１個の動きベクトル及び参照ピクチャインデックスを利用してインター予測が実行されるスライスである。Ｂスライス(ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大二個の動きベクトル及び参照ピクチャインデックスを利用して予測が実行されるスライスである。これと関連して、Ｉスライス(ｉｎｔｒａ ｓｌｉｃｅ)は、イントラ予測のみが適用されたスライスである。
【００６２】
スライスは、一つ以上のスライスセグメント(ｓｅｇｍｅｎｔ)のシーケンスである。スライスシーケンスは、独立(ｉｎｄｅｐｅｎｄｅｎｔ)スライスセグメントから始める。同じアクセスユニット内で次の独立スライスセグメントより先行する従属(ｄｅｐｅｎｄｅｎｔ)スライスセグメントが存在する場合、スライスは、スライスシーケンスが始められた独立スライスセグメント及び次の独立スライス前の従属スライスセグメントを含む。
【００６３】
スライスセグメントは、タイルスキャンで連続的に整列(ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｏｒｄｅｒｅｄ)され、単一ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニットに含まれているコーディングツリーユニット(Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ：ＣＴＵ)またはコーディングツリーブロック(Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ：ＣＴＢ)のシーケンスである。コーディングツリーユニットは、クワッドツリー(Ｑｕａｄ−Ｔｒｅｅ)構造のコーディングユニットであって、最大大きさコーディングユニット(Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ：ＬＣＵ)である。本明細書では、発明の理解のために、コーディングツリーユニット、最大コーディングユニットを混用して説明することもある。
【００６４】
スライスセグメント内で、スライスセグメントの１番目のコーディングツリーブロック(コーディングツリーユニット)または全てのコーディングツリーブロック(コーディングツリーユニット)に対するデータ要素を含む部分をスライスセグメントヘッドという。このとき、独立スライスセグメントのスライスセグメントヘッドをスライスヘッダという。
【００６５】
スライスは、ＮＡＬユニットの送信単位である。例えば、ＮＡＬユニットは、スライスまたはスライスセグメントで構成することができる。
【００６６】
また、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を実行する場合、参照ピクチャリストは、複数のレイヤで誘導された複数のインターレイヤ参照ピクチャを含むことができる。
【００６７】
複数のインターレイヤ参照ピクチャを含む場合、インターレイヤ参照ピクチャは、参照ピクチャリストＬ０とＬ１で交差配置することもできる。例えば、二つのインターレイヤ参照ピクチャ、即ち、インターレイヤ参照ピクチャＩＬＲＰｉとインターレイヤ参照ピクチャＩＬＲＰｊが現在ブロックのインター予測に使われる参照ピクチャリストに含まれる場合を仮定する。この場合、参照ピクチャリストＬ０において、ＩＬＲＰｉは現在ピクチャ以前の短期参照ピクチャの次に位置し、ＩＬＲＰｊはリストの最後に位置することができる。また、参照ピクチャリストＬ１において、ＩＬＲＰｉはリストの最後に位置し、ＩＬＲＰｊは現在ピクチャ以後の短期参照ピクチャの次に位置することができる。
【００６８】
この場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊの順に構成することができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。
【００６９】
また、二つのインターレイヤ参照ピクチャのうち、一つは、解像度に対するスケーラブルレイヤから誘導したインターレイヤ参照ピクチャであり、他の一つは、異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャである。この場合、例えば、ＩＬＲＰｉが異なる解像度を提供するレイヤから誘導したインターレイヤ参照ピクチャであり、ＩＬＲＰｊが異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャの場合、ビュー(ｖｉｅｗ)を除外したスケーラビリティのみをサポートするスケーラブルビデオコーディングの場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成することができ、参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。
【００７０】
一方、インターレイヤ予測において、インターレイヤ参照ピクチャの情報は、サンプル値のみを利用することもでき、動き情報(動きベクトル)のみを利用することもでき、サンプル値と動き情報を両方とも利用することもできる。予測部１１０は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指示する場合、エンコーディング装置から受信した情報によって、インターレイヤ参照ピクチャのサンプル値のみを利用し、またはインターレイヤ参照ピクチャの動き情報(動きベクトル)のみを利用し、またはインターレイヤ参照ピクチャのサンプル値と動き情報を両方とも利用することができる。
【００７１】
インターレイヤ参照ピクチャのサンプル値のみを利用する場合、予測部１１０は、インターレイヤ参照ピクチャで動きベクトルが特定するブロックのサンプルを現在ブロックの予測サンプルとして誘導することができる。ビュー(ｖｉｅｗ)を考慮しないスケーラブルビデオコーディングの場合、インターレイヤ参照ピクチャを利用するインター予測(インターレイヤ予測)での動きベクトルは、固定値(例えば、０)に設定することができる。
【００７２】
インターレイヤ参照ピクチャの動き情報のみを利用する場合、予測部１１０は、インターレイヤ参照ピクチャで特定される動きベクトルを、現在ブロックの動きベクトルを誘導するための動きベクトル予測子として使用することができる。また、予測部１１０は、インターレイヤ参照ピクチャで特定される動きベクトルを現在ブロックの動きベクトルとして利用することもできる。
【００７３】
インターレイヤ参照ピクチャのサンプルと動き情報を両方とも利用する場合、予測部１１０は、インターレイヤ参照ピクチャで現在ブロックに対応する領域のサンプルとインターレイヤ参照ピクチャで特定される動き情報(動きベクトル)を現在ブロックの予測に利用することができる。
【００７４】
エンコーディング装置は、インターレイヤ予測が適用される場合、参照ピクチャリストでインターレイヤ参照ピクチャを指示する参照インデックスをデコーディング装置に送信することができ、インターレイヤ参照ピクチャからどの情報(サンプル情報、動き情報またはサンプル情報と動き情報)を利用するかを特定する情報、即ち、二つのレイヤ間でインターレイヤ予測に対する依存性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)を特定する情報もデコーディング装置に送信することができる。
【００７５】
変換／量子化部１１５、１４５は、変換ブロック単位にレジデュアルブロックに対する変換を実行することで、変換係数を生成し、変換係数を量子化することができる。
【００７６】
変換ブロックは、サンプルの方形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット(ＴＵ)であり、クワッドツリー(ｑｕａｄｔ ｒｅｅ)構造を有することができる。
【００７７】
変換/量子化部１１５、１４５は、レジデュアルブロックに適用された予測モードとブロックの大きさによって変換を実行することで、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックをＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換し、その他の場合は、レジデュアルブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換することができる。
【００７８】
変換/量子化部１１５、１４５は、変換係数を量子化することで、量子化された変換係数を生成することができる。
【００７９】
変換/量子化部１１５、１４５は、量子化された変換係数をエントロピーコーディング部１３０、１6０に伝達することができる。このとき、変換／量子化部１４５は、量子化された変換係数の２次元アレイを、所定のスキャン順序によって、１次元アレイに再整列してエントロピーコーディング部１３０、１6０に伝達することもできる。また、変換/量子化部１１５、１４５は、インター予測のために、レジデュアルと予測ブロックに基づいて生成された復元ブロックを変換/量子化せずに、フィルタリング部１２０、１５０に伝達することができる。
【００８０】
一方、変換/量子化部１１５、１４５は、必要によって、変換を省略(ｓｋｉｐ)して量子化のみを実行し、または変換と量子化を両方とも省略することもできる。例えば、変換／量子化部１１５、１4５は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
【００８１】
エントロピーコーディング部１３０、１６０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングには、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などのようなエンコーディング方法を使用することができる。
【００８２】
フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)を復元されたピクチャに適用することができる。
【００８３】
デブロッキングフィルタは、復元されたピクチャでブロック間の境界に発生した歪曲を除去することができる。ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対し、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット(Ｂａｎｄ Ｏｆｆｓｅｔ)、エッジオフセット(Ｅｄｇｅ Ｏｆｆｓｅｔ)などの形態に適用される。
【００８４】
フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。
【００８５】
ＤＰＢ１２５、１５５は、フィルタリング部１２０、１５０から復元ブロックまたは復元ピクチャの伝達を受けて格納することができる。ＤＰＢ１２５、１５５は、復元ブロックまたはピクチャを、インター予測を実行する予測部１１０、１４０に提供することができる。
【００８６】
レイヤ０のエントロピーコーディング部１６０で出力される情報とレイヤ１のエントロピーコーディング部１３０で出力される情報は、ＭＵＸ１6５でマルチプレキシングされてビットストリームで出力されることができる。
【００８７】
一方、ここでは、説明の便宜のために、レイヤ１のエンコーディング部１０５がＭＵＸ１６５を含むと説明したが、ＭＵＸは、レイヤ１のエンコーディング部１０５及びレイヤ０のエンコーディング部１３５とは別途の装置またはモジュールであってもよい。
【００８８】
また、ここでは、二つのレイヤで構成されたマルチレイヤ構造でスケーラブルビデオコーディングが実行されることを説明したが、本発明は、これに限定されるものではない。例えば、図１のエンコーディング装置は、二つ以上のレイヤを含むマルチレイヤ構造にも適用することができる。Ｎ個のレイヤで構成されたマルチレイヤ構造に適用される場合、図１のレイヤ０とレイヤ１は、Ｎ個のレイヤのうち、参照関係を示す二つのレイヤである。
【００８９】
このとき、エンコーディング装置は、二つのレイヤ間の参照関係を示す情報をデコーディング装置に送信することができる。例えば、二つのレイヤ間にインターレイヤ予測の依存関係が存在する場合、エンコーディング装置は、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]を送信することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]の値が１の場合、Ｌ番目のレイヤは、Ｍ番目のレイヤを参照して予測されることができる。
【００９０】
図２は、本発明によってスケーラブルコーディングを実行するエンコーディング装置でのインターレイヤ予測に対する一例を説明するブロック図である。
【００９１】
図２を参照すると、デコーディング装置２００は、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含む。
【００９２】
レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。
【００９３】
レイヤ１のデコーディング部２１０は、エントロピーデコーディング部２１５、再整列部２２０、逆量子化部２２５、逆変換部２３０、予測部２３５、フィルタリング部２４０、メモリを含むことができる。
【００９４】
レイヤ０のデコーディング部２５０は、エントロピーデコーディング部２５５、再整列部２６０、逆量子化部２６５、逆変換部２７０、予測部２７５、フィルタリング部２８０、メモリ２８５を含むことができる。
【００９５】
エンコーディング装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ２０５は、レイヤ別に情報をデマルチプレキシングして各レイヤ別デコーディング装置に伝達することができる。
【００９６】
エントロピーデコーディング部２１５、２５５は、エンコーディング装置で使用したエントロピーコーディング方式に対応してエントロピーデコーディングを実行することができる。例えば、エンコーディング装置でＣＡＢＡＣが使われた場合、エントロピーデコーディング部２１５、２５５もＣＡＢＡＣを利用してエントロピーデコーディングを実行することができる。
【００９７】
エントロピーデコーディング部２１５、２５５でデコーディングされた情報のうち、予測ブロックを生成するための情報は、予測部２３５、２７５に提供され、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２０、２６０に入力することができる。
【００９８】
再整列部２２０、２６０は、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングされたビットストリームの情報、即ち、量子化された変換係数をエンコーディング装置で再整列した方法に基づいて再整列することができる。
【００９９】
例えば、再整列部２２０、２６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部２２０、２６０は、現在ブロック(変換ブロック)に適用された予測モード及び／または変換ブロックの大きさに基づいてスキャニングを実行することで、係数(量子化された変換係数)の２次元アレイを生成することができる。
【０１００】
逆量子化部２２５、２６５は、エンコーディング装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することで、変換係数を生成することができる。
【０１０１】
逆変換部２３０、２７０は、変換係数に対してエンコーディング装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部２３０、２７０は、エンコーディング装置で実行されたＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)及びＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)に対して逆ＤＣＴ及び/または逆ＤＳＴを実行することができる。
【０１０２】
エンコーディング装置において、ＤＣＴ及び／またはＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行されることができ、デコーディング装置の逆変換部２３０、２７０は、エンコーディング装置で実行された変換情報に基づいて逆変換を実行することができる。
【０１０３】
例えば、逆変換部２３０、２７０は、予測モード／ブロック大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部２３０、２７０は、イントラ予測が適用された４×４ルマブロックに対して逆ＤＳＴを適用することもできる。
【０１０４】
また、逆変換部２３０、２７０は、予測モード／ブロック大きさに関係なく、特定の逆変換方法を固定的に使用することもできる。例えば、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＣＴのみを適用することもできる。
【０１０５】
逆変換部２３０、２７０は、変換係数または変換係数のブロックを逆変換してレジデュアルまたはレジデュアルブロックを生成することができる。
【０１０６】
また、逆変換部２３０、２７０は、必要によってまたはエンコーディング装置でエンコーディングされた方式によって、変換を省略(ｓｋｉｐ)することもできる。例えば、逆変換２３０、２７０は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
【０１０７】
予測部２３５、２７５は、エントロピーデコーディング部２１５、２５５から伝達された予測ブロック生成関連情報と、メモリ２４５、２８５で提供された以前にデコーディングされたブロック及び／またはピクチャ情報に基づいて現在ブロックに対する予測ブロックを生成することができる。
【０１０８】
現在ブロックに対する予測モードがイントラ予測(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。
【０１０９】
現在ブロックに対する予測モードがインター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャの以前ピクチャまたは以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインター予測を実行することができる。インター予測に必要な動き情報の一部または全部は、エンコーディング装置から受信した情報を確認し、これに対応して誘導することができる。
【０１１０】
インター予測のモードとしてスキップモードが適用される場合は、エンコーディング装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。
【０１１１】
一方、レイヤ１の予測部２３５は、レイヤ１内の情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤ(レイヤ０)の情報を利用してインターレイヤ予測を実行することもできる。
【０１１２】
他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。
【０１１３】
また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。
【０１１４】
インターレイヤ予測において、現在ブロックは、現在レイヤ(図２の例ではレイヤ１)内の現在ピクチャ内のブロックであって、復号化対象ブロックである。参照ブロックは、現在ブロックの予測に参照されるレイヤ(参照レイヤ、図２の例ではレイヤ０)で現在ブロックが属するピクチャ(現在ピクチャ)と同じアクセスユニット(ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ)に属するピクチャ(参照ピクチャ)内のブロックであって、現在ブロックに対応するブロックである。
【０１１５】
インターレイヤ予測の一例として、参照レイヤの動き情報を利用して現在レイヤの動き情報を予測するインターレイヤ動き予測がある。インターレイヤ動き予測によると、参照ブロックの動き情報を利用して現在ブロックの動き情報を予測することができる。
【０１１６】
インターレイヤ動き予測を適用する場合、予測部２３５は、参照レイヤの動き情報をスケーリングして利用することもできる。
【０１１７】
インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、復元された参照ブロックのテクスチャを現在ブロックに対する予測値として使用することができる。このとき、予測部２３５は、参照ブロックのテクスチャをアップサンプリングによりスケーリングすることができる。
【０１１８】
インターレイヤ予測の他の例であるインターレイヤユニット情報予測では、参照レイヤのユニット(ＣＵ、ＰＵ及び／またはＴＵ)情報を誘導して現在レイヤのユニット情報として使用し、または参照レイヤのユニット情報に基づいて現在レイヤのユニット情報を決定することができる。
【０１１９】
このとき、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び／またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。
【０１２０】
インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、参照レイヤの誘導されたパラメータを現在レイヤで再使用し、または参照レイヤで使用したパラメータに基づいて現在レイヤに対するパラメータを誘導することができる。
【０１２１】
インターレイヤ予測の他の例であるインターレイヤレジデュアル予測では、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在ブロックに対する予測を実行することができる。
【０１２２】
インターレイヤ予測の他の例であるインターレイヤ差分予測では、現在レイヤの復元ピクチャと参照レイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分を利用して現在ブロックに対する予測を実行することができる。
【０１２３】
インターレイヤ予測の他の例であるインターレイヤシンタックス予測では、参照レイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成することができる。このとき、参照される参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報を含むことができる。
【０１２４】
前述されたインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個を利用することもできる。
【０１２５】
ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。
【０１２６】
例えば、インターレイヤ予測を現在レイヤに対するインター予測の拡張として適用することもできる。即ち、参照レイヤから誘導された参照ピクチャを現在ブロックのインター予測に参照可能な参照ピクチャに含ませることで、現在ブロックに対するインター予測を実行することもできる。
【０１２７】
予測部２３５は、エンコーディング装置から受信した参照ピクチャインデックスまたは隣接ブロックから誘導した参照ピクチャインデックスが参照ピクチャリスト内でインターレイヤ参照ピクチャを指示する場合、インターレイヤ参照ピクチャを利用したインターレイヤ予測を実行することができる。例えば、予測部２３５は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指示する場合、インターレイヤ参照ピクチャで動きベクトルにより特定される領域のサンプル値を現在ブロックに対する予測ブロックとして誘導することができる。
【０１２８】
この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部２３５は、インターレイヤ参照ピクチャを利用して現在ブロックに対するインター予測を実行することができる。
【０１２９】
ここで、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャである。したがって、参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合は、サンプリング無しで参照レイヤの復元されたピクチャをインターレイヤ参照ピクチャとして利用することができる。例えば、参照レイヤの復元されたピクチャと現在レイヤの復元されたピクチャでサンプルの幅と高さが同じであり、参照レイヤのピクチャで左上端、右上端、左下端、右下端と、現在レイヤのピクチャで左上端、右上端、左下端、右下端との間のオフセットが０の場合、参照レイヤの復元されたピクチャを再びサンプリングせずに、現在レイヤのインターレイヤ参照ピクチャとして使用することもできる。
【０１３０】
また、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャである。インターレイヤ参照ピクチャを参照ピクチャリストに含み、現在ブロックに対するインター予測を実行する場合、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は、参照ピクチャリストＬ０とＬ１で異なる。例えば、参照ピクチャリストＬ０では、現在ピクチャ以前の短期参照ピクチャの次にインターレイヤ参照ピクチャが位置することができ、参照ピクチャリストＬ１では、参照ピクチャリストの最後にインターレイヤ参照ピクチャが位置することもできる。
【０１３１】
ここで、参照ピクチャリストＬ０は、Ｐスライスのインター予測に使われる参照ピクチャリストまたはＢスライスのインター予測で１番目の参照ピクチャリストとして使われる参照ピクチャリストである。参照ピクチャリストＬ１は、Ｂスライスのインター予測に使われる２番目の参照ピクチャリストである。
【０１３２】
したがって、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャの順に構成することができる。
【０１３３】
このとき、Ｐスライス(ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大１個の動きベクトル及び参照ピクチャインデックスを利用してインター予測を実行するスライスである。Ｂスライス(ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大二個の動きベクトル及び参照ピクチャインデックスを利用して予測が実行されるスライスである。これと関連して、Ｉスライス(ｉｎｔｒａ ｓｌｉｃｅ)は、イントラ予測のみが適用されたスライスである。
【０１３４】
また、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を実行する場合、参照ピクチャリストは、複数のレイヤで誘導された複数のインターレイヤ参照ピクチャを含むことができる。
【０１３５】
複数のインターレイヤ参照ピクチャを含む場合、インターレイヤ参照ピクチャは、参照ピクチャリストＬ０とＬ１で交差配置されることもできる。例えば、二つのインターレイヤ参照ピクチャ、即ち、インターレイヤ参照ピクチャＩＬＲＰｉとインターレイヤ参照ピクチャＩＬＲＰｊが現在ブロックのインター予測に使われる参照ピクチャリストに含まれる場合を仮定する。この場合、参照ピクチャリストＬ０において、ＩＬＲＰｉは現在ピクチャ以前の短期参照ピクチャの次に位置し、ＩＬＲＰｊはリストの最後に位置することができる。また、参照ピクチャリストＬ１において、ＩＬＲＰｉはリストの最後に位置し、ＩＬＲＰｊは現在ピクチャ以後の短期参照ピクチャの次に位置することができる。
【０１３６】
この場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊの順に構成することができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。
【０１３７】
また、二つのインターレイヤ参照ピクチャのうち、一つは、解像度に対するスケーラブルレイヤから誘導したインターレイヤ参照ピクチャであり、他の一つは、異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャである。この場合、例えば、ＩＬＲＰｉが異なる解像度を提供するレイヤから誘導したインターレイヤ参照ピクチャであり、ＩＬＲＰｊが異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャの場合、ビュー(ｖｉｅｗ)を除外したスケーラビリティのみをサポートするスケーラブルビデオコーディングの場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成することができ、参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。
【０１３８】
一方、インターレイヤ予測において、インターレイヤ参照ピクチャの情報は、サンプル値のみを利用することもでき、動き情報(動きベクトル)のみを利用することもでき、サンプル値と動き情報を両方とも利用することもできる。予測部２３５は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指示する場合、エンコーディング装置から受信した情報によって、インターレイヤ参照ピクチャのサンプル値のみを利用し、またはインターレイヤ参照ピクチャの動き情報(動きベクトル)のみを利用し、またはインターレイヤ参照ピクチャのサンプル値と動き情報を両方とも利用することができる。
【０１３９】
インターレイヤ参照ピクチャのサンプル値のみを利用する場合、予測部２３５は、インターレイヤ参照ピクチャで動きベクトルが特定するブロックのサンプルを現在ブロックの予測サンプルとして誘導することができる。ビュー(ｖｉｅｗ)を考慮しないスケーラブルビデオコーディングの場合、インターレイヤ参照ピクチャを利用するインター予測(インターレイヤ予測)での動きベクトルは、固定値(例えば、０)に設定することができる。
【０１４０】
インターレイヤ参照ピクチャの動き情報のみを利用する場合、予測部２３５は、インターレイヤ参照ピクチャで特定される動きベクトルを、現在ブロックの動きベクトルを誘導するための動きベクトル予測子として使用することができる。また、予測部２３５は、インターレイヤ参照ピクチャで特定される動きベクトルを現在ブロックの動きベクトルとして利用することもできる。
【０１４１】
インターレイヤ参照ピクチャのサンプルと動き情報を両方とも利用する場合、予測部２３５は、インターレイヤ参照ピクチャで現在ブロックに対応する領域のサンプルとインターレイヤ参照ピクチャで特定される動き情報(動きベクトル)を現在ブロックの予測に利用することができる。
【０１４２】
デコーディング装置は、参照ピクチャリストでインターレイヤ参照ピクチャを指示する参照インデックスをエンコーディング装置から受信し、これに基づいてインターレイヤ予測を実行することができる。また、デコーディング装置は、インターレイヤ参照ピクチャからどの情報(サンプル情報、動き情報、サンプル情報と動き情報)を利用するかを指示する情報、即ち、二つのレイヤ間でインターレイヤ予測に対する依存性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)を特定する情報もエンコーディング装置から受信することができる。
【０１４３】
加算器２９０、２９５は、予測部２３５、２７５で生成された予測ブロックと逆変換部２３０、２７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器２９０、２９５は、復元ブロックを生成する別途のユニット(復元ブロック生成部)と見ることができる。
【０１４４】
加算器２９０、２９５で復元されたブロック及び/またはピクチャは、フィルタリング部２４０、２８０に提供することができる。
【０１４５】
図２の例を参照すると、レイヤ１のフィルタリング部２４０は、レイヤ１の予測部２３５及び／またはレイヤ０のフィルタリング部２８０から伝達されるパラメータ情報を利用して復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１のフィルタリング部２４０は、レイヤ０で適用したフィルタリングのパラメータから予測したパラメータを利用してレイヤ１に対するまたはレイヤ間のフィルタリングを適用することができる。
【０１４６】
メモリ２４５、２８５は、復元されたピクチャまたはブロックを格納して参照ピクチャまたは参照ブロックとして使用可能にする。メモリ２４５、２８５は、格納された復元ピクチャを所定の出力部(図示せず)またはディスプレイ(図示せず)を介して出力することもできる。
【０１４７】
図２の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１のエンコーディング装置のように、逆量子化／逆変換部の一モジュールで再整列、逆量子化、逆変換を順序通りに実行するようにデコーディング装置を構成することもできる。
【０１４８】
また、ここでは、二つのレイヤで構成されたマルチレイヤ構造でスケーラブルビデオデコーディングが実行されることを説明したが、本発明は、これに限定されるものではない。例えば、図２のデコーディング装置は、二つ以上のレイヤを含むマルチレイヤ構造にも適用することができる。Ｎ個のレイヤで構成されたマルチレイヤ構造に適用される場合、図２のレイヤ０とレイヤ１は、Ｎ個のレイヤのうち、参照関係を示す二つのレイヤである。
【０１４９】
このとき、デコーディング装置は、二つのレイヤ間の参照関係を示す情報をエンコーディング装置から受信することができる。例えば、二つのレイヤ間にインターレイヤ予測の依存関係が存在する場合、デコーディング装置は、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]を受信することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]の値が１の場合、Ｌ番目のレイヤは、Ｍ番目のレイヤを参照して予測することができる。
【０１５０】
図１及び図２の例では、予測部として説明したが、発明に対する理解を容易にするために、レイヤ１の予測部は、他のレイヤ(レイヤ０)の情報を利用して予測を実行するインターレイヤ予測部と、他のレイヤ(レイヤ０)の情報を利用せずに予測を実行するインター／イントラ予測部とを含むとみることもできる。
【０１５１】
ビットストリーム内の複数のレイヤをサポートするビデオの符号化及び復号化、即ち、スケーラブルコーディング(ｓｃａｌａｂｌｅ ｃｏｄｉｎｇ)の場合、複数のレイヤ間には強い相関性(ｃｏｒｒｅｌａｔｉｏｎ)が存在するため、このような相関性を利用して予測を実行すると、データの重複要素を除去することができ、映像の符号化性能を向上することができる。
【０１５２】
複数の階層は、解像度、フレームレート、カラーフォーマット、ビュ(ｖｉｅｗ)のうち少なくとも一つが異なる。したがって、インターレイヤ予測時、他のレイヤの情報を利用するために、解像度の調節のためのアップサンプリングまたはダウンサンプリングを実行することができる。
【０１５３】
互いに異なるレイヤ間のインターレイヤ依存性(Ｉｎｔｅｒ−ｌａｙｅｒ ｄｅｐｅｎｄｅｎｃｙ)は、一レイヤのブロック／ピクチャが他のレイヤの他のブロック／ピクチャを参照してデコーディングすることができるかを示す。したがって、マルチレイヤ構造で現在レイヤと参照レイヤとの間に依存性が存在する場合、現在レイヤは、参照レイヤを参照して予測することができる。“レイヤ”は、コーディングデメンションを示す(ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)。コーディングデメンション(ｃｏｄｉｎｇ ｄｉｍｅｎｓｉｏｎ)は、スケーラビリティ(例えば、空間的スケーラビリティ、時間的スケーラビリティ、画質的スケーラビリティ)、ビュー(視点、ｖｉｅｗ)及びデプス(ｄｅｐｔｈ)コーディングレプリゼンテーションなどである。インターレイヤ依存性は、インターレイヤ予測の適用によって考慮されると見なされることもあるが、これに限定するものではない。例えば、前述したインターレイヤイントラ予測、インターレイヤ動き予測、インターレイヤシンタックス予測、インターレイヤレジデュアル予測、インターレイヤユニット予測などをインターレイヤ依存性に含むこともできる。
【０１５４】
特定レイヤでピクチャを処理(ｐｒｏｃｅｓｓｉｎｇ)する時、エンコーディング装置は、Ｒ−Ｄ(Ｒａｔｅ ａｎｄ Ｄｉｓｔｏｒｔｉｏｎ)パフォーマンスに基づいてインターレイヤ予測を使用するかを選択することができる。
【０１５５】
図３は、本発明を適用することができる二つの空間的(ｓｐａｔｉａｌ)レイヤシーケンス構造の一例を概略的に説明する図面である。
【０１５６】
空間的レイヤは、サポートされるスケーラビリティが空間的スケーラビリティであるレイヤを意味する。
【０１５７】
図３を参照すると、黒くて太い矢印は、同じ空間的レイヤ内のピクチャ間の時間的依存性を示す。また、図３において、点線矢印は、互いに異なる空間的レイヤのピクチャ間でインターレイヤ依存性を示す。
【０１５８】
図３の例において、ｘyは、レイヤｙでｘ番目のピクチャを示す。
【０１５９】
図示されているように、図３の例は、インターレイヤ予測がピクチャ０、ピクチャ３、ピクチャ６等で適用される場合を例として説明する。図３の例のような構造で、ピクチャのエンコーディング順序及びエンコーディング装置からデコーディング装置への伝達順序(ｄｅｌｉｖｅｒｙ ｏｒｄｅｒ)は、下記の順序１の通りである。
【０１６０】
順序１：０0 ０1 １0 １1 ２0 ２1 ３0 ３1 ４0 ４1 ５0 ５1 ６0 ６1...
【０１６１】
ピクチャのデコーディング順序及びエンコーディング装置からデコーディング装置に受信される順序も順序１の通りである。
【０１６２】
これと関連して、インターレイヤ予測は、選択的(ｏｐｔｉｏｎａｌｌｙ)に利用することもできる。即ち、最上位レイヤ(ｔｏｐ ｌａｙｅｒ)でないレイヤに存在する全てのピクチャに適用されない。
【０１６３】
例えば、図３の例において、ディスプレイのためのターゲットレイヤが空間的エンハンスメントレイヤ１の場合、空間的ベースレイヤの全てのピクチャがデコーディングされる必要はない。例えば、図３の例において、ピクチャ１0と４0は、デコーディングされる必要がない。その理由は、二つのピクチャ１0と４0は、図示されているように、インターレイヤ予測で参照ピクチャとして使われず、同じ空間的レイヤ(ベースレイヤ)内のピクチャのうち、インターレイヤ予測に利用されるピクチャにより直／間接的に参照されないためである。
【０１６４】
したがって、１0と４0がデコーディングされないとする時、エンコーディング装置からデコーディング装置への伝達順序は、順序１と同じであるが、ピクチャのデコーディング順序は、順序２の通りである。
【０１６５】
順序２：０0 １0 １1 ２0 ２1 ３0 ３1 ４1 ５0 ５1 ６0 ６1...
【０１６６】
順序１と順序２を比較すると、順序２の場合は、ピクチャ１0とピクチャ４0のデコーディングが除外されたことを知ることができる。前述したように、二つのピクチャ１0と４0は、図示されているように、インターレイヤ予測で参照ピクチャとして使われず、同じ空間的レイヤ(ベースレイヤ)内のピクチャのうち、インターレイヤ予測に利用されるピクチャにより直／間接的に参照されないためである。
【０１６７】
順序２のように、インターレイヤ予測に利用されないピクチャとインターレイヤ予測に利用する同じレイヤ内の他のピクチャからも直／間接的に参照しないピクチャをデコーディングしないことによって得るようになる利得は、下記の通りである。
【０１６８】
(１)演算リソースの節約(ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ ｓａｖｉｎｇ)。これらのピクチャを演算／デコーディングすることより、演算リソースを他のピクチャに対する演算／デコーディングに使用することができるため、符号化/復号化プロセスの速度を高めることができる。
【０１６９】
(２)メモリ節約(ｍｅｍｏｒｙ ｓａｖｉｎｇ)。これらのピクチャを演算しないことによって、メモリ空間をこれらのために割り当てる必要がなくて、メモリ空間を節約することができる。
【０１７０】
しかし、これと関連してインターレイヤ予測に利用されることなく、インターレイヤ予測に利用される同じレイヤ内の他のピクチャからも直／間接的に参照されないピクチャをデコーディングしないことによって利得を得ることができるとしても、デコーディング／ディスプレイのためのターゲットレイヤが与えられた時、どのピクチャがデコーディングで省略されるか(ｓｋｉｐｐｅｄ ｆｏｒ ｄｅｃｏｄｉｎｇ)またはどのピクチャが入力シーケンスから除去されるか(ｒｅｍｏｖｅｄ ｆｒｏｍ ｉｎｐｕｔ ｓｅｑｕｅｎｃｅ)を知ることができる方法が必要である。
【０１７１】
以下、本発明によって、どのピクチャのデコーディングが省略されてドロップされることができるか(ｓｋｉｐｐｅｄ/ｄｒｏｐｐｅｄ)を決定する方法に対して説明する。
【０１７２】
インターレイヤ予測に参照されることなく、インターレイヤ予測に利用される同じレイヤ内の他のピクチャからも直／間接的に参照されないピクチャをデコーディングしないための方法は、明示的な情報の送信、デコーディング方法の変更、メモリ管理など、多様な方法に接近することができる。
【０１７３】
実施例Ｉ．明示的な情報の送信に基づくベースレイヤピクチャのデコーディング省略
【０１７４】
本方法によると、それぞれのピクチャに対して明示的に情報を送信して該当ピクチャがインターレイヤ予測に必要か(他のレイヤのインターレイヤ予測に参照されるか)を指示することができる。
【０１７５】
送信される第１の情報は、第１の情報により指示されるレイヤのピクチャが他のレイヤのピクチャに対するインターレイヤ予測に必要かどうか(他のレイヤのピクチャに対するインターレイヤ予測に参照されるか)を指示することができる。
【０１７６】
例えば、第１の情報がｉｌｐ_ｆｌａｇであるとする時、ｉｌｐ_ｆｌａｇの値が１の場合、該当レイヤは、他のレイヤのインターレイヤ予測に必要であると指示することができ、ｉｌｐ_ｆｌａｇの値が０の場合、該当レイヤは、他のレイヤのインターレイヤ予測に必要でないと指示することができる。
【０１７７】
第１の情報は、ＮＡＬユニットヘッダで送信することもでき、スライスヘッダで送信することもできる。また、第１の情報は、一定な制限を有して送信することもできる。例えば、第１の情報がスライスヘッダで送信する場合、一定な制限として、第１の情報の値は、同じピクチャ内のスライスヘッダ毎に同じく設定することもできる。
【０１７８】
送信する第２の情報は、第２の情報が特定するピクチャが、同じレイヤ内の他のピクチャのうち、インターレイヤ予測に必要なピクチャにより直／間接的に参照するかを指示する情報である。
【０１７９】
例えば、第２の情報がｉｌｐ_ｒｅｆ_ｆｌａｇであるとする時、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が１の場合、ｉｌｐ_ｒｅｆ_ｆｌａｇが特定するピクチャは、同じレイヤ内の他のピクチャのうち、インターレイヤ予測に必要なピクチャにより直／間接的に参照するピクチャである。
【０１８０】
第２の情報は、ＮＡＬユニットヘッダで送信することもでき、スライスヘッダで送信することもできる。また、第２の情報は、一定な制限を有して送信することもできる。例えば、第２の情報がスライスヘッダで送信される場合、一定な制限として、第２の情報の値は、同じピクチャ内のスライスヘッダ毎に同じく設定することもできる。
【０１８１】
第１の情報及び第２の情報において、「情報により特定されるピクチャ」は、その情報が適用されるピクチャを意味する。
【０１８２】
第１の情報(例えば、ｉｌｐ_ｆｌａｇ)と第２の情報(例えば、ｉｌｐ_ｒｅｆ_ｆｌａｇ)は、互いに独立的であり、各ピクチャは、互いに異なる値のｉｌｐ_ｒｅｆとｉｌｐ_ｒｅｆ_ｆｌａｇを有することもできる。例えば、ｉｌｐ_ｆｌａｇはｉｌｐ_ｒｅｆ_ｆｌａｇと関係なく独立的な値を有することができ、ｉｌｐ_ｒｅｆ_ｆｌａｇもｉｌｐ_ｆｌａｇの値と関係ない値を有することができる。
【０１８３】
以下、説明の便宜のために、第１の情報の例としてｉｌｐ_ｆｌａｇ、第２の情報の例としてｉｌｐ_ｒｅｆ_ｆｌａｇを挙げて発明の実施例を説明する。
【０１８４】
(実施例Ｉ−１)ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔ Ｌａｙｅｒ)ユニットヘッダでの情報送信
【０１８５】
送信に対する実施例Ｉ−１では、ＮＡＬユニットヘッダで第１の情報と第２の情報を送信することができる。例えば、表１のようにＮＡＬユニットヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを送信することができる。
【０１８６】
【表１】
2016504859.tif 000003
【０１８７】
前述したように、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用することができるかを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在コーディングされたピクチャ(ｃｏｄｅｄ ｐｉｃｔｕｒｅ)が同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示する。
【０１８８】
即ち、本例において、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇは、ＮＡＬユニットヘッダで送信され、このＮＡＬユニットヘッダに対応するピクチャが直／間接的にインターレイヤ予測に利用されるかを指示する。
【０１８９】
デコーディング装置は、ＮＡＬユニットヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象ピクチャが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象ピクチャに対するデコーディングを省略することができる。
【０１９０】
(実施例Ｉ−２)スライスセグメントヘッダでの情報送信
【０１９１】
送信に対する実施例Ｉ−２では、スライスセグメントヘッダで第１の情報と第２の情報を送信することができる。例えば、表２のように、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを送信することができる。
【０１９２】
【表２】
2016504859.tif 000004
【０１９３】
前述したように、ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用されることができるかを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在スライスが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示する。
【０１９４】
即ち、本例において、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇは、スライスセグメントヘッダで送信され、このスライスセグメントヘッダに対応するスライスが直／間接的にインターレイヤ予測に利用されるかを指示する。
【０１９５】
デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスまたはピクチャに対するデコーディングを省略することができる。
【０１９６】
これと違って、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用されることができるかを指示し、このとき、ｉｌｐ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。また、ｉｌｐ_ｒｅｆ_ｆｌａｇも現在コーディングされたピクチャが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示し、このとき、ｉｌｐ_ｒｅｆ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。
【０１９７】
この場合、デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスが属するピクチャに対するデコーディングを省略することができる。
【０１９８】
(実施例Ｉ−３)サブレイヤに対してＶＰＳ(Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)での情報送信
【０１９９】
本例は、二つの方式に第１の情報(ｉｌｐ_ｆｌａｇ)を送信することができる。
【０２００】
方式１では、表３のように、各サブレイヤに対するｉｌｐ_ｆｌａｇの値が他のレイヤ内の同じサブレイヤに対しても同じく設定されることができる。
【０２０１】
【表３】
2016504859.tif 000005
【０２０２】
表３のＶＰＳにおいて、ｖｐｓ_ｍａｘ_ｓｕｂ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、コーディングされたビデオシーケンス(Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ)内に存在できる時間的サブレイヤの最大個数を特定する。表３のＶＰＳにおいて、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ]の値が１の場合、コーディングされたピクチャ／スライスのうち、サブレイヤを特定する時間的ＩＤ(以下、ｔｅｍｐｏｒａｌＩＤ)がｉであるピクチャ／スライスは、インターレイヤ予測に利用することができると指示する。それに対し、即ち、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ]の値が０の場合、コーディングされたピクチャ／スライスのうち、ｔｅｍｐｏｒａｌＩＤがｉであるピクチャ／スライスは、インターレイヤ予測に利用することができないことを指示する。
【０２０３】
方式２の場合、表４のように、各サブレイヤに対するｉｌｐ_ｆｌａｇの値が他のレイヤ内の同じサブレイヤのｉｌｐ_ｆｌａｇ値と異なる。
【０２０４】
【表４】
2016504859.tif 000006
【０２０５】
表４のＶＰＳにおいて、ｖｐｓ_ｍａｘ_ｎｕｍ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、コーディングされたビデオシーケンス(Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ)内に存在できるレイヤの個数を特定し、ｖｐｓ_ｍａｘ_ｓｕｂ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、コーディングされたビデオシーケンス(Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ)内に存在できる時間的サブレイヤの最大個数を特定する。表４の例において、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ][ｊ]の値が１の場合、コーディングされたピクチャ／スライスのうち、レイヤを特定するレイヤＩＤ(以下、ＬａｙｅｒＩＤ)がｉであり、ｔｅｍｐｏｒａｌＩＤがｊであるピクチャ／スライスは、インターレイヤ予測に利用することができると指示する。それに対し、即ち、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ]の値が０の場合、コーディングされたピクチャ／スライスのうち、ＬａｙｅｒＩＤがｉであり、ｔｅｍｐｏｒａｌＩＤがｊであるピクチャ／スライスは、インターレイヤ予測に利用することができないことを指示する。
【０２０６】
方式１を適用する場合は、複雑度を低くして送信量を減らすことができ、方式２を適用する場合は、インターレイヤ予測の効果を向上するための高いプレキシビリティを得ることができる。
【０２０７】
(実施例Ｉ−４)ピクチャとサブレイヤに対するインターレイヤ予測情報送信の組合せ
【０２０８】
本実施例によると、インターレイヤ情報を組合せて送信することができる。具体的に、スライスセグメントヘッダでｉｌｐ_ｆｌａｇ及びｉｌｐ_ｒｅｆ_ｆｌａｇと、サブレイヤでｉｌｐ_ｆｌａｇを共に適用することができる。
【０２０９】
この場合、次のような制限を適用することができる。(１)ＴｅｍｐｏｒａｌＩＤ ｉに対してｉｌｐ_ｆｌａｇの値が１の場合、ＴｅｍｐｏｒａｌＩＤがｉであるスライスセグメントのヘッダでｉｌｐ_ｆｌａｇの値は、１または０である。(２)それに対し、ＴｅｍｐｏｒａｌＩＤ ｉに対してｉｌｐ_ｆｌａｇの値が０の場合、ＴｅｍｐｏｒａｌＩＤがｉであるスライスセグメントのヘッダでｉｌｐ_ｆｌａｇの値は、０である。
【０２１０】
実施例II．デコーディング方法に基づくベースレイヤピクチャのデコーディング省略
【０２１１】
本実施例によると、エンコーディング装置とデコーディング装置との間の伝達／トランスポートシステム及びデコーディング装置の効率を上げることができる。本実施例は、特定レイヤＩＤ、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇを有するコーディングされたピクチャが処理される必要があるかを伝達システムとデコーディング装置が効果的に決定できるようにする。
【０２１２】
具体的には、本実施例IIでは、特定レイヤＩＤ、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇを有するコーディングされたピクチャを含むパッケージ(ｐａｃｋａｇｅ)が伝達される必要があるか、またはドロップされる(ｄｒｏｐｐｅｄ)必要があるかをエンコーディング装置とデコーディング装置との間の伝達(ｄｅｌｉｖｅｒｙ)／トランスポート(ｔｒａｎｓｐｏｒｔ)システムが決定できるようにする。また、本実施例IIでは、特定レイヤＩＤ、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇを有するコーディングされたピクチャがコーディングされる必要があるかをデコーディング装置が決定できるようにする。
【０２１３】
本実施例IIを含む本明細書において、ターゲットレイヤを特定するＴａｒｇｅｔＬａｙｅｒは、ディスプレイされ、またはデコーディング装置により出力される最も高いレイヤのレイヤＩＤである。また、ＬａｙｅｒＩＤは、各コーディングされたピクチャのレイヤＩＤであり、ｉｌｐ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｆｌａｇ値を示し、ｉｌｐ_ｒｅｆ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇ値を示す。
【０２１４】
本実施例によると、特定ＴａｒｇｅｔＬａｙｅｒに対して下記の条件(ｉ)〜(iii )の全てが満たされる場合は、前記ＴａｒｇｅｔＬａｙｅｒに対応するコーディングされたピクチャは、コーディングされない、またはドロップされる。
【０２１５】
条件(ｉ)ＬａｙｅｒＩＤ<ＴａｒｇｅｔＬａｙｅｒ
【０２１６】
条件(ii)ｉｌｐ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)。即ち、ｉｌｐ_ｆｌａｇの値が０。
【０２１７】
条件(iii )ｉｌｐ_ｒｅｆ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)、即ち、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０。
【０２１８】
図４は、本実施例に対して概略的に説明する図面であり、デコーディング装置に伝達する必要がない、またはデコーディングされる必要がないコーディングされたピクチャを除去する方法の一例を示す。
【０２１９】
図４の例を参照すると、ターゲットレイヤが空間的エンハンスメントレイヤ１の場合、コーディングされたピクチャ１0と４0は、デコーディング装置に伝達される必要がない、またはデコーディングされる必要がない。その理由は、ピクチャ１0とピクチャ４0に対して前記条件(ｉ)〜(iii )の全てが満たされるためである。
【０２２０】
即ち、図４の例において、ピクチャ１0とピクチャ４0は、レイヤ０のピクチャであって、ＴａｒｇｅｔＬａｙｅｒよりＬａｙｅｒＩＤが小さいレイヤのピクチャであり、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０である。
【０２２１】
したがって、図４の例において、エンコーディング順序／伝達順序は順序３の通りであり、デコーディング順序は順序４の通りである。
【０２２２】
順序３：０0 ０1 １0 １1 ２0 ２1 ３0 ３1 ４0 ４1 ５0 ５1 ６0 ６1
【０２２３】
順序４：０0 ０1 １1 ２0 ２1 ３0 ３1 ４1 ５0 ５1 ６0 ６1
【０２２４】
したがって、実施例IIによると、エンコーディング装置は、条件(ｉ)〜(iii )の全てが満たされる場合、該当ピクチャを伝達せず、デコーディング装置は、条件(ｉ)〜(iii )の全てが満たされる場合、該当ピクチャをドロップし、またはデコーディングしない。
【０２２５】
実施例III ．メモリ管理に基づくベースレイヤピクチャのデコーディング省略
【０２２６】
本実施例によると、エンコーディング装置とデコーディング装置のメモリ管理(ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ)に基づき、特定レイヤＩＤとｉｌｐ_ｆｌａｇ及びｉｌｐ_ｒｅｆ_ｆｌａｇに対応するコーディングされたピクチャの復元ピクチャをメモリに格納するか、または維持するかを決定することができる。
【０２２７】
また、本実施例によると、エンコーディング装置とデコーディング装置のメモリ管理に基づいて、特定レイヤＩＤとｉｌｐ_ｆｌａｇ及びｉｌｐ_ｒｅｆ_ｆｌａｇに対応するコーディングされたピクチャの復元ピクチャがメモリから除去されなければならないかを決定することができる。
【０２２８】
本実施例III と本明細書において、メモリは、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)である。
【０２２９】
本実施例においても、ターゲットレイヤを特定するＴａｒｇｅｔＬａｙｅｒは、ディスプレイされ、またはデコーディング装置により出力される最も高いレイヤのレイヤＩＤである。また、ＬａｙｅｒＩＤは、各コーディングされたピクチャのレイヤＩＤであり、ｉｌｐ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｆｌａｇ値を示し、ｉｌｐ_ｒｅｆ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇ値を示す。
【０２３０】
本実施例において、与えられた特定ＴａｒｇｅｔＬａｙｅｒ(ｇｉｖｅｎ ｐａｒｔｉｃｕｌａｒ Ｔａｒｇｅｔ Ｌａｙｅｒ)に対し、コーディングされたピクチャの復元ピクチャは、下記の条件(ｉ)〜(iii )の全てが満たされると、メモリ内に維持することができない。
【０２３１】
条件(ｉ)ＬａｙｅｒＩＤ<ＴａｒｇｅｔＬａｙｅｒ
【０２３２】
条件(ii)ｉｌｐ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)。即ち、ｉｌｐ_ｆｌａｇの値が０。
【０２３３】
条件(iii )ｉｌｐ_ｒｅｆ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)、即ち、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０。
【０２３４】
また、本実施例において、与えられた特定ＴａｒｇｅｔＬａｙｅｒに対し、ピクチャの出力順序に対応するＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)がｐｉｃ_ｃｕｒｒであり、ＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄ(即ち、ｌａｙｅｒ_ｉｄ≦ＴａｒｇｅｔＬａｙｅｒ)であるコーディングされたピクチャ(ｃｏｄｅｄ ｐｉｃｔｕｒｅ)をデコーディングした後、下記の条件(ａ)〜(ｄ)の全てが満たされる場合、メモリ内の参照ピクチャのうち該当参照ピクチャは除去される。
【０２３５】
条件(ａ)参照ピクチャのＰＯＣがｐｏｃ_ｃｕｒｒと同じである。
【０２３６】
条件(ｂ)参照ピクチャのＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄより小さい。
【０２３７】
条件(ｃ)参照ピクチャのｉｌｐ_ｆｌａｇがトルー、即ち、参照ピクチャのｉｌｐ_ｆｌａｇ値が１。
【０２３８】
条件(ｄ)参照ピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇがフォールス、即ち、参照ピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇ値が０。
【０２３９】
このとき、条件(ｃ)は、常に適用されてもよく、選択的に適用されてもよい。
【０２４０】
本実施例によると、デコーディング装置は、ＬａｙｅｒＩＤ<ＴａｒｇｅｔＬａｙｅｒであり、ｉｌｐ_ｆｌａｇの値とｉｌｐ_ｒｅｆ_ｆｌａｇの値が０の場合、復元されたピクチャをメモリに格納し、または維持しない。
【０２４１】
また、デコーディング装置は、ＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)がｐｉｃ_ｃｕｒｒであり、ＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄであるピクチャをデコーディングした後、参照ピクチャのうち、ＰＯＣがｐｏｃ_ｃｕｒｒと同じであり、ＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄより小さく、ｉｌｐ_ｆｌａｇ値が１であり、ｉｌｐ_ｒｅｆ_ｆｌａｇ値が０である参照ピクチャをメモリから除去することができる。
【０２４２】
ＴａｒｇｅｔＬａｙｅｒを考慮し、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用する実施例III によるメモリ管理を適用することによって、ビットストリームを処理してデコーディングするのに必要なメモリサイズを減らすことができる。
【０２４３】
図５は、メモリ管理の一例に対して概略的に説明する図面である。
【０２４４】
図５の例を参照すると、本実施例に係るメモリ管理を適用した場合、メモリサイズを減らすことができるということを確認することができる。
【０２４５】
図５の例では、ランダムアクセス設定によるピクチャ構造を例として説明する。図５の例では、４個の時間的レベルを有する二つの空間的スケーラビリティレイヤ(ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ ｌａｙｅｒｓ)の場合を説明する。
【０２４６】
図５の例において、空間的ベースレイヤで時間的レベルが０と１であるピクチャは、インターレイヤ予測に使うことができる。それに対し、空間的ベースレイヤで時間的レベルが２と３であるピクチャは、インターレイヤ予測に使われない。
【０２４７】
このような図５の構造の場合、空間的ベースレイヤ(ｓｐａｔｉａｌ ｂａｓｅ ｌａｙｅｒ)のデコーディングでは、少なくとも６個の参照ピクチャを格納するためにメモリを割り当てなければならない。このとき、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用しない場合、空間的エンハンスメントレイヤ(ｓｐａｔｉｌａ ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)のデコーディングのためには、少なくとも１１個の参照ピクチャを格納するためにメモリを割り当てなければならない。
【０２４８】
図６は、本発明によるメモリ管理の一例を概略的に説明する図面である。
【０２４９】
図６の例は、図５の例と同じピクチャ構造(ｐｉｃｔｕｒｅ ｓｔｒｕｃｔｕｒｅ)を有する。ただし、図６の例は、図５の例とは違って、二つの情報ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用する場合を説明する。
【０２５０】
この二つの情報、即ち、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用することによって、空間的ベースレイヤで時間的レベルが２と３であるピクチャがインターレイヤ予測に基づくエンハンスメントレイヤのデコーディングに必要でなく、したがって、除去されうるということを指示することができる。
【０２５１】
ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用しない図５の例とは違って、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用する図６の例では、図示されているように、空間的ベースレイヤのデコーディング過程で３個のピクチャを格納するためのメモリのみ割り当てればよい。
【０２５２】
図７は、図６の例において、デコーディング過程に必要でないピクチャを除外した状況を概略的に説明する図面である。
【０２５３】
図６の例で説明したように、図５乃至図７の例に係るピクチャ構造において、ベースレイヤのピクチャのうち、時間的レベルが２と３であるピクチャは、エンハンスメントレイヤのデコーディングに使われないため、図７の例のようにメモリから除去することができる。したがって、図６と図７の例で、ベースレイヤに対して要求されるメモリは、図５の例とは違って、３個のピクチャを格納するメモリで十分である。
【０２５４】
図８は、各ピクチャのデコーディング過程でコンテンツ／メモリ状態／ＤＰＢ状態に対する一例を概略的に説明する図面である。図８の例において、各ピクチャは、デコーディング順序によって説明されており、ピクチャ構造は、図６及び図７の例と同じである。
【０２５５】
図８の例においても、ターゲットレイヤＴａｒｇｅｔＬａｙｅｒの値が１であると仮定する。
【０２５６】
Ｘ表示が付与されたピクチャは、ＤＰＢから除去されるピクチャである。
【０２５７】
図８の例から分かるように、本実施例に係るメモリ管理を適用すると、必要なメモリサイズは、１１ピクチャを格納するためのメモリサイズから７ピクチャを格納するためのメモリサイズに減る。
【０２５８】
実施例IV．参照ピクチャリスト構成及び管理に基づくベースレイヤピクチャのデコーディング省略
【０２５９】
本実施例では、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用し、参照ピクチャリストを構成する方法を修正することもできる。
【０２６０】
本実施例によって、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用する場合、スライスの参照ピクチャリストは、下記のように構成されることができる。
【０２６１】
（１）前記スライスのｉｌｐ_ｆｌａｇ値が０の場合、前記スライスに対する参照ピクチャリストは、参照ピクチャセット(Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｔ：ＲＰＳ)のみに基づいて構成することができる。即ち、現在参照ピクチャリスト構成に変化がない。
【０２６２】
（２）前記スライスのｉｌｐ_ｆｌａｇ値が１の場合、前記スライスに対する参照ピクチャリストは、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が１であり、このスライスに対するＲＰＳに含まれている参照ピクチャを含んで構成される。
【０２６３】
参照ピクチャセット(ＲＰＳ)は、ピクチャと連関された参照ピクチャのセット(ｓｅｔ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａ ｐｉｃｔｕｒｅ)であって、デコーディング順序で前記関連したピクチャより先行する全ての参照ピクチャで構成され、この参照ピクチャは、前記関連したピクチャまたは前記関連したピクチャよりデコーディング順序で後行するピクチャのインター予測に利用することができる。
【０２６４】
参照ピクチャセットは、参照ピクチャセットリストを含むことができる。参照ピクチャセットリストは、ＰＯＣ順序上、現在ピクチャに先行する短期参照ピクチャで構成されたリスト、ＰＯＣ順序上、現在ピクチャに後行する短期参照ピクチャで構成されたリスト、及び長期参照ピクチャで構成されたリストを含むことができる。
【０２６５】
参照ピクチャリストは、ＰＯＣ順序上、現在ピクチャに先行する短期参照ピクチャ、ＰＯＣ順序上、現在ピクチャに後行する短期参照ピクチャ、長期参照ピクチャ、及びインターレイヤ参照ピクチャのうち少なくとも一つ以上を含んで構成することができる。
【０２６６】
本実施例IVによって、参照ピクチャリストの構成を修正する方法を具体的に説明する。
【０２６７】
本実施例において、ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は、臨時リスト０で現在スライスに対する参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ０)を示す。ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０は、臨時リスト０で現在スライスに対する参照ピクチャのＰＯＣのリスト(Ｌｉｓｔ ｏｆ ＰＯＣ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ０)を示す。ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ１は、臨時リスト１で現在スライスに対する参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ１)を示す。ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ１は、臨時リスト１で現在スライスに対する参照ピクチャのＰＯＣのリスト(Ｌｉｓｔ ｏｆ ＰＯＣ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ１)を示す。ＮｕｍＰｏｃＳｔＣｕｒｒＢｅｆｏｒｅは、現在スライスに対する短期参照ピクチャのうち、現在スライスのＰＯＣより小さいＰＯＣを有する短期参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｓｈｏｒｔ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｗｈｏｓｅ ＰＯＣ ｉｓ ｓｍａｌｌｅｒ ｔｈａｎ ＰＯＣ ｏｆ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＮｕｍＰｏｃＳｔＣｕｒｒＡｆｔｅｒは、現在スライスに対する短期参照ピクチャのうち、現在スライスのＰＯＣより大きいＰＯＣを有する短期参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｓｈｏｒｔ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｗｈｏｓｅ ＰＯＣ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ＰＯＣ ｏｆ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＮｕｍＰｏｃＬｔＣｕｒｒは、現在スライスに対する長期参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＲｅｆＰｉｃＬｉｓｔ０は、現在スライスに対する参照ピクチャのリストＬ０(Ｌｉｓｔ０ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＲｅｆＰｉｃＬｉｓｔ１は、現在スライスに対する参照ピクチャのリストＬ１(Ｌｉｓｔ１ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ０は、ＲｅｆＰｉｃＬｉｓｔ０に対する修正が必要かを指示する情報である。例えば、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ０の値が１の場合、ＲｅｆＰｉｃＬｉｓｔ０に対する修正が必要であると指示し、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ０の値が０の場合、ＲｅｆＰｉｃＬｉｓｔ０に対する修正が必要でないと指示することができる。ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ１は、ＲｅｆＰｉｃＬｉｓｔ１に対する修正が必要か否かを指示する情報である。例えば、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ１の値が１の場合���ＲｅｆＰｉｃＬｉｓｔ１に対する修正が必要であると指示し、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ１の値が０の場合、ＲｅｆＰｉｃＬｉｓｔ１に対する修正が必要でないと指示することができる。ＩｌｐＲｅｆＬｉｓｔは、ピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇのリスト(Ｌｉｓｔ ｏｆ ｉｌｐ_ｒｅｆ_ｆｌａｇ ｏｆ ｐｉｃｔｕｒｅｓ)である。ＩｌｐＲｅｆＬｉｓｔ[ｘ]は、ピクチャｘのｉｌｐ_ｒｅｆ_ｆｌａｇ(ｉｌｐ_ｒｅｆ_ｆｌａｇ ｏｆ ｐｉｃｔｕｒｅ ｘ)であり、インデックスｘは、ピクチャのＰＯＣを示すことができる。
【０２６８】
本実施例に係る参照ピクチャリストの構成は、下記の通りである。
【０２６９】
各スライスのデコーディングプロセスが開始する時(ａｔ ｔｈｅ ｂｅｇｉｎｎｉｎｇ ｏｆ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＢピクチャに対するＲｅｆＰｉｃＬｉｓｔ１を下記のように構成することができる。
【０２７０】
変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は、Ｍａｘ(ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌ０_ａｃｔｉｖｅ_ｍｉｎｕｓ１＋１,ＮｕｍＰｏｃＴｏｔａｌＣｕｒｒ)に設定され、リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０は、表５のように構成することができる。
【０２７１】
【表５】
2016504859.tif 000007
【０２７２】
したがって、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０は、表６のように構成することができる。
【０２７３】
【表６】
2016504859.tif 000008
【０２７４】
一方、スライスがＢスライスである場合は、２番目の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１を利用することができる。この場合、変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ１をＭａｘ(ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌ０_ａｃｔｉｖｅ_ｍｉｎｕｓ１＋１,ＮｕｍＰｏｃＴｏｔａｌＣｕｒｒ)に設定し、リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ１を表７のように構成することができる。
【０２７５】
【表７】
2016504859.tif 000009
【０２７６】
したがって、スライスがＢスライスの場合、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１は、表８のように構成することができる。
【０２７７】
【表８】
2016504859.tif 000010
【０２７８】
表５乃至表８を参照すると、臨時リスト(ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０、ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ１)は、ｒｅｆ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用する前記（１）及び（２）によって構成され、臨時リストに基づき、参照ピクチャリストの修正がない場合(ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌＸ＝０、Ｘ＝０または１)は臨時リストを参照ピクチャリストにし、参照ピクチャリストの修正がある場合(ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌＸ＝１)は符号化装置から送信されるリストエントリ情報(ｌｉｓｔ_ｅｎｔｒｙ_ｌｘ[ｒＩｄｘ]、ｌｘ＝ｌ０またはｌ１)によって修正された臨時リストを参照ピクチャリストにすることができる。
【０２７９】
以上、本発明によって、シグナリング(情報送信)、デコーディング方法、メモリ管理、参照ピクチャリスト構成に基づいてベースレイヤの参照ピクチャのデコーディングを省略する方法に対して説明した。
【０２８０】
これに追加して、効率的なインターレイヤ予測を実行するために、インターレイヤ予測をピクチャレベルで制御する方法も考慮することができる。
【０２８１】
マルチレイヤビットストリームで、デコーディング複雑度は、最上位でないレイヤ(ｎｏｎ−ｈｉｇｈｅｓｔ)のピクチャまたは出力されないレイヤ(ｎｏｎ−ｏｕｔｐｕｔｔｅｄ)のピクチャがインターレイヤ予測に必要でない場合、軽減されることができる。このとき、前記ピクチャを前述したようにデコーディングしない、または除去することができるためである。
【０２８２】
以下、これに対してピクチャレベルで制御する方法をシグナリング方法とデコーディング方法に基づいて具体的に説明する。
【０２８３】
実施例Ｖ．シグナリング方法に基づくインターレイヤ予測の制御
【０２８４】
(実施例Ｖ−１)
【０２８５】
実施例Ｖ−１では、表９のように、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを送信することができる。
【０２８６】
【表９】
2016504859.tif 000011
【０２８７】
前述したように、ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用することができるか否かを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在スライスが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるか否かを指示する。
【０２８８】
即ち、本例において、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇは、スライスセグメントヘッダで送信され、このスライスセグメントヘッダに対応するスライスが直／間接的にインターレイヤ予測に利用されるか否かを指示する。
【０２８９】
デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスまたはピクチャに対するデコーディングを省略することができる。
【０２９０】
このとき、ピクチャレベルでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値を制御することもできる。
【０２９１】
具体的には、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用することができるか否かを指示し、ｉｌｐ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。
【０２９２】
また、ｉｌｐ_ｒｅｆ_ｆｌａｇも現在コーディングされたピクチャが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるか否かを指示し、ｉｌｐ_ｒｅｆ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。
【０２９３】
この場合、デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスが属するピクチャに対するデコーディングを省略することができる。
【０２９４】
(実施例Ｖ−２)
【０２９５】
実施例Ｖ−２では、表１０のように、スライスセグメントヘッダでインターレイヤ予測に対する情報をシグナリングすることができる。
【０２９６】
【表１０】
2016504859.tif 000012
【０２９７】
表１０において、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用されるか、または現在スライスが同じレイヤのピクチャのうち、インターレイヤ予測に必要な他のピクチャのインター予測に利用され、または参照されるか否かを指示する。即ち、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が１の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インター予測に直／間接的に利用／参照され、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に直／間接的に利用／参照されない。
【０２９８】
ここで、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇをピクチャレベルでより制御することもできる。
【０２９９】
この場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇは、前述と同様に、現在スライスがインターレイヤ予測に利用されるか、または現在スライスが同じレイヤのピクチャのうち、インターレイヤ予測に必要な他のピクチャのインター予測に利用され、または参照されるかを指示する。ただし、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値は、コーディングされたピクチャの全てのスライスヘッダで同じ値を有する(ｔｈａｔ ｔｈｅ ｖａｌｕｅ ｏｆ ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ ｓｈａｌｌ ｂｅ ｔｈｅ ｓａｍｅ ｉｎ ａｌｌ ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒｓ ｏｆ ａ ｃｏｄｅｄ ｐｉｃｔｕｒｅ)。
【０３００】
実施例VI．デコーディング過程に対する影響に基づくインターレイヤ予測の制御
【０３０１】
(実施例VI−１)
【０３０２】
本実施例VI−１において、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、デコーディングされるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ｎｕｈ_ｌａｙｅｒ_ｉｄは、マルチレイヤ構造でレイヤを特定するＮＡＬユニットレベルの情報である。ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、出力されるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ＨｉｇｈｅｓｔＴｉｄは、デコーディングされる最も高い時間的サブレイヤ(ｔｈｅ ｈｉｇｈｅｓｔ ｔｅｍｐｏｒａｌ ｓｕｂ−ｌａｙｅｒ ｔｏ ｂｅ ｄｅｃｏｄｅｄ)を示す。
【０３０３】
実施例VI−１の一例として、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャをデコーディングしない。
【０３０４】
実施例VI−１の他の例として、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスをデコーディングしない。
【０３０５】
実施例VI−１の他の例として、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇｄｍｌ値を０に設定することができる。現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値は、現在ピクチャを出力するかを指示することができる。例えば、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が１の場合、対応するピクチャを出力し、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が０の場合、対応するピクチャを出力しない。したがって、デコーディング装置は、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。
【０３０６】
実施例VI−１の他の例として、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇｄｍｌ値を０に設定することができる。したがって、デコーディング装置は、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。
【０３０７】
(実施例VI−２)
【０３０８】
本実施例VI−２においても、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、デコーディングされるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ｎｕｈ_ｌａｙｅｒ_ｉｄは、マルチレイヤ構造でレイヤを特定するＮＡＬユニットヘッダレベルの情報である。ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、出力されるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ＨｉｇｈｅｓｔＴｉｄは、デコーディングされる最も高い時間的サブレイヤ(ｔｈｅ ｈｉｇｈｅｓｔ ｔｅｍｐｏｒａｌ ｓｕｂ−ｌａｙｅｒ ｔｏ ｂｅ ｄｅｃｏｄｅｄ)を示す。
【０３０９】
実施例VI−２の一例として、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャをデコーディングしない。
【０３１０】
実施例VI−２の他の例として、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスをデコーディングしない。
【０３１１】
実施例VI−２の他の例として、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇを０に設定することができる。現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値は、現在ピクチャを出力するかを指示することができる。例えば、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が１の場合、対応するピクチャを出力し、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が０の場合、対応するピクチャを出力しない。したがって、デコーディング装置は、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。
【０３１２】
実施例VI−２の他の例として、現在スライスに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇを０に設定することができる。したがって、デコーディング装置は、現在スライスに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。
【０３１３】
一方、参照ピクチャリストの構成を介して参照レイヤのデコーディングを制御する方法を説明したが、これと関連してインターレイヤ予測に必要でないピクチャを考慮して参照ピクチャリストを管理することもできる。
【０３１４】
これと関連して、ここでは、本発明によって参照ピクチャリストを管理する方法に対して具体的に説明する。
【０３１５】
実施例VII ．インターレイヤ予測で必要でないピクチャを考慮した参照ピクチャリストの管理
【０３１６】
前述したように、マルチレイヤビットストリームで、デコーディング複雑度は、最上位でないレイヤ(ｎｏｎ−ｈｉｇｈｅｓｔ)のピクチャまたは出力されないレイヤ(ｎｏｎ−ｏｕｔｐｕｔｔｅｄ)のピクチャがインターレイヤ予測に必要でない場合に軽減することができる。この場合は、前記ピクチャを前述したようにデコーディングしない、または除去することができるためである。
【０３１７】
本実施例では、参照ピクチャリストに含まれるインターレイヤ参照ピクチャのうち、現在ピクチャ(現在ブロック)の予測に必要でないピクチャを除去し、「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングする方法を具体的に説明する。
【０３１８】
(実施例VII −１)
【０３１９】
インターレイヤ予測の利用を指示する情報がシーケンスレベルでのみ送信されるとすると、表１１の例を適用することができる。
【０３２０】
【表１１】
2016504859.tif 000013
【０３２１】
表１１において、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ][ｊ]は、マルチレイヤ構造でレイヤ間の依存性(ｄｅｐｅｎｄｅｎｃｙ)を特定する。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ][ｊ]値が０の場合、インデックスｊのレイヤは、インデックスｉであるレイヤに対する予測に直接参照されるレイヤ(ｄｉｒｅｃｔ ｒｅｆｅｒｅｎｃｅ ｌａｙｅｒ)ではない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ][ｊ]の値が１の場合、インデックスｊであるレイヤは、インデックスｉであるレイヤに対する予測に直接参照されるレイヤである。
【０３２２】
表１１において、ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]は、インターレイヤ予測に利用／参照することができるレイヤｉの最大サブレイヤを特定する。ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]の値が０の場合、ＲＡＰ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ)ピクチャのみがインターレイヤ予測に利用することができる。ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]の値が０より大きい場合、ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]−１より小さい、または同じｔｅｍｐｏｒａｌＩＤを有するピクチャは、インターレイヤ予測に利用することができる。
【０３２３】
このような状況で、ｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[参照レイヤのレイヤＩＤ ｌａｙｅｒＩＤ]より大きい、または同じ参照レイヤからのインターレイヤ参照ピクチャは、現在ピクチャの参照ピクチャセットに対するリストに含まれない。即ち、本実施例において、ｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[参照レイヤのレイヤＩＤ ｌａｙｅｒＩＤ]により特定される最大サブレイヤのｔｅｍｐｏｒａｌＩＤより大きい、または同じ参照レイヤのピクチャは、現在ピクチャの参照ピクチャリストに含まれない。
【０３２４】
そのために、インターレイヤ参照ピクチャセットに対する復元過程が下記のように修正することができる。
【０３２５】
インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１２のように誘導することができる。
【０３２６】
【表１２】
2016504859.tif 000014
【０３２７】
上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャは「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去することができる。
【０３２８】
<条件>ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｒｅｆＬａｙｅｒＩｄ[ＬａｙｅｒＩｄＩｎｖｐｓ[Ｎｕｈ_ｌａｙｅｒ_ｉｄ]][ｉ]]より大きい。
【０３２９】
また、前記条件は、下記のように適用することもできる：ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１により特定される最大サブレイヤのｔｅｍｐｏｒａｌＩＤより大きい。
【０３３０】
この場合、デコーディング装置は、該当ピクチャをＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングしてインターレイヤ予測で参照しないようにすることができる。ＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされたピクチャは、インターレイヤ予測に使われる参照ピクチャリストに含まれない。
【０３３１】
(実施例VII −２)
【０３３２】
ピクチャがインターレイヤ予測に必要か否かを指示するための多様な方法の一例として、二つの情報、例えば、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用することができる。
【０３３３】
表１３は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇをシグナリングする一例を示す。
【０３３４】
【表１３】
2016504859.tif 000015
【０３３５】
表１３において、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用することができるか否かを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在コーディングされたピクチャ(ｃｏｄｅｄ ｐｉｃｔｕｒｅ)が同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示する。
【０３３６】
このとき、ｉｌｐ_ｆｌａｇの値が０の場合、ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に参照/利用されないため、現在ピクチャに対するインターレイヤ参照ピクチャのリストに含まれない。
【０３３７】
そのために、インターレイヤ参照ピクチャセットに対する復元過程が下記のように修正することができる。
【０３３８】
インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１４のように誘導することができる。
【０３３９】
【表１４】
2016504859.tif 000016
【０３４０】
二つの情報がインターレイヤ予測を指示するために利用される場合、上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャ(ら)は「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去されることができる。
【０３４１】
<条件>ｉｌｐ_ｆｌａｇの値が０であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０であり、またはｉｌｐ_ｆｌａｇの値が１であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０である。
【０３４２】
したがって、デコーディング装置は、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０の場合、ｉｌｐ_ｒｅｆ_ｆｌａｇが指示するピクチャを「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングし、またはＤＰＢから除去してインターレイヤ予測に参照／利用されないようにすることができる。ＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされたピクチャは、インターレイヤ予測に使われる参照ピクチャリストに含まれない。
【０３４３】
一方、二つの情報(ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇ)を使用せずに一つの情報(ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ)のみを利用してピクチャがインターレイヤ予測に必要か否かを指示することもできる。
【０３４４】
表１５は、スライスセグメントヘッダでｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇをシグナリングする一例を示す。
【０３４５】
【表１５】
2016504859.tif 000017
【０３４６】
表１５において、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用されるか、または現在スライスが同じレイヤのピクチャのうち、インターレイヤ予測に必要な他のピクチャのインター予測に利用され、または参照されるかを指示する。即ち、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が１の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インター予測に直／間接的に利用／参照され、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に直／間接的に利用／参照されない。
【０３４７】
したがって、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に参照／利用されないため、現在ピクチャに対するインターレイヤ参照ピクチャのリストに含まれない。
【０３４８】
そのために、インターレイヤ参照ピクチャセットに対する復元過程を下記のように修正することができる。
【０３４９】
インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１６のように誘導することができる。
【０３５０】
【表１６】
2016504859.tif 000018
【０３５１】
したがって、一つの情報(ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ)がインターレイヤ予測を指示するために利用される場合、上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャは「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去されることができる。
【０３５２】
<条件>ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０である。
【０３５３】
したがって、デコーディング装置は、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャを「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングし、またはＤＰＢから除去してインターレイヤ予測に参照／利用されないようにすることができる。ＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされたピクチャは、インターレイヤ予測に使われる参照ピクチャリストに含まれない。
【０３５４】
(実施例VII −３)
【０３５５】
本実施例VII −３では、シーケンスレベルのシグナリングとピクチャレベルのシグナリングを両方とも使用することができる。
【０３５６】
本実施例VII −３の一例において、インターレイヤ参照ピクチャセットに対する復元過程は、下記のように修正されることができる。
【０３５７】
インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１７のように誘導することができる。
【０３５８】
【表１７】
2016504859.tif 000019
【０３５９】
表１７が適用される例において、上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャは「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去することができる。
【０３６０】
<条件>(１)ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｒｅｆＬａｙｅｒＩｄ[ＬａｙｅｒＩｄＩｎｖｐｓ[Ｎｕｈ_ｌａｙｅｒ_ｉｄ]][ｉ]]より大きい、または(２)ｉｌｐ_ｆｌａｇの値が０であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０であり、または(３)ｉｌｐ_ｆｌａｇの値が１であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０である。ここで、(１)は、ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１により特定される最大サブレイヤのｔｅｍｐｏｒａｌＩＤより大きいものに代替することができ、(２)と(３)は、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０に代替されることもできる。
【０３６１】
本実施例VII −３の他の例によると、インターレイヤ参照ピクチャセットに対する復元過程１７は、表１８に代替されることもできる。
【０３６２】
また、インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１８のように誘導することができる。
【０３６３】
【表１８】
2016504859.tif 000020
【０３６４】
図９は、本発明によるビデオエンコーディング装置の動作に対する一例を概略的に説明する流れ図である。
【０３６５】
図９を参照すると、エンコーディング装置は、参照レイヤのピクチャを復号化して格納することができる(Ｓ９１０)。マルチレイヤ構造をサポートするスケーラブルビデオコーディングにおいて、エンコーディング装置は、参照レイヤのピクチャを復号化し、復号化されたピクチャをＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)に格納することができる。復号化される参照レイヤのピクチャは、現在レイヤの復号化対象ピクチャと同じＡＵのピクチャである。
【０３６６】
参照レイヤのピクチャが現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測にも参照されない場合、エンコーディング装置は、前記参照レイヤのピクチャに対して参照されないとマーキングすることができる。
【０３６７】
この場合、エンコーディング装置は、現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測にも参照されないピクチャに対する情報を、後述する参照情報(例えば、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇ、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ ｅｍｄ)を介してデコーダ装置に伝達することもできる。
【０３６８】
エンコーディング装置は、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納することができる。または、エンコーディング装置は、参照されないとマーキングされたピクチャをメモリから除去することもできる。
【０３６９】
エンコーディング装置は、現在ブロックの予測に対するインターレイヤ参照ピクチャを誘導することができる(Ｓ９２０)。エンコーディング装置は、参照レイヤのピクチャから現在レイヤ内の現在ピクチャの復号化対象ブロック(現在ブロック)に対する参照ピクチャ(インターレイヤ参照ピクチャ)を誘導することができる。この場合、エンコーディング装置は、フェーズ(ｐｈａｓｅ)と解像度を考慮したサンプリングを実行することで、インターレイヤ参照ピクチャを誘導することもできる。
【０３７０】
エンコーディング装置は、現在ブロックに対する予測に参照されることができ、または現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されることができるピクチャに基づいてインターレイヤ参照ピクチャを誘導することができる。
【０３７１】
このとき、現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報は、後述する前記参照情報は前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報は、後述する参照情報(例えば、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇ、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ ｅｍｄ)を介してデコーダ装置に伝達されることもできる。
【０３７２】
エンコーディング装置は、現在ブロックの予測に利用される参照ピクチャリストを構成することができる(Ｓ９３０)。参照ピクチャリストは、現在スライス(復号化対象スライス)によって、参照ピクチャリストＬ０であってもよく、参照ピクチャリストＬ０と参照ピクチャリストＬ１であってもよい。
【０３７３】
参照ピクチャリストは、現在ピクチャと同じレイヤ(現在レイヤ)のピクチャと、現在レイヤと他の参照レイヤから誘導された参照ピクチャ(インターレイヤ参照ピクチャ)を含むことができる。このとき、参照ピクチャリストは、一つの参照レイヤから誘導された一つのインターレイヤ参照ピクチャを含むこともでき、二つ以上の参照レイヤから誘導された二つ以上のインターレイヤ参照ピクチャを含むこともできる。
【０３７４】
エンコーディング装置は、参照ピクチャリストに基づいて現在ブロックに対する予測サンプルを誘導することができる(Ｓ９４０)。エンコーディング装置は、参照ピクチャリストのピクチャのうち少なくとも一つを利用して現在ブロックに対するインター予測を実行することができる。例えば、エンコーディング装置は、参照レイヤから誘導されたインターレイヤ参照ピクチャを利用して現在ブロックに対する予測を実行することができる。
【０３７５】
エンコーディング装置は、予測サンプルに基づいて復元サンプルを誘導することができる(Ｓ９５０)。エンコーディング装置は、予測サンプルとレジデュアル信号を加えて復元サンプルを誘導することができる。エンコーディング装置は、復元サンプルを現在ブロック単位に誘導することもでき、現在ピクチャ単位に誘導することもできる。
【０３７６】
エンコーディング装置は、参照情報を送信することができる(Ｓ９６０)。エンコーディング装置は、参照情報を介して、インターレイヤ予測に利用可能な参照レイヤのピクチャに対する情報を伝達することができる。例えば、参照レイヤのピクチャが現在ブロックに対する予測に参照されることができ、または現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されることができる場合、参照情報は、参照レイヤの前記ピクチャがインターレイヤ予測に参照されることができると指示することができる。または、参照レイヤのピクチャが現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されない場合、参照情報は、参照レイヤのピクチャがインターレイヤ予測に参照されないと指示することもできる。
【０３７７】
エンコーディング装置は、スライスセグメントヘッダで対応する現在ピクチャに対する参照情報を送信することができる。または、エンコーディング装置は、ピクチャレベルで現在ピクチャに対する参照情報を送信することもできる。
【０３７８】
情報の送信ステップにおいて、エンコーディング装置は、参照情報他原本信号と予測信号の差であるレジデュアル情報などを送信することもできる。
【０３７９】
ここでは、マルチレイヤ構造で現在ブロックに対する予測を含む符号化に対して説明したが、本発明はこれに限定されるものではなく、符号化の具体的な内容は、本明細書で説明した技術的事項を全て含むことができる。
【０３８０】
図１０は、本発明によるビデオデコーディング装置の動作に対する一例を概略的に説明する流れ図である。
【０３８１】
図１０を参照すると、デコーディング装置は、参照情報を受信することができる(Ｓ１０１０)。デコーディング装置は、エンコーディング装置から参照レイヤのピクチャがインターレイヤ予測に利用することができるかを指示する参照情報を受信することができる。
【０３８２】
例えば、参照レイヤのピクチャが現在ブロックに対する予測に参照されることができ、または現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照することができる場合、参照情報は、参照レイヤの前記ピクチャがインターレイヤ予測に利用することができると指示することができる。
【０３８３】
または、参照レイヤのピクチャが現在ブロックに対する予測に参照されず、また、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測にも参照されない場合、参照情報は、参照レイヤの前記ピクチャがインターレイヤ予測に利用されないと指示することもできる。
【０３８４】
デコーディング装置は、参照レイヤのピクチャを復号化して格納することができる(Ｓ１０２０)。デコーディング装置は、インターレイヤ予測に利用されないと参照情報により指示されたピクチャに対して「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングすることができる。
【０３８５】
デコーディング装置は、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納することができる。または、デコーディング装置は、参照されないとマーキングされたピクチャをメモリ(例えば、ＤＰＢ)から除去することができる。
【０３８６】
デコーディング装置は、現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導することができる(Ｓ１０３０)。デコーディング装置は、参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導することができる。
【０３８７】
例えば、デコーディング装置は、参照レイヤのピクチャのうち、インターレイヤ予測に利用されると参照情報が指示したピクチャに基づいてインターレイヤ参照ピクチャを誘導することができる。このとき、デコーディング装置は、一つの参照レイヤから一つのインターレイヤ参照ピクチャを誘導することもでき、複数の参照レイヤから複数のインターレイヤ参照ピクチャを誘導することもできる。
【０３８８】
このとき、Ｓ１０２０ステップにおいて、インターレイヤ予測に利用されないと参照情報により指示されたピクチャに対して「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされた場合、デコーディング装置は、参照されないとマーキングされない前記参照レイヤのピクチャからインターレイヤ参照ピクチャを誘導することができる。
【０３８９】
また、Ｓ１０２０ステップにおいて、インターレイヤ予測に利用されないと参照情報により指示されたピクチャに対して「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、マーキングされたピクチャがメモリから除去された場合、デコーディング装置は、メモリに残っている参照レイヤのピクチャからインターレイヤ参照ピクチャを誘導することができる。
【０３９０】
また、デコーディング装置は、現在ピクチャによりインターレイヤ予測に利用することができると指示されたレイヤで、参照情報によりインターレイヤ予測に参照することができると指示されたピクチャからインターレイヤ参照ピクチャを誘導することもできる。
【０３９１】
このとき、デコーディング装置は、参照レイヤのピクチャのうち、現在ピクチャと同じアクセスユニットに属するピクチャからインターレイヤ参照ピクチャを誘導することができる。
【０３９２】
デコーディング装置は、現在ブロックのインター予測に利用する参照ピクチャリストを誘導することができる(Ｓ１０４０)。デコーディング装置は、インターレイヤ参照ピクチャ及び現在レイヤの参照ピクチャを含む参照ピクチャリストを構成することができる。
【０３９３】
参照ピクチャリストは、現在スライス(復号化対象スライス)によって、参照ピクチャリストＬ０であってもよく、参照ピクチャリストＬ０と参照ピクチャリストＬ１であってもよい。
【０３９４】
参照ピクチャリストは、現在ピクチャと同じレイヤ(現在レイヤ)のピクチャと、現在レイヤと他の参照レイヤから誘導された参照ピクチャ(インターレイヤ参照ピクチャ)を含むことができる。このとき、参照ピクチャリストは、一つの参照レイヤから誘導された一つのインターレイヤ参照ピクチャを含むこともでき、二つ以上の参照レイヤから誘導された二つ以上のインターレイヤ参照ピクチャを含むこともできる。
【０３９５】
デコーディング装置は、現在ブロックに対する予測サンプルを誘導することができる(Ｓ１０５０)。デコーディング装置は、参照ピクチャリストに基づいて現在レイヤの現在ブロックに対する予測を実行することで、前記現在ブロックに対する予測サンプルを誘導することができる。
【０３９６】
デコーディング装置は、予測サンプルに基づいて復元サンプルを誘導することができる(Ｓ１０６０)。デコーディング装置は、予測サンプルとレジデュアル信号を加えて復元サンプルを誘導することができる。デコーディング装置は、復元サンプルを現在ブロック単位に誘導することもでき、現在ピクチャ単位に誘導することもできる。
【０３９７】
本明細書において、ベースレイヤと空間的ベースレイヤを混用して記載し、エンハンスメントレイヤと空間的エンハンスメントレイヤを混用して記載しているが、これは説明の便宜のためのものである。したがって、本発明の実施例は、空間的ベースレイヤと空間的エンハンスメントレイヤに限定されるものではない。空間的ベースレイヤは、ベースレイヤのスケーラビリティとして解像度が適用される場合に対する例として使われたものであり、空間的エンハンスメントレイヤは、エンハンスメントレイヤのスケーラビリティとして解像度が適用される場合に対する例として使われたものである。本発明の実施例は、解像度外、前述したように多様なスケーラビリティ(視点、ビット率、フレーム率等)にも同じく適用されることができることに留意する。
【０３９８】
本明細書において、説明の便宜のために、インター(レイヤ)予測に参照されるという表現とインター(レイヤ)予測に利用されるという表現、及びインター(レイヤ)予測に必要であるという表現を混用している。この表現は、互いに矛盾または排他的な表現ではなく、二つの表現は、同じ意味を有する表現である。また、この表現に対して含む関係が成立することもありうる。具体的に、インターレイヤ予測に利用されるということとインターレイヤ予測に必要であるということは、予測対象ピクチャ(ブロック)の予測に直接参照されるピクチャの予測に参照されるということを含むことができる。
【０３９９】
ＮＡＬユニットヘッダとスライスセグメントヘッダに対する一般論
【０４００】
利用：間接参照を含む
【０４０１】
前述した例示的なシステムにおいて、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、前述した実施例は、多様な態様の例示を含むことができるため、各実施例の組合せも本発明の一実施例として理解されなければならない。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正及び変更を含む。
【図１】
2016504859.tif 000021
【図２】
2016504859.tif 000022
【図３】
2016504859.tif 000023
【図４】
2016504859.tif 000024
【図５】
2016504859.tif 000025
【図６】
2016504859.tif 000026
【図７】
2016504859.tif 000027
【図８】
2016504859.tif 000028
【図９】
2016504859.tif 000029
【図１０】
2016504859.tif 000030
【手続補正書】
【提出日】平成27年6月11日(2015.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
参照レイヤのピクチャがインターレイヤ予測に利用することができるかを指示する参照情報を受信するステップと、
前記参照情報に基づいて前記参照レイヤのピクチャを復号化して格納するステップと、
前記参照情報に基づいて前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、
前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、
前記参照ピクチャリストに基づいて前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、
前記予測サンプルと前記現在ブロックに対するレジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを誘導するステップとを含む、ビデオデコーディング方法。
【請求項２】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されることができ、または前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されることができる場合、前記参照情報は、前記参照レイヤの前記ピクチャがインターレイヤ予測に利用することができると指示する、請求項１に記載の方法。
【請求項３】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されない場合、前記参照情報は、前記参照レイヤのピクチャがインターレイヤ予測に利用されないと指示する、請求項１に記載の方法。
【請求項４】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照情報がインターレイヤ予測に利用されないと指示したピクチャに対して参照されないとマーキングする、請求項１に記載の方法。
【請求項５】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納する、請求項４に記載の方法。
【請求項６】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされたピクチャは、メモリから除去する、請求項４に記載の方法。
【請求項７】
前記インターレイヤ参照ピクチャを誘導するステップでは、前記参照レイヤのピクチャのうち、前記参照情報がインターレイヤ予測に利用されると指示したピクチャに基づいて前記インターレイヤ参照ピクチャを誘導する、請求項１に記載の方法。
【請求項８】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照情報がインターレイヤ予測に参照されないと指示したピクチャに対して参照されないとマーキングし、前記インターレイヤ参照ピクチャを誘導するステップでは、参照されないとマーキングされない前記参照レイヤのピクチャから前記インターレイヤ参照ピクチャを誘導する、請求項７に記載の方法。
【請求項９】
前記インターレイヤ参照ピクチャは、前記現在ピクチャによりインターレイヤ予測に利用することができると指示されたレイヤで、前記参照情報によりインターレイヤ予測に参照することができると指示されたピクチャから誘導される、請求項７に記載の方法。
【請求項１０】
参照情報を受信するステップでは、前記参照情報をスライスセグメントヘッダで受信する、請求項１に記載の方法。
【請求項１１】
参照レイヤのピクチャを復号化して格納するステップと、
前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、
前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、
前記参照ピクチャリストを前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、
前記予測サンプルと前記現在ブロックに対する予測ブロックに基づいて前記現在ブロックに対する復元サンプルを誘導するステップと、
前記参照レイヤのピクチャのうち、インターレイヤの予測に利用することができるピクチャを指示する参照情報を送信するステップと、を含む、ビデオエンコーディング方法。
【請求項１２】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されることができ、または前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されることができる場合、前記参照情報は、前記参照レイヤの前記ピクチャがインターレイヤ予測に利用することができると指示する、請求項１１に記載の方法。
【請求項１３】
前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されない場合、前記参照情報は、前記参照レイヤのピクチャがインターレイヤ予測に利用されないと指示する、請求項１１に記載の方法。
【請求項１４】
前記参照レイヤのピクチャを復号化して格納するステップでは、前記参照レイヤのピクチャが前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されない場合、前記参照レイヤのピクチャに対して参照されないとマーキングし、前記参照情報は、前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報を含む、請求項１１に記載の方法。
【請求項１５】
前記参照レイヤのピクチャを復号化して格納するステップでは、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納する、請求項１４に記載の方法。
【国際調査報告】
2016504859.tif 000031
2016504859.tif 000032
2016504859.tif 000033
2016504859.tif 000034
2016504859.tif 000035
2016504859.tif 000036
2016504859.tif 000037