(57)【要約】【課題】複数のレイヤをサポートする映像符号化/復号化方法及び装置を提供する。【解決手段】前記映像復号化方法は、現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップを含む。【選択図】図８
2016502817.tif 000002
【特許請求の範囲】
【請求項１】
複数のレイヤをサポートする映像復号化方法において、
現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、
前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、
前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、
前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、
前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップと、を含み、
前記変換係数の２次元配列に再整列するステップでは、
前記復号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を誘導する、映像復号化方法。
【請求項２】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を右上向対角スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項３】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を垂直スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項４】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を水平スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項５】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインター予測モードの場合、前記スキャン順序を右上向対角スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項６】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードの場合、前記スキャン順序を前記復号化対象ブロックの大きさ及び前記復号化対象ブロックがルマサンプルに対するブロックであるかどうかによって誘導する、請求項１に記載の映像復号化方法。
【請求項７】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが４×４の場合、または前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８であり、前記符号化対象ブロックがルマサンプルに対するブロックの場合、前記スキャン順序は、前記復号化対象ブロックのイントラ予測モード値によって誘導される、請求項６に記載の映像復号化方法。
【請求項８】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８より大きい場合、前記スキャン順序は、右上向対角スキャン順序に誘導される、請求項６に記載の映像復号化方法。
【請求項９】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、前記スキャン順序は垂直スキャン順序に誘導され、前記復号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、前記スキャン順序は水平スキャン順序に誘導され、前記復号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、前記スキャン順序は右上向対角スキャン順序に誘導される、請求項７に記載の映像復号化方法。
【請求項１０】
前記インターレイヤ予測モードは、前記復号化対象ブロックを含む現在ピクチャの復号化時にインターレイヤ予測を使用するかどうかを指示する情報から特定される、請求項２から請求項４のいずれか一項に記載の映像復号化方法。
【請求項１１】
複数のレイヤをサポートする映像符号化方法において、
現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行することで予測サンプルを取得するステップと、
前記予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することで前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップと、
前記変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列に再整列するステップと、
前記変換係数の１次元配列をエントロピーエンコーディングするステップと、を含み、
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、
前記符号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を決定する、映像符号化方法。
【請求項１２】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を右上向対角スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１３】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を垂直スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１４】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を水平スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１５】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインター予測モードの場合、前記スキャン順序を右上向対角スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１６】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがイントラ予測モードの場合、前記スキャン順序を前記符号化対象ブロックの大きさ及び前記符号化対象ブロックがルマサンプルに対するブロックであるかどうかによって決定する、請求項１１に記載の映像符号化方法。
【請求項１７】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記符号化対象ブロックの大きさが４×４の場合、または前記符号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記符号化対象ブロックの大きさが８×８であり、前記符号化対象ブロックがルマサンプルに対するブロックの場合、前記スキャン順序は、前記符号化対象ブロックのイントラ予測モード値によって決定される、請求項１６に記載の映像符号化方法。
【請求項１８】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記符号化対象ブロックの大きさが８×８より大きい場合、前記スキャン順序は、右上向対角スキャン順序に決定される、請求項１６に記載の映像符号化方法。
【請求項１９】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、前記スキャン順序は垂直スキャン順序に決定され、前記符号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、前記スキャン順序は水平スキャン順序に決定され、前記符号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、前記スキャン順序は右上向対角スキャン順序に決定される、請求項１７に記載の映像符号化方法。
【請求項２０】
前記インターレイヤ予測モードは、前記符号化対象ブロックを含む現在ピクチャの符号化時にインターレイヤ予測を使用するかどうかを指示する情報を利用して特定される、請求項１２から請求項１４のいずれか一項に記載の映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮技術に関し、より具体的には、スケーラブルビデオコーディング(Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ)を実行する方法及び装置に関する。
【背景技術】
【０００２】
最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど該当映像に対する情報量も共に増加している。情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツが多様な品質で利用可能になった。
【０００３】
具体的には、端末装置がサポートできる品質の映像が多様化し、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用し、他の環境ではより高い品質の映像が利用可能になる。
【０００４】
例えば、携帯端末でビデオコンテンツを購買した消費者がホーム内の大画面のディスプレイを介して同じビデオコンテンツをより大きい画面とより高い解像度で鑑賞することができる。
【０００５】
最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送がサービスされながら、多くのユーザは既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)のサービスにも関心を寄せている。
【０００６】
したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率のエンコーディング/デコーディング方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、スケーラブルビデオエンコーディング/デコーディングにおいて、圧縮効率を上げる方法及び装置を提供する。
【０００８】
本発明は、スケーラブルビデオエンコーディング/デコーディングにおいて、変換係数のスキャン方法及び装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の一実施形態によると、複数のレイヤをサポートする映像復号化方法が提供される。前記映像復号化方法は、現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップを含む。
【００１０】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を誘導する。
【００１１】
本発明の他の実施形態によると、複数のレイヤをサポートする映像符号化方法が提供される。前記映像符号化方法は、現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行することで予測サンプルを取得するステップと、前記予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することで前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップと、前記変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列に再整列するステップと、前記変換係数の１次元配列をエントロピーエンコーディングするステップを含む。
【００１２】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を決定する。
【発明の効果】
【００１３】
本発明によると、スケーラブルビデオエンコーディング/デコーディングにおいて、効果的に変換係数をスキャンして再整列することによって変換及び/またはエントロピーコーディングの効率を上げることができる。
【００１４】
本発明によると、スケーラブルビデオエンコーディング/デコーディングにおいて、映像の予測方法によってスキャン順序を決定することができ、それによって、効率的にエンコーディング/デコーディングを実行することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。
【図２】本発明の一実施例によってスケーラビリティをサポートするビデオデコーディング装置を概略的に示すブロック図である。
【図３】本発明が適用されることができる複数レイヤを利用したスケーラブルビデオコーディング構造の一例を概略的に示す概念図である。
【図４】イントラ予測モードの一例を示す。
【図５】スキャン順序によるスキャン方法を概略的に説明するための図面である。
【図６】本発明が適用されることができるインターレイヤ予測を説明するための図面である。
【図７】本発明による複数のレイヤをサポートする映像符号化方法を概略的に示す流れ図である。
【図８】本発明による複数のレイヤをサポートする映像復号化方法を概略的に示す流れ図である。
【発明を実施するための形態】
【００１６】
本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものの存在または付加可能性を予め排除しないと理解しなければならない。
【００１７】
一方、本発明で説明される図面上の各構成は、ビデオエンコーディング装置/デコーディング装置において、互いに異なる特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けることもできる。各構成が統合及び/または分離された実施例も、本発明の本質から外れない限り本発明の権利範囲に含まれる。
【００１８】
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複説明は省略する。
【００１９】
スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」という)では入力信号をレイヤ別に処理することができる。レイヤによって、入力信号(入力映像)は、解像度(ｒｅｓｏｌｕｔｉｏｎ)、フレームレート(ｆｒａｍｅ ｒａｔｅ)、ビットデプス(ｂｉｔ−ｄｅｐｔｈ)、カラーフォーマット(ｃｏｌｏｒ ｆｏｒｍａｔ)、アスペクト率(ａｓｐｅｃｔ ｒａｔｉｏ)のうち少なくとも一つが異なる。
【００２０】
本明細書において、スケーラブルコーディングとは、スケーラブルエンコーディングとスケーラブルデコーディングを含む。
【００２１】
スケーラブルエンコーディング/デコーディングではレイヤ間の差を利用して、即ち、スケーラビリティに基づいて、レイヤ間予測を実行することによって、情報の重複送信/処理を減らして圧縮効率を上げることができる。
【００２２】
図１は、本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。
【００２３】
図１を参照すると、エンコーディング装置１００は、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含む。
【００２４】
レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。
【００２５】
レイヤ１のエンコーディング部１０５は、予測部１１０、変換/量子化部１１５、フィルタリング部１２０、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)１２５、エントロピーコーディング部１３０、及びＭＵＸ(Ｍｕｌｔｉｐｌｅｘｅｒ)１６５を含む。
【００２６】
レイヤ０のエンコーディング部１３５は、予測部１４０、変換/量子化部１４５、フィルタリング部１５０、ＤＰＢ１５５及びエントロピーコーディング部１６０を含む。
【００２７】
予測部１１０、１４０は、入力された映像に対してインター予測とイントラ予測を実行することができる。予測部１１０、１４０は、所定の処理単位に予測を実行することができる。予測の実行単位は、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ)であってもよく、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ)であってもよく、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ)であってもよい。
【００２８】
例えば、予測部１１０、１４０は、ＣＵ単位にインター予測を適用するかまたはイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位またはＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック(レジデュアル信号)の生成を含む。
【００２９】
インター予測を介しては現在ピクチャの以前ピクチャ及び/または以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することで予測ブロックを生成することができる。イントラ予測を介しては現在ピクチャ内のピクセル情報に基づいて予測を実行することで予測ブロックを生成することができる。
【００３０】
インター予測のモードまたは方法として、スキップ(ｓｋｉｐ)モード、マージ(ｍｅｒｇｅ)モード、ＭＶＰ(Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ)モード方法などがある。インター予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。予測部１１０、１４０は、参照ブロックに基づいて予測ブロックを生成することができる。
【００３１】
予測ブロックは、整数サンプル単位に生成することもでき、整数以下ピクセル単位に生成することもできる。このとき、動きベクトルも整数ピクセル単位または整数ピクセル以下の単位に表現することができる。
【００３２】
インター予測において、動き情報、即ち、参照ピクチャのインデックス、動きベクトル、レジデュアル信号などの情報は、エントロピーエンコーディングされてデコーディング装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。
【００３３】
イントラ予測において、予測モードは、３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非向性性モードは、ＤＣ予測モード及びプレーナモード(Ｐｌａｎａｒモード)を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。
【００３４】
ＰＵは、多様なサイズ/形態のブロックであり、例えば、インター予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、またはＮ×Ｎブロック(Ｎは、整数)などである。イントラ予測の場合、ＰＵは、２Ｎ×２ＮブロックまたはＮ×Ｎブロック(Ｎは、整数)などである。このとき、Ｎ×Ｎブロック大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小大きさＣＵに対してのみＮ×Ｎブロック大きさのＰＵを利用するように定め、またはイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロックまたはｍＮ×２Ｎブロック(ｍ<１)などのＰＵをさらに定義して使用することもできる。
【００３５】
また、予測部１１０は、レイヤ０の情報を利用してレイヤ１に対する予測を実行することができる。本明細書では、他のレイヤの情報を利用して現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測という。
【００３６】
他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)などがある。
【００３７】
また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータなど)がある。
【００３８】
インターレイヤ予測の一例として、インターレイヤ動き予測は、インターレイヤインター予測とも呼ばれる。インターレイヤインター予測によると、レイヤ０(参照レイヤまたはベースレイヤ)の動き情報を利用してレイヤ１(現在レイヤまたはエンハンスメントレイヤ)の現在ブロックに対する予測を実行することができる。
【００３９】
インターレイヤインター予測を適用する場合は、参照レイヤの動き情報をスケーリングすることもできる。
【００４０】
インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、インターレイヤイントラ予測またはイントラＢＬ(Ｂａｓｅ Ｌａｙｅｒ)予測とも呼ばれる。インターレイヤテクスチャ予測は、参照レイヤ内の参照ブロックがイントラ予測により復元された場合に適用することができる。
【００４１】
インターレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによりスケーリングすることができる。
【００４２】
インターレイヤ予測の他の例であるインターレイヤユニットパラメータ予測では、ベースレイヤのユニット(ＣＵ、ＰＵ及び/またはＴＵ)情報を誘導してエンハンスメントレイヤのユニット情報として使用し、またはベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。
【００４３】
また、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び/またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。
【００４４】
また、ユニット情報は、処理単位(例えば、ＣＵ、ＰＵ、ＴＵ等)の分割情報のみを含むことができる。
【００４５】
インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、ベースレイヤで使用したパラメータを誘導してエンハンスメントレイヤで再使用するようにし、またはベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。
【００４６】
ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測を説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。
【００４７】
例えば、予測部１１０は、インターレイヤ予測として、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在レイヤ内の現在ブロックに対する予測を実行するインターレイヤレジデュアル予測を利用することもできる。
【００４８】
また、予測部１１０は、インターレイヤ予測として、現在レイヤの復元ピクチャと他のレイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分(差分映像)映像を利用して現在レイヤ内の現在ブロックに対する予測を実行するインターレイヤ差分予測を実行することもできる。
【００４９】
また、予測部１１０は、インターレイヤ予測として、他のレイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成するインターレイヤシンタックス予測を利用することもできる。このとき、現在ブロックの予測に利用する参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報などである。
【００５０】
このとき、参照レイヤでイントラ予測モードが適用されたブロック(ｉｎｔｒａ)からはイントラ予測モードを参照し、インター予測モードが適用されたブロック(ＭＶ)からは動き情報を参照することで、インターレイヤシンタックス予測を実行することができる。
【００５１】
例えば、参照レイヤがＰスライスやＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである場合がある。このような場合、インターレイヤシンタックス予測を適用すると、参照レイヤのシンタックス情報のうち、参照ブロックのイントラ予測モードを利用して現在ブロックに対するテクスチャを生成/予測するインターレイヤ予測を実行することができる。
【００５２】
前述したインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個が利用されることもできる。例えば、現在ブロックを予測するために、レイヤ０の予測情報を利用しながら、対応するレイヤ０または対応ブロックのユニット情報またはフィルタリングパラメータ情報などを追加的に利用することができる。このようなインターレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。
【００５３】
変換/量子化部１１５、１４５は、変換ブロック単位にレジデュアルブロックに対する変換を実行することで、変換係数を生成し、変換係数を量子化することができる。
【００５４】
変換ブロックは、サンプルの方形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット(ＴＵ)であってもよく、クワッドツリー(ｑｕａｄ ｔｒｅｅ)構造を有することができる。
【００５５】
変換/量子化部１１５、１４５は、レジデュアルブロックに適用された予測モードとブロックの大きさによって変換を実行することで、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックをＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換し、その他の場合は、レジデュアルブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換することができる。
【００５６】
変換/量子化部１１５、１４５は、変換係数を量子化することで、量子化された変換係数を生成することができる。
【００５７】
変換/量子化部１１５、１４５は、量子化された変換係数をエントロピーコーディング部１３０、１８０に伝達することができる。このとき、変換/量子化部１４５は、量子化された変換係数の２次元アレイを、所定のスキャン順序によって、１次元アレイに再整列してエントロピーコーディング部１３０、１８０に伝達することもできる。また、変換/量子化部１１５、１４５は、インター予測のためにレジデュアルと予測ブロックに基づいて生成された復元ブロックを変換/量子化せずに、フィルタリング部１２０、１５０に伝達することができる。
【００５８】
一方、変換/量子化部１１５、１４５は、必要によって、変換を省略(ｓｋｉｐ)して量子化のみを実行し、または変換と量子化を両方とも省略することもできる。例えば、変換/量子化部１１５、１６５は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
【００５９】
エントロピーコーディング部１３０、１６０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングには、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などのようなエンコーディング方法を使用することができる。
【００６０】
フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)を復元されたピクチャに適用することができる。
【００６１】
デブロッキングフィルタは、復元されたピクチャからブロック間の境界に発生した歪曲を除去することができる。ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対し、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット(Ｂａｎｄ Ｏｆｆｓｅｔ)、エッジオフセット(Ｅｄｇｅ Ｏｆｆｓｅｔ)などの形態に適用される。
【００６２】
フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。
【００６３】
ＤＰＢ１２５、１５５は、フィルタリング部１２０、１５０から復元ブロックまたは復元ピクチャの伝達を受けて格納することができる。ＤＰＢ１２５、１５５は、復元ブロックまたはピクチャを、インター予測を実行する予測部１１０、１４０に提供することができる。
【００６４】
レイヤ０のエントロピーコーディング部１６０で出力される情報とレイヤ１のエントロピーコーディング部１３０で出力される情報は、ＭＵＸ１８５でマルチプレキシングされてビットストリームで出力されることができる。
【００６５】
一方、ここでは、説明の便宜のために、レイヤ１のエンコーディング部１０５がＭＵＸ１６５を含むと説明したが、ＭＵＸは、レイヤ１のエンコーディング部１０５及びレイヤ０のエンコーディング部１３５とは別途の装置またはモジュールであってもよい。
【００６６】
また、図１の例では、スケーラビリティをサポートするビデオエンコーディング装置１００がレイヤ別にエンコーディングを実行するために、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含むと示したが、本発明がこれに限定されるものではない。スケーラビリティをサポートするビデオエンコーディング装置は、各レイヤに対するエンコーディング部を含まずに、レイヤ１に対するエンコーディング部１０５(または、レイヤ０に対するエンコーディング部１３５)に含まれているモジュールのみで構成されてスケーラビリティをサポートするための複数のレイヤに対するエンコーディングを実行することもできる。
【００６７】
図２は、本発明の一実施例によってスケーラビリティをサポートするビデオデコーディング装置を概略的に示すブロック図である。
【００６８】
図２を参照すると、デコーディング装置２００は、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含む。
【００６９】
レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。
【００７０】
レイヤ１のデコーディング部２１０は、エントロピーデコーディング部２１５、再整列部２２０、逆量子化部２２５、逆変換部２３０、予測部２３５、フィルタリング部２４０、メモリ２４５を含むことができる。
【００７１】
レイヤ０のデコーディング部２５０は、エントロピーデコーディング部２５５、再整列部２６０、逆量子化部２６５、逆変換部２７０、予測部２７５、フィルタリング部２８０、メモリ２８５を含むことができる。
【００７２】
エンコーディング装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ２０５は、レイヤ別に情報をデマルチプレキシングして各レイヤ別のデコーディング装置に伝達することができる。
【００７３】
エントロピーデコーディング部２１５、２５５は、エンコーディング装置で使用したエントロピーコーディング方式に対応してエントロピーデコーディングを実行することができる。例えば、エンコーディング装置でＣＡＢＡＣが使われた場合、エントロピーデコーディング部２１５、２５５もＣＡＢＡＣを利用してエントロピーデコーディングを実行することができる。
【００７４】
エントロピーデコーディング部２１５、２５５でデコーディングされた情報のうち、予測ブロックを生成するための情報は、予測部２３５、２７５に提供され、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２０、２６０に入力することができる。
【００７５】
再整列部２２０、２６０は、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングされたビットストリームの情報、即ち、量子化された変換係数をエンコーディング装置で再整列した方法に基づいて再整列することができる。
【００７６】
例えば、再整列部２２０、２６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部２２０、２６０は、現在ブロック(変換ブロック)に適用された予測モード及び/または変換ブロックの大きさに基づいてスキャニングを実行することで、係数(量子化された変換係数)の２次元アレイを生成することができる。
【００７７】
逆量子化部２２５、２６５は、エンコーディング装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することで、変換係数を生成することができる。
【００７８】
逆量子化部２２５、２６５は、所定の条件によってまたはエンコーディング装置での量子化方式によって、エントロピーデコーディングされたレジデュアルを逆量子化せずに、逆変換部２３０、２７０に伝達することもできる。
【００７９】
逆変換部２３０、２７０は、変換係数に対してエンコーディング装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部２３０、２７０は、エンコーディング装置で実行されたＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)及びＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)に対して逆ＤＣＴ及び/または逆ＤＳＴを実行することができる。
【００８０】
エンコーディング装置において、ＤＣＴ及び/またはＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、デコーディング装置の逆変換部２３０、２７０は、エンコーディング装置で実行された変換情報に基づいて逆変換を実行することができる。
【００８１】
例えば、逆変換部２３０、２７０は、予測モード/ブロック大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部２３０、２７０は、イントラ予測が適用された４×４ルマブロックに対して逆ＤＳＴを適用することもできる。
【００８２】
また、逆変換部２３０、２７０は、予測モード/ブロック大きさに関係なく、特定の逆変換方法を固定的に使用することもできる。例えば、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＣＴのみを適用することもできる。
【００８３】
逆変換部２３０、２７０は、変換係数または変換係数のブロックを逆変換してレジデュアルまたはレジデュアルブロックを生成することができる。
【００８４】
また、逆変換部２３０、２７０は、必要によってまたはエンコーディング装置でエンコーディングされた方式によって、変換を省略(ｓｋｉｐ)することもできる。例えば、逆変換部２３０、２７０は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。
【００８５】
予測部２３５、２７５は、エントロピーデコーディング部２１５、２５５から伝達された予測ブロック生成関連情報と、メモリ２４５、２８５で提供された以前にデコーディングされたブロック及び/またはピクチャ情報に基づいて現在ブロックに対する予測ブロックを生成することができる。
【００８６】
現在ブロックに対する予測モードがイントラ予測(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。
【００８７】
現在ブロックに対する予測モードがインター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャの以前ピクチャまたは以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインター予測を実行することができる。インター予測に必要な動き情報の一部または全部は、エンコーディング装置から受信した情報を確認し、これに対応して誘導することができる。
【００８８】
インター予測のモードとしてスキップモードが適用される場合は、エンコーディング装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。
【００８９】
一方、レイヤ１の予測部２３５は、レイヤ１内の情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤ(レイヤ０)の情報を利用してインターレイヤ予測を実行することもできる。
【００９０】
例えば、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち一つを利用して現在ブロックに対する予測を実行することができる。また、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち複数の情報を利用して現在ブロックに対する予測を実行することもできる。
【００９１】
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１の動き情報の伝達を受けて動き予測を実行することができる。インターレイヤ動き予測をインターレイヤインター予測とも呼ばれる。インターレイヤ動き予測により、参照レイヤ(ベースレイヤ)の動き情報を利用して現在レイヤ(エンハンスメントレイヤ)の現在ブロックに対する予測を実行することができる。予測部２３５は、必要な場合、参照レイヤの動き情報をスケーリングして利用することもできる。
【００９２】
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のテクスチャ情報の伝達を受けてテクスチャ予測を実行することができる。テクスチャ予測は、インターレイヤイントラ予測またはイントラＢＬ(Ｂａｓｅ Ｌａｙｅｒ)予測とも呼ばれる。テクスチャ予測は、参照レイヤの参照ブロックがイントラ予測により復元された場合に適用されることができる。インターレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによりスケーリングすることができる。
【００９３】
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のユニットパラメータ情報の伝達を受けてユニットパラメータ予測を実行することができる。ユニットパラメータ予測により、ベースレイヤのユニット(ＣＵ、ＰＵ及び/またはＴＵ)情報がエンハンスメントレイヤのユニット情報として使われ、またはベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。
【００９４】
レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のフィルタリングに対するパラメータ情報の伝達を受けてパラメータ予測を実行することができる。パラメータ予測により、ベースレイヤで使用したパラメータを誘導してエンハンスメントレイヤで再使用し、またはベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。
【００９５】
前述したインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個を利用することもできる。例えば、現在ブロックを予測するために、レイヤ０の予測情報を利用しながら、対応されるレイヤ０または対応ブロックのユニット情報またはフィルタリングパラメータ情報などを追加的に利用することができる。このようなインターレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。
【００９６】
加算器２９０、２９５は、予測部２３５、２７５で生成された予測ブロックと逆変換部２３０、２７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器２９０、２９５は、復元ブロックを生成する別途のユニット(復元ブロック生成部)と見ることができる。
【００９７】
加算器２９０、２９５で復元されたブロック及び/またはピクチャは、フィルタリング部２４０、２８０に提供することができる。
【００９８】
フィルタリング部２４０、２８０は、復元されたブロック及び/またはピクチャにデブロッキングフィルタリング、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)及び/またはＡＬＦなどを適用することができる。
【００９９】
フィルタリング部２４０、２８０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。
【０１００】
図２の例を参照すると、レイヤ１のフィルタリング部２４０は、レイヤ１の予測部２３５及び/またはレイヤ１のフィルタリング部２８０から伝達されるパラメータ情報を利用して復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１のフィルタリング部２４０は、レイヤ０で適用されたフィルタリングのパラメータから予測されたパラメータを利用してレイヤ１に対するまたはレイヤ間のフィルタリングを適用することができる。
【０１０１】
メモリ２４５、２８５は、復元されたピクチャまたはブロックを格納して参照ピクチャまたは参照ブロックとして使用可能にする。メモリ２４５、２８５は、格納された復元ピクチャを所定の出力部(図示せず)またはディスプレイ(図示せず)を介して出力することもできる。
【０１０２】
図２の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１のエンコーディング装置のように、逆量子化/逆変換部の一モジュールで再整列、逆量子化、逆変換を順序通りに実行するようにデコーディング装置を構成することもできる。
【０１０３】
また、図２の例では、スケーラビリティをサポートするビデオデコーディング装置２００がレイヤ別にデコーディングを実行するために、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含むと示したが、本発明がこれに限定されるものではない。スケーラビリティをサポートするビデオデコーディング装置は、各レイヤに対するデコーディング部を含まずに、レイヤ１のデコーディング部２１０(または、レイヤ０のデコーディング部２５０)に含まれているモジュールのみで構成されてスケーラビリティをサポートするための複数のレイヤに対するデコーディングを実行することもできる。
【０１０４】
図１及び図２の例では、予測部として説明したが、発明の理解を容易にするために、レイヤ１の予測部は、他のレイヤ(レイヤ０)の情報を利用して予測を実行するインターレイヤ予測部と、他のレイヤ(レイヤ０)の情報を利用せずに予測を実行するインター/イントラ予測部と、を含むと見ることもできる。
【０１０５】
図３は、本発明が適用されることができる複数レイヤを利用したスケーラブルビデオコーディング構造の一例を概略的に示す概念図である。図３において、ＧＯＰ(Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ)は、ピクチャ群、即ち、ピクチャのグループを示す。
【０１０６】
映像データを送信するためには送信媒体が必要であり、その性能は、多様なネットワーク環境によって送信媒体別に異なる。このような多様な送信媒体またはネットワーク環境への適用のために、スケーラブルビデオコーディング方法を提供することができる。
【０１０７】
スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」または「スケーラブルビデオコーディング」という)は、レイヤ(または、階層、ｌａｙｅｒ)間のテクスチャ情報、動き情報、残余信号などを活用してレイヤ間重複性を除去することで、エンコーディング及びデコーディング性能を高めるコーディング方法である。スケーラブルビデオコーディング方法は、送信ビット率、送信エラー率、システムリソースなどの周辺条件によって、空間的(ｓｐａｔｉａｌ)、時間的(ｔｅｍｐｏｒａｌ)、画質的(または、品質的、ｑｕａｌｉｔｙ)観点で多様なスケーラビリティを提供することができる。
【０１０８】
スケーラブルビデオコーディングは、多様なネットワーク状況に適用可能なビットストリームを提供することができるように、複数階層(ｍｕｌｔｉｐｌｅ ｌａｙｅｒｓ)構造を使用して実行することができる。例えば、スケーラブルビデオコーディング構造は、一般的な映像デコーディング方法を利用して映像データを圧縮して処理するベースレイヤ(または、基本階層、ｂａｓｅ ｌａｙｅｒ)を含むことができ、ベースレイヤのデコーディング情報及び一般的な映像デコーディング方法を共に使用して映像データを圧縮処理するエンハンスメントレイヤ(または、向上階層、ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)を含むことができる。
【０１０９】
ここで、レイヤ(ｌａｙｅｒ)は、空間(ｓｐａｔｉａｌ、例えば、映像の大きさ)、時間(ｔｅｍｐｏｒａｌ、例えば、デコーディング順序、映像出力順序、フレームレート)、画質、複雑度などを基準にして区分される映像及びビットストリーム(ｂｉｔｓｔｒｅａｍ)の集合を意味する。
【０１１０】
本明細書において、ベースレイヤ(ｂａｓｅ ｌａｙｅｒ)は、基本階層または下位階層(ｌｏｗｅｒ ｌａｙｅｒ)とも呼ばれる。また、エンハンスメントレイヤ(ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)は、向上階層または上位階層(ｈｉｇｈｅｒ ｌａｙｅｒ)とも呼ばれる。下位階層は、特定階層より低いスケーラビリティをサポートする階層を意味し、上位階層は、特定階層より高いスケーラビリティをサポートする階層を意味する。特定階層が符号化または復号化時に参照する階層は、参照階層とも呼ばれる。
【０１１１】
図３を参照すると、例えば、ベースレイヤは、ＳＤ(ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ)、１５Ｈｚのフレーム率、１Ｍｂｐｓビット率により定義することができ、第１のエンハンスメントレイヤは、ＨＤ(ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、３０Ｈｚのフレーム率、３.９Ｍｂｐｓビット率により定義することができ、第２のエンハンスメントレイヤは、４Ｋ−ＵＨＤ(ｕｌｔｒａ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、６０Ｈｚのフレーム率、２７.２Ｍｂｐｓビット率により定義することができる。
【０１１２】
前記フォーマット(ｆｏｒｍａｔ)、フレーム率、ビット率等は、一つの実施例に過ぎず、必要によって決めることができる。また、使われる階層の数も本実施例に限定されるものではなく、状況によって決めることができる。例えば、送信帯域幅が４Ｍｂｐｓの場合、前記第１のエンハンスメントレイヤＨＤのフレームレートを減らして１５Ｈｚ以下に送信することができる。
【０１１３】
スケーラブルビデオコーディング方法は、前記図３の実施例で詳述した方法により時間的、空間的、画質的スケーラビリティを提供することができる。
【０１１４】
本明細書において、スケーラブルビデオコーディングは、エンコーディング観点ではスケーラブルビデオエンコーディング、デコーディング観点ではスケーラブルビデオデコーディングと同じ意味を有する。
【０１１５】
一方、前述したように、エンコーディング装置は、クワッドツリー構造(ｑｕａｄ ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を有する変換ブロック単位に変換を実行する。変換対象ブロックに適用された予測モードと変換ブロックの大きさに基づいてどのような変換が適用されるかを決定することができる。例えば、現在ブロック(変換ブロック)に適用された予測モードがイントラ予測モードかまたはインター予測モードか、そして現在ブロック(変換ブロック)の大きさによって適用する変換方式が異なる。
【０１１６】
エンコーディング装置は、２次元の量子化された情報(例えば、２次元の量子化された変換係数配列)をスキャニングして１次元の量子化された変換係数配列に再整列することができる。エンコーディング装置は、１次元の量子化された変換係数配列をエントロピーエンコーディングしてデコーディング装置に送信することができる。
【０１１７】
デコーディング装置は、エンコーディング装置から受信した情報をエントロピーデコーディングして１次元の量子化された変換係数配列を生成することができる。デコーディング装置は、１次元の量子化された変換係数配列をスキャニングして２次元の量子化された変換係数配列に再整列することができる。デコーディング装置は、２次元の量子化された変換係数配列を逆量子化して変換係数ブロックを生成することができる。
【０１１８】
即ち、エンコーディング装置で実行する再整列は、スキャニング処理対象ブロック(例えば、変換ブロック)のサンプル(ピクセル)位置に対応して配列された２次元の量子化された変換係数をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャニングして１次元配列の量子化された変換係数で構成することができる。
【０１１９】
デコーディング装置で実行する再整列は、１次元配列の量子化された変換係数をスキャン順序によってスキャニングしてスキャニング処理対象ブロック(例えば、変換ブロック)のサンプル(ピクセル)位置に対応する２次元配列の量子化された変換係数で構成することができる。
【０１２０】
スキャニングは、変換ブロックの大きさ、スキャン順序、及びスキャン開始位置のうち少なくとも一つにより決定することができる。
【０１２１】
例えば、同じ変換を実行するサンプルのブロックである変換ブロックに対して、
【０１２２】
(１)変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが４×４の場合、または(２)変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが８×８であり、変換ブロックがルマサンプルに対する変換ブロックの場合、
【０１２３】
イントラ予測モードが６以上１４以下の場合、スキャン順序は垂直スキャン順序(ｖｅｒｔｉｃａｌ ｓｃａｎ ｏｒｄｅｒ)であり、イントラ予測モードが２２以上３０以下の場合、スキャン順序は水平スキャン順序(ｈｏｒｉｚｏｎａｔａｌ ｓｃａｎ ｏｒｄｅｒ)である。イントラ予測モードが０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序(ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎ ｏｒｄｅｒ)である。
【０１２４】
また、前記の場合ではなく、変換ブロックに適用された予測モードがインター予測モードの場合、スキャン順序は右上向対角スキャン順序である。また、変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが８×８より大きい場合(例えば、変換ブロックの大きさが１６×１６、３２×３２の場合)、スキャン順序は右上向対角スキャン順序である。
【０１２５】
図４は、イントラ予測モードの一例を示す。各イントラ予測モードには互いに異なるモード番号を割り当てることができる。
【０１２６】
図４に示すように、６以上１４以下のイントラ予測モードは、水平方向の予測モードであり、２２以上３０以下のイントラ予測モードは、垂直方向の予測モードである。６以上１４以下または２２以上３０以下のイントラ予測モードでない場合は、非方向性の予測モード、または水平方向でない予測モード、または垂直方向でない予測モードである。
【０１２７】
したがって、前記例では、(１)変換ブロックに適用された予測モードがイントラ予測モードの場合、(ｉ)変換ブロックの大きさが４×４であり、または(ii)変換ブロックの大きさが８×８であり、変換ブロックがルマサンプルに対するものの時、イントラ予測モードが水平方向の予測モードであると、垂直スキャン順序が適用され、イントラ予測モードが垂直方向の予測モードであると、水平方向のスキャン順序が適用される。(２)その他の場合、即ち、イントラ予測モードが非方向性、または水平方向でない予測モード、または垂直方向でない予測モードの場合、右上向対角スキャン順序が適用される。
【０１２８】
垂直スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を垂直方向にスキャンする。
【０１２９】
即ち、垂直スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)の最上側行に位置する量子化された変換係数から同じ列に沿って下方に量子化された変換係数をスキャンすることができる。このとき、スキャンは、スキャン対象ブロックの最も左側列から順序通りに右側列に対して進行することができる。または、スキャンは、スキャン対象ブロックの最も右側列から順序通りに左側列に対して進行することもできる。
【０１３０】
２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。
【０１３１】
垂直スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で垂直方向に再整列することができる。
【０１３２】
即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、垂直スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックが生成されることができる。
【０１３３】
垂直スキャン順序によって、２次元配列(変換ブロック)の最上側行から同じ列に沿って下方に量子化された変換係数を配置することができる。再配置は、エンコーディング装置で実行した順序によって、２次元配列の最も左側列から順序通りに右側列に対して進行することもでき、最も右側列から順序通りに左側列に対して進行することもできる。
【０１３４】
水平スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を水平方向にスキャンする。
【０１３５】
即ち、水平スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)の最も左側列に位置する量子化された変換係数から同じ行に沿って右方に量子化された変換係数をスキャンすることができる。このとき、スキャンは、スキャン対象ブロックの最上側行から順序通りに下側行に対して進行することができる。または、スキャンは、スキャン対象ブロックの最下側行から順序通りに上側行に対して進行することもできる。
【０１３６】
２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。
【０１３７】
水平スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で水平方向に再整列することができる。
【０１３８】
即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、水平スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックを生成することができる。
【０１３９】
水平スキャン順序によって、２次元配列(変換ブロック)の最も左側列から同じ行に沿って右方に量子化された変換係数を配置することができる。再配置は、エンコーディング装置で実行された順序によって、２次元配列の最上側行から順序通りに下側行に対して進行することもでき、最下側行から順序通りに上側行に対して進行することもできる。
【０１４０】
右上向対角スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を右上向対角方向にスキャンすることができる。
【０１４１】
即ち、右上向対角スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)内の量子化された変換係数の対角配列に対して最も左下側の量子化された変換係数から最も右上側の量子化された変換係数までスキャンすることができる。対角配列のスキャンは、スキャン対象ブロック内の左上側対角配列から順序通りに右下側に対して進行することもでき、スキャン対象ブロック内の右下側対角配列から順序通りに左上側に対して進行することもできる。
【０１４２】
２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。
【０１４３】
右上向対角スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で右上向対角方向に再整列することができる。
【０１４４】
即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、右上向対角スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックを生成することができる。
【０１４５】
右上向対角スキャン順序によって、２次元配列(変換ブロック)の対角配列で左下側から同じ対角配列に沿って右上側に量子化された変換係数を再配置することができる。再配置は、エンコーディング装置で実行した順序によって、２次元配列の左上側対角配列から順序通りに右下側対角配列に対して進行することもでき、右下側対角配列から順序通りに左上側対角配列に対して進行することもできる。
【０１４６】
図５は、スキャン順序によるスキャン方法を概略的に説明するための図面である。
【０１４７】
図５の(ａ)は、ｎ×ｍ(ｎ及びｍは、整数)大きさの変換ブロック内に配置された量子化された変換係数の２次元配列を概略的に示す。
【０１４８】
図５の(ａ)を参照すると、各サンプル(ピクセル)位置に対応して量子化された変換係数Ｃが配列されている。例えば、変換ブロック内のａ番目の行及びｂ番目の列の位置に変換係数Ｃa,bが配列されている。
【０１４９】
図５の(ｂ)は、水平スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。
【０１５０】
図５の(ａ)及び図５の(ｂ)を参照すると、水平スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の１番目の行でＣ0,0→Ｃ0,1→...→Ｃ0,n-1の順序に量子化された変換係数をスキャンし、次の行でＣ1,0→Ｃ1,1→...→Ｃ1,n-1の順序に量子化された変換係数をスキャンすることができる。行毎に平行にスキャンを進行し、一つの行で水平スキャンが終了すると、次の行で水平スキャンを進行することができる。
【０１５１】
水平スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を水平スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配置することができる。
【０１５２】
例えば、図５の(ｂ)において、量子化された変換係数列の端から前方に(即ち、Ｃm-1,n-1→Ｃ0,0方向に)スキャンする場合、デコーディング装置は、水平スキャン順序によって、図５の(ａ)の２次元配列のようにＣm-1,n-1→Ｃm-1,n-2→...→Ｃm-1,1→Ｃm-1,0の位置に順序通りに配列し、Ｃm-1,0の次にスキャンされるｎ個の量子化された変換係数は、行を変えて(上側行に変えて)右側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ0,n-1→...→Ｃ0,2→Ｃ0,1→Ｃ0,0までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)が生成されることができる。
【０１５３】
図５の(ｂ)において、量子化された変換係数列の前から後方に(即ち、Ｃ0,0→Ｃm-1,n-1方向に)スキャンする場合、デコーディング装置は、水平スキャン順序によって、図５の(ａ)の２次元配列のようにＣ0,0→Ｃ0,1→...→Ｃ0,n-1の位置に順序通りに配列し、Ｃ0,n-1の次にスキャンされるｎ個の量子化された変換係数は、行を変えて(下側行に変えて)左側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣm-1,0→Ｃm-1,1→Ｃm-1,2→...→Ｃm-1,n-1までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。
【０１５４】
図５の(ｃ)は、垂直スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。
【０１５５】
図５の(ａ)及び図５の(ｃ)を参照すると、垂直スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の１番目の列でＣ0,0→Ｃ1,0→...→Ｃm-1,0の順序に量子化された変換係数をスキャンし、次の列でＣ0,1→Ｃ1,1→...→Ｃm-1,1の順序に量子化された変換係数をスキャンすることができる。列毎に垂直にスキャンを進行し、一つの列で垂直スキャンが終了すると、次の列で垂直スキャンを進行することができる。
【０１５６】
垂直スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を垂直スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配列する。
【０１５７】
例えば、図５の(ｃ)において、量子化された変換係数列の端から前方に(即ち、Ｃm-1,n-1→Ｃ0,0方向に)スキャンする場合、デコーディング装置は、垂直スキャン順序によって、図５の(ａ)の２次元配列のようにＣm-1,n-1→Ｃm-2,n-1→...→Ｃ1,n-1→Ｃ0,n-1の位置に順序通りに配列し、Ｃ0,n-1の次にスキャンされるｍ個の量子化された変換係数は、列を変えて(左側列に変えて)下側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣm-1,0→...→Ｃ2,0→Ｃ1,0→Ｃ0,0までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。
【０１５８】
図５の(ｃ)において、量子化された変換係数列の前から後方に(即ち、Ｃ0,0→Ｃm-1,n-1方向に)スキャンする場合、デコーディング装置は、垂直スキャン順序によって、図５の(ａ)の２次元配列のようにＣ0,0→Ｃ1,0→Ｃ2,0→...→Ｃm-1,0の位置に順序通りに配列し、Ｃm-1,0の次にスキャンされるｍ個の量子化された変換係数は、列を変えて(右側列に変えて)上側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ0,n-1→Ｃ1,n-1→Ｃ2,n-1→...→Ｃm-1,n-1までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。
【０１５９】
図５の(ｄ)は、右上向対角スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。
【０１６０】
図５の(ａ)及び図５の(ｄ)を参照すると、右上向対角スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の対角列順序によって１番目の対角列の量子化された変換係数を右上向にスキャンし、順序通りに次の対角列の量子化された変換係数を右上向にスキャンする。例えば、図５の(ａ)を参照すると、変換ブロック内の１番目の対角列には量子化された変換係数がＣ0,0しかないため、Ｃ0,0をスキャンし、次の対角列でＣ1,0→Ｃ0,1の順序に量子化された変換係数をスキャンし、その次の対角列でＣ2,0→Ｃ1,1→Ｃ0,2の順序に量子化された変換係数をスキャンすることができる。順序通りに対角列の量子化された変換係数がスキャンされて最後の量子化された変換係数Ｃm-1,n-1がスキャンされる。
【０１６１】
エンコーディング装置は、右上向対角スキャン順序によって量子化された変換係数のスキャンを実行することで、図５の(ｄ)のような１次元の量子化された変換係数列を生成する。１次元の量子化された変換係数列は、前述した右上向対角スキャン順序によって、先にスキャンされた係数を前方に位置させると、図示されているように(Ｃm-1,n-1...Ｃ0,2 Ｃ1,1 Ｃ2,0 Ｃ0,1 Ｃ1,0 Ｃ0,0)の順序を有する。
【０１６２】
右上向対角スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を右上向対角スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配列する。
【０１６３】
例えば、図５の(ｄ)のような量子化された変換係数の１次元配列を量子化された変換係数列の前から後方に(即ち、Ｃ0,0→Ｃm-1,n-1方向に)スキャンする場合、デコーディング装置は、スキャンした量子化された変換係数を右上向対角スキャン順序によって２次元配列の対角列に沿って配置することができる。スキャンされた変換係数は、２次元配列の最も左上側に位置する対角列に先に配置することができ、右下側方向の対角列に順序通りに配置することができる。各対角列では、左下側から右上側に量子化された変換係数が配置することができる。
【０１６４】
即ち、図５の(ａ)の２次元配列を参照すると、Ｃ0,0→Ｃ1,0→Ｃ0,1→Ｃ2,0→Ｃ1,1→Ｃ0,2→...→Ｃm-1,n-2→Ｃm-2,n-1→Ｃm-1,n-1の順序通りに配列することができる。
【０１６５】
図５の(ｄ)において、量子化された変換係数列の端から前方に(即ち、Ｃm-1,n-1→Ｃ0,0方向に)スキャンする場合、デコーディング装置は、スキャンした量子化された変換係数を右上向対角スキャン順序によって２次元配列の対角列に沿って配置することができる。スキャンされた変換係数は、２次元配列の最も右下側に位置する対角列に先に配置することができ、左上側方向の対角列に順序に配置することができる。各対角列では、左下側から右上側に量子化された変換係数が配置することができる。
【０１６６】
即ち、図５の(ａ)の２次元配列を参照すると、Ｃm-1,n-1→Ｃm-1,n-2→Ｃm-2,n-1→...→Ｃ2,0→Ｃ1,1→Ｃ0,2→Ｃ1,0→Ｃ0,1→Ｃ0,0の順序通りに配列することができる。
【０１６７】
図５の例において、ｍ＝ｎである場合は、正方形のブロック(例えば、変換ブロック)単位に変換を実行する場合を意味し、ｎ≠ｍである場合は、非正方形のブロック(例えば、変換ブロック)単位に変換を実行する場合を意味する。
【０１６８】
前述したような変換係数のスキャンは、２次元の量子化された変換係数配列(例えば、変換ブロック)内のサブブロック単位に実行することもできる。
【０１６９】
例えば、エンコーディング装置は、変換係数配列内のサブブロックに対して一サブブロック内の量子化された変換係数を順序通りにスキャンして再整列した後、次のサブブロック内の量子化された変換係数を順序通りにスキャンして再整列することによって、１次元の量子化された変換係数配列を生成することができる。サブブロック内では前述した水平スキャン順序、垂直スキャン順序、右上向対角スキャン順序によって量子化された変換係数をスキャンすることができる。
【０１７０】
デコーディング装置は、１次元の変換係数配列をサブブロック単位にスキャン及び再整列することができる。例えば、デコーディング装置は、一サブブロック(例えば、第１のサブブロック)に対して量子化された変換係数をスキャンし、全体変換係数の２次元配列で前記第１のサブブロックの位置に量子化された変換係数を再整列して２次元配列を生成した後、次のサブブロック(例えば、第２のサブブロック)に対して量子化された変換係数をスキャンし、全体変換係数の２次元配列で前記第２のサブブロックの位置に量子化された変換係数を再整列する方式に変換係数の２次元配列(例えば、変換ブロック)を生成することができる。このとき、サブブロック内では詳述した水平スキャン順序、垂直スキャン順序、右上向対角スキャン順序によって量子化された変換係数を再整列することができる。
【０１７１】
サブブロックのスキャン順序とサブブロック内の量子化された変換係数のスキャン順序は、同じであってもよく、異なってもよい。例えば、サブブロックが右上向対角スキャン順序にスキャンまたは再整列する場合、サブブロック内の量子化された変換係数も右上向対角スキャン順序にスキャンまたは再整列することができる。また、サブブロックが右上向対角スキャン順序にスキャンまたは再整列する場合、サブブロック内の量子化された変換係数は、水平スキャン順序または垂直スキャン順序によってスキャンされ、または再整列することもできる。
【０１７２】
一方、前述したようにスケーラブルビデオコーディングでは現在レイヤに対する予測を実行する時、現在レイヤの情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤの情報を利用してインターレイヤ予測を実行することもできる。
【０１７３】
図６は、本発明が適用されることができるインターレイヤ予測を説明するための図面である。
【０１７４】
図６を参照すると、複数個のレイヤをサポートするスケーラブルビデオコーディング構造において、エンハンスメントレイヤ(現在レイヤ)の現在ブロック６１０に対する予測を実行する場合、現在ブロック６１０と同じレイヤの情報を利用して予測(イントラまたはインター予測)を実行することもできるが、予測効率を上げるために、現在レイヤより下位レイヤで既に復元されたピクチャを利用して予測(インターレイヤ予測)を実行することもできる。
【０１７５】
現在ブロック６１０のデコーディング時、インターレイヤ予測を使用するかどうかは、エンコーディング装置からシグナリングすることができる。例えば、現在ピクチャ６００のデコーディング時、インターレイヤ予測が使用可能かどうかを指示するｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ情報を介して知ることができる。ｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ値が１の場合、現在ピクチャ６００のデコーディング時、インターレイヤ予測を使うことができるということを指示し、ｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ値が０の場合、現在ピクチャ６００のデコーディング時、インターレイヤ予測を使わないということを指示できる。
【０１７６】
現在ブロック６１０のデコーディング時、インターレイヤ予測を使う場合、インターレイヤ予測のために使われる他のレイヤのピクチャに対する情報が必要である。即ち、インターレイヤ予測時、参照される参照レイヤに対する情報、参照レイヤ内の参照される参照ピクチャに対する情報などが必要である。インターレイヤ予測時、参照される参照ピクチャは、インターレイヤ参照ピクチャとも呼ばれる。このとき、インターレイヤ参照ピクチャは、現在レイヤ(エンハンスメントレイヤ)のスケーラビリティに合わせてリサンプルされた(ｒｅｓａｍｐｌｅｄ)参照ピクチャである。
【０１７７】
インターレイヤ参照ピクチャは、インター予測またはインターレイヤ予測のために使われる参照ピクチャで構成された参照ピクチャリストから誘導することができる。
【０１７８】
参照ピクチャリストは、ＰスライスまたはＢスライスのインター予測またはインターレイヤ予測のために使われる参照ピクチャリスト０(以下、Ｌ０という)と、Ｂスライスのインター予測またはインターレイヤ予測のために使われる参照ピクチャリスト１(以下、Ｌ１という)と、を含むことができる。即ち、単方向予測を実行するＰスライスまたはＢスライスのブロックに対するインター予測またはインターレイヤ予測にはＬ０が利用され、双方向予測を実行するＢスライスのブロックに対するインター予測またはインターレイヤ予測にはＬ０及びＬ１が利用されることができる。
【０１７９】
ＰスライスまたはＢスライスに対するデコーディング時、インターレイヤ予測を実行する場合、参照ピクチャリストを構成する。参照ピクチャリストは、インター予測に使われる参照ピクチャとインターレイヤ予測に使われる参照ピクチャを含むことができ、参照ピクチャインデックスによりインターレイヤ参照ピクチャを特定することができる。
【０１８０】
参照ピクチャリストＬ０、Ｌ１は、現在ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)よりＰＯＣが小さい短期参照ピクチャで構成された短期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ)、現在ピクチャのＰＯＣよりＰＯＣが大きい短期参照ピクチャで構成された短期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ)、長期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ)及びインターレイヤ参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１)に基づいて構成することができる。
【０１８１】
ＰＯＣは、ピクチャの表示順序を示し、短期参照ピクチャは、現在ピクチャとＰＯＣとの差が大きくないピクチャであり、長期参照ピクチャは、現在ピクチャとＰＯＣとの差が大きいピクチャである。
【０１８２】
例えば、Ｌ０は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１の順に構成することができる。Ｌ１は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０の順に構成することができる。
【０１８３】
このとき、参照ピクチャリストの参照ピクチャの個数を制限する場合、Ｌ０またはＬ１でＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１は、空(ｅｍｐｔｙ)状態である。
【０１８４】
図６に示すように、エンハンスメントレイヤの現在ピクチャ６００がインターレイヤ予測を実行する場合、前述したように、参照ピクチャリストを構成することができる。このとき、エンコーディング装置からシグナリングされるインターレイヤ参照ピクチャを指示する参照ピクチャインデックスを介して参照ピクチャリストからインターレイヤ参照ピクチャ６２０を誘導することができる。インターレイヤ参照ピクチャ６２０は、エンハンスメントレイヤのスケーラビリティによって再構成された(ｒｅｓａｍｐｌｅｄ)参照ピクチャである。
【０１８５】
このとき、インターレイヤ参照ピクチャ６２０からサンプル情報を利用して予測するインターレイヤサンプル予測と、インターレイヤ参照ピクチャ６２０から動き情報を利用して予測するインターレイヤ動き予測がある。
【０１８６】
現在ピクチャ６００の現在ブロック６１０に対して、インターレイヤサンプル予測を実行するか、またはインターレイヤ動き予測を実行するかは、エンハンスメントレイヤと参照レイヤとの間の従属性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)によって決定することができる。このような従属性タイプは、エンコーディング装置からシグナリングすることができる。
【０１８７】
例えば、従属性タイプは、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値によって特定することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が０の場合、参照レイヤがエンハンスメントレイヤのインターレイヤサンプル予測のために使うことができるが、インターレイヤ動き予測のために使うことはできない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が１の場合、参照レイヤがエンハンスメントレイヤのインターレイヤ動き予測のために使うことができるが、インターレイヤサンプル予測のために使うことはできない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が２の場合、参照レイヤがエンハンスメントレイヤのインターレイヤサンプル予測とインターレイヤ動き予測のために使うことができる。
【０１８８】
前述したように、スケーラブルビデオコーディングにおいて、エンハンスメントレイヤがインターレイヤ予測を使用してコーディングされる場合、一般的なイントラ予測の予測方向(イントラ予測モード)に基づいて予測された場合とは違って、他のピクチャの情報を利用して予測を実行する。したがって、既存のイントラ予測のモード情報を利用して変換係数のスキャン順序を決定する方法を適用する場合、コーディング効率に影響を与えることができる。本発明ではインターレイヤ予測モードが使われるスケーラブルビデオコーディングでの係数スキャニング方法を提案する。例えば、現在ブロックに適用されたイントラ予測モードがインターレイヤ予測モードの場合、現在ブロックの変換係数に対するスキャン順序は、特定な一つのスキャン順序に固定することができる。右上向対角スキャン順序に固定することもでき、垂直スキャン順序または水平スキャン順序に固定することもできる。
【０１８９】
図７は、本発明による複数のレイヤをサポートする映像符号化方法を概略的に示す流れ図である。図７の方法は、前述した図１のエンコーディング装置で実行されることができる。
【０１９０】
図７を参照すると、エンコーディング装置は、現在レイヤ(エンハンスメントレイヤ)の符号化対象ブロックを予測して予測サンプルを生成することができる(Ｓ７００)。このとき、符号化対象ブロックの予測モードに基づいて予測を実行することができる。例えば、符号化対象ブロックにインターレイヤ予測が使われる場合、前述した図６のように、参照ピクチャリストから誘導されたインターレイヤ参照ピクチャに基づいてインターレイヤ予測を実行することができる。
【０１９１】
エンコーディング装置は、符号化対象ブロックの予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することができる(Ｓ７１０)。変換を実行した結果、符号化対象ブロックに対する変換係数の２次元配列を生成することができる。レジデュアルサンプルは、予測により生成された予測サンプルと符号化対象ブロックの原サンプルとの間の差分値である。
【０１９２】
エンコーディング装置は、変換係数の２次元配列をスキャン順序によってスキャンして変換係数を１次元配列に再整列することができる(Ｓ７２０)。このとき、スキャン順序は、符号化対象ブロックに適用された予測モードに基づいて決定することができる。
【０１９３】
例えば、符号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、右上向対角スキャン順序によって変換係数の２次元配列をスキャンして１次元配列に再整列することができる。または、符号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、垂直スキャン順序や水平スキャン順序に特定して再整列を実行することもできる。
【０１９４】
符号化対象ブロックに適用された予測モードがインター予測モードの場合、右上向対角スキャン順序によって変換係数の２次元配列をスキャンして１次元配列に再整列することができる。
【０１９５】
符号化対象ブロックに適用された予測モードがイントラ予測モードの場合、符号化対象ブロックの大きさ及び符号化対象ブロックがルマサンプルに対するブロックであるかどうかによってスキャン順序を決定することができる。
【０１９６】
即ち、符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが４×４の場合、または符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが８×８であり、符号化対象ブロックがルマサンプルに対するブロックの場合、符号化対象ブロックのイントラ予測モード値によってスキャン順序を決定することができる。
【０１９７】
符号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、スキャン順序は垂直スキャン順序に決定され、符号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、スキャン順序は水平スキャン順序に決定され、符号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序に決定することができる。
【０１９８】
また、符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが８×８より大きい場合、スキャン順序は右上向対角スキャン順序に決定することができる。
【０１９９】
前記右上向対角スキャン順序、垂直スキャン順序、水平スキャン順序は、具体的に詳述したことがあるため、ここでは説明を省略する。
【０２００】
エンコーディング装置は、変換係数の１次元配列をエントロピーエンコーディングすることができる(Ｓ７３０)。エンコーディング装置は、１次元の変換係数と共にデコーディングに必要な情報をエントロピーエンコーディングしてビットストリームを生成することができる。ビットストリームは、デコーディング装置に送信することができる。
【０２０１】
図８は、本発明による複数のレイヤをサポートする映像復号化方法を概略的に示す流れ図である。図８の方法は、前述した図２のデコーディング装置で実行することができる。
【０２０２】
図８を参照すると、デコーディング装置は、ビットストリームを受信してエントロピーデコーディングすることができる(Ｓ８００)。このとき、ビットストリームは、現在レイヤの復号化対象ブロックに対する情報を含むことができる。デコーディング装置は、エントロピーデコーディングを介して復号化対象ブロックに対する変換係数の１次元配列を取得することができる。
【０２０３】
デコーディング装置は、変換係数の１次元配列をスキャン順序によってスキャンして変換係数の２次元配列に再整列することができる(Ｓ８１０)。このとき、スキャン順序は、復号化対象ブロックに適用された予測モードに基づいて誘導することができる。
【０２０４】
例えば、復号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、スキャン順序を右上向対角スキャン順序に誘導することができる。したがって、変換係数の１次元配列を右上向対角スキャン順序によってスキャンして変換係数の２次元配列に再整列することができる。または、復号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、スキャン順序を垂直スキャン順序や水平スキャン順序に誘導することもできる。
【０２０５】
復号化対象ブロックに適用された予測モードがインター予測モードの場合、スキャン順序を右上向対角スキャン順序に誘導することができる。
【０２０６】
復号化対象ブロックに適用された予測モードがイントラ予測モードの場合、復号化対象ブロックの大きさ及び復号化対象ブロックがルマサンプルに対するブロックであるかどうかによってスキャン順序を誘導することができる。
【０２０７】
即ち、復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが４×４の場合、または復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが８×８であり、復号化対象ブロックがルマサンプルに対するブロックの場合、復号化対象ブロックのイントラ予測モード値によってスキャン順序を誘導することができる。
【０２０８】
復号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、スキャン順序は垂直スキャン順序に誘導され、復号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、スキャン順序は水平スキャン順序に誘導され、復号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序に誘導することができる。
【０２０９】
また、復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが８×８より大きい場合、スキャン順序は右上向対角スキャン順序に誘導することができる。
【０２１０】
前記右上向対角スキャン順序、垂直スキャン順序、水平スキャン順序は、具体的に詳述したことがあるため、ここでは説明を省略する。
【０２１１】
デコーディング装置は、変換係数の２次元配列を逆量子化することができる(Ｓ８２０)。デコーディング装置は、逆量子化を介して復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得することができる。
【０２１２】
デコーディング装置は、復号化対象ブロックの予測モードに基づいて復号化対象ブロックに対する予測を実行する(Ｓ８３０)。デコーディング装置は、予測により復号化対象ブロックの予測サンプルを生成することができ、予測サンプルと、逆量子化された変換係数の変換を介して取得されたレジデュアルサンプルと、を利用して復号化対象ブロックに対する復元サンプルを取得することができる。
【０２１３】
前述した例示的なシステムにおいて、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、前述した実施例は、多様な態様の例示を含む。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正及び変更を含む。
【図５（ａ）】
2016502817.tif 000003
【図５（ｂ）】
2016502817.tif 000004
【図５（ｃ）】
2016502817.tif 000005
【図５（ｄ）】
2016502817.tif 000006
【図１】
2016502817.tif 000007
【図２】
2016502817.tif 000008
【図３】
2016502817.tif 000009
【図４】
2016502817.tif 000010
【図６】
2016502817.tif 000011
【図７】
2016502817.tif 000012
【図８】
2016502817.tif 000013
【手続補正書】
【提出日】平成27年5月29日(2015.5.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のレイヤをサポートする映像復号化方法において、
現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、
前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、
前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、
前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、
前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップと、を含み、
前記変換係数の２次元配列に再整列するステップでは、
前記復号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を誘導する、映像復号化方法。
【請求項２】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を右上向対角スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項３】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を垂直スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項４】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を水平スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項５】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがインター予測モードの場合、前記スキャン順序を右上向対角スキャン順序に設定する、請求項１に記載の映像復号化方法。
【請求項６】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードの場合、前記スキャン順序を前記復号化対象ブロックの大きさ及び前記復号化対象ブロックがルマサンプルに対するブロックであるかどうかによって誘導する、請求項１に記載の映像復号化方法。
【請求項７】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが４×４の場合、または前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８であり、前記符号化対象ブロックがルマサンプルに対するブロックの場合、前記スキャン順序は、前記復号化対象ブロックのイントラ予測モード値によって誘導される、請求項６に記載の映像復号化方法。
【請求項８】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８より大きい場合、前記スキャン順序は、右上向対角スキャン順序に誘導される、請求項６に記載の映像復号化方法。
【請求項９】
前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、前記スキャン順序は垂直スキャン順序に誘導され、前記復号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、前記スキャン順序は水平スキャン順序に誘導され、前記復号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、前記スキャン順序は右上向対角スキャン順序に誘導される、請求項７に記載の映像復号化方法。
【請求項１０】
前記インターレイヤ予測モードは、前記復号化対象ブロックを含む現在ピクチャの復号化時にインターレイヤ予測を使用するかどうかを指示する情報から特定される、請求項２から請求項４のいずれか一項に記載の映像復号化方法。
【請求項１１】
複数のレイヤをサポートする映像符号化方法において、
現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行することで予測サンプルを取得するステップと、
前記予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することで前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップと、
前記変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列に再整列するステップと、
前記変換係数の１次元配列をエントロピーエンコーディングするステップと、を含み、
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、
前記符号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を決定する、映像符号化方法。
【請求項１２】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を右上向対角スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１３】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を垂直スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１４】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインターレイヤ予測モードの場合、前記スキャン順序を水平スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【請求項１５】
前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードがインター予測モードの場合、前記スキャン順序を右上向対角スキャン順序に決定する、請求項１１に記載の映像符号化方法。
【国際調査報告】
2016502817.tif 000014
2016502817.tif 000015
2016502817.tif 000016
2016502817.tif 000017
2016502817.tif 000018
2016502817.tif 000019