(57)【要約】本発明の実施形態は、ビデオ信号処理方法及び装置を提供する。特に、本発明の実施形態に係るビデオ信号の復号化方法は、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定するステップと、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得するステップと、前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導くステップと、前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くステップとを含むことができる。【選択図】図１
2021509559.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号を復号化する方法において、
現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定するステップと、
前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得するステップと、
前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導くステップと、
前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くステップと、
を含むビデオ信号復号化方法。
【請求項２】
前記予め定義された２次変換セットは、各々２個の２次変換行列を含むことを特徴とする請求項１に記載のビデオ信号復号化方法。
【請求項３】
前記２次逆変換されたブロックを導くステップは、
前記現在ブロックの幅及び高さに基づいて前記２次逆変換の入力長さ及び出力長さを決定するステップをさらに含む請求項１に記載のビデオ信号復号化方法。
【請求項４】
前記現在ブロックの高さ及び幅が各々４である場合、非分離変換の入力長さは８、出力長さは１６に決定されることを特徴とする請求項３に記載のビデオ信号復号化方法。
【請求項５】
前記現在ブロックの１次変換に適用される１次変換行列を指示する第２のシンタックス要素をパーシングするステップと、
前記第２のシンタックス要素に基づいて前記現在ブロックに２次変換が適用され得るか否かを決定するステップと、
をさらに含む請求項１に記載のビデオ信号復号化方法。
【請求項６】
前記２次変換が適用され得るか否かを決定するステップは、
前記第２のシンタックス要素が予め定義された特定変換タイプを指示する場合、前記現在ブロックに２次変換が適用され得ることと決定することにより行われる請求項５に記載のビデオ信号復号化方法。
【請求項７】
前記予め定義された特定変換タイプは、ＤＣＴ２と定義されることを特徴とする請求項６に記載のビデオ信号復号化方法。
【請求項８】
ビデオ信号を復号化する装置において、
前記ビデオ信号を格納するメモリと、
前記メモリと結合されたプロセッサと、
を備え、
前記プロセッサは、
現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定し、
前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得し、
前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導き、
前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くビデオ信号復号化装置。
【請求項９】
前記予め定義された２次変換セットは、各々２個の２次変換行列を含むことを特徴とする請求項８に記載のビデオ信号復号化装置。
【請求項１０】
前記プロセッサは、
前記現在ブロックの幅及び高さに基づいて前記２次逆変換の入力長さ及び出力長さを決定する請求項８に記載のビデオ信号復号化装置。
【請求項１１】
前記現在ブロックの高さ及び幅が各々４である場合、前記非分離変換の入力長さは８、出力長さは１６に決定されることを特徴とする請求項１０に記載のビデオ信号復号化装置。
【請求項１２】
前記プロセッサは、
前記現在ブロックの１次変換に適用される１次変換行列を指示する第２のシンタックス要素をパーシングし、
前記第２のシンタックス要素に基づいて、前記現在ブロックに２次変換が適用され得るか否かを決定する請求項８に記載のビデオ信号復号化装置。
【請求項１３】
前記プロセッサは、
前記第２のシンタックス要素が予め定義された特定変換タイプを指示する場合、前記現在ブロックに２次変換が適用され得ることと決定する請求項１２に記載のビデオ信号復号化装置。
【請求項１４】
前記予め定義された特定変換タイプは、ＤＣＴ２と定義されることを特徴とする請求項１３に記載のビデオ信号復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号を処理するための方法及び装置に関し、より具体的に、変換を行うことによりビデオ信号を符号化／復号化するための方法及び装置に関する。
【背景技術】
【０００２】
圧縮符号化（エンコーディング）とは、デジタル化した情報を通信回線を介して転送したり、貯蔵媒体に適合した形で貯蔵するための一連の信号処理技術を意味する。映像、映像、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象に圧縮符号化を実行する技術をビデオ映像圧縮と称する。
【０００３】
次世代ビデオコンテンツは、高解像度（high spatial resolution）、高フレームレート（high frame rate）及び映像表現の高次化（high dimensionality of scene representation）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリストレージ（memory storage）、メモリアクセス率（memory access rate）及び処理電力（processing power）の面で莫大な増加をもたらす。
【０００４】
したがって、次世代の映像コンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、ＨＥＶＣ（high efficiency video coding）標準の後のビデオコーデック標準は、さらに高い正確度を有する予測技術とともに空間領域（spatial domain）のビデオ信号を周波数領域（frequency domain）に変換させるための効率的な変換技術を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、現在ブロックに適した変換を適用する画像信号処理方法及び装置を提供することにある。
【０００６】
本発明で解決しようとする技術的課題は、以上で言及した技術的課題に限定されず、言及しないまた他の技術的課題は、下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ビデオ信号を復号化する方法において、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定するステップと、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得するステップと、前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導くステップと、前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くステップとを含むことができる。
【０００８】
好ましくは、前記予め定義された２次変換セットは、各々２個の２次変換行列を含むことができる。
【０００９】
好ましくは、前記２次逆変換されたブロックを導くステップは、前記現在ブロックの幅及び高さに基づいて前記２次逆変換の入力長さ及び出力長さを決定するステップをさらに含むことができる。
【００１０】
好ましくは、前記現在ブロックの高さ及び幅が各々４である場合、非分離変換の入力長さは８、出力長さは１６に決定されることができる。
【００１１】
好ましくは、前記現在ブロックの１次変換に適用される１次変換行列を指示する第２のシンタックス要素をパーシングするステップと、前記第２のシンタックス要素に基づいて前記現在ブロックに２次変換が適用され得るか否かを決定するステップとをさらに含むことができる。
【００１２】
好ましくは、前記２次変換が適用され得るか否かを決定するステップは、前記第２のシンタックス要素が予め定義された特定変換タイプを指示する場合、前記現在ブロックに２次変換が適用され得ることと決定することにより行われることができる。
【００１３】
好ましくは、前記予め定義された特定変換タイプは、ＤＣＴ２と定義されることができる。
【００１４】
本発明の他の一態様は、ビデオ信号を復号化する装置において、前記ビデオ信号を格納するメモリと、前記メモリと結合されたプロセッサとを備え、前記プロセッサは、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定し、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得し、前記第１のシンタックス要素により特定される２次変換行列を用いて前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導き、及び前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くことができる。
【発明の効果】
【００１５】
本発明の実施形態によれば、現在ブロックに適した変換を決定して適用することにより、変換効率を向上させることができる。
【００１６】
また、本発明の実施形態によれば、一次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）及び二次変換（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ）に用いられる変換を効率的に設計することにより、演算複雑度を改善し、圧縮性能を高めることができる。
【００１７】
また、本発明の実施形態によれば、二次変換が適用される一次変換の変換カーネルを制限することにより、演算複雑度を著しく改善することができる。
【００１８】
本発明で得られる効果は、以上で言及した効果に制限されず、言及しないまた他の効果は以下の記載から、本発明が属する技術分野で通常の知識を有する者に明確に理解されるべきである。
【図面の簡単な説明】
【００１９】
本発明に係る理解を助けるために詳細な説明の一部として含まれた、添付図面は、本発明の実施形態を提供し、詳細な説明と一緒に本発明の技術的特徴を説明する。
【００２０】
【図１】本発明が適用される実施形態として、映像コーディングシステムの例を示す。
【図２】本発明が適用される実施形態として、ビデオ／映像信号のエンコードが行われるエンコード装置の概略的なブロック図を示す。
【図３】本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。
【図４】本発明が適用される実施形態として、コンテンツストリーミングシステムの構造図である。
【図５】本発明が適用されることができる実施形態として、図５ａは、ＱＴ（QuadTree、以下「ＱＴ」とする）、図５ｂは、ＢＴ（Binary Tree、以下「ＢＴ」と称する）、図５ｃは、ＴＴ（Ternary Tree、以下「ＴＴ」という）図５ｄは、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明するための図である。
【図６】本発明が適用される実施形態として、エンコード装置内の変換及び量子化部、逆量子化及び逆変換部の概略的なブロック図を示す。
【図７】本発明が適用される実施形態として、デコード装置内の逆量子化及び逆変換部の概略的なブロック図を示す。
【図８】ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。
【図９】ＡＭＴが実行されるデコード過程を示すフローチャートである。
【図１０】本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。
【図１１】本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。
【図１２】本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。
【図１３】本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。
【図１４】本発明が適用される実施形態として、ギブンス回転（Givensrotation）を説明するためのダイヤグラムを示す。
【図１５】本発明が適用される実施形態として、ギブンス回転レイヤと置換（permutation）で構成された４ｘ４ＮＳＳＴ（non -separable secondary transform）での１ラウンド（round）の構成を示す。
【図１６】本発明が適用される実施形態として、ＲＳＴ（reduced secondary transform）の動作を示す。
【図１７】本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆スキャンを実行する過程を示す図である。
【図１８】本発明が適用される実施形態として、単一変換指示子（single transform indicator、ＳＴＩ）を使用したエンコードフローチャートの例を示す。
【図１９】本発明が適用される実施形態として、統一された変換指示子（unified transform indicator、ＵＴＩ）を使用したエンコードフローチャートの例を示す。
【図２０ａ】本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。
【図２０ｂ】本発明が適用される実施形態として、ＵＴＩを使ったエンコードフローチャートの他の例を示す。
【図２１】本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。
【図２２】本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。
【図２３】本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。
【図２４】本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。
【図２５】本発明が適用される実施形態でとして、ビデオ信号を処理するためのフローチャートを示す。
【図２６】本発明が適用される実施形態によるビデオ信号の変換方法を例示するフローチャートである。
【図２７】本発明が適用される実施形態に係るビデオ信号の変換方法を例示するフローチャートである。
【図２８】本発明が適用される実施形態として、ビデオ信号を処理するための装置のブロック図の例を示す。
【発明を実施するための形態】
【００２１】
以下、本発明に係る好適な実施の形態を添付の図面を参照して、詳細に説明する。添付された図面と一緒に以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施されることができる唯一の実施形態を示したいのではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかし、当業者は、本発明がこのような具体的な詳細事項がなくても実施できることが分かる。
【００２２】
いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図の形式で示されることができる。
【００２３】
さらに、本発明で用いられる用語は、可能な限り、現在広く用いられる一般的な用語を選択したが、特定の場合には、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明で、その意味を明確に記載するため、本発明の説明で使用された用語の名称のみで単純に解釈されてはならないものであり、その当該用語の意味まで把握して解釈されるべきであることを明らかにしておく。
【００２４】
以下の説明で用いられる特定の用語は、本発明の理解を助けるために提供されたものであり、このような特定の用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディングの過程で適切に代替されて解釈されることがある。
【００２５】
以下、本明細書において「処理ユニット」は、予測、変換、及び/または量子化などのようなエンコード／デコードの処理過程が実行される単位を意味する。また、処理ユニットは、輝度（luma）成分の単位と色差（chroma）成分の単位を含む意味で解釈されることができる。例えば、処理ユニットは、ブロック（block）、コーディングユニット（coding unit、ＣＵ）、予測ユニット（prediction unit、ＰＵ）、または変換ブロック（transform unit、ＴＵ）に該当することができる。
【００２６】
なお、以下、本明細書でピクセルまたは画素などをサンプルとして通称する。そして、サンプルを用いるとすることは、ピクセル値または画素値などを用いることを意味することができる。
【００２７】
また、処理ユニットは、必ず正方形のブロックに限定されるものではなく、３つ以上の頂点を有する多角形の形で構成されることもある。
【００２８】
なお、以下、本明細書でピクセルまたは画素などをサンプルとして通称する。そして、サンプルを用いるとすることは、ピクセル値または画素値などを用いることを意味することができる。
【００２９】
図１は、本発明が適用される実施形態として、映像コーディングシステムの例を示す。
【００３０】
映像コーディングシステムは、ソースデバイ１０及び受信デバイス２０を含むことができる。ソースデバイ１０は、エンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイス２０に転達することができる。
【００３１】
ソースデバイ１０は、ビデオソース１１、エンコード装置１２、送信機１３を含むことができる。受信デバイス２０は、受信機２１、デコード装置２２及びレンダラー２３を含むことができる。エンコード装置１０は、ビデオ/映像エンコード装置と呼ばれることができ、デコード装置２０は、ビデオ/映像デコード装置と呼ばれることができる。送信機１３は、エンコード装置１２に含まれることができる。受信機２１は、デコード装置２２に含まれることができる。レンダラー２３は、ディスプレイ部を含むこともでき、ディスプレイ部の別のデバイスまたは外部のコンポーネントで構成されることもある。
【００３２】
ビデオソースはビデオ／映像のキャプチャ、合成または生成過程などを通じてビデオ/映像を獲得することができる。ビデオソースはビデオ／映像キャプチャデバイス及び/またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ/映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えばコンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。たとえば、コンピュータなどを通じて、仮想のビデオ/映像が生成されることができ、この場合、関連するデータが生成される過程で、ビデオ／映像キャプチャプロセスが代えることができる。
【００３３】
エンコード装置１２は、入力ビデオ/映像をエンコードすることができる。エンコード装置１２は、圧縮およびコーディング効率のために予測、変換、量子化などの一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ/映像情報）は、ビットストリーム（bitstream）の形で出力されることができる。
【００３４】
転送部１３は、ビットストリームの形態で出力され、エンコードされたビデオ／映像情報またはデータを、ファイルまたはストリーミング形態でデジタル貯蔵媒体またはネットワークを介して受信デバイスの受信部に転達することができる。デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ−ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。転送部１３は、予め決まれたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介した転送のためのエレメントを含むことができる。受信機２１は、ビットストリームを抽出してデコード装置２２に転達することができる。
【００３５】
デコード装置２２は、エンコード装置１２の動作に対応する逆量子化、逆変換、予測など一連の手順を実行して、ビデオ／映像をデコードすることができる。
【００３６】
レンダラー(renderer)２３は、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
【００３７】
図２は、本発明が適用される実施形態として、ビデオ／映像信号のエンコーディングが行われるエンコード装置の概略的なブロック図を示す。図２のエンコード装置１００は、図１のエンコード装置１２に対応することができる。
【００３８】
映像分割部１１０は、エンコード装置１００に入力された入力画像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（processing unit）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（coding tree unit、ＣＴＵ）または最大コーディングユニット（largest coding unit、ＬＣＵ）からＱＴＢＴ（Quad-tree binary-tree）構造に基づいて再帰的に（recursively）に分割されることができる。例えば、一つのコーディングユニットは、クワッドツリー構造及び/またはバイナリツリー構造に基づいて、下位（deeper）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クワッドツリー構造が先に適用され、バイナリツリー構造が、後で適用されることができる。またはバイナリツリー構造が先に適用されることもある。これ以上分割されない最終コーディングユニットをベースに、本発明に係るコーディング手順が実行されることができる。この場合、映像の特性に応じたコーディング効率などに基づいて、最大コーディングユニットがすぐに最終的なコーディングユニットとして用いることができ、または必要に応じてコーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割され、最適のサイズのコーディングユニットが最終コーディングユニットとして用いられる。ここでコーディング手順とは、後述する予測、変換、及び復元などの手続きを含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、それぞれ前述した最終コーディングユニットから分割またはパーティショニングすることができる。前記予測ユニットは、サンプル予測の単位で有り得、前記の変換ユニットは、変換係数を誘導する単位、及び/または変換係数からレジデュアル信号（residual signal）を誘導する単位で有り得る。
【００３９】
ユニットは、場合によってブロック（block）または領域（area）などの用語と混用して用いられる。一般的な場合、ＭｘＮブロックはＭ個の列とＮ個の行からなるサンプル又は変換係数（transform coefficient）の集合を示すことができる。
サンプルは、一般的に、ピクセルまたはピクセルの値を示すこともあり、輝度（luma）成分のピクセル/ピクセル値のみを示すこともあり、彩度（chroma）成分のピクセル/ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または映像）をピクセル（pixel）またはペル（pel）に対応する用語として用いられる。
【００４０】
エンコード装置１００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部１８０またはイントラ予測部１８５から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（residual signal、残りのブロック、残りのサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部１２０に転送される。この場合、図示のように、エンコーダ１００内で入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは減算部１１５と呼ばれることができる。予測部は処理対象ブロック（以下、現在ブロックと称する）の予測を行い、現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部は現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は各予測モードの説明で後述するように、予測モード情報など予測に関する様々な情報を生成し、エントロピーエンコーディング部１９０に転達することができる。予測に関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。
【００４１】
イントラ予測部１８５は、現在のピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて前記現在ブロックの周辺（neighbor）に位置することができ、または離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Planarモード）を含むことができる。方向性モードでは、予測方向の細かい程度に応じて、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示として設定によってはそれ以上、またはそれ以下の数の方向性予測モードが用いられることができる。イントラ予測部１８５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【００４２】
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。参照ブロックを含む参照ピクチャと時間的周辺ブロックを含む参照ピクチャは同じであることもあり、異なることもある。前記時間的周辺ブロックは、同じ位置参照ブロック（collocated reference block）、同じ位置（ＣＵ ｃｏｌＣＵ）などの名で呼ばれることができ、時間的周辺ブロックを含む参照ピクチャは、同じ位置ピクチャ（collocated picture、colPic）と呼ばれることもある。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出するためにどの候補が用いられるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えば、スキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップ・モードの場合、マージモードとは異なり、レジデュアル信号が転送されないことがある。動き情報予測（motion vector prediction、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）で用いて、動きベクトル差分（motion vector difference）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。
【００４３】
インター予測部１８０またはイントラ予測部１８５を介して生成された予測信号は、復元信号を生成するために用いられるか、またはレジデュアル信号を生成するために用いられる。
【００４４】
変換部１２０は、レジデュアル信号に変換手法を適用して変換係数（transform coefficients）を生成することができる。たとえば、変換技法は、ＤＣＴ（Discrete Cosine Transform）、ＤＳＴ（Discrete Sine Transform）、ＫＬＴ（Karhunen-Loeve Transform）、ＧＢＴ（Graph-Based Transform）、またはＣＮＴ（Conditionally Non-linear Transform）の内、少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとしたときに、このグラフから得られた変換を意味する。 ＣＮＴは、以前に復元されたすべてのピクセル（all previously reconstructepixel）を用いて予測信号を生成し、それに基づいて獲得される変換を意味する。また、変換プロセスは、正方形の同じ大きさを有するピクセルブロックに適用されることもあり、非正方形可変サイズのブロックにも適用することができる。
【００４５】
量子化部１３０は、変換係数を量子化してエントロピーエンコーディング部１９０に転送され、エントロピーエンコーディング部１９０は、量子化された信号（量子化された変換係数に関する情報）をエンコードして、ビットストリームとして出力することができる。量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順（scan order）に基づいて、ブロックの形の量子化された変換係数を１次元ベクトルの形で再整列することができ、１次元ベクトルの形の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部１９０は、例えば指数ゴロム（exponential Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（context-adaptive variable length coding）、ＣＡＢＡＣ（context-adaptive binary arithmetic coding）などのようなさまざまなエンコード方法を実行することができる。エントロピーエンコーディング部１９０は、量子化された変換係数のほか、ビデオ／映像復元に必要な情報（例えば構文要素（syntax elements）の値など）を一緒に、または別々にエンコードすることもできる。エンコードされた情報（例えば、ビデオ/映像情報）は、ビットストリームの形でＮＡＬ（network abstraction layer）ユニット単位で転送または貯蔵することができる。前記ビットストリームは、ネットワークを介して転送されることができ、またはデジタル貯蔵媒体に貯蔵することができる。ここで、ネットワークは、放送網、及び/またはネットワークなどを含むことができ、デジタル貯蔵媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ−ray、ＨＤＤ、ＳＳＤなど、様々な貯蔵媒体を含むことができる。エントロピーエンコーディング部１９０から出力された信号は、伝送する伝送部（図示せず）及び/または貯蔵する貯蔵部（図示せず）が、エンコード装置１００の内/外のエレメントとして構成されることができ、または転送部はエントロピーエンコーディング部１９０の構成要素で有り得る。
【００４６】
量子化部１３０から出力された量子化された変換係数は、予測信号を生成するために用いることができる。例えば、量子化された変換係数は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号に加えることで復元（reconstructed）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合、予測されたブロックが復元ブロックとして用いられる。加算部１５５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いることもある。
【００４７】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された（復元ピクチャを復号ピクチャバッファ１７０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset）、適応的ループフィルタ（adaptive loop filter）、両方向フィルタ（bilateral filter）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法の説明で後述するようにフィルタリングに関するさまざまな情報を生成し、エントロピーエンコーディング部１９０に転達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部１９０でエンコードされてビットストリーム形態で出力することができる。
【００４８】
復号ピクチャバッファ１７０に 転送された修正された復元ピクチャは、インター予測部１８０から参照ピクチャとして用いられる。エンコード装置は、これにより、インター予測が適用される場合、エンコード装置１００とデコード装置での予測ミスマッチを回避することができ、エンコーディング効率も向上させることができる。
【００４９】
復号ピクチャバッファ１７０は、修正された復元ピクチャをインター予測部１８０からの参照ピクチャとして用いるために貯蔵することができる。
【００５０】
図３は、本発明が適用される実施形態として、映像信号のデコードが行われるデコード装置の概略的なブロック図を示す。図３のデコード装置２００は、図１のデコード装置２２に対応することができる。
【００５１】
図３を参照すると、デコード装置２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ）２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成されることができる。インター予測部２６０及びイントラ予測部２６５を合わせて予測部と呼ばれることができる。つまり、予測部はインター予測部１８０及びイントラ予測部１８５を含むことができる。逆量子化部２２０、逆変換部２３０を合わせてレジデュアル処理部と呼ばれることができる。つまり、レジデュアル処理部は、逆量子化部２２０、逆変換部２３０を含むことができる。前述したエントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５は、実施形態に応じて一つのハードウェアコンポーネント（例えば、デコーダまたはプロセッサ）によって構成されることができる。また、復号ピクチャバッファ２５０は、実施形態に応じて一つのハードウェアコンポーネント（例えば、メモリまたはデジタル貯蔵媒体）によって実施されることができる。
【００５２】
ビデオ／映像情報を含むビットストリームが入力されると、デコード装置２００は、図２のエンコード装置１００からのビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコード装置２００は、エンコード装置１００で適用された処理ユニットを用いてデコードを行うことができる。したがってデコードの処理ユニットは、例えば、コーディングユニットで有り得、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクワッドツリー構造及び/またはバイナリツリー構造に沿って分けることができる。そして、デコード装置２００を介してデコード及び出力された復元映像信号は、再生装置を通じて再生することができる。
【００５３】
デコード装置２００は、図２のエンコード装置１００から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部２１０を介してデコードすることができる。例えば、エントロピーデコード部２１０は、ビットストリームをファージング（解析）して映像復元（またはピクチャ復元）に必要な情報（例えば、ビデオ/映像情報）を導出することができる。例えば、エントロピーデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードして、映像復元に必要な構文要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。さらに詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームから各構文要素に当該するビンを受信し、デコード対象構文要素の情報と周辺及びデコード対象ブロックのデコード情報、または前の段階でデコードされたシンボル／ビンの情報を用いてコンテキスト（context）モデルを決定し、決定されたコンテキストモデルに基づいてビン（bin）の発生確率を予測して、ビンの算術デコード（arithmetic decoding）を実行して、各構文要素の値に当該するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデルを決定した後、次のシンボル/ビンの文脈モデルのためにデコードされたシンボル/ビンの情報を用いて、コンテキストモデルを更新することができる。エントロピーデコード部２１０でデコードされた情報の内、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）で提供され、エントロピーデコード部２１０からエントロピーデコードが行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピーデコード部２１０でデコードされた情報の内、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、エンコード装置１００から出力された信号を受信する受信部（図示せず）がデコード装置２００の内/外部エレメントとしてさらに構成されることがあり、または受信部は、エントロピーデコード部２１０の構成要素有り得る。
【００５４】
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロックの形態に再整列することができる。この場合、エンコード装置１００で実行された係数スキャン順序に基づいて再整列が実行されることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化段階サイズ情報）を用いて、量子化された変換係数の逆量子化を行い、変換係数（transform coefficient）を獲得することができる。
【００５５】
逆変換部２３０は、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を獲得することになる。
【００５６】
予測部は現在ブロックの予測を行い、前記現在ブロックの予測サンプルを含む予測されたブロック（predicted block）を生成することができる。予測部はエントロピーデコード部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モードを決定することができる。
【００５７】
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して、現在ブロックを予測することができる。参照されるサンプルは、予測モードに応じて、現在ブロックの周辺（neighbor）に位置することができ、または離隔して位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。イントラ予測部２６５は、周辺ブロックに適用される予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【００５８】
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックの予測されたブロックを誘導することができる。このとき、インター予測モードで転送される動き情報の量を減らすために周囲のブロックと現在ブロックの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。動き情報は、動きベクトルと参照ピクチャインデックスを含むことができる。動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）の情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在のピクチャ内に存在する空間的周りのブロック（spatial neighboring block）と参照ピクチャに存在する時間的周辺ブロック（temporal neighboring block）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて、現在ブロックの動きベクトル及び/または参照ピクチャインデックスを導出することができる。様々な予測モードに基づいて、インター予測が行われることができ、予測に関する情報は、現在ブロックのインター予測のモードを指示する情報を含むことができる。
【００５９】
加算部２３５は、獲得されたレジデュアル信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることで復元信号（復元ピクチャ、復元ブロック、復元、サンプルアレイ）を生成することができる。スキップモードが適用された場合と同様に処理対象ブロックのレジデュアルがない場合は、予測されたブロックが復元ブロックとして用いられる。
【００６０】
加算部２３５は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在のピクチャ内の次の処理対象ブロックのイントラ予測のために用いられ、後述するようにフィルタリングを経て、次のピクチャのインター予測のために用いられることもできる。
【００６１】
フィルタリング部２４０は、復元信号にフィルタリングを適用することにより、主観的/客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（modified）復元ピクチャを生成することができ、修正された復元ピクチャを復号ピクチャバッファ２５０に転送することができる。様々なフィルタリングの方法は、例えば、ジブロッキングフィルタリング、サンプル適応的オフセット（sample adaptive offset、ＳＡＯ）、適応的ループフィルタ（adaptive loop filter、ＡＬＦ）、両方向フィルタ（bilateral filter）などを含むことができる。
【００６２】
復号ピクチャバッファ２５０に転送された修正された復元ピクチャは、インター予測部２６０によって参照ピクチャとして用いられる。
【００６３】
本明細書において、エンコード装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施形態は、それぞれのデコード装置のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも同一または対応するように適用することができる。
【００６４】
図４は、本発明が適用される実施形態でとして、コンテンツストリーミングシステムの構造図である。
【００６５】
本発明が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ４１０、ストリーミングサーバ４２０、Ｗｅｂサーバ４３０、メディアストレージ４４０、ユーザ装置４５０及びマルチメディア入力デバイス４６０を含むことができる。
【００６６】
エンコードサーバ４１０は、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力デバイスから入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これをストリーミングサーバ４２０に転送する役割をする。他の例として、スマートフォン、カメラ、キャムコーダなどのようなマルチメディア入力装置４６０がビットストリームを直接生成する場合、エンコードサーバ４１０は、省略することができる。
【００６７】
ビットストリームは、本発明が適用されるエンコード方法またはビットストリームを生成する方法によって生成されることができ、ストリーミングサーバ４２０は、ビットストリームを転送または受信する過程で一時的にビットストリームを貯蔵することができる。
【００６８】
ストリーミングサーバ４２０は、Ｗｅｂサーバ４３０を介したユーザの要請に基づいて、マルチメディアデータをユーザ装置４５０に転送し、Ｗｅｂサーバ４３０は、ユーザにどのようなサービスがあるかを知らせる媒介の役割をする。ユーザがＷｅｂサーバ４３０に所望するサービスを要請すると、Ｗｅｂサーバ４３０は、これをストリーミングサーバ４２０に伝達し、ストリーミングサーバ４２０は、ユーザにマルチメディアデータを転送する。このとき、コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、制御サーバは、コンテンツストリーミングシステム内の各デバイス間のコマンド／応答を制御する役割をする。
【００６９】
ストリーミングサーバ４２０は、メディアストレージ４４０及び/またはエンコーディングサーバ４１０からコンテンツを受信することができる。たとえば、エンコードサーバ４１０からコンテンツを受信することになる場合、コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、ストリーミングサーバ４２０は、ビットストリームを一定時間の間貯蔵することができる。
【００７０】
ユーザデバイス４５０の例としては、、携帯電話、スマートフォン（smart phone）、ノートパソコン（laptop computer）、デジタル放送用端末機、ＰＤＡ（personal digital assistants）、ＰＭＰ（portable multimedia player）、ナビゲーション、スレートＰＣ（slate ＰＣ）、タブレットPC（tablet ＰＣ）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、ウォッチ型端末（smartwatch）、グラス型端末（smart glass）、ＨＭＤ（head mounted display））、デジタルＴＶ 、デスクトップコンピュータ、デジタルサイネージなどを有することができる。
【００７１】
コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは、分散処理することができる。
【００７２】
図５は、本発明が適用されることができる実施形態として、図５ａは、ＱＴ（QuadTree、QT）、図５ｂは、ＢＴ（Binary Tree、ＢＴ）、図５ｃは、ＴＴ（Ternary Tree、ＴＴ）図５ｄは、ＡＴ（Asymmetric Tree、ＡＴ）によるブロック分割構造を説明するための図である。
【００７３】
ビデオコーディングにおいて１つのブロックは、ＱＴに基づいて分割されることができる。また、ＱＴによって分割された一つのサブブロック（subblock）はＱＴを用いて再帰的にさらに分割されることができる。もはやＱＴ分割されないリーフブロック（leaf block）はＢＴ、ＴＴまたはＡＴの内ね少なくとも一つの方式によって分割されることができる。 ＢＴはhorizontal ＢＴ（２ＮｘＮ、２ＮｘＮ）とvertical ＢＴ（Ｎｘ２Ｎ、Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＴＴはhorizontal ＴＴ（２Ｎｘ１/２Ｎ、２ＮｘＮ、２Ｎｘ１/２Ｎ）とvertical ＴＴ（１/２Ｎｘ２Ｎ、Ｎｘ２Ｎ、１/２Ｎｘ２Ｎ）の二つの形態の分割を有することがある。 ＡＴはhorizontal-up ＡＴ（２Ｎｘ１/２Ｎ、２Ｎｘ３/  ２Ｎ）、horizontal-down ＡＴ（２Ｎｘ３/２Ｎ、２Ｎｘ１/２Ｎ）、vertical-left ＡＴ（１/２Ｎｘ２Ｎ、３/２Ｎｘ２Ｎ）、vertical-right ＡＴ（３/２Ｎｘ２Ｎ、１/  ２Ｎｘ２Ｎ）の四つの形態の分割を有することができる。それぞれのＢＴ、ＴＴ、ＡＴはＢＴ、ＴＴ、ＡＴを用いて再帰的にさらに分割されることができる。
【００７４】
図５ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴによって４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割されることができる。サブブロックＡ１は、再びＱＴによって４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）に分割されることができる。
【００７５】
図５ｂはＢＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＢＴ（Ｃ０、Ｃ１）またはhorizontal ＢＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ０のように、それぞれのサブブロックは、horizontal ＢＴ（Ｅ０、Ｅ１）またはvertical ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【００７６】
図５ｃはＴＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＴＴ（Ｃ０、Ｃ１、Ｃ２）またはhorizontal ＴＴ（Ｄ０、Ｄ１、Ｄ２）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＴＴ（Ｅ０、Ｅ１、Ｅ２）またはvertical ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。
【００７７】
図５ｄはＡＴ分割の例を示す。 ＱＴによってもはや分割されないブロックＢ３は、vertical ＡＴ（Ｃ０、Ｃ１）またはhorizontal ＡＴ（Ｄ０、Ｄ１）に分割されることができる。ブロックＣ１のように、それぞれのサブブロックは、horizontal ＡＴ（Ｅ０、Ｅ１）またはvertical ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【００７８】
一方、ＢＴ、ＴＴ、ＡＴ分割は一緒に使用して分割が可能である。たとえば、ＢＴによって分割されたサブブロックは、ＴＴまたはＡＴによる分割が可能である。また、ＴＴによって分割されたサブブロックは、ＢＴまたはＡＴによる分割が可能である。 ＡＴによって分割されたサブブロックは、ＢＴまたはＴＴによる分割が可能である。たとえば、horizontal ＢＴ分割以後、それぞれのサブブロックがvertical ＢＴに分割されることができ、またはvertical ＢＴ分割以後、それぞれのサブブロックがhorizontal ＢＴに分割されることもできる。この場合、分割順番は異なるが、最終的に分割される形は同じである。
【００７９】
また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般的に、左側から右側に、上端から下端に探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加のブロックを分割するかどうかを決定する順序を意味するか、ブロックがもはや分割されない場合、各サブブロックの符号化順序を意味するか、またはサブブロックで他の隣接ブロックの情報を参照するときの探索順序を意味することができる。
【００８０】
図５ａ乃至５ｄのような分割構造によって分割された処理ユニット（または、変換ブロック）ごとに変換が実行されることができ、特に、行（row）方向と列（column）方向別に分割され、変換行列が適用されることができる。本発明の実施形態に係ると、処理ユニット（または変換ブロック）の行方向または列方向の長さに応じて、他の変換タイプが用いられる。
【００８１】
変換は、レジデュアルブロックに適用されるが、これは最大限レジデュアルブロックを無相関化（decorrelate）し、低周波数に係数を集中させ、ブロックの先端に０の尾（zero tail）を作成するためである。ＪＥＭソフトウェアで変換パーツは２つの主要な機能（コア変換（core transform）、２次変換（secondary transform））を含む。コア変換は、レジデュアルブロックのすべての行と列に適用されるＤＣＴ（discrete cosine transform）及びＤＳＴ（discrete sine transform）変換ファミリーで構成される。以後２次変換がコア変換の出力の左上側コーナー（top left corner）に追加的に適用することができる。類似に２次逆変換とコア逆変換の順序の逆変換が適用されることができる。まず、２次逆変換が係数ブロックの左上側コーナーに適用することができる。以後コア逆変換が２次逆変換の出力の行及び列に適用される。コア変換または逆変換は、１次変換または逆変換と指称されることができる。
【００８２】
図６及び図７は、本発明が適用される実施形態として、図６は、図２のエンコード装置１００内の変換及び量子化部（１２０/１３０）、逆量子化及び逆変換部（１４０/１５０）の概略的なブロック図を示し、図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。
【００８３】
図６を注意深く見ると、変換、及び量子化部（１２０/１３０）は、１次変換部（primary transform unit）１２１、２次変換部（secondary transform unit）１２２及び量子化部１３０を含むことができる。逆量子化及び逆変換部（１４０/１５０）は、逆量子化部１４０、逆２次変換部（inverse secondary transform unit）１５１及び逆１次変換部（inverse primary transform unit）１５２を含むことができる。
【００８４】
図７を 注意深く見ると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１と逆１次変換部（inverse primary transform unit）２３２を含むことができる。
【００８５】
本発明において、変換を実行するとき、複数の段階を経て変換を実行することができる。例えば、図６に示すように、１次変換（primary transform）、２次変換（secondary transform）の２段階を適用することができ、またはアルゴリズムに基づいて、それ以上の変換段階が用いられる。ここで、１次変換は、コア変換（core transform）と指称されることができる。
【００８６】
１次変換部１２１は、レジデュアル信号に対して１次変換を適用することができ、ここで、１次変換はエンコーダ及び/またはデコーダからテーブルに既定義されることができる。
【００８７】
２次変換部１２２は、１次変換された信号に対して２次変換を適用することができ、ここで、２次変換はエンコーダ及び/またはデコーダからテーブルに既定義されることができる。
【００８８】
一実施形態において、２次変換として非分離２次変換（non-separable secondary transform）（ＮＳＳＴ）が条件的に適用することができる。例えば、ＮＳＳＴは画面内予測ブロックの場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。
【００８９】
ここで、予測モードグループは、予測方向の対称性に基づいて設定されることができる。例えば、予測モード５２と予測モード１６は、予測モード３４（対角方向）に基づいて対称であるので、１つのグループを形成して、同じ変換セット（transform set）が適用されることができる。このとき、予測モード５２の変換を適用するとき、入力データを転置（transpose）した後に適用し、これは予測モード１６と変換セットが同じであるからである。
【００９０】
一方、プランナーモード（Planar mode）とＤＣモード（ＤＣ mode）の場合、方向の対称性が存在しないため、それぞれの変換セットを有し、該変換セットは、２つの変換で構成されることができる。残りの方向性モードに対しては、変換セットごとに３つの変換で構成されることができる。
【００９１】
量子化部１３０は、２次変換された信号に対して量子化を行うことができる。
【００９２】
逆量子化及び逆変換部（１４０/１５０）は、先に説明した過程を逆に実行し、重複する説明は省略する。
【００９３】
図７は、デコード装置２００内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。
【００９４】
図７を参照すると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit２３１及び逆１次変換部（inverse primary transform unit）２３２を含むことができる。
【００９５】
逆量子化部２２０は、量子化段階サイズ情報を用いて、エントロピーデコード（復号化）された信号から変換係数を獲得する。
【００９６】
逆２次変換部２３１においては、変換係数に対して逆２次変換を実行する。ここで、逆２次変換は、図６で説明した２次変換の逆変換を示す。
【００９７】
逆１次変換部２３２は、逆２次変換された信号（またはブロック）について逆１次変換を行い、残差信号（residual signal）を獲得することになる。ここで、逆１次変換は、図６で説明した前記１次変換（primary transform）の逆変換を示す。
【００９８】
ＨＥＶＣに適用されるＤＣＴ−２と４ｘ４ ＤＳＴ−４に加えて、適応的（または明示的）多重変換（adaptive multiple transformまたはexplicit multiple transform）（ＡＭＴまたはＥＭＴ）技法がインター及びイントラエンコーディングされたブロックのレジデュアルコーディングのために用いられる。 ＨＥＶＣでの変換、その他のＤＣＴ/ＤＳＴファミリーからの多数の選択された変換が用いられる。 JＥＭから新しく紹介された変換行列は、ＤＳＴ−７、ＤＣＴ−８、ＤＳＴ−１、及びＤＣＴ−５である。下の表１は、選択されたＤＳＴ/ＤＣＴの基底関数を示す。
【００９９】
【表１】
2021509559.tif 000003
【０１００】
ＥＭＴは６４より小さいか同じ幅と高さを有するＣＵに適用されることができ、ＥＭＴが適用されるかどうかは、ＣＵレベルフラグによって制御することができる。ＣＵレベルフラグが０であれば、ＤＣＴ−２が残差（residue）をエンコーディングするために、ＣＵに適用される。ＥＭＴが適用されるＣＵ内ルマコーディングブロックに対し、２つの追加のフラグが用いられる水平及び垂直変換を識別するためにシグナリングされる。ＨＥＶＣのように、ＪＥＭのブロックのレジデュアルは変換スキップモードでコーディングされることができる。イントラレジデュアルコーディングのために、他のイントラ予測モードの他のレジデュアル統計により、モード‐依存的変換候補の選択プロセスが用いられる。３つの変換サブセットが、以下の表２のように定義されており、変換サブセットは、表３に示すようにイントラ予測モードに基づいて変換サブセットが選択される。
【０１０１】
【表２】
2021509559.tif 000004
【０１０２】
サブセットコンセプトと一緒に、変換のサブセットは、ＣＵ−レベルＥＭＴ＿ＣＵ＿flagが１であるＣＵのイントラ予測モードを用いることにより、表２に基づいて、最初に確認される。以降、水平（ＥＭＴ＿ＴＵ_horizontal_flag）と垂直（ＥＭＴ＿ＴＵ＿vertical_flag）変換のそれぞれについて、確認された変換のサブセット内の２つの変換候補の内から一つが、表３に基づいて、フラグを使用した明示的なシグナリングに基づいて選択される。
【０１０３】
【表３】
2021509559.tif 000005
【０１０４】
【表４】
2021509559.tif 000006
【０１０５】
表４は、本発明が適用される実施形態として、ＡＭＴ（adaptive multiple transform）が適用される変換設定グループ（transform configuration group）を示す。
【０１０６】
表４を注意深く見ると、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、総６個（Ｇ０〜Ｇ５）で有り得る。そして、Ｇ０〜Ｇ４は、イントラ予測が適用される場合に当該し、Ｇ５は、インター予測によって生成された残差ブロックに適用される変換の組み合わせ（または変換セット、変換組み合わせセット）を示す。
【０１０７】
一つの変換の組み合わせは、当該２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または行変換（row transform））と列（column）に適用される垂直変換（vertical transform）（または列変換（column transform））で行うことができる。
【０１０８】
ここで、すべての変換設定のグループは、各４つの変換組み合わせの候補を有することができる。４つの変換の組み合わせ候補は０〜３の変換組み合わせのインデックスを介して選択または決定することができ、エンコーダからデコーダへの変換組み合わせのインデックスをエンコードして転送することができる。
【０１０９】
一実施形態で、イントラ予測を介して獲得された残差データ（または残差信号）は、イントラ予測モードに応じて、その統計的特性がそれぞれ異なることができる。したがって、表４のようにイントラ予測別に一般的なコサイン変換ではなく、別の変換が適用されることができる。本明細書において、変換タイプは、例えば、ＤＣＴ−Ｔｙｐｅ  ２、ＤＣＴ−ＩＩ、ＤＣＴ−２のように表記することができる。
【０１１０】
表４注意深く見ると、３５個のイントラ予測モードを用いる場合と６７個のイントラ予測モードを用いる場合が現れる。各イントラ予測モードの列で区分された変換設定グループごとに複数の変換の組み合わせが適用されることができる。例えば、複数の変換の組み合わせは、４つの（行方向変換、列方向変換）の組み合わせで構成されることができる。具体例として、グループ０においては、行（水平）方向と列（縦）方向のすべてＤＳＴ−７とＤＣＴ−５が適用されることができ、総４つの組み合わせが可能である。
【０１１１】
各イントラ予測モードに対して、総４つの変換カーネルの組み合わせが適用されることができるので、その内、一つを選択するための変換組み合わせのインデックスが変換ユニット（transform unit）ごとに転送されることができる。本明細書において、変換組み合わせのインデックスは、ＡＭＴインデックス（ＡＭＴ index）と呼ばれることができ、amt_idxで表現されることができる。
【０１１２】
また、表４で提示された変換カーネル以外にも、残差信号の特性上、行方向と列方向の全てにＤＣＴ−２が最適な場合が発生することができる。したがって、コーディングユニット毎にＡＭＴフラグを定義することにより、適応的に変換が適用されることができる。ここで、ＡＭＴフラグが０の場合、行方向と列方向の全てにＤＣＴ−２が適用され、ＡＭＴフラグが1の場合、AMTのインデックスを使用して、４つの組み合わせのいずれかが選択または決定することができる。
【０１１３】
一実施形態で、ＡＭＴフラグが０の場合、１つの変換ユニットの変換係数の数が３より小さいと、表４の変換カーネルが適用されず、行方向と列方向の全てＤＳＴ−７が適用されることができる。
【０１１４】
一実施形態として、変換係数の値を先にパーシング（解析）して、変換係数の数が３より小さければ、ＡＭＴインデックスが解析されず、ＤＳＴ−７が適用されることにより付加情報転送量が減少することができる。
【０１１５】
一実施形態として、ＡＭＴは、変換ユニットの幅と高さの全てが３２以下の場合にのみ、適用することができる。
【０１１６】
一実施形態で、表４は、オフライントレーニング（off-line training）を介して基に設定されることができる。
【０１１７】
一実施形態でＡＭＴインデックスは、水平変換と垂直変換の組み合わせを同時に指すことができる、１つのインデックスとして定義することができる。または、ＡＭＴインデックスは、別の水平変換インデックスと垂直変換インデックスで定義することができる。
【０１１８】
図８は、ＡＭＴ（adaptive multiple transform）が実行される過程を示すフローチャートである。
【０１１９】
本明細書において、水平方向と垂直方向に対して分離して、変換が適用される分離可能な変換（separable transform）の実施形態が、基本的に説明されるが、変換の組み合わせは、非分離変換（non-separable transform）にも構成することができる。
【０１２０】
または、分離可能な変換と非分離変換の混合にも変換の組み合わせが構成されることができる。この場合、非分離変換が用いられると、行/列別変換選択や水平/垂直方向別の選択は不要になり、分離可能な変換が選択される場合にのみ、表４の変換の組み合わせが用いられることができる。
【０１２１】
また、本明細書で提案される方法は、１次変換や２次変換に関係なく適用することができる。つまり、２つの内、何れか一方にのみ適用されなければならないという制約がなく、両方に適用することができる。ここで、１次変換は残差ブロックを最初に変換するための変換を意味することができ、２次変換は、１次変換の結果として生成されたブロックに対し変換を適用するための変換を意味することができる。
【０１２２】
まず、エンコード装置１００は、現在ブロックに対応する変換グループを決定することができる（Ｓ８０５）。ここで、変換グループは、表４の変換グループを意味することができるが、本発明はこれに限定されず、他の変換の組み合わせで構成されることができる。
【０１２３】
エンコード装置１００は、変換グループ内の用いられる候補変換の組み合わせに対して変換を実行することができる（Ｓ８１０）。変換実行結果、エンコード装置１００は、ＲＤ（rate distortion）コストが最小の変換の組み合わせを決定または選択することができる（Ｓ８１５）。エンコード装置１００は、選択された変換の組み合わせに対応する変換組み合わせのインデックスをエンコードすることができる（Ｓ８２０）。
【０１２４】
図９は、ＡＭＴが実行されるデコード過程を示すフローチャートである。
【０１２５】
まず、デコード装置２００は、現在ブロックのための変換グループを決定することができる（Ｓ９０５）。デコード装置２００は、変換組み合わせのインデックスを解析することができ、ここで変換組み合わせのインデックスは、変換グループ内の複数の変換組み合わせの内、いずれか一つに対応することができる（Ｓ９１０）。デコード装置２００は、変換組み合わせのインデックスに対応する変換組み合わせを誘導することができる（Ｓ９１５）。ここで、変換組み合わせは、表４で説明された変換組み合わせを意味することができるが、本発明はこれに限定されない。つまり、他の変換の組み合わせによる構成も可能である。
【０１２６】
デコード装置２００は、変換組み合わせに基づいて、現在ブロックに対して逆変換を行うことができる（Ｓ９２０）。変換組み合わせが行変換と列変換で構成される場合、行変換を先に適用した後、列変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成された場合には、直接非分離変換が適用されることができる。
【０１２７】
一方、他の一実施形態として、変換グループを決定する過程と変換組み合わせのインデックスを解析する過程は、同時に実行することができる。
【０１２８】
本発明の実施形態に係ると、前述した用語「ＡＭＴ」は「ＭＴＳ（multiple transform setまたはmultiple transform selection）」として再定義することができる。以下説明されるＭＴＳ関連シンタックス（syntax）とセマンティックス（semantics）はＶＶＣ（versatile video coding）標準文書ＪＶＥＴ−Ｋ１００１−ｖ４で定義される。
【０１２９】
本発明の実施形態において下記のように方向性モードについて２つのＭＴＳ候補と非方向性モードについて４つのＭＴＳ候補が用いられる。
【０１３０】
Ａ）非方向性モード（ＤＣ、プランナー）
【０１３１】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる。
【０１３２】
ＭＴＳインデックスが１のとき、ＤＳＴ−７が垂直変換に、ＤＣＴ−８が水平変換に用いられる。
【０１３３】
ＭＴＳインデックスが２のとき、ＤＣＴ−８が垂直変換に、ＤＳＴ−７が水平変換に用いられる。
【０１３４】
ＭＴＳインデックスが３の時、ＤＣＴ−８が水平及び垂直変換に用いられる。
【０１３５】
Ｂ）水平グループモードに属するモード
【０１３６】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる。
【０１３７】
ＭＴＳインデックスが１のとき、ＤＣＴ−８が垂直変換に、ＤＳＴ−７が水平変換に用いられる。
【０１３８】
Ｃ）垂直グループモードに属するモード
【０１３９】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる
【０１４０】
ＭＴＳインデックスが１のとき、ＤＳＴ−７が垂直変換に、ＤＣＴ−８が水平変換に用いられる。
【０１４１】
ここで（６７個のモードが用いられるＶＴＭ ２．０で）、水平グループモードは２から３４番イントラ予測モードを含み、垂直モードは３５番から６６番イントラ予測モードを含む。
【０１４２】
本発明の他の実施形態において、すべての イントラ予測モードに対して３つのＭＴＳ候補を用いる。
【０１４３】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる。
【０１４４】
ＭＴＳインデックスが１のとき、ＤＳＴ−７が垂直変換に、ＤＣＴ−８が水平変換に用いられる。
【０１４５】
ＭＴＳインデックスが２のとき、ＤＣＴ−８が垂直変換に、ＤＳＴ−７が水平変換に用いられる。
【０１４６】
本発明の他の実施形態において、方向性予測モードに対して２つのＭＴＳ候補を、非方向性予測モードに対して３つのＭＴＳ候補を用いる。
【０１４７】
Ａ）非方向性モード（ＤＣ、プランナー）
【０１４８】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる。
【０１４９】
ＭＴＳインデックスが１のとき、ＤＳＴ−７が垂直変換に、ＤＣＴ−８が水平変換に用いられる。
【０１５０】
ＭＴＳインデックスが２のとき、ＤＣＴ−８が垂直変換に、ＤＳＴ−７が水平変換に用いられる。
【０１５１】
Ｂ）水平グループモードに当該する予測モード
【０１５２】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる。
【０１５３】
ＭＴＳインデックスが１のとき、ＤＣＴ−８が垂直変換に、ＤＳＴ−７が水平変換に用いられる。
【０１５４】
Ｃ）垂直グループモードに当該する予測モード
【０１５５】
ＭＴＳインデックスが０の時、ＤＳＴ−７が水平及び垂直変換に用いられる。
【０１５６】
ＭＴＳインデックスが１のとき、ＤＳＴ−７が垂直変換に、ＤＣＴ−８が水平変換に用いられる。
【０１５７】
本発明の他の実施形態において、一つのMTS候補（例えば、ＤＳＴ−７）をすべてのイントラモードに対して用いられる。この場合、マイナーなコーディング損失と共にエンコード時間が４０％まで減少することができる。さらに、一つのフラグがＤＣＴ−２とＤＳＴ−７の間で指示するために用いられる。
【０１５８】
図１０は、本発明の実施形態に基づいてＭＴＳに基づいて逆変換過程を示すフローチャートである。
【０１５９】
本発明が適用されるデコード装置２００は、、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる（Ｓ１００５）。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_intra_enabled_flag = ０であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_intra_enabled_flag = １であれば、cu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在する。そして、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。たとえば、sps_mts_inter_enabled_flag = ０であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在せず、sps_mts_inter_enabled_flag = １であれば、cu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在する。
【０１６０】
デコード装置２００は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる（Ｓ１０１０）。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、デコード装置２００は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。たとえば、cu_mts_flag = ０であると、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されず、cu_mts_flag = １であればＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。
【０１６１】
デコード装置２００は、cu_mts_flagに基づいてmts_idxを獲得することができる（Ｓ１０１５）。たとえば、cu_mts_flag = １のとき、デコード装置２００は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。
【０１６２】
たとえば、mts_idxについて、本明細書で説明される実施形態の内、少なくとも１つが適用されることができる。
【０１６３】
デコード装置２００は、mts_idxに対応する変換カーネルを誘導することができる（Ｓ１０２０）。たとえば、mts_idxに対応する変換カーネルは、水平変換及び垂直変換に区分されて定義することができる。
【０１６４】
一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag ＝ １）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図１０のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳ候補の内からmts_idxを用いて、現在ブロックに適用されるＭＴＳ候補を決定することができる。
【０１６５】
他の一例として、水平変換および垂直変換は、互いに異なる変換カーネルが適用されることができる。ただし、本発明はこれに限定されず、前記水平変換及び垂直変換は、同じ変換カーネルが適用されることもある。
【０１６６】
そして、デコード装置２００は、変換カーネルに基づいて逆変換を行うことができる（Ｓ１０２５）。
【０１６７】
また、本文書でＭＴＳは、ＡＭＴまたはＥＭＴとも表現することができ、同様に、mts_idx図ＡＭＴ＿idx、ＥＭＴ＿idx、ＡＭＴ＿ＴＵ＿idx ＥＭＴ＿ＴＵ＿idxなどのような表現することができ、本発明は、このような表現に限定されない。
【０１６８】
また、本発明において、ＭＴＳフラグに基づいてＭＴＳが適用される場合とそうでない場合とを区別して説明するが、本発明は、このような表現に制限されるものではない。例えば、ＭＴＳを適用するか否かは、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどに称されてもよい）以外の別の変換タイプ（又は、変換カーネル）を使用するか否かと同一の意味であり得る。もし、ＭＴＳが適用される場合、基本変換タイプ以外の別の変換タイプ（例えば、複数の変換タイプのいずれか１つ又は２つ以上の組み合わせられた変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることができる。一実施形態において、前記基本変換タイプは、ＤＣＴ２に設定（又は、定義）されることができる。
【０１６９】
一例として、現在変換ブロックにＭＴＳが適用されるか否かを示すＭＴＳフラグシンタックスと、ＭＴＳが適用される場合に前記現在ブロックに適用される変換タイプを示すＭＴＳインデックスシンタックスが個別にエンコーダからデコーダに送信されることもあり、他の一例として、現在変換ブロックにＭＴＳが適用されるか否か及びＭＴＳが適用される場合に前記現在ブロックに適用される変換タイプを両方とも含むシンタックス（例えば、ＭＴＳインデックス）がエンコーダからデコーダに送信されることもある。すなわち、後者の実施形態において、前述した基本変換タイプを含む全体変換タイプグループ（又は、変換タイプセット）内で現在変換ブロック（又は、ユニット）に適用される変換タイプを示すシンタックス（又は、シンタックス要素）がエンコーダからデコーダに送信されることがある。
【０１７０】
従って、その表現にもかかわらず現在変換ブロックに適用される変換タイプを示すシンタックス（ＭＴＳインデックス）はＭＴＳを適用するか否かに関する情報を含むことができる。言い換えると、後者の実施形態においてＭＴＳフラグなしにＭＴＳインデックスのみがシグナリングされるため、この場合は、ＭＴＳにＤＣＴ２が含まれると解釈できるが、本発明においては、ＤＣＴ２を適用する場合をＭＴＳを適用しないものと記述してもよく、それにもかかわらずＭＴＳに関する技術的範囲は当該定義内容に限定されない。
【０１７１】
図１１は、本発明の実施形態に基づいてＭＴＳに基づいてデコードを実行する装置のブロック図である。
【０１７２】
本発明が適用されるデコード装置２００は、シーケンスパラメータ獲得部１１０５、ＭＴＳフラグ獲得部１１１０、MTSインデックス獲得部１１１５、及び変換カーネル誘導部１１２０を含むことができる。
【０１７３】
シーケンスパラメータ獲得部１１０５は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる。ここで、sps_mts_intra_enabled_flagはcu_mts_flagがイントラコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示し、sps_mts_inter_enabled_flagはcu_mts_flagがインターコーディングユニットのレジデュアルコーディング構文に存在するかどうかを示す。具体的な例は、図１０に関連する説明が適用されることができる。
【０１７４】
ＭＴＳフラグ獲得部１１１０は、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてcu_mts_flagを獲得することができる。たとえば、sps_mts_intra_enabled_flag = １またはsps_mts_inter_enabled_flag = １のとき、ＭＴＳフラグ獲得部１１１０は、cu_mts_flagを獲得することができる。ここで、cu_mts_flagは、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。具体的な例は、前記図１０に関連する説明が適用されることができる。
【０１７５】
ＭＴＳインデックス獲得部１１１５は、cu_mts_flagに基づいてmts_idxを獲得することができる。たとえば、cu_mts_flag = １のとき、ＭＴＳインデックス獲得部１１１５は、mts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在の変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。具体的な例は、前記図１０の説明が適用されることができる。
【０１７６】
変換カーネル誘導部１１２０は、mts_idxに対応する変換カーネルを誘導することができる。そして、デコード装置２００は、誘導された変換カーネルに基づいて逆変換を行うことができる。
【０１７７】
モード‐依存的非分離２次変換（mode-dependent non-separable secondary transform、ＭＤＮＳＳＴ）が紹介される。低複雑度を維持するために、ＭＤＮＳＳＴは、１次変換後の後低周波数の係数にのみ適用される。また、主に低周波の係数に対し適用される非分離変換はＬＦＮＳＴ（low frequency non-separable transform）と呼ばれることができる。変換係数ブロックの幅（width、Ｗ）と高さ（height、Ｈ）の全てが８以上であれば、８ｘ８非分離２次変換が変換係数ブロックの左上側８ｘ８の領域に適用される。そうでなければ、幅または高さが８より小さい場合、４ｘ４非分離２次変換が適用され、４ｘ４非分離２次変換は、変換係数ブロックの左上側min（８、Ｗ）ｘ ｍｉｎ（８、Ｈ）に実行ことができる。ここで、ｍｉｎ（Ａ、Ｂ）はＡとＢの内、さらに小さい値を出力する関数である。また、ＷｘＨはブロックのサイズとして、Ｗは幅（width）は、Ｈは高さ（height）を示す。
【０１７８】
４ｘ４及び８ｘ８ブロックサイズについて総３５ｘ３つの非分離２次変換があることができ、ここで、３５はイントラ予測モードによって特定される変換セットの数であり、３は各予測モードのＮＳＳＴ候補の数である。イントラ予測モードから変換セットへのマッピングは、以下の表５に示すように定義することができる。また、本発明の実施形態に係ると、イントラ予測モードに応じて、４つの非分離変換セットの中で。
【０１７９】
【表５】
2021509559.tif 000007
【０１８０】
変換セットの内、変換カーネルを指示するために、ＮＳＳＴインデックス（ＮＳＳＴ idx）がコーディングされることができる。ＮＳＳＴが適用されない場合、０の値を有するＮＳＳＴインデックスがシグナリングされることができる。
【０１８１】
図１２及び図１３は、本発明が適用される実施形態として、２次変換が適用されるエンコード/デコードフローチャートである。
【０１８２】
ＪＥＭにおいて、２次変換（ＭＤＮＳＳＴ）は、変換スキップモードでコーディングされたブロックに適用されない。ＭＤＮＳＳＴインデックスがＣＵに対しシグナリングされ、０でなければ、ＭＤＮＳＳＴはＣＵ内で変換スキップモードでコーディングされた成分のブロックに対し用いられない。係数エンコーディングとＮＳＳＴインデックスコーディングを含む全体的なコーディング構造が、図１２及び図１３に示される。ＣＢＦ（coded block flag）が係数エンコーディング及びＮＳＳＴコーディングするかどうかを決定するためにエンコードされる。図１２及び図１３において、ＣＢＦフラグはルマブロックcbfフラグ（cbf_luma flag）またはクロマブロックcbfフラグ（cbf_cb flagまたはcbf_cr flag）を示すことができる。 ＣＢＦフラグが１のときの変換係数がコーディングされる。
【０１８３】
図１２を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ１２０５）。ＣＢＦが０である場合、エンコード装置１００は、変換係数のエンコード及びＮＳＳＴインデックスのエンコーディングを実行しない。ＣＢＦが１である場合、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１２１０）。以後、エンコード装置１００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１２１５）、ＮＳＳＴインデックスコーディングを行う（Ｓ１２２０）。ＮＳＳＴインデックスコーディングが適用されない場合、エンコード装置１００は、ＮＳＳＴを適用していない状態に変換手順を終了し、その後の段階（例えば、量子化）を実行することができる。
【０１８４】
図１３を参照すると、デコード装置２００は、ＣＢＦが１かどうかを確認する（Ｓ１３０５）。ＣＢＦが０である場合、デコード装置２００は、変換係数のデコード及びＮＳＳＴインデックスデコードを実行していない。ＣＢＦが１である場合、デコード装置２００は、変換係数のデコードを行う（Ｓ１３１０）。以後、デコード装置２００は、ＮＳＳＴインデックスコーディングするかどうかを決定し、（Ｓ１３１５）、ＮＳＳＴインデックスを解析する（Ｓ１３２０）。
【０１８５】
ＮＳＳＴは、１次変換が適用されたブロック（ＨＥＶＣの場合ＴＵ）全体に対して適用されるものではなく左上側８ｘ８領域または４ｘ４の領域に対して適用することができる。一例として、ブロックのサイズ我８ｘ８以上の場合、８ｘ８ ＮＳＳＴが適用され、８ｘ８未満の場合、４ｘ４ ＮＳＳＴが適用されることができる。また、８ｘ８ ＮＳＳＴが適用される場合、４ｘ４ブロックごとに４ｘ４ ＮＳＳＴが適用されることができる。８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべて前述した変換セットの構成に応じて決定されることができ、非分離変換であるだけ８ｘ８ ＮＳＳＴは、６４個の入力データと６４個の出力データを有し、４ｘ４ ＮＳＳＴは１６個の入力と１６個の出力を有することができる。
【０１８６】
図１４及び図１５は、本発明が適用される実施形態として、図１４は、ギブンス回転（Givens rotation）を説明するための図を示し、図１５は、ギブンス回転層と置換（permutation）で構成された４ｘ４ ＮＳＳＴでの一ラウンド（round）の構成を示す。
【０１８７】
８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべてギブンス回転の階層的組み合わせで構成されることができる。一つのギブンス回転に当該する行列は、数学式１と同じであり、行列積を図で表現すると、図１４と同じである。
【０１８８】
【数１】
2021509559.tif 000008
【０１８９】
図１４において、ギブンス回転によって出力されるtmとtnは、数学式２のように計算することができる。
【０１９０】
【数２】
2021509559.tif 000009
【０１９１】
図１４のように一つのギブンス回転は、２つのデータを回転させるので、６４個のデータ（８ｘ８ ＮＳＳＴの場合）または１６個のデータ（４ｘ４ ＮＳＳＴの場合）の処理のために、それぞれ３２個、または８個のギブンスの回転が必要である。したがって、３２個または８個のギブンス回転の束がギブンス回転層（Given rotation layer）を形成することができる。図１５に示すように、一つのギブンス回転層の出力データが置換（シャッフル）を介して次のギブンス回転層の入力データへ伝達される。図１５に示すように 置換されるパターンは、規則的に定義され、４ｘ４ ＮＳＳＴの場合、４つのギブンス回転層及び対応する置換が一つのラウンドを形成する。４ｘ４ ＮＳＳＴは２回のラウンドで行われ、８ｘ８ ＮＳＳＴは４回のラウンドで実行される。互いに別のラウンドは、同じ置換パターンを用いるが適用されるギブンス回転角度は、それぞれ異なる。したがって、各変換を構成するすべてのギブンス回転の角度データの貯蔵が必要である。
【０１９２】
最後の段階でギブンス回転層を経て出力されたデータに対して、最終的に一回の置換がさらに実行され、当該置換の情報は、変換ごとに別に貯蔵される。順方向（forward）ＮＳＳＴの最後に、当該置換が行われ、逆方向（inverse）ＮＳＳＴは、最初に当該逆方向置換が適用される。
【０１９３】
逆方向ＮＳＳＴは順方向ＮＳＳＴで適用されたギブンス回転層と置換を逆の順序で行い、各ギブンス回転の角度に対してもマイナス（‐）の値をとることにより、回転させる。
【０１９４】
RST (Reduced secondary transform)
【０１９５】
図１６は、本発明が適用される実施形態として、ＲＳＴの動作を示す。
【０１９６】
一変換を示す直交（orthogonal）行列がＮｘＮの形態を有するとしたとき、ＲＴ（reduced transform）は、Ｎ個の変換基底ベクトルの内からＲ個だけ残す（Ｒ <Ｎ）。変換係数を生成する順方向ＲＴの行列は、数学式３のように定義することができる。
【０１９７】
【数３】
2021509559.tif 000010
【０１９８】
逆方向ＲＴの行列は、順方向ＲＴ行列の転置（transpose）行列となるので、順方向ＲＴと逆方向ＲＴの適用を図示すれば、図１6a及び図１6bと同じであることができる。
【０１９９】
１次変換が適用された変換係数のブロックの左上端８ｘ８ブロックに適用されるＲＴは８ｘ８ ＲＳＴと呼ばれることができる。数学式３で、Ｒの値を１６に置いたとき、順方向８ｘ８ ＲＳＴは１６ｘ６４行列の形を有し、逆方向８ｘ８ ＲＳＴは６４ｘ１６の形態を有する。また、８ｘ８ ＲＳＴに対しても、表５のような変換セットの構成が適用されることができる。つまり、表５のようにイントラ予測モードに応じた変換セットに基づいて８ｘ８ ＲＳＴが決定することができる。一つの変換セットは、イントラ予測モードに応じて、２つまたは３つの変換で構成されるので、２次変換を適用しない場合まで含めて、最大４つの変換の内、いずれかが１つが選択されることができる（一つの変換は、恒等行列に該当することができる）。 ４つの変換に対して、それぞれ０、１、２、３のインデックスが付与されたとき、ＮＳＳＴインデックスに該当するシンタックス要素（syntax element）が変換係数のブロックごとにシグナリングされることで適用される変換が指定されることができる。例えば、０番インデックスは恒等行列、すなわち、２次変換が適用されない場合に割り当てることができる。結論として、ＮＳＳＴインデックスを介して８ｘ８左上端ブロックについて、ＪＥＭ ＮＳＳＴによると、８ｘ８ ＮＳＳＴが指定されることがあり、ＲＳＴ構成によれば、８ｘ８ ＲＳＴが指定されることができる。
【０２００】
図１７は、本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆方向スキャンを実行する過程を示す図である。
【０２０１】
数学式３のような順方向８ｘ８ ＲＳＴが適用されると、１６個の有効な変換係数が生成されるため、８ｘ８の領域を構成する６４個の入力データが１６個の出力データに縮小され、２次元領域の観点によれば、１/４ほどの領域のみ有効な変換係数が満たされる。したがって、順方向８ｘ８ ＲＳＴを適用することにより、獲得された１６個の出力データが、図１７の左上端の領域に満たされる。
【０２０２】
図１７で左上端４ｘ４の領域が有効な変換係数が満たされるＲＯＩ（region of interest）領域となり、残りの領域は空になる。空けられる領域には、０の値がデフォルトで満たすことができる。もし、図１７のＲＯＩ領域のほか、０でない有効な変換係数が見つかったら、8x8 ＲＳＴが適用されないことが確実であるので、該ＮＳＳＴインデックスに該当コーディングが省略されることがある。逆に、図１７のＲＯＩ領域以外で０ではない変換係数が発見されないと（８ｘ８ ＲＳＴが適用される場合、ＲＯＩ以外の領域が０に満たされたとき）、８ｘ８ ＲＳＴが適用されたこともあるので、ＮＳＳＴインデックスがコーディングされることができる。このような条件的ＮＳＳＴインデックスコーディングは０ではない、変換係数の存在の有無のチェックが必要であるのでレジデュアルコーディングプロセスの後に実行されることができる。
【０２０３】
図１８は、本発明が適用される実施形態として、単一変換指示子（single transform indicator）を用いたエンコードフローチャートの例を示す。
【０２０４】
本発明の実施形態において、単一変換指示子（single transform indicator、ＳＴＩ）が紹介される。２つの変換（１次変換及び２次変換）を順次用いる代わりに、単一変換指示子が活性化されたとき（ＳＴＩ coding == 1）単一変換（single transform）が適用されることができる。ここで、単一変換は、どの種類の変換でもすることができる。例えば、単一変換は分離変換または非分離変換で有り得る。単一変換は、非分離変換から近似された変換で有り得る。単一変換インデックス（図１８のＳＴ＿idx）は、単一変換指示子が活性化されたときシグナリングされることができる。ここで、単一変換インデックスは使用可能な変換候補の内から適用される変換に該当する変換を指示することができる。
【０２０５】
図１８を参照すると、エンコード装置１００は、ＣＢＦが１かどうかを決定する（Ｓ１８０５）。ＣＢＦが１である場合、エンコード装置１００は、ＳＴＩコーディングが適用されるかどうかを決定する（Ｓ１８１０）。ＳＴＩコーディングが適用される場合、エンコード装置１００は、ＳＴＩインデックス（ＳＴＩ＿Idx）をエンコードし（Ｓ１８４５）、変換係数のコーディングを行う（Ｓ１８５０）。ＳＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ_Flag）をエンコードする（Ｓ１８１５）。以後、エンコード装置１００は、変換係数のコーディングを行う（Ｓ１８２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１８２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１８３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１８３５）。ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１８４０）。
【０２０６】
一例において、単一変換コーディングの条件が充足/活性化（例えば、ＳＴＩ_coding == 1）されると、単一変換インデックス（ＳＴ_Idx）がシグナリングされず、暗黙的に（implicitly）誘導されることができる。ＳＴ＿idxはブロックサイズとイントラ予測モードに基づいて、暗黙的に決定されることができる。ここで、ＳＴ＿idxは現在の変換ブロックに適用される変換（または変換カーネル）を指示することができる。
【０２０７】
単一変換指示子は、以下の条件の内、１つまたは複数の条件が満足されると、活性化することができる（ＳＴＩ＿coding == １）。
【０２０８】
1) ブロックサイズが４または８のように、あらかじめ決められた値に相当する。
【０２０９】
2) ブロックの幅==ブロックの高さ（正方形ブロック）
【０２１０】
3) ＤＣまたはプランナーのように予め決定されたモードの内、いずれか一つのイントラ予測モードである。
【０２１１】
別の例において、ＳＴＩコーディングフラグは、単一変換が適用されるか否かを示すためにシグナリングすることができる。ＳＴＩコーディングフラグはＳＴＩコーディング値及びＣＢＦに基づいてシグナリングされることができる。例えば、ＳＴＩコーディングフラグはＣＢＦが１であり、ＳＴＩコーディングが活性化になるときシグナリングすることができる。さらにＳＴＩコーディングフラグは、ブロックサイズ、ブロックの形（正方形ブロックまたは非正方形ブロック）、またはイントラ予測モードを考慮して、条件的にシグナリングされることができる。
【０２１２】
係数コーディングの内、獲得された情報が用いられるために係数コーディングの後にＳＴ_idxが決定することができる。一例でＳＴ_idxは、ブロックサイズ、イントラ予測モード、及び０ではない係数（non-zero coefficient）の数に基づいて暗黙的に決定することができる。別の例において、ＳＴ_idxはブロックサイズ及び/またはブロックの形及び/またはイントラ予測モード、及び/または０ではない係数の数に基づいて、条件的にエンコード/デコードすることができる。別の例において、ＳＴ＿idxシグナリングは、０ではない係数の分布（すなわち、０でない係数の位置）に依存して省略することができる。特に、０でない係数が左上側４ｘ４領域でない領域で発見されると、ＳＴ_idxのシグナリングが省略されることができる。
【０２１３】
図１９は、本発明が適用される実施形態でとして、統一された変換指示子（unified transform indicator、ＵＴＩ）を用いたエンコードフローチャートの例を示す。
【０２１４】
本発明の実施形態において、統一された変換指示子が紹介される。ＵＴＩは、１次変換指示子と２次変換指示子を包括する。
【０２１５】
図１９を参照すると、エンコード装置１００は、ＣＢＦが1かどうかを決定する（Ｓ１９０５）。 ＣＢＦが1である場合、エンコード装置１００は、ＵＴＩコーディングが適用されるかどうかを決定する（Ｓ１９１０）。 ＵＴＩコーディングが適用される場合、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をエンコードし（Ｓ１９４５）、変換係数のコーディングを行う（Ｓ１９５０）。 ＵＴＩコーディングが適用されない場合、エンコード装置１００は、ＣＵレベルでＥＭＴ（またはＭＴＳ）が適用されるかどうかを示すフラグ（ＥＭＴ＿ＣＵ＿Flag）をエンコードする（Ｓ１９１５）。以後、エンコード装置１００は、変換係数のエンコーディングを行う（Ｓ１９２０）。以後、エンコード装置１００変換ユニット（ＴＵ）にＥＭＴが適用されるかどうかを決定する（Ｓ１９２５）。ＴＵにＥＭＴが適用される場合、エンコード装置１００は、ＴＵに適用される１次変換のインデックス（ＥＭＴ＿ＴＵ Idx）をエンコードする（Ｓ１９３０）。以後、エンコード装置１００は、ＮＳＳＴが適用されるかどうかを決定する（Ｓ１９３５）。ＮＳＳＴが適用される場合、エンコード装置１００は、適用されるＮＳＳＴを指示するインデックス（ＮＳＳＴ＿Idx）をエンコードする（Ｓ１９４０）。
【０２１６】
ＵＴＩは、それぞれの予め決まれたユニット（ＣＴＵまたはＣＵ）ごとにエンコーディングされることができる。
【０２１７】
ＵＴＩコーディングモードは下の条件に依存することができる。
【０２１８】
1) ブロックサイズ
【０２１９】
2) ブロックの形態
【０２２０】
3) イントラ予測モード
【０２２１】
どのようにＵＴＩからコア変換インデックスを誘導/抽出するかが予め定義される。どのようにＵＴＩから２次変換インデックスを誘導/抽出するかが予め定義される。
【０２２２】
ＵＴＩの構文構造は、選択的に用いられる。ＵＴＩは、ＣＵ（またはＴＵ）サイズに依存することができる。例えば、さらに小さなＣＵ（ＴＵ）が相対的に狭い範囲のＵＴＩインデックスを有することができる。一例で、予め定義された条件（例えば、ブロックサイズが予め定義されたしきい値より小さい）が満足されると、ＵＴＩは、コア変換インデックスだけを指示することができる。
【０２２３】
【表６】
2021509559.tif 000011
【０２２４】
別の例で、２次変換が用いられることを指示されない場合（例えば、２次変換インデックス== ０または２次変換が既に決定された場合）ＵＴＩインデックスは、コア変換インデックスとして扱うことができる。同じように、コア変換インデックスが知られればＵＴＩインデックスは２次変換インデックスとして扱われることができる。特に、イントラ予測モードとブロックサイズを考慮して、あらかじめ決定されたコアの変換が用いられることができる。
【０２２５】
図２０ａ及び図２０ｂは、本発明が適用される実施形態でとして、ＵＴＩを使ったエンコードフローチャートの他の例を示す。
【０２２６】
別の例において、変換エンコーディング構造は、図２０ａ及び図２０ｂに示すようにＵＴＩインデックスコーディングが用いられる。ここで、ＵＴＩインデックスは係数エンコーディング前にエンコーディングされたり係数エンコーディングの後にコーディングされることができる。
【０２２７】
図２０ａを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２００５）。ＣＢＦが１であれば、エンコード装置１００は、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングし（Ｓ２０１０）、変換係数のコーディングを行う（Ｓ２０１５）。
【０２２８】
図２０ｂを参照すると、エンコード装置１００は、ＣＢＦが１かどうかを確認する（Ｓ２０５５）。ＣＢＦが１であれば、エンコード装置１００は、変換係数のコーディングを実行し、（Ｓ２０６０）、ＵＴＩインデックス（ＵＴＩ_Idx）をコーディングする（Ｓ２０６５）。
【０２２９】
本発明の他の実施形態において、変換指示子のデータ隠し（data hiding）及び暗黙的コーディング方法（implicit coding methods）が紹介される。ここで変換指示子はＳＴ＿idx、ＵＴＩ_idx、ＥＭＴ＿ＣＵ＿Flag、ＥＭＴ＿ＴＵ＿Flag、ＮＳＳＴ＿idxと変換カーネルを指示するために用いられる変換に関連するインデックスを含む。前述した変換指示子は、シグナリングされず、該情報が係数エンコーディングプロセスに挿入することができる（係数コーディングプロセスの内、抽出されることができる）。係数エンコーディングプロセスは次の部分を含むことができる。
【０２３０】
− 最後のｘ位置（Last_position_x）、最後のｙ位置（Last_position_y）
【０２３１】
− グループフラグ（Group flag）
【０２３２】
− 意味マップ（significance map）
【０２３３】
−  １より大きいかどうかを指示するフラグ（Greater_than_１_flag）
【０２３４】
−  ２より大きいかどうかを指示するフラグ（Greater_than＿２_flag）
【０２３５】
− 残りのレベルのコーディング（Remaining level coding）
【０２３６】
− サインコーディング（Sign coding）
【０２３７】
たとえば、変換指示子情報が、前述した係数コーディングプロセスの一つまたはそれ以上の者に挿入することができる。変換指示子情報を挿入するために一緒に考慮することできるものは以下の通りである。
【０２３８】
− サインコーディングのパターン（Pattern of Sign coding）
【０２３９】
− 残りレベルの絶対値（The absolute value of remaining level）
【０２４０】
−１より大きいかどうかを指示するフラグの数（The number of Greater_than_1_flag）
【０２４１】
− 最後のｘ位置及び最後のｙ位置の値（The value of Last_position_X and Last_position_Ｙ）
【０２４２】
前述したデータ隠し方法は、条件的に考慮することができる。たとえば、データ隠し方法は、０ではない係数の数に依存てきで有り得る。
【０２４３】
また別の例において、ＮＳＳＴ_idxとＥＭＴ_idxは依存的で有り得る。たとえば、ＥＭＴ＿ＣＵ＿flagが０（または１）のとき、ＮＳＳＴ＿idxは０ではないことがある。この場合、ＮＳＳＴ_idx-１がＮＳＳＴ＿idxの代わりにシグナリングすることができる。
【０２４４】
本発明の他の実施形態において、イントラ予測モードに基づいＮＳＳＴ変換セットのマッピングが、以下の表７のように紹介される。前述したように、以下の説明では、非分離変換の例としてＮＳＳＴを中心に説明するが、非分離変換についての他の知られている用語（例えば、ＬＦＮＳＴ）が用いられることができる。例えば、ＮＳＳＴセット（ＮＳＳＴ Set）、ＮＳＳＴインデックスはLFNSTセット、ＬＦＮＳＴインデックスに置き換えて用いられる。また、本文書に説明されるＲＳＴは、変換ブロックの少なくとも一部の領域（左上側４ｘ４、８ｘ８の領域または８ｘ８ブロックで右‐下側４ｘ４の領域を除外した残りの領域）に適用される正方形非分離変換行列で縮小された入力の長さ及び/または縮小された出力の長さを有する非正方形の変換行列を用いる非分離変換（例えば、ＬＦＮＳＴ）の例として、ＲＳＴまたＬＦＮＳＴに置き換えて用いられる。
【０２４５】
【表７】
2021509559.tif 000012
【０２４６】
ＮＳＳＴセットナンバーは、表８のように０から３の間で再配列されることができる。
【０２４７】
【表８】
2021509559.tif 000013
【０２４８】
ＮＳＳＴ変換セットでは、要求されるメモリ空間を低減させるために（３５の代わりに）、４つの変換セットが用いられる。
【０２４９】
さらに、各変換セットごとに、さまざまな数の変換カーネルが以下のように用いられる。
【０２５０】
ケースＡ：各変換セットごとに２つの使用可能な変換カーネルが用いられ、ＮＳＳＴインデックス範囲は０〜２である。たとえば、ＮＳＳＴインデックスが０である場合、２次変換（デコーダに基づいて２次逆変換）が適用されないことがある。ＮＳＳＴインデックスが１または２である場合、２次変換が適用されることができる。変換セットは、２つの変換カーネルを含むことができ、前記２つの変換カーネルに１または２のインデックスがマッピングされることができる。
【０２５１】
【表９】
2021509559.tif 000014
【０２５２】
表９を参照すると、０番から３番非分離変換（ＮＳＳＴまたはＬＦＮＳＴ）セットごとに２つの変換カーネルが用いられる。
【０２５３】
ケースＢ：０番変換セットに対し２つの使用可能な変換カーネルを使用し、残りの変換セットに対し各々一つの変換カーネルを用いる。０番変換セット（ＤＣ、プランナー）に対し使用可能なＮＳＳＴインデックスは０〜２である。しかし、他のモード（１、２、３番の変換セット）のＮＳＳＴインデックスは０〜１である。
【０２５４】
【表１０】
2021509559.tif 000015
【０２５５】
表１０を参照すると、０番インデックスに対応する非分離変換（ＮＳＳＴ）セットに対して２つの非分離変換カーネルが設定され、１、２、３番インデックスに対応する非分離変換（ＮＳＳＴ）セットのそれぞれについて、１つの非分離変換カーネルが設定される。
【０２５６】
ケースＣ：各変換セットごとに一つの変換カーネルを使用し、ＮＳＳＴインデックス範囲は０〜１である。
【０２５７】
【表１１】
2021509559.tif 000016
【０２５８】
図２１は、本発明が適用される実施形態として、変換を実行するエンコードフローチャートの例を示す。
【０２５９】
エンコード装置１００は、レジデュアルブロックについて１次変換を実行する（Ｓ２１０５）。１次変換は、コア変換に呼ばれることができる。実施形態として、エンコード装置１００は、前述したＭＴＳを用いて、１次変換を実行することができる。また、エンコード装置１００は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、ＭＴＳ候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。
【０２６０】
エンコード装置１００は、２次変換の適用をするかどうかを決定する（Ｓ２１１０）。一例として、エンコード装置１００は、１次変換されたレジデュアル変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。
【０２６１】
エンコード装置１００は、２次変換を決定する（Ｓ２１１５）。このとき、エンコード装置１００は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。
【０２６２】
また、一例として、エンコード装置１００は、Ｓ２１１５段階に先立って、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することができる。
【０２６３】
エンコード装置１００は、Ｓ２１１５段階で決定された２次変換を用いて、２次変換を実行する（Ｓ２１２０）。
【０２６４】
図２２は、本発明が適用される実施形態として、変換を実行するデコードフローチャートの例を示す。
【０２６５】
デコード装置２００は、２次逆変換の適用をするかどうかを決定する（Ｓ２２０５）。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、デコード装置２００は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。
【０２６６】
デコード装置２００は、２次逆変換を決定する（Ｓ２２１０）。このとき、デコード装置２００は、前述したイントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。
【０２６７】
また、一例として、デコード装置２００は、Ｓ２２１０段階に先立って、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。
【０２６８】
デコード装置２００は、Ｓ２２１０段階で決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を実行する（Ｓ２２１５）。
【０２６９】
デコード装置２００は、２次逆変換されたレジデュアルブロックについて１次逆変換を実行する（Ｓ２２２０）。１次逆変換はコア逆変換と呼びことができる。実施形態として、デコード装置２００は、前述したＭＴＳを用いて、１次逆変換を行うことができる。また、一例として、デコード装置２００は、Ｓ２２２０段階に先立って、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。この場合、図２２のデコードフローチャートにＭＴＳが適用されるかどうかを決定する段階がさらに含まれることができる。
【０２７０】
一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、デコード装置２００は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。この場合、図２２のデコードフローチャートにＭＴＳ候補を構成する段階がさらに含まれることができる。そして、デコード装置２００は、構成されたＭＴＳの候補の内、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次逆変換を決定することができる。
【０２７１】
図２３は、本発明が適用される実施形態として、エンコード装置１００内の変換部１２０の詳細ブロック図の例を示す。
【０２７２】
本発明の実施形態が適用されるエンコード装置１００は、１次変換部２３１０、２次変換適用可否決定部２３２０、２次変換決定部２３３０、２次変換部２３４０を含むことができる。
【０２７３】
１次変換部２３１０は、レジデュアルブロックについて１次変換を実行することができる。１次変換は、コア変換に呼ばれることができる。実施形態として、１次変換部２３１０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、１次変換部２３１０は、ＭＴＳの候補の内から、特定ＭＴＳを指示するＭＴＳインデックスをデコード装置２００に転送することができる。このとき、MTS候補は、現在ブロックのイントラ予測モードに基づいて構成されることができる。
【０２７４】
２次変換適用可否決定部２３２０は、２次変換を適用するかどうかを決定することができる。一例として、２次変換適用可否決定部２３２０は、１次変換されたレジデュアルブロックの変換係数に基づいて、２次変換の適用をするかどうかを決定することができる。たとえば、２次変換はＮＳＳＴまたはＲＳＴで有り得る。
【０２７５】
２次変換決定部２３３０は、２次変換を決定する。このとき、２次変換決定部２３３０は、前述したように、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、２次変換を決定することができる。
【０２７６】
また、一例として、２次変換決定部２３３０は、現在ブロックの大きさに基づいて、２次変換が適用される領域を決定することもできる。
【０２７７】
２次変換部２３４０は、決定された２次変換を用いて、２次変換を実行することができる。
【０２７８】
図２４は、本発明が適用される実施形態として、デコード装置２００内の逆変換部２３０の詳細ブロック図の例を示す。
【０２７９】
本発明が適用されるデコード装置２００は、２次逆変換適用可否決定部２４１０、２次逆変換決定部２４２０、２次逆変換部２４３０、１次逆変換部２４４０を含む。
【０２８０】
２次逆変換適用可否決定部２４１０は、２次逆変換の適用をするかどうかを決定することができる。たとえば、２次逆変換はＮＳＳＴまたはＲＳＴで有り得る。一例として、２次逆変換適用可否決定部２４１０は、エンコード装置１００から受信された２次変換フラグに基づいて、２次逆変換の適用をするかどうかを決定することができる。他の一例として、２次逆変換適用可否決定部２４１０は、レジデュアルブロックの変換係数に基づいて、２次逆変換の適用をするかどうかを決定することもできる。
【０２８１】
２次逆変換決定部２４２０は、２次逆変換を決定することができる。このとき、２次逆変換決定部２４２０は、イントラ予測モードに応じて指定されたＮＳＳＴ（またはＲＳＴ）変換セットに基づいて、現在ブロックに適用される２次逆変換を決定することができる。
【０２８２】
また、一例として、２次逆変換決定部２４２０は、現在ブロックの大きさに基づいて、２次逆変換が適用される領域を決定することができる。
【０２８３】
また、一例として、２次逆変換部２４３０は、決定された２次逆変換を用いて、逆量子化されたレジデュアルブロックについて２次逆変換を行うことができる。
【０２８４】
１次逆変換部２４４０は、２次逆変換されたレジデュアルブロックについて１次逆変換を行うことができる。実施形態として、１次逆変換部２４４０は、前述したＭＴＳを用いて、１次変換を実行することができる。また、一例として、１次逆変換部２４４０は、現在ブロックにＭＴＳが適用されるかどうかを決定することができる。
【０２８５】
一例として、現在ブロックにＭＴＳが適用される場合（つまり、cu_mts_flag = 1）、１次逆変換部２４４０は、現在ブロックのイントラ予測モードに基づいてＭＴＳ候補を構成することができる。そして、１次逆変換部２４４０は、構成されたＭＴＳの候補の内から、特定のＭＴＳを指示するmts_idxを用いて、現在ブロックに適用される１次変換を決定することができる。
【０２８６】
図２５は、本発明が適用される実施形態として、ビデオ信号を処理するためのフローチャートを示す。図２５のフローチャートは、デコード装置２００または逆変換部２３０によって実行されることができる。
【０２８７】
まず、デコード装置２００は、非分離変換インデックス及び現在ブロックの幅と高さに基づいて、現在ブロックの逆非分離変換の適用をするかどうかを決定することができる。例えば、デコード装置２００は、非分離変換インデックスが０ではなく、現在ブロックの幅と高さがそれぞれ４以上の場合、前記非分離変換を適用するように決定することができる。もし非分離変換インデックスが０であるか、現在ブロックの幅または高さが４より小さい場合、デコード装置２００は、逆方向の非分離変換を省略し、逆方向１次変換を実行することができる。
【０２８８】
Ｓ２５０５段階において、デコード装置２００は、現在ブロックのイントラ予測モードに基づいて、予め定義された非分離変換セットの内から、現在ブロックの非分離変換に用いられる非分離変換セットを指示する非分離変換セットインデックスを決定する。非分離変換セットインデックスは、表７または表８のように、イントラ予測モードの範囲に応じて設定される４つの変換セットにそれぞれ割り当てられるように設定されることができる。つまり、表７または表８のように、イントラ予測モードが０〜１である場合、非分離変換セットインデックスは、第１インデックス値に決定され、イントラ予測モードが２〜１２または５６〜６６であれば、非分離変換セットインデックスは、第２インデックス値に決定され、イントラ予測モードが１３〜２３または４５〜５５であれば、非分離変換セットインデックスは、第３インデックス値に決定され、イントラ予測モードが２４〜４４であれば、非分離変換セットインデックスは、第４インデックス値に決定することができる。
【０２８９】
ここで、予め定義された非分離変換セットは、表９のように、それぞれ２つの変換カーネルを含むことができる。また、予め定義された非分離変換セットは、表１０または表１１のように１つまたは２つの変換カーネルを含むこともできる。
【０２９０】
Ｓ２５１０段階において、デコード装置２００は、非分離変換セットインデックスによって指示される非分離変換セットに含まれた変換カーネルの内、現在ブロックの非分離変換インデックスによって指示される変換カーネルを非分離変換行列で決定する。たとえば、非分離変換セットインデックスのインデックス値のそれぞれについて、２つの非分離変換カーネルが設定されることができ、デコード装置２００は、非分離変換セットインデックスに対応する２つの変換行列カーネルの内、非分離変換インデックスによって指示される変換カーネルに基づいて非分離変換行列を決定することができる。
【０２９１】
Ｓ２５１５段階で、デコード装置２００は、現在ブロックの幅及び高さに応じて決定される現在ブロックの左上側領域に対し非分離変換行列を適用する。たとえば、現在ブロックの幅と高さのすべてが８以上の場合、現在ブロックの左上側８ｘ８の領域に対して非分離変換が適用され、現在ブロックの幅または高さが８より小さい場合、現在ブロックの４ｘ４領域にについて、非分離変換が適用されることができる。非分離変換のサイズもまた非分離変換が適用される領域に対応して８ｘ８または４ｘ４に設定されることができる。
【０２９２】
また、デコード装置２００は、非分離変換が適用された現在ブロックに対して水平方向の変換と垂直方向の変換を適用することができる。ここで、水平方向の変換と垂直方向の変換は、現在ブロックに適用された予測モード及び変換行列の選択のためのＭＴＳインデックスに基づいて決定することができる。
【０２９３】
以下では、一次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）及び二次変換（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ）を組み合わせて適用する方法を説明する。すなわち、本発明の実施形態においては、一次変換及び二次変換に用いられる変換を効率的に設計する方法を提案する。ここで、前記図１ないし図２５で提案した方法が適用されてもよく、関連して重複する説明は省略する。
【０２９４】
前述したように、一次変換はエンコーダを基準に残差ブロックに先に適用される変換を示す。二次変換が適用される場合、エンコーダは一次変換された残差ブロックに対して二次変換を行う。一方、二次変換が適用される場合、デコーダを基準に一次逆変換に先立って二次逆変換が行われる。デコーダは、二次逆変換された変換係数ブロックに対して一次逆変換を行うことにより残差ブロックを誘導することができる。
【０２９５】
また、前述したように、二次変換として非分離変換が利用されてもよく、低い複雑度を維持するために、左上側の特定領域の低周波数の係数にのみ適用できる。このような、低周波数の係数に対して適用される二次変換は、ＮＳＳＴ（Ｎｏｎ−Ｓｅｐａｒａｂｌｅ  Ｓｅｃｏｎｄａｒｙ  Ｔｒａｎｓｆｏｒｍ）、ＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ  ｎｏｎ−ｓｅｐａｒａｂｌｅ  ｔｒａｎｓｆｏｒｍ）、ＲＳＴ（ｒｅｄｕｃｅｄ  ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ）と称されてもよい。また、前記一次変換はコア変換（ｃｏｒｅ  ｔｒａｎｓｆｏｒｍ）と称されてもよい。
【０２９６】
本発明の一実施形態において、一次変換に用いられる一次変換候補及び二次変換に用いられる二次変換カーネルは、様々な組み合わせで予め定義されてもよい。本明細書において、一次変換に用いられる一次変換候補はＭＴＳ候補と称されてもよいが、その名称に制限されない。一例として、一次変換候補は、水平及び垂直方向のそれぞれに適用される変換カーネル（又は、変換タイプ）の組み合わせであってもよく、前記変換カーネルは、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８のいずれか１つであってもよい。言い換えると、一次変換候補は、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８の少なくとも１つの組み合わせであり得る。以下で、具体的な例を挙げて説明する。
【０２９７】
−組み合わせＡ
【０２９８】
組み合わせＡにおいては、次の表１２のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。
【０２９９】
【表１２】
2021509559.tif 000017
【０３００】
表１２を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合（例えば、ＤＣ、プランナーモード）、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含む。
【０３０１】
また、一例（Ｃａｓｅ２）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。
【０３０２】
また、一例（Ｃａｓｅ３）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、４つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。
【０３０３】
−組み合わせＢ
【０３０４】
組み合わせＢにおいては、次の表１３のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。
【０３０５】
【表１３】
2021509559.tif 000018
【０３０６】
表１３を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。
【０３０７】
また、一例（Ｃａｓｅ２）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。
【０３０８】
また、一例（Ｃａｓｅ３）として、イントラ予測モードの方向性に関係なく、３つの一次変換候補が使用される。このとき、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。
【０３０９】
−組み合わせＣ
【０３１０】
組み合わせＣにおいては、次の表１４のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。
【０３１１】
【表１４】
2021509559.tif 000019
【０３１２】
表１４を参照すると、一例（Ｃａｓｅ１）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合（例えば、ＤＣ、プランナーモード）、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。
【０３１３】
また、一例（Ｃａｓｅ２）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。
【０３１４】
また、一例（Ｃａｓｅ３）として、イントラ予測モードが方向性を有する場合、２つの一次変換候補が使用され、方向性を有さない場合、３つの一次変換候補が使用される。ここで、二次変換候補は、イントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。
【０３１５】
以上では複数の一次変換候補を使用する場合を中心に説明した。以下では、固定された一次変換候補を利用する場合に対する一次変換と二次変換の組み合わせを例にして説明する。
【０３１６】
−組み合わせＤ
【０３１７】
組み合わせＤにおいては、次の表１５のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。
【０３１８】
【表１５】
2021509559.tif 000020
【０３１９】
表１５を参照すると、実施形態として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用される。例えば、前記固定された一次変換候補は、ＤＣＴ２、ＤＳＴ７及び／又はＤＣＴ８の少なくとも１つの組み合わせであり得る。
【０３２０】
一例（Ｃａｓｅ１）として、イントラ予測モードに関係なく、１つの一次変換候補が固定的に使用され、ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含むことができる。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。
【０３２１】
また、一例（Ｃａｓｅ２） として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用され、ここで、二次変換候補は、イントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。
【０３２２】
また、一例（Ｃａｓｅ３）として、イントラ予測モードに関係なく１つの一次変換候補が固定的に使用され、ここで、二次変換候補はイントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。
【０３２３】
−組み合わせＥ
【０３２４】
組み合わせＥにおいては、次の表１６のように、イントラ予測モードによって一次変換候補及び二次変換カーネルが定義される。
【０３２５】
【表１６】
2021509559.tif 000021
【０３２６】
表１６を参照すると、一次変換としてＤＣＴ２が適用される場合に限って、二次変換が定義される。言い換えれば、ＭＴＳが適用されない場合（すなわち、一次変換としてＤＣＴ２が適用される場合）、二次変換が適用可能である。前記図１０で説明したように、本明細書において、ＭＴＳが適用される場合とそうでない場合とを区別して説明されるが、本発明はこのような表現に制限されるものではない。例えば、ＭＴＳを適用するか否かは、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどに称されてもよい）以外の別の変換タイプ（又は、変換カーネル）を使用するか否かと同一の意味であり得る。もし、ＭＴＳが適用される場合、基本変換タイプ以外の別の変換タイプ（例えば、複数の変換タイプのいずれか１つ又は２つ以上の組み合わせの変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることがある。一実施形態において、前記基本変換タイプはＤＣＴ２に設定（又は、定義）されることがある。
【０３２７】
一例（Ｃａｓｅ１）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補は、イントラ予測モードの方向性に関係なく２つの変換カーネルを含む。すなわち、前述したように、イントラ予測モードによって複数の二次変換カーネルセットが予め定義され、前記予め定義された複数の二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。
【０３２８】
また、一例（Ｃａｓｅ２）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補はイントラ予測モードが方向性を有する場合、１つの変換カーネルを含み、方向性を有さない場合、２つの変換カーネルを含むことができる。
【０３２９】
また、一例（Ｃａｓｅ３）として、一次変換にＤＣＴ２が適用される場合、二次変換が適用可能であり、ここで、二次変換候補はイントラ予測モードの方向性に関係なく１つの変換カーネルを含むことができる。
【０３３０】
図２６は、本発明が適用される実施形態によるビデオ信号の変換方法を例示するフローチャートである。
【０３３１】
図２６を参照すると、説明の便宜のためにデコーダを中心に説明するが、本発明はこれに限定されるものではなく、本実施形態によるビデオ信号に対する変換方法はエンコーダにおいても実質的に同一に適用できる。図２６のフローチャートは、デコード装置２００又は逆変換部２３０により行われる。
【０３３２】
デコード装置２００は、現在ブロックの一次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）に適用される一次変換カーネル（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｋｅｒｎｅｌ）を示す第１シンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）をパーシングする（Ｓ２６０１）。
【０３３３】
デコード装置２００は、前記第１シンタックス要素に基づいて前記現在ブロックに二次変換（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ）が適用できるか否かを決定する（Ｓ２６０２）。
【０３３４】
デコード装置２００は、前記現在ブロックに二次変換が適用できる場合、前記現在ブロックの二次変換に適用される二次変換カーネル（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｋｅｒｎｅｌ）を示す第２シンタックス要素をパーシングする（Ｓ２６０３）。
【０３３５】
デコード装置２００は、前記第２シンタックス要素により示される二次変換カーネルを用いて前記現在ブロックの左上側の特定領域に対して二次逆変換を行うことにより、二次逆変換されたブロックを誘導する（Ｓ２６０４）。
【０３３６】
デコード装置２００は、前記第１シンタックス要素により示される一次変換カーネルを用いて前記二次逆変換されたブロックに対して一次逆変換を行うことにより、前記現在ブロックの残差ブロックを誘導する（Ｓ２６０５）。
【０３３７】
前述したように、Ｓ２６０２ステップは、前記第１シンタックス要素が予め定義された第１変換カーネルを示す場合、前記現在ブロックに二次変換が適用できると決定することにより行われる。ここで、前記第１変換カーネルはＤＣＴ２に定義される。
【０３３８】
また、前述したように、デコード装置２００は、前記現在ブロックのイントラ予測モードに基づいて予め定義された二次変換カーネルセット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｋｅｒｎｅｌ  ｓｅｔ）のうち前記現在ブロックの二次変換に用いられる二次変換カーネルセットを決定することができる。そして、前記第２シンタックス要素は、前記決定された二次変換カーネルセット内で前記現在ブロックの二次変換に適用される二次変換カーネルを示すことができる。
【０３３９】
また、前述したように、前記予め定義された二次変換カーネルセットはそれぞれ２つの変換カーネルを含むことができる。
【０３４０】
本発明の一実施形態において、ＭＴＳ（Ｍｕｌｔｉｐｌｅ  Ｔｒａｎｓｆｏｒｍ  Ｓｅｔ）が用いられるシンタックス構造の一例を説明する。
【０３４１】
一例として、次の表１７は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）のシンタックス構造の一例を表す。
【０３４２】
【表１７】
2021509559.tif 000022
【０３４３】
表１７を参照すれば、本発明の実施形態に係るＭＴＳの使用可能可否は、シーケンスパラメータセットシンタックスを介してシグナリングされることができる。ここで、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、イントラコーディングユニットに対する下位レベルシンタックス（例えば、レシデュアルコーディングシンタックス、変換ユニットシンタックス）内にＭＴＳフラグまたはＭＴＳインデックスが存在するか否かを指示する。そして、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、インターコーディングユニットに対する下位レベルシンタックス内にＭＴＳフラグまたはＭＴＳインデックスが存在するか否かを指示する。
【０３４４】
また、他の一例として、次の表１８は、変換ユニットシンタックス構造の一例を表す。
【０３４５】
【表１８】
2021509559.tif 000023
【０３４６】
表１８を参照すれば、ｃｕ＿ｍｔｓ＿ｆｌａｇは、ＭＴＳがルマ変換ブロックのレシデュアルサンプルに適用されるか否かを表す。例えば、ｃｕ＿ｍｔｓ＿ｆｌａｇ＝０であれば、ＭＴＳがルマ変換ブロックのレシデュアルサンプルに適用されず、ｃｕ＿ｍｔｓ＿ｆｌａｇ＝１であれば、ＭＴＳがルマ変換ブロックのレシデュアルサンプルに適用される。
【０３４７】
前述したように、本発明において、ＭＴＳフラグに基づいてＭＴＳが適用される場合と、そうでない場合とを区分して説明するが、本発明がこのような表現に制限されるものではない。例えば、ＭＴＳの適用可否は、予め定義された特定変換タイプ（基本変換タイプ、デフォルト変換タイプなどと称されることができる）以外の他の変換タイプ（または、変換カーネル）を使用するかの可否と同じ意味でありうる。仮に、ＭＴＳが適用される場合、基本変換タイプ以外の他の変換タイプ（例えば、複数の変換タイプのうち、いずれか１つ、または２つ以上の組み合わせられた変換タイプ）が変換に利用され、ＭＴＳが適用されない場合、基本変換タイプが変換に利用されることができる。一実施形態において、前記基本変換タイプは、ＤＣＴ２に設定（または、定義）されることができる。
【０３４８】
一例として、現在変換ブロックにＭＴＳが適用されるか否かを指示するＭＴＳフラグシンタックスと、ＭＴＳが適用される場合、前記現在ブロックに適用される変換タイプを指示するＭＴＳインデックスシンタックスとが個別的にエンコーダからデコーダに送信されることができ、他の一例として、現在変換ブロックにＭＴＳが適用されるか否か及びＭＴＳが適用される場合、前記現在ブロックに適用される変換タイプを全て含むシンタックス（例えば、ＭＴＳインデックス）がエンコーダからデコーダに送信されることもできる。すなわち、後者の実施形態において、上述した基本変換タイプを含む全体変換タイプグループ（または、変換タイプセット）内で現在変換ブロック（または、ユニット）に適用される変換タイプを指示するシンタックス（または、シンタックス要素）がエンコーダからデコーダに送信されることができる。
【０３４９】
したがって、その表現にもかかわらず、現在変換ブロックに適用される変換タイプを指示するシンタックス（ＭＴＳインデックス）は、ＭＴＳ適用可否に関する情報を含むことができる。言い換えれば、後者の実施形態においてＭＴＳフラグなしにＭＴＳインデックスのみシグナリングされることができ、この場合は、ＭＴＳにＤＣＴ２が含まれることと解釈することができるが、本発明では、ＤＣＴ２を適用する場合をＭＴＳを適用しないことと記述することができ、それにもかかわらず、ＭＴＳに関する技術的範囲は、当該定義内容に限定されない。
【０３５０】
また、他の一例として、次の表１９は、レシデュアルユニットシンタックス構造の一例を表す。
【０３５１】
【表１９−１】
2021509559.tif 000024
【０３５２】
【表１９−２】
2021509559.tif 000025
【０３５３】
【表１９−３】
2021509559.tif 000026
【０３５４】
【表１９−４】
2021509559.tif 000027
【０３５５】
【表１９−５】
2021509559.tif 000028
【０３５６】
表１９を参照すれば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ及び／又はｍｔｓ＿ｉｄｘシンタックス（または、シンタックス要素）は、レシデュアルシンタックスを介してシグナリングされることができる。ただし、これは、１つの例示であって、本発明がこれに限定されるものではない。例えば、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ及び／又はｍｔｓ＿ｉｄｘシンタックスは、変換ユニットシンタックスを介してシグナリングされることもできる。
【０３５７】
以下では、前述した２次変換に利用可能な２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）の具体的な実施形態を説明する。前述したように、前記２次変換は、非分離変換（ｎｏｎ  ｓｅｐａｒａｂｌｅ  ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）、ＬＦＮＳＴ（ｌｏｗ  ｆｒｅｑｕｅｎｃｙ  ｎｏｎ−ｓｅｐａｒａｂｌｅ  ｔｒａｎｓｆｏｒｍ）、ＲＳＴ（ｒｅｄｕｃｅｄ  ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ）と称されることができる。
【０３５８】
前述したように、本発明の実施形態において、２次変換を適用するにあたって、メモリ効率向上のために、４個の変換セット（または、２次変換セット）が使用され得る。一実施形態として、エンコーダ／デコーダは、４個の変換セットに各々０、１、２、３のインデックスを割り当てることができる。
【０３５９】
また、前述したように、それぞれの変換セットは、あらかじめ定義された数の変換カーネルを願むことができる。一実施形態として、２次変換に用いられる４個の変換セットがエンコーダとデコーダとに予め定義されることができ、それぞれの変換セットは、１個または２個の変換行列（または、変換タイプ、変換カーネル）を含むことができる。
【０３６０】
次の表２０は、８×８領域に適用されることができる変換の一例を表す。
【０３６１】
【表２０−１】
2021509559.tif 000029
【０３６２】
【表２０−２】
2021509559.tif 000030
【０３６３】
【表２０−３】
2021509559.tif 000031
【０３６４】
【表２０−４】
2021509559.tif 000032
【０３６５】
【表２０−５】
2021509559.tif 000033
【０３６６】
【表２０−６】
2021509559.tif 000034
【０３６７】
【表２０−７】
2021509559.tif 000035
【０３６８】
表２０を参照すれば、変換行列の係数にスケーリング値として１２８がかけられた場合を例示する。表２０において、ｇ＿ａｉＮｓｓｔ８×８［４］［２］［１６］［６４］配列で１番目の入力の［４］は、変換セットの数を意味し（このとき、それぞれの変換セットは、インデックス０、１、２、３に区分されることができる）、２番目の入力の［２］は、それぞれの変換セットを構成する変換行列の数を意味し、３番目と４番目の入力の［１６］［６４］は、１６×６４  ＲＳＴ（Ｒｅｄｕｃｅｄ  Ｓｅｃｏｎｄａｒｙ  Ｔｒａｎｓｆｏｒｍ）の行と列を意味する。
【０３６９】
表２０は、変換セットが２個の変換行列を含む場合を仮定するが、仮に、１個の変換行列を含む場合であれば、表２０においてそれぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、前記表２０においてそれぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。
【０３７０】
表２０のＲＳＴを適用する場合、エンコーダ／デコーダは、１６個の変換係数が出力されるように構成（または、定義、設定）することができ、１６×６４行列のうち、ｍ×６４部分のみ適用することにより、ｍ個の変換係数のみ出力されるように構成することもできる。例えば、エンコーダ／デコーダは、ｍ＝８に設定することにより、最上側から８×６４行列のみを用いて８個の変換係数のみ出力するように構成することができる。このように、縮小された２次変換を適用することによって計算量を半分に減らすことができる。一実施形態として、エンコーダ／デコーダは、最悪の場合（Ｗｏｒｓｔ  ｃａｓｅ）の計算量を減らすために、８×８変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）に対して８×６４行列を適用できる。
【０３７１】
次の表２１は、４×４領域に適用されることができる変換の一例を表す。
【０３７２】
【表２１−１】
2021509559.tif 000036
【０３７３】
【表２１−２】
2021509559.tif 000037
【０３７４】
【表２１−３】
2021509559.tif 000038
【０３７５】
表２１を参照すれば、変換行列の係数にスケーリング値として１２８がかけられた場合を例示する。表２１において、ｇ＿ａｉＮｓｓｔ４×４［４］［２］［１６］［１６］配列で１番目の入力の［４」は、変換セットの数を意味し（このとき、それぞれの変換セットは、インデックス０、１、２、３に区分されることができる）、２番目の入力の［２」は、それぞれの変換セットを構成する変換行列の数を意味し、３番目と４番目の入力の［１６］［１６」は、１６×１６  ＲＳＴ（Ｒｅｄｕｃｅｄ  Ｓｅｃｏｎｄａｒｙ  Ｔｒａｎｓｆｏｒｍ）の行と列を意味する。
【０３７６】
表２１は、変換セットが２個の変換行列を含む場合を仮定するが、仮りに、１個の変換行列を含む場合であれば、表２１においてそれぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、前記表２１においてそれぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。
【０３７７】
表２１のＲＳＴを適用する場合、エンコーダ／デコーダは、１６個の変換係数が出力されるように構成（または、定義、設定）することができ、１６×１６行列のうち、ｍ×１６部分のみ適用することにより、ｍ個の変換係数のみ出力されるように構成することもできる。例えば、エンコーダ／デコーダは、ｍ＝８に設定することにより、最上側から８×１６行列のみを用いて８個の変換係数のみ出力するように構成することができる。このように、縮小された２次変換を適用することによって計算量を半分に減らすことができる。一実施形態として、エンコーダ／デコーダは、最悪の場合（Ｗｏｒｓｔ  ｃａｓｅ）の計算量を減らすために、８×８変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）に対して８×６４行列を適用できる。
【０３７８】
一実施形態において、２次変換は、前記表２０及び表２１において例示する変換行列は、予め定義された条件によって左上端４×４、４×８、８×４領域（すなわち、ＴＵ）に対して適用されることができ、左上端４×４領域に対してのみ適用されることができる。４×８  ＴＵと８×４  ＴＵの場合、エンコーダ／デコーダは、２個の４×４領域に分けてそれぞれの分割された領域に指定された変換を適用できる。仮りに、２次変換が４×４領域に対してのみ適用されるように定義される場合、前記表２１に定義された変換のみ適用（または、利用）することもできる。
【０３７９】
一方、前記表２０及び表２１においてスケーリング値を１２８と仮定して変換行列の係数を定義したが、本発明がこれに制限されるものではない。例えば、表２０及び表２１は、スケーリング値を２５６に設定することにより、各々次の表２２及び表２３のように定義されることもできる。
【０３８０】
【表２２−１】
2021509559.tif 000039
【０３８１】
【表２２−２】
2021509559.tif 000040
【０３８２】
【表２２−３】
2021509559.tif 000041
【０３８３】
【表２２−４】
2021509559.tif 000042
【０３８４】
【表２２−５】
2021509559.tif 000043
【０３８５】
【表２２−６】
2021509559.tif 000044
【０３８６】
【表２２−７】
2021509559.tif 000045
【０３８７】
【表２２−８】
2021509559.tif 000046
【０３８８】
【表２３−１】
2021509559.tif 000047
【０３８９】
【表２３−２】
2021509559.tif 000048
【０３９０】
【表２３−３】
2021509559.tif 000049
【０３９１】
前述したように、本発明の実施形態において、２次変換を適用するにあたって、メモリ効率向上のために、４個の変換セット（または、２次変換セット）が使用され得る。一実施形態として、エンコーダ／デコーダは、４個の変換セットに各々０、１、２、３のインデックスを割り当てることができる。
【０３９２】
また、前述したように、それぞれの変換セットは、予め定義された数の変換カーネルを含むことができる。一実施形態として、２次変換に用いられる４個の変換セットがエンコーダとデコーダとに予め定義されることができ、それぞれの変換セットは、１個または２個の変換行列（または、変換タイプ、変換カーネル）を含むことができる。
【０３９３】
以下では、２次変換に適用可能な様々な２次変換セット及び変換行列（または、変換タイプ、変換カーネル）の様々な種々の例示を見せる。前述した表２０ないし表２３と異なる様々な変換行列が細部的に定義され得るが、本実施形態では、説明の都合上、一般化された２次変換セットの構成方法とともに非方向性モード（例えば、ＤＣモード、プラナーモード）を中心に例を挙げて説明する。
【０３９４】
まず、具体的に、４×４領域に適用されることができる２次変換の例示を説明する。２次変換に利用可能な２次変換セットに対する以下の例示のうち、第１の例示及び第４の例示は、変換行列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができる。第２の例示及び第３の例示の変換行列は、それぞれの変換セットは、それぞれの変換セットが１個の変換行列で構成される実施形態において適用されることができる。
【０３９５】
特に、第１の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。
【０３９６】
また、特に、第２の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。
【０３９７】
前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第１ないし第４の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第４の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。
【０３９８】
以後の第５ないし第７の例示の変換配列は、３５個の変換セットを適用する場合に該当する。各イントラ予測モードに対して次の表２４のように変換セットをマッピングする場合に適用されることができる。
【０３９９】
【表２４】
2021509559.tif 000050
【０４００】
表２４において、ＮＳＳＴセットインデックスは、変換セットインデックスを表す。表２４のマッピング方法が適用される場合にも、前述した組み合わせＡないしＥに適用されることができる。すなわち、それぞれの組み合わせに対して上述した方法と同様に、第５ないし第８の例示に対しても適用されることができる。
【０４０１】
第５及び第８の例示の変換配列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができ、第６及び第７の例示の変換配列は、それぞれの変換セットが１個の変換行列で構成される実施形態に適用されることができる。
【０４０２】
特に、第５の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。
【０４０３】
また、特に、第６及び第７の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。
【０４０４】
前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第５ないし第８の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第８の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。
【０４０５】
以下の第１ないし第８の例示の変換配列のうち、４×４領域に適用されることができる変換例示は、全て１２８がスケーリング値でかけられた変換行列に該当する。以下の例示の変換配列は、共通的にｇ＿ａｉＮｓｓｔ４×４［Ｎ１］［Ｎ２］［１６］［１６］アレイで表現されることができる。ここで、Ｎ１は、変換セットの数を表す。ここで、Ｎ１は、４または３５であり、インデックス０、１、．．．、Ｎ１−１に区分されることができる。Ｎ２は、各変換セットを構成する変換行列の数を表し（すなわち、１または２）、［１６］［１６］は、１６×１６変換行列を表す。
【０４０６】
以下の例示も同様に、ある変換セットが１個のｔｒａｎｓｆｏｒｍで構成された場合、それぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、それぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。
【０４０７】
最悪の場合（Ｗｏｒｓｔ  ｃａｓｅ）の計算量を減らすために、エンコーダ／デコーダは、４×４  ＴＵに対して８×１６行列を適用できる。以下の例示の４×４領域に適用されることができる変換は、４×４  ＴＵ、４×Ｍ  ＴＵ、Ｍ×４  ＴＵに対して適用されることができ（Ｍ＞４）、４×Ｍ  ＴＵ及びＭ×４  ＴＵに適用される場合、４×４領域に分けてそれぞれの指定された変換を適用したり、最大左上端４×８または８×４領域に対してのみ適用することもできる。また、左上端４×４領域に対してのみ適用されることができる。
【０４０８】
一実施形態において、最悪の場合（Ｗｏｒｓｔ  ｃａｓｅ）の計算量を減らすために、次のような方法が適用され得る。
【０４０９】
例えば、エンコーダ／デコーダは、幅がＷであり、高さがＨであるブロックに対して、Ｗ＞＝８であり、Ｈ＞＝８である場合は、８×８領域に適用されることができる変換配列（または、変換行列、変換カーネル）を（例えば、１６×６４行列）左上端８×８領域に適用することができる。仮に、Ｗ＝８であり、Ｈ＝８である場合、エンコーダ／デコーダは、１６×６４行列のうち、８×６４部分のみ適用することができる。この場合、２次変換の入力は、８個の変換係数で生成されることができ、当該領域で残りの係数は、０とみなされることができる。
【０４１０】
また、例えば、幅がＷであり、高さがＨであるブロックに対して、ＷとＨのうち１つが８より小さい場合（すなわち、４である場合）、エンコーダ／デコーダは、４×４領域に適用されることができる変換配列を適用できる。仮に、Ｗ＝４であり、Ｈ＝４である場合、エンコーダ／デコーダは、１６×１６行列のうち、８×１６部分のみ適用することができる。この場合、２次変換の入力は、８個の変換係数で生成されることができ、当該領域で残りの係数は、０とみなされることができる。
【０４１１】
一実施形態において、仮に、（Ｗ、Ｈ）＝（４、８）または（８、４）である場合、エンコーダ／デコーダは、左上端４×４領域に対してのみ２次変換を適用できる。ＷまたはＨが８より大きい場合、エンコーダ／デコーダは、左上端２個の４×４ブロックに対してのみ２次変換を適用する。すなわち、エンコーダ／デコーダは、最大（ａｔ  ｍｏｓｔ）左上端４×８または８×４領域までのみ４×４ブロック２個に分けて指定された変換行列を適用できる。
【０４１２】
第１の例示
【０４１３】
第１の例示は、次の表２５のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４１４】
【表２５】
2021509559.tif 000051
【０４１５】
第２の例示
【０４１６】
第２の例示は、次の表２６のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４１７】
【表２６】
2021509559.tif 000052
【０４１８】
第３の例示
【０４１９】
第３の例示は、次の表２７のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４２０】
【表２７】
2021509559.tif 000053
【０４２１】
第４の例示
【０４２２】
第４の例示は、次の表２８のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４２３】
【表２８】
2021509559.tif 000054
【０４２４】
第５の例示
【０４２５】
第５の例示は、次の表２９のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４２６】
【表２９】
2021509559.tif 000055
【０４２７】
第６の例示
【０４２８】
第６の例示は、次の表３０のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４２９】
【表３０】
2021509559.tif 000056
【０４３０】
第７の例示
【０４３１】
第７の例示は、次の表３１のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４３２】
【表３１】
2021509559.tif 000057
【０４３３】
第８の例示
【０４３４】
第８の例示は、次の表３２のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４３５】
【表３２】
2021509559.tif 000058
【０４３６】
以下では、８×８領域に適用されることができる２次変換の例示を説明する。２次変換に利用可能な２次変換セットに対する以下の例示のうち、第９の例示及び第１２の例示は、変換行列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができる。第１０の例示及び第１１の例示の変換行列は、それぞれの変換セットは、それぞれの変換セットが１個の変換行列で構成される実施形態において適用されることができる。
【０４３７】
特に、第９の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。
【０４３８】
また、特に、第１０の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。
【０４３９】
前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第９ないし第１２の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第１２の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。
【０４４０】
以後の第１３ないし第１６の例示の変換配列は、３５個の変換セットを適用する場合に該当する。各イントラ予測モードに対して前述した表２４のように変換セットをマッピングする場合に適用されることができる。
【０４４１】
表２４において、ＮＳＳＴセットインデックスは、変換セットインデックスを表す。表２４のマッピング方法が適用される場合にも、前述した組み合わせＡないしＥに適用されることができる。すなわち、それぞれの組み合わせに対して上述した方法と同様に、第１３ないし第１６の例示に対しても適用されることができる。
【０４４２】
第１３及び第１６の例示の変換配列は、それぞれの変換セットが２個の変換行列で構成される実施形態に適用されることができ、第１４及び第１５の例示の変換配列は、それぞれの変換セットが１個の変換行列で構成される実施形態に適用されることができる。
【０４４３】
特に、第１３の例示は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ１に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ１、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ１、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ１、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ１に適用されることができる。
【０４４４】
また、特に、第１４及び第１５の例示の変換配列（すなわち、変換セット）は、前述した組み合わせＤ及び表１５において説明した実施形態のＣａｓｅ３に適用されることができ、その上、組み合わせＡ及び表１２において説明した実施形態のＣａｓｅ３、組み合わせＢ及び表１３において説明した実施形態のＣａｓｅ３、組み合わせＣ及び表１４において説明した実施形態のＣａｓｅ３、または組み合わせＥ及び表１６において説明した実施形態のＣａｓｅ３に適用されることができる。
【０４４５】
前述した組み合わせＡ、Ｂ、Ｃ、Ｄ、Ｅは、ＭＴＳ候補の数が３個以下である場合だけを扱っているが、１次変換で全てのイントラ予測モードに対して４個のＭＴＳ候補を全て適用するように構成することもできる。以下の第１３ないし第１６の例示は、全て４個のＭＴＳ候補を適用する場合にも利用されることができ、特に、第８の例示の変換配列は、４個のＭＴＳ候補を適用する場合にさらに適合することができる。
【０４４６】
以下の第８ないし第１６の例示の変換配列のうち、８×８領域に適用されることができる変換例示は、全て１２８がスケーリング値でかけられた変換行列に該当する。以下の例示の変換配列は、共通的にｇ＿ａｉＮｓｓｔ８×８［Ｎ１］［Ｎ２］［１６］［６４］アレイで表現されることができる。ここで、Ｎ１は、変換セットの数を表す。ここで、Ｎ１は、４または３５であり、インデックス０、１、．．．、Ｎ１−１に区分されることができる。Ｎ２は、各変換セットを構成する変換行列の数を表し（すなわち、１または２）、［１６］［６４］は、１６×６４  Ｒｅｄｕｃｅｄ  Ｓｅｃｏｎｄａｒｙ  Ｔｒａｎｓｆｏｒｍ（ＲＳＴ）を表す。
【０４４７】
以下の例示も同様に、ある変換セットが１個のｔｒａｎｓｆｏｒｍで構成された場合、それぞれの変換セットに対して特定順序の変換行列を使用するように設定することができる。例えば、変換セットが１個の変換行列を含む場合、エンコーダ／デコーダは、それぞれの変換セット内で予め定義された、すなわち、１番目または２番目の変換行列を使用できる。
【０４４８】
当該ＲＳＴを適用すれば、１６個の変換係数が出力されるが、１６×６４行列のうち、ｍ×６４部分のみ適用するようになると、ｍ個の変換係数のみ出力されるように構成することができる。例えば、ｍ＝８にし、一番上から８×６４行列だけをかけて８個の変換係数のみ出力する代わりに、計算量は半分に減らすことができる。
【０４４９】
第９の例示
【０４５０】
第９の例示は、次の表３３のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４５１】
【表３３−１】
2021509559.tif 000059
【０４５２】
【表３３−２】
2021509559.tif 000060
【０４５３】
【表３３−３】
2021509559.tif 000061
【０４５４】
第１０の例示
【０４５５】
第１０の例示は、次の表３４のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４５６】
【表３４】
2021509559.tif 000062
【０４５７】
第１１の例示
【０４５８】
第１１の例示は、次の表３５のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４５９】
【表３５】
2021509559.tif 000063
【０４６０】
第１２の例示
【０４６１】
第１２の例示は、次の表３６のように定義されることができる。４個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４６２】
【表３６−１】
2021509559.tif 000064
【０４６３】
【表３６−２】
2021509559.tif 000065
【０４６４】
第１３の例示
【０４６５】
第１３の例示は、次の表３７のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４６６】
【表３７−１】
2021509559.tif 000066
【０４６７】
【表３７−２】
2021509559.tif 000067
【０４６８】
第１４の例示
【０４６９】
第１４の例示は、次の表３８のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４７０】
【表３８】
2021509559.tif 000068
【０４７１】
第１５の例示
【０４７２】
第１５の例示は、次の表３９のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、１個の変換行列で構成されることができる。
【０４７３】
【表３９】
2021509559.tif 000069
【０４７４】
第１６の例示
【０４７５】
第１６の例示は、次の表４０のように定義されることができる。３５個の変換集合が定義され得るし、このとき、それぞれの変換セットは、２個の変換行列で構成されることができる。
【０４７６】
【表４０−１】
2021509559.tif 000070
【０４７７】
【表４０−２】
2021509559.tif 000071
【０４７８】
図２７は、本発明が適用される実施形態に係るビデオ信号の変換方法を例示するフローチャートである。
【０４７９】
図２７に示すように、説明の都合上、デコーダを中心に説明するが、本発明がこれに限定されるものではなく、本実施形態に係るビデオ信号に対する変換方法は、エンコーダでも実質的に同様に適用されることができる。図２７のフローチャートは、デコード装置２００または逆変換部２３０により行われることができる。
【０４８０】
デコード装置２００は、現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定する（Ｓ２７０１）。
【０４８１】
デコード装置２００は、前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を指示する第１のシンタックス要素を取得する（Ｓ２７０２）。
【０４８２】
デコード装置２００は、前記第１のシンタックス要素により特定される２次変換行列を用いて、前記現在ブロックの左上端領域に対して２次逆変換を行うことによって２次逆変換  されたブロックを導く（Ｓ２７０３）。
【０４８３】
デコード装置２００は、前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を用いて前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導く（Ｓ２７０４）。
【０４８４】
前述したように、前記予め定義された２次変換セットは、各々２個の２次変換行列を含むことができる。
【０４８５】
前述したように、前記Ｓ２７０４ステップは、前記現在ブロックの幅及び高さに基づいて、前記２次逆変換の入力長さ及び出力長さを決定するステップをさらに含むことができる。前述したように、前記現在ブロックの高さ及び幅が各々４である場合、前記非分離変換の入力長さは８、出力長さは１６に決定されることができる。
【０４８６】
前述したように、デコード装置２００は、前記現在ブロックの１次変換に適用される１次変換行列を指示する第２のシンタックス要素をパーシングできる。そして、デコード装置２００は、前記第２のシンタックス要素に基づいて前記現在ブロックに２次変換が適用され得るか否かを決定できる。
【０４８７】
前述したように、前記２次変換が適用され得るか否かを決定するステップは、前記第２のシンタックス要素が予め定義された特定変換タイプを指示する場合、前記現在ブロックに２次変換が適用され得ることと決定することによって行われることができる。
【０４８８】
前述したように、前記予め定義された特定変換タイプは、ＤＣＴ２と定義されることができる。
【０４８９】
図２８は、本発明が適用される実施形態として、ビデオ信号を処理するための装置のブロック図の例を示す。図２８のビデオ信号処理装置は、図１のエンコード装置又は図２のデコード装置に該当することができる。
【０４９０】
映像信号を処理する映像処理装置２８００は、映像信号を貯蔵するメモリ２８２０と、前記メモリと結合されながら、映像信号を処理するプロセッサ２８１０を含む。
【０４９１】
本発明の実施形態に係るプロセッサ２８１０は、映像信号の処理のための少なくとも一つのプロセッシング回路で構成されることができ、映像信号をエンコードまたはデコードするためのコマンドを実行することにより、映像信号を処理することができる。つまり、プロセッサ２８１０は、前述したエンコードまたはデコード方法を実行することにより、元の映像データをエンコードしたり、エンコードされた映像信号をデコードすることができる。
【０４９２】
また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出しできる記録媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータで読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバー去るシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。
【０４９３】
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。
【０４９４】
前記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。例えば、各図で示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。
【０４９５】
また、本発明が適用されるデコーダとエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのようなリアルタイム通信装置、モバイルストリーミング装置、貯蔵媒体、キャムコーダ、ビデオオンデマンド（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Over the top video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレビ電話、ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために用いられる。たとえば、ＯＴＴビデオ（Over the top video）装置では、ゲーム機、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recoder）などを含むことができる。
【０４９６】
また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形で生産されることができ、コンピュータが読み取り可能な貯蔵媒体に貯蔵することができる。本発明に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み出し可能な貯蔵媒体に貯蔵することができる。前記コンピュータが判読可能な記録媒体は、コンピュータに読み取り可能なデータが貯蔵されるあらゆる種類のストレージデバイス及び分散ストレージデバイスを含む。前記コンピュータが判読可能な記録媒体は、例えば、ブルー例ディスク（ＢＤ）、ユニバーサルシリアルバス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ貯蔵装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを通じた伝送）の形で実現されたメディアを含む。  また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に貯蔵したり、有無線通信ネットワークを介して転送されることができる。
【０４９７】
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現されることができ、前記プログラムコードは、本発明の実施形態により、コンピュータ上で実行することができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に貯蔵することができる。
【０４９８】
以上で説明した実施形態は、本発明の構成要素と特徴が所定形態で結合されたものである。各構成要素または特徴は、別の明示的な言及がない限り選択的なもので考慮されるべきである。各構成要素または特徴は、他の構成要素や特徴と結合されない形態で実施されることができる。また、一部の構成要素及び/または特徴を結合して、本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更されることができる。どの実施形態の一部の構成や特徴は、他の実施形態に含まれることができ、または他の実施形態に対応する構成または特徴と代替されることができる。特許請求の範囲で明示的な引用関係がない請求項を結合して実施形態を構成したり、出願後の補正により新しい請求項として含めることができることは自明である。
【０４９９】
本発明に係る実施形態は、 様々な手段、例えば、ハードウェア、ファームウェア（firmware）、ソフトウェアまたはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、一つまたはそれ以上のＡＳＩＣｓ（application specific integrated circuits）、ＤＳＰｓ（digital signal processors）、ＤＳＰＤｓ（digital signal processing devices）、ＰＬＤｓ（programmable logic devices）、ＦＰＧＡｓ（field programmable gate arrays）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。
【０５００】
ファームウェアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明した機能または動作を実行するモジュール、プロシージャ、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに貯蔵されてプロセッサによって駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置して、既に公知された多様な手段により、前記プロセッサとデータを送受信することができる。
【０５０１】
本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化されることができることは、当業者に自明である。したがって、前述した詳細な説明は、すべての面で制限的に解釈してはならなく、例示的なものとみなされるべきである。本発明の範囲は、添付された請求項の合理的解釈によって決定されるべきであり、本発明の等価的範囲内でのすべての変更は、本発明の範囲に含まれる。
【産業上の利用可能性】
【０５０２】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたもので、当業者であれば、以下、添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態を改良、変更、代替または付加などが可能である。
【図１】
2021509559.tif 000072
【図２】
2021509559.tif 000073
【図３】
2021509559.tif 000074
【図４】
2021509559.tif 000075
【図５ａ】
2021509559.tif 000076
【図５ｂ】
2021509559.tif 000077
【図５ｃ】
2021509559.tif 000078
【図５ｄ】
2021509559.tif 000079
【図６】
2021509559.tif 000080
【図７】
2021509559.tif 000081
【図８】
2021509559.tif 000082
【図９】
2021509559.tif 000083
【図１０】
2021509559.tif 000084
【図１１】
2021509559.tif 000085
【図１２】
2021509559.tif 000086
【図１３】
2021509559.tif 000087
【図１４】
2021509559.tif 000088
【図１５】
2021509559.tif 000089
【図１６（ａ）】
2021509559.tif 000090
【図１６（ｂ）】
2021509559.tif 000091
【図１７】
2021509559.tif 000092
【図１８】
2021509559.tif 000093
【図１９】
2021509559.tif 000094
【図２０ａ】
2021509559.tif 000095
【図２０ｂ】
2021509559.tif 000096
【図２１】
2021509559.tif 000097
【図２２】
2021509559.tif 000098
【図２３】
2021509559.tif 000099
【図２４】
2021509559.tif 000100
【図２５】
2021509559.tif 000101
【図２６】
2021509559.tif 000102
【図２７】
2021509559.tif 000103
【図２８】
2021509559.tif 000104
【手続補正書】
【提出日】令和2年6月29日(2020.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ信号を復号化する方法において、
現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定するステップと、
前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）に対する情報を含む第１のシンタックス要素を取得するステップと、
前記第１のシンタックス要素により特定される前記２次変換行列に基づき、前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導くステップと、
前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）に基づき、前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導くステップと、
を含む、ビデオ信号復号化方法。
【請求項２】
前記予め定義された２次変換セットのそれぞれは、２個の２次変換行列を含む、請求項１に記載のビデオ信号復号化方法。
【請求項３】
前記２次逆変換されたブロックを導くステップは、
前記現在ブロックの幅及び高さに基づいて前記２次逆変換の入力長さ及び出力長さを決定するステップを含む、請求項１に記載のビデオ信号復号化方法。
【請求項４】
前記現在ブロックの高さ及び幅が４に等しい場合、前記２次逆変換の入力長さは８に等しく、出力長さは１６に等しい、請求項３に記載のビデオ信号復号化方法。
【請求項５】
前記現在ブロックの１次変換に適用される１次変換行列に対する情報を含む第２のシンタックス要素をパーシングするステップと、
前記第２のシンタックス要素に基づいて前記現在ブロックに２次変換が適用され得るか否かを決定するステップと、
を含む、請求項１に記載のビデオ信号復号化方法。
【請求項６】
前記２次変換が適用され得るか否かを決定するステップは、
前記第２のシンタックス要素が予め定義された特定変換タイプに対する情報を含むことに基づき、前記現在ブロックに２次変換が適用され得ると決定することにより行われる、請求項５に記載のビデオ信号復号化方法。
【請求項７】
前記予め定義された特定変換タイプは、ＤＣＴ２と定義される、請求項６に記載のビデオ信号復号化方法。
【請求項８】
ビデオ信号を復号化する装置において、
前記ビデオ信号を格納するメモリと、
前記メモリと結合されたプロセッサと、
を備え、
前記プロセッサは、
現在ブロックのイントラ予測モードに基づき、予め定義された２次変換セット（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｓｅｔｓ）のうち、前記現在ブロックに適用される２次変換セットを決定し、
前記決定された２次変換セット内で前記現在ブロックに適用される２次変換行列（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）に対する情報を含む第１のシンタックス要素を取得し、
前記第１のシンタックス要素により特定される前記２次変換行列に基づき、前記現在ブロックの左上端領域に対して２次逆変換を行うことにより、２次逆変換されたブロックを導き、
前記現在ブロックの１次変換行列（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）に基づき、前記２次逆変換されたブロックに対して１次逆変換を行うことにより、前記現在ブロックの残差ブロックを導く、ビデオ信号復号化装置。
【請求項９】
前記予め定義された２次変換セットのそれぞれは、２個の２次変換行列を含む、請求項８に記載のビデオ信号復号化装置。
【請求項１０】
前記プロセッサは、
前記現在ブロックの幅及び高さに基づいて前記２次逆変換の入力長さ及び出力長さを決定する、請求項８に記載のビデオ信号復号化装置。
【請求項１１】
前記現在ブロックの高さ及び幅は４に等しい場合、前記２次逆変換の入力長さは８に等しく、出力長さは１６に等しい、請求項１０に記載のビデオ信号復号化装置。
【請求項１２】
前記プロセッサは、
前記現在ブロックの１次変換に適用される１次変換行列に対する情報を含む第２のシンタックス要素をパーシングし、
前記第２のシンタックス要素に基づいて、前記現在ブロックに２次変換が適用され得るか否かを決定する、請求項８に記載のビデオ信号復号化装置。
【請求項１３】
前記プロセッサは、
前記第２のシンタックス要素が予め定義された特定変換タイプに対する情報を含むことに基づき、前記現在ブロックに２次変換が適用され得ると決定する、請求項１２に記載のビデオ信号復号化装置。
【請求項１４】
前記予め定義された特定変換タイプは、ＤＣＴ２と定義される、請求項１３に記載のビデオ信号復号化装置。
【国際調査報告】
2021509559.tif 000105
2021509559.tif 000106
2021509559.tif 000107
2021509559.tif 000108