(57)【要約】  本発明は、ビデオ信号を復元する方法において、現在のブロックに対し、エントロピーデコード及び逆量子化を実行して、変換係数ブロックを獲得するステップと、前記変換係数ブロック内の特定領域に対応される２次変換（secondary transform）を誘導するステップと、ここで前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を表し、前記２次変換を用いて、前記特定領域内のサブブロックのそれぞれについて、逆方向２次変換を実行するステップと、前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行するステップと、前記逆方向１次変換が実行されたブロックを用いて前記現在のブロックを復元するステップを含むことを特徴とする方法を提供する。【選択図】図２２
2021517795.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号を復元する方法において、
現在ブロックのエントロピーデコード及び逆量子化を実行して、変換係数ブロックを獲得するステップと、
前記変換係数ブロック内の特定領域に対応する２次変換（secondary transform）を誘導するステップと、ここで前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を表し、
前記２次変換を用いて、前記特定領域内のサブブロックのそれぞれについて、逆方向２次変換を実行するステップと、
前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行するステップと、
前記逆方向１次変換が実行されたブロックを用いて前記現在ブロックを復元するステップと
を含むことを特徴とする方法。
【請求項２】
前記特定領域は、４ｘ４サブブロックに分割され、
前記逆方向２次変換は、前記４ｘ４サブブロックの各々に対して実行されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記サブブロックの位置または予測モードの内、少なくとも一つに基づいて、前記４ｘ４サブブロックは同じ４ｘ４の２次変換が適用されるか、または互いに別の４ｘ４の２次変換が適用されることを特徴とする、請求項２に記載の方法。
【請求項４】
前記特定領域は、前記変換係数ブロックのサイズに基づいて、４ｘ４サブブロックに分割されるかどうかが決定されることを特徴とする、請求項２に記載の方法。
【請求項５】
前記方法は、
４ｘ４サブブロック内に０でない変換係数の数が特定のしきい値以上であるかどうかを確認するステップをさらに含み、
前記確認の結果に応じて前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されるかどうかが決定されることを特徴とする、請求項２に記載の方法。
【請求項６】
前記４ｘ４サブブロック内に０でない変換係数の数が前記特定しきい値以上であれば、前記４ｘ４サブブロックに対し４ｘ４ ２次変換が適用され、
そうでない場合、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されないことを特徴とする、請求項５に記載の方法。
【請求項７】
ビデオ信号を復元する装置において、
現在ブロックのエントロピーデコードを実行するエントロピーデコード部と、
前記エントロピーデコードが行われた、現在ブロックに対して逆量子化を実行して、変換係数ブロックを獲得する逆量子化部と、
前記変換係数ブロック内、特定領域に対応する２次変換（secondary transform）を誘導し、前記２次変換を用いて前記特定領域内のサブブロックのそれぞれについて、逆方向２次変換を実行し、前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行する変換部と、
前記逆方向１次変換が実行されたブロックを用いて前記現在ブロックを復元する復元部を含み、
前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を示すことを特徴とする、装置。
【請求項８】
前記特定領域は、４ｘ４サブブロックに分割され、
前記逆方向２次変換は、前記４ｘ４サブブロックの各々に対して実行されることを特徴とする、請求項７に記載の装置。
【請求項９】
前記サブブロックの位置または予測モードの内、少なくとも一つに基づいて、前記４ｘ４サブブロックは同じ４ｘ４ ２次変換が適用されるか、または互いに別の４ｘ４の２次変換が適用されることを特徴とする、請求項８に記載の装置。
【請求項１０】
前記特定領域は、前記変換係数ブロックのサイズに基づいて、４ｘ４サブブロックに分割されるかどうかが決定されることを特徴とする、請求項８に記載の装置。
【請求項１１】
前記変換部は、４ｘ４サブブロック内、０でない変換係数の数が特定のしきい値以上であるかどうかを確認し、前記確認の結果に応じて前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されるかどうかを決定することを特徴とする、請求項８に記載の装置。
【請求項１２】
前記４ｘ４サブブロック内に０でない変換係数の数が前記特定のしきい値以上であれば、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用され、
そうでない場合、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されないことを特徴とする、請求項１１に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号を処理する方法及び装置に関し、さらに具体的に変換係数ブロックの特定領域を４ｘ４ブロックに分割した後、分割されたブロックごとに個別の２次変換（secondary transform）を適用する方法及び分割されたブロックに対して２次変換を割り当てたり、共有する方法に関する。
【背景技術】
【０００２】
次世代ビデオコンテンツは、高解像度（ｈｉｇｈ  ｓｐａｔｉａｌ  ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ  ｆｒａｍｅ  ｒａｔｅ）及び画像表現の高次元化（ｈｉｇｈ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｏｆ  ｓｃｅｎｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有する。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ  ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ  ａｃｃｅｓｓ  ｒａｔｅ）及び処理電力（ｐｒｏｃｅｓｓｉｎｇ  ｐｏｗｅｒ）の側面で多大な増加をもたらすだろう。
【０００３】
従って、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、変換（ｔｒａｎｓｆｏｒｍ）を適用するとき、コーディング効率と複雑度の側面ではるかに効率的な変換を設計する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、新たな変換のデザインを反映するためのエンコーダ／デコーダの構造を提案する。
【０００５】
本発明は、変換係数ブロックの特定領域を４ｘ４ブロックに分割した後、分割されたブロックごとに個別の２次変換（secondary transform）を適用する方法、分割されたブロックに対して２次変換を割り当てたり、共有する方法と構造を提案する。
【課題を解決するための手段】
【０００６】
本発明は、新しい変換デザインを介して複雑度を減らし、コーディング効率を向上させる方法を提供する。
【０００７】
本発明は、変換係数ブロックの特定領域を４ｘ４ブロックに分割した後、分割されたブロックごとに個別に２次変換を適用したり、一部の分割されたブロック間の２次変換を共有する方法を 提供する。
【０００８】
本発明は、さまざまなサイズと形状を有するブロック間に同じ位置に存在する４ｘ４ブロックについては、２次変換を共有する方法を提供する。
【０００９】
本発明は、４ｘ４分割されたブロック各々に対し０でない変換係数の数としきい値の比較を通じて条件的に２次変換を適用する方法を提供する。
【００１０】
本発明は、４ｘ４分割されたブロックの全てに対して個別的に２次変換を適用する方法を提供する。
【００１１】
本発明は、２次変換が適用される領域を任意の大きさまたは形状に分割したときの分割された領域に対して、２次変換を構成する方法を提供する。
【発明の効果】
【００１２】
本発明は、静止画または動画をコーディング（符号化）する際に、２次変換が適用される領域をより小さな領域に分割した後、２次変換を適用することにより、２次変換を実行に必要な複雑度を減少することができる。
【００１３】
また、分割されたブロック間の２次変換を共有したり、分割されたブロックごとに、より適切な２次変換を選択できるようにすることで、コーディング性能と複雑度のトレードオフ（trade-off）を調節することができる。
【００１４】
このように、新しい変換デザインを介して演算の複雑度を減少させ、コーディング効率を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【図２】本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す。
【図３】本発明が適用できる実施形態として、図３ＡはＱＴ（ＱｕａｄＴｒｅｅ、以下「ＱＴ」という）、図３ＢはＢＴ（Ｂｉｎａｒｙ  Ｔｒｅｅ、以下「ＢＴ」という）、図３ＣはＴＴ（Ｔｅｒｎａｒｙ  Ｔｒｅｅ、以下「ＴＴ」という）図３ＤはＡＴ（Ａｓｙｍｍｅｔｒｉｃ  Ｔｒｅｅ、以下「ＡＴ」という）によるブロック分割構造を説明するための図である。
【図４】本発明が適用される実施形態として、エンコーダ内の変換及び量子化部１２０／１３０、逆量子化及び逆変換部１４０／１５０の概略的なブロック図を示す。
【図５】本発明が適用される実施形態として、デコーダ内の逆量子化及び逆変換部２２０／２３０の概略的なブロック図を示す。
【図６】本発明が適用される実施形態として、ＭＴＳ、（Multiple Transform Selection）が適用される変換設定グループ（transform configuration group）を示す表を示す。
【図７】本発明が適用される実施形態として、ＭＴＳ、（Multiple Transform Selection）が行われるエンコード過程のフローチャートを示す。
【図８】本発明が適用される実施形態として、ＭＴＳ、（Multiple Transform Selection）が行われるデコード過程のフローチャートを示す。
【図９】本発明が適用される実施形態として、ＭＴＳ、フラグ及びＭＴＳインデックスをエンコードする過程を説明するためのフローチャートを示す。
【図１０】本発明が適用される実施形態として、ＭＴＳ、フラグ及びＭＴＳインデックスに基づいて、水平変換または垂直変換を行または列に適用するデコード過程を説明するためのフローチャートを示す。
【図１１】本発明が適用される実施形態として、変換関連パラメータに基づいて逆変換を実行するフローチャートを示す。
【図１２】本発明が適用される実施形態として、ＮＳＳＴでイントラ予測モードごとに変換セット（transform set）を割り当てることを示すテーブルを示す。
【図１３】本発明が適用される実施形態として、ギボンズ回転（Givens rotation）の計算フロー図を示す。
【図１４】本発明が適用される実施形態として、ギボンズ回転層（Givens rotation layer）と置換（permutation）で構成された４ｘ４ ＮＳＳＴでの１ラウンド構成を示す。
【図１５】本発明が適用される実施形態として、順方向縮小変換（forward reduced transform）及び逆方向縮小変換（forward reduced transform）の動作を説明するためのブロック図を示す。
【図１６】本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆方向スキャンを実行する過程を示す図を示す。
【図１７】本発明が適用される実施形態として、２次変換を適用する８ｘ８左上側の分割領域を示す。
【図１８】本発明が適用される実施形態として、４ｘ４の２次変換が適用される最大８ｘ８左上側の領域に対するパーティションを示す。
【図１９】本発明が適用される実施形態として、２次変換が適用される領域をＭ個の領域に分割し、各位置に対してインデックスを割り当てる方法を説明するための図を示す。
【図２０】本発明が適用される実施形態として、２次変換が適用される領域を分割したときの分割された領域に変換を割り当てる方法を説明するための図を示す。
【図２１】本発明が適用される実施形態として、分割されたブロックに２次変換を適用して、ビデオ信号をエンコードするフローチャートを示す。
【図２２】本発明が適用される実施形態として、分割されたブロックに２次変換を適用して、ビデオ信号をデコードするフローチャートを示す。
【図２３】本発明が適用される実施形態として２次変換が適用される領域をＭ個の領域に分割し、各位置に対してインデックスを割り当てる別の例を示す。
【図２４】本発明が適用される実施形態としてグルーピングに基づいて領域を区分する方法を説明するための図を示す。
【図２５】本発明が適用される実施形態として２次変換が適用される領域をＭ個の領域に分割し、各位置に対してインデックスを割り当てる別の例 示す。
【図２６】本発明が適用される実施形態として、スキャン順に基づいて、２次変換が適用される領域をＭ個の領域に分割する方法を説明するための図を示す。
【図２７】本発明が適用される実施形態として、コンテンツのストリーミングシステム構造図を示す。［発明を実施するための最良の形態］
【００１６】
本発明は、ビデオ信号を復元する方法において、現在のブロックのエントロピーデコード及び逆量子化を実行して、変換係数ブロックを獲得するステップと、前記変換係数ブロック内の特定領域に対応する２次変換（secondary transform）を誘導するステップと、ここで前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を表し、前記２次変換を用いて、前記特定領域内のサブブロックのそれぞれについて、逆方向２次変換を実行するステップと、前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行するステップと、前記逆方向１次変換が実行されたブロックを用いて前記現在のブロックを復元するステップを含むことを特徴とする方法を提供する。
【００１７】
本発明において、前記特定領域は、４ｘ４サブブロックに分割され、前記逆方向２次変換は、前記４ｘ４サブブロックの各々に対して実行されることを特徴とする
【００１８】
本発明において、前記サブブロックの位置または予測モードの内、少なくとも一つに基づいて、前記４ｘ４サブブロックは同じ４ｘ４ ２次変換が適用されるか、または互いに別の４ｘ４ ２次変換が適用されることを特徴とする。
【００１９】
本発明において、前記特定領域は、前記変換係数ブロックのサイズに基づいて、４ｘ４サブブロックに分割されるかどうかが決定されることを特徴とする。
【００２０】
本発明において、前記方法は、４ｘ４サブブロック内に０でない変換係数の数が特定のしきい値以上であるかどうかを確認するステップをさらに含み、前記確認結果に応じて前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されるかどうかが決定されることを特徴とする。
【００２１】
本発明において、前記４ｘ４サブブロック内に０でない変換係数の数が前記特定のしきい値以上であれば、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用され、そうでない場合、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されないことを特徴とする。
【００２２】
本発明は、ビデオ信号を復元する装置において、現在ブロックのエントロピーデコードを実行するエントロピーデコード部と前記エントロピーデコードが行われた、現在ブロックに対して逆量子化を実行して、変換係数ブロックを獲得する逆量子化部と、前記変換係数ブロック内の特定領域に対応する２次変換（secondary transform）を誘導し、前記２次変換を用いて前記特定領域内のサブブロックのそれぞれについて、逆方向２次変換を実行し、前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行する変換部と、前記逆方向１次変換が実行されたブロックを用いて前記現在ブロックを復元する復元部とを含み、前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を示すことを特徴とする装置を提供する。
【発明を実施するための形態】
【００２３】
以下、添付の図面を参照して本発明の実施形態の構成とその作用を説明し、図面により説明される本発明の構成と作用は１つの実施形態として説明されるものであり、これにより本発明の技術的思想とその核心構成及び作用が制限されるものではない。
【００２４】
併せて、本発明で使われる用語はできる限り現在広く使われる一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純解析されてはならず、その該当用語の意味まで把握して解析されるべきであることを明らかにする。
【００２５】
また、本発明で使われる用語は発明を説明するために選択された一般的な用語であるが、類似の意味を有する他の用語がある場合、より適切な解析のために代替可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に代替されて解析できるものである。また、パーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）、分解（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、スプリッティング（ｓｐｌｉｔｔｉｎｇ）及び分割（ｄｉｖｉｓｉｏｎ）などの場合にも各コーディング過程で適切に代替され解析できるものである。
【００２６】
本文書でＭＴＳ（Multiple Transform Selection、以下「ＭＴＳ」と称する）とは、少なくとも２つ以上の変換タイプを用いて変換を実行する方法を意味することができる。これはＡＭＴ（Adaptive Multiple Transform）またはＥＭＴ（Explicit Multiple Transform）とも表現することができ、同様に、mts_idxもＡＭＴ_idx、ＥＭＴ_idx、tu_mts_idx、ＡＭＴ＿ＴＵ_idx、ＥＭＴ＿ＴＵ＿idx、変換インデックスまたは変換組み合わせのインデックスなどのように表現することができ、本発明は、このような表現に限定されない。
【００２７】
図１は、本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【００２８】
図１を参照すると、エンコーダ１００は、映像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５及びエントロピーエンコード部１９０を含みから構成されることができる。
【００２９】
映像分割部１１０は、エンコーダ１００に入力された入力映像（Input image）（または、ピクチャ、フレーム）を１つ以上の処理ユニットに分割することができる。例えば、前記処理ユニットは、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）で有り得る。
【００３０】
ただし、前記用語は、本発明の説明の便宜のために用いるだけであり、本発明は、該用語の定義に限定されない。また、本明細書においては、説明の便宜のために、ビデオ信号をエンコードまたはデコードする過程で用いられる単位としてコーディングユニットという用語を用いるが、本発明は、それに限定されず発明の内容に応じて適切に解釈可能である。
【００３１】
エンコーダ１００は、入力映像信号からインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）を減算して残りの信号（residual signal）を生成することができ、生成された残りの信号は、変換部１２０に送信される。
【００３２】
変換部１２０は、残りの信号に変換手法を適用して変換係数（transform coefficient）を生成することができる。変換プロセスは、クワッドツリー（quadtree）構造の正方形ブロック、バイナリツリー（binarytree）構造、ターナリー（ternary）構造または非対称ツリー（asymmetric）構造によって分割されたブロック（正方形または長方形）に適用することができる。
【００３３】
前記変換部１２０は、複数個の変換（または変換の組み合わせ）に基づいて変換を実行することができ、このような変換方式をＭＴＳ（Multiple Transform Selection）と称することができる。前記ＭＴＳはＡＭＴ（Adaptive Multiple Transform）またはＥＭＴ（Enhanced Multiple Transform）と称することもできる。
【００３４】
前記ＭＴＳ（またはＡＭＴ、ＥＭＴ）は、複数個の変換（または変換の組み合わせ）から適応的に選択される変換（または変換の組み合わせ）に基づいて実行される変換方式を意味することができる。
【００３５】
前記複数個の変換（または変換の組み合わせ）は、本明細書の図６で説明する変換（または変換の組み合わせ）を含むことができる。本明細書において、前記変換または変換タイプは、例えば、Ｄｃｔ−Type ２、Ｄｃｔ−ＩＩ、Ｄｃｔ２、Ｄｃｔ−２のように表記することができる。
【００３６】
前記変換部１２０は次の実施形態を実行することができる。
【００３７】
本発明は、変換係数ブロックの特定領域を４ｘ４ブロックに分割した後、分割されたブロックごとに個別の２次変換（secondary transform）を適用する方法、分割されたブロックに対して２次変換を割り当てたり、共有する方法及び構造を提案する。
【００３８】
これに対する具体的な実施形態は、本明細書でより詳細に説明する。
【００３９】
量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に送信し、エントロピーエンコード部１９０は、量子化された信号（quantized signal）をエントロピーコーディングしてビットストリームで出力することができる。
【００４０】
前記変換部１２０と、前記量子化部１３０は、別個の機能ユニットで説明されるが、本発明はこれに限定されず、一つの機能ユニットで結合することができる。前記逆量子化部１４０と、前記逆変換部１５０の場合にも、同様に一つの機能ユニットで結合することができる。
【００４１】
量子化部１３０から出力された量子化された信号（quantized signal）は、予測信号を生成するために用いることができる。例えば、量子化された信号（quantized signal）は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、残りの信号を復元することができる。復元された残りの信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）に加えることで復元信号（reconstructed signal）が生成されることができる。
【００４２】
一方、前記のような圧縮過程で発生した量子化エラーによってブロック境界が見える劣化が発生することができる。このような現象をブロッキング劣化（blocking artifacts）と呼ばれ、これは画質を評価する重要な要素の一つである。このような劣化を低減するためにフィルタリング過程を行うことができる。このようなフィルタリング過程を介してブロッキング劣化を除去するとともに、現在ピクチャの誤差を減らすことによって、画質を向上させることになる。
【００４３】
フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力したり、復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８０で参照ピクチャとして用いられる。このように、フィルタリングされたピクチャを画面間予測モードで参照ピクチャとして用いることにより、画質だけでなく、コーディング効率も向上させることができる。
【００４４】
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０での参照ピクチャとして使用するために保存することができる。
【００４５】
インター予測部１８０は、復元ピクチャ（reconstructed picture）を参照して、時間的重複性及び/または空間的重複性を除去するために時間的予測、及び/または空間的予測を行う。ここで、予測を実行するために用いられる参照ピクチャは、以前の時間にコーディング／復号化の時ブロック単位で量子化と逆量子化を経た変換された信号であるので、ブロッキングアーティファクト（blocking artifact）やリンギングアーティファクト（ringing artifact）が存在することができる。
【００４６】
したがって、インター予測部１８０は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（low pass filter）を適用することにより、ピクセル間の信号をサブピクセル単位で補間することができる。ここで、サブピクセルは、補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは、復元されたピクチャに存在する実際の画素を意味する。補間方法としては、線形補間、バイリニア補間（bi-linear interpolation）、ウィーナーフィルタ（wiener filter）などが適用されることができる。
【００４７】
補間フィルタは、復元ピクチャ（reconstructed picture）に適用され、予測の精度を向上させることができる。例えば、インター予測部１８０は、整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（interpolated pixels）で構成された補間ブロック（interpolated block）を予測ブロック（prediction block）として使用して予測を行うことができる。
【００４８】
一方、イントラ予測部１８５は、現在コーディングを進行しようとするブロックの周辺にあるサンプルを参照して、現在ブロックを予測することができる。前記イントラ予測部１８５は、イントラ予測を実行するために、次のような過程を実行することができる。まず、予測信号を生成するために必要な参照サンプルを準備することができる。そして、準備されてサンプルを用いて予測信号を生成することができる。以後、予測モードをコーディングすることになる。このとき、参照サンプルは、参照サンプルパディング及び/または参照サンプルのフィルタリングを介して準備することができる。参照サンプルは、予測と復元過程を経たため、量子化エラーが存在することができる。したがって、このようなエラーを減らすためにイントラ予測に用いられる各予測モードに対して参照サンプルのフィルタリング過程が実行されることができる。
【００４９】
前記インター予測部１８０または前記イントラ予測部１８５を介して生成された予測信号（prediction signal）は、復元信号を生成するために用いられるか、または残りの信号を生成するために用いられる。
【００５０】
図２は、本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略的なブロック図を示す。
【００５１】
図２を参照すると、デコーダ２００は、解析部（図示せず）、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ： Decoded Picture Buffer Unit）２５０、インター予測部２６０及びイントラ予測部２６５を含みから構成されることができる。
【００５２】
そして、デコーダ２００を介して出力された復元映像信号（reconstructed video signal）は、再生装置を通じて再生することができる。
【００５３】
デコーダ２００は、図１のエンコーダ１００から出力された信号を受信することができ、受信された信号は、エントロピーデコード化部２１０を介して、エントロピーデコードすることができる。
【００５４】
逆量子化部２２０においては、量子化ステップサイズ情報を用いて、エントロピーデコードされた信号から変換係数（transform coefficient）を獲得する。
【００５５】
逆変換部２３０においては、変換係数を逆変換して残りの信号（residual signal）を獲得することになる。
【００５６】
ここで、本発明は、予測モード、ブロックサイズまたはブロック状（block shape）の内、少なくとも１つによって区分される変換設定グループ（transform configuration group）別で変換の組み合わせ（transform combination）を構成する方法を提供し、前記逆変換部２３０は、本発明によって構成された変換の組み合わせに基づいて逆変換を行うことができる。また、本明細書で説明した実施形態が適用されることができる。
【００５７】
前記逆変換部２３０は次の実施形態を実行することができる。
【００５８】
本発明は、変換係数ブロックの特定領域を４ｘ４ブロックに分割した後、分割されたブロックごとに個別の２次変換（secondary transform）を適用する方法、分割されたブロックに対して２次変換を割り当てたり、共有する方法及び構造を提案する。
【００５９】
前記逆変換部２３０は、変換係数ブロック内の特定領域に対応する２次変換（secondary transform）を誘導し、前記２次変換を用いて、サブブロック各々に対し逆方向２次変換を実行し、前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行することができる。ここで、前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を示す。
【００６０】
一実施形態として、前記特定領域は、４ｘ４サブブロックに分割され、前記逆方向２次変換は、前記４ｘ４サブブロックの各々に対して実行されることを特徴とする。
【００６１】
一実施形態として、前記サブブロックの位置または予測モードの内、少なくとも一つに基づいて、前記４ｘ４サブブロックは同じ４ｘ４ ２次変換が適用されるか、または別の４ｘ４ ２次変換が適用されることを特徴とする。
【００６２】
一実施形態として、前記特定領域は、前記変換係数ブロックのサイズに基づいて、４ｘ４サブブロックに分割されるかどうかが決定されることを特徴とする。
【００６３】
一実施形態として、前記逆変換部２３０は、４ｘ４サブブロック内に０でない変換係数の数が特定のしきい値以上であるかどうかを確認するステップをさらに含むが、前記確認結果に応じて前記４ｘ４サブブロックについて４ｘ４ ２次変換が適用されるかどうかが決定されることを特徴とする。
【００６４】
一実施形態として、前記４ｘ４サブブロック内に０でない変換係数の数が前記特定のしきい値以上であれば、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用され、そうでない場合、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されないことを特徴とする。
【００６５】
前記逆量子化部２２０と、前記逆変換部２３０は、別個の機能ユニットで説明されるが、本発明はこれに限定されず、一つの機能ユニットに結合することができる。
【００６６】
獲得された残りの信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（prediction signal）に加えることで復元信号（reconstructed signal）が生成される。
【００６７】
フィルタリング部２４０は、復元信号（reconstructed signal）にフィルタリングを適用して、これを再生装置に出力したり、復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６０で参照ピクチャとして用いられる。
【００６８】
本明細書において、エンコーダ１００の変換部１２０及び、各機能ユニットで説明された実施形態は、それぞれデコーダの逆変換部２３０及び対応する機能ユニットにも同様に適用することができる。
【００６９】
図３は、本発明が適用できる実施形態として、図３ＡはＱＴ（ＱｕａｄＴｒｅｅ、以下「ＱＴ」という）、図３ＢはＢＴ（Ｂｉｎａｒｙ  Ｔｒｅｅ、以下「ＢＴ」という）、図３ＣはＴＴ（Ｔｅｒｎａｒｙ  Ｔｒｅｅ、以下「ＴＴ」という）、図３ＤはＡＴ（Ａｓｙｍｍｅｔｒｉｃ  Ｔｒｅｅ、以下「ＡＴ」という）によるブロック分割構造を説明するための図である。
【００７０】
ビデオコーディングにおいて１つのブロックは、ＱＴ（ＱｕａｄＴｒｅｅ）ベースに分割されることができる。また、ＱＴにより分割された１つのサブブロック（ｓｕｂ  ｂｌｏｃｋ）は、ＱＴを使用して再帰的にさらに分割されることができる。これ以上ＱＴ分割されないリーフブロック（ｌｅａｆ  ｂｌｏｃｋ）は、ＢＴ（Ｂｉｎａｒｙ  Ｔｒｅｅ）、ＴＴ（Ｔｅｒｎａｒｙ  Ｔｒｅｅ）又は ＡＴ（Ａｓｙｍｍｅｔｒｉｃ  Ｔｒｅｅ）の少なくとも１つの方式により分割されることができる。ＢＴは、ｈｏｒｉｚｏｎｔａｌ  ＢＴ（２Ｎ×Ｎ、２Ｎ×Ｎ）とｖｅｒｔｉｃａｌ  ＢＴ（Ｎ×２Ｎ、Ｎ×２Ｎ）の２つの形態の分割を有する。ＴＴは、ｈｏｒｉｚｏｎｔａｌ  ＴＴ（２Ｎ×１／２Ｎ、２Ｎ×Ｎ、２Ｎ×１／２Ｎ）とｖｅｒｔｉｃａｌ  ＴＴ（１／２Ｎ×２Ｎ、Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の２つの形態の分割を有する。ＡＴは、ｈｏｒｉｚｏｎｔａｌ−ｕｐ  ＡＴ（２Ｎｘ１／２Ｎ、２Ｎｘ３／２Ｎ）、ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ  ＡＴ（２Ｎ×３／２Ｎ、２Ｎ×１／２Ｎ）、ｖｅｒｔｉｃａｌ−ｌｅｆｔ  ＡＴ（１／２Ｎ×２Ｎ、３／２Ｎ×２Ｎ）、ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ  ＡＴ（３／２Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の４つの形態の分割を有する。それぞれのＢＴ、ＴＴ、ＡＴは、ＢＴ、ＴＴ、ＡＴを使用して再帰的にさらに分割されることができる。
【００７１】
前記図３Ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴにより４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割される。サブブロックＡ１は、ＱＴにより４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）にさらに分割される。
【００７２】
前記図３Ｂは、ＢＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ  ＢＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ  ＢＴ（Ｄ０、Ｄ１）により分割される。ブロックＣ０のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ  ＢＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ  ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【００７３】
前記図３Ｃは、ＴＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ  ＴＴ（Ｃ０、Ｃ１、Ｃ２）又はｈｏｒｉｚｏｎｔａｌ  ＴＴ（Ｄ０、Ｄ１、Ｄ２）により分割される。ブロックＣ１のようにそれぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ  ＴＴ（Ｅ０、Ｅ１、Ｅ２）又はｖｅｒｔｉｃａｌ  ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。
【００７４】
前記図３Ｄは、ＡＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ  ＡＴ（Ｃ０、Ｃ１）又はｈｏｒｉｚｏｎｔａｌ  ＡＴ（Ｄ０、Ｄ１）により分割される。ブロックＣ１のようにそれぞれのサブブロックはｈｏｒｉｚｏｎｔａｌ  ＡＴ（Ｅ０、Ｅ１）又はｖｅｒｔｉｃａｌ  ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【００７５】
一方、ＢＴ、ＴＴ、ＡＴ分割は共に使用して分割可能である。例えば、ＢＴ により分割されたサブブロックはＴＴ又はＡＴによる分割が可能である。また、ＴＴにより分割されたサブブロックはＢＴ又はＡＴによる分割が可能である。ＡＴにより分割されたサブブロックはＢＴ又はＴＴによる分割が可能である。例えば、ｈｏｒｉｚｏｎｔａｌ  ＢＴ分割の後、それぞれのサブブロックがｖｅｒｔｉｃａｌ  ＢＴにより分割されることができ、またはｖｅｒｔｉｃａｌ  ＢＴ分割の後、それぞれのサブブロックがｈｏｒｉｚｏｎｔａｌ  ＢＴにより分割されることができる。前記２種類の分割方法は分割順序は異なるが、最終的に分割される形状は同一である。
【００７６】
また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般に、左側から右側へ、上段から下段へ探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加的なブロック分割を行うか否かを決定する順序を意味するか、ブロックがこれ以上分割されない場合、各サブブロックのコーディング順序を意味するか、又はサブブロックにおいて他の隣接ブロックの情報を参照するときの探索順序を意味することがある。
【００７７】
図４及び図５は、本発明が適用される実施形態として、図４は、エンコーダ内の変換及び量子化部１２０／１３０、逆量子化及び逆変換部１４０／１５０の概略的なブロック図を示し、図５は、デコーダ内の逆量子化及び逆変換部２２０／２３０の概略的なブロック図を示す。
【００７８】
図４に示すように、変換及び量子化部１２０／１３０は、１次変換部（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）１２１、２次変換部（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）１２２及び量子化部１３０を含む。逆量子化及び逆変換部１４０／１５０は、逆量子化部１４０、逆２次変換部（ｉｎｖｅｒｓｅ  ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）１５１及び逆方向１次変換部（ｉｎｖｅｒｓｅ  ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）１５２を含むことがある。
【００７９】
図５に示すように、逆量子化及び逆変換部２２０／２３０は、逆量子化部２２０、逆２次変換部（ｉｎｖｅｒｓｅ  ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）２３１及び逆方向１次変換部（ｉｎｖｅｒｓｅ  ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）２３２を含むことがある。
【００８０】
本発明において、変換を行うときに複数の段階を経て変換を行うことができる。例えば、図４のように、１次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）、２次変換（ｓｅｃｏｎｄａｒｙ  ｔｒａｎｓｆｏｒｍ）の２段階を適用することができ、又はアルゴリズムによってそれ以上の変換段階が用いられることもできる。ここで、前記１次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）は、主要変換（ｃｏｒｅ  ｔｒａｎｓｆｏｒｍ）ということもできる。
【００８１】
前記１次変換部（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）１２１は、残差信号に対して１次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）を適用し、ここで、前記１次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）は、エンコーダ及び／又はデコーダにおいてテーブルとして既に定義されることができる。
【００８２】
前記１次変換（ｐｒｉｍａｒｙ  ｔｒａｎｓｆｏｒｍ）の場合、Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ  ｔｙｐｅ ２（以下、「ＤＣＴ２」という）が適用されることができる。または、特定した場合に限定してＤｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ−ｔｙｐｅ  ７（以下、「ＤＳＴ７」という。）が適用されることもできる。例えば、イントラ予測モードにおいて４×４ブロックに対してＤＳＴ７が適用されることができる。
【００８３】
または、前記１次変換（primary transform）の場合、ＭＴＳ（Multiple Transform Selection）の複数の変換（ＤＳＴ ７、Ｄｃｔ ８、ＤＳＴ １、Ｄｃｔ ５）の組み合わせが適用されることもできる。例えば、図６が適用されることができる。
【００８４】
前記２次変換部（secondary transform unit１２２は、１次変換された信号に対して２次変換（secondary transform）を適用することができ、ここで前記２次変換（secondary transform）は、エンコーダ及び/またはデコーダでテーブルで既定義されることができる。
【００８５】
一実施形態として、前記２次変換（secondary transform）は、Non-Separable Secondary Transform（以下、「ＮＳＳＴ」という）が条件的に適用することができる。例えば、前記ＮＳＳＴはイントラ予測ブロックの場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。
【００８６】
ここで、前記予測モードグループは、予測方向の対称性に基づいて設定されることができる。例えば、予測モード５２と予測モード１６は、予測モード３４（対角方向）に基づいて対称であるので、１つのグループを形成して、同じ変換セット（transform set）が適用されることができる。この時、前記予測モード５２の変換を適用するときに入力データをトランスポーズ（transpose）した後に適用し、これは予測モード１６と変換セットが同じであるからである。
【００８７】
一方、プランナーモード（Planar mode）とＤＣモード（ＤＣ mode）の場合、方向の対称性が存在しないため、それぞれの変換セットを有し、その変換セットは、２つの変換で構成されることができる。残りの方向性モードに対しては、変換セットごとに３つの変換で構成されることができる。
【００８８】
他の実施形態として、前記２次変換（secondary transform）の場合、ＭＴＳ（Multiple Transform Selection）の複数の変換（ＤＳＴ ７、Ｄｃｔ ８、ＤＳＴ １、Ｄｃｔ ５）の組み合わせが適用されることもできる。例えば、図６が適用されることができる。
【００８９】
他の実施形態として、前記ＮＳＳＴは１次変換されたブロック全体に対し適用されるものではなく左上側（top-left）８ｘ８の領域にのみ適用されることができる。例えば、ブロックのサイズが８ｘ８以上の場合は、８ｘ８ ＮＳＳＴが適用され、８ｘ８未満の場合は、４ｘ４ ＮＳＳＴが適用されるが、この時、４ｘ４ブロックに分割後、それぞれ４ｘ４ ＮＳＳＴが適用される。
【００９０】
他の実施形態として、４ｘＮ / Ｎｘ４（Ｎ> ＝ １６）である場合にも、４ｘ４ ＮＳＳＴが適用されることができる。
【００９１】
前記量子化部１３０は、２次変換された信号に対して量子化を行うことができる。
【００９２】
前記逆量子化及び逆変換部（１４０/１５０）は、先に説明した過程を逆に実行し、重複する説明は省略する。
【００９３】
図５は、デコーダ内の逆量子化及び逆変換部（２２０/２３０）の概略的なブロック図を示す。
【００９４】
前記図５を注意深見ると、逆量子化及び逆変換部（２２０/２３０）は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１及び逆１次変換部（inverse primary transform unit） ２３２を含むことができる。
【００９５】
前記逆量子化部２２０においては、量子化ステップサイズ情報を用いて、エントロピーデコードされた信号から変換係数（transform coefficient）を獲得する。
【００９６】
前記逆２次変換部（inverse secondary transform unit）２３１では、前記変換係数に対して逆２次変換を実行する。ここで、前記逆２次変換は、前記図４で説明した前記２次変換（secondary transform）の逆変換を示す。
【００９７】
他の実施形態として、前記２次変換の場合、ＭＴＳ（Multiple Transform Selection）の複数の変換（ＤＳＴ ７、Ｄｃｔ ８、ＤＳＴ １、Ｄｃｔ ５）の組み合わせが適用されることもできる。例えば、図６が適用されることができる。
【００９８】
前記逆１次変換部（inverse primary transform unit）２３２は、逆２次変換された信号（またはブロック）について逆１次変換を実行し、残りの信号（residualsignal）を獲得することになる。ここで、前記逆１次変換は、前記図４で説明した前記１次変換（primary transform）の逆変換を示す。
【００９９】
一実施形態として、前記１次変換（primary transform）の場合、ＭＴＳ（Multiple Transform Selection）の複数の変換（ＤＳＴ ７、Ｄｃｔ ８、ＤＳＴ １、Ｄｃｔ ５）の組み合わせが適用されることもできる。例えば、図６が適用されることができる。
【０１００】
本発明の一実施形態として、ＤＳＴ７が１次変換（primary transform）で適用されることもできる。
【０１０１】
本発明の一実施形態として、Ｄｃｔ８が１次変換（primary transform）で適用されることもできる。
【０１０２】
本発明は、予測モード、ブロックサイズまたはブロック状（block shape）の内少なくとも１つによって区分される変換設定グループ（transform configuration group）別に変換の組み合わせ（transform combination）を構成する方法を提供し、前記逆方向１次変換部（inverse primary transform unit２３２は、本発明によって構成された変換の組み合わせに基づいて逆変換を行うことができる。また、本明細書で説明した実施形態が適用されることができる。
【０１０３】
図６は、本発明が適用される実施形態として、ＭＴＳ、（Multiple Transform Selection）が適用される変換設定グループ（transform configuration group）を示す表である。
ＭＴＳ（Multiple Transform Selection）が適用される変換設定グループ
【０１０４】
本明細書においては、変換設定グループＧｉのｊ番目の変換の組み合わせの候補を次の数式１のようなペア（対）で表示する。
【０１０５】
［数１］
(H(Gi, j), V(Gi, j))
ここで、Ｈ（Ｇｉ、ｊ）は、ｊ番目の候補の水平変換（horizontal transform）を指し、Ｖ（Ｇｉ、ｊ）は、ｊ番目の候補に対する垂直変換（vertical transform）を指す。例えば、図６でＨ（Ｇ３、２）＝ ＤＳＴ７、Ｖ（Ｇ３、２）＝ Ｄｃｔ８のように表記することができる。文脈に応じてＨ（Ｇｉ、ｊ）またはＶ（Ｇｉ、ｊ）に割り当てる値は、前記例示のように変換を区分するための表示上の値（nominal value）で有り得、その変換を指すインデックス値で有り得、その変換の２Ｄ行列（２ Dimensional matrix）で有り得る。
【０１０６】
また、本明細書において、ＤｃｔとＤＳＴの２Ｄ行列の値を次の数式２〜３のように表記することができる。
【０１０７】
【数２】
2021517795.tif 000003
【０１０８】
【数３】
2021517795.tif 000004
【０１０９】
ここで、ＤＳＴまたはＤｃｔかどうかは、ＳまたはＣで表し、ｔｙｐｅ数字はローマ数字の形で上添字で表記し、下部添字のＮはＮｘＮ変換であることを示す。また、前記
2021517795.tif 000005
と
2021517795.tif 000006
のような２Ｄ行列は、列ベクトル（column vector）が変換基底（transform basis）をなすことを仮定する。
【０１１０】
前記図６を注意深く見ると、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、総６個（Ｇ０〜Ｇ５）で有り得る。そして、Ｇ０〜Ｇ４は、イントラ予測が適用される場合に該当されＧ５はインター予測によって生成された残差（residual）ブロックに適用される変換の組み合わせ（または変換セット、変換の組み合わせセット）を示す。
【０１１１】
一つの変換の組み合わせは、その２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または行変換（row transform））と列（column）に適用される垂直変換（vertical transform）（または列変換（column transform））でなることができる。
【０１１２】
ここで、すべての変換設定グループは、各４つの変換の組み合わせの候補を有することができる。前記４つの変換の組み合わせ候補は０〜３の変換の組み合わせのインデックスを介して選択または決定することができ、エンコーダからデコーダに前記変換の組み合わせのインデックスをエンコードして送信することができる。
【０１１３】
一実施形態として、イントラ予測を介して獲得された残差データ（または残差信号）は、イントラ予測モードに応じて、その統計的特性がそれぞれ異なることができる。したがって、前記図６に示すように、イントラ予測モードごとに、一般的なコサイン変換ではない、別の変換を適用することができる。
【０１１４】
前記図６を注意深く見ると、３５個のイントラ予測モードを用いる場合と６７個のイントラ予測モードを用いる場合を示す。各イントラ予測モードの列で区分された変換設定グループごとに複数個の変換の組み合わせが適用されることができる。例えば、前記複数個の変換の組み合わせは、４つの（行方向の変換、列方向の変換）の組み合わせで構成されることができる。具体例として、グループ０では、行（水平）方向と列（縦）方向のすべてＤＳＴ−７とＤｃｔ−５が適用されることができ、総４つの組み合わせが可能である。
【０１１５】
各イントラ予測モードに対して、総４つの変換カーネルの組み合わせが適用されることができるので、その内、１つを選択するための変換の組み合わせのインデックスが変換ユニット（transform unit）ごとに送信されることができる。本明細書で、前記変換の組み合わせのインデックスは、ＭＴＳインデックス（ＭＴＳ index）と称することができ、mts_idxで表現されることができる。
【０１１６】
また、前記図６に示した変換カーネル以外にも、残差信号（residual signal）の特性上、行方向と列方向の全てに対しＤｃｔ２が最適な場合が発生することができる。したがって、コーディングユニット（Coding Unit）毎にＭＴＳフラグを定義することにより、適応的に変換を実行することができる。ここで、ＭＴＳフラグが０の場合、行方向と列方向の全てに対しＤｃｔ２を適用し、ＭＴＳフラグが１の場合、ＭＴＳインデックスを介して、４つの組み合わせの内、１つを選択するか、決定することができる。
【０１１７】
一実施形態で、ＭＴＳフラグが１である場合、１つの変換ユニットに対し０ではない変換係数の数がしきい値より大きくなければ、前記図６の変換カーネルを適用せずに行方向と列方向のすべてＤＳＴ− ７を適用することができる。例えば、前記しきい値は２に設定されることができ、これはブロックサイズまたは変換ユニットのサイズに基づいて、異なるように設定することができる。これは明細書の他の実施形態でも適用可能である。
【０１１８】
一実施形態として、変換係数の値を最初に解析して、０でない変換係数の数がしきい値より大きくなければ、ＭＴＳ、インデックスを解析せずにＤＳＴ−７を適用することにより、付加情報転送量を削減することができる。
【０１１９】
一実施形態として、ＭＴＳフラグが１である場合、１つの変換ユニットに対して０ではない変換係数の数がしきい値より大きいとＭＴＳインデックスを解析し、ＭＴＳインデックスに基づいて、水平変換と垂直変換を決定することができる。
【０１２０】
一実施形態として、ＭＴＳは変換ユニットの幅と高さのすべてが３２以下の場合にのみ、適用することができる。
【０１２１】
一実施形態として、前記図６は、オフライントレーニング（off-line training）を介して既設定されることができる。
【０１２２】
一実施形態として、前記ＭＴＳインデックスは、水平変換と垂直変換の組み合わせを同時に指すことができ、１つのインデックスとして定義することができる。または、前記ＭＴＳインデックスは、水平変換のインデックスと垂直変換インデックスを別々に定義することもできる。
【０１２３】
一実施形態として、前記ＭＴＳフラグまたは前記ＭＴＳインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニット、または予測ユニットの内、少なくとも一つのレベルで定義することができる。例えば、前記ＭＴＳフラグまたは前記ＭＴＳインデックスはｓｐｓ（Sequence Parameter Set）または変換ユニットの内、少なくとも一つのレベルで定義することができる。
【０１２４】
他の実施形態として、変換インデックスに対応する変換の組み合わせ（水平変換、垂直変換）は、ＭＴＳフラグ、予測モード、及び/またはブロックの形との依存性せずに構成することができる。例えば、前記変換の組み合わせは、Ｄｃｔ２、ＤＳＴ７及び／またはＤｃｔ８の内、少なくとも一つで構成されることができる。具体例として、変換インデックスが０、１、２、３、４であれば、それぞれ前記変換の組み合わせは、（Ｄｃｔ２、Ｄｃｔ２）、（ＤＳＴ７、ＤＳＴ７）、（Ｄｃｔ８、ＤＳＴ７）、（ＤＳＴ７、Ｄｃｔ８）、（Ｄｃｔ８、Ｄｃｔ８ ）で有り得る。
【０１２５】
図７は、 本発明が適用される実施形態として、ＭＴＳ（Multiple Transform Selection）が行われるエンコード過程を示すフローチャートである。
【０１２６】
本明細書においては、基本的には、水平方向と垂直方向に対し分離して変換を適用する実施形態を‘説明しているが、変換の組み合わせは、非分離変換（non-separable transform）も閲覧構成が可能である。
【０１２７】
または、取り外し可能な変換（separable transform）と非分離変換（non-separable transform）の混合でも構成することができる。この場合、非分離変換（non-separable transform）が用いられると、行/列（row/column）別の変換選択や水平／垂直（horizontal/vertical）方向別の選択は不要になり、取り外し可能な変換（separable transform）が選択された場合にのみ、前記図６の変換の組み合わせが用いられることができる。
【０１２８】
また、本明細書で提案する方法は、１次変換（primary transform）や２次変換（secondary transform）に関係なく適用することができる。つまり、２つの中どちらか一方にのみ適用されなければならないという制約がなく、両方に適用することができる。ここで、前記１次変換（primary transform）は、残差（residual）ブロックを最初に変換するための変換を意味することができ、前記２次変換（secondary transform）は、前記１次変換の結果として生成されたブロックについての変換を適用するための変換を意味することができる。
【０１２９】
まず、エンコーダは、現在ブロックに対応する変換設定グループを決定することができる（Ｓ７１０）。ここで、前記変換設定グループは、前記図６の変換設定グループを意味することができるが、本発明はこれに限定されず、他の変換の組み合わせで構成されることもできる。
【０１３０】
前記エンコーダは、前記変換を設定するグループ内の用いられる候補変換の組み合わせに対して変換を実行することができる（Ｓ７２０）。
【０１３１】
前記変換の実行結果、前記エンコーダは、ＲＤ（Rate Distortion）コストが最小の変換の組み合わせを決定または選択することができる（Ｓ７３０）。
【０１３２】
前記エンコーダは、前記選択された変換の組み合わせに対応する変換の組み合わせのインデックスをエンコードすることができる（Ｓ７４０）。
【０１３３】
図８は、本発明が適用される実施形態として、ＭＴＳ（Multiple Transform Selection）が行われるデコード過程を示すフローチャートである。
【０１３４】
まず、デコーダは、現在ブロックのための変換設定グループを決定することができる（Ｓ８１０）。
【０１３５】
前記デコーダは、ビデオ信号から変換の組み合わせのインデックスを解析（または獲得）することができ、ここで前記変換の組み合わせのインデックスは、前記変換設定グループ内の複数個の変換の組み合わせの内、いずれか１つに対応することができる（Ｓ８２０）。例えば、前記変換設定グループは、ＤＳＴ７（Discrete Sine Transform type ７）及びＤｃｔ８（Discrete Cosine Transform type ８）を含むことができる。前記変換の組み合わせのインデックスは、ＭＴＳインデックスと称することができる。
【０１３６】
一実施形態として、前記変換設定グループは、現在ブロックの予測モード、ブロックサイズまたはブロック状の内、少なくとも一つに基づいて設定されることができる。
【０１３７】
前記デコーダは、前記変換の組み合わせのインデックスに対応する変換の組み合わせを誘導することができる（Ｓ８３０）。ここで、前記変換の組み合わせは、水平変換及び垂直変換で構成され、前記ＤＳＴ−７またはＤｃｔ−８の内、少なくとも一つを含むことができる。
【０１３８】
また、前記変換の組み合わせは、前記図６で説明した変換の組み合わせを意味することができるが、本発明はこれに限定されない。すなわち、本明細書の内、他の実施形態に係る他の変換の組み合わせによる構成も可能である。
【０１３９】
前記デコーダは、前記変換の組み合わせに基づいて前記現在のブロックの逆変換を行うことができる（Ｓ８４０）。前記変換の組み合わせが行（水平）変換と列（垂直）変換で構成された場合、行（水平）変換を先に適用した後、列（垂直）変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成された場合には、すぐに非分離変換が適用されることができる。
【０１４０】
一実施形態として、前記垂直変換または前記水平変換が、前記ＤＳＴ−７またはＤｃｔ−８である場合、前記ＤＳＴ−７の逆変換またはＤｃｔ−８の逆変換を列ごとに適用した後、行ごとに適用することができる。
【０１４１】
一実施形態として、前記垂直変換または前記水平変換は、各行ごとに、及び／または各列ごとに別の変換が適用されることができる。
【０１４２】
一実施形態として、前記変換の組み合わせのインデックスは、ＭＴＳが実行されるかどうかを示すＭＴＳフラグに基づいて獲得することができる。すなわち、前記変換の組み合わせのインデックスは、前記ＭＴＳフラグに基づいてＭＴＳが実行される場合に獲得することができる。
【０１４３】
一実施形態として、前記デコーダは、０でない変換係数の数がしきい値より大きいかどうかを確認することができる。この際、前記変換の組み合わせのインデックスは、前記０でない変換係数の数がしきい値より大きい場合に獲得することができる。
【０１４４】
一実施形態として、前記ＭＴＳフラグまたは前記ＭＴＳインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニット、または予測ユニットの内、少なくとも一つのレベルで定義することができる。
【０１４５】
一実施形態として、前記逆変換は、変換ユニットの幅と高さがすべて３２以下の場合にのみ、適用することができる。
【０１４６】
一方、他の実施形態として、変換設定グループを決定する過程と変換の組み合わせのインデックスを解析する過程は、同時に実行することができる。または前記Ｓ８１０のステップは、エンコーダ及び/またはデコーダで既設定されて省略されることができる。
【０１４７】
図９は、 本発明が適用される実施形態として、ＭＴＳフラグ及びＭＴＳインデックスをエンコードする過程を説明するためのフローチャートである。
【０１４８】
エンコーダは、現在ブロックのＭＴＳ（Multiple Transform Selection）が適用されるかどうかを決定することができる（Ｓ９１０）。
【０１４９】
もし、ＭＴＳ、（Multiple Transform Selection）が適用される場合、前記エンコーダは、ＭＴＳフラグ＝ １でエンコードすることができる（Ｓ９２０）。
【０１５０】
そして、前記エンコーダは、前記現在ブロックの予測モード、水平変換、垂直変換の内、少なくとも一つに基づいて、ＭＴＳインデックスを決定することができる。（Ｓ９３０）。ここで、ＭＴＳインデックスは、各イントラ予測モードに対して複数個の変換の組み合わせの内、いずれか１つを指すインデックスを意味し、前記ＭＴＳインデックスは、変換ユニット（transform unit）ごとに送信されることができる。
【０１５１】
前記ＭＴＳインデックスが決定されると、前記エンコーダは、前記ＭＴＳインデックスをエンコードすることができる（Ｓ９４０）。
【０１５２】
一方、前記（ＭＴＳ Multiple Transform Selection）が適用されない場合、前記エンコーダは、ＭＴＳフラグ＝ ０にエンコードすることができる（Ｓ９５０）。
【０１５３】
図１０は、本発明が適用される実施形態として、ＭＴＳフラグ及びＭＴＳインデックスに基づいて、水平変換または垂直変換を行または列に適用するデコード過程を説明するためのフローチャートである。
【０１５４】
デコーダは、ビットストリームからＭＴＳフラグを解析することができる（Ｓ１０１０）。ここで、ＭＴＳフラグは、現在ブロックのＭＴＳ（Multiple Transform Selection）が適用されるかどうかを示すことができる。
【０１５５】
前記デコーダは、前記ＭＴＳフラグに基づいて、現在ブロックのＭＴＳ（Multiple Transform Selection）が適用されるかどうかを確認することができる（Ｓ１０２０）。例えば、前記ＭＴＳフラグが１かどうかを確認することができる。
【０１５６】
もし、前記ＭＴＳフラグが１である場合、前記デコーダは、０でない変換係数の数がしきい値より大きい（またはそれ以上であるか）かどうかを確認することができる（Ｓ１０３０）。例えば、前記しきい値は２に設定されることができ、これはブロックサイズまたは変換ユニットのサイズに基づいて、異なるように設定することができる。
【０１５７】
前記０でない変換係数の数がしきい値より大きい場合、前記デコーダは、ＭＴＳインデックスを解析することができる（Ｓ１０４０）。ここで、前記ＭＴＳインデックスは、各イントラ予測モードまたはインター予測モードについて複数個の変換の組み合わせの内、いずれか１つを指すインデックスを意味し、前記ＭＴＳインデックスは、変換ユニット（transform unit）ごとに送信されることができる。または、前記ＭＴＳインデックスは既に設定された変換の組み合わせテーブルに定義されたいずれか１つの変換の組み合わせを指すインデックスを意味することができ、ここで前記既設定された変換の組み合わせのテーブルは、前記図６を意味することができるが、本発明はこれに限定されない。
【０１５８】
前記デコーダは、前記ＭＴＳインデックスまたは予測モードの内、少なくとも一つに基づいて、水平変換及び垂直変換を誘導または決定することができる（Ｓ１０５０）。
【０１５９】
または、前記デコーダは、前記ＭＴＳインデックスに対応する変換の組み合わせを誘導することができる。例えば、前記デコーダは、前記ＭＴＳインデックスに対応される水平変換及び垂直変換を誘導または決定することができる。
【０１６０】
一方、前記０でない変換係数の数がしきい値より大きくない場合、前記デコーダは既設定された垂直逆変換を列ごとに適用することができる（Ｓ１０６０）。例えば、前記垂直逆変換は、ＤＳＴ７の逆変換で有り得る。
【０１６１】
そして、前記デコーダは、既設定された水平逆変換を行ごとに適用することができる（Ｓ１０７０）。例えば、前記水平逆変換は、ＤＳＴ７の逆変換で有り得る。すなわち、前記０でない変換係数の数がしきい値より大きくない場合には、エンコーダまたはデコーダで既設定された変換カーネルが用いられる。例えば、前記図６のような変換の組み合わせテーブルで定義されたものではなく、多く用いられる変換カーネルが用いられる。
【０１６２】
一方、前記ＭＴＳフラグが０である場合、前記デコーダは既設定された垂直逆変換を列ごとに適用することができる（Ｓ１０８０）。例えば、前記垂直逆変換は、Ｄｃｔ２の逆変換で有り得る。
【０１６３】
そして、前記デコーダは、既設定された水平逆変換を行ごとに適用することができる（Ｓ１０９０）。例えば、前記水平逆変換は、Ｄｃｔ２の逆変換で有り得る。つまり、ＭＴＳフラグが０である場合、エンコーダまたはデコーダで既に設定された変換カーネルが用いられる。例えば、前記図６のような変換の組み合わせテーブルで定義されたものではなく、多く用いられる変換カーネルが用いられる。
【０１６４】
図１１は、本発明が適用される実施形態として、変換関連パラメータに基づいて逆変換を実行するフローチャートを示す。
【０１６５】
本発明が適用されるデコーダは、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagを獲得することができる（Ｓ１１１０）。ここで、sps_mts_intra_enabled_flagはtu_mts_flagがイントラコーディングユニットのレジデュアルコーディングシンタックス（syntax： 構文）に存在するかどうかを示す。たとえば、sps_mts_intra_enabled_flag = 0であれば、tu_mts_flagがイントラコーディングユニットのレジデュアルコーディングシンタックスに存在せず、sps_mts_intra_enabled_flag = 0であれば、tu_mts_flagがイントラコーディングユニットのレジデュアルコーディングシンタックスに存在する。そして、sps_mts_inter_enabled_flagはtu_mts_flagがインターコーディングユニットのレジデュアルコーディングシンタックスに存在するかどうかを示す。たとえば、sps_mts_inter_enabled_flag = 0であれば、tu_mts_flagがインターコーディングユニットのレジデュアルコーディングシンタックス存在せず、sps_mts_inter_enabled_flag = 0であれば、tu_mts_flagがインターコーディングユニットのレジデュアルコーディングシンタックスに存在する。
【０１６６】
前記デコーダは、sps_mts_intra_enabled_flagまたはsps_mts_inter_enabled_flagに基づいてtu_mts_flagを獲得することができる（Ｓ１１２０）。たとえば、sps_mts_intra_enabled_flag ＝ １またはsps_mts_inter_enabled_flag = １のとき、前記デコーダはtu_mts_flagを獲得することができる。ここで、tu_mts_flagは多変換の選択（multiple transform selection、以下「ＭＴＳ」と称する）がルマ変換ブロックのレジデュアルサンプルに適用されるかどうかを示す。たとえば、tu_mts_flag ＝ ０であれば、ＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用されず、tu_mts_flag ＝ １であればＭＴＳがルマ変換ブロックのレジデュアルサンプルに適用される。
【０１６７】
他の例として、前記tu_mts_flagについて本文書の実施形態の内、少なくとも１つが適用されることができる。
【０１６８】
前記デコーダはtu_mts_flagに基づいてmts_idxを獲得することができる（Ｓ１１３０）。たとえば、tu_mts_flag ＝１のとき、前記デコーダはmts_idxを獲得することができる。ここで、mts_idxはどの変換カーネルが現在変換ブロックの水平及び/または垂直方向に沿ったルマレジデュアルサンプルに適用されるかを示す。
【０１６９】
たとえば、mts_idxについて、本文書の実施形態の内、少なくとも１つが適用されることができる。具体例として、前記図６の実施形態の内、少なくとも１つが適用されることができる。
【０１７０】
前記デコーダはmts_idxに対応する変換カーネルを誘導することができる（Ｓ１１４０）。例えば、前記mts_idxに対応する変換カーネルは、水平変換及び垂直変換に区分されて定義することができる。
【０１７１】
他の例として、前記水平変換及び垂直変換は、互いに異なる変換カーネルが適用されることができる。ただし、本発明はこれに限定されず、前記水平変換及び垂直変換は、同じ変換カーネルが適用されることもできる。
【０１７２】
一実施形態で、mts_idxは、以下の表１のように定義することができる。
【０１７３】
【表１】
2021517795.tif 000007
【０１７４】
そして、前記デコーダは、前記変換カーネルに基づいて逆変換を行うことができる（Ｓ１１５０）。
【０１７５】
前記実施形態は、それぞれ用いられるが、本発明はこれに限定されず、前記実施形態及び本明細書の他の実施形態と組み合わせて用いられる。
【０１７６】
本発明の他の実施形態として、変換過程を実行するデコード過程を説明する。
【０１７７】
デコーダは、変換サイズ（ｎＴｂＳ）を確認することができる（Ｓ１０）。ここで、前記変換サイズ（ｎＴｂＳ）は、スケールされた変換係数の水平サンプルサイズを表す変数で有り得る。
【０１７８】
前記デコーダは、変換カーネルタイプ（ｔｒＴｙｐｅ）を確認することができる（Ｓ２０）。ここで、前記変換カーネルタイプ（trType）は変換カーネルのタイプを表す変数で有り得、本文書の様々な実施形態が適用されることができる。前記変換カーネルタイプ（ｔｒＴｙｐｅ）は、水平変換カーネルタイプ（ｔｒＴｙｐｅＨｏｒ）と垂直変換カーネルタイプ（ｔｒＴｙｐｅＶｅｒ）を含むことができる。
【０１７９】
前記表１を参照すれば、前記変換カーネルタイプ（ｔｒＴｙｐｅ）が０の場合、Ｄｃｔ２を示し、１の場合ＤＳＴ７を示し、２の場合はＤｃｔ８を示すことができる。
【０１８０】
前記デコーダは、変換サイズ（ｎＴｂＳ）または変換カーネルタイプの内、少なくとも一つに基づいて、変換行列の乗算を行うことができる（Ｓ３０）。
【０１８１】
他の例として、変換カーネルタイプが１であり、変換サイズが４であれば、変換行列の乗算を実行する際既決定された変換行列１が適用されることができる。
【０１８２】
他の例として、変換カーネルタイプが１であり、変換サイズが８であれば、変換行列の乗算を実行する際既決定された変換行列２が適用されることができる。
【０１８３】
他の例として、変換カーネルタイプが１であり、変換サイズが１６であれば、変換行列の乗算を実行する際既決定された変換行列３が適用されることができる。
【０１８４】
他の例として、変換カーネルタイプが１であり、変換サイズが３２であれば、既定義された変換行列４が適用されることができる。
【０１８５】
同様に、変換カーネルタイプが２であり、変換サイズが４、８、１６、または３２であれば、それぞれ既定義された変換行列（５）、（６）、（７）、（８）が適用されることができる。
【０１８６】
ここで、前記既定義された変換行列（１）〜（８）は、それぞれ、様々なタイプの変換行列の内、いずれか１つに対応することができる。一例として、前記図６で例示されたタイプの変換行列が適用されることができる。
【０１８７】
前記デコーダは、変換行列の乗算に基づいて変換サンプルを誘導することができる（Ｓ４０）。
【０１８８】
図１２は、本発明が適用される実施形態として、ＮＳＳＴでイントラ予測モードごとに変換セット（transform set）を割り当てることを示すテーブルである。
【０１８９】
Non-Separable Secondary Transform（ＮＳＳＴ）
【０１９０】
２次変換部（secondarytransformunitは、１次変換された信号に対して２次変換（secondary transform）を適用することができ、ここで前記２次変換（secondary transform）は、エンコーダ及び/またはデコーダのテーブルで既定義されることができる。
【０１９１】
一実施形態として 前記２次変換（secondary transform）は、Non-Separable Secondary Transform（以下、「ＮＳＳＴ」と称する）が条件的に適用することができる。例えば、前記ＮＳＳＴはイントラ予測ブロックの場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。
【０１９２】
ここで、前記予測モードグループは、予測方向の対称性に基づいて設定されることができる。例えば、予測モード５２と予測モード１６は、予測モード３４（対角方向）に基づいて対称であるので、１つのグループを形成して、同じ変換セット（transform set）が適用されることができる。この時、前記予測モード５２の変換を適用するときに入力データをトランスポーズ（transpose）した後に適用し、これは予測モード１６と変換セットが同じであるからである。
【０１９３】
一方、プランナーモード（Planar mode）とＤＣモード（ＤＣ mode）の場合、方向の対称性が存在しないため、それぞれの変換セットを有し、その変換セットは、２つの変換で構成されることができる。残りの方向性モードに対しては、変換セットごとに３つの変換で構成されることができる。ただし、本発明はこれに限定されず、各変換セットは、複数個の変換で構成されることができる。
【０１９４】
図１３は、本発明が適用される実施形態として、ギボンズ回転（Givens rotation）の計算フロー図を示す。
【０１９５】
他の実施形態として、前記ＮＳＳＴは１次変換されたブロック全体に対して適用されるものではなく左上側（top-left）８ｘ８の領域にのみ適用されることができる。例えば、ブロックのサイズが８ｘ８以上の場合は、８ｘ８ ＮＳＳＴが適用され、８ｘ８未満の場合は、４ｘ４ ＮＳＳＴが適用されるが、この時、４ｘ４ブロックで分割した後それぞれ４ｘ４ ＮＳＳＴが適用される。
【０１９６】
他の実施形態として、４ｘＮ / Ｎｘ４（Ｎ> ＝ １６）である場合にも、４ｘ４ ＮＳＳＴが適用されることができる。
【０１９７】
前記ＮＳＳＴ、４ｘ４ ＮＳＳＴ及び８ｘ８ ＮＳＳＴについては、以下、図１２〜１５及び明細書の内、他の実施形態を介してより詳細に説明する。
【０１９８】
８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴ全て本文書で説明する変換の組み合わせの構成に従い、非分離変換（non-separable transform）であるため、８ｘ８ ＮＳＳＴは６４個のデータの入力を受け、６４個のデータを出力し、４ｘ４ ＮＳＳＴは、１６個の入力と１６つの出力を有する。
【０１９９】
８ｘ８ ＮＳＳＴと４ｘ４ ＮＳＳＴすべてギボンズ回転（Givens rotation）の階層的な組み合わせで構成される。一つのギボンズ回転（Givens rotation）に該当する行列は次の式４と同じであり、行列積は次数式５の通りである。
【０２００】
【数４】
2021517795.tif 000008
【０２０１】
【数５】
2021517795.tif 000009
【０２０２】
前記図１３のように、一つのギボンズ回転（Givens rotation）は、２つのデータを回転させるものであるから、６４個（８ｘ８ ＮＳＳＴの場合）または１６個の（４ｘ４ ＮＳＳＴの場合）のデータを処理するためには、それぞれ総３２個または８つのギボンズ回転（Givens rotation）が必要である。
【０２０３】
したがって、３２個または８個を束にしてギボンズ回転層（Givens rotation layer）をなす。一つのギボンズ回転層の出力データが決められた置換（permutation）を次のギボンズ回転層への入力データとして伝達される。
【０２０４】
図１４は、本発明が適用される実施形態として、ギボンズ回転層（Givens rotation layer）と置換（permutation）で構成された４ｘ４ ＮＳＳＴでの１ラウンド構成を示す。
【０２０５】
前記図１４を注意深く見ると、４ｘ４ ＮＳＳＴの場合について、４つのギボンズ回転層が順次処理される様子を示している。前記図１４のように１つのギボンズ回転層の出力データが決められた置換（i.e. shuffling）を経て、次のギボンズ回転層への入力データとして伝達される。
【０２０６】
前記図１４のように置換されるパターンは、規則的に決まっており、４ｘ４ ＮＳＳＴの場合は、４つのギボンズ回転層とその置換を合わせて一つのラウンド（round）をなす。
【０２０７】
８ｘ８ ＮＳＳＴの場合は、６つのギボンズ回転層とその置換が一つのラウンドを形成する。４ｘ４ ＮＳＳＴは２回のラウンドを経るようになり、８ｘ８ ＮＳＳＴは４回のラウンドを経ることになる。互いに異なるラウンド同士は同じ置換パターンを用いるが適用されるギボンズ回転角度は、それぞれ異なる。したがって、各変換を構成するすべてのギボンズ回転の角度データを保存しなければならない。
【０２０８】
最後のステップでギボンズ回転層を経て出力されたデータに対して、最終的に一度の置換をさらに行うようになり、その置換情報は、変換ごとに個別に保存されている。順方向ＮＳＳＴでは最後にその置換が行われ、逆方向ＮＳＳＴでは逆に、最初に、その逆置換が適用される。
【０２０９】
逆方向ＮＳＳＴの場合は、順方向ＮＳＳＴで適用されたギボンズ回転層と置換を逆の順序で実行するとよく、各ギボンズ回転の角度にたいしても（ - ）の値をとって回転させる。
【０２１０】
図１５は、本発明が適用される実施形態として、順方向縮小変換（forward reduced transform）及び逆方向縮小変換（forward reduced transform）の動作を説明するためのブロック図である。
【０２１１】
Reduced Secondary Transform（ＲＳＴ）
【０２１２】
１つの変換を示す直交行列がＮｘＮの形態を有するとしたとき、縮小変換（Reduced Transform、以下「ＲＴ」と称する）は、Ｎ個の変換基底ベクトルの中Ｒ個だけ残すことである。（Ｒ <Ｎ）。変換係数を生成する順方向ＲＴの行列は、以下の数式６のように与えられる。
【０２１３】
【数６】
2021517795.tif 000010
【０２１４】
逆方向ＲＴの行列は、順方向ＲＴ行列の転置行列（transpose matrix）となるので、順方向ＲＴと逆方向ＲＴの適用を図示すると、前記図１５と同じである。
【０２１５】
１次変換を経た変換ブロックの左上端８ｘ８ブロックのＲＴを適用する場合を仮定すると、前記ＲＴを８ｘ８縮小２次変換（８ｘ８ ＲＳＴ）と命名することができる。
【０２１６】
前記数式６でのＲ値を１６とすると、順方向８ｘ８ ＲＳＴは１６ｘ６４行列の形を有し、逆８ｘ８ ＲＳＴは６４ｘ１６行列の形を有する。
【０２１７】
また、８ｘ８ ＲＳＴに対しても、前記図１２でと同じ変換のセットの構成を適用することができる。すなわち、前記図１２の変換セットに基づいて対応する８ｘ８ ＲＳＴが適用されることができる。
【０２１８】
一実施形態として、前記図１２で１つの変換セットがイントラ予測モードに応じて、２つまたは３つの変換で構成されているときに、２次変換を適用しない場合を含め、最大４つの変換の内、一つを選択するように構成されることができる。ここで、１つの変換は、恒等行列と見ることができる。
【０２１９】
前記４つの変換に対して、それぞれ０、１、２、３のインデックスを付与する時、ＮＳＳＴインデックスという構文要素（syntax element）を変換ブロックごとにシグナリングして対応する変換を指定することができる。つまり、ＮＳＳＴＢインデックスを介して８ｘ８左上端ブロックについて、ＮＳＳＴの場合は８ｘ８ ＮＳＳＴを指定することができ、ＲＳＴの構成では８ｘ８ ＲＳＴを指定することができる。また、このとき、０番インデックスを恒等行列、すなわち２次変換を適用しない場合に割り当てることができる。
【０２２０】
前記数式６のような順方向８ｘ８ ＲＳＴを適用すると、１６個の有効な変換係数が生成されるので、８ｘ８の領域を構成する６４個の入力データが１６個の出力データに縮小されると見ることができる。 ２次元領域の観点から見ると、４分の１ほどの領域にのみ有効な変換係数が満たされるようになる。したがって、順方向８ｘ８ ＲＳＴを適用して得られた１６個の出力データを図１６での４ｘ４左上端の領域に満たすことができる。
【０２２１】
図１６は、本発明が適用される実施形態として、逆方向スキャン順に基づいて６４番目から１７番目までの逆方向スキャンを実行する過程を示す図である。
【０２２２】
前記図１６は、順方向スキャン順序が１から始まるとすると、（順方向スキャン順上）１７番目の係数から６４番目の係数のスキャンを実行することを示す。ただし、前記図１６においては、逆方向スキャンを示しているところ、これは６４番目から１７番目までの逆方向スキャンを実行することを示す。
【０２２３】
前記図１６を注意深く見ると、左上端４ｘ４の領域が有効な変換係数が割り当てられる関心領域（Region Of Interest、ＲＯＩ）であり、残りの領域は空になる。すなわち、前記残りの領域には、０値がデフォルトで割り当てられることができる。
【０２２４】
もし、前記図１６のＲＯＩ領域以外に０でない有効な変換係数が存在すると８ｘ８ ＲＳＴが適用されないことを意味するので、この場合、それに対応するＮＳＳＴインデックスコーディングを省略することができる。
【０２２５】
逆に、前記図１６のＲＯＩ領域以外で０でない変換係数が存在しない場合（８ｘ８ ＲＳＴが適用される場合、ＲＯＩ以外の領域に対しては、０に割り当てられたとき）８ｘ８ ＲＳＴが適用された可能性があるので、Ｎｓｓｔインデックスをコーディングすることができる。
【０２２６】
このように、条件的Ｎｓｓｔインデックスコーディングは０（ゼロ）ではない、変換係数の存在の有無を確認しなければならないのでレジデュアルコーディング過程の後に実行されることができる。
【０２２７】
本発明は、２次変換が適用されることができる特定領域より小さいサイズのブロックに分割した後、各ブロックに対して対応する２次変換を適用する方法を提案する。例えば、前記特定領域は、最大８ｘ８サイズの左上側領域で有り得るが、本発明はこれに限定されない。前記２次変換は、分割されたブロックごとに同じか異なることができる。
【０２２８】
本発明は、縮小された変換（reduced transform）を適用するので、複雑度の減少が期待でき、分割されたブロックの間の変換を共有することにより、用いられる変換の数も減少させることができる。さらに、ブロックを分割する方法と、割り当てられる変換種類も任意に構成することができるようにすることで、コーディング性能と複雑度のトレードオフ（trade-off）を調節することができる。
【０２２９】
図１７は、本発明が適用される実施形態として、２次変換を適用する８ｘ８左上側の分割領域を示す。
【０２３０】
実施形態１：変換係数ブロックの特定領域を４ｘ４ブロックに分割した後、分割されたブロックごとに個別の２次変換を適用
【０２３１】
８ｘ８以上の変換ブロックに対しては、８ｘ８左上側の領域に８ｘ８ Ｎｓｓｔまたは８ｘ８ ＲＳＴを適用して８ｘ８未満の変換ブロックに対しては、４ｘ４ブロックに分割した後、それぞれ４ｘ４ Ｎｓｓｔまたは他の２次変換（eg ４ｘ４ ＬＧＴ、etc）を適用することができる。
【０２３２】
したがって、８ｘ８ブロックの２次変換と４ｘ４ブロックの２次変換が別途必要になる。例えば、前記図１２の変換セットを用いる場合、総１０３個の８ｘ８ ２次変換及び総１０３個の４ｘ４ ２次変換が必要である。
【０２３３】
非分離（non-separable）２次変換を適用すると８ｘ８ブロックの２次変換の複雑度が４ｘ４ブロックの２次変換より非常に大きくなることができる。例えば、正方行列の形の変換であれば、８ｘ８の２次変換は６４ｘ６４行列であり、４ｘ４の２次変換は１６ｘ１６行列であるため、１６倍の計算量とメモリ要求量の違いが生じることがある。
【０２３４】
したがって、８ｘ８の２次変換を４ｘ４ ２次変換で代替することができると複雑度を減少させることができる。 ８ｘ８ ２次変換が適用された左上側８ｘ８ブロックは、図１７のように４つの４ｘ４ブロックに分割されることができる。
【０２３５】
この場合、前記図１７のＡ、Ｂ、Ｃ、Ｄ領域に対しそれぞれ異なる４ｘ４の２次変換を適用することができる。例えば、前記図１２の変換セットが用いられ、すべての８ｘ８の２次変換ごとに、Ａ、Ｂ、Ｃ、Ｄの４ｘ４ ２次変換を割り当てたら（つまり、それぞれの該当領域に適用される変換を異なるようにすると）、左上側８ｘ８の領域に適用される４ｘ４ ２次変換の総数は１０３ ｘ ４ ＝ ４１２個となる。
【０２３６】
もし前記図１７のブロックの内、一部のブロックの間には２次変換を共有するように構成すれば、必要な総変換数を減少させることができる。
【０２３７】
領域Ｘに適用される変換をＧＸとするとき、前記図１７に対しては、ＧＡ、ＧＢ、ＧＣ、ＧＤで該当変換を表示することができる。変換を共有する例は、以下の通りである。
【０２３８】
実施形態１−１）ＧＡ ＝ ＧＢ ＝ ＧＣ ＝ ＧＤ
【０２３９】
本発明は、左上側８ｘ８領域を構成するすべての４ｘ４ブロックに対して同じ４ｘ４ ２次変換を適用することができる。
【０２４０】
実施形態１−２）ＧＡ,   ＧＢ ＝ ＧＣ ＝ ＧＤ
【０２４１】
本発明は、左上側４ｘ４ブロックについては、別途の４ｘ４ ２次変換を割り当て、その他の残りの４ｘ４ブロックに対しては、他の４ｘ４ ２次変換に同様に適用することができる。具体例として、４ｘ４ ＲＳＴが適用される場合、左上端４ｘ４領域にのみ４ｘ４ ＲＳＴが適用され、残りの領域には、ＲＳＴが適用されないか（i.e.恒等変換を適用）０値に割り当て（i.e.ゼロ行列を適用）することができる。これは他の実施形態にも適用可能である。
【０２４２】
実施形態１−３）ＧＡ ＝ ＧＢ ＝ ＧＣ、ＧＤ
【０２４３】
本発明は、左上側８ｘ８内部の右下端の４ｘ４ブロックにのみ、別の４ｘ４ ２次変換を適用し、残りの４ｘ４ブロックには、他の４ｘ４の２次変換に同様に適用することができる。
【０２４４】
実施形態１−４）ＧＡ、ＧＢ ＝ ＧＣ、ＧＤ
【０２４５】
本発明は、左上側４ｘ４ブロックと左上側８ｘ８内部の右下端４ｘ４ブロックについては、個々の４ｘ４ ２次変換を適用し、残りの2つ４ｘ４ブロック（B、C）については別途の４ｘ４ ２次変換で同様に適用することができる。
【０２４６】
前記図１７の４つのブロックに対し、最小１つの変換から最大４つの変換を適用することができるので、変換の割り当て時さらに多くの実施形態が適用されることができる。
【０２４７】
たとえば、すべての場合について、実施形態１−２と共に同じ変換を適用することもでき、またはイントラ予測モードに応じて互いに異なる変換を適用することもできる。具体例として、前記図１２の変換セットで１６番の変換セットに対しては、前記実施形態１−１）番を適用し、３０番の変換セットに対しては、前記実施形態１−３）番を適用することができる。
【０２４８】
変換数を減らすために、一部のグループは、同じＧＡ、ＧＢ、ＧＣ、ＧＤを用いるように構成することができる。例えば、前記実施形態１−２）番が適用されるとき、2つの隣接予測モードのグループ同士同じ変換のセットを用いると、総２ ｘ  ２ ｘ  ２ ＋ １７ ｘ ３ ｘ  ２ ＝ １１０個の４ｘ４ ２次変換が必要ことになる。例えば、０、１、（２、３）、（４、５）、（６、７）、（８、９）、・・・、（３２、３３）、３４のように隣接する予測モードをグルーピングして、同じ変換のセットを適用することができる。ただし、０、１、３４、予測モードについては、グルーピングしないことがある。
【０２４９】
図１８は、本発明が適用される実施形態として、４ｘ４の２次変換が適用される最大８ｘ８左上側の領域のパーティションを示す。
【０２５０】
実施形態２：様々なサイズと形状を有するブロック間４ｘ４ ２次変換共有
【０２５１】
２次変換が適用される領域を変換ブロックの最大８ｘ８サイズの左上側領域に制限し４ｘ４ブロック単位で２次変換が適用されるとしたとき、最大８ｘ８サイズの左上側領域のパーティションは、図１８の（ａ）、（ｂ）、（ｃ）、（ｄ）のように表現することができる（４ｘ４、８ｘ４、４ｘ８、８ｘ８）。
【０２５２】
前記図１８を注意深く見ると、８ｘ８の領域をＡ、Ｂ、Ｃ、Ｄの四４ｘ４の領域に分割すると、８ｘ８より小さい領域に対しても８ｘ８サイズの領域で同じ位置を占める４ｘ４ブロックのラベル（labeling）をそのまま適用してＡ、Ｂ、Ｃで表示することができる。
【０２５３】
本発明の一実施形態として、ブロックの大きさや形状に関係なく、同じ位置にある４ｘ４ブロックについては、同一の２次変換を適用することができる。例えば、前記図１８でＡ位置のブロックについては、共通的にＧＡを適用し、ＢはＧＢ、Ｃは、ＧＣ、ＤはＧＤを適用することができる。このような構成を適用することになれば、８ｘ８未満の大きさの変換係数ブロックの変換セット、８ｘ８以上の大きさの変換係数ブロックの変換セットを、別に設定せずに一つに統一することができる。
【０２５４】
もし、Ａ、Ｂ、Ｃ、Ｄの領域に対しそれぞれ異なる４ｘ４の２次変換を適用し、前記図１２の変換セットの構成を適用すると、すべてのサイズの変換係数ブロックに必要な４ｘ４ ２次変換の数は、１０３ ｘ ４ ＝ ４１２個となる。
【０２５５】
しかし、実施形態１のように、一部のブロック同士の変換を共有すると、総変換数はさらに減少することができる。例えば、前記実施形態１−２）番の場合、総４ｘ４ ２次変換数葉１０３ ｘ  ２ ＝ ２０６個になって、必要な変換の数が半分に減ることになる。
【０２５６】
実施形態３：４ｘ４分割されたブロックごとに条件２次変換を適用
【０２５７】
一変換ブロックの最大８ｘ８サイズの左上側領域が定まり実施形態１での構成を適用することになると、すべての４ｘ４分割されたブロックに対し各々４ｘ４ ２次変換を適用することができる。前記実施形態１のように４ｘ４ブロックの間には、同じ４ｘ４ ２次変換が適用されるか、または互いに異なる４ｘ４の２次変換が適用されることができる。
【０２５８】
本発明の一実施形態は、Ｎｓｓｔインデックス（または変換インデックスと命名することができる）によって適用する変換を決定することができる。
【０２５９】
Ｎｓｓｔインデックスが０でない場合は、前記図１７での４つの４ｘ４ブロックについては、すべて対応する４ｘ４の２次変換が適用される。一方、Ｎｓｓｔインデックスが０の場合、すべての４ｘ４ブロックに対してどのような変換も適用しない。
【０２６０】
ここで、各４ｘ４ブロックごとに、特定の条件を満たす場合にのみ、対応する４ｘ４の２次変換を適用するように構成することもできる。例えば、各４ｘ４ブロックの内部に０でない係数の数が特定のしきい値以上の場合、対応する４ｘ４の２次変換を適用するように構成することができる。
【０２６１】
前記のように、条件の満足するかどうかに応じて、変換を適用するかどうかを決定すると、前記図１７での４つの領域（または、前記図１８では、（ａ）は、１つ、（ｂ）、（ｃ）は、２つ、（ｄ）は、４つの領域）についての条件に満足するかどうかに応じていずれの領域については、当該変換が適用され、他の領域については、そうではないことがある。
【０２６２】
もししきい値が２であり、各４ｘ４ブロックに対して０でない変換係数の数が１以下であれば、４ｘ４の２次変換は適用されない。
【０２６３】
しきい値に基づく条件付き変換が利用可能にしようと、エンコーダで２次変換が適用された後、０でない変換係数の数がしきい値未満になる場合を排除しなければならない。
【０２６４】
実施形態４：適用することができる４ｘ４ ２次変換種類の多様化
【０２６５】
先の実施形態（実施形態１、２、３）では、最大８ｘ８サイズの左上側領域を４ｘ４ブロックに分割し、各４ｘ４ブロックごとに対応する２次変換を適用する例を扱っている。ここで、どのような種類の２次変換を適用するかについては、どのような仮定もしていない。基本的にはどのような種類の２次変換も許容でき、分離不可能な（non-separable）形態を有することもでき、分離可能な形態を有することもある。また、知られている多くの種類の変換に（ｅ.ｇ. ＳＯＴ、ＲＳＴ、ＬＧＴ、Ｎｓｓｔ）も適用することができる。
【０２６６】
利用可能な２次変換の種類についての制約がない場合は、さまざまな場合で、それぞれ別の変換が適用されることができる。以下、可能な実施形態の内、一部を説明する。
【０２６７】
実施形態４−１）本発明は、８ｘ８サイズ以上の変換ブロックに対しては、Ｐという種類の変換を適用し、８ｘ８サイズ未満に対してはＱという種類の変換を適用することができる。
【０２６８】
実施形態４−２）本発明は、前記図１７の領域Ａに対し適用される変換と残りの領域Ｂ、Ｃ、Ｄに適用される変換の種類を別々に設定することができる。つまり、領域ごとに異なるように変換を設定することができる。例えば、左上側４ｘ４領域（Ａ）に、０でない変換係数がさらに多く密集しているので、より複雑で精巧な変換を適用することが性能面で有利で有り得る。
【０２６９】
実施形態４−３）本発明は、予測モードグループごとに異なる変換を適用することができる。たとえば、PlanarモードとＤＣモードについては、Ｐという種類の変換を適用し、残りの方向性モードに対しては、Ｑという種類の変換を適用することができる。
【０２７０】
実施形態４−４）本発明は、ＲＳＴのように変換係数の一部のみを残す構成をＬＧＴやＮｓｓｔのような変換にも適用することができる。つまり、ＬＧＴやＮｓｓｔを適用して生成されたＮ個の変換係数の内、一部であるＬ個だけ（Ｌ<Ｎ）残すように構成することができる。このような構成をＬＧＴに適用したときReduced ＬＧＴ（ＲＬＧＴ）とし、Ｎｓｓｔに適用したときはReduced Ｎｓｓｔ（ＲＮＳＳＴ）と命名すれば、前記図１７のＡ領域に対しては、一般的なＳＯＴ ｏｒ一般ＬＧＴ or一般Ｎｓｓｔを適用し、Ｂ、Ｃ、Ｄの領域に対しては、ＲＳＴ or ＲＬＧＴ or ＲＮＳＳＴを適用するように構成することができる。
【０２７１】
前記実施形態４−２）で述べたように、左上側４ｘ４領域（Ａ）に、０でない変換係数がより多く密集しているので、より多くの変換係数（２次変換を適用した後、生成された変換係数）を残すようにして、逆変換後復元される信号のエラーを最小化することができる。
【０２７２】
図１９及び図２０は、本発明が適用される実施形態として、図１９は、２次変換が適用される領域をＭ個の領域に分割し、各位置に対してインデックスを割り当てる方法を説明するための図であり、図２０は２次変換が適用される領域を分割したときの分割された領域に変換を割り当てる方法を説明するための図である。
【０２７３】
実施形態５：２次変換を適用領域を任意の形に分割したときの変換の構成
【０２７４】
全体Ｎ個の位置に構成された２次変換の適用領域をＭ個の領域に（Ｐ０、Ｐ１、・・・、ＰＭ−１）分割し、各Ｐｉ（ｉ ＝ ０、１、・・・、Ｍ−１）Ｎ個の位置のインデックス集合といえば、各Ｐｉに対応する２次変換を割り当てることができ、前記２次変換をＧＰｉで表記することができる。例えば、図１９に示すように８ｘ８の領域を構成する各位置をラスタスキャン（raster-scan）順に０から６３までのインデックスを割り当てると、各Ｐｉは、インデックス全体集合{０、１、２、・・・ 、６２、６３}の部分集合となりPi∩Pj=Φ （i, j=0, 1, ・・・ , M-1, i≠j）を満足する。
【０２７５】
また、Ｐｉの大きさ、すなわち内部元素の数を|Pi|と表すと
2021517795.tif 000011
を満足するようになる。
【０２７６】
前記notationを活用した実施形態は、以下の通りである。
【０２７７】
実施形態５−１）5-1) |P0| = 32, |P1| = 32
【０２７８】
図２０（ａ）でＰ０とＰ１をそれぞれ０と１で示した。二つの領域に対してそれぞれ３２個の入力データを有する２次変換を適用することができる。このとき、ＲＳＴ、ＲＬＧＴ、ＲＮＳＳＴではない場合には、出力変換係数の数も３２個になる。ここで、入力データは、１次変換を適用した変換係数ブロックの左上側８ｘ８の領域のサブセット（subset）で有り得る。
【０２７９】
実施形態５−２） |P0| = 32, |P1| = 16, |P2| = 16
【０２８０】
図２０（ｂ）においてＰ０、Ｐ１、Ｐ２をそれぞれ０、１、２で表示した。 Ｐ０に対して３２個の入力データを有する２次変換を適用し、Ｐ１とＰ２については、１６個の入力データを有する２次変換を適用することができる。ここで、入力データは、１次変換を適用した変換係数ブロックの左上側８ｘ８の領域のサブセットで有り得る。
【０２８１】
他の実施形態として、すべての可能な実施形態について、各パーティションごとに別の変換の組み合わせが適用されることができる。また、可能なパーティションの数は多いので、その分のさまざまな構成も可能である。
【０２８２】
先の実施形態（実施形態１〜４）で仮定したパーティションも可能なパーティションの内一つであり、４ｘ４分割ブロックに対して部分的に同一または別の変換を適用することができる。
【０２８３】
他の実施形態として、前記実施形態５−１）と実施形態５−２）と同じパーティション構成は、予測モードまたは予測モードグループごとに異なるように設定することができる。または変換係数ブロックのサイズに応じて、パーティションは異なるように設定することもできる。例えば、８ｘ８以上と８ｘ８未満の場合、パーティションは、それぞれ異なるように設定することができる。具体例として、８ｘ８以上の大きさについては、前記実施形態５−１）番のパーティション（図２０（ａ））が適用されることができ、８ｘ８未満については、前記図１８のようなパーティションが適用されることができる。
【０２８４】
図２１は、本発明が適用される実施形態として、分割されたブロックに２次変換を適用して、ビデオ信号をエンコードするフローチャートを示す。
【０２８５】
エンコーダは、現在ブロックの予測モード、ブロックの形状及び/またはブロックサイズの内、少なくとも一つに基づいて、順方向の２次変換を決定（または選択）することができる（Ｓ２１１０）。この時、前記順方向２次変換の候補は、前記図６及び/または図１２の実施形態の内、少なくとも一つを含むことができる。
【０２８６】
前記エンコーダは、ＲＤ最適化（Rate Distortion optimization）を介して、最適の順方向２次変換を決定することができる。前記最適の順方向２次変換は、複数個の変換の組み合わせの内、いずれか１つに対応することができ、前記複数個の変換の組み合わせは、変換インデックスによって定義することができる。たとえば、ＲＤ最適化のために、各候補の順方向２次変換、量子化、レジデュアルコーディングなどをすべて実行した結果を比較することができる。このとき、cost = rate +λ・distortionまたはcost = distortion +λ・rateなどの数式が用いられることがあるが、本発明はこれに限定されない。
【０２８７】
前記エンコーダは、前記最適の順方向２次変換に対応する２次変換インデックスをシグナリングすることができる（Ｓ２１２０）。ここで、前記２次変換インデックスは、本明細書で説明した他の実施形態が適用されることができる。
【０２８８】
例えば、前記２次変換インデックスは、前記図１２の変換セットの構成を適用することができる。一つの変換のセットは、イントラ予測モードに応じて、２つまたは３つの変換で構成されているので、２次変換を適用しない場合まで含めて、最大４つの変換の内、いずれか１つを選択するように構成されることがある。 ４つの変換に対して、それぞれ０、１、２、３のインデックスを付与するとしたとき、前記２次変換インデックスを変換係数ブロックごとにシグナリングして適用される変換を指定することができる。このとき、０番インデックスを恒等行列、すなわち２次変換を適用しない場合に割り当てることができる。
【０２８９】
一方、前記エンコーダは、現在ブロック（レジデュアルブロック）について順方向１次変換を実行することができる（Ｓ２１３０）。ここで、前記順方向１次変換は、前記Ｓ２１１０段階及び/またはＳ２１２０段階が類似に適用することができる。
【０２９０】
前記エンコーダは、前記順方向１次変換が適用された変換係数ブロックの特定領域をサブブロックに分割することができる（Ｓ２１３０）。例えば、前記変換係数ブロックがＮｘＮである時、前記特定領域は、左上側ＭｘＭ領域（Ｍ≦Ｎ）を意味することができる。
【０２９１】
前記エンコーダは、前記最適の順方向２次変換を用いて前記サブブロックの順方向２次変換を実行することができる（Ｓ２１４０）。例えば、前記最適の順方向２次変換は、前記サブブロックに対応することができる。つまり、各サブブロックごとに個別に最適の順方向２次変換が適用されることができ、またはすべてのサブブロックに同じ最適の順方向２次変換が適用されることができる。
【０２９２】
一実施形態として、前記サブブロックは、その位置、大きさ、または予測モードの内、少なくとも一つに基づいてグルーピングすることができ、グルーピングされたサブブロックに対して同じ最適な順方向２次変換が適用されることができる。
【０２９３】
一実施形態として、前記最適の順方向２次変換は、縮小された２次変換で有り得る。前記縮小された２次変換は、Ｎ個のレジデュアルデータ（Ｎｘ１レジデュアルベクトル）が入力されてＬ個（Ｌ <Ｎ）の変換係数データ（Ｌｘ１編関係数ベクトル）が出力される変換を示す。
【０２９４】
一実施形態として、前記縮小された２次変換は、前記変換係数ブロックの特定領域に適用することができる。例えば、前記現在のブロックがＮｘＮの時、前記特定領域は、左上側Ｎ/２ｘＮ/２の領域を意味することができる。しかし、本発明はこれに限定されず、予測モード、ブロックの形状、またはブロックサイズの内、少なくとも一つに基づいて異なるように設定することができる。例えば、前記現在ブロックがＮｘＮの時、前記特定領域は、左上側ＭｘＭ領域（Ｍ≦Ｎ）を意味することができる。
【０２９５】
一方、前記エンコーダは、前記現在ブロックの量子化を行うことにより、変換係数ブロックを生成することができる（Ｓ２１５０）。
【０２９６】
前記エンコーダは、前記変換係数ブロックに対してエントロピーエンコーディングを行い、ビットストリームを生成することができる。
【０２９７】
図２２は、 本発明が適用される実施形態として、分割されたブロックに２次変換を適用して、ビデオ信号をデコードするフローチャートを示す。
【０２９８】
デコーダは、ビットストリームから２次変換のインデックスを獲得することができる（Ｓ２２１０）。ここで、前記２次変換インデックスは、本明細書で説明した他の実施形態が適用されることができる。例えば、前記２次変換インデックスは、前記図６及び/または図１２の実施形態の内、少なくとも一つを含むことができる。
【０２９９】
前記デコーダは、前記２次変換インデックスに対応する２次変換を誘導することができる（Ｓ２２２０）。この時、前記２次変換の候補は、前記図６及び/または図１２の実施形態の内、少なくとも一つを含むことができる。
【０３００】
一実施形態として、前記２次変換は、現在ブロック内のサブブロックに対応することができる。つまり、各サブブロックごとに個別に２次変換が誘導されることができ、またはすべてのサブブロックに同じ２次変換が誘導されることができる。
【０３０１】
ただし、前記Ｓ２２１０及びＳ２２２０のステップは、一実施形態であり、本発明はこれに限定されない。例えば、前記デコーダは、前記２次変換インデックスを獲得せずに、現在ブロックの予測モード、ブロックの形状及び/またはブロックサイズの内、少なくとも一つに基づいて、２次変換を誘導することができる。
【０３０２】
一方、前記デコーダは、前記ビットストリームをエントロピーデコード化して変換係数ブロックを獲得し、前記変換係数ブロックに対して逆量子化を行うことができる（Ｓ２２３０）。
【０３０３】
前記デコーダは、前記逆量子化された変換係数ブロックのサブブロックに対して逆方向２次変換を実行することができる（Ｓ２２４０）。このとき、各サブブロックごとに個別に逆方向２次変換が適用されることができ、またはすべてのサブブロックに同じ逆方向２次変換が適用されることができる。
【０３０４】
一実施形態として、前記逆方向２次変換は、縮小された２次変換で有り得る。前記縮小された２次変換は、Ｎ個のレジデュアルデータ（Ｎｘ１‘レジデュアルベクトル）が入力され手Ｌ個（Ｌ <Ｎ）の変換係数データ（Ｌｘ１編関係数ベクトル）が出力される変換を示す。
【０３０５】
一実施形態として、前記縮小された２次変換は、変換係数ブロックの特定領域に適用することができる。例えば、前記変換係数ブロックがＮｘＮの時、前記特定領域は、左上側Ｎ/２ｘＮ/２の領域を意味することができる。しかし、本発明はこれに限定されず、予測モード、ブロックの形状、またはブロックサイズの内、少なくとも一つに基づいて異なるように設定することができる。例えば、前記変換係数ブロックがＮｘＮの時、前記特定領域は、左上側ＭｘＭ領域（Ｍ≦Ｎ）またはＭｘＬ（Ｍ≦Ｎ、Ｌ≦Ｎ）を意味することができる。
【０３０６】
そして、前記デコーダは、前記逆方向２次変換された結果の逆方向１次変換を実行することができる（Ｓ２２５０）。
【０３０７】
前記デコーダは、Ｓ２２５０段階を介してレジデュアルブロックを生成し、前記レジデュアルブロックと予測ブロックが加わり、復元ブロックが生成される。
【０３０８】
本発明の他の実施形態で、デコーダは、現在ブロックのエントロピーデコード及び逆量子化を実行して、変換係数ブロックを獲得することができる。
【０３０９】
前記デコーダは、前記変換係数ブロック内の特定領域に対応する２次変換（secondary transform）を誘導することができる。ここで、前記特定領域は、前記変換係数ブロックの左上側ブロックを含む領域を示す。
【０３１０】
前記デコーダは、前記２次変換を用いて、前記特定領域内のサブブロックのそれぞれについて、逆方向２次変換を実行することができる。
【０３１１】
前記デコーダは、前記逆方向２次変換が実行されたブロックの逆方向１次変換を実行することができる。
【０３１２】
前記デコーダは、前記逆方向１次変換が実行されたブロックを用いて前記現在ブロックを復元することができる。
【０３１３】
一実施形態として、前記特定領域は、４ｘ４サブブロックに分割され、前記逆方向２次変換は、前記４ｘ４サブブロックの各々に対して実行されることができる。  
【０３１４】
一実施形態として、前記サブブロックの位置または予測モードの内、少なくとも一つに基づいて、前記４ｘ４サブブロックは同じ４ｘ４ ２次変換が適用されるか、または互いに異なる４ｘ４ ２次変換が適用されることができる。
【０３１５】
一実施形態として、前記特定領域は、前記変換係数ブロックのサイズに基づいて、４ｘ４サブブロックに分割されるかどうかが決定されることができる。
【０３１６】
一実施形態として、本発明は、４ｘ４サブブロック内に０でない変換係数の数が特定のしきい値以上であるかどうかを確認することができ、前記確認結果に応じて前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されるかどうかを決定することができる。
【０３１７】
一実施形態として、前記４ｘ４サブブロック内に０でない変換係数の数が前記特定のしきい値以上であれば、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用され、そうでない場合、前記４ｘ４サブブロックの４ｘ４ ２次変換が適用されないことがある。
【０３１８】
図２３〜図２５は、本発明が適用される実施形態として、図２３及び図２５は、２次変換が適用される領域をＭ個の領域に分割し、各位置に対してインデックスを割り当てる異なる例であり、図２４はグルーピングに基づいて領域を区分する方法を説明するための図である。
【０３１９】
本発明の一実施形態には、Ｘ方向の座標とＹ方向の座標の合に基づいて、２次変換が適用される任意の領域を決定することができる。
【０３２０】
前記図２３のように８ｘ８ブロックが２次変換の入力としたとき同じ対角線に位置する入力データは、Ｘ方向の座標とＹ方向の座標の合が同じである。つまり、１番の入力データの座標を（０、０）にしたときＸ座標は右方向に増加してＹ座標は下方向に増加する。ここで、ブロック内の各位置に表示された番号は、実際の入力データの値ではなく、位置区分ための一連番号である。
【０３２１】
前記図２４を注意深く見ると、より具体的に、次のようなグループが形成されることを確認することができる。ここで、データセットは、前記図２３で示されたシリアル番号に基づいて区分した。
【０３２２】
本発明の一実施形態は、グルーピングに基づいて次のように領域を区分することができる。
【０３２３】
いくつかのグループを束って領域を形成することができる。たとえば、グループ１、２、３、４、５、６、７、８を１つの領域に結合し、残ったグループを（９、１０、１１、１２、１３、１４、１５）、残りの領域にまとめて総２つの領域を形成することができる。前記図２４でＧｒｏｕｐ Ｎｏ.値が小さいほど、より重要度が高いと見たとき、総Ｎ個の領域を形成するならばGroup No.値の総範囲である[１、１５]をＮ個の区間に分割することができる。たとえば、[１、Ｇ１]、[Ｇ１ ＋ １、Ｇ２]、・・・ 、[ＧＮ−１ ＋ １、１５]のように区間を分割することができる（１≦Ｇ１ ＜Ｇ２ ＜ＧＮ−１ ＜１５）。
【０３２４】
２)  必ずグループ単位でのみ結ぶのではなく、グループ内で二つの領域の境界が発生することもできる。例えば、二つの領域のすべてを３２個の位置で構成する場合、最初の領域は、グループ１、２、３、４、５、６、７とグループ８の内部に２９〜３２番の位置までを含むように構成し、２番目の領域は、グループ８の内部の３３〜３６番の位置とグループ９、１０、１１、１２、１３、１４、１５を含むように構成することができる。
【０３２５】
ここで、複数の領域に分割される場合、 領域の境界は必ずしもグループ単位である必要はなく、グループ内での位置で有り得る。グループ内での領域の境界が発生する場合、位置のシリアル番号の構成に応じて、領域分割が変わることがある。例えば、位置の番号の割り当てが、前記図２５のような場合で有り得る。
【０３２６】
もし二つの領域を位置１〜３２と位置３３〜６４に分ける場合、前記図２３と前記図２５での領域分割が変わることがある。
【０３２７】
図２６は、本発明が適用される実施形態として、スキャン順に基づいて、２次変換が適用される領域をＭ個の領域に分割する方法を説明するための図である。
【０３２８】
本発明は、スキャン順に基づいて、領域を分割することがある。前記図２６は、８ｘ８領域についてスキャン順に基づいて領域が分割された場合を示す。
【０３２９】
例えば、位置１番から４８番までを一つの領域に保持し、４９番から６４番までを、他の一つの領域に割り当てることができる。他の例として、１番から３２番までを一つの領域に保持し、３３番から６４番までを、他の一つの領域に割り当てることができる。より一般化してＮ個の位置で構成された全体の領域を[１、Ｎ]のような区間で表示するようにすると、[1, S1], [S1+1, S2], ・・・, [SM-1+1, N]のようにＭ個の領域に分割することができる(1 ≦ S1 ＜ S2 ＜ ・・・ ＜ SM-1 ＜ N).。
【０３３０】
先の実施形態では、領域を分割する方法及び基準に対して説明した。すべての領域に対して、２次変換を適用する必要はない。例えば、二つの領域に区分された場合、ＤＣを含むより重要な最初の領域に対しては、２次変換を適用し、残りの領域に対しては、２次変換を適用しないことがある。具体例として、４ｘ４ ＲＳＴが適用される場合左上端４ｘ４領域にのみ４ｘ４ＲＳＴが適用され、残りの領域には、ＲＳＴが適用されないか（i.e.恒等変換を適用）０の値に割り当て（i.e.ゼロ行列を適用）することができる。
【０３３１】
また他の具体的な例として、８ｘ８の領域に対して図２６に記載のスキャン順序によって領域が分割され、１番から４８番までを一つの領域に割り当て４９番から６４番までを、他の一つの領域に割り当てる場合、 １番から４８番までＲＳＴが適用されて４９番から６４番までＲＳＴが適用されないか（ie恒等変換を適用）０の値に割り当て（ieゼロ行列を適用）することができる。
【０３３２】
図２７は、本発明が適用される実施形態として、コンテンツストリーミングシステム構造図を示す。
【０３３３】
図２２に示すように、本発明が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置及びマルチメディア入力装置を含む。
【０３３４】
前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されてもよい。
【０３３５】
前記ビットストリームは、本発明が適用されるエンコード方法又はビットストリーム生成方法により生成され、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で一時的に前記ビットストリームを格納することができる。
【０３３６】
前記ストリーミングサーバは、ウェブサーバに介するユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介の役割を果たす。ユーザが前記ウェブサーバにご希望のサービスを要求すると、前記ウェブサーバはこれをストリーミングサーバに伝達し、前記ストリーミングサーバはユーザにマルチメディアデータを送信する。ここで、前記コンテンツストリーミングシステムは別途の制御サーバを含んでもよく、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。
【０３３７】
前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信する。例えば、前記エンコードサーバからコンテンツを受信する場合、前記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは前記ビットストリームを一定時間格納することができる。
【０３３８】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ  ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ  ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ  ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ  ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ  ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ  ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ  ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを有することができる。
【０３３９】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営でき、この場合、各サーバで受信するデータは分散処理されることができる。
【０３４０】
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。例えば、各図面に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われることができる。
【０３４１】
また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴ（Ｏｖｅｒ  ｔｈｅ  ｔｏｐ  ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ  ｔｈｅ  ｔｏｐ  ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などが含まれる。
【０３４２】
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録媒体に格納できる。本発明によるデータ構造を有するマルチメディアデータもまたコンピュータにより読み取りできる記録媒体に格納できる。前記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、及び光学データ格納装置を含むことができる。また、前記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームがコンピュータにより読み取りできる記録媒体に格納されるか、有無線通信ネットワークを介して送信できる。
【０３４３】
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現され、前記プログラムコードは、本発明の実施形態によりコンピュータにおいて行われる。前記プログラムコードは、コンピュータにより読み取りできるキャリア上に格納されることができる。
【産業上の利用可能性】
【０３４４】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであり、当業者であれば、以下に添付された特許請求範囲に開示された本発明の技術的思想とその技術的範囲内において、様々な他の実施形態を改良、変更、代替又は付加などが可能であろう。
【図１】
2021517795.tif 000012
【図２】
2021517795.tif 000013
【図３Ａ】
2021517795.tif 000014
【図３Ｂ】
2021517795.tif 000015
【図３Ｃ】
2021517795.tif 000016
【図３Ｄ】
2021517795.tif 000017
【図４】
2021517795.tif 000018
【図５】
2021517795.tif 000019
【図６】
2021517795.tif 000020
【図７】
2021517795.tif 000021
【図８】
2021517795.tif 000022
【図９】
2021517795.tif 000023
【図１０】
2021517795.tif 000024
【図１１】
2021517795.tif 000025
【図１２】
2021517795.tif 000026
【図１３】
2021517795.tif 000027
【図１４】
2021517795.tif 000028
【図１５（ａ）】
2021517795.tif 000029
【図１５（ｂ）】
2021517795.tif 000030
【図１６】
2021517795.tif 000031
【図１７】
2021517795.tif 000032
【図１８（ａ）】
2021517795.tif 000033
【図１８（ｂ）】
2021517795.tif 000034
【図１８（ｃ）】
2021517795.tif 000035
【図１８（ｄ）】
2021517795.tif 000036
【図１９】
2021517795.tif 000037
【図２０（ａ）】
2021517795.tif 000038
【図２０（ｂ）】
2021517795.tif 000039
【図２１】
2021517795.tif 000040
【図２２】
2021517795.tif 000041
【図２３】
2021517795.tif 000042
【図２４】
2021517795.tif 000043
【図２５】
2021517795.tif 000044
【図２６】
2021517795.tif 000045
【図２７】
2021517795.tif 000046
【国際調査報告】
2021517795.tif 000047
2021517795.tif 000048
2021517795.tif 000049
2021517795.tif 000050