(57)【要約】本発明は、ＡＭＴ（Adaptive Multiple Transforms）に基づいてビデオ信号をデコードする方法であって、上記ビデオ信号からＡＭＴインデックスを取得するステップであって、上記ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、上記変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するステップと、上記ＡＭＴインデックスに対応する変換組合せを導出するステップであって、上記変換組合せは、水平変換および垂直変換で構成され、上記ＤＳＴ７およびＤＣＴ８の少なくとも１つを有するステップと、上記変換組合せに基づいて、上記現ブロックに対して逆変換を行うステップと、上記逆変換された現ブロックを利用して上記ビデオ信号を復元するステップと、を有し、上記ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示す、ことを特徴とする方法を提供する。【選択図】図８
2020529782.tif 000002
【特許請求の範囲】
【請求項１】
適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする方法であって、
前記ビデオ信号からＡＭＴインデックスを取得するステップであって、前記ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、前記変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するステップと、
前記ＡＭＴインデックスに対応する変換組合せを導出するステップであって、前記変換組合せは、水平変換および垂直変換で構成され、前記ＤＳＴ７およびＤＣＴ８の少なくとも１つを有するステップと、
前記変換組合せに基づいて、前記現ブロックに対して逆変換を行うステップと、
前記逆変換された現ブロックを利用して前記ビデオ信号を復元するステップと、を有し、
前記ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示す、ことを特徴とする方法。
【請求項２】
前記変換設定グループは、現ブロックの予測モード、ブロックサイズおよびブロック形状の少なくとも１つに基づいて設定される、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記逆変換は、変換単位の幅および高さが両方とも３２以下である場合にのみ適用される、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記方法は、
前記ビデオ信号からＡＭＴフラグを取得するステップであって、前記ＡＭＴフラグは、ＡＭＴが行われるか否かを示すステップをさらに有し、
前記ＡＭＴインデックスは、前記ＡＭＴフラグによってＡＭＴが行われる場合に取得される、ことを特徴とする請求項１に記載の方法。
【請求項５】
前記方法は、
前記ＡＭＴフラグによってＡＭＴが行われる場合、０でない変換係数の個数が閾値より大きいか否かを確認するステップをさらに有し、
前記ＡＭＴインデックスは、前記０でない変換係数の個数が閾値より大きい場合に取得される、ことを特徴とする請求項４に記載の方法。
【請求項６】
前記逆変換を行うステップは、
前記垂直変換または前記水平変換が前記ＤＳＴ７またはＤＣＴ８である場合、前記ＤＳＴ７の逆変換またはＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用する、ことを特徴とする請求項１に記載の方法。
【請求項７】
前記垂直変換または前記水平変換は、各行ごとにおよび／または各列ごとに異なる変換が適用される、ことを特徴とする請求項１に記載の方法。
【請求項８】
前記ＡＭＴフラグまたは前記ＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニットおよび予測ユニットの少なくとも１つのレベルにおいて定義される、ことを特徴とする請求項１に記載の方法。
【請求項９】
適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする装置であって、
前記ビデオ信号からＡＭＴインデックスをパージングするパージング部であって、前記ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、前記変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するパージング部と、
前記ＡＭＴインデックスに対応する変換組合せを導出し、前記変換組合せに基づいて前記現ブロックに対して逆変換を行う逆変換部と、
前記逆変換された現ブロックを利用して前記ビデオ信号を復元する復元部と、を有し、
前記ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示し、
前記変換組合せは、水平変換および垂直変換で構成され、前記ＤＳＴ７および前記ＤＣＴ８の少なくとも１つを有する、ことを特徴とする装置。
【請求項１０】
前記変換設定グループは、現ブロックの予測モード、ブロックサイズおよびブロック形状の少なくとも１つに基づいて設定される、ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記逆変換は、変換単位の幅および高さが両方とも３２以下である場合にのみ適用される、ことを特徴とする請求項９に記載の装置。
【請求項１２】
前記パージング部は、さらに、
前記ビデオ信号からＡＭＴが行われるか否かを示すＡＭＴフラグをパージングし、
前記ＡＭＴインデックスは、前記ＡＭＴフラグによってＡＭＴが行われる場合に取得される、ことを特徴とする請求項９に記載の装置。
【請求項１３】
前記逆変換部は、さらに、
前記ＡＭＴフラグによってＡＭＴが行われる場合、０でない変換係数の個数が閾値より大きいか否かを確認し、
前記ＡＭＴインデックスは、前記０でない変換係数の個数が閾値より大きい場合に取得される、ことを特徴とする請求項１２に記載の装置。
【請求項１４】
前記逆変換部は、
前記垂直変換または前記水平変換が前記ＤＳＴ７またはＤＣＴ８である場合、前記ＤＳＴ７の逆変換またはＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用する、ことを特徴とする請求項９に記載の装置。
【請求項１５】
前記垂直変換または前記水平変換は、各行ごとにおよび／または各列ごとに異なる変換が適用される、ことを特徴とする請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号を処理する方法および装置に関し、より具体的には、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する技術に関する。
【背景技術】
【０００２】
次世代ビデオコンテンツは、高解像度（high spatial resolution）、高フレームレート（率）（high frame rate）および画像表現の高次元化（high dimensionality of scene representation）という特徴を有する。そのようなコンテンツを処理するためには、メモリ記憶（格納）量（memory storage）、メモリアクセスレート（率）（memory access rate）および処理電力（processing power）の側面で多大な増加をもたらすだろう。
【０００３】
したがって、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。特に、変換（transform）を適用するとき、符号化効率および複雑度の側面ではるかに効率的な変換を設計する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、符号化効率および複雑度の側面ではるかに効率的な変換設定（transform configuration）を設計しようとする。
【０００５】
本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する方法を提案する。
【０００６】
また、本発明は、新しい変換デザインを反映するためのエンコーダ／デコーダ構造を提案する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、
【０００８】
本発明は、ＤＣＴ８（Discrete Cosine Transform type 8）に対してＤＳＴ７（Discrete Sine Transform type 7）のカーネル係数データをそのまま使用するとともに、ＤＳＴ７の変形した形態に代替する方法を提供する。
【０００９】
また、本発明は、ＤＳＴ７をＤＳＴ４に代替し、ＤＣＴ８に対してＤＳＴ４のカーネル係数データをそのまま使用するとともに、ＤＣＴ４の変形した形態に代替する方法を提供する。
【００１０】
また、本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて変換設定グループ（transform configuration group）を構成し、１つの変換設定グループは、１つまたは複数の変換組合せで構成され、１つの変換組合せは、全ての行（row）および列（column）に対応する変換で構成されるとともに、各行（row）または列（column）に対応する変換は、相異なるように構成される方法を提供する。
【００１１】
また、本発明は、ＤＳＴ７またはＤＳＴ４などの１つの変換とそれから変形された変換とに基づいて、全ての行（row）および列（column）に対する変換を構成する方法を提供する。
【００１２】
また、本発明は、全ての三角変換（trigonometric transforms）（８つのＤＣＴ、８つのＤＳＴ）間に存在する線形関係を利用するか、変換入出力部分に前後処理過程を追加する方式により、全ての変換に対してそれぞれ導出（誘導）可能な変換集合を構成することができ、このように導出した変換集合の和集合を求めて変換組合せを決定するのに活用する方法を提供する。
【発明の効果】
【００１３】
本発明は、静止画像または動画を符号化するとき、決まった個数の変換に基づいて全ての行（row）および列（column）に対する変換を変換設定グループ（transform configuration group）別に構成することにより、よりコーディング効率の高い変換係数を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明が適用される実施形態として、ビデオ信号のエンコードが行われるエンコーダの概略ブロック図である。
【図２】本発明が適用される実施形態として、ビデオ信号のデコードが行われるデコーダの概略ブロック図である。
【図３Ａ】本発明が適用されることができる実施形態として、ＱＴ（ＱｕａｄＴｒｅｅ、以下「ＱＴ」という）によるブロック分割構造を説明する図である。
【図３Ｂ】本発明が適用されることができる実施形態として、ＢＴ（Binary Tree、以下「ＢＴ」という）によるブロック分割構造を説明する図である。
【図３Ｃ】本発明が適用されることができる実施形態として、ＴＴ（Ternary Tree、以下「ＴＴ」という）によるブロック分割構造を説明する図である。
【図３Ｄ】本発明が適用されることができる実施形態として、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明する図である。
【図４】本発明が適用される実施形態としてのエンコーダ内の変換および量子化部１２０／１３０、逆量子化および逆変換部１４０／１５０の概略ブロック図である。
【図５】本発明が適用される実施形態としてのデコーダ内の逆量子化および逆変換部２２０／２３０の概略ブロック図である。
【図６】本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が適用される変換設定グループ（transform configuration group）を示す表である。
【図７】本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が行われるエンコード過程を示すフローチャートである。
【図８】本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が行われるデコード過程を示すフローチャートである。
【図９】本発明が適用される実施形態として、ＡＭＴフラグおよびＡＭＴインデックスをエンコードする過程を説明するためのフローチャートである。
【図１０】本発明が適用される実施形態として、ＡＭＴフラグおよびＡＭＴインデックスに基づいて水平変換または垂直変換を行または列に適用するデコード過程を説明するためのフローチャートである。
【図１１】本発明が適用される実施形態として、変換組合せの各行（row）または列（column）に対応する変換を相異なるように構成する方法を説明する図である。
【図１２】本発明が適用される実施形態として、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて一般的な変換設定グループ（transform configuration group）を構成する方法を説明する図である。
【図１３】本発明が適用される実施形態として、予測モード、ブロックサイズ、ブロック形状の少なくとも１つに基づく複数のテーブルに分割して変換設定グループを組み合わせる方法を説明する表である。
【図１４】本発明が適用される実施形態として、予測モード、ブロックサイズ、ブロック形状の少なくとも１つに基づく複数のテーブルに分割して変換設定グループを組み合わせる方法を説明する表である。
【図１５】本発明が適用される実施形態として、１つの変換セットを利用して変換設定グループ（transform configuration group）を構成する一例を示す図である。
【図１６】本発明が適用される実施形態として、変換ブロックサイズに基づいて相異なる変換セットを利用して変換設定グループ（transform configuration group）を構成する一例を示す図である。
【図１７】本発明が適用される実施形態として、スパンセット（spanned set）を構成する一例を示す図である。
【図１８】本発明が適用されるビデオコーディングシステムを示す図である。
【図１９】本発明が適用されるコンテンツのストリーミングシステムを示す図である。
【発明を実施するための形態】
【００１５】
本発明は、適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする方法であって、ビデオ信号からＡＭＴインデックスを取得するステップであって、ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するステップと、ＡＭＴインデックスに対応する変換組合せを導出するステップであって、変換組合せは、水平変換および垂直変換で構成され、ＤＳＴ７およびＤＣＴ８の少なくとも１つを有するステップと、変換組合せに基づいて、現ブロックに対して逆変換を行うステップと、逆変換された現ブロックを利用してビデオ信号を復元するステップと、を有し、ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示す、ことを特徴とする方法を提供する。
【００１６】
本発明において、変換設定グループは、現ブロックの予測モード、ブロックサイズおよびブロック形状の少なくとも１つに基づいて設定される、ことを特徴とする。
【００１７】
本発明において、逆変換は、変換単位の幅および高さが両方とも３２以下である場合にのみ適用される、ことを特徴とする。
【００１８】
本発明において、方法は、ビデオ信号からＡＭＴフラグを取得するステップであって、ＡＭＴフラグは、ＡＭＴが行われるか否かを示すステップをさらに有し、ＡＭＴインデックスは、ＡＭＴフラグによってＡＭＴが行われる場合に取得される、ことを特徴とする。
【００１９】
本発明において、方法は、ＡＭＴフラグによってＡＭＴが行われる場合、０でない変換係数の個数が閾値より大きいか否かを確認するステップをさらに有し、ＡＭＴインデックスは、０でない変換係数の個数が閾値より大きい場合に取得される、ことを特徴とする。
【００２０】
本発明において、逆変換を行うステップは、垂直変換または水平変換がＤＳＴ７またはＤＣＴ８である場合、ＤＳＴ７の逆変換またはＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用する、ことを特徴とする。
【００２１】
本発明において、垂直変換または水平変換は、各行ごとにおよび／または各列ごとに異なる変換が適用される、ことを特徴とする。
【００２２】
本発明において、ＡＭＴフラグまたはＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニットおよび予測ユニットの少なくとも１つのレベルにおいて定義される、ことを特徴とする。
【００２３】
本発明は、適応マルチ変換（Adaptive Multiple Transforms；ＡＭＴ）に基づいてビデオ信号をデコードする装置であって、ビデオ信号からＡＭＴインデックスをパージングするパージング部であって、ＡＭＴインデックスは、変換設定グループ内の複数の変換組合せのいずれか１つを示し、変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を有するパージング部と、ＡＭＴインデックスに対応する変換組合せを導出し、変換組合せに基づいて現ブロックに対して逆変換を行う逆変換部と、逆変換された現ブロックを利用してビデオ信号を復元する復元部と、を有し、ＡＭＴは、複数の変換組合せから適応的に選択される変換組合せに基づいて行われる変換方式を示し、変換組合せは、水平変換および垂直変換で構成され、ＤＳＴ７およびＤＣＴ８の少なくとも１つを有する、ことを特徴とする装置を提供する。
【００２４】
本発明において、パージング部は、さらに、ビデオ信号からＡＭＴが行われるか否かを示すＡＭＴフラグをパージングし、ＡＭＴインデックスは、ＡＭＴフラグによってＡＭＴが行われる場合に取得される、ことを特徴とする。
【００２５】
本発明において、逆変換部は、さらに、ＡＭＴフラグによってＡＭＴが行われる場合、０でない変換係数の個数が閾値より大きいか否かを確認し、ＡＭＴインデックスは、０でない変換係数の個数が閾値より大きい場合に取得される、ことを特徴とする。
【００２６】
本発明において、逆変換部は、垂直変換または水平変換がＤＳＴ７またはＤＣＴ８である場合、ＤＳＴ７の逆変換またはＤＣＴ８の逆変換を列ごとに適用した後、行ごとに適用する、ことを特徴とする。
【００２７】
〔発明を実施するための形態〕
以下、添付の図面を参照して本発明の実施形態の構成およびその作用を説明し、図面により説明される本発明の構成および作用は、１つの実施形態として説明されるものであり、これにより本発明の技術的思想並びにその核心構成および作用が制限されるものではない。
【００２８】
併せて、本発明で使われる用語は、できる限り現在広く使われる一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純に解析されてはならず、その該当の用語の意味まで把握して解析（解釈）されるべきであることを明らかにする。
【００２９】
また、本発明で使われる用語は、発明を説明するために選択された一般的な用語であるが、類似の意味を有する他の用語がある場合、より適切な解析のために代替可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に代替されて解析できるものである。また、パーティショニング（partitioning）、分解（decomposition）、スプリット（splitting）および分割（division）などの場合にも各コーディング過程で適切に代替され解析できるものである。
【００３０】
図１は、本発明が適用される実施形態として、ビデオ信号のエンコード（符号化）が行われるエンコーダの概略ブロック図を示す。
【００３１】
図１に示すように、エンコーダ１００は、画像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５およびエントロピエンコード部１９０を含んで構成される。
【００３２】
画像分割部１１０は、エンコーダ１００に入力された入力画像（Input image）（または、ピクチャ、フレーム）を１つまたは複数の処理ユニットに分割する。例えば、上記処理ユニットは、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）または変換ユニット（ＴＵ：Transform Unit）であり得る。
【００３３】
ただし、上記用語は、本発明に関する説明の便宜のために使用されるだけであり、本発明は、当該用語の定義に限定されない。また、本明細書では、説明の便宜のために、ビデオ信号をエンコードまたはデコードする過程で用いられる単位としてコーディングユニットという用語を使用するが、本発明は、それに限定されず、本発明の内容に応じて適切に解析可能である。
【００３４】
エンコーダ１００は、入力画像信号から、インター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）を減算して残差信号（residual signal）を生成し、生成された残差信号は、変換部１２０に送信される。
【００３５】
変換部１２０は、残差信号に変換技法を適用して変換係数（transform coefficient）を生成する。変換過程は、クアッドツリー（quadtree）構造の正方形ブロック、二分木（二進木、バイナリツリー）（binarytree）構造、三分木（三進木、３進ツリー）（ternary）構造または非対称ツリー（asymmetric）構造により分割されたブロック（正方形または長方形）に適用できる。
【００３６】
上記変換部１２０は、複数の変換（または、変換の組合せ（変換組合せ））に基づいて変換を行い、このような変換方式をＥＭＴ（Enhanced Multiple Transform）という。上記ＥＭＴは、ＡＭＴ（Adaptive Multiple Transform）またはＭＴＳ（Multiple Transform Selection）と言ってもよい。
【００３７】
上記ＥＭＴ（または、ＡＭＴ、ＭＴＳ）は、複数の変換（または、変換組合せ）から適応的に選択される変換（または、変換組合せ）に基づいて行われる変換方式を意味する。
【００３８】
上記複数の変換（または、変換組合せ）は、本明細書の図６および図１２ないし図１７で説明する変換（または、変換組合せ）を含んでもよい。本明細書において、上記変換または変換タイプは、例えば、ＤＣＴ−Ｔｙｐｅ  ２、ＤＣＴ−ＩＩ、ＤＣＴ−２、ＤＣＴ２などと表記することができる。
【００３９】
上記変換部１２０は、次の実施形態を行うことができる。
【００４０】
本発明は、ＤＣＴ８（Discrete Cosine Transform type 8）に対して、ＤＳＴ７（Discrete Sine Transform type 7）のカーネル係数データをそのまま使用するとともに、ＤＳＴ７の変形した形態に代替する方法を提供する。
【００４１】
また、本発明は、ＤＳＴ７をＤＳＴ４に代替し、ＤＣＴ８に対してＤＳＴ４のカーネル係数データをそのまま使用するとともに、ＤＣＴ４の変形した形態に代替する方法を提供する。
【００４２】
また、本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて変換設定グループ（transform configuration group）を構成し、１つの変換設定グループは、１つまたは複数の変換の組合せで構成され、１つの変換組合せは、全ての行（row）および列（column）に対応する変換で構成されるとともに、各行（row）または列（column）に対応する変換は、相異なるように構成される方法を提供する。
【００４３】
また、本発明は、ＤＳＴ７またはＤＳＴ４などの１つの変換と、それから変形された変換に基づいて全ての行（row）および列（column）に対する変換と、を構成する方法を提供する。
【００４４】
また、本発明は、全ての三角変換（trigonometric transforms）（８つのＤＣＴ、８つのＤＳＴ）間に存在する線形関係を利用するか、変換入出力部分に前後処理過程を追加する方式により、全ての変換に対してそれぞれ導出可能な変換集合を構成することができ、このように導出した変換集合の和集合を求めて変換組合せを決定するのに活用する方法を提供する。
【００４５】
これに関する具体的な実施形態は、本明細書においてより詳細に説明する。
【００４６】
量子化部１３０は、変換係数を量子化してエントロピエンコード部１９０に送信し、エントロピエンコード部１９０は、量子化された信号（quantized signal）をエントロピコーディングしてビットストリームに出力する。
【００４７】
上記変換部１２０および上記量子化部１３０は、別個の機能ユニットとして説明されるが、本発明はこれに限定されず、１つの機能ユニットに結合されてもよい。上記逆量子化部１４０および上記逆変換部１５０の場合も、同様に１つの機能ユニットに結合されてもよい。
【００４８】
量子化部１３０から出力された量子化された信号（quantized signal）は、予測信号を生成するために利用されることができる。例えば、量子化された信号（quantized signal）は、ループ内の逆量子化部１４０および逆変換部１５０により逆量子化および逆変換を適用することにより残差信号を復元することができる。復元された残差（残余）信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）に足すことにより、復元信号（reconstructed signal）が生成される。
【００４９】
一方、前述したような圧縮過程で発生した量子化エラーによりブロック境界が見える劣化が発生する可能性がある。このような現象をブロックアーチファクト（ブロッキング劣化）（blocking artifacts）といい、これは、画質を評価する重要な要素の１つである。このような劣化を減らすためにフィルタリング過程を行うことができる。このようなフィルタリング過程によりブロックアーチファクトを除去するとともに、現ピクチャに対する誤差を減らすことにより画質を向上させることができる。
【００５０】
フィルタリング部１６０は、復元信号にフィルタリングを適用してこれを再生装置に出力するか、復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８０において参照ピクチャとして使用されることができる。このように、フィルタリングされたピクチャを画面間予測モードにおいて参照ピクチャとして利用することにより、画質だけでなく符号化効率も向上させることができる。
【００５１】
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０における参照ピクチャとして使用するために記憶する。
【００５２】
インター予測部１８０は、復元ピクチャ（reconstructed picture）を参照して時間的冗長性および／または空間的冗長性を除去するために、時間予測および／または空間予測を行う。ここで、予測を行うために用いられる参照ピクチャは、以前の時間に符号化／復号の時にブロック単位で量子化および逆量子化を経た変換された信号であるため、ブロックアーチファクトやリングアーチファクト（ringing artifact）が存在し得る。
【００５３】
したがって、インター予測部１８０は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（lowpass filter）を適用することにより、ピクセル間の信号をサブピクセル単位で補間することができる。ここで、サブピクセルは、補間フィルタを適用して生成された仮想のピクセルを意味し、整数ピクセルは、復元されたピクチャに存在する実際のピクセルを意味する。補間方法としては、線形補間、双線形補間（bi-linear interpolation）、ウィナーフィルタ（wiener filter）などが適用されてもよい。
【００５４】
補間フィルタは、復元ピクチャ（reconstructed picture）に適用されて予測の精密度を向上させる。例えば、インター予測部１８０は、整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（interpolated pixels）で構成された補間ブロック（interpolated block）を予測ブロック（prediction block）として使用して予測を行うことができる。
【００５５】
一方、イントラ予測部１８５は、現在符号化を行おうとするブロックの周辺にあるサンプルを参照して現ブロックを予測することができる。上記イントラ予測部１８５は、イントラ予測を行うために次のような過程を行う。まず、予測信号を生成するために必要な参照サンプルを用意する。そして、用意された参照サンプルを利用して予測信号を生成する。以後、予測モードを符号化する。ここで、参照サンプルは、参照サンプルパディングおよび／または参照サンプルフィルタリングにより用意される。参照サンプルは、予測および復元過程を経ているため、量子化エラーが存在する可能性がある。したがって、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリングの過程が行われる。
【００５６】
上記インター予測部１８０または上記イントラ予測部１８５により生成された予測信号（prediction signal）は、復元信号を生成するために利用されるか、残差信号を生成するために利用される。
【００５７】
図２は、本発明が適用される実施形態として、ビデオ信号のデコード（復号）が行われるデコーダの概略ブロック図を示す。
【００５８】
図２に示すように、デコーダ２００は、パージング部（図示せず）、エントロピデコード部２１０、逆量子化部２２０、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer unit）２５０、インター予測部２６０およびイントラ予測部２６５を含んで構成される。
【００５９】
そして、デコーダ２００を介して出力された復元ビデオ信号（reconstructed video signal）は、再生装置により再生される。
【００６０】
デコーダ２００は、図１のエンコーダ１００から出力された信号を受信し、受信した信号は、エントロピデコード部２１０によりエントロピデコードされる。
【００６１】
逆量子化部２２０においては、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数（transform coefficient）を取得する。
【００６２】
逆変換部２３０においては、変換係数を逆変換して残差信号（residual signal）を取得する。
【００６３】
ここで、本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する方法を提供し、上記逆変換部２３０は、本発明により構成された変換組合せに基づいて逆変換を行うことができる。また、本明細書において説明した実施形態が適用されることができる。
【００６４】
上記逆量子化部２２０と上記逆変換部２３０とは、別個の機能ユニットとして説明されるが、本発明はこれに限定されず、１つの機能ユニットに結合されてもよい。
【００６５】
取得された残差信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（prediction signal）に足すことにより、復元信号（reconstructed signal）が生成される。
【００６６】
フィルタリング部２４０は、復元信号（reconstructed signal）にフィルタリングを適用してこれを再生装置に出力するか、復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６０において参照ピクチャとして使用可能である。
【００６７】
本明細書において、エンコーダ１００の変換部１２０および各機能ユニットにおいて説明された実施形態は、それぞれデコーダの逆変換部２３０および対応する機能ユニットにも同様に適用されることができる。
【００６８】
図３は、本発明が適用されることができる実施形態として、図３Ａは、ＱＴ（QuadTree、以下「ＱＴ」という）、図３Ｂは、ＢＴ（Binary Tree、以下「ＢＴ」という）、図３Ｃは、ＴＴ（Ternary Tree、以下「ＴＴ」という）、図３Ｄは、ＡＴ（Asymmetric Tree、以下「ＡＴ」という）によるブロック分割構造を説明する図である。
【００６９】
ビデオコーディングにおいて１つのブロックは、ＱＴ（QuadTree）ベースに分割されることができる。また、ＱＴにより分割された１つのサブブロック（sub block）は、ＱＴを使用して再帰的にさらに分割されることができる。これ以上ＱＴ分割されないリーフブロック（leaf block）は、ＢＴ（Binary Tree）、ＴＴ（Ternary Tree）およびＡＴ（Asymmetric Tree）の少なくとも１つの方式により分割されることができる。ＢＴは、ｈｏｒｉｚｏｎｔａｌ  ＢＴ（２Ｎ×Ｎ、２Ｎ×Ｎ）およびｖｅｒｔｉｃａｌ  ＢＴ（Ｎ×２Ｎ、Ｎ×２Ｎ）の２つの形態の分割を有する。ＴＴは、ｈｏｒｉｚｏｎｔａｌ  ＴＴ（２Ｎ×１／２Ｎ、２Ｎ×Ｎ、２Ｎ×１／２Ｎ）およびｖｅｒｔｉｃａｌ  ＴＴ（１／２Ｎ×２Ｎ、Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の２つの形態の分割を有する。ＡＴは、ｈｏｒｉｚｏｎｔａｌ−ｕｐ  ＡＴ（２Ｎｘ１／２Ｎ、２Ｎｘ３／２Ｎ）、ｈｏｒｉｚｏｎｔａｌ−ｄｏｗｎ  ＡＴ（２Ｎ×３／２Ｎ、２Ｎ×１／２Ｎ）、ｖｅｒｔｉｃａｌ−ｌｅｆｔ  ＡＴ（１／２Ｎ×２Ｎ、３／２Ｎ×２Ｎ）、ｖｅｒｔｉｃａｌ−ｒｉｇｈｔ  ＡＴ（３／２Ｎ×２Ｎ、１／２Ｎ×２Ｎ）の４つの形態の分割を有する。それぞれのＢＴ、ＴＴ、ＡＴは、ＢＴ、ＴＴ、ＡＴを使用して再帰的にさらに分割されることができる。
【００７０】
図３Ａは、ＱＴ分割の例を示す。ブロックＡは、ＱＴにより４つのサブブロック（Ａ０、Ａ１、Ａ２、Ａ３）に分割される。サブブロックＡ１は、ＱＴにより４つのサブブロック（Ｂ０、Ｂ１、Ｂ２、Ｂ３）にさらに分割される。
【００７１】
図３Ｂは、ＢＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ  ＢＴ（Ｃ０、Ｃ１）またはｈｏｒｉｚｏｎｔａｌ  ＢＴ（Ｄ０、Ｄ１）により分割される。ブロックＣ０のように、それぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ  ＢＴ（Ｅ０、Ｅ１）またはｖｅｒｔｉｃａｌ  ＢＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【００７２】
図３Ｃは、ＴＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ  ＴＴ（Ｃ０、Ｃ１、Ｃ２）またはｈｏｒｉｚｏｎｔａｌ  ＴＴ（Ｄ０、Ｄ１、Ｄ２）により分割される。ブロックＣ１のように、それぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ  ＴＴ（Ｅ０、Ｅ１、Ｅ２）またはｖｅｒｔｉｃａｌ  ＴＴ（Ｆ０、Ｆ１、Ｆ２）の形態のように再帰的にさらに分割されることができる。
【００７３】
図３Ｄは、ＡＴ分割の例を示す。ＱＴによりこれ以上分割されないブロックＢ３は、ｖｅｒｔｉｃａｌ  ＡＴ（Ｃ０、Ｃ１）またはｈｏｒｉｚｏｎｔａｌ  ＡＴ（Ｄ０、Ｄ１）により分割される。ブロックＣ１のように、それぞれのサブブロックは、ｈｏｒｉｚｏｎｔａｌ  ＡＴ（Ｅ０、Ｅ１）またはｖｅｒｔｉｃａｌ  ＴＴ（Ｆ０、Ｆ１）の形態のように再帰的にさらに分割されることができる。
【００７４】
一方、ＢＴ、ＴＴ、ＡＴ分割は、共に使用して分割可能である。例えば、ＢＴにより分割されたサブブロックは、ＴＴまたはＡＴによる分割が可能である。また、ＴＴにより分割されたサブブロックは、ＢＴまたはＡＴによる分割が可能である。ＡＴにより分割されたサブブロックは、ＢＴまたはＴＴによる分割が可能である。例えば、ｈｏｒｉｚｏｎｔａｌ  ＢＴ分割の後、それぞれのサブブロックがｖｅｒｔｉｃａｌ  ＢＴにより分割されることができ、またはｖｅｒｔｉｃａｌ  ＢＴ分割の後、それぞれのサブブロックがｈｏｒｉｚｏｎｔａｌ  ＢＴにより分割されることができる。上記２種類の分割方法は、分割順序は異なるが、最終的に分割される形状は同一である。
【００７５】
また、ブロックが分割されると、ブロックを探索する順序を多様に定義することができる。一般に、左側から右側へ、上段から下段へ探索を行い、ブロックを探索するということは、各分割されたサブブロックの追加的なブロック分割を行うか否かを決定する順序を意味するか、ブロックがこれ以上分割されない場合、各サブブロックの符号化順序を意味するか、またはサブブロックにおいて他の隣接ブロックの情報を参照するときの探索順序を意味する。
【００７６】
図４および図５は、本発明が適用される実施形態として、図４は、エンコーダ内の変換および量子化部１２０／１３０、逆量子化および逆変換部１４０／１５０の概略ブロック図を示し、図５は、デコーダ内の逆量子化および逆変換部２２０／２３０の概略ブロック図を示す。
【００７７】
図４に示すように、変換および量子化部１２０／１３０は、１次変換部（primary transform unit）１２１、２次変換部（secondary transform unit）１２２および量子化部１３０を含む。逆量子化および逆変換部１４０／１５０は、逆量子化部１４０、逆２次変換部（inverse secondary transform unit）１５１および逆１次変換部（inverse primary transform unit）１５２を含む。
【００７８】
図５に示すように、逆量子化および逆変換部２２０／２３０は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１および逆１次変換部（inverse primary transform unit）２３２を含む。
【００７９】
本発明において、変換を行うときに複数の段階を経て変換を行うことができる。例えば、図４のように、１次変換（primary transform）、２次変換（secondary transform）の２段階を適用することができ、またはアルゴリズムによってそれ以上の変換段階が利用されることもできる。ここで、上記１次変換（primary transform）は、主要変換（core transform）ということもできる。
【００８０】
上記１次変換部（primary transform unit）１２１は、残差信号に対して１次変換（primary transform）を適用し、ここで、上記１次変換（primary transform）は、エンコーダおよび／またはデコーダにおいてテーブルとして予め（既に）定義されることができる。
【００８１】
上記１次変換（primary transform）の場合、Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ  ｔｙｐｅ  ２（以下、「ＤＣＴ２」という）が適用されることができる。あるいは、特定の場合に限定して、Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ−ｔｙｐｅ  ７（以下、「ＤＳＴ７」という。）が適用されることもできる。例えば、イントラ予測モードにおいて４×４ブロックに対してＤＳＴ７が適用されることができる。
【００８２】
また、上記１次変換（primary transform）の場合、ＡＭＴ（Adaptive Multiple Transforms）の様々な変換（ＤＳＴ７、ＤＣＴ８、ＤＳＴ１、ＤＣＴ５）の組合せが適用されることもできる。例えば、図６が適用されることもできる。
【００８３】
上記２次変換部（secondary transform unit）１２２は、１次変換された信号に対して２次変換（secondary transform）を適用し、ここで、上記２次変換（secondary transform）は、エンコーダおよび／またはデコーダにおいてテーブルとして予め定義されることができる。
【００８４】
一実施形態として、上記２次変換（secondary transform）は、Ｎｏｎ−Ｓｅｐａｒａｂｌｅ  Ｓｅｃｏｎｄａｒｙ  Ｔｒａｎｓｆｏｒｍ（以下、「ＮＳＳＴ」という）が条件的に適用されることができる。例えば、上記ＮＳＳＴは、イントラ予測ブロックである場合にのみ適用され、予測モードグループごとに適用可能な変換セットを有することができる。
【００８５】
ここで、上記予測モードグループは、予測方向に対する対称性に基づいて設定される。例えば、予測モード５２と予測モード１６とは、予測モード３４（対角方向）を基準に対称であるので、１つのグループを形成して同一の変換セット（transform set）が適用されることができる。ここで、上記予測モード５２に対する変換を適用するとき、入力データをトランスポーズ（転置）（transpose）した後に適用し、これは、予測モード１６と変換セットとが同一であるためである。
【００８６】
一方、プラナーモード（Planar mode）およびＤＣモード（DC mode）の場合、方向に対する対称性が存在しないので、それぞれの変換セットを有し、該当変換セットは、２つの変換で構成される。残りの方向性モードに対しては、変換セットごとに３つの変換で構成される。
【００８７】
他の実施形態として、上記ＮＳＳＴは、１次変換されたブロック全体に対して適用されるのではなく、左上側（top-left）の８×８の領域に対してのみ適用されることができる。例えば、ブロックのサイズが８×８以上である場合は、８×８のＮＳＳＴが適用され、８×８未満である場合は、４×４のＮＳＳＴが適用されるが、ここで、４×４ブロックに分けた後、それぞれ４×４のＮＳＳＴが適用される。
【００８８】
上記量子化部１３０は、２次変換された信号に対して量子化を行う。
【００８９】
上記逆量子化および逆変換部１４０／１５０は、前述した過程を逆に行い、重複される説明は省略する。
【００９０】
図５は、デコーダ内の逆量子化および逆変換部２２０／２３０の概略ブロック図を示す。
【００９１】
図５に示すように、逆量子化および逆変換部２２０／２３０は、逆量子化部２２０、逆２次変換部（inverse secondary transform unit）２３１および逆１次変換部（inverse primary transform unit）２３２を含む。
【００９２】
上記逆量子化部２２０は、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数（transform coefficient）を取得する。
【００９３】
上記逆２次変換部（inverse secondary transform unit）２３１は、上記変換係数に対して逆２次変換を行う。ここで、上記逆２次変換は、図４で説明した上記２次変換（secondary transform）の逆変換を示す。
【００９４】
上記逆１次変換部（inverse primary transform unit）２３２は、逆２次変換された信号（または、ブロック）に対して逆１次変換を行い、残差信号（residual signal）を取得する。ここで、上記逆１次変換は、図４で説明した上記１次変換（primary transform）の逆変換を示す。
【００９５】
本発明は、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つにより区分される変換設定グループ（transform configuration group）別に変換組合せ（transform combination）を構成する方法を提供し、上記逆１次変換部（inverse primary transform unit）２３２は、本発明により構成された変換組合せに基づいて逆変換を行う。また、本明細書で説明した実施形態が適用されることができる。
【００９６】
図６は、本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が適用される変換設定グループ（transform configuration group）を示す表である。
【００９７】
ＡＭＴ（Adaptive Multiple Transforms）が適用される変換設定グループ
【００９８】
本明細書では、変換設定グループＧiに対するｊ番目の変換組合せ候補を次の数式１のようにペアで表示する。
【００９９】
＜数式１＞
【数１】
2020529782.tif 000003
【０１００】
ここで、Ｈ（Ｇi，ｊ）は、ｊ番目の候補に対する水平変換（horizontal transform）を示し、Ｖ（Ｇi，ｊ）は、ｊ番目の候補に対する垂直変換（vertical transform）を示す。例えば、図６においてＨ（Ｇ3，２）＝ＤＳＴ７、Ｖ（Ｇ３，２）＝ＤＣＴ８のように表記することができる。コンテキスト（文脈、状況）によってＨ（Ｇi，ｊ）またはＶ（Ｇi，ｊ）に割り当てられる値は、上記の例のように変換を区分するための表示上の値（nominal value）であってもよく、当該変換を示すインデックス値であってもよく、該当変換に対する２Ｄ（二次元）行列（2 Dimensional matrix）であってもよい。
【０１０１】
また、本明細書において、ＤＣＴおよびＤＳＴに対する２Ｄの行列値を次の数式２ないし３のように表記することができる。
【０１０２】
＜数式２＞
【数２】
2020529782.tif 000004
【０１０３】
＜数式３＞
【数３】
2020529782.tif 000005
【０１０４】
ここで、ＤＳＴまたはＤＣＴであるか否かは、ＳまたはＣにより示し、ｔｙｐｅの数字は、ローマ数字の形態で上付き文字により表記し、下付き文字のＮは、Ｎ×Ｎ変換であることを示す。また、上記
2020529782.tif 000006
および
2020529782.tif 000007
のような２Ｄ行列は、列ベクトル（column vector）が変換基底（transform basis）をなすことを仮定する。
【０１０５】
図６に示すように、変換設定グループ（transform configuration group）は、予測モードに基づいて決定され、グループの数は、計６つ（Ｇ０〜Ｇ５）であり得る。そして、Ｇ０〜Ｇ４は、イントラ予測が適用される場合に該当し、Ｇ５は、インター予測により生成された残差（residual）ブロックに適用される変換組合せ（または、変換セット、変換組合せセット）を示す。
【０１０６】
１つの変換組合せは、当該２Ｄブロックの行（row）に適用される水平変換（horizontal transform）（または、行変換（row transform））と列（column）に適用される垂直変換（vertical transform）（または、列変換（column transform））とからなる。
【０１０７】
ここで、全ての変換設定グループは、各４つの変換組合せ候補を有することができる。上記４つの変換組合せ候補は、０〜３の変換組合せインデックスにより選択または決定され、エンコーダからデコーダに、上記変換組合せインデックスをエンコードして送信することができる。
【０１０８】
一実施形態として、イントラ予測により取得した残差データ（または、残差信号）は、イントラ予測モードによってその統計的特性がそれぞれ異なることがある。したがって、図６のように、イントラ予測モード別に一般的なコサイン変換ではない他の変換を適用することができる。
【０１０９】
図６を見ると、３５個のイントラ予測モードを使用する場合と６７個のイントラ予測モードを使用する場合とを示す。各イントラ予測モード列において区分された変換設定グループ別に複数の変換組合せが適用されることができる。例えば、上記複数の変換組合せは、４つの（行方向変換、列方向変換）組合せで構成される。具体的な例として、グループ０においては、行（水平）方向および列（垂直）方向の両方にＤＳＴ−７およびＤＣＴ−５が適用されることができるため、計４つの組合せが可能である。
【０１１０】
各イントラ予測モードに対して、計４つの変換カーネル組合せが適用されることができるので、そのうちの１つを選択するための変換組合せインデックスが変換単位（transform unit）ごとに送信されることができる。本明細書において、上記変換組合せインデックスは、ＡＭＴインデックス（AMT index）と呼ぶことができ、ａｍｔ＿ｉｄｘと表現できる。
【０１１１】
また、図６において提示した変換カーネル以外にも、残差信号（residual signal）の特性上、行方向および列方向の両方に対してＤＣＴ−２が最適である場合が発生し得る。したがって、コーディングユニット（Coding Unit）ごとにＡＭＴフラグを定義することにより適応的に変換を行うことができる。ここで、ＡＭＴフラグが０である場合、行方向および列方向の両方に対してＤＣＴ−２を適用し、ＡＭＴフラグが１である場合、ＡＭＴインデックスにより４つの組み合せのうちの１つを選択または決定する。
【０１１２】
一実施形態として、ＡＭＴフラグが１である場合、１つの変換単位に対して０でない変換係数の個数が閾値より大きくなければ、図６の変換カーネルを適用せずに行方向および列方向の両方に対してＤＳＴ−７を適用することができる。例えば、上記閾値は、２に設定されることができ、これは、ブロックサイズまたは変換ユニットのサイズに基づいて異なるように設定されることができる。これは、明細書の他の実施形態にも適用可能である。
【０１１３】
一実施形態として、変換係数値を先にパージングして０でない変換係数の個数が閾値より大きくない場合、ＡＭＴインデックスをパージングせずにＤＳＴ−７を適用することにより付加情報の送信量を減らすことができる。
【０１１４】
一実施形態として、ＡＭＴフラグが１である場合、１つの変換単位に対して０でない変換係数の個数が閾値より大きければ、ＡＭＴインデックスをパージングし、ＡＭＴインデックスに基づいて水平変換および垂直変換を決定することができる。
【０１１５】
一実施形態として、ＡＭＴは、変換単位の幅および高さが両方とも３２以下である場合にのみ適用されることができる。
【０１１６】
一実施形態として、図６は、オフライントレーニング（off-line training）により予め設定されることができる。
【０１１７】
一実施形態として、上記ＡＭＴインデックスは、水平変換と垂直変換との組合せを同時に示し得る１つのインデックスとして定義されることができる。あるいは、上記ＡＭＴインデックスは、水平変換インデックスと垂直変換インデックスとを別途に定義することもできる。
【０１１８】
一実施形態として、上記ＡＭＴフラグまたは上記ＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニット、および予測ユニットの少なくとも１つのレベルにおいて定義されることができる。例えば、上記ＡＭＴフラグまたは上記ＡＭＴインデックスは、ＳＰＳ（Sequence Parameter Set）および変換ユニットの少なくとも１つのレベルにおいて定義されることができる。
【０１１９】
実施形態（１）：ＤＣＴ８をＤＳＴ７の変形した形態に代替する方法
【０１２０】
2020529782.tif 000008
は、次の数式４の関係式を満たす。
【０１２１】
＜数式４＞
【数４】
2020529782.tif 000009
【０１２２】
上記数式４において、
2020529782.tif 000010
は、逆対角線にのみ１の値を有する行列であり、
2020529782.tif 000011
は、対角線にのみ１と−１が交互に登場する行列である。
【０１２３】
次の数式５は、Ｎ×１入力ベクトル
2020529782.tif 000012
に対してＤＣＴ８の順方向変換（forward transform）
2020529782.tif 000013
を適用して、Ｎ×１変換係数ベクトル
2020529782.tif 000014
を求める過程を示す。
【０１２４】
＜数式５＞
【数５】
2020529782.tif 000015
【０１２５】
ここで、添字Ａは、ａｌｔｅｒｎａｔｅの略語として符号が交互に変わることを示し、添字Ｒは、ベクトルの順序が変わることを意味し、添字ＡＲは、２つとも適用されることを意味する。
【０１２６】
上記数式４を適用して上記数式５のように展開すると、
2020529782.tif 000016
を成す変換基底ベクトルのみを利用して
2020529782.tif 000017
に対する変換を適用できるので、コーデック内部において
2020529782.tif 000018
を記憶するための別途のメモリ空間が不要となる。
【０１２７】
上記数式５のように、
2020529782.tif 000019
に対する順方向変換（forward transform）を適用するときは、
2020529782.tif 000020
を求めて
2020529782.tif 000021
を乗じてもよく、または、
2020529782.tif 000022
をそのままにして
2020529782.tif 000023
を乗じてもよい。また、
2020529782.tif 000024
および
2020529782.tif 000025
を適用するときは、
2020529782.tif 000026
を成す基底ベクトル自体に符号反転（sign inversion）を適用するのではなく、次の数式６のように、各基底ベクトルおよび
2020529782.tif 000027
に対する内積を求めるとき、
2020529782.tif 000028
に符号反転（sign inversion）を適用して内積を求めてもよい。
【０１２８】
＜数式６＞
【数６】
2020529782.tif 000029
【０１２９】
上記数式５および６は、
2020529782.tif 000030
を
2020529782.tif 000031
のカーネル係数データとして表現して
2020529782.tif 000032
を記憶するために必要なメモリをなくす方法を提示する。これに加えて、上記数式４の関係式をそのまま適用するのではなく、次の数式７のように
2020529782.tif 000033
の代わりに
2020529782.tif 000034
を使用するように構成することができる。
【０１３０】
＜数式７＞
【数７】
2020529782.tif 000035
【０１３１】
ここで、
2020529782.tif 000036
は、ｆｌｉｐｐｅｄ  ＤＳＴ７を示す。上記数式７のように
2020529782.tif 000037
を使用すると、
2020529782.tif 000038
の代わりに
2020529782.tif 000039
に対して
2020529782.tif 000040
を適用することと同様になり、上記数式５および６のように交互に符号反転（sign inversion）を適用する必要がない。上記数式５に対応する逆方向変換（backward (inverse) transform）の適用方法は、数式８と同一であり、上記数式７に対応する逆方向変換（backward (inverse) transform）の適用方法は、数式９と同一である。
【０１３２】
＜数式８＞
【数８】
2020529782.tif 000041
【０１３３】
＜数式９＞
【数９】
2020529782.tif 000042
【０１３４】
実施形態（２）：ＤＳＴ７をＤＳＴ４に代替し、ＤＣＴ８をＤＳＴ４の変形した形態に代替する方法
【０１３５】
本発明の一実施形態として、ＤＳＴ７の代わりにＤＳＴ４を使用する方法を提案する。次の数式１０のように、ＤＳＴ４とＤＣＴ４との間にもＤＳＴ７とＤＣＴ８との間と同一の関係式が成立する。
【０１３６】
＜数式１０＞
【数１０】
2020529782.tif 000043
【０１３７】
したがって、ＤＳＴ７の代わりにＤＳＴ４を使用する場合、ＤＣＴ８の代わりにＤＣＴ４を使用することになると、上記数式１０を利用してＤＣＴ４をＤＳＴ４で表現することができるため、ＤＣＴ４を記憶するための別途のメモリ空間が不必要になる。上記数式５と同一の方法でＤＣＴ４に対する順方向変換（forward transform）を適用する方法を記述すると、次の数式１１の通りである。
【０１３８】
＜数式１１＞
【数１１】
2020529782.tif 000044
【０１３９】
次の数式１２においては、上記数式６と同様の方式で
2020529782.tif 000045
に対する符号反転（sign inversion）を適切に取って
2020529782.tif 000046
のカーネル係数データに対するいかなる修正もせずに上記数式１１と同一の結果を得ることができる。
【０１４０】
＜数式１２＞
【数１２】
2020529782.tif 000047
【０１４１】
また、次の数式１３のように上記数式７と同一の方法で
2020529782.tif 000048
の代わりに
2020529782.tif 000049
を使用して符号反転（sign inversion）をなくすことができる。
【０１４２】
＜数式１３＞
【数１３】
2020529782.tif 000050
【０１４３】
上記数式１１に対応する逆方向変換（backward (inverse) transform）の適用方法は、次の数式１４と同一であり、上記数式１３に対応する逆方向変換（backward (inverse) transform）の適用方法は、次の数式１５と同一である。
【０１４４】
＜数式１４＞
【数１４】
2020529782.tif 000051
【０１４５】
＜数式１５＞
【数１５】
2020529782.tif 000052
【０１４６】
図７は、本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が行われるエンコード過程を示すフローチャートである。
【０１４７】
本明細書においては、基本的に水平方向と垂直方向とに対して分離して変換を適用する実施形態を説明しているが、変換組合せは非分離変換（non-separable transform）で構成することも可能である。
【０１４８】
あるいは、可分離変換（分離可能な変換）（separable transform）と非分離変換（non-separable transform）との混合で構成することもできる。この場合、非分離変換（non-separable transform）が利用されると、行／列（row/column）別の変換選択や水平／垂直（horizontal/vertical）方向別の選択は不要となり、可分離変換（separable transform）が選択される場合にのみ図６の変換組合せが利用されることができる。
【０１４９】
また、本明細書で提案する方式は、１次変換（primary transform）や２次変換（secondary transform）に関係なく適用することができる。すなわち、いずれか一方にのみ適用されなければならないという制約はなく、両方とも適用されることもできる。ここで、上記１次変換（primary transform）は、残差（residual）ブロックを最初に変換するための変換を意味し、上記２次変換（secondary transform）は、上記１次変換の結果として生成されたブロックに対して変換を適用するための変換を意味する。
【０１５０】
まず、エンコーダは、現ブロックに対応する変換設定グループを決定する（Ｓ７１０）。ここで、上記変換設定グループは、図６の変換設定グループを意味し得るが、本発明はこれに限定されず、他の変換組合せで構成されることもできる。
【０１５１】
上記エンコーダは、上記変換設定グループ内の利用可能な候補変換組合せに対して変換を行う（Ｓ７２０）。
【０１５２】
上記変換の実行の結果、上記エンコーダは、ＲＤ（Rate Distortion）コスト（費用）が最も小さい変換組合せを決定または選択する（Ｓ７３０）。
【０１５３】
上記エンコーダは、上記選択された変換組合せに対応する変換組合せインデックスをエンコードする（Ｓ７４０）。
【０１５４】
図８は、本発明が適用される実施形態として、ＡＭＴ（Adaptive Multiple Transforms）が行われるデコード過程を示すフローチャートである。
【０１５５】
まず、デコーダは、現ブロックのための変換設定グループを決定する（Ｓ８１０）。
【０１５６】
上記デコーダは、ビデオ信号から変換組合せインデックスをパージング（または、取得）し、ここで、上記変換組合せインデックスは、上記変換設定グループ内の複数の変換組合せのいずれか１つに対応する（Ｓ８２０）。例えば、上記変換設定グループは、ＤＳＴ７（Discrete Sine Transform type 7）およびＤＣＴ８（Discrete Cosine Transform type 8）を含むことができる。上記変換組合せインデックスは、ＡＭＴインデックスと言ってもよい。
【０１５７】
一実施形態として、上記変換設定グループは、現ブロックの予測モード、ブロックサイズおよびブロック形式の少なくとも１つに基づいて設定される。
【０１５８】
上記デコーダは、上記変換組合せインデックスに対応する変換組合せを導出する（Ｓ８３０）。ここで、上記変換組合せは、水平変換および垂直変換で構成され、上記ＤＳＴ−７およびＤＣＴ−８の少なくとも１つを含むことができる。
【０１５９】
また、上記変換組合せは、図６で説明した変換組合せを意味し得るが、本発明は、これに限定されない。すなわち、本明細書内の他の実施形態による他の変換組合せによる構成も可能である。
【０１６０】
上記デコーダは、上記変換組合せに基づいて上記現ブロックに対して逆変換を行う（Ｓ８４０）。上記変換組合せが行（水平）変換および列（垂直）変換で構成された場合、行（水平）変換を先に適用した後、列（垂直）変換を適用することができる。ただし、本発明はこれに限定されず、逆に適用されるか、または非分離変換で構成される場合には、すぐに非分離変換が適用されることもできる。
【０１６１】
一実施形態として、上記垂直変換または上記水平変換が上記ＤＳＴ−７またはＤＣＴ−８である場合、上記ＤＳＴ−７の逆変換またはＤＣＴ−８の逆変換を列ごとに適用した後、行ごとに適用することができる。
【０１６２】
一実施形態として、上記垂直変換または上記水平変換は、各行ごとにおよび／または各列ごとに異なる変換が適用されることができる。
【０１６３】
一実施形態として、上記変換組合せインデックスは、ＡＭＴが行われるか否かを示すＡＭＴフラグに基づいて取得できる。すなわち、上記変換組合せインデックスは、上記ＡＭＴフラグによってＡＭＴが行われる場合に取得できる。
【０１６４】
一実施形態として、上記デコーダは、０でない変換係数の個数が閾値より大きいか否かを確認する。ここで、上記変換組合せインデックスは、上記０でない変換係数の個数が閾値より大きい場合に取得される。
【０１６５】
一実施形態として、上記ＡＭＴフラグまたは上記ＡＭＴインデックスは、シーケンス、ピクチャ、スライス、ブロック、コーディングユニット、変換ユニット、および予測ユニットの少なくとも１つのレベルにおいて定義されることができる。
【０１６６】
一実施形態として、上記逆変換は、変換単位の幅および高さが両方とも３２以下である場合にのみ適用されることができる。
【０１６７】
一方、他の実施形態として、変換設定グループを決定する過程と変換組合せインデックスをパージングする過程とは同時に実行されてもよい。あるいは、上記Ｓ８１０ステップは、エンコーダおよび／またはデコーダにおいて予め設定されて省略されることもできる。
【０１６８】
図９は、本発明が適用される実施形態として、ＡＭＴフラグおよびＡＭＴインデックスをエンコードする過程を説明するためのフローチャートである。
【０１６９】
エンコーダは、現ブロックに対してＡＭＴ（Adaptive Multiple Transforms）が適用されるか否かを決定する（Ｓ９１０）。
【０１７０】
ＡＭＴ（Adaptive Multiple Transforms）が適用される場合、上記エンコーダは、ＡＭＴフラグ＝１でエンコードする（Ｓ９２０）。
【０１７１】
そして、上記エンコーダは、上記現ブロックの予測モード、水平変換、垂直変換の少なくとも１つに基づいてＡＭＴインデックスを決定する（Ｓ９３０）。ここで、ＡＭＴインデックスは、各イントラ予測モードに対して複数の変換組合せのいずれか１つを示すインデックスを意味し、上記ＡＭＴインデックスは、変換単位（transform unit）ごとに送信されることができる。
【０１７２】
上記ＡＭＴインデックスが決定されると、上記エンコーダは、上記ＡＭＴインデックスをエンコードする（Ｓ９４０）。
【０１７３】
一方、上記ＡＭＴ（Adaptive Multiple Transforms）が適用されない場合、上記エンコーダは、ＡＭＴフラグ＝０でエンコードする（Ｓ９５０）。
【０１７４】
図１０は、本発明が適用される実施形態として、ＡＭＴフラグおよびＡＭＴインデックスに基づいて水平変換または垂直変換を行または列に適用するデコード過程を説明するためのフローチャートである。
【０１７５】
デコーダは、ビットストリームからＡＭＴフラグをパージングする（Ｓ１０１０）。ここで、ＡＭＴフラグは、現ブロックに対してＡＭＴ（Adaptive Multiple Transforms）が適用されるか否かを示す。
【０１７６】
上記デコーダは、上記ＡＭＴフラグに基づいて現ブロックに対してＡＭＴ（Adaptive Multiple Transforms）が適用されるか否かを確認する（Ｓ１０２０）。例えば、上記ＡＭＴフラグが１である否かを確認する。
【０１７７】
上記ＡＭＴフラグが１である場合、上記デコーダは、０でない変換係数の個数が閾値より大きいか（または、閾値以上であるか）否かを確認する（Ｓ１０３０）。例えば、上記閾値は２に設定されることができ、これは、ブロックサイズまたは変換ユニットのサイズに基づいて異なるように設定されることができる。
【０１７８】
上記０でない変換係数の個数が閾値より大きい場合、上記デコーダは、ＡＭＴインデックスをパージングする（Ｓ１０４０）。ここで、上記ＡＭＴインデックスは、各イントラ予測モードまたはインター予測モードに対して複数の変換組合せのいずれか１つを示すインデックスを意味し、上記ＡＭＴインデックスは、変換単位（transform unit）ごとに送信されることができる。あるいは、上記ＡＭＴインデックスは、予め設定された変換組合せのテーブルに定義されたいずれか１つの変換組合せを示すインデックスを意味し、ここで、上記予め設定された変換組合せテーブルは、図６を意味し得るが、本発明はこれに限定されない。
【０１７９】
上記デコーダは、上記ＡＭＴインデックスおよび予測モードの少なくとも１つに基づいて水平変換および垂直変換を導出または決定する（Ｓ１０５０）。
【０１８０】
あるいは、上記デコーダは、上記ＡＭＴインデックスに対応する変換組合せを導出する。例えば、上記デコーダは、上記ＡＭＴインデックスに対応する水平変換および垂直変換を導出または決定することができる。
【０１８１】
一方、上記０でない変換係数の個数が閾値より大きくない場合、上記デコーダは、予め設定された垂直逆変換を列ごとに適用する（Ｓ１０６０）。例えば、上記垂直逆変換は、ＤＳＴ７の逆変換であり得る。
【０１８２】
そして、上記デコーダは、予め設定された水平逆変換を行ごとに適用する（Ｓ１０７０）。例えば、上記水平逆変換は、ＤＳＴ７の逆変換であり得る。すなわち、上記０でない変換係数の個数が閾値より大きくない場合は、エンコーダまたはデコーダにおいて予め設定された変換カーネルが利用されることができる。例えば、図６のような変換組合せのテーブルにおいて定義されたものではなく、多く利用される変換カーネルが利用されることができる。
【０１８３】
一方、上記ＡＭＴフラグが０である場合、上記デコーダは、予め設定された垂直逆変換を列ごとに適用する（Ｓ１０８０）。例えば、上記垂直逆変換は、ＤＣＴ−２の逆変換であり得る。
【０１８４】
そして、上記デコーダは、予め設定された水平逆変換を行ごとに適用する（Ｓ１０９０）。例えば、上記水平逆変換は、ＤＣＴ−２の逆変換であり得る。すなわち、ＡＭＴフラグが０である場合は、エンコーダまたはデコーダにおいて予め設定された変換カーネルが利用されることができる。例えば、図６のような変換組合せのテーブルにおいて定義されたものではなく、多く利用される変換カーネルが利用されることができる。
【０１８５】
図１１は、本発明が適用される実施形態として、変換組合せの各行（row）または列（column）に対応する変換を相異なるように構成する方法を説明する図である。
【０１８６】
実施形態（３）：変換組合せの各行（row）または列（column）に対応する変換を相異なるように構成する方法
【０１８７】
本発明の一実施形態として、Ｍ×Ｎの２Ｄブロック（2 Dimensional block）に対して、水平（行）方向にはＮ×Ｎ変換が適用され、垂直（列）方向にはＭ×Ｍ変換が適用される。
【０１８８】
他の一実施形態として、図１１のＭ個の行（rows）に対してそれぞれ異なる変換が適用されてもよく、Ｎ個の列（columns）に対してもそれぞれ異なる変換を適用されてもよい。適用される全ての水平（行）変換（horizontal (row) transforms）および垂直（列）変換（vertical (column) transforms）を記号で表記すると、次の数式１６の通りである。
【０１８９】
＜数式１６＞
【数１６】
2020529782.tif 000053
【０１９０】
上記
2020529782.tif 000054
および
2020529782.tif 000055
は、それぞれある指定された変換セット（transform set）に属する要素になり得る。例えば、次のように、
2020529782.tif 000056
のための変換セット（transform set）である
2020529782.tif 000057
と、
2020529782.tif 000058
のための変換セット（transform set）である
2020529782.tif 000059
と、が存在すると、次の数式１７および数式１８のように表現できる。
【０１９１】
＜数式１７＞
【数１７】
2020529782.tif 000060
【０１９２】
＜数式１８＞
【数１８】
2020529782.tif 000061
【０１９３】
ここで、
2020529782.tif 000062
および
2020529782.tif 000063
が成立し、
2020529782.tif 000064
および
2020529782.tif 000065
は互いに重複し得る。すなわち、同一の変換を有することができる。
【０１９４】
全ての
2020529782.tif 000066
が同一の変換であり、
2020529782.tif 000067
も同一の変換である場合は、通常の２Ｄ可分離変換（separable transform）になる。Ｍ＝Ｎである場合に
2020529782.tif 000068
と
2020529782.tif 000069
とは、共通元素を有し得る。すなわち、空集合ではない共通集合を有することができる。
【０１９５】
2020529782.tif 000070
および
2020529782.tif 000071
の例を列挙してみると、次の数式１９ないし２１の通りである。便宜上、本明細書では、これから
2020529782.tif 000072
と
2020529782.tif 000073
とをあわせて
2020529782.tif 000074
と表記し、適用される方向（ｈｏｒｉｚｏｎｔａｌまたはｖｅｒｔｉｃａｌ）や変換サイズ（Ｍ×ＭまたはＮ×Ｎ）は、コンテキストによって把握できると仮定する。
【０１９６】
＜数式１９＞
【数１９】
2020529782.tif 000075
【０１９７】
＜数式２０＞
【数２０】
2020529782.tif 000076
【０１９８】
＜数式２１＞
【数２１】
2020529782.tif 000077
【０１９９】
図６のように変換設定グループによって相異なる
2020529782.tif 000078
を有することができる。また、変換設定グループだけでなく、２Ｄブロックの各辺の長さによっても異なる
2020529782.tif 000079
を有することができ、ブロック形状（block shape）によっても異なる
2020529782.tif 000080
を有するように構成することができる。
【０２００】
上記数式２１においては、変換サイズが指定されていないが（・と表記）、これは、変換を選択（または、決定）するにおいてサイズを考慮しないか、または変換が適用される状況によって適当なサイズを適応的に選択することを意味する。例えば、
2020529782.tif 000081
が選択されたとすると、長さが８である場合は、
2020529782.tif 000082
が適用され、長さ４である場合は、
2020529782.tif 000083
が使用されることを意味し得る。例えば、図６においてＧ1における水平変換（horizontal transform）に対する
2020529782.tif 000084
は、
2020529782.tif 000085
になる。
【０２０１】
図１２は、本発明が適用される実施形態として、予測モード、ブロックサイズおよびブロック形状（block shape）の少なくとも１つに基づいて変換設定グループ（transform configuration group）を構成する一般的な方法を説明する図である。
【０２０２】
図６において前述したように、変換設定グループ（transform configuration group）Ｇiに対するｊ番目の変換組合せ候補を（Ｈ（Ｇi，ｊ）、Ｖ（Ｇi，ｊ））のように表記した。ここで、Ｈ（Ｇi，ｊ）およびＶ（Ｇi，ｊ）は、それぞれ適用される水平変換（horizontal transform）および垂直変換（vertical transform）を示す。
【０２０３】
図６において、各候補の水平変換（horizontal transform）および垂直変換（vertical transform）が単一変換（例えば、ＤＳＴ７、ＤＣＴ５）であるので、Ｈ（Ｇi，ｊ）＝ＤＳＴ７のような方式で表記したが、全ての行（row）または列（column）に対してそれぞれ異なる変換が適用されることができる場合、Ｈ（Ｇi，ｊ）およびＶ（Ｇi，ｊ）は、次の数式２２のようにそれぞれＭ個およびＮ個の元素で構成されたタプル（tuple）で表現することができる。
【０２０４】
＜数式２２＞
【数２２】
2020529782.tif 000086
【０２０５】
上記数式２２において、
2020529782.tif 000087
は、それぞれ異なる
2020529782.tif 000088
から選択されることもあり、同一の
2020529782.tif 000089
から指定されることもある。
2020529782.tif 000090
も同様である。上記数式２２における表記法（notation）を活用して一般的な変換設定グループを構成するテーブルを示すと、図１２の通りである。
【０２０６】
図１２の変換設定グループは、図６のように予測モードに基づいて構成されてもよく、予測モード、ブロックサイズ、ブロック形状の少なくとも１つの組合せに基づいて構成されてもよい。例えば、イントラ予測モード０（planar mode）により生成された４×８残差ブロック（residual block）に適用される変換候補を、Ｇｒｏｕｐ  ０に割り当てることができる。ここで、Ｈ（Ｇ0，ｊ）は、４つの８×８変換で構成されたタプル（tuple）になり、Ｖ（Ｇ0，ｊ）は、８つの４×４変換で構成されたタプル（tuple）になる。
【０２０７】
図１２のように、全ての場合を一度に区分して変換設定グループを構成することもできるが、複数のテーブルに分割して変換設定グループを組み合わせることもできる。
【０２０８】
図１３および図１４は、本発明が適用される実施形態として、予測モード、ブロックサイズ、ブロック形状の少なくとも１つに基づく複数のテーブルに区分して変換設定グループを組み合わせる方法を説明する表である。
【０２０９】
図１３は、行変換（row transform）（または、水平変換（horizontal transform））を構成するグループを示し、上記図１４は、列変換（column transform）（または、垂直変換（vertical transform））を構成するグループを示す。
【０２１０】
本発明の一実施形態として、行変換（row transform）構成のためのテーブルと列変換（column transform）構成のためのテーブルとに区分する方法を提供する。
【０２１１】
エンコーダにおいてどの変換組合せを利用するかを示す変換インデックスを送信する場合、行変換（row transform）（Ｈ（ＨＧi，ｊ））を指定するための行変換インデックスと列変換（column transform）（Ｖ（ＶＧi，ｊ））を指定するための列変換インデックスとをそれぞれシグナリングするか、または２つのインデックス情報を両方とも含んでいる１つの変換インデックスをシグナリングすることができる。
【０２１２】
図１３および図１４においては、４×４の変換に対するテーブルのみを提供しているが、本発明はこれに限定されない。例えば、異なるサイズ（例えば、８×８、３２×３２）に対してもそれぞれ変換設定グループテーブルが定義されることができる。
【０２１３】
１６×８ブロックに変換を適用する場合、水平方向に８×８水平変換（horizontal transform）テーブルを参照し、垂直方向には１６×１６垂直変換（vertical transform）テーブルを参照すればよい。
【０２１４】
図１５は、本発明が適用される実施形態として、１つの変換セットを利用して、全ての変換設定グループ（transform configuration group）を構成する一例を示す。
【０２１５】
実施形態（４）：１つの変換セットを利用して変換設定グループ（transform configuration group）を構成する方法
【０２１６】
図６の実施形態（１）において前述したように、変換セット
2020529782.tif 000091
としてＤＳＴ７およびＤＳＴ７の変形した形態を使用でき、全ての水平変換（horizontal transform）に対するタプル（tuple）（Ｈ（Ｇi，ｊ））、垂直変換（vertical transform）に対するタプル（tuple）（Ｖ（Ｇi，ｊ））に同一の
2020529782.tif 000092
を適用することができる。ここで、変換セット
2020529782.tif 000093
を構成する変換は、変換サイズ（４×４、８×８など）を区分せずに、状況に応じて当該サイズを選択するようにすることができる。関連して利用可能な変換セット
2020529782.tif 000094
を列挙してみると、次の数式２３の通りである。
【０２１７】
＜数式２３＞
【数２３】
2020529782.tif 000095
【０２１８】
ここで、上付き文字Ａは、ａｌｔｅｒｎａｔｅの略語として符号が交互に変わることを示し、上付き文字Ｒは、ベクトルの順序が変わることを意味し、上付き文字ＡＲは、２つとも適用されることを意味する。
【０２１９】
上記数式２３において、
2020529782.tif 000096
は、
2020529782.tif 000097
と同一のカーネル係数のデータを使用するため、事実上、別途のカーネル係数データの追加が不要である。
【０２２０】
また、一般的なコーデックにおいては、ＤＣＴ２を予め含んでいるので、メモリの追加なしで変換セット
2020529782.tif 000098
にＤＣＴ２を含ませることができる。ＤＣＴ２が含まれた変換セット
2020529782.tif 000099
の例は、次の数式２４の通りである。
【０２２１】
＜数式２４＞
【数２４】
2020529782.tif 000100
【０２２２】
上記数式２３においてまたは数式２４においての変換セット
2020529782.tif 000101
を利用して変換設定グループを図６または図１２のように構成することができる。
【０２２３】
例えば、図６のように構成する場合は、１つのブロックに対して全ての行（rows）に同一の水平変換（horizontal transform）を適用し、全ての列（columns）にも同一の垂直変換（vertical transform）を適用する方式を示す。
【０２２４】
また、図６においては、ブロック形状やサイズによってテーブルが区分されないので、指定された変換に対して当該ブロックのサイズに対応する変換を選択すればよい。図６のように構成するときは、変換カーネル係数データを記憶するために必要なメモリを減らすために、上記数式２３で提示した変換セット
2020529782.tif 000102
のうちの１つを選択して全ての変換設定グループの候補を記述するか、上記数式２４で提示した変換セット
2020529782.tif 000103
のうちの１つを選択して全ての変換設定グループの候補を決定することができる。
【０２２５】
図１５は、変換セット
2020529782.tif 000104
のみを使用して全ての変換設定グループの変換組合せを記述した例を示す。
【０２２６】
以下、図１６においては、変換ブロックサイズに基づいて相異なる変換セットを利用して変換設定グループ（transform configuration group）を構成する例を説明する。
【０２２７】
図１６は、本発明が適用される実施形態として、変換ブロックサイズに基づいて相異なる変換セットを利用して変換設定グループ（transform configuration group）を構成する一例を示す。
【０２２８】
図１２の方式で変換設定グループを構成する例として、図１６は、４×４変換の場合は変換セット
2020529782.tif 000105
を使用し、８×８変換の場合は変換セット
2020529782.tif 000106
を使用する場合を示す。
【０２２９】
例えば、図１６のＧｒｏｕｐ  ０は、プラナーモード（planar mode）およびＤＣモードが適用される８×４ブロックに対応する。
【０２３０】
本発明の一実施形態として、前述した実施形態（２）のようにＤＳＴ７の代わりにＤＳＴ４を使用できると仮定するとき、上記数式２３および２４の場合と同一の方法で変換セット
2020529782.tif 000107
を設定することができる。次の数式２５は、変換カーネル係数データとして
2020529782.tif 000108
のみを使用した例を示し、数式２６は、
2020529782.tif 000109
および
2020529782.tif 000110
を使用した例を示す。
【０２３１】
＜数式２５＞
【数２５】
2020529782.tif 000111
【０２３２】
＜数式２６＞
【数２６】
2020529782.tif 000112
【０２３３】
同様に、上記数式２５および２６で提示した変換セット
2020529782.tif 000113
を利用して、図１５または図１６のような変換組合せを構成することができる。ブロックサイズまたはブロック形状によって変換設定グループが変わる場合は、ブロックサイズに対応する変換セット
2020529782.tif 000114
を選択して使用すればよい。
【０２３４】
基本的には、変換セット
2020529782.tif 000115
はいずれの変換も含むことができる。例えば、次の数式２７のように、
2020529782.tif 000116
および
2020529782.tif 000117
に関連する変換を全て含めて変換セット
2020529782.tif 000118
を構成することができる。あるいは、数式２８のように全ての種類のコサイン変換／サイン変換を含めて変換セット
2020529782.tif 000119
を構成することもできる。あるいは、数式２９のようにトレーニング（training）データから取得されたＫＬＴ（Karhunen Loeve Transform）またはＳＯＴ（Sparse Orthonormal Transform）を含めて変換セット
2020529782.tif 000120
を構成することもできる。
【０２３５】
＜数式２７＞
【数２７】
2020529782.tif 000121
【０２３６】
＜数式２８＞
【数２８】
2020529782.tif 000122
【０２３７】
＜数式２９＞
【数２９】
2020529782.tif 000123
【０２３８】
また、本明細書においては、基本的に水平方向と垂直方向とに対して分離して変換を適用することを仮定しているが、変換セット
2020529782.tif 000124
は、非分離変換（non-separable transform）で構成することもでき、場合によっては、可分離変換（separable transform）と非分離変換（non-separable transform）との混合で構成することもできる。
【０２３９】
混合構成の場合、非分離変換（non-separable transform）が選択されると、行／列（row/column）別の変換選択や水平／垂直（horizontal/vertical）方向別の変換選択が不要である。可分離変換（separable transform）が選択される場合にのみ、前述した実施形態により提示した変換組合せを構成することができる。
【０２４０】
本明細書の一実施形態は、１次変換（primary transform）や２次変換（secondary transform）に関係なく適用されることができる。すなわち、いずれか一方にのみ適用されなければならないという制約はなく、両方とも適用されることもできる。
【０２４１】
図１７は、本発明が適用される実施形態として、スパンセット（spanned set）を構成する一例を示す。
【０２４２】
実施形態（５）：スパンセット（spanned set）を構成
【０２４３】
本明細書において適用されるコサイン変換（cosine transform）に対する数式は、次の数式３０の通りである。
【０２４４】
＜数式３０＞
【数３０】
2020529782.tif 000125
【０２４５】
ここで、
2020529782.tif 000126
は、上記値以外の場合、１の値を有する。すなわち、デフォルトとして１の値を有する。
【０２４６】
そして、本明細書において適用されるサイン変換（sine transform）に対する数式は、次の数式３１の通りである。
【０２４７】
＜数式３１＞
【数３１】
2020529782.tif 000127
【０２４８】
ここで、
2020529782.tif 000128
は、上記値以外の場合、１の値を有する。すなわち、デフォルトとして１の値を有する。
【０２４９】
上記コサイン変換（cosine transform）およびサイン変換（sine transform）に対する数式から、実施形態（１）および（２）により提示した
2020529782.tif 000129
と
2020529782.tif 000130
との関係、
2020529782.tif 000131
と
2020529782.tif 000132
との関係を含めて次の数式３２の関係式を導出することができる。
【０２５０】
＜数式３２＞
【数３２】
2020529782.tif 000133
【０２５１】
また、上記数式３２における関係式から次の数学の式３３のような関係式が導出されることができる。
【０２５２】
＜数式３３＞
【数３３】
2020529782.tif 000134
【０２５３】
上記数式３３で登場する
2020529782.tif 000135
および
2020529782.tif 000136
に対する計算は、次の数式３４のように入力に対する順序反転と符号反転とのパターンを適切に組み合わせて行うことができる。
【０２５４】
＜数式３４＞
【数３４】
2020529782.tif 000137
【０２５５】
したがって、上記数式３２および３３における関係式から、１つの特定変換に対するカーネル係数データのみを有しても様々な異なる変換を導出することができる。次の数式３５は、１つの変換がスパン（span）できる変換を集合として表現したものである。
【０２５６】
＜数式３５＞
【数３５】
2020529782.tif 000138
【０２５７】
上記数式３５において提示した各スパンセット（span set）に対して該当のべき集合を計算することができる。例えば、
2020529782.tif 000139
に対するべき集合
2020529782.tif 000140
は、次の数式３６のように表現できる。
【０２５８】
＜数式３６＞
【数３６】
2020529782.tif 000141
【０２５９】
Ａというスパンセット（span set）に対するべき集合の１つの元素を
2020529782.tif 000142
と表示すると、次の数式３７のように表現することができる。
【０２６０】
＜数式３７＞
【数３７】
2020529782.tif 000143
【０２６１】
上記、実施形態（２）および（３）において定義した変換セット
2020529782.tif 000144
を、上記数式３７のように構成することができる。上記数式３５におけるスパンセットに対するべき集合間には重なる元素が存在するため、上記数式３７で登場する
2020529782.tif 000145
は、ｄｉｓｊｏｉｎｔしない可能性がある。
【０２６２】
上記数式３５のように、１つの変換が複数の変換にスパン（span）されることも可能であるので、実際のメモリ空間に係数データの形態で記憶すべき変換の数は、はるかに少ない。例えば、
2020529782.tif 000146
をスパンするためには２つの変換で十分であり、様々な組合せの１つとして
2020529782.tif 000147
が可能である。
【０２６３】
大部分のコーデックシステムにおいては、
2020529782.tif 000148
を含み、イントラ予測から生成された残差データには、大体
2020529782.tif 000149
が効率的であると知られており、実施形態（２）のように
2020529782.tif 000150
を
2020529782.tif 000151
に代替できるとすると、図１７のようにシード（seed）になる変換からスパン（span）できる最大の変換集合を生成することができる。
【０２６４】
図１７で提示した最大スパンセット（maximally spanned set）は、最大に使用できる変換の集合であるので、変換セット
2020529782.tif 000152
として使用するときは、図１７の部分集合を使用することができる。
【０２６５】
上記数式３２および３３における関係式から、
2020529782.tif 000153
および
2020529782.tif 000154
に対するスパンセット（span set）を、次の数式３８のように、
2020529782.tif 000155
および
2020529782.tif 000156
により表現することができる。ここで、
2020529782.tif 000157
および
2020529782.tif 000158
は、上記数式４において定義されている。
【０２６６】
＜数式３８＞
【数３８】
2020529782.tif 000159
【０２６７】
実施形態（１）においては、上記数式７のように
2020529782.tif 000160
の代わりに
2020529782.tif 000161
を使用する例を提示したが、これは順方向変換（forward transform）
2020529782.tif 000162
を適用したときに生成される係数の符号（sign）を反転せずに使用する効果をもたらす。同一の方式を上記数式３８にも適用すると、順方向変換（forward transform）の一番前に乗じられる
ＤN
が脱落して次の数式３９のように該当スパンセット（span set）が変更される。
【０２６８】
＜数式３９＞
【数３９】
2020529782.tif 000163
【０２６９】
したがって、上記数式３５および上記図１７において羅列されたスパンセット（span set）においても、各スパンセット（span set）に含まれた全ての変換を上記数式３２および３３における関係式を用いて、上記数式３８のように
2020529782.tif 000164
と
2020529782.tif 000165
とシード変換（seed transform）との線形関係式で表現することができる。以後、上記数式３９のように順方向変換（forward transform）を算出し、一番前の
2020529782.tif 000166
を除去すると、変換係数の符号を反転しない変換で構成されたスパンセット（span set）の導出が可能になる。このように取得されたスパンセット（span set）を利用して、上記数式３７の関係式に基づいて希望する変換セット
2020529782.tif 000167
を構成することができる。
【０２７０】
上記数式３８を見ると、
2020529782.tif 000168
というシード変換（seed transform）を中心に置いて前後に
2020529782.tif 000169
および
2020529782.tif 000170
を適切に乗じて変換をスパンすることが確認できる。前に乗じられる行列は、中心のシード変換（seed transform）を適用した後に得られた出力を後処理するものと見ることができる。そして、後に乗じられる行列は、中心のシード変換（seed transform）を適用する前に入力に対して前処理を行うものと見ることができる。
2020529782.tif 000171
と
2020529782.tif 000172
とを多様な組合せで何度も乗じたときに出る結果は、次の数式４０のように整理することができる。
【０２７１】
＜数式４０＞
【数４０】
2020529782.tif 000173
【０２７２】
したがって、１つのシード変換（seed transform）に対して前処理および後処理の方にそれぞれ８つの場合が可能になり、両方の組合せにより６４個の場合が発生する。しかしながら、前処理の方のｃ値と後処理の方のｃ値とを共に考慮すると、重なる場合が発生するので（すなわち、符号変化は、最終的に＋／−の２つに帰結されるので）、場合の数は計３２種類になる。変換結果の符号変化の様相のみを考慮し、符号値そのものに対して無視すると、上記数式４０において、ｃ値は１に固定できるので、場合の数の総計は、１６種類になる。上記数式４０を前処理および後処理に全て適用した例を見ると、次の数式４１の通りである。
【０２７３】
＜数式４１＞
【数４１】
2020529782.tif 000174
【０２７４】
上記数式４１の例に対してｃ値を考慮しない場合に関する例を見ると、次の数式４２の通りである。
【０２７５】
＜数式４２＞
【数４２】
2020529782.tif 000175
【０２７６】
上記数式３９のように順方向変換（forward transform）を適用して求めた変換係数の符号を気にしないとすると、順方向変換（forward transform）に対して入力前処理の方では、
2020529782.tif 000176
と
2020529782.tif 000177
との組合せをそのまま使用し、出力後処理の方では、
2020529782.tif 000178
のみを使用すればいいので、場合の数の総計は、８つに減少する。次の数式４３において、該当例を見せる。
【０２７７】
＜数式４３＞
【数４３】
2020529782.tif 000179
【０２７８】
本発明は、全てのコサイン変換／サイン変換に対して上記数式４３のようにスパンセットを導出することができる。上記数式３６のようにそれぞれ該当べき集合を構成することができ、上記数式３７により変換組合せの決定に使用する変換セット
2020529782.tif 000180
を構成することができる。
【０２７９】
また、実施形態（４）で提示した方式から導出した変換セット
2020529782.tif 000181
を利用して実施形態（３）で提示した様々な変換組合せを構成する方式を適用してみることもできる。
【０２８０】
上記数式４０ないし４３のように１つの変換に入力前処理段階（ステップ）および出力後処理段階を様々な形態で追加する方式は、上記数式４１ないし４３のように三角変換（trigonometric transform）にのみ適用できるのではなく、他の任意の変換（例えは、ＫＬＴ、ＳＯＴなど）にも適用されるので、それに対応するスパンセットを導出することができる。
【０２８１】
また、上記数式４０ないし４３では、前後処理段階に該当する行列を
2020529782.tif 000182
と
2020529782.tif 000183
との組合せのみで構成したが、
2020529782.tif 000184
および
2020529782.tif 000185
以外の他の行列を有してもいずれの形態の演算により構成することもできる。
【０２８２】
図１８は、本発明が適用されるビデオコーディングシステムを示す。
【０２８３】
ビデオコーディングシステムは、ソースデバイス（source device）および受信デバイス（receiving device）を含む。ソースデバイスは、エンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して受信デバイスに伝達する。
【０２８４】
上記ソースデバイスは、ビデオソース（video source）、エンコード装置（encoding apparatus）、送信部（transmitter）を含む。上記受信デバイスは、受信部（receiver）、デコード装置（decoding apparatus）およびレンダラ（renderer）を含む。上記エンコード装置は、ビデオ／画像エンコード装置と呼ばれてもよく、上記デコード装置は、ビデオ／画像デコード装置と呼ばれてもよい。送信器は、エンコード装置に含まれてもよい。受信器は、デコード装置に含まれてもよい。レンダラは、ディスプレイ部を含んでもよく、ディスプレイ部は、別のデバイスまたは外部コンポーネントで構成されてもよい。
【０２８５】
ビデオソースは、ビデオ／画像のキャプチャ、合成または生成過程によりビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイスおよび／またはビデオ／画像生成デバイスを含んでもよい。ビデオ／画像キャプチャデバイスは、例えば、１つまたは複数のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含む。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレットおよびスマートフォンなどを含み、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどにより仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程がビデオ／画像のキャッチャ過程に代わることができる。
【０２８６】
エンコード装置は、入力ビデオ／画像をエンコードする。エンコードは、圧縮およびコーディング効率のために予測、変換、量子化などの一連の手順を行う。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム形式で出力される。
【０２８７】
送信部は、ビットストリーム形式で出力されたエンコードされたビデオ／画像情報またはデータを、ファイルまたはストリーミング形式でデジタル記憶媒体またはネットワークを介して受信デバイスの受信部に伝達する。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの多様な記憶媒体を含む。送信部は、予め決められたファイルフォーマットによりメディアファイルを生成するためのエレメントを含み、放送／通信ネットワークを介した送信のためのエレメントを含む。受信部は、上記ビットストリームを抽出してデコード装置に伝達する。
【０２８８】
デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像をデコードする。
【０２８９】
レンダラは、デコードされたビデオ／画像をレンダリングする。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示される。
【０２９０】
図１９は、本発明が適用される実施形態として、コンテンツストリーミングシステム構造図を示す。
【０２９１】
図１９に示すように、本発明が適用されるコンテンツストリーミングシステムは、概して、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア記憶装置（Media storage）、ユーザ装置およびマルチメディア入力装置を含む。
【０２９２】
上記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記エンコードサーバは、省略されてもよい。
【０２９３】
上記ビットストリームは、本発明が適用されるエンコード方法またはビットストリーム生成方法により生成され、上記ストリーミングサーバは、上記ビットストリームを送信または受信する過程で一時的に上記ビットストリームを記憶することができる。
【０２９４】
上記ストリーミングサーバは、ウェブサーバを介するユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、上記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介の役割を果たす。ユーザが上記ウェブサーバに希望のサービスを要求すると、上記ウェブサーバは、これをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。ここで、上記コンテンツストリーミングシステムは、別途の制御サーバを含んでもよく、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。
【０２９５】
上記ストリーミングサーバは、メディア記憶装置および／またはエンコードサーバからコンテンツを受信する。例えば、上記エンコードサーバからコンテンツを受信する場合、上記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間記憶することができる。
【０２９６】
上記ユーザ装置の例としては、携帯電話、スマートフォン（smart phone）、ノートブックコンピュータ（laptop computer）、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを有することができる。
【０２９７】
上記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運用でき、この場合、各サーバで受信するデータは、分散処理されることができる。
【０２９８】
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われることができる。例えば、各図面に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われることができる。
【０２９９】
また、本発明が適用されるデコーダおよびエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（注文型ビデオ）（VoD）サービス提供装置、ＯＴＴ（Over The Top Video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれることができ、ビデオ信号およびデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Over The Top video）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などが含まれる。
【０３００】
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録（記憶）媒体に記憶できる。本発明によるデータ構造を有するマルチメディアデータもまたコンピュータにより読み取りできる記録媒体に記憶できる。上記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが記憶される全ての種類の記憶装置および分散記憶装置を含む。上記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアルバス（汎用直列バス）（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、および光学データ記憶装置を含むことができる。また、上記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームは、コンピュータにより読み取りできる記録媒体に記憶されるか、有無線通信ネットワークを介して送信できる。
【０３０１】
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現され、上記プログラムコードは、本発明の実施形態によりコンピュータにおいて行われる。上記プログラムコードは、コンピュータにより読み取りできるキャリア上に記憶されることができる。
【産業上の利用可能性】
【０３０２】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであり、当業者であれば、以下に添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内において、様々な他の実施形態を改良、変更、代替または付加などが可能であろう。
【図１】
2020529782.tif 000186
【図２】
2020529782.tif 000187
【図３Ａ】
2020529782.tif 000188
【図３Ｂ】
2020529782.tif 000189
【図３Ｃ】
2020529782.tif 000190
【図３Ｄ】
2020529782.tif 000191
【図４】
2020529782.tif 000192
【図５】
2020529782.tif 000193
【図６】
2020529782.tif 000194
【図７】
2020529782.tif 000195
【図８】
2020529782.tif 000196
【図９】
2020529782.tif 000197
【図１０】
2020529782.tif 000198
【図１１】
2020529782.tif 000199
【図１２】
2020529782.tif 000200
【図１３】
2020529782.tif 000201
【図１４】
2020529782.tif 000202
【図１５】
2020529782.tif 000203
【図１６】
2020529782.tif 000204
【図１７】
2020529782.tif 000205
【図１８】
2020529782.tif 000206
【図１９】
2020529782.tif 000207
【国際調査報告】
2020529782.tif 000208
2020529782.tif 000209
2020529782.tif 000210
2020529782.tif 000211
2020529782.tif 000212
2020529782.tif 000213