(57)【要約】      （修正有）【課題】ビデオ符号化における変換選択のための方法および装置を提供する。【解決手段】ビデオ符号化器３００において、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換（３２５、３２６、３２７）のセットからブロックの残差に対して適用する変換（３２９）を選択することによって行う。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。【選択図】図３
2020191647.tif 000002
【特許請求の範囲】
【請求項１】
装置であって、
ピクチャ内の少なくともブロックの符号化を、２つ以上の変換のセットから前記ブロックの残差に適用する変換を選択することによって行うビデオ符号化器（３００）を備え、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
（ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
のうちの少なくとも１つに応じて前記変換が選択される、前記装置。
【請求項２】
前記変換のセットがオフラインで決定される、請求項１に記載の装置。
【請求項３】
前記変換のセットが、
（ｉ）トレーニング・データの使用と、
（ｉｉ）変換の系列のサブセットの選択と、
のうちの少なくとも１つによって決定される、請求項２に記載の装置。
【請求項４】
前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項１に記載の装置。
【請求項５】
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、請求項１に記載の装置。
【請求項６】
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項１に記載の装置。
【請求項７】
ビデオ符号化器における方法であって、
ピクチャ内の少なくともブロックの符号化（５１０）を、２つ以上の変換のセットから前記ブロックの残差に適用する変換を選択すること（５２０）によって行うことを含み、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
（ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
のうちの少なくとも１つに応じて前記変換が選択される（５２０）、前記方法。
【請求項８】
前記変換のセットをオフラインで決定することをさらに含む、請求項７に記載の方法。
【請求項９】
（ｉ）トレーニング・データの使用（５１５）と、
（ｉｉ）変換の系列のサブセットの選択（５２０）と、
のうちの少なくとも１つによって前記変換のセットが決定される、請求項８に記載の方法。
【請求項１０】
前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項７に記載の方法。
【請求項１１】
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、請求項７に記載の方法。
【請求項１２】
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項７に記載の方法。
【請求項１３】
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、請求項７に記載の装置。
【請求項１４】
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項７に記載の装置。
【請求項１５】
装置であって、
ピクチャ内の少なくともブロックの復号を、２つ以上の逆変換のセットから前記ブロックの量子化された係数に適用する逆変換を決定することによって行うビデオ復号器（４００）を備え、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の逆変換選択と、
のうちの少なくとも１つに応じて前記逆変換が決定される、前記装置。
【請求項１６】
ビデオ復号器における方法であって、
ピクチャ内の少なくとものブロックの復号（６１０）を、２つ以上の逆変換のセットから前記ブロックの量子化された係数に適用する逆変換を決定すること（６１５、６２０）によって行うことを含み、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の逆変換選択と、
のうちの少なくとも１つに応じて前記逆変換が決定される、前記方法。
【請求項１７】
符号化されたビデオ信号データを有する記憶媒体であって、
２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって符号化されたピクチャ内の少なくとも１つのブロックに対応するデータを備え、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
（ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
のうちの少なくとも１つに応じて前記変換が選択される、前記記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願とのクロスリファレンス）
本出願は、２００９年１月２７日付で出願された仮出願第６１／１４７,７０５号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。さらに、本出願は、２００９年２月１７日付で出願された仮出願第６１／２０７,７８３号の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。またさらに、本出願は、２つの別の出願との関連性が高い。これらの出願は、本願と同時に出願され、本願と発明者および出願人が同じであり（代理人整理番号ＰＵ０９０１３７およびＰＵ０９０１３８）、各々の開示内容全体を本願に盛り込んだものとし、各々は、２００９年１月２７日付で出願された仮出願第６１／１４７,７０５号および２００９年２月１７日付で出願された仮出願第６１／２０７,７８３号の利益を主張するものである。
【０００２】
本発明は、一般的には、ビデオ符号化および復号に関し、より具体的には、ビデオ符号化および復号のために使用される変換を選択する方法および装置に関する。
【背景技術】
【０００３】
ブロックベースの離散変換は、Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）規格、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ，  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｅｃｔｏｒ（ＩＴＵ−Ｔ）Ｈ．２６３勧告（以下、「Ｈ．２６３勧告」と呼ぶ）、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ（ＩＳＯ／ＩＥＣ）  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−１（ＭＰＥＧ−１）規格、ＭＰＥＧ−２規格、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）規格／ＩＴＵ−Ｔ  Ｈ．２６４勧告（以下、「ＭＰＥＧ−４  ＡＶＣ規格」と呼ぶ）などを含む、多くの画像および映像（イメージおよびビデオ）の規格および勧告の基本的なコンポーネントであり、広範囲のアプリケーションで使用されている。
【０００４】
離散コサイン変換（ＤＣＴ）は、最も広く使用されているブロック変換である。ＤＣＴスキームは、イメージ／フレームを画素のブロック（通常は、４×４および８×８）に分割し、離散コサイン変換を使用して各ブロックを空間ドメインから周波数ドメインに変換し、ＤＣＴ係数を量子化することによって、イメージ／フレームのローカル空間相関プロパティを活用する。イメージおよびビデオの圧縮規格の多くは、固定された二次元（２−Ｄ）の可分のＤＣＴブロック変換を使用する。幾つかのブロック・サイズ（通常、４×４〜１６×１６のブロック）を使用可能である場合は、これらは、ブロックに対応するサイズを有するＤＣＴを使用するが、各ブロック・サイズについて、１つの変換のみが存在しうる。
【０００５】
しかしながら、イメージおよびビデオのコンテンツのデータは、統計およびプロパティが変化する。従って、ブロックのサイズ毎に単一の変換が利用可能であること、すなわち、ブロックのサイズ毎に単一の変換を強制的に使用することでは、このようなブロックのサイズ毎に利用可能な単一の変換ではなく、異なる変換を使用した場合に利用可能となるであろう潜在的な圧縮利得を実現することはできない。
【０００６】
例えば、ＭＰＥＧ−４  ＡＶＣ  規格のようなイメージおよびビデオの符号化規格においては、ブロックのサイズ毎に、ブロック変換にはただ１つの選択肢しか存在しない。ブロック変換に選択は存在しない。
【０００７】
図１を参照すると、ＭＰＥＧ−４  ＡＶＣ規格に従ったビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号１００によって示されている。ビデオ符号化器１００は、結合器１８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ１１０を含む。結合器１８５の出力部は、変換器／量子化器１２５の第１の入力部と信号通信するように結合されている。変換器／量子化器１２５の出力部は、エントロピー符号化器１４５の第１の入力部と、逆変換器／逆量子化器１５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器１４５の出力部は、結合器１９０の第１の非反転入力部と信号通信するように結合されている。結合器１９０の出力部は、出力バッファ１３５の第１の入力部と信号通信するように結合されている。
【０００８】
符号化器制御器１０５の第１の出力部は、フレーム順序付けバッファ１１０の第２の入力部と、逆変換器／逆量子化器１５０の第２の入力部と、ピクチャ・タイプ決定モジュール１１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール１２０の第１の入力部と、イントラ予測モジュール１６０の第２の入力部と、デブロッキング・フィルタ１６５の第２の入力部と、動き補償器１７０の第１の入力部と、動き推定器１７５の第１の入力部と、参照ピクチャ・バッファ１８０の第２の入力部と信号通信するように結合されている。
【０００９】
符号化器制御器１０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器１３０の第１の入力部と、変換器／量子化器１２５の第２の入力部と、エントロピー符号化器１４５の第２の入力部と、出力バッファ１３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＰＰＳ））挿入器１４０の入力部と信号通信するように結合されている。
【００１０】
ＳＥＩ挿入器１３０の出力部は、結合器１９０の第２の非反転入力部と信号通信するように結合されている。
【００１１】
ピクチャ・タイプ決定モジュール１１５の第１の出力部は、フレーム順序付けバッファ１１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール１１５の第２の出力部は、マクロブロック・タイプ決定モジュール１２０の第２の入力部と信号通信するように結合されている。
【００１２】
シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＰＰＳ））挿入器１４０の出力部は、結合器１９０の第３の非反転入力部と信号通信するように結合されている。
【００１３】
逆変換器／逆量子化器１５０の出力部は、結合器１１９の第１の非反転入力部と信号通信するように結合されている。結合器１１９の出力部は、イントラ予測モジュール１６０の第１の入力部と、デブロッキング・フィルタ１６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ１６５の出力部は、参照ピクチャ・バッファ１８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ１８０の出力部は、動き推定器１７５の第２の入力部と信号通信するように結合されている。動き推定器１７５の第１の出力部は、動き補償器１７０の第２の入力部と信号通信するように結合されている。動き推定器１７５の第２の出力部は、エントロピー符号化器１４５の第３の入力部と信号通信するように結合されている。
【００１４】
動き補償器１７０の出力部は、スイッチ１９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール１６０の出力部は、スイッチ１９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール１２０の出力部は、スイッチ１９７の第３の入力部と信号通信するように結合されている。スイッチ１９７の第３の入力は、スイッチの「データ」入力（これは、制御入力、即ち、第３の入力と比較される。）が、動き補償器１７０またはイントラ予測モジュール１６０によって供給されるかどうかを判定する。スイッチ１９７の出力部は、結合器１１９の第２の非反転入力部および結合器１８５の反転入力部と信号通信するように結合されている。
【００１５】
フレーム順序付けバッファ１１０の入力部および符号化器制御器１０５の入力部は、符号化器１００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器１３０の第２の入力部は、符号化器１００の入力部として、メタデータを受信するために利用可能である。出力バッファ１３５の出力部は、符号化器１００の出力部として、ビットストリームを出力するために利用可能である。
【００１６】
図２を参照すると、ＭＰＥＧ−４  ＡＶＣ規格に従ったビデオ復号処理を実行することが可能なビデオ復号器が概ね参照符号２００によって示されている。ビデオ復号器２００は、エントロピー復号器２４５の第１の入力部と信号通信するように結合された出力部を有する入力バッファ２１０を含む。エントロピー復号器２４５の第１の出力部は、逆変換器／逆量子化器２５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器２５０の出力部は、結合器２２５の第２の非反転入力部と信号通信するように結合されている。結合器２２５の出力部は、デブロッキング・フィルタ２６５の第２の入力部と、イントラ予測モジュール２６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ２６５の第２の出力部は、参照ピクチャ・バッファ２８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ２８０の出力部は、動き補償器２７０の第２の入力部と信号通信するように結合されている。
【００１７】
エントロピー復号器２４５の第２の出力部は、動き補償器２７０の第３の入力部と、デブロッキング・フィルタ２６５の第１の入力部と信号通信するように結合されている。エントロピー復号器２４５の第３の出力部は、復号器制御器２０５の入力部と信号通信するように結合されている。復号器制御器２０５の第１の出力部は、エントロピー復号器２４５の第２の入力部と信号通信するように結合されている。復号器制御器２０５の第２の出力部は、逆変換器／逆量子化器２５０の第２の入力部と信号通信するように結合されている。復号器制御器２０５の第３の出力部は、デブロッキング・フィルタ２６５の第３の入力部と信号通信するように結合されている。復号器制御器２０５の第４の出力部は、イントラ予測モジュール２６０の第２の入力部と、動き補償器２７０の第１の入力部と、参照ピクチャ・バッファ２８０の第２の入力部と信号通信するように結合されている。
【００１８】
動き補償器２７０の出力部は、スイッチ２９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール２６０の出力部は、スイッチ２９７の第２の入力部と信号通信するように結合されている。スイッチ２９７の出力部は、結合器２２５の第１の非反転入力部と信号通信するように結合されている。
【００１９】
入力バッファ２１０の入力部は、復号器２００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ２６５の第１の出力部は、復号器２００の出力部として、出力ピクチャを出力するために利用可能である。
【００２０】
単一の符号化スキームにおいて複数の変換を使用するために、従来、幾つかの提案がなされている。第１の従来技術においては、最適な線形変換が開示され、これは、カルーネン・レーベ（Ｋａｒｈｕｎｅｎ  Ｌｏｅｖｅ（ＫＬＴ））変換と呼ばれる。ＫＬＴは、ＭＰＥＧ−４  ＡＶＣ規格における９個のイントラ予測モードの各々について、最良の変換を導出するために用いられる。各モードの統計が抽出され、対応するＫＬＴが導出される。各イントラ予測残差がＫＬＴを用いて符号化される。９個のイントラ・モードは、データ空間を効果的に分割する。これは、ＤＣＴがもはや最良の変換に近いものとはならないような方法で行い、独特な最良の変換を導出可能で、うまく適用されるように行われる。要するに、この提案は、幾つかの変換を使用するものであるが、各々は選択されたイントラ予測モードに固定されている。
【００２１】
第２の従来技術に係るアプローチは、幾つかの周波数にＤＣＴ変換を修正すること、即ち、様々なワープした周波数応答を得るために、複数の異なるオールパス・フィルタを用いて基本機能を変換することを提案している。結果として得られた変換は、ワープされたＤＣＴ（ｗａｒｐｅｄ  ＤＣＴ（ＷＤＣＴ））と呼ばれる。各ブロックについて、徹底的なレート歪み（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ（Ｒ‐Ｄ））サーチが実行され、選択された変換は、副情報を用いて示される。このアイディアは、画像圧縮に適用される。
【００２２】
第３の従来技術に係るアプローチは、ＷＤＣＴを使用し、変換された係数自体の内に変換選択を埋め込むことを記載している。この方法は、低ビットレートの画像圧縮では良好なパフォーマンスを示す。さらに、この方法は、平均二乗誤差（ＭＳＥ）を最小化するポスト・フィルタリングを行うステップを追加するものである。フィルタは、符号化器側で決定され、ビッストリームに多重化される。
【００２３】
第４の従来技術に係るアプローチは、大規模なデータベースのための変換のセットの代数的な最適化を提案している。このセットは、データの特定のサブセットについて、各変換がスパース・オプティマル（ｓｐａｒｓｅ‐ｏｐｔｉｍａｌ）となる安定ポイントに達するまで、反復して分割される。符号化器は、各ブロックにおいてどの変換が使用されるかを、四分木を介して示す。従って、変換の選択は、各ブロックに対して独立して行われるものではない。
【００２４】
第５の従来技術に係るアプローチは、インター・フレーム・モードのための整数サイン変換（ｉｎｔｅｇｅｒ  ｓｉｎｅ  ｔｒａｎｓｆｏｒｍ（ＩＳＴ））を提案している。インター・フレーム残差は、低相関値を有し、ＤＣＴは、相関性の高いデータに対してのみ適している。従って、このアプローチは、−０．５〜０．５の相関値を有するデータに対して効率的な、サイン変換を提案する。この範囲において、部分的に、ＫＬＴは、サイン変換と一致する。ＩＳＴは、ＭＰＥＧ−４  ＡＶＣ規格における整数コサイン変換と全く同様に、サイン変換から導出される。第５の従来技術に係るアプローチは、４×４および８×８のＩＳＴのバージョンを実施している。マクロブロックが４個のサブマクロブロックに分割されない場合には、同じ変換が、マクロブロック全体に適用され、フラグが送信される。次に、各サブマクロブロックにおいて用いられる変換を特定する４個のフラグが送信される。
【００２５】
第６の従来技術に係るアプローチは、第５の従来技術に係るアプローチにおいて提案されているものと同様のスキームを提案している。第６の従来技術に係るアプローチは、空間および周波数ドメインにおいて適応型の予測エラー符号化を可能にする適応型予測エラー符号化（ａｄａｐｔｉｖｅ  ｐｒｅｄｉｃｔｉｏｎ  ｅｒｒｏｒ  ｃｏｄｉｎｇ（ＡＰＥＣ））を提案する。予測エラーの各ブロックについて、変換符号化または空間ドメイン符号化が適用される。より低いレート歪みコストを有するアルゴリズムが選択される。
【００２６】
上述した各アプローチは、最良な変換を選択する範囲が限られたものを提案しており、利用可能な、想定可能なものの全てを十分に活用するものではない。
【発明の概要】
【００２７】
従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、ビデオ符号化における変換選択のための方法および装置に関する本願発明の原理によって対処される。
【００２８】
本願発明の原理の一態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための各変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
【００２９】
本願発明の原理の別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ符号化器は、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。
【００３０】
本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はビデオ・シーケンスにおけるピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
【００３１】
本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。変換のセットは、ブロックのために符号化されることになるデータから決定される。
【００３２】
本願発明の原理の別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことを含む。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための各変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
【００３３】
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことと、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信するステップとを含む。
【００３４】
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとものブロックの符号化を、２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって行う、符号化するステップを含む。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
【００３５】
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、１つ以上の変換のセットを決定することと、ピクチャ内の少なくともブロックの符号化を、変換のセットからブロックの残差に対して適用する変換を選択することによって行うことと、を含む。変換のセットは、ブロックのために符号化されるべきデータから決定される。
【００３６】
本願発明の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。
【００３７】
本願発明の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。
【図面の簡単な説明】
【００３８】
【図１】ＭＰＥＧ−４  ＡＶＣ規格に従ったビデオ符号化を実行する機能を有するビデオ符号化器を示すブロック図である。
【図２】ＭＰＥＧ−４  ＡＶＣ規格に従ったビデオ復号を実行する機能を有するビデオ復号器を示すブロック図である。
【図３】本願発明の原理の実施の形態に従った、本願発明の原理が適用される変換の選択を用いる例示的なビデオ符号化器を示すブロック図である。
【図４】本願発明の原理の実施の形態に従った、本願発明の原理が適用される変換の選択を用いる例示的なビデオ復号器を示すブロック図である。
【図５】本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択のための例示的な方法を示すフロー図である。
【図６】本願発明の原理の実施の形態に従った、ビデオ復号器における変換の選択のための例示的な方法を示すフロー図である。
【図７】本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択および伝達のための例示的な方法を示すフロー図である。
【図８】本願発明の原理の実施の形態に従った、ビデオ復号器における変換の伝達および選択のための例示的な方法を示すフロー図である。
【図９】本願発明の原理の実施の形態に従った、ビデオ符号化器における変換の選択および伝達のための別の例示的な方法を示すフロー図である。
【図１０】本願発明の原理の実施の形態に従った、ビデオ復号器における変換の伝達および選択のための別の例示的な方法を示すフロー図である。
【発明を実施するための形態】
【００３９】
本願の原理は、ビデオ符号化における変換の選択のための方法および装置に関する。
【００４０】
本説明は、本願発明の原理を例示するものである。従って、本願明細書において明示的に記載、または図示されていなくとも、当業者が本願発明の原理を実施する様々な構成を企図することが可能であり、このような構成が本願発明の精神および範囲の中に包含されることが理解できるであろう。
【００４１】
本願明細書に記載された全ての例および条件付の文言は、技術を発展させる、発明者によって寄与された本願発明の原理および概念を読者が理解するのを助けるための教示目的のものであり、このような具体的に記載された例や条件に限定されることなく解釈されるべきである。
【００４２】
また、本願明細書における本願発明の原理、態様、および、本願発明の実施の形態についての全ての記載、さらに、それらの特定の例は、構造的、機能的な均等物を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
【００４３】
従って、例えば、当業者であれば、本願明細書において示されたブロック図は、本願発明の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表すことが理解できよう。これらの処理は、コンピュータによって読み取り可能なメディアにおいて実質的に表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。
【００４４】
各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ（ＤＳＰ）・ハードウエア、ソフトウエアを格納する読み出し専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ、および不揮発性の記憶装置を暗黙的に含むことがある。
【００４５】
また、従来のおよび／または慣習的な他のハードウエアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。文脈からより具体的に理解できるように、実施者により、特定の技術を選択可能である。
【００４６】
特許請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、ａ）機能を実行する回路要素を組み合わせたもの、または、ｂ）形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコード等を含み、機能を実施するためにソフトウエアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願発明の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。
【００４７】
明細書において、本願発明の原理の「一実施の形態」、「実施の形態」、または、この類の表現が言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも１つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、または、この類の表現は、必ずしも、同一の実施の形態について言及するものではない。さらに、本願明細書において、「実施の形態」、「実施態様」という表現は、同じ意味で使用されている。
【００４８】
さらに、本願明細書において、「ピクチャ」および「イメージ（画像）」は、同じ意味で使用されており、静止画像またはビデオ・シーケンスからのピクチャを指す。よく知られているように、ピクチャは、フレームまたはフィールドである。
【００４９】
さらに、本願明細書において使用されている単語「ブロック」は、スーパーマクロブロック、マクロブロック・パーティション、さらに、サブマクロブロック・パーティションを含み、任意のブロック・サイズのブロックを指す。
【００５０】
さらに、変換のセット、または、変換に関し、本願明細書において使用されている単語「リファインメント」は、リファレンス（参照）の変換／変換のセットから変換／変換のセットを導出するのに必要な情報を指す。通常、ゼロから変換／変換のセットを導出するために必要な全ての情報を送信するよりも、変換／変換のセットの「差」（リファインメント）の情報を送信する方がより効率的である。
【００５１】
さらに、本願明細書において使用されている用語「副情報」は、通常のビットストリーム内に存在しない追加的なデータを復号器に伝達するためにビットストリーム内に含まれていなければならない追加的な情報を指す。例えば、２つの変換がブロックを符号化するために使用される場合には、選択された変換が信号送信されて復号器が何の逆変換を使用するべきか分かるようにしなければならない。従って、符号化器は、何の逆変換が使用されるべきかを示す１ビットの「副情報」を含む場合がある。
【００５２】
「／（スラッシュ）」、「および／または」、さらに、「〜のうちの少なくとも一方（〜のうちの少なくとも１つ）」の使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、「ＡおよびＢのうちの少なくとも一方」の場合、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、または、両方のオプション（ＡおよびＢ）の選択を包含するものと意図されている。別の例として、「Ａ、Ｂ、および／またはＣ」、さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、このような文言は、１番目に列挙されたオプション（Ａ）のみの選択、２番目に列挙されたオプション（Ｂ）のみの選択、３番目に列挙されたオプション（Ｃ）のみの選択、１番目および２番目に列挙されたオプション（ＡおよびＢ）のみの選択、２番目および３番目に列挙されたオプション（ＡおよびＣ）のみの選択、２番目および３番目に列挙されたオプション（ＢおよびＣ）のみ、または、全ての３つのオプション（Ａ、Ｂ、およびＣ）の選択を包含するものと意図されている。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。
【００５３】
さらに、本願明細書において、本願発明の原理の１つ以上の実施の形態は、ＭＰＥＧ−４  ＡＶＣ規格に対する（または、ＭＰＥＧ−４  ＡＶＣ規格に関する）改良として記載されているが、本願発明の原理は、この規格のみに限定されるものではない。従って、本願発明の原理は、本願発明の原理の精神を逸脱することなく、ＭＰＥＧ−４  ＡＶＣ規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。
【００５４】
さらに、本願発明の原理は、ビデオ符号化における変換選択のための方法および装置に関する。画像および映像（イメージおよびビデオ）のコンテンツのデータは、統計およびプロパティが変化することが分かれば、さらに、各ブロックについて幾つかの変換が使用される可能性があり、状況毎に、選択肢の範囲内で最も好ましい変換を選択する場合、潜在的に実現されうる圧縮利得が存在することが分かる。少なくとも１つの実施の形態においては、所与の統計またはパターンに対して変換のセットを最適化／設計し、このセットから、各領域またはブロックについて、最良の変換を選択することを提案する。
【００５５】
従来技術において考慮されていない代替手段を含む、より一般的で広範囲のアプローチを提案する。本願発明の原理に従って、変換のセット（２つ以上の変換）を使用することを記載し、各領域、スライス、ブロック、または、マクロブロックについて、このセットのうち、最良の変換を選択してイメージまたはビデオを符号化する。変換のセットは、統計またはイメージ／ビデオ・パターンの範囲について、最適化、または設計することができる。さらに、本願発明の原理は、最良の変換を選択し、選択された変換を適切に信号送信して、イメージ／ビデオ復号器が選択情報を効率的に復元できるようにする方法に関する。
【００５６】
ビデオ符号化器およびビデオ復号器を１つの可能な変換のみを有するように制限する必要はない。一実施の形態においては、最良のパフォーマンスを得るために、各ブロック、マクロブロック、または、領域について、複数の異なる変換からの選択をビデオ符号化器が行えるようにすることを提案する。そこで、一実施の形態においては、符号化器内の変換のセットを、潜在的な利得を損なわせることのないようなライト（ｌｉｇｈｔ）・シンタックスと組み合わせる。
【００５７】
図３を参照すると、変換選択を有する例示的なビデオ符号化器が概ね参照符号３００によって示されている。ビデオ符号化器３００は、結合器３８５の非反転入力部と信号通信する出力部を有するフレーム順序付けバッファ３１０を含む。結合器３８５の出力部は、変換器／量子化器１  ３２５の入力部と、変換器／量子化器２  ３２６の入力部と、変換器／量子化器ｎ  ３２７の入力部と信号通信するように結合されている。変換器／量子化器１  ３２５の出力部は、変換セレクタ３２９の第１の入力部と信号通信するように結合されている。変換器／量子化器２  ３２６の出力部は、変換セレクタ３２９の第２の入力部と信号通信するように結合されている。変換器／量子化器ｎ  ３２７の出力部は、変換セレクタ３２９の第３の入力部と信号通信するように結合されている。変換セレクタ３２９の出力部は、エントロピー符号化器３４５の第１の入力部と、逆変換器／逆量子化器３５０の第１の入力部と信号通信するように結合されている。エントロピー符号化器３４５の出力部は、結合器３９０の第１の非反転入力部と信号通信するように結合されている。結合器３９０の出力部は、出力バッファ３３５の第１の入力部と信号通信するように結合されている。
【００５８】
符号化器制御器３０５の第１の出力部は、フレーム順序付けバッファ３１０の第２の入力部と、逆変換器／逆量子化器３５０の第２の入力部と、ピクチャ・タイプ決定モジュール３１５の入力部と、マクロブロック・タイプ（ＭＢタイプ）決定モジュール３２０の第１の入力部と、イントラ予測モジュール３６０の第２の入力部と、デブロッキング・フィルタ３６５の第２の入力部と、動き補償器３７０の第１の入力部と、動き推定器３７５の第１の入力部と、参照ピクチャ・バッファ３８０の第２の入力部と信号通信するように結合されている。
【００５９】
符号化器制御器３０５の第２の出力部は、補助拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））挿入器３３０の第１の入力部と、エントロピー符号化器３４５の第２の入力部と、出力バッファ３３５の第２の入力部と、シーケンス・パラメータ・セット（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＳＰＳ））／ピクチャ・パラメータ・セット（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ（ＰＰＳ））挿入器３４０の入力部と信号通信するように結合されている。
【００６０】
ＳＥＩ挿入器３３０の出力部は、結合器３９０の第２の非反転入力部と信号通信するように結合されている。
【００６１】
ピクチャ・タイプ決定モジュール３１５の第１の出力部は、フレーム順序付けバッファ３１０の第３の入力部と信号通信するように結合されている。ピクチャ・タイプ決定モジュール３１５の第２の出力部は、マクロブロック・タイプ決定モジュール３２０の第２の入力部と信号通信するように結合されている。
【００６２】
シーケンス・パラメータ・セット（ＳＰＳ）／ピクチャ・パラメータ・セット（ＰＰＳ）挿入器３４０の出力部は、結合器３９０の第３の非反転入力部と信号通信するように結合されている。
【００６３】
逆変換器／逆量子化器３５０の出力部は、結合器３１９の第１の非反転入力部と信号通信するように結合されている。結合器３１９の出力部は、イントラ予測モジュール３６０の第１の入力部と、デブロッキング・フィルタ３６５の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ３６５の出力部は、参照ピクチャ・バッファ３８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ３８０の出力部は、動き推定器３７５の第２の入力部と、動き補償器３７０の第３の入力部と信号通信するように結合されている。動き推定器３７５の第１の出力部は、動き補償器３７０の第２の入力部と信号通信するように結合されている。動き推定器３７５の第２の出力部は、エントロピー符号化器３４５の第３の入力部と信号通信するように結合されている。
【００６４】
動き補償器３７０の出力部は、スイッチ３９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール３６０の出力部は、スイッチ３９７の第２の入力部と信号通信するように結合されている。マクロブロック・タイプ決定モジュール３２０の出力部は、スイッチ３９７の第３の入力部と信号通信するように結合されている。スイッチ３９７の第３の入力は、スイッチの（制御入力、即ち、第３の入力と比較される）「データ」入力が、動き補償器３７０またはイントラ予測モジュール３６０によって提供されるかどうかを判定する。スイッチ３９７の出力部は、結合器３１９の第２の非反転入力部および結合器３８５の反転入力部と信号通信するように結合されている。
【００６５】
フレーム順序付けバッファ３１０の入力部および符号化器制御器３０５の入力部は、符号化器３００の入力部として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報（ＳＥＩ）挿入器３３０の入力部は、符号化器３００の入力部として、メタデータを受信するために利用可能である。出力バッファ３３５の出力部は、符号化器３００の出力部として、ビットストリームを出力するために利用可能である。
【００６６】
一実施の形態においては、ビデオ符号化器３００は、ｎ個の変換のセットから最良の変換を選択し、選択された変換の副情報を送信する。そして、選択された変換（ｉで示す）について、逆変換が実行される。本実施の形態においては、符号化器および復号器側で、各変換がオフラインで導出されて利用可能である。一実施の形態においては、エントロピー符号化器３４５によって実行されるエントロピー符号化は、変更／修正され、どのような変換が使用されているかについての追加的な情報を受け入れる。さらに、これは、各変換が異なるエントロピー符号化（異なる走査順、異なるコンテキストなど）を必要とすることがあるためである。
【００６７】
図４を参照すると、変換選択を有する例示的なビデオ復号器が概ね参照符号４００によって示されている。ビデオ復号器４００は、エントロピー復号器４４５の第１の入力部と信号通信するように結合された出力を有する入力バッファ４１０を含む。エントロピー復号器４４５の第１の出力部は、逆変換器／逆量子化器ｉ  ４５０の第１の入力部と信号通信するように結合されている。逆変換器／逆量子化器ｉ  ４５０の出力部は、結合器４２５の第２の非反転入力部と信号通信するように結合されている。結合器４２５の出力部は、デブロッキング・フィルタ４６５の第２の入力部と、イントラ予測モジュール４６０の第１の入力部と信号通信するように結合されている。デブロッキング・フィルタ４６５の第２の出力部は、参照ピクチャ・バッファ４８０の第１の入力部と信号通信するように結合されている。参照ピクチャ・バッファ４８０の出力部は、動き補償器４７０の第２の入力部と信号通信するように結合されている。
【００６８】
エントロピー復号器４４５の第２の出力部は、動き補償器４７０の第３の入力部と、デブロッキング・フィルタ４６５の第１の入力部と信号通信するように結合されている。エントロピー復号器４４５の第３の出力部は、復号器コントローラ４０５の入力部と信号通信するように結合されている。復号器コントローラ４０５の第１の出力部は、エントロピー復号器４４５の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第２の出力部は、逆変換器／逆量子化器ｉ  ４５０の第２の入力部と信号通信するように結合されている。復号器コントローラ４０５の第３の出力部は、デブロッキング・フィルタ４６５の第３の入力部と信号通信するように結合されている。復号器コントローラ４０５の第４の出力部は、イントラ予測モジュール４６０の第２の入力部と、動き補償器４７０の第１の入力部と、参照ピクチャ・バッファ４８０の第２の入力部と信号通信するように結合されている。
【００６９】
動き補償器４７０の出力部は、スイッチ４９７の第１の入力部と信号通信するように結合されている。イントラ予測モジュール４６０の出力部は、スイッチ４９７の第２の入力部と信号通信するように結合されている。スイッチ４９７の出力部は、結合器４２５の第１の非反転入力部と信号通信するように結合されている。
【００７０】
入力バッファ４１０の入力部は、復号器４００の入力部として、入力ビットストリームを受信するために利用可能である。デブロッキング・フィルタ４６５の第１の出力部は、復号器４００の出力部として、出力ピクチャを出力するために利用可能である。
【００７１】
符号化されるデータが利用可能であるとき、または、適切なトレーニング・データのセットが存在するときに、変換の最適なセットを導出する技術が存在する。例えば、幾つかのシーケンスのトレーニング・セットが利用可能であり、これらの技術は、データの各部分について、各変換が最良となるように、データ空間を分割する変換のセットを提供する。そこで、所与のブロックについて、符号化器は、ブロックが属するデータのタイプを決定し、適切な変換を使用しなければならない。変換のセットを導出するこれらの技術は、共通のＫＬＴ、スパース性目的関数（ｓｐａｒｓｉｔｙ  ｏｂｊｅｃｔｉｖｅ  ｆｕｎｃｔｉｏｎ）、さらに／または、本技術分野および関連する技術分野の当業者によって公知であるか、容易に導き出される技術に基づくものにすることができる。このような技術が利用可能であることを想定した上で、効率的に変換のセットを使用する方法、即ち、最良の変換を選択する方法、さらに、符号化器から情報を復号器に効率的に伝達する方法について述べる。
【００７２】
変換のセットの決定
次に、本願において、使用されている変換のセットを決定する方法について説明する。
【００７３】
一つの実施形態においては、変換のセットは、トレーニング・データとしてシーケンスのセットを用いて、オフラインで導出される。上述したように、良好なトレーニング・セットが確定されると、ＫＬＴに基づく方法、スパース性に基づく方法、エネルギー圧縮、または、その他の方法を使用して変換のセットを導出することができる。
【００７４】
変換のセットに対して、先験的な（ｐｒｉｏｒｉ）設計基準（方向性、周波数など）に基づいて変換を導出する方法が存在する。さらに、上述した第４の従来技術は、代数最適化処理を用いたトレーニング・データに基づくオフライン最適化を提案している。この処理は、所与のデータのために適した変換のセットを取得することを意図したコスト関数によって行われる。コスト関数は、圧縮の目的に沿った２つの条件からなる。このアルゴリズムは、再構成エラー条件を最小にしようとする一方で、変換係数表現のスパース性に関連する条件を最大にしようとするものである。原理上は、スパース性が高まることは、係数の情報を伝達するビットレートが低下することを意味する。本願では、さらに、上記従来技術の少なくとも２つの欠点を克服するアプローチを提案する。第一に、上記のコスト関数の両方の条件のバランスをとるために、重みを明示的に提供する。第二に、より重要なこととして、単一の２−Ｄの不可分の変換の代わりに、最適な垂直の変換および水平の変換を導出することを提案する。このアプローチは、これらの方向の双方の同時最適化を連結することを提案しており、これには、可分な変換のセットに必要な演算量およびメモリが不可分な変換のセットに必要な演算量とメモリよりも少なくなるという、実際のアプリケーションにおいて重要となる利点がある。これと同時に、垂直方向および水平方向における変換を異ならせることができるようにすることにより、両方の方向のために単一のカーネルを有する場合よりもイメージおよびビデオの各ブロックの豊かさをより良好にとらえることが可能となる。
【００７５】
「変換のセット」という表現を用いる際、これらの変換の各々は、不可分である場合もあるし、可分である場合もある。これらの変換が可分である場合、各方向（垂直／水平）は、同じであることもあれば、異なることもある。
【００７６】
別の実施の形態においては、変換の系列（ｆａｍｉｌｙ）のサブセットが選択され、この際、入力データを符号化するためにこのサブセットが良好な特性を有するようにする。例として、符号化するビデオ・データのためにＷＤＣＴのサブセットを決定することができる。さらに、重複変換のサブセットを決定することができる。サブセットが決まると、符号化器は、系列のサブセット内で何の変換が使用されるかの情報を伝達するだけでよい。
【００７７】
別の実施の形態においては、再構成されたビデオの品質に従って、変換のサブセットが選択される。符号化器の量子化ステップ、量子化パラメータ（ＱＰ）、目標ビットレート、ＰＳＮＲ、および／または、所望な出力ビデオ品質を示す任意の尺度パラメータによって、出力の品質が決定される。
【００７８】
別の実施の形態においては、変換のセットは、既に符号化されているデータからオンライン（ｏｎｌｉｎｅ）で導出される。本実施の形態の２つの例示的な実施態様を、以下の通りに示す。１つの例示的な実施態様によれば、前のフレームの再構成されたデータは、利用可能な方法のいずれかにより変換のセットを導出するために、トレーニング・セットとして使用される。別の例示的な実施態様においては、再構成されたデータが使用されて、現在使用中の変換のリファインメントを行うことにより、現在のデータの統計と一致するように、変換がオンラインで更新されるようにする。
【００７９】
別の実施の形態においては、符号化されることになるデータから変換のセットが導出される。符号化されることになるこのようなデータには、限定するものではないが、符号化する次のフレームから得られるオリジナルのフレームまたは統計値が挙げられる。従って、符号化器は、シーケンス、または、シーケンスの次の部分を分析し、利用可能な方法のいずれかを用いて使用する最良の変換のセットを決定するか、または、使用する最良の変換の系列を選択する。この場合、符号化器は、副情報として、使用しようとする変換のセットを送信する必要がある。本実施の形態の幾つかの例示的な実施態様を以下に示す。第１の例示的な実施態様においては、符号化器は、変換の最良のセットを見つけ、使用する全ての変換を送信する。第２の例示的な実施態様においては、使用する最良の変換のセットを見つけ、復号器は、前に復号されたデータから最良のセットを推定することを試行し、これにより、復号器によって推定された変換のリファインメントを符号化器が送信するだけでよいようにする（符号化器と復号器との間でエラーやミスマッチが生じないようにする）。第３の例示的な実施態様においては、符号化器は、（符号化器側と復号器側の双方で利用可能な）変換の様々なセットから、使用する最良のセットを選択し、この特定のセットを復号器に信号送信する。第４の実施態様においては、符号化器は、データに最も適している変換の系列から変換の特定のセットを見つける。次に、符号化器は、選択されている変換の系列の特定のサブセットを復号器に伝達する。
【００８０】
選択された変換の伝達
次に、符号化器と復号器との間で一致が確保されるように、選択された変換を復号器に示す方法について説明する。
【００８１】
一実施態様においては、符号化器は、スライス、マクロブロック、または、ブロック・レベルでのシンタックスに含まれるフラグを用いて選択された変換を復号器に送信することができる。一つの実施形態においては、符号化器側で、各ブロックについて、最良の変換がレート歪みコスト関数を用いて決定される。
【００８２】
別の実施形態においては、選択された変換がフレーム内の複数の異なる領域のために、選択された変換を明示的かつフレキシブルに特定可能なように、四分木（クワッドツリー）または他のタイプのツリーを用いて選択された変換が伝達される。このように、変換の領域は、前の実施の形態の単純なブロック形状よりも、自由に決められるものである。
【００８３】
別の実施形態においては、選択された変換は、変換係数自体の内部の（どの変換を使用することになるかを示す）フラグを隠すことによって、送信することができる。この代替的手段の、想定される実施形態について、以下に説明する。変換のセットにおいて、２つの変換のみが存在するものと仮定する。そこで、変換１が選択されると、符号化器は、変換係数の合計を偶数にする。変換２が選択されると、符号化器は、変換係数の合計を奇数にする。復号器側において、変換係数が復元され、これらの合計のパリティが算出される。パリティが偶数であれば、適用する逆変換は、変換１のものである。パリティが奇数であれば、適用される逆変換は、変換２のものである。このようにして、フラグは、変換係数の中に隠すことができ、復号器側で復元可能であるため、符号化器と復号器の双方が同期している。係数の中にフラグを隠すことは、２つの変換を有するように限定されないことは明らかである。このような技術は、簡単に、任意の数の変換に拡張することができる。
【００８４】
別の実施の形態においては、選択された変換の明示的な情報が送信されない。この場合、そのような情報を既に復号されているデータから推定することができる。この情報は、符号化器と復号器の両方で利用可能でなければならず、データから選択された変換を抽出する方法は、符号化器と復号器の両方において、同じでなければならず、これらは同期している。様々な情報から変換を選択することができる。以下、この暗黙的な信号送信の５つの特定の実施の形態について述べる。もちろん、本願の原理は、暗黙的な信号送信に関する以下の実施の形態に限定されるものではなく、本明細書中に提供された本願の原理の開示内容に鑑み、本技術分野、さらに、関連する技術分野における当業者であれば、本願の原理を逸脱することなく、これらの実施態様およびその他の実施態様を企図することができるであろう。
【００８５】
第１の実施の形態においては、変換を暗黙的に信号送信するためにインター予測モードが用いられる。この実施の形態の一実施態様においては、直接モードであれば、変換１が使用される。そうでない場合には、変換２が使用される。
【００８６】
第２の実施の形態においては、動きベクトルを使用して変換を暗黙的に信号送信する。使用される変換は、ブロック（ブロックのサイズ、方向、参照ピクチャなど）の動きベクトルに依存させることができる。
【００８７】
第３の実施の形態においては、変換は、前に符号化されたブロックの残差に依存する。そこで、前に符号化されたブロックの残差の統計値がセット内の何の変換が使用されるかを決定する。
【００８８】
第４の実施の形態においては、変換の選択は、ブロックのために予測されたデータに依存する。残差と予測データの間には、最良の変換を選択する際に利用可能な、何らかの相関が存在する。例として、予測が方向の要素を有している場合には、この方向性は、通常、残差においても明白である。そこで、所与の方向に対する方向性の変換を使用することで、良好なパフォーマンスが生み出される。なぜならば、方向性の変換は、非方向性の変換とは異なり、残差の方向性の要素を利用できるからである。
【００８９】
第５の実施の形態においては、変換の選択は、符号化器側と復号器側の双方で利用可能な、隣接する再構成済のブロックの変換選択に依存させることができる。
【００９０】
システム
本願発明の原理は、２つの部分、即ち、変換のセットの選択の方法、さらに、各々の特定のブロックのセットの内で選択された変換を伝達する方法に関すると考えることができる。これらの２つの部分の各々のために、幾つかの代替手段が提案される。これらの提案されたアプローチは、各々の部分のために提案された代替手段のいずれかを組み合わせることができる。また、各変換は、特定の量子化処理、さらに、エントロピー符号化に先立って、各係数の異なる走査順を必要とする場合がある。さらに、各走査順は、各変換の統計値に対して適応したものである場合がある。一つの実施形態においては、各変換の走査順は、特定の係数の位置が以前に有意なものとして符号化された回数に適応させることができる。本願発明の原理は、以下の変換の拡張を考慮している。これらは、変換の量子化処理、変換の走査順、さらに、この走査順の潜在的な適応可能性である。
【００９１】
図５を参照すると、ビデオ符号化器における変換選択のための例示的な方法が概ね参照符号５００によって示されている。方法５００は、制御を機能ブロック５１０に受け渡す開始ブロック５０５を含む。機能ブロック５１０は、符号化のためのビデオ・シーケンスを受信し、制御を機能ブロック５１５に受け渡す。機能ブロック５１５は、トレーニング・データ、各々が変換の各系列を表す１つ以上の変換のセット、既に符号化されているデータ、さらに、符号化されるべきデータのうちの１つ以上を決定し、制御を機能ブロック５２０に受け渡す。機能ブロック５２０は、トレーニング・データ、各々が変換の系列の各部分を表す１つ以上の変換のサブセット、既に符号化されているデータ、さらに、符号化されるべきデータのうちの１つ以上に依存して変換ｉを選択し、制御を機能ブロック５２５に受け渡す。機能ブロック５２５は、選択された変換ｉを使用して変換し、ビデオ・シーケンスのピクチャ内のブロックのブロック残差データを量子化し、制御を機能ブロック５３０に受け渡す。機能ブロック５３０は、量子化された係数を出力し、制御を終了ブロック５９９に受け渡す。
【００９２】
トレーニング・データと１つ以上の変換のセットのうちの１つ以上は、オンラインで決定されてもよく（即ち、ビデオ・シーケンスの符号化の間に決定されてもよく）、オフラインで決定されてもよい（例えば、ビデオ・シーケンスの符号化の前に決定されてもよい）ことが理解できよう。
【００９３】
図６を参照すると、ビデオ復号器における変換選択のための例示的な方法が概ね参照符号６００によって示されている。方法６００は、制御を機能ブロック６１０に受け渡す開始ブロック６０５を含む。機能ブロック６１０は、復号のためのビットストリームを受信し、ビットストリームの復号を開始し、制御を機能ブロック６１５に受け渡す。機能ブロック６１５は、トレーニング・データ、各々が変換の各系列を表す１つ以上の変換のセット、既に復号されているデータ、さらに、復号されることになるデータのうちの１つ以上を決定し、制御を機能ブロック６２０に受け渡す。機能ブロック６２０は、トレーニング・データ、各々が変換の系列の各部分を表す１つ以上の変換のサブセット、既に復号されているデータ、さらに、復号されることになるデータのうちの１つ以上に依存して変換ｉを選択し、制御を機能ブロック６２５に受け渡す。機能ブロック６２５は、選択された変換ｉを用いて、ビデオ・シーケンスのピクチャ内のブロックに対し、逆変換を行い、量子化された係数を逆量子化し、制御を機能ブロック６３０に受け渡す。機能ブロック６３０は、ブロック残差データを出力し、制御を終了ブロック６９９に受け渡す。
【００９４】
トレーニング・データと１つ以上の変換のセットのうちの１つ以上は、オンラインで決定されてもよく（即ち、ビデオ・シーケンスの復号の間に決定されてもよく）、オフラインで決定されてもよい（例えば、ビデオ・シーケンスの復号の前に決定されてもよい）ことが理解できよう。
【００９５】
図７を参照すると、ビデオ符号化器における変換の選択および伝達のための例示的な方法が概ね参照符号７００によって示されている。方法７００は、制御を機能ブロック７１０に受け渡す開始ブロック７０５を含む。機能ブロック７１０は、符号化のための入力フレームを受信し、制御を機能ブロック７１５に受け渡す。機能ブロック７１５は、１つ以上の変換のセットのトレーニングを行い、制御を機能ブロック７６５およびループ端ブロック７２０に受け渡す。機能ブロック７６５は、フレーム内で使用される変換のセットを出力し、制御を機能ブロック７７０に受け渡す。ループ端ブロック７２０は入力フレームに渡った各ブロックに対してループを実行し、制御を機能ブロック７２５に受け渡す。機能ブロック７２５は、ブロック残差を取得し、制御をループ端ブロック７３０に受け渡す。ループ端ブロック７３０は、１つ以上の変換のセットに対してループを実行し、制御を機能ブロック７３５に受け渡す。機能ブロック７３５は、１つ以上の変換のセットにおける各変換に関してレート歪み分析を実行し、制御をループ端ブロック７４０に受け渡す。ループ端ブロック７４０は、各変換に対するループを終了し、制御を機能ブロック７４５に受け渡す。機能ブロック７４５は、現在のブロックのために最良の変換を決定し、制御をループ端ブロック７５０に受け渡す。ループ端ブロック７５０は、各ブロック対するループを終了し、制御を機能ブロック７５５および機能ブロック７６０に受け渡す。機能ブロック７５５は、各ブロックについて、量子化された係数を出力し、制御を機能ブロック７７０に受け渡す。機能ブロック７６０は、各ブロックについて、選択された変換を出力し、制御を機能ブロック７７０に受け渡す。機能ブロック７７０は、量子化された係数、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、さらに、フレーム内の各ブロックの選択された変換を送信する。この際、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換は、明示的または暗黙的に送信される。そして、機能ブロック７７０は、制御を終了ブロック７９９に受け渡す。ブロック７７０に関し、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換が暗黙的に送信される場合には、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換を示す情報が実際の変換の代わりに送信されることがある点が理解できよう。このような場合、復号器は、暗黙的な情報から変換を導出することができる。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報がビットストリームに関する副情報として送信されることがある。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報は、１つ以上のフラグおよび／またはシンタックス要素を用いて送信されることがある。
【００９６】
図８を参照すると、ビデオ復号器における変換の伝達および選択のための例示的な方法が概ね参照符号８００によって示されている。方法８００は、制御を機能ブロック８１０、機能ブロック８１５、および、機能ブロック８２０に受け渡す開始ブロック８０５を含む。機能ブロック８１０は、明示的または暗黙的に、復号しようとする現在のフレームのために使用されることになる変換のセット、または、セットに対するリファインメントを受信し、制御を機能ブロック８３０に受け渡す。機能ブロック８１５は、現在のフレーム内の各ブロックについて、量子化された係数を受信し、制御をループ端ブロック８２５に受け渡す。機能ブロック８２０は、明示的または暗黙的に、現在のフレーム内の各ブロックについて、選択された変換を受信し、制御を機能ブロック８３０に受け渡す。ループ端ブロック８２５は、現在のフレーム内の各ブロックに対してループを実行し、制御を機能ブロック８３０に受け渡す。機能ブロック８３０は、現在のブロックのための逆変換を決定し、制御を機能ブロック８３５に受け渡す。機能ブロック８３５は、ブロックのために決定された逆変換を適用し、制御をループ端ブロック８４０に受け渡す。ループ端ブロック８４０は、ループを終了し、制御を機能ブロック８４５に受け渡す。機能ブロック８４５は、各ブロックについて、ブロック残差を出力し、制御を終了ブロック８９９に受け渡す。
【００９７】
機能ブロック８１０および８２０に関し、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換が暗黙的に送信される場合には、フレームにおいて使用されるべき変換のセット（または、セットに対するリファインメント）および／またはフレーム内の各ブロックの選択された変換を示す情報が実際の変換の代わりに受信されることがある点が理解できよう。このような場合、復号器は、暗黙的な情報から（例えば、機能ブロック８３０によって）変換を導出することができる。さらに、フレームにおいて使用されることになる変換のセット（または、セットに対するリファインメント）、フレーム内の各ブロックの選択された変換、および／または、上述したもののうちの少なくとも１つを表す情報がビットストリームに関する副情報として受信されることがある。
【００９８】
図９を参照すると、ビデオ符号化器における変換の選択および伝達のための別の例示的な方法が概ね参照符号９００によって示されている。方法９００は、制御を機能ブロック９１０に受け渡す開始ブロック９０５を含む。機能ブロック９１０は、符号化されるべきフレームを入力し、制御を機能ブロック９１５に受け渡す。機能ブロック９１５は、１つ以上の変換のセットのトレーニングを行い、制御を機能ブロック９７０およびループ端ブロック９２０に受け渡す。ループ端ブロック９２０は、フレーム内の各ブロックに対してループを実行し、制御を機能ブロック９２５に受け渡す。機能ブロック９２５は、現在のブロックのブロック残差を取得し、制御をループ端ブロック９３０に受け渡す。ループ端ブロック９３０は、１つ以上の変換のセットに対してループを実行し、制御を機能ブロック９３５に受け渡す。機能ブロック９３５は、現在のブロックの変換および係数の量子化を行い、制御を機能ブロック９４０に受け渡す。機能ブロック９４０は、各係数の中にフラグを埋め込み、制御を機能ブロック９４５に受け渡す。機能ブロック９４５は、レート歪み（ＲＤ：ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）分析を実行し、制御をループ端ブロック９５０に受け渡す。ループ端ブロック９５０は、各変換に対するループを終了し、制御を機能ブロック９５５に受け渡す。機能ブロック９５５は、現在のブロックのために最良の変換を決定し、制御を機能ブロック９６０に受け渡す。機能ブロック９６０は、各ブロックについて、量子化された係数を出力し、制御をループ端ブロック９６５に受け渡す。ループ端ブロック９６５は、各ブロックに対するループを終了し、制御を終了ブロック９９９に受け渡す。
【００９９】
図１０を参照すると、ビデオ復号器における変換の伝達および選択のための別の例示的な方法が概ね参照符号１０００によって示されている。方法１０００は、制御を機能ブロック１０１０およびループ端ブロック１０１５に受け渡す開始ブロック１００５を含む。機能ブロック１０１０は、明示的または暗黙的に、復号しようとする現在のフレームのために使用されるべき変換のセットを受信し、制御を機能ブロック１０３０に受け渡す。ループ端ブロック１０１５は、現在のフレーム内の各ブロックに対するループを実行し、制御を機能ブロック１０２０に受け渡す。機能ブロック１０２０は、現在のフレーム内の各ブロックについて、量子化された係数を受信し、制御を機能ブロック１０２５に受け渡す。機能ブロック１０２５は、係数から埋め込まれたフラグを抽出し、制御を機能ブロック１０３０に受け渡す。機能ブロック１０３０は、埋め込まれたフラグに基づいて現在のブロックに適用する逆変換を決定し、制御を機能ブロック１０３５に受け渡す。機能ブロック１０３５は、決定された逆変換を使用してブロックを逆変換し、制御を機能ブロック１０４０に受け渡す。機能ブロック１０４０は、ブロック残差を出力し、制御をループ端ブロック１０４５に受け渡す。ループ端ブロック１０４５は、ループを終了し、制御を終了ブロック１０９９に受け渡す。
【０１００】
本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
【０１０１】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、変換のセットがオフラインで決定される、この装置である。
【０１０２】
さらに、別の利点／特徴は、上述したような、変換のセットがオフラインで決定される符号化器を有する装置であって、変換のセットが、トレーニング・データの使用と、変換の系列のサブセットの選択と、のうちの少なくとも１つによって決定される、この装置である。
【０１０３】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、この装置である。
【０１０４】
さらに、別の利点／特徴は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。このビデオ符号化器は、選択された変換を記述する情報を、１つ以上のフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。
【０１０５】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、変換のセットは、トレーニング・データを使用することと変換系列のサブセットを選択することのうちの少なくとも一方によって決定される、この装置である。
【０１０６】
さらに、別の利点／特徴はビデオ・シーケンスにおけるピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
【０１０７】
さらに、別の利点／特徴は、ピクチャ内の少なくともブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。変換のセットは、ブロックのために符号化されるべきデータから決定される。
【０１０８】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換のセットを決定し、変換のセットを副情報として対応する復号器に送信する、この装置である。
【０１０９】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換のセットを決定し、ビデオ符号化器と同じ変換のセットを導出するために、リファインメントおよび既に復号されているデータから対応する復号器が変換のセットを予測できるようにする、変換のセットに対するリファインメントを決定し、リファインメントを対応する復号器に送信する、この装置である。
【０１１０】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、複数の変換のセットから変換のセットを決定し、変換のセットを副情報として送信する、この装置である。
【０１１１】
さらに、別の利点／特徴は、上述した符号化器を有する装置であって、ビデオ符号化器は、変換の系列から、変換の系列のサブセットを表す変換のセットを決定し、ビデオ符号化器は、変換の系列のサブセットのみを送信する、この装置である。
【０１１２】
本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウエア、ソフトウエア、ファームウエア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。
【０１１３】
より好ましくは、本願の原理の開示内容は、ハードウエアおよびソフトウエアを組み合わせて実施される。さらに、ソフトウエアは、プログラム・ストレージ・ユニットに上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力部（Ｉ／Ｏ）インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、ＣＰＵによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
【０１１４】
添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本願明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願発明の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。
【０１１５】
添付図面を参照して本願明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の特許請求の範囲に定義されたような本願の原理の範囲に含まれるように意図されている。
【図１】
2020191647.tif 000003
【図２】
2020191647.tif 000004
【図３】
2020191647.tif 000005
【図４】
2020191647.tif 000006
【図５】
2020191647.tif 000007
【図６】
2020191647.tif 000008
【図７】
2020191647.tif 000009
【図８】
2020191647.tif 000010
【図９】
2020191647.tif 000011
【図１０】
2020191647.tif 000012
【手続補正書】
【提出日】令和2年8月18日(2020.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
ピクチャ内の少なくとものブロックの復号を、２種類以上の逆変換のセットから、ビデオ・シーケンスにおけるピクチャ間の残差に対応する、前記ブロックの量子化された係数に適用する少なくとも１つの逆変換を決定することによって行うことを含み、
前記ブロックに対して使用するために選択することができるいくつかの逆変換から、前記ブロックの予測のために使用されるインター予測モードに応じて前記逆変換が選択され、変換の選択が、前記ブロックの異なる領域のために特定される、方法。
【請求項２】
装置であって、
２種類以上の逆変換のセットから、ビデオ・シーケンスにおけるピクチャ間の残差に対応する、前記ブロックの量子化された係数に適用する少なくとも１つの逆変換を決定する、ピクチャ内の少なくともブロックのためのビデオ復号器を備え、
前記ブロックに対して使用するために選択することができるいくつかの逆変換から、前記ブロックの予測のために使用されるインター予測モードに応じて前記逆変換が選択され、変換の選択が、前記ブロックの異なる領域のために特定される、装置。
【請求項３】
方法であって、
ピクチャ内の少なくとものブロックの符号化を、２種類以上の逆変換のセットから、ビデオ・シーケンスにおけるピクチャ間の残差に対応する、前記ブロックの量子化された係数に適用する少なくとも１つの変換を決定することによって行うことを含み、
前記ブロックに対して使用するために選択することができるいくつかの変換から、前記ブロックの予測のために使用されるインター予測モードに応じて前記変換が選択され、変換の選択が、前記ブロックの異なる領域のために特定される、方法。
【請求項４】
装置であって、
２種類以上の逆変換のセットから、ビデオ・シーケンスにおけるピクチャ間の残差に対応する、前記ブロックの量子化された係数に適用する少なくとも１つの変換を決定することによる、ピクチャ内の少なくともブロックのためのビデオ符号化器を備え、
前記ブロックに対して使用するために選択することができるいくつかの変換から、前記ブロックの予測のために使用されるインター予測モードに応じて前記変換が選択され、変換の選択が、前記ブロックの異なる領域のために特定される、装置。
【請求項５】
前記変換のセットをオフラインで決定することをさらに含む、請求項３に記載の方法。
【請求項６】
（ｉ）トレーニング・データの使用と、
（ｉｉ）変換の系列のサブセットの選択と、
のうちの少なくとも１つによって前記変換のセットが決定される、請求項３に記載の方法。
【請求項７】
前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、請求項３に記載の方法。
【請求項８】
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が明示的に信号送信される、請求項３に記載の方法。
【請求項９】
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項３に記載の方法。
【請求項１０】
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が明示的に信号送信される、請求項３に記載の装置。
【請求項１１】
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、請求項３に記載の装置。
【請求項１２】
符号化されたビデオ信号データを有する記憶媒体であって、請求項１に記載の方法を実行するための命令を備える、記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本願発明の原理の一態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
本願発明の原理の別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ符号化器は、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はビデオ・シーケンスにおけるピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本願発明の原理のさらに別の態様によれば、装置が提供される。この装置はビデオ符号化器を備え、このビデオ符号化器はピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行う。変換のセットは、ブロックのために符号化されることになるデータから決定される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
本願発明の原理の別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことを含む。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に適用する変換を選択することによって行うことと、選択された変換を記述する情報を、少なくとも１つのフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信するステップとを含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって行う、符号化するステップを含む。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
本願発明の原理のさらに別の態様によれば、ビデオ符号化器における方法が提供される。この方法は、１つ以上の変換のセットを決定することと、ピクチャ内の少なくとも１つのブロックの符号化を、変換のセットからブロックの残差に対して適用する変換を選択することによって行うことと、を含む。変換のセットは、ブロックのために符号化されるべきデータから決定される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
本発明の多くの付随する利点／特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、１つの利点／特徴は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ブロックのための少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、動きベクトルに対応する１つ以上の値と、１つ以上の既に符号化されているブロックの残差の値と、ブロックの予測データの値と、１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、ブロックの残差のための変換係数に対して適用される量子化ステップと、のうちの少なくとも１つに基づいて変換が選択される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
さらに、別の利点／特徴は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。このビデオ符号化器は、選択された変換を記述する情報を、１つ以上のフラグを使用して情報を明示的に送信することと、ビットストリーム内部のツリー構造を使用して情報を送信することと、選択された変換に対応する変換係数の内部に情報を埋め込むことと、対応する復号器が既に符号化されているデータから選択された変換を推定できるようにすることと、のうちの少なくとも１つによって送信する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
さらに、別の利点／特徴はビデオ・シーケンスにおけるピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。ビデオ・シーケンスにおける１つ以上の前のピクチャからの再構成されたデータを使用して、変換のセットの決定およびリファインメントのうちの少なくとも一方が行われる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
さらに、別の利点／特徴は、ピクチャ内の少なくとも１つのブロックの符号化を、２つ以上の利用可能な変換のセットからブロックの残差に対して適用する変換を選択することによって行うビデオ符号化器を有する装置である。変換のセットは、ブロックのために符号化されるべきデータから決定される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
添付図面を参照して本願明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願発明の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の特許請求の範囲に定義されたような本願の原理の範囲に含まれるように意図されている。
［付記１］
装置であって、
ピクチャ内の少なくともブロックの符号化を、２つ以上の変換のセットから前記ブロックの残差に適用する変換を選択することによって行うビデオ符号化器（３００）を備え、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
（ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
のうちの少なくとも１つに応じて前記変換が選択される、前記装置。
［付記２］
前記変換のセットがオフラインで決定される、付記１に記載の装置。
［付記３］
前記変換のセットが、
（ｉ）トレーニング・データの使用と、
（ｉｉ）変換の系列のサブセットの選択と、
のうちの少なくとも１つによって決定される、付記２に記載の装置。
［付記４］
前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、付記１に記載の装置。
［付記５］
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、付記１に記載の装置。
［付記６］
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、付記１に記載の装置。
［付記７］
ビデオ符号化器における方法であって、
ピクチャ内の少なくともブロックの符号化（５１０）を、２つ以上の変換のセットから前記ブロックの残差に適用する変換を選択すること（５２０）によって行うことを含み、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
（ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
のうちの少なくとも１つに応じて前記変換が選択される（５２０）、前記方法。
［付記８］
前記変換のセットをオフラインで決定することをさらに含む、付記７に記載の方法。
［付記９］
（ｉ）トレーニング・データの使用（５１５）と、
（ｉｉ）変換の系列のサブセットの選択（５２０）と、
のうちの少なくとも１つによって前記変換のセットが決定される、付記８に記載の方法。
［付記１０］
前記セットにおける各変換が、可分、または不可分であり、各変換が可分である場合に、各変換の水平方向および垂直方向を異ならせることができる、付記７に記載の方法。
［付記１１］
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、付記７に記載の方法。
［付記１２］
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、付記７に記載の方法。
［付記１３］
閾値のブロック・サイズより大きなブロック・サイズについてのみ、前記選択された変換を記述する情報が暗黙的に信号送信される、付記７に記載の装置。
［付記１４］
ブロック・サイズが閾値のブロック・サイズよりも小さい場合に、前記選択された変換を記述するフラグが前記変換の係数に埋め込まれる、付記７に記載の装置。
［付記１５］
装置であって、
ピクチャ内の少なくともブロックの復号を、２つ以上の逆変換のセットから前記ブロックの量子化された係数に適用する逆変換を決定することによって行うビデオ復号器（４００）を備え、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の逆変換選択と、
のうちの少なくとも１つに応じて前記逆変換が決定される、前記装置。
［付記１６］
ビデオ復号器における方法であって、
ピクチャ内の少なくとものブロックの復号（６１０）を、２つ以上の逆変換のセットから前記ブロックの量子化された係数に適用する逆変換を決定すること（６１５、６２０）によって行うことを含み、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の逆変換選択と、
のうちの少なくとも１つに応じて前記逆変換が決定される、前記方法。
［付記１７］
符号化されたビデオ信号データを有する記憶媒体であって、
２つ以上の変換のセットからブロックの残差に適用する変換を選択することによって符号化されたピクチャ内の少なくとも１つのブロックに対応するデータを備え、
（ｉ）前記ブロックについて少なくとも１つのリファレンスを予測するために使用されるインター予測モードと、
（ｉｉ）動きベクトルに対応する１つ以上の値と、
（ｉｉｉ）１つ以上の既に符号化されているブロックの残差の値と、
（ｉｖ）前記ブロックの予測データの値と、
（ｖ）１つ以上の隣接する再構成されたブロックの１つ以上の変換選択と、
（ｖｉ）前記ブロックの前記残差についての変換係数に対して適用される量子化ステップと、
のうちの少なくとも１つに応じて前記変換が選択される、前記記憶媒体。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2020191647.tif 000013
【外国語明細書】
2020191647000001.pdf