(57)【要約】変換ベースの残差符号化を使用する予測的ピクチャコーデックの符号化効率は、変換ベースの残差符号化のために、セットの変換間でコーデックを切り替え可能にすることによって強化される。セットの変換から使用される実際の変換をエンコーダからデコーダへ信号伝達するために、エンコーダからデコーダへの明示的な信号伝達を使用する場合でさえ、符号化効率の増加がもたらされ得ることが判明した。代替的に、セットの変換間の切り替えは、明示的な信号伝達なしで、または明示的な信号伝達と切り替えの何らかの種類の予測との組み合わせを使用して実行されてもよい。【選択図】  図１【特許請求の範囲】
【請求項１】
データストリームからピクチャを予測的に復号化する装置であって、前記データストリームから前記ピクチャの予測残差信号を復号化し、前記予測残差信号のスペクトル−空間変換に際して１つのセットの変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するよう構成される、装置。
【請求項２】
前記装置は、前記ピクチャがサブ分割されたセグメントの単位で前記セットの変換間の切り替えをサポートすることを特徴とする、請求項１に記載の装置。
【請求項３】
前記装置は、前記予測残差信号のスペクトル−空間変換に際して、イントラ符号化セグメントについては前記セットの変換間の切り替えをサポートし、インター符号化セグメントについては、１つの変換を安定的に使用するか、又は異なるセットの変換間の切り替えを使用するように構成される、請求項２に記載の装置。
【請求項４】
前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、前記データストリームに含まれた個々のセグメントについての変換クラスシグナライゼーションに応じて、前記セットの変換内の１つの変換を選択するよう構成され、前記セットの各セグメントについて、前記セットの変換の全ての変換が各セグメントの符号化モードから独立した方法で選択可能となるように、前記セットの各セグメントについて、前記変換クラスシグナライゼーションが取り得る値のドメインの、前記セットの変換への全射マッピングを使用する、請求項２または３に記載の装置。
【請求項５】
前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、それら個々のセグメントの近隣についての前記データストリームから導出された特性に依存して、選択するよう構成される、請求項２〜４のいずれか一項に記載の装置。
【請求項６】
前記装置は、前記セットの変換間の切り替えに際して、各イントラ符号化セグメントについて、データストリームに含まれた個々のイントラ符号化セグメントのための変換クラスシグナライゼーションに依存して前記セットの変換の１つを選択し、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー復号化を使用して、前記データストリームから変換クラスシグナライゼーションを導出するよう構成される、請求項２〜５のいずれか一項に記載の装置。
【請求項７】
前記装置は、前記セットの変換の切り替えに際して、前記セグメントの１セットの各々について、データストリームに含まれた個々のセグメントのための変換クラスシグナライゼーションに依存して前記セットの変換の１つの変換を選択するように構成され、
前記変換クラスシグナライゼーションのサフィックス部分を持たない前記データストリームを解析しながら、前記変換クラスシグナライゼーションのプレフィックス部分に依存して、空間的及び／又は時間的予測によって、又は個々のセグメントについて前記データストリーム内で信号伝達された特性に基づいて、前記変換を選択するか、
又は
前記データストリームから前記変換クラスシグナライゼーションのサフィックス部分を導出し、かつ前記サフィックス部分に基づいて前記変換を選択するように構成される、請求項２〜６のいずれか一項に記載の装置。
【請求項８】
前記変換クラスシグナライゼーションの前記サフィックス部分がとり得る値のドメインを、前記空間的及び／又は時間的予測及び特性から独立して、前記セットの変換にそれぞれマッピングするように構成される、請求項７のいずれか一項に記載の装置。
【請求項９】
前記セットの変換が、第１のスペクトル−空間変換と、前記第１のスペクトル−空間変換とは異なる第２のスペクトル−空間変換とを含む、請求項１〜８のいずれか一項に記載の装置。
【請求項１０】
前記セットの変換は、
水平方向に適用される第１の一次元スペクトル−空間変換と、垂直方向に適用される第２の一次元スペクトル−空間変換との連鎖であるスペクトル−空間変換を含み、前記第１の一次元スペクトル−空間変換と前記第２の一次元スペクトル−空間変換とは互いに異なる、請求項１〜９のいずれか一項に記載の装置。
【請求項１１】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元スペクトル−空間変換である第１のスペクトル−空間変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元スペクトル−空間変換である第１のスペクトル−空間変換とを含む、請求項１〜１０のいずれか一項に記載の装置。
【請求項１２】
前記セットの変換は、水平変換セットの１つと垂直変換セットの１つとの種々のペアからなる、請求項１〜１１のいずれか一項に記載の装置。
【請求項１３】
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第１の１つと、垂直方向に適用される一次元スペクトル−空間変換セットの第２の１つとの連鎖で構成される、請求項１〜１２のいずれか一項に記載の装置。
【請求項１４】
前記一次元スペクトル−空間変換セットは、一つの恒等変換と、一つ以上の離散コサイン／サイン変換とからなる、請求項１３に記載の装置。
【請求項１５】
前記一次元スペクトル−空間変換セットは、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶからなる、請求項１４に記載の装置。
【請求項１６】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される一次元スペクトル−空間変換セットの第１の１つを指標化するために前記ビンの第１半分を使用し、垂直方向に適用される一次元スペクトル−空間変換セットの第２の１つを指標化するために前記ビンの第２半分を使用するように構成される、請求項１４または１５に記載の装置。
【請求項１７】
前記ビンの第１半分と前記一次元スペクトル−空間変換セットとの間の関連付けと、前記ビンの第２半分と前記一次元スペクトル−空間変換セットとの間の関連付けとは、互いに等しい、請求項１６に記載の装置。
【請求項１８】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される一次元スペクトル−空間変換セットの第１の１つを指標化するために前記ビンの第１半分を使用し、垂直方向に適用された一次元スペクトル−空間変換セットの第２の１つを指標化するために前記ビンの第２半分を使用するように構成され、前記装置は、｛恒等変換、ＤＳＴ−ＩＶ｝と｛ＤＣＴ−ＩＩ／ＩＩＩ，ＤＣＴ−ＩＶ｝とを区別するために、前記ビンの第１半分の第１ビンと前記ビンの第２半分の第１ビンとを使用し、｛恒等変換、ＤＣＴ−ＩＩ／ＩＩＩ｝と｛ＤＣＴ−ＩＶ，ＤＳＴ−ＩＶ｝とを区別するために、前記ビンの第１半分の第２ビンと前記ビンの第２半分の第２ビンとを使用する、請求項１５に記載の装置。
【請求項１９】
前記第１半分及び第２半分の第２ビンに応じて、それぞれ前記第１半分及び第２半分の第１ビンをコンテキスト適応的にエントロピー復号化するためのコンテキストを選択するように構成された、請求項１８に記載の装置。
【請求項２０】
前記装置は、前記変換クラスシグナライゼーションが前記データストリーム内に含まれている、セグメントのイントラ符号化モードに応じて、前記第１半分及び第２半分の第２ビンをコンテキスト適応的にエントロピー復号化するためのコンテキストを選択するように構成された、請求項１８または１９に記載の装置。
【請求項２１】
ピクチャをデータストリームに予測的に符号化する装置であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して１つのセットの変換間の切り替えをサポートしながら、空間−スペクトル変換し、前記予測残差信号を前記データストリームへと符号化するよう構成される、装置。
【請求項２２】
前記装置は、前記ピクチャがサブ分割されるセグメントの単位で前記セットの変換間の切り替えをサポートする、請求項２１に記載の装置。
【請求項２３】
前記装置は、前記予測残差信号の空間-スペクトル変換に際して、イントラ符号化セグメントについては前記セットの変換間の切り替えをサポートし、インター符号化セグメントについては、１つの変換を安定的に使用するか、又は異なるセットの変換間の切り替えを使用するよう構成される、請求項２２に記載の装置。
【請求項２４】
前記装置は、前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、前記データストリームに含まれた個々のセグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の１つの変換を信号伝達するよう構成され、前記セットの各セグメントについて、前記セットの変換のすべての変換が各セグメントの符号化モードから独立した方法で信号伝達され得るように、前記セットの各セグメントについて、前記変換クラスシグナライゼーションがとり得る値のドメインの、前記セットの変換への全射マッピングを使用する、請求項２２または２３に記載の装置。
【請求項２５】
前記装置は、前記個々のセグメントの近隣について前記データストリーム内で信号伝達された特性にも依存して、前記信号伝達を実行するよう構成される、請求項２４に記載の装置。
【請求項２６】
前記装置は、前記セットの変換間の切り替えに際して、イントラ符号化セグメントの各々について、前記データストリーム内の個々のイントラ符号化セグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の１つを信号伝達するものであり、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー符号化を用いて、前記変換クラスシグナライゼーションを前記データストリームへ符号化するよう構成される、請求項２２〜２５のいずれか一項に記載の装置。
【請求項２７】
前記装置は、前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、前記データストリーム内の個々のセグメントについての変換クラスシグナライゼーションを介して、前記変換クラスシグナライゼーションのプレフィックス部分によって、以下の信号伝達により前記セットの変換の１つの変換を信号伝達するように構成され、
前記各セグメントについて前記変換クラスシグナライゼーションがサフィックス部分を含まないままで、前記変換が、空間的および／または時間的に予測されるべきであるか、又は、前記個々のセグメントについて前記データストリーム内で信号伝達される特性に基づくべきである、ことを信号伝達するか、
又は
前記個々のセグメントについての変換クラスシグナライゼーションのサフィックス部分が前記データストリーム内に含まれ、かつ前記変換が前記サフィックス部分に基づいて選択されるべきである、ことを信号伝達する、請求項２２〜２６のいずれか一項に記載の装置。
【請求項２８】
前記装置は、前記変換クラスシグナライゼーションの前記サフィックス部分がとり得る値のドメインを、前記空間的および／または時間的予測と特性とから独立して、前記セットの変換に対してマッピングすることを使用して、前記サフィックス部分を設定するように構成される、請求項２７のいずれかに記載の装置。
【請求項２９】
前記セットの変換は、第１の空間−スペクトル変換と、前記第１の空間−スペクトル変換とは異なる第２の空間−スペクトル変換とを含む、請求項２１〜２９のいずれか一項に記載の装置。
【請求項３０】
前記セットの変換は、水平方向に適用される第１の一次元空間−スペクトル変換と垂直方向に適用される第２の一次元空間−スペクトル変換との連鎖である空間−スペクトル変換を含み、前記第１の一次元空間−スペクトル変換と前記第２の一次元空間−スペクトル変換とは互いに異なる、請求項２１〜２９のいずれか一項に記載の装置。
【請求項３１】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元空間−スペクトル変換である第１の空間−スペクトル変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元空間−スペクトル変換である第１の空間−スペクトル変換と、
を含む、請求項２１〜３０のいずれか一項に記載の装置。
【請求項３２】
前記セットの変換が、水平変換セットの一つと垂直変換セットの一つとの異なるペアで構成される、請求項２１〜３１のいずれか一項に記載の装置。
【請求項３３】
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第１の１つと、垂直方向に適用される一次元空間−スペクトル変換セットの第２の１つとの連鎖によって構成される、請求項２１〜３２のいずれか一項に記載の装置。
【請求項３４】
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン／サイン変換とからなる、請求項３３に記載の装置。
【請求項３５】
前記一次元空間−スペクトル変換セットは、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶからなる、請求項３４に記載の装置。
【請求項３６】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される前記一次元空間-スペクトル変換セットの第１の１つを指標化するために前記ビンの第１半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第２の１つを指標化するために前記ビンの第２半分を使用するように構成される、請求項３４または３５記載の装置。
【請求項３７】
前記ビンの第１半分と前記一次元空間−スペクトル変換セットとの間の関連付けと、前記ビンの第２半分と前記一次元空間−スペクトル変換セットとの間の関連付けとは、互いに等しいことを特徴とする、請求項３６記載の装置。
【請求項３８】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される前記一次元空間-スペクトル変換セットの第１の１つを指標化するために前記ビンの第１半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第２の１つを指標化するために前記ビンの第２半分を使用するように構成され、
前記装置は、｛恒等変換，ＤＳＴ−ＩＶ｝と｛ＤＣＴ−ＩＩ／ＩＩＩ，ＤＣＴ−ＩＶ｝とを区別するために前記ビンの第１半分の第１ビンと前記ビンの第２半分の第１ビンとを使用し、｛恒等変換，ＤＣＴ−ＩＩ／ＩＩＩ｝と｛ＤＣＴ−ＩＶ，ＤＳＴ−ＩＶ｝とを区別するために前記ビンの第１半分の第２ビンと前記ビンの第２半分の第２ビンとを使用するよう構成される、
請求項３５記載の装置。
【請求項３９】
前記装置は、前記第１半分および前記第２半分の第２ビンに応じて、前記第１半分および第２半分の第１ビンをコンテキスト適応的にエントロピー符号化するためのコンテキストを選択するように構成される、請求項３８に記載の装置。
【請求項４０】
前記装置は、前記変換クラスシグナライゼーションが前記データストリーム内に含まれている、セグメントのイントラ符号化モードに応じて、前記第１半分および前記第２半分の第２ビンをコンテキスト適応的にエントロピー符号化するためのコンテキストを選択するように構成される、請求項３８または３９に記載の装置。
【請求項４１】
予測残差信号の予測符号化と空間−スペクトル変換符号化とを用いて符号化された、ピクチャを有するデータストリームであって、前記予測残差信号の空間−スペクトル変換符号化の基底をなす変換が１つのセットの変換間で切り替わることを特徴とする、データストリーム。
【請求項４２】
前記セットの変換間の切り替えは、前記ピクチャがサブ分割されるセグメントの単位で行われる、請求項４１に記載のデータストリーム。
【請求項４３】
前記予測残差信号の空間−スペクトル変換符号化において、前記セットの変換間の切り替えはイントラ符号化セグメントに適用され、インター符号化セグメントについては、一つの変換が安定的に使用されるか、又は異なるセットの変換間の切り替えを使用する、請求項４２に記載のデータストリーム。
【請求項４４】
前記データストリームは、前記セグメントの１セットの各々について、個々のセグメントに対して前記セットの変換の１つの変換を信号伝達する変換クラスシグナライゼーションを含み、前記セットの各セグメントについて、個々のセグメント符号化モードから独立した方法で、前記変換クラスシグナライゼーションがとり得る値のドメインの全射マッピングを前記セットの変換に対して使用する、請求項４２または４３に記載のデータストリーム。
【請求項４５】
前記信号伝達は、前記各セグメントの近隣についてデータストリーム内で信号伝達された特性にも依存する、請求項４４に記載のデータストリーム。
【請求項４６】
前記データストリームは、イントラ符号化セグメントの各々について、個々のセグメントに対してセットの変換の１つの変換を信号伝達する変換クラスシグナライゼーションを含み、前記変換クラスシグナライゼーションは、各イントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー符号化を用いて前記データストリームに符号化されている、請求項４２〜４５のいずれか一項に記載のデータストリーム。
【請求項４７】
前記データストリームは、前記セグメントの１セットの各々について、個々のセグメントに対して前記セットの変換の１つの変換を信号伝達する変換クラスシグナライゼーションを含み、
前記変換クラスシグナライゼーションのプレフィックス部分は、
個々のセグメントについての前記変換クラスシグナライゼーションがサフィックス部分を持たないままで前記変換が空間的及び／又は時間的に予測されるべきであると信号伝達するか、又は個々のセグメントについての前記変換クラスシグナライゼーションのサフィックス部分が前記データストリームに含まれかつ前記変換が前記サフィックス部分に基づいて選択されるべきであると信号伝達する、請求項４２〜４６のいずれか一項に記載のデータストリーム。
【請求項４８】
前記サフィックス部分は、前記変換クラスシグナライゼーションのサフィックス部分がとり得る値のドメインを、前記空間的及び／又は時間的予測とは独立した前記セットの変換に対してマッピングすることを使用して、設定される、請求項４７のいずれかに記載のデータストリーム。
【請求項４９】
前記セットの変換は、
第１の空間−スペクトル変換と、前記第１の空間−スペクトル変換とは異なる第２の空間−スペクトル変換とを含む、請求項４１〜４９のいずれか一項に記載のデータストリーム。
【請求項５０】
前記セットの変換は、水平方向に適用される第１の一次元空間−スペクトル変換と垂直方向に適用される第２の一次元空間−スペクトル変換との連鎖である空間−スペクトル変換を含み、前記第１の一次元空間−スペクトル変換と前記第２の一次元空間−スペクトル変換とは互いに異なる、請求項４１〜４９のいずれか一項に記載のデータストリーム。
【請求項５１】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元空間−スペクトル変換である第１の空間−スペクトル変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元空間−スペクトル変換である第１の空間−スペクトル変換と、
を含む、請求項４１〜５０のいずれか一項に記載のデータストリーム。
【請求項５２】
前記セットの変換が、水平変換セットの１つと垂直変換セットの１つとの異なるペアからなる、請求項４１〜５１のいずれか一項に記載のデータストリーム。
【請求項５３】
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第１の１つと、垂直方向に適用される一次元空間−スペクトル変換セットの第２の１つとの連鎖によって構成される、請求項４１〜５２のいずれか一項に記載のデータストリーム。
【請求項５４】
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン／サイン変換とからなる、請求項５３に記載のデータストリーム。
【請求項５５】
前記一次元空間−スペクトル変換セットは、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶからなる、請求項５４に記載のデータストリーム。
【請求項５６】
前記データストリームは、前記セットの変換間の切り替えを信号伝達する変換クラスシグナライゼーションを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記ビンの第１半分は水平方向に適用される一次元空間−スペクトル変換セットの第１の１つを指標化し、前記ビンの第２半分は垂直方向に適用される一次元空間−スペクトル変換セットの第２の１つを指標化する、請求項５４または５５に記載のデータストリーム。
【請求項５７】
前記ビンの第１半分と前記一次元空間−スペクトル変換セットとの間の関連付けと、前記ビンの第２半分と前記一次元空間−スペクトル変換セットとの間の関連付けとは、互いに等しい、請求項５６に記載のデータストリーム。
【請求項５８】
前記データストリームは、前記セットの変換間の切り替えを信号伝達する変換クラスシグナライゼーションを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記ビンの第１半分は水平方向に適用される前記一次元空間−スペクトル変換セットの第１の一つを指標化し、前記ビンの第２半分は垂直方向に適用される前記一次元空間−スペクトル変換セットの第２の一つを指標化し、前記ビンの第１半分の第１ビンと前記ビンの第２半分の第１ビンとは、｛恒等変換，ＤＳＴ−ＩＶ｝と｛ＤＣＴ−ＩＩ／ＩＩＩ，ＤＣＴ−ＩＶ｝とを区別し、前記ビンの第１半分の第２ビンと前記ビンの第２半分の第２ビンとは、｛恒等変換，ＤＣＴ−ＩＩ／ＩＩＩ｝と｛ＤＣＴ−ＩＶ，ＤＳＴ−ＩＶ｝とを区別する、請求項５５に記載のデータストリーム。
【請求項５９】
前記第１半分及び第２半分の第１ビンが前記データストリームにコンテキスト適応的にエントロピー符号化される際に用いられるコンテキストは、前記第１半分及び第２半分の第２ビンに応じてそれぞれ設定される、請求項５８記載のデータストリーム。
【請求項６０】
前記第１半分および第２半分の第２ビンが前記データストリームにコンテキスト適応的にエントロピー符号化される際に用いられるコンテキストは、前記データストリームに含まれる変換クラスシグナライゼーションに関するセグメントのイントラ符号化モードに応じて設定される、請求項５８または５９に記載のデータストリーム。
【請求項６１】
データストリームからピクチャを予測的に復号化する方法であって、前記データストリームから前記ピクチャの予測残差信号を復号化するステップと、前記予測残差信号のスペクトル−空間変換に際して１つのセットの変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するステップと、を含む方法。
【請求項６２】
ピクチャをデータストリームへ予測的に符号化する方法であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して１つのセットの変換間の切り替えをサポートしながら、空間−スペクトル変換するステップと、前記予測残差信号を前記データストリームへと符号化するステップと、を含む方法。
【請求項６３】
コンピュータ上で実行されたとき、請求項６１または６２に記載の方法を実行する、プログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばハイブリッドビデオ符号化のような変換ベースの残差符号化を使用する予測ピクチャ符号化に関する。
【背景技術】
【０００２】
多くの圧縮技術および標準がこれまでに知られている。例えば、多くの静止ピクチャコーデックは、符号化されるサンプルをデコリレート（非相関化）するために、特定のスペクトル変換を使用する。ビデオコーデックにおいて、スペクトル変換は、予測残差を表す残差サンプルをデコリレートするためにしばしば使用されるが、この残差サンプルは、イントラ符号化すなわち空間的予測、またはインター符号化例えば時間予測などを使用して得られたものであってもよい。
【０００３】
例えば、H.264/Advanced Video Coding（ＡＶＣ）及びH.265/High Efficiency Video Coding（ＨＥＶＣ）のようなブロックベースのハイブリッドビデオコーダ規格では、ビデオシーケンス内のピクチャはブロックに分割され、次に各ブロックは空間的又は時間的に予測される。その時点で、残差信号は、ブロックの元のサンプルとその予測との差として導出される［非特許文献１］。その後、残差の冗長性をさらに低減するために、変換、量子化およびエントロピー符号化方法が採用される。
【０００４】
特に、ＨＥＶＣの場合、変換ステージは、４×４イントラ予測ブロックに対して２Ｄ分離型離散サイン変換（ＤＳＴ）タイプＶＩＩ（ＤＳＴ−ＶＩＩ）を実行し、他のすべてのブロックに対して２Ｄ分離型離散コサイン変換（ＤＣＴ）タイプＩＩ（ＤＣＴ−ＩＩ）を実行することによって実行される［非特許文献１］。さらに、変換ステップをスキップし、空間ドメイン内の残差サンプルを直接量子化する方法は、エンコーダにおいても利用可能であるが、このモードは４＿４ブロックに制限される［非特許文献１］。
【０００５】
画像及びビデオ符号化のアプリケーションにおける主変換としてＤＣＴ−ＩＩを使用する理由は、残差信号をモデル化するために一次の定常マルコフプロセスを利用することにある。Karhunen-Loeve Transform（ＫＬＴ）は、このようなプロセスの最適な変換であり、ＤＣＴ−ＩＩベースのベクトルは、相関係数が非常に高い場合、ＫＬＴのものに非常に近い[非特許文献２]。また、ＫＬＴとは異なり、ＤＣＴ−ＩＩは、高速アルゴリズムを使用して分離可能な方法で、２次元（行および列）で実装することができる信号非依存性変換であるという利点を有する［非特許文献２］。
【０００６】
しかしながら、非特許文献３，非特許文献４で指摘されてきたように、ＫＬＴは一般にレート歪みの点では必ずしも最適な変換ではない。この事実によって、その適合性が問題となり、さらに言えば、特にイントラ予測された残差の場合に、主変換としてのＤＣＴ−ＩＩの適合性が問題となる［非特許文献５］。
【０００７】
特定のブロックが与えられると、特定のパターンに続く近隣ブロックの復号された境界サンプルを外挿することによって、すなわち３３個の角度モードと１つのＤＣおよび平面モードとによって、ＨＥＶＣにおいてイントラ予測が実行される［非特許文献１］。イントラ符号化プロセスを改善するために、本発明において、本発明者らは、エンコーダが、各変換ユニット（ＴＵ）についてのレート−歪みループ内において所与のセットから異なる変換を試験することを可能にする方法を開発する。次に、レート−歪みコストを最小にするものがデコーダに信号伝達される。新たな変換は分離可能であり、まずＴＢの行上に１Ｄ変換を、次にその列上に別の１Ｄ変換を適用することによって構成される。利用可能な一次元変換は、離散三角関数変換（ＤＴＴ）として知られるＤＣＴ−ＩＩおよびＤＳＴ−ＶＩＩのファミリーのメンバーと、ＨＥＶＣの先に述べた変換スキップモードと同等である恒等変換（ＩＴ）とである。
【０００８】
ＨＥＶＣエンコーダの変換符号化性能を改善するために、この明細書には種々の提案がなされている。それらは、特異な変換の異なる組み合わせをイントラ予測残差ブロックに適用することによってビットレート低減を達成することが可能であることを示している。
【０００９】
ＨＥＶＣは、全部で３５個のイントラ予測モード（ＩＰＭ）をサポートするので、種々のモード依存性方向変換（ＭＤＤＴ）アルゴリズムが提案されてきた。ＭＤＤＴでは、残差をマッピングするために使用される変換の選択は、ＩＰＭに依存する。例えば、非特許文献６において、その著者は、ＩＰＭに従った行および列の変換としてＤＣＴ−ＩＩとＤＳＴ−ＶＩＩとの組み合わせを選択するスキームを導き出した。注目すべきことに、彼らの研究は、ＨＥＶＣにおいて４ｘ４イントラ予測ブロックのためのコア変換としてＤＳＴ−ＶＩＩを導入することに繋がった。
【００１０】
一方、参考文献［非特許文献７］は、１つのレート−歪み最適化済み変換（ＲＤＯＴ）が各ＩＰＭに対して利用される別のＭＤＤＴアプローチを提案している。これは、各変換の係数が、レート−歪み基準を最小化するように設計されたアルゴリズムを使用してオフラインで訓練されていたことを意味する。
【００１１】
しかしながら、非特許文献５に示されるように、同じＩＰＭから生じる残差は、非常に異なる統計値を有する可能性があり、したがって、各ＩＰＭに対する単一の変換は、高度に変動する信号のエネルギー圧縮を最大化するには不十分である。したがって、非特許文献５および非特許文献８によって達成される作業は、すべてのＩＰＭに対して使用可能なデータ駆動ＲＤＯＴｓのセットを実装する。したがって、エンコーダは、利用可能なすべての変換をテストし、最も低いレート−歪みコストをもたらすものを選択する必要がある。その後、この決定は、結果的なオーバーヘッド・ビットを用いてデコーダに送信される必要がある。
【００１２】
最後に、非特許文献９および非特許文献１０の著者は、両方のアプローチを組み合わせ、各ＩＰＭに対して多数の変換からなる個別のセットを提供するアルゴリズムを開発している。非特許文献９で行われる研究はデータ駆動ＲＤＯＴｓの使用に再び焦点を合わせ、一方、非特許文献１０の作業はＤＴＴの異なるセットを採用するシステムを実装する。
【００１３】
変換ベースの残差符号化を適用する、そのような予測ピクチャ符号化技術の符号化効率をさらに向上させるという概念を獲得することは有利であろう。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】[1] G. Sullivan, J. Ohm, W.-J. Han, and T. Wiegand, ”Overview of the High Efficiency Video Coding (HEVC) Standard,” Circuits and Systems for Video Technology, IEEE Transactions on, vol. 22, no. 12, pp. 1649_1668, Dec 2012.
【非特許文献２】[2]  V. Britanak, P. C. Yip, and K. Rao, Discrete Cosine and Sine Transforms: General Properties, Fast Algorithms and Integer Approximations. Oxford: Academic Press, 2007.
【非特許文献３】[3]  M. Effros, H. Feng, and K. Zeger, ”Suboptimality of the Karhunen-Loeve transform for transform coding,” in Data Compression Conference, 2003. Proceedings. DCC 2003, March 2003, pp. 293_302.
【非特許文献４】[4]  V. K. Goyal, ”Theoretical Foundations of Transform Coding,” IEEE Signal Processing Magazine, vol. 18, no. 5, pp. 9_21, September 2001.
【非特許文献５】[5]  F. Zou, O. C. Au, C. Pang, J. Dai, X. Zhang, and L. Fang, ”Rate-Distortion Optimized Transforms Based on the Lloyd-Type Algorithm for Intra Block Coding,” IEEE Journal of Selected Topics in Signal Processing, vol. 7, no. 6, pp. 1072_1083, Dec 2013.
【非特許文献６】[6]  A. Saxena and F. C. Fernandes, ”DCT/DST-Based Transform Coding for Intra Prediction in Image/Video Coding,” IEEE Transactions on Image Processing, vol. 22, no. 10, pp. 3974_3981, Oct 2013.
【非特許文献７】[7]  A. Arrufat, P. Philippe, and O. Deforges, ”Non-separable mode dependent transforms for intra coding in HEVC,” in Visual Communications and Image Processing Conference, 2014 IEEE, Dec 2014, pp. 61_64.
【非特許文献８】[8]”Rate-distortion optimised transform competition for intra coding in hevc,” in Visual Communications and Image Processing Conference, 2014 IEEE, Dec 2014, pp. 73_76.
【非特許文献９】[9]”Mode-dependent transform competition for HEVC,”in Image Processing (ICIP), 2015 IEEE International Conference on, Sept 2015, pp. 1598_1602.
【非特許文献１０】[10]  J. Chen, Y. Chen, M. Karczewicz, X. Li, H. Liu, L. Zhang, and X. Zhao, ”Coding tools investigation for next generation video coding based on HEVC,”in Proc. SPIE, Applications of Digital Image Processing XXXVIII, vol. 9599, 2015, pp. 95 991B_95 991B_9. [Online]. Available: http://dx.doi.org/10.1117/12.2193681
【非特許文献１１】[11]  S. A. Martucci, ”Symmetric convolution and the discrete sine and cosine transforms,”IEEE Transactions on Signal Processing, vol. 42, no. 5, pp.1038_1051, May 1994.
【非特許文献１２】[12]  A. Gabriellini, M. Naccari, M. Mrak, D. Flynn, and G. V. Wallendael, ”Adaptive transform skipping for improved coding of motion compensated residuals,” Signal Processing: Image Communication, vol. 28, no. 3, pp. 197-208, 2013. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0923596512002093
【非特許文献１３】[13]   H. Schwarz, T. Schierl, and D. Marpe, ”Block Structures and Parallelism Features in HEVC,” in High Efficiency Video Coding (HEVC), ser. Integrated Circuits and Systems, V. Sze, M. Budagavi, and G. J. Sullivan, Eds.   Springer International Publishing, 2014, pp. 49-90.
【非特許文献１４】[14]  M. Budagavi, A. Fuldseth, G. Bjohntegaard, V. Sze, and M. Sadafale, ”Core Transform Design in the High Efficiency Video Coding (HEVC) Standard,” Selected Topics in Signal Processing, IEEE Journal of, vol. 7, no. 6, pp. 1029-1041, Dec 2013. [14] F. Bossen, ”Common Test Conditions and Software Reference Configurations,” document JCTVC-L1100 of JCT-VC, Geneva, CH, Jan 2013.
【非特許文献１５】[15]  F. Bossen, ”Common Test Conditions and Software Reference Configurations,” document JCTVC-L1100 of JCT-VC, Geneva, CH, Jan 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
したがって、本発明の目的は、より高い符号化効率または圧縮効率をそれぞれもたらす変換ベースの残差符号化／復号化を使用して、ピクチャを予測的に符号化／復号化するための概念を提供することである。
【課題を解決するための手段】
【００１６】
この目的は、独立請求項の主題によって達成される。
【００１７】
本発明は、変換ベースの残差符号化のためにコーデックを１つのセットの変換間で切り替えできるようにすることによって、変換ベースの残差符号化を使用する予測ピクチャコーデックの符号化効率を向上させることができる、という発見に基づくものである。変換セットから使用される実際の変換をエンコーダからデコーダへと信号伝達するために、エンコーダからデコーダへと明示的な信号伝達を使用する場合でさえ、符号化効率の向上がもたらされ得ることが判明した。代替的に、セットの変換間の切り替えは、明示的な信号伝達なしで、または明示的な信号伝達と切り替えの何らかの種類の予測との組み合わせを使用して実行されてもよい。
【００１８】
本願の一実施形態によれば、セットの変換間の切り替えは、ピクチャがサブ分割されるセグメントの単位で実行される。例えば、エンコーダからデコーダへの切り替えの任意の明示的な信号伝達に関連するオーバーヘッドは、セグメント単位で切り替えを実行することによって増大するかもしれないが、変換ベースの残差符号化／復号化においては、異なるピクチャの部分が異なる変換に対してより良好なデコリレーション挙動を示す傾向があるという事実を利用することにより、符号化効率をさらに高めることができる。
【００１９】
一実施形態によると、変換ベースの残差符号化の変換間の切り替えは、イントラ符号化セグメント、すなわちイントラ符号化モードを使用して符号化されるセグメントまたはブロックに制限される。一方で、インター符号化セグメント、すなわち時間予測、ビュー間予測および／またはレイヤ間予測を使用して符号化されるなどのインター符号化モードを使用して符号化されるセグメントについては、１つの変換が変換ベースの残差符号化／復号化に静的または安定的に適用されるか、または異なるセットの変換間の切り替えがそのようなインター符号化セグメントのために使用される。上記のように制限することは、さらに符号化効率を向上させ得る。なぜなら、変換ベースの残差符号化／復号化にとって、変換セットの間の切り替えを制御するための任意の明示的信号伝達とそれに関係する信号伝達のオーバーヘッドは、この手段により、予測残差信号がインター符号化セグメントと比較してより大きなエネルギーを持つ傾向にあるセグメントに限られているからである。その結果、任意の最適な信号伝達オーバーヘッドがイントラ符号化セグメントとインター符号化セグメントとの間で等しいと仮定すると、セットの変換間の切り替えと変換ベースの残差符号化/復号化とによって達成可能な符号化ゲインは、イントラ符号化セグメントについて、インター符号化セグメントに比べて、より高くなりうる。
【００２０】
一実施形態によれば、明示的な信号伝達は、変換ベースの残差符号化／復号化における変換間の切り替えに使用される。変換クラスシグナライゼーション（transform class signalization）は、変換間の切り替えが適用される各セグメントについて、セグメントの符号化モードから独立した方式で、変換セットのすべての変換が選択できるようにしてもよい。換言すると、セグメントのデータストリームに含まれる変換クラスシグナライゼーションは主観的であってもよい。即ち、変換クラスシグナライゼーションがとり得る値のドメインからのマッピングのイメージが、イントラ符号化セグメントの場合のイントラ符号化モードのような各セグメントの符号化モードに関係なく、変換セットと一致してもよい。イントラ符号化モードは、例えば方向モードを含むことができる。この方向モードに従って、各イントラ符号化セグメントの近隣部を個々のイントラ符号化セグメントに空間的に外挿することによって、イントラ符号化セグメントが予測されてそれらの予測が取得され、その予測に関連して、変換ベースの残差符号化／復号化に付される予測残差信号が予測残差を形成する。変換クラスシグナライゼーションの主観的性質に伴う追加のオーバーヘッドは、予測残差信号の最適なデコリレーションのために最適な変換を選択できることによる符号化効率の向上により、十分に補償されている、ことが判明している。
【００２１】
一実施形態によれば、変換クラスシグナライゼーションは、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用した、コンテキストベースのエントロピー符号化／復号化を使用して符号化される。この手段によって、この明示的なシグナライゼーションの主観的な性質が達成され得る一方で、この変換のこのセットの中の最適な変換への統計的依存性と、各イントラ符号化セグメントのために選択されたイントラ符号化モードとを利用することができる。
【００２２】
さらなる実施形態によれば、変換クラスシグナライゼーションはプレフィックス部分とサフィックス部分とを含んでもよい。プレフィックス部分は空間的および／または時間的予測による変換の選択を可能にする。空間的および／または時間的予測が使用されるべきことをプレフィックス部分によって信号伝達される場合、変換クラスシグナライゼーションはサフィックス部分を含まない、すなわち、サフィックス部分なしで済ます。空間的および／または時間的予測が使用されるべきでないと信号伝達された場合、サフィックス部分の変換セットへのマッピングが空間的および／または時間的予測に依存しないようにするために、変換クラスのサフィックス部分は、変換セットの中でどの変換が使用されるべきであるか、つまり予測された変換以外の中またはすべての変換の中から、どの変換が使用されるべきであるかを信号伝達する。有利なことに、プレフィックス部分およびサフィックス部分への区分は、変換クラスシグナライゼーションの効率をさらに増加させることができる。
【００２３】
一実施形態によれば、変換セットは、水平変換セットのうちの一つと、垂直変換セットのうちの一つとの種々のペアを含む。水平変換および垂直変換セットは、同じ変換時間から構成されてもよい。すなわち、変換セットは、水平方向に適用された一次元変換セットの第１のものと垂直方向に適用された一次元変換の同じセットの第２のものとの連鎖を含むことができる。このように、変換ベースの残差符号化／復号化における変換の間で切り替えることにより、変換の方向特異的な適応が可能になり、具体的にはそれぞれ垂直方向及び水平方向に沿って別個にデコリレーション特性を適応させる。変換セットにおける変換数の増加に起因する追加のオーバーヘッドは、予測残差信号のサンプルの最適なデコリレーションを発見する能力から生じる符号化効率の増加によって補償されて余りあることが判明している。
【００２４】
本発明の有利な態様は、従属請求項の主題である。以下に図面を参照しながら、本願の実施形態を説明する。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態によるピクチャを予測的に符号化する装置のブロック図である。
【図２】本発明の一実施形態に従ってピクチャを予測的に復号化する装置のブロック図であり、この装置は図１の装置に適合する。
【図３】符号化モード選択、変換選択および変換性能の区分をそれぞれ設定する可能性を示すために、予測残差信号、予測信号および再構成信号の間の関係の一例を示す概略図である。
【図４】変換切り替えに際して明示的な信号伝達を使用する例を示す概略図である。
【図５】プレフィックスとサフィックスを含む変換切り替えの明示的な信号伝達の例を示す概略図である。
【図６】可能なバイナリゼーションから変換へのマッピングが全単射（bijective）である、プレフィックス及びサフィックスを含む変換切り替えの明示的な信号伝達の一例を示す概略図である。
【図７】ｘ、ｙ∈｛ＤＣＴ−ＩＩ、ＤＳＴ−Ｎ、ＤＣＴ−ＩＶ、ＩＴ｝であるｘおよびｙにそれぞれ適用され、ｘおよびｙを有する変換セット｛ｘ，ｙ｝を使用する例示的な場合において、すべての可能な変換ペアの４×４の基底関数を示すグレースケール図である。
【図８ａ】１Ｄ信号の一例についての様々なＤＴＴの対称的拡張（symmetric extentions）の図を示す。この基本的なシーケンスは連続的で対称的な拡張が破線で示されている。また、（ａ），（ｂ）及び（ｃ）における基本信号は４サンプルの長さを有するが、その一方で（ｄ）及び（ｅ）におけるその長さは３サンプルに過ぎない。なぜなら、対称的拡張は１つのサンプルが０であることを必要とするからである［非特許文献１１］。
【図８ｂ】１Ｄ信号の例についての様々なＤＴＴの対称的拡張の図を示す。
【図８ｃ】１Ｄ信号の例についての様々なＤＴＴの対称的拡張の図を示す。
【図８ｄ】１Ｄ信号の例についての様々なＤＴＴの対称的拡張の図を示す。
【発明を実施するための形態】
【００２６】
図１は、変換ベースの残差符号化を使用して、ピクチャ１２をデータストリーム１４に予測符号化するための装置を示す。この装置又はエンコーダは、参照符号１０を用いて示されている。図２は対応するデコーダ２０、すなわち変換ベースの残差復号化を使用してデータストリーム１４からピクチャ１２’を予測的に復号化するように構成された装置２０を示し、ここで、アポストロフィは、復号化器２０によって再構成されたピクチャ１２’が、予測残差信号の量子化によって導入された符号化損失に関して装置１０によって最初に符号化されたピクチャ１２とは異なることを示すために使用されている。
【００２７】
エンコーダ１０は、予測残差信号に対して空間−スペクトル変換を行い、こうして得られた予測残差信号をデータストリーム１４に符号化するように構成される。後述するように、エンコーダは、予測残差信号の空間−スペクトル変換におけるセットの変換間での切り替えをサポートする。同様に、デコーダ２０は、データストリーム１４から予測残差信号を復号し、このようにして得られた予測残差信号をスペクトル−空間変換するように構成される。エンコーダ１０と同様に、デコーダ２０は、予測残差信号のスペクトル−空間変換におけるセットの変換間の切り替えをサポートする。
【００２８】
内部的に、エンコーダ１０は、元の信号、すなわちピクチャ１２からの予測信号２６の偏差を測定するために、予測残差信号２４を生成する予測残差信号形成器２２を備えてもよい。例えば、予測残差信号形成器２２は、元の信号、すなわちピクチャ１２から予測信号を減算する減算器であってもよい。次いで、エンコーダ１０はさらに、予測残差信号２４を空間−スペクトル変換に供してスペクトル−ドメイン予測残差信号２４'を取得するための変換器２８を含み、この残差信号２４’は次に、エンコーダ１０に含まれる量子化器３２によって量子化される。このように量子化された予測残差信号２４''は、ビットストリーム１４へと符号化される。この目的のために、エンコーダ１０は、任意選択的に、変換され量子化された予測残差信号をデータストリーム１４にエントロピー符号化するエントロピーエンコーダ３４を含むことができる。予測残差２６は、データストリーム１４へ復号化され、データストリームから復号化可能な予測残差信号２４''に基づいて、エンコーダ１０の予測ステージ３６によって生成される。この目的のために、予測ステージ３６は、図１に示されるように、内部に逆量子化器３８を含んでもよく、この逆量子化器は、予測残差信号２４''を逆量子化してスペクトルドメイン予測残差信号２４'''を取得し、このスペクトルドメイン予測残差信号２４'''は、量子化損失を除いて信号２４’に対応しており、逆量子化器に続く逆変換器４０が、先の予測残差信号２４'''に逆変換、即ち、スペクトル−空間変換を行いて予測残差信号２４''''を取得し、この予測残差信号２４''''は量子化損失を除いて元の予測残差信号２４に対応している。次に、予測ステージ３６の結合器４２は、例えば加算によって予測信号２６と予測残差信号２４''''とを結合し、再構成信号４６、つまり元の信号１２の再構成を取得する。再構成信号４６は、信号１２’に対応していてもよい。予測ステージ３６の予測モジュール４４は、例えば空間予測および／または時間予測を使用することによって、信号４６に基づいて予測信号２６を生成する。
【００２９】
同様に、デコーダ２０の内部は、予測ステージ３６に対応する構成要素から構成することができ、それら構成要素を予測ステージに対応するように相互連結することができる。特に、デコーダ２０のエントロピーデコーダ５０は、データストリームから量子化済みスペクトル−ドメイン予測残差信号２４''をエントロピー復号化してもよく、その後で、逆量子化器５２、逆変換器５４、結合器５６及び予測モジュール５８は、予測ステージ３６のモジュールに関して上述したように、相互接続され及び協働して、予測残差信号２４''に基づく再構成信号を復元し、その結果、図２に示すように、結合器５６の出力は、再構成信号、すなわちピクチャ１２'をもたらす。
【００３０】
特に上述しないが、エンコーダ１０は、例えば何等かのレートおよび歪み関連基準を最適化する方法などの何等かの最適化スキームに従って、例えば予測モード、動きパラメータなどを含む何等かの符号化パラメータを設定できることは、容易に明らかである。例えば、エンコーダ１０及びデコーダ２０並びに対応するモジュール４４、５８は、それぞれイントラ符号化モード及びインター符号化モードのような異なる予測モードをサポートしてもよい。これらの予測モード間でエンコーダおよびデコーダが切り替える粒度は、符号化セグメントまたは符号化ブロックへのピクチャ１２および１２'のサブ分割にそれぞれ対応していてもよい。例えば、これらの符号化セグメントの単位では、ピクチャは、イントラ符号化セグメントとインター符号化セグメントとにサブ分割されてもよい。イントラ符号化セグメントは、例えば、それぞれのセグメントの既に符号化／復号化された空間的な近隣に基づいて予測される。それぞれのイントラ符号化セグメントに対して、いくつかのイントラ符号化モードが存在し、選択されてもよく、それらのイントラ符号化セグメントは、例えば方向イントラ符号化モードを含み、その方向イントラモードに従って、それぞれの方向イントラ符号化モードに特有である方向に沿って近隣のサンプル値をそれぞれのイントラ符号化セグメントに外挿することによって、それぞれのセグメントが満たされてもよい。イントラ符号化モードは、例えばＡＤＣ符号化モードおよび／または平面イントラ符号化モード（planar intra-coding mode）のような一つまたは複数のさらなるモードを含んでもよく、ＡＤＣ符号化モードに従えば、それぞれのイントラ符号化セグメントについての予測が、ＤＣ値をそれぞれのイントラ符号化セグメント内のすべてのサンプルに割り当てるものであり、また平面イントラ符号化モードに従えば、各セグメントの予測が各イントラ符号化セグメントのサンプル位置にわたる２次元線形関数によって記述されるサンプル値の空間分布であると近似または決定される。これと比較して、インター符号化セグメントは、例えば時間的に予測され得る。インター符号化セグメントについては、動きベクトルはデータストリーム内で信号化されてもよく、動きベクトルはピクチャ１２が属するビデオの以前に符号化されたピクチャの部分の空間変位を示しており、この以前に符号化されたピクチャの部分では、それぞれのインター符号化セグメントの予測信号を得るために以前に符号化／復号化されたピクチャがサンプリングされる。つまり、量子化済みスペクトル−ドメイン予測残差信号２４'''を表すエントロピー符号化済み変換係数レベルのような、データストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４は、符号化モードを様々なセグメントに割り当てるための符号化モードパラメータ、インター符号化セグメントについての動きパラメータなどのいくつかのセグメントについての予測パラメータ、およびピクチャ１２および１２'のサブ分割を制御し、信号化するパラメータのような任意のさらなるパラメータを、符号化していてもよい。デコーダ２０は、エンコーダと同じ方法でピクチャをサブ分割し、同じ予測モードをセグメントに割り当て、同じ予測を実���して同じ予測信号を生成するために、これらのパラメータを使用する。
【００３１】
図３は、再構成された信号、すなわち再構成されたピクチャ１２'を一方とし、データストリーム内で信号化された予測残差信号２４''''と予測信号２６との結合を他方とする、両者間の関係を示している。既に上述したように、この結合は加算であってもよい。予測信号２６は、図３において、斜線を用いて例示的に示されているイントラ符号化セグメントと、斜線を用いずに示されているインター符号化セグメントと、へのピクチャ領域のサブ分割として描かれている。このサブ分割は、ブロックまたはセグメントの行および列へのピクチャ領域の規則的なサブ分割、または４分木サブ分割（quadtree subdivision）などの様々なサイズのリーフセグメントへのピクチャ１２のマルチツリーサブ分割（multi-tree subdivision）などの任意のサブ分割であってもよく、ここで図３はそれらの混合を図示しており、そこでは、ピクチャ領域が最初にツリールートブロックの行と列に細分され、次いで再帰的マルチツリーサブ分割に従って更にサブ分割される。ここでも、データストリーム１４は、イントラ符号化セグメント８０のために符号化されたイントラ符号化モードを有することができ、そのモードは、複数のサポートされたイントラ符号化モードの一つを、それぞれのイントラ符号化セグメントに割り当てる。インター符号化セグメント８２については、データストリーム１４は、その中に符号化された一つまたは複数の動きパラメータを有することができる。一般的に言えば、インター符号化セグメント８２は、時間的に符号化されたものに限定されない。代替的に、インター符号化セグメント８２は、ピクチャ１２が属するビデオの以前に符号化されたピクチャのような、現在のピクチャ１２自体の以前に符号化された部分から予測される任意のセグメントであってもよいし、別のビューのピクチャであってもよいし、またはエンコーダおよびデコーダがそれぞれスケーラブルエンコーダおよびデコーダである場合には、階層的下位層のピクチャであってもよい。図３における予測残差信号２４''''は、セグメント８４へのピクチャ領域のサブ分割として示されている。これらのセグメントは、符号化セグメント８０および８２と区別するために、変換セグメントと呼ばれることもある。実際に、図３は、エンコーダ１０とデコーダ２０がピクチャ１２と１２'をそれぞれセグメントへとサブ分割する２つの異なるサブ分割を使用してもよく、すなわち符号化セグメント８０と８２にそれぞれサブ分割する１つのサブ分割と、セグメント８４への別のサブ分割を使用し得ることを示している。両方のサブ分割は同じであってもよく、すなわち、各符号化セグメント８０および８２は同時に変換セグメント８４を形成してもよいが、図３は、例えば、変換セグメント８４へのサブ分割が符号化セグメント８０／８２へのサブ分割の拡張を形成し、それによりセグメント８０とセグメント８２の２つのセグメントの間のいずれの境界も２つのセグメント８４の間の境界に重なるか、あるいは代替的に言えば、セグメント８０／８２のいずれかが変換セグメント８４の一つと一致するかまたは変換セグメント８４のクラスタと一致する。しかしながら、サブ分割はまた、互いに独立して決定または選択されてもよく、その結果、変換セグメント８��がセグメント８０／８２間のセグメント境界を交互に横切ることもあり得る。変換セグメント８４へのサブ分割に関する限り、セグメント８０／８２へのサブ分割に関して記述された説明が当てはまり、すなわちセグメント８４は、行および列に配列されたセグメント／ブロックへのピクチャ領域の規則的なサブ分割の結果、ピクチャ領域の再帰的マルチツリーサブ分割の結果、またはその組み合わせ、または任意の他のセグメンテーションであってもよい。補足的に言えば、セグメント８０、８２および８４は、正方形、長方形または他の形状に限定されないことに留意されたい。
【００３２】
図３は、予測信号２６と予測残差信号２４''''との結合が再構成信号１２'を直接的にもたらすことを示している。しかしながら、代替実施形態によれば、２つ以上の予測信号２６が予測残差信号２４''''と結合されて、ピクチャ１２'をもたらしてもよいことに留意されたい。
【００３３】
図３において、変換セグメント８４は、以下の意味を有するべきである。変換器２８および逆変換器５４は、これらの変換セグメント８４の単位でそれらの変換を実行する。例えば、多くのコーデックは、すべての変換ブロック８４に対して、ある種のＤＳＴまたはＤＣＴを使用する。いくつかのコーデックは、変換セグメント８４のいくつかについて、予測残差信号が空間ドメインにおいて直接的に符号化されるように、変換をスキップすることを可能にする。しかしながら、以下に説明する実施形態によれば、エンコーダ１０およびデコーダ２０は、複数の変換をサポートするように構成される。例えば、エンコーダ１０およびデコーダ２０によってサポートされる変換は、以下を含みうる。
−ＤＣＴ−ＩＩ（またはＤＣＴ−ＩＩＩ）、ここでＤＣＴは離散コサイン変換を表す
−ＤＳＴ−ＩＶ、ここでＤＳＴは離散サイン変換を表す
−ＤＣＴ−ＩＶ
−恒等変換（Identity Transformation：ＩＴ）
【００３４】
通常、変換器２８は、それらの変換の順方向変換バージョンのすべてをサポートする一方で、デコーダ２０または逆変換器５４は対応する以下の後方または逆バージョンをサポートするであろう。
−逆ＤＣＴ−ＩＩ（または逆ＤＣＴ−ＩＩＩ）
−逆ＤＳＴ−ＩＶ
−逆ＤＣＴ−ＩＶ
−恒等変換（ＩＴ）
【００３５】
さらに、変換がエンコーダ１０およびデコーダ２０によってサポートされ得るより具体的な実施形態が以下に提供される。サポートされる変換セットは、いずれの場合においても、スペクトル変換に対する２つのスペクトル−空間または空間−スペクトルの変換を含むが、恒等変換の包含は任意選択である。
【００３６】
様々な変換間の切り替えは、変換のデコリレーション特性を実際の必要性に適合させることを可能にする。以下により詳細に説明される実施形態によれば、切り替えは、変換セグメント８４そのものの単位で実行される。しかし、より簡素な実施形態によれば、エンコーダ１０およびデコーダ２０は、他の単位、例えば完全なピクチャ単位、一つ以上のセグメント８４から構成されるサブセットを表し得るピクチャのスライス単位などにより、様々なサポートされた変換間で切り替えることもできる、ことに留意すべきである。すなわち、利用可能な変換間の切り替えの可能な実装に関して以下に説明される詳細は、選択された変換が最終的に変換器２８および逆変換器５２にそれぞれ適用される単位において、これら詳細が変換セグメントとは異なるセグメントに対しても適用される場合に、変更されてもよい。
【００３７】
このように、以下にさらに記載される実施形態では、エンコーダ１０およびデコーダ２０は、セグメント８４の単位で利用可能な変換セットの利用可能な変換間で切り替えるように構成される。あるセグメント８４がイントラ符号化セグメント８０の一部であるかどうか、すなわちその予測信号がイントラ予測によって決定されるか、またはインター符号化セグメント８２の一部であるかオーバーレイするかに応じて、すなわちインター符号化モードを使用してその予測信号が決定されるかどうかによって、そのセグメントがイントラ符号化セグメントおよびインター符号化セグメントに分類される。図３では、イントラ符号化セグメント８４は、イントラ符号化セグメント８０の周囲の位置を示す破線８６を使用して囲まれている。以下では、イントラ符号化セグメント８４は参照符号８４ａを使用して参照され、インター符号化セグメントは参照符号８４ｂを使用して示される。イントラ符号化セグメントとインター符号化セグメント８４の各々について、１つの代表例が図３に具体的に示されている。
【００３８】
以下に詳述する詳細は、エンコーダ１０とデコーダ２０がセグメント８４のそれぞれに対して同じ変換、すなわち順変換およびそれと対応する逆変換をどのように選択できるかを示す方法の可能な例に関する。以下にさらに説明する実施形態では、この目的のために明示的な信号化を使用するが、代わりに、純粋に内在的な信号化を使用してもよいことに留意されたい。後者の場合、例えば、エンコーダ１０およびデコーダ２０は、各セグメント８４に対して、データストリーム１４に含まれる情報を介して各セグメント８４についての利用可能な変換セットから選択された変換を予測または導出してもよいが、その情報は実際には他の用途に向けられたものである。例えば、あるセグメント８４について選択された変換は、近隣のセグメント８４に対して行われた選択に基づいて、選択されるべき変換を空間的に予測することによって、エンコーダ１０およびデコーダ２０によって決定することができる。追加的または代替的に、利用可能な変換セットからそれぞれのセグメントに対する変換を選択するために、現在のセグメント８４の符号化モードおよび／または近隣のセグメントの符号化モードを考慮に入れることができる。さらなる留意点として挙げられる事実は、以下の実施形態がイントラ符号化セグメント８４ａに関してのみ様々な変換間の切り替えを制限し、一方で、インター符号化セグメント８４ｂに対しては、インター符号化セグメント８４ｂに関して変換をスキップする機会の有無にかかわらず、一つのスペクトル−空間変換およびそれに対応する空間−スペクトル変換だけが利用可能である、という事実である。すなわち、以下に説明する実施形態は、イントラ符号化セグメント８４ａへの変換切り替えを制限する特定の実施形態に関するものであるが、これらの実施形態は、この変換切り替えがインター符号化セグメントにも適用される程度に変更されてもよい。
【００３９】
図４は、エンコーダ１０およびデコーダ２０が、セグメント８４ａの単位で変換ベースの残差符号化／復号化にとって利用可能な変換間で同期的に切り替わる方法を示す。図４は、エンコーダ１０によってサポートされる変換９２のセットを９０で示す。図４は、ｉ＝１…ＮであるＮ個の変換Ｔｉが存在することを示す。以下の実施形態では、Ｎは１６である。しかしながら、既に上述したように、他の例が適用されてもよい。デコーダ２０がセグメント８４ａの切り替えをサポートする変換９６の対応するセット９４は、図４の他の側に示されている。すなわち、変換Ｔ1-1は変換Ｔ1の逆であり、一般に変換Ｔｉ-1はｉ＝１…Ｎでの変換Ｔｉの逆である。以下では、セット９４の変換９６が単にセット９０の変換９２の逆であることを承知の上で、セット９０と９４は互いに明確に区別されない。
【００４０】
図４は、エンコーダ１０が、あるセグメント８４ａに対して、変換２の一つを選択することを示す。この選択は、湾曲した両頭矢印９８によって示されている。選択９８は、既に上述したいくつかの最適化基準を使用してエンコーダ１０によって実行されてもよい。図４の実施例は、エンコーダ１０が、各セグメント８４ａに対して、完全なセット９０、すなわちセット９０のすべての変換９２が選択され得るように設計されていることを示している。さらに、図４は、本発明の一実施形態に従えば、それぞれのセグメント８４ａについてセット９０の任意／すべての変換９２を選択する実行可能性が、エンコーダ１０およびデコーダ２０によってそれぞれサポートされるイントラ符号化モード１０４の利用可能なセット１０２のうち、それぞれのセグメント８４ａに対する符号化モードの選択１００に関係なく適用されることを、示そうとしている。イントラ符号化モード１０４は、ＣＭ１,ＣＭ２．．．ＣＭＭを使用して図４に示されている。イントラ符号化モードの数Ｍは、例えば７より大きくてもよく、または１５より大きくてもよい。イントラ符号化モード１０４は、既に上述したように、方向モード（directional modes）と、任意選択的であるが、ＤＣモードおよび／または平面モード（planar mode）などの一つまたは複数の非方向モードとを含むことができる。判定９８は、選択１００に関係なくセット９０のＮ個の変換９２のいずれかの選択を可能にするので、エンコーダ１０は、イントラ符号化モード１０４と変換９２とのＮ×Ｍの組み合わせの任意の組み合わせをセグメント８４ａに割り当てることができる。しかしながら、イントラ符号化モード１０４の中で選択１００に関係なくセグメント８４ａに対して変換９２のいずれも選択可能であるという事実は、選択９８および１００が互いに独立してエンコーダ１０によって実行されることを暗示するものではない、ことを強調すべきである。むしろ、エンコーダ１０は、イントラ符号化モード１０４と変換９２との最適な組み合わせが、セグメント８４ａに割り当てられるか、または選択されるように信号化されるような方法で、選択９８および１００を実行するであろう。
【００４１】
セグメント８４ａについての選択は、個々のセグメント８４ａについてのデータストリーム１４に含まれる変換クラスシグナライゼーション１０６を介して、エンコーダ１０から信号伝達される。図４は、データストリーム１４が、変換クラスシグナライゼーション１０６に加えて、セグメント８４ａについてのイントラ符号化モードシグナライゼーション１０８も含む場合を示している。図４はまた、セグメント８４ａのためにデコーダ２０において実行される変換９６の選択を示す。変換９６の中でデコーダ１１０によって実行される選択は、図４に両頭矢印１１０を使用して示されている。その選択は、変換クラスシグナライゼーション１０６に依存して実行される。この目的のために、デコーダ２０は、変換クラスシグナライゼーション１０６がとり得る値のドメインを、変換９６のセット９４上に主観的にマッピングする。すなわち、セット９４の全ての変換９６には、マッピングを介して、変換クラスシグナライゼーション１０６がとり得る対応する値が関連付けられている。当然のことながら、シグナライゼーション１０６を設定するために、エンコーダ１０によって同じマッピングが使用される。同様に、デコーダ２０は、例えば、セット１０２内のセグメント８４ａに使用されるべきイントラ符号化モード１０４を選択１１２するために、イントラ符号化モードシグナライゼーション１０８を使用する。エンコーダ１０がセグメント８４ａについてすべての変換９２を選択することができる実施形態の場合、符号化モード１０４の中からの選択１００にかかわらず、変換クラスシグナライゼーション１０６がとり得る値からセット９４の変換９６へのマッピングの主観的性質は、イントラ符号化モードシグナライゼーション１０８に基づいて選択１１２されたイントラ符号化モードに関係なく適用する。しかしながら、このような状況は、変換クラスシグナライゼーション１０６に応じてセグメント８４ａについての変換９６を選択１１０するためにデコーダ２０によって適用されるマッピングが、イントラ符号化モードシグナライゼーション１０８とは無関係であることを必ずしも意味するものではない、ことに留意されたい。むしろ、以下により詳細に説明するように、セグメント８４ａのために実行される符号化モード選択１１２は、データストリーム１４内の変換クラスシグナライゼーション１０６をより効率的に伝送するために、エンコーダ１０およびデコーダ２０によって考慮されてもよい。例えば、セグメント８４ａのために選択されたイントラ符号化モードは、変換クラスシグナライゼーション１０６をコンテキスト適応型エントロピー符号化する際のコンテキストを設定するために使用されてもよく、および／または、変換クラスシグナライゼーションは、セグメント８４のイントラ符号化モードに依存して、この可変長符号の符号すなわち、変換クラスシグナライゼーション１０６がとり得る値を一方とし、セット９４の変換９６を他方とする、マッピングを変更しながら、可変長符号を使用して送信されてもよい。
【００４２】
上述の態様を、図５および６に関して説明する。この実施形態では、変換クラスシグナライゼーションがプレフィックス１３０と条件付き符号化サフィックス１３２とからなる可変長符号を使用して符号化される。変換クラスシグナライゼーション１０６の値は、図５において大文字Ａ〜Ｏを用いて区別される。すなわち、値の数は、図５の場合には例示的に１７である。変換の数Ｎは、例示的に１６である。図５の実施形態に従えば、１のような第１の状態を呈するシグナライゼーション１０６のプレフィックス１３０は、変換クラスシグナライゼーション１０６が属するセグメント８４ａに使用されるべき変換が、空間的及び／又は時間的予測を使用して、或いは、各セグメントについてデータストリーム１４内で信号化された特性に基づいて、選択されるべきであることを示す。例えば、第１の状態を呈するプレフィックス１３０の場合、選択された変換９２/９６は、近隣のセグメントに対して選択された変換に基づいて決定されてもよく、追加的あるいは代替的に、第１の状態を呈するプレフィックス１３０は、変換クラスシグナライゼーション１０６が属するセグメント８４ａについてデータストリーム内で信号化された特性、例えばイントラ符号化モードシグナライゼーション１０８のような特性に基づいて、選択された変換が決定されるべきであること、に関連しているか、又はそうであることを示す。言い換えると、第１の状態１を呈するプレフィックス１３０に対応する値Ａは、直上で説明された空間的および／または時間的予測および／または特性に依存して、変換９２/９６の一つに可変的に関連付けられ、この可変的な関連付けは、図５に湾曲矢印１３４を使用して示されている。第１の状態を呈するプレフィックス１３０の場合、変換クラスシグナライゼーション１０６はサフィックス１３２を含まない。変換クラスシグナライゼーション１０６の他の全ての値Ｂ〜Ｏは、プレフィックス１３０とサフィックス１３２とを有する変換クラスシグナライゼーション１０６に対応し、プレフィックスは他の（第２の）状態、例えば０を呈する。図５に示される例において、サフィックスは固定長バイナリゼーションに対応し、プレフィックス１３０とサフィックス１３２とで構成されるシグナライゼーション１０６に対応する値の数は、値Ｎに等しく、各値は変換９２／９６の異なる一つに対応する。すなわち、値Ａを除く残りの値Ｂ〜Ｏは、セット９０／９４の変換９２／９６に対して全単射的にマッピングされる。この全単射マッピング１３６は、例えば、固定的であるか、または可変的関連付け１３４を介して値Ａに関連付けられた変換とは独立している。
【００４３】
図６は、図５の変形例を示し、変換クラスシグナライゼーション１０６が呈する値の数が、図５の場合のようにＮ＋１ではなく、正にＮである場合である。ここで、値Ｂ〜Ｎが「残りの変換」に全単射的にマッピングされ、すなわち、残りの変換とは、セット９０／９４のすべての変換から、変換クラスシグナライゼーション１０６の値Ａに可変的に関連付けられた一つを引いたものである。図６によれば、プレフィックス１３０＋サフィックス１３２を含む変換クラスシグナライゼーション１０６の値の関連付け又はマッピング１３６は、変換クラスシグナライゼーション１０６のプレフィックスのみの値と可変的に関連付け１３４された変換に依存する。
【００４４】
以下では、上述した実施形態を実施するための実施例を以下に説明する。これまで説明したように、上述した実施形態は、予測残差を変換または逆変換するために様々な変換が使用される、圧縮済みビデオビットストリームの符号化／復号化を含む。実施形態に従って説明されたような様々な変換の使用は、イントラ符号化セグメントまたはイントラ予測セグメントに限定されてもよく、または他のセグメントに拡張されてもよい。イントラ符号化セグメントに制限される場合、上記実施形態は、変換ベースの残差復号化／符号化のために安定的に１つの特定の変換を使用することによって、または、自由に選択され得る規則および依存性に従って異なる変換セットを使用することによって、他のセグメントを含んでもよい。いずれの場合にも、本願の実施形態に従って選択された変換は、逆量子化後にそれぞれのセグメントを逆変換するために使用され、量子化の前に変換ベースの残差符号化のために対応する変換を選択するために使用される。
【００４５】
変換９２／９６のセット９０／９４が関係する限り、以下のことに注目されたい。上記では具体的に概説していないが、このセットは、恒等変換を追加的に含むか、または除外することにより、互いに異なる少なくとも２つの変換を含むことができる。この少なくとも２つの変換は、ＤＣＴおよびＤＳＴのいずれであってもよい。好ましくは、変換９２および９４は一次元変換の連鎖に相当し、一つは水平方向に適用され、他の一つは垂直方向に適用される。以下に説明する実施形態では、セット９０／９４は複数の変換を含み、その中の１つは、一次元変換を垂直方向に適用するが、空間的に水平方向には適用せず、その中の別の１つは、同じ次元変換を水平方向に適用するが、空間ドメインにおいては適用しない。一般的に言えば、以下に記載する特定の実施形態は、１つの水平変換と１つの垂直変換との異なるペアから構成される１セットの変換９０／９４を使用する。特に、この変換セットは、水平方向に適用された一次元変換セットの第１の１つと、垂直方向に適用された一次元変換の同じセットの第２の１つとの連鎖から構成される。一次元変換セットは、１つの恒等変換と３つの離散コサイン／サイン変換とからなる。しかしながら、離散コサイン／サイン変換の数は、例えば１つ、２つ、または３つよりも多いような、任意の他の数であってもよい。
【００４６】
既に上述したように、エンコーダで利用可能な変換は、以下のものであってもよい。
・ＤＣＴ−ＩＩ（またはＤＣＴ−ＩＩＩ）
・ＤＳＴ−ＩＶ
・ＤＣＴ−ＩＶ
・恒等変換（ＩＴ）
【００４７】
自明であるが、デコーダで利用可能な逆変換は、対応する逆変換となるであろう。
【００４８】
言い換えると、上述したセット９０および９４は、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶおよびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶおよびＤＳＴ−ＩＶから構成されるであろう。
【００４９】
一実施形態によれば、セット９０/９４は、行および列に適用される、すなわち垂直方向および水平方向に適用される、上述の４つの変換の任意の可能な組合せを含む。したがって、本実施形態によれば、可能な組合せの総数、すなわち変換９２/９６の数Ｎは、１６である。当然のことながら、変更は実現可能であるが、シミュレーションは、これらの１６個の変換のセットのいずれを使用しても、改善された符号化効率をもたらすことを明らかにしている。
【００５０】
上述した説明に加えて、Ｎ個の変換９２/９６間の切り替えは、全てのサイズのセグメント８４に対して、または所定のサイズのみのセットのセグメントに対して、エンコーダ１０およびデコーダ２０によってサポートされてもよい、ことに留意されたい。全てのサイズに対して切り替えが行われる場合、その切り替えは、シグナライゼーションを含み、セグメントサイズから独立して行われてもよい。所定のサイズのセットに対してのみ切り替えが行われる場合、所定のサイズは例えばそれぞれのセグメントに含まれたサンプルの数において測定され得るが、所定のサイズより小さいセグメント８４については、デフォルト変換がエンコーダおよびデコーダにおいてそれぞれ使用されてもよい。そのデフォルト変換は必然的に実行されてもよく、また、何らかの変換をバイパスすること、即ち何も変換を実行せずに空間ドメインにおいて変化なしとしてもよく、しなくてもよい。
【００５１】
図５および図６の実施例の別の変形例として、変換クラスシグナライゼーション１０６は、代替的に固定長のシンタックス要素のみから構成することができ、すなわち単にサフィックス１３２が変換クラスシグナライゼーションを表し、よって変換クラスシグナライゼーション１０６が固定長符号を使用して信号化される、ことに留意されたい。シンタックス要素は、transformClassと示すことができる。セット９０および９４において、１６個の変換を使用する特異な例の場合、変換クラスシグナライゼーションまたはシンタックス要素変換クラスは、固定数のビン、すなわち４つのビンを含むことができる。
【００５２】
変換クラスシンタックス要素の４つのビン、すなわちプレフィックス１３０も使用する場合のサフィックス１３２のビン、またはプレフィックス１３０を使用しない場合の変換クラスシグナライゼーションの固定数のビンは、コンテキスト適応型バイナリ算術符号化、すなわちＣＡＢＡＣを使用して符号化することができる。コンテキスト適応型である他のエントロピー符号化スキームも、同様に使用することができる。コンテキストは、シンタックス要素変換クラスが属する各セグメント８４に対して選択された、イントラモード１０４に依存して選択され、このコンテキストは、このセグメント８４の予測残差信号を計算するために使用される。このようなコンテキスト依存性は、変換クラスの統計へのより良い適合を可能にし得る。
【００５３】
第１の例（実施例１）として、例えば、デコーダ２０は、値ｉcを用いてビットストリーム１４から４つのビンを読み出すことができ、値ｉcは現在のイントラモード、即ち、変換クラスシグナライゼーションを形成している、上記４つのビンが読み出されるセグメント８４に対して選択されたイントラ符号化モードである。言い換えると、デコーダは、変換クラスシグナライゼーション１０６の各ビンｂ0〜ｂ3をエントロピー復号化するために使用されるコンテキストを指標化するための値ｉcを使用してもよい。以下の表は、結果として得られるコンテキスト選択を示す。
【００５４】
【表１】
2019525589.tif 000002
【００５５】
さらなる例（実施例２）によれば、現在のイントラモードがｉcである場合、デコーダは、行変換（rows transform）を復号化するために、ビットストリームから２つのビンを読み出すことができ、列変換（columns transform）を復号化するために２つの他のビンを読み出すことができ、ここで各カテゴリの第１ビンについてのコンテキストはｉcであり、各カテゴリの第２ビンについてのコンテキストは第１ビンの値に依存する。
【００５６】
【表２】
2019525589.tif 000003
【００５７】
「transformClass」の値とビンの間のマッピングは、以下のように行うことができる。
【００５８】
第１の例（実施例１）
【表３】
2019525589.tif 000004
【００５９】
第２の例（実施例２）
【表４】
2019525589.tif 000005
【００６０】
現在のセグメント（ＴＵ）の「transformClass」の符号化効率は、近隣のＴＢおよびＴＵ自体の、予測タイプ、イントラモード、符号化ブロックフラグ（ＣＢＦ）、ブロックサイズおよび「transformClass」の値を使用することによって、改善することができる。例えば、ｉlおよびｉcをそれぞれ左側および現在のＴＢｓのイントラモードとし、ｔlおよびｔcをそれぞれの選択された変換であるとする。次に、ｉl＝ｉcおよびｔl＝ｔcであると仮定すると、デコーダで使用されなければならない逆変換を信号化するために１つのビンだけ、すなわちプレフィックス１３０のビンだけが必要になるであろう。
【００６１】
上記の実施形態および概念は、各ＴＵ（変換ユニット）またはＴＢ（変換ブロック）のための所与のセットから、エンコーダがそれぞれ最適（すなわち、最低レート−歪みコストを達成するもの）を選択することを可能にすることによって、例えばＨＥＶＣのようなビデオコーデックのイントラ符号化性能を改善するために使用され得る。単に、輝度ブロック、ＴＢ、またはセグメントが、それぞれ本明細書に記載された変換切り替え概念の対象となってもよい。クロマＴＢは、典型的に低周波数成分においてそれらのエネルギーを集中させ、したがってＤＣＴ−ＩＩを補完する必要がない場合には、考慮されないことがある。すなわち、ＩＴ変換を使用することによって空間ドメインに残ることを許容するか否かに関わらず、単一の変換がクロマブロックに対して排他的に適用されてもよい。変換の実施は、ＨＥＶＣのコア変換を用いるなどして分離可能な方法で実行される。分離可能性は、２次元変換を計算するために必要な演算の数を減少させる、高速一次元アルゴリズムの使用を可能にするので、変換符号化のコンテキストにおいて有利な特性である。さらに、それは、ブロックの垂直方向と水平方向との結合を解除し、各次元に異なる１Ｄ変換の使用を許可するので、コンテンツへのより良好な適合を容易にする。このため、本発明の実施形態による例示的な実装では、行に対しては４つの変換が利用可能であり、列に対しては４つの変換が利用可能である。それらのいずれの組み合わせも可能であるので、これは、全部で１６個の異なる可能な変換が存在することを意味する。任意のＴＢサイズに対し、例えばＨＥＶＣの例示的なケースにおいては４×４、８×８、１６×１６および３２×３２のようなサイズについて、新たな変換ペアが利用可能にされてもよい。
【００６２】
上記導入された利用可能な変換セットのうちのある一つのセットに関する議論を、以下に提供する。
【００６３】
変換プールは、以下のオプションからなる。
・ＤＣＴ−ＩＩ
・ＤＳＴ−ＩＶ
・ＤＣＴ−ＩＶ
・ＩＴ
【００６４】
ここで、これらのうち３つがＤＴＴであり、他の１つがＩＴである。（ＤＣＴ−ＩＩ，ＤＳＴ−ＩＶ）、（ＤＣＴ−ＩＶ，ＤＣＴ−ＩＶ）または（ＩＴ，ＤＣＴ−ＩＩ）は、可能な変換ペアの例である。図７は、すべての可能な変換ペアの完全なリストを、それらの基底関数の表現と共に示す。
【００６５】
これらの変換を選択するために、異なる基準が考慮された。第１に、ＤＣＴ−ＩＩは、長年にわたって画像およびビデオ符号化アプリケーションにおけるデフォルト変換であったし、残差統計値が一次のマルコフ・プロセスモデル（first order Markov process model）と適合する場合には非常に良好に機能するので、自明な選択であった。
【００６６】
一方で、上述したように、非特許文献６の発見は、異なるタイプの残差ブロックにとって適切な変換としてＤＳＴ−ＶＩＩを考慮し、導入することに導き、これは、本発明の変換プールにとって有用な候補になり得た理由である。しかしながら、この役割のために、代わりにＤＳＴ−ＩＶを採用することを本発明者らは決定した。この背景となる論理を理解するために、本発明者らは、非特許文献１１に説明されるように、ＤＴＴが離散フーリエ変換（ＤＦＴ）と密接に関係するファミリーを形成することを考慮に入れなければならない。実際、それらＤＴＴの各々は、一般化ＤＦＴ（ＧＤＦＴ）の特別な場合を表し、ここで各ＤＴＴ間の差は、ＤＦＴを信号の上に適用する前にその信号に対して実行される、周期的及び対称的拡張の形式で存在している［非特許文献１１］。例えば、周知のＤＣＴ−ＩＩの場合、図８（ａ）の１Ｄの例と同様に、信号の半サンプルの偶数対称的複製(half-sample even symmetry replicas)を用いて信号の両端をパディングすることによって、拡張が行われる。図８（ｂ）及び図８（ｄ）には、ＤＳＴ−ＶＩＩおよびＤＳＴ−ＩＶについて、それぞれ同じ例が示されている。両方の場合に見られるように、対称的拡張は、左側および右側においてそれぞれ奇数および偶数である。その差は、左端で使用される対称軸の位置にある。ＤＳＴ−ＩＶの場合、対称軸は２つのサンプルの中間にあるが、ＤＳＴ−ＶＩＩの場合には正に１つのサンプル上にある。左側のこの特性と奇数対称性との組み合わせは、１つのサンプルが０であることを強制する。それにもかかわらず、対称的拡張は依然として実際に同一であり、したがって両方の変換は非常に類似しており、かつ漸近的に等価であり、ＤＳＴ−ＩＶはＤＣＴ−ＩＩと同様の偶数ＤＴＴであるという利点を有する。したがって、ＤＣＴ−ＩＩについての既存の関係するアルゴリズム［非特許文献２］と同様に、高速な方法でＤＳＴ−ＩＶを構成するための関連する多くのアルゴリズムが、文献の中に存在する。
【００６７】
変換プールにＤＣＴ−ＩＩおよびＤＳＴ−ＩＶを含めた後、本発明者らはまたＤＣＴ−ＩＶを選択することを決定した。図８（ｃ）に示すように、その対称的拡張は、ＤＳＴ−ＩＶのそれと正反対である。この事実は、両方の変換の間で非常に興味深い関係に導く［非特許文献２］。
2019525589.tif 000006
ここで、ＳNIVとＣNIVは、それぞれＮ点のＤＳＴ−ＩＶおよびＤＣＴ−ＩＶ行列であり、ＪNは反対角（ＩＴの反射）上に１を有する反対角行列（antidiagonal matrix）であり、ＤNは、エントリーＤＮ＝ｄｉａｇ（（−１）ｋ）を有する対角行列（diagonal matrix）であり、ｋ＝０，１．．．Ｎ-１である［非特許文献２］。この理由のため、ＤＣＴ−ＩＶの使用はいくつかの利点を提示する。第１に、ＤＳＴ−ＩＶと比較して、その基底関数は、図７（ｆ）及び図７（ｐ）に示されるように反対の挙動を示し、このことは、ＤＳＴ−ＩＶが適切な変換ではない他のタイプの残差を効率的にモデル化するのに有用である。さらに、式（１）で表される関係は、ＤＳＴ−ＩＶ上のある要素の順序変更（reordering）および符号変更のみを含む。この結果、変換プール内にＤＣＴ-ＩＶを含めるために、さらなる記憶要件は必要とされない。最後に、ＤＣＴ−ＩＶもまた偶数のＤＴＴであり、したがって、既に議論した他の２つの変換と同様に高速で実施することができる。
【００６８】
ＩＴは、信号を全く変換しないオプションを表す。したがって、変換ペア（ＩＴ，ＩＴ）は、実際のところＨＥＶＣの変換スキップモードと等価である［非特許文献１］（しかしながら、残差サンプルは依然として量子化前にスケーリングされる）。それにもかかわらず、一実施形態によれば、４×４ブロックに制限されず、ＩＴはプールの他の変換のいずれとも組み合わせることができる。このように、信号の１つの次元だけ（行だけまたは列だけ）を変換することが可能であり、これは、ある残差のエネルギー圧縮を改善するのに非常に有用である。同様のアプローチが、ＤＣＴ−ＩＩと組み合わせてインター予測された残差において提案された［非特許文献１２］。エンコーダにおける不必要な冗長性を回避するために、ＨＥＶＣの変換スキップモードは、結果としてイントラ予測ブロックに対して無効にされてもよく、したがって、変換スキップフラグは、このタイプのＴＢに対してデコーダに送信されなくてもよい。この明細書の多重コア変換フレームワークの文脈では１Ｄ変換として提示されているが、ＩＴの実装はマトリックス乗算を実際に実行する必要がないことは確かなことである。標準ＨＥＶＣ変換スキップモードの場合と同様に、変換ステージは単にスキップされる。しかし、依然として、残差サンプルは量子化前にスケーリングされる。
【００６９】
エンコーダにおいて、各輝度ＴＢについての変換の選択プロセスは、レート−歪みループの内部で行われる。そうするために必要なステップを次に要約する。
【００７０】
１）ＴｉおよびＴｊをそれぞれ可能な行変換および列変換とし、ここでｉ，ｊ＝（１，２，３，４）である。
２）次に、各変換ペアｐｉｊ＝（Ｔｉ，Ｔｊ）に対して、
ａ）輝度ＴＢを変換および量子化する。
ｂ）変換され量子化された係数とその変換を信号化するのに必要なオーバーヘッド・ビットとをエントロピー符号化する。
ｃ）変換ペアｐｉｊのレート−歪みコストＪｉｊを得る。
３）最後に、Ｊｉｊを最小にするものとして、最適変換ペアｐ＊ｉｊ＝（Ｔｉ，Ｔｊ）が選択される。
【００７１】
同じ手順は、ＩＰＭに関係なく、すべてのイントラ予測された輝度ＴＢに実行される。このアルゴリズムで使用されるレート−歪みコストＪは、次式を使用して計算される。
2019525589.tif 000007
ここで、Ｄは元のブロックと再構成されたブロックとの差の二乗和(the sum of squared differences)として得られる歪みであり、Ｒは量子化された係数と符号化パラメータとをデコーダへ送るのに必要なビット数であり、λは歪みとレートとの間のトレードオフを規定する定数である［非特許文献１３］。
【００７２】
変換のシグナライゼーションとは、エンコーダによって実行される変換ペアの決定がデコーダに伝達されるべきことを意味する。全部で１６個の可能な組合せが存在するので、４つのビンが符号化されるべきである。各ＴＢについて、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ）［非特許文献１］を使用することができる。そのコンテキストは、現在のＴＢの残差信号を計算するために使用されたＩＰＭに依存してもよい。なぜなら、それによってコンテンツの統計へのより良好な適合が可能になるからである。
【００７３】
複雑さに関して既に上述したように、エンコーダは、最適な変換ペアを見つけるためにフルサーチの方策を適用してもよい。このようなプロセスは、レート−歪みコストの最小化を保証するという事実にもかかわらず、変換、量子化、及びエントロピー符号化操作が各輝度ＴＢについて１６回計算されるとすれば、アルゴリズムの複雑さにおいて非常に有意な増加を意味する。しかしながら、デコーダ側では、アルゴリズムの複雑さに有意な増加はない。エンコーダとは異なり、変換選択を解析するだけでよく、各輝度ＴＢに対して１つの変換のみが実行される。また、０に等しい符号化ブロックフラグ（ＣＢＦ）を受信した場合、変換動作は全く必要とされない。なぜならそれは、全ての残差係数が０であることを意味するからである。
【００７４】
上記概念は、ＨＥＶＣテストモデル（ＨＭ）参照ソフトウェア（バージョン１６．６）において実施されてきた。輝度ＴＢｓだけが、この修正によって影響を受けてきた。変換スケーリング操作は、非特許文献１４に記載されているＨＥＶＣにおけるＤＣＴ−ＩＩの場合と同様に実行されてきた。共通の試験条件［非特許文献１５］によって示されるように、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ（ＨＥ）１０ビットプロファイルとＡｌｌ−Ｉｎｔｒａ（ＡＩ）構成とを使用して、いくつかの試験が行われてきた。
【００７５】
表Ｉ：ＡＩ−ＨＥ１０構成を使用するすべてのシーケンスについてのビット節約
【表５】
2019525589.tif 000008
【００７６】
表Ｉは、試験の結果を示す。各クラスは異なるタイプの解像度を表すが、クラスＦの場合は例外的に、異なる解像度を有するスクリーン・コンテンツ・シーケンスがグループ化されている。スクリーン・コンテンツ・ビデオは、コンピュータによって生成されたグラフィックス、テキストまたはアニメーション（単独でまたはカメラ撮影シーンと組み合わせて）を表示する。表から分かるように、このツールの平均性能は３％のビットレート低減である。さらに、クラスＦの場合を除き、すべてのクラスは同様の挙動を示し、クラスＦのシーケンスが最良の結果を達成する。これは、変換プール内でＩＴを実装することによって変換スキップモードの能力を拡張したことを考慮すると、驚くべき事実ではない。
【００７７】
上述したように、ＤＳＴ−ＩＶとＤＳＴ−ＶＩＩとの間の差異および類似性について考察した。両方の変換間の性能比較を得るために、本発明者らは、利用可能な１Ｄ変換の一つとしてＤＳＴ−ＩＶをＤＳＴ−ＶＩＩで置き換える試験を繰り返してきた。平均ビット節約結果は実際には同等であり（ＤＳＴ−ＩＶについて−３．０４％であり、ＤＳＴ−ＶＩＩについて−３．０７％）、複雑性および記憶の点でのその利点により、本発明者らのシステムではＤＳＴ−ＶＩＩの代わりとしてＤＳＴ−ＩＶを使用することを提案する。
【００７８】
最後に、一例として、バスケット・ボールドリル（Basket- ballDrill）のシーケンスについて、ピーク信号／雑音比（ＰＳＮＲ）対レート曲線が提示される。観察されるように、利得は最高レート点の周囲でより集中する。これはおそらく、この場合、エンコーダが各輝度ＴＢについて変換を信号化するためにより多くのビットを費やすことができ、したがって、コンテンツへのより高い適合性がある、という事実に起因するものである。
【００７９】
以上のことを結論付けると、上述した実施形態は、変換符号化のためにはＤＣＴ−ＩＩが次善策であることを示してきた。一実施形態に従えば、ＤＴＴファミリーおよびＩＭのより多くの変換を使用することが提案されてきた。
【００８０】
いくつかの態様が装置に関して説明されてきたが、これらの態様は、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応する、対応する方法の説明を表すことは明らかである。同様に、方法ステップの文脈において説明される態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明を表す。方法ステップの一部または全部は、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行されることが可能である。いくつかの実施形態において、最も重要な方法ステップのうちのいくつかの一つまたは複数は、そのような装置によって実行されてもよい。
【００８１】
本発明の符号化されたビデオまたはピクチャの信号は、デジタル記憶媒体に記憶することができ、またはインターネットなどの無線伝送媒体または有線伝送媒体のような伝送媒体上で伝送することができる。
【００８２】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアで実施されてもよいし、ソフトウェアで実施されてもよい。この実施は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)電子的に読み取り可能な制御信号を記憶するデジタル記憶媒体、例えばフロッピー(登録商標)ディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはフラッシュメモリを使用して実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
【００８３】
本発明によるいくつかの実施形態は、本明細書に記載される方法のうちの一つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【００８４】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で実行されるときに、その方法の一つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実装することができる。プログラムコードは、例えば、機械読み取り可能なキャリアに格納されてもよい。
【００８５】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載された方法のうちの一つを実行するコンピュータプログラムを含む。
【００８６】
言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載された方法の一つを実行するプログラムコードを有するコンピュータプログラムである。
【００８７】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法のうちの一つを実行するコンピュータプログラムを記録したデータキャリア(または、デジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には、有形および／または非一時的である。
【００８８】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の一つを実行するコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは、例えばインターネットを介するなど、例えばデータ通信接続を介して転送されるように構成されてもよい。
【００８９】
さらなる実施形態は、本明細書に記載される方法の一つを実行するように構成されるか、または適応されるように構成される、処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。
【００９０】
さらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムをその上にインストールされたコンピュータを含む。
【００９１】
本発明によるさらなる実施形態は、本明細書に記載される方法の一つを実行するコンピュータプログラムを受信機に転送する(例えば、電子的にまたは光学的に)ように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
【００９２】
いくつかの実施形態において、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)は、本明細書に記載される方法の機能のいくつかまたは全ての機能を実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法のうちの一つを実行するためにマイクロプロセッサと協働することができる。一般に、本方法は、任意のハードウェア装置によって実行されることが好ましい。
【００９３】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実装することができる。
【００９４】
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装されてもよい。
【００９５】
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行することができる。
【００９６】
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、ハードウェアによって、および/またはソフトウェアによって、少なくとも部分的に実行され得る。
【００９７】
上述した実施形態は、本発明の原理を説明するためのものである。本明細書中に記載される配置および詳細の変更および変形は、当業者には明らかであることが理解される。従って、本明細書の実施形態の説明および記載によって提示される特定の詳細によるものではなく、本願の特許請求の範囲によってのみ限定されることが意図される。
【図１】
2019525589.tif 000009
【図２】
2019525589.tif 000010
【図３】
2019525589.tif 000011
【図４】
2019525589.tif 000012
【図５】
2019525589.tif 000013
【図６】
2019525589.tif 000014
【図７】
2019525589.tif 000015
【図８ａ】
2019525589.tif 000016
【図８ｂ】
2019525589.tif 000017
【図８ｃ】
2019525589.tif 000018
【図８ｄ】
2019525589.tif 000019
【手続補正書】
【提出日】平成31年3月4日(2019.3.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
データストリームからピクチャを予測的に復号化する装置であって、前記データストリームから前記ピクチャの予測残差信号を復号化し、前記予測残差信号のスペクトル−空間変換に際して１つのセットの変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するよう構成される、装置。
【請求項２】
前記装置は、前記ピクチャがサブ分割されたセグメントの単位で前記セットの変換間の切り替えをサポートすることを特徴とする、請求項１に記載の装置。
【請求項３】
前記装置は、前記予測残差信号のスペクトル−空間変換に際して、イントラ符号化セグメントについては前記セットの変換間の切り替えをサポートし、インター符号化セグメントについては、１つの変換を安定的に使用するか、又は異なるセットの変換間の切り替えを使用するように構成される、請求項２に記載の装置。
【請求項４】
前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、前記データストリームに含まれた個々のセグメントについての変換クラスシグナライゼーションに応じて、前記セットの変換内の１つの変換を選択するよう構成され、前記セットの各セグメントについて、前記セットの変換の全ての変換が各セグメントの符号化モードから独立した方法で選択可能となるように、前記セットの各セグメントについて、前記変換クラスシグナライゼーションが取り得る値のドメインの、前記セットの変換への全射マッピングを使用する、請求項２または３に記載の装置。
【請求項５】
前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、それら個々のセグメントの近隣についての前記データストリームから導出された特性に依存して、前記セットの変換の１つの変換を選択するよう構成される、請求項２〜４のいずれか一項に記載の装置。
【請求項６】
前記装置は、前記セットの変換間の切り替えに際して、各イントラ符号化セグメントについて、データストリームに含まれた個々のイントラ符号化セグメントのための変換クラスシグナライゼーションに依存して前記セットの変換の１つを選択し、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー復号化を使用して、前記データストリームから変換クラスシグナライゼーションを導出するよう構成される、請求項２〜５のいずれか一項に記載の装置。
【請求項７】
前記装置は、前記セットの変換の切り替えに際して、前記セグメントの１セットの各々について、データストリームに含まれた個々のセグメントのための変換クラスシグナライゼーションに依存して前記セットの変換の１つの変換を選択するように構成され、
前記変換クラスシグナライゼーションのサフィックス部分を持たない前記データストリームを解析しながら、前記変換クラスシグナライゼーションのプレフィックス部分に依存して、空間的及び／又は時間的予測によって、又は個々のセグメントについて前記データストリーム内で信号伝達された特性に基づいて、前記変換を選択するか、
又は
前記データストリームから前記変換クラスシグナライゼーションのサフィックス部分を導出し、かつ前記サフィックス部分に基づいて前記変換を選択するように構成される、請求項２〜６のいずれか一項に記載の装置。
【請求項８】
前記変換クラスシグナライゼーションの前記サフィックス部分がとり得る値のドメインを、前記空間的及び／又は時間的予測及び特性から独立して、前記セットの変換にそれぞれマッピングするように構成される、請求項７に記載の装置。<BR>
【請求項９】
前記セットの変換が、第１のスペクトル−空間変換と、前記第１のスペクトル−空間変換とは異なる第２のスペクトル−空間変換とを含む、請求項１〜８のいずれか一項に記載の装置。
【請求項１０】
前記セットの変換は、
水平方向に適用される第１の一次元スペクトル−空間変換と、垂直方向に適用される第２の一次元スペクトル−空間変換との連鎖であるスペクトル−空間変換を含み、前記第１の一次元スペクトル−空間変換と前記第２の一次元スペクトル−空間変換とは互いに異なる、請求項１〜９のいずれか一項に記載の装置。
【請求項１１】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元スペクトル−空間変換である第１のスペクトル−空間変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元スペクトル−空間変換である第２のスペクトル−空間変換とを含む、請求項１〜１０のいずれか一項に記載の装置。
【請求項１２】
前記セットの変換は、水平変換セットの１つの変換と垂直変換セットの１つの変換との種々のペアからなる、請求項１〜１１のいずれか一項に記載の装置。
【請求項１３】
前記セットの変換は、水平方向に適用される一次元スペクトル−空間変換セットの第１の変換と、垂直方向に適用される一次元スペクトル−空間変換セットの第２の変換との連鎖で構成される、請求項１〜１２のいずれか一項に記載の装置。
【請求項１４】
前記一次元スペクトル−空間変換セットは、一つの恒等変換と、一つ以上の離散コサイン／サイン変換とからなる、請求項１３に記載の装置。
【請求項１５】
前記一次元スペクトル−空間変換セットは、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶからなる、請求項１４に記載の装置。
【請求項１６】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される一次元スペクトル−空間変換セットの第１の変換を指標化するために前記ビンの第１半分を使用し、垂直方向に適用される一次元スペクトル−空間変換セットの第２の変換を指標化するために前記ビンの第２半分を使用するように構成される、請求項１３〜１５のいずれか一項に記載の装置。
【請求項１７】
前記ビンの第１半分と前記一次元スペクトル−空間変換セットとの間の関連付けと、前記ビンの第２半分と前記一次元スペクトル−空間変換セットとの間の関連付けとは、互いに等しい、請求項１６に記載の装置。
【請求項１８】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションに応じて前記セットの変換間の切り替えを実行するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される一次元スペクトル−空間変換セットの第１の変換を指標化するために前記ビンの第１半分を使用し、垂直方向に適用された一次元スペクトル−空間変換セットの第２の変換を指標化するために前記ビンの第２半分を使用するように構成され、前記装置は、｛恒等変換、ＤＳＴ−ＩＶ｝と｛ＤＣＴ−ＩＩ／ＩＩＩ，ＤＣＴ−ＩＶ｝とを区別するために、前記ビンの第１半分の第１ビンと前記ビンの第２半分の第１ビンとを使用し、｛恒等変換、ＤＣＴ−ＩＩ／ＩＩＩ｝と｛ＤＣＴ−ＩＶ，ＤＳＴ−ＩＶ｝とを区別するために、前記ビンの第１半分の第２ビンと前記ビンの第２半分の第２ビンとを使用する、請求項１５に記載の装置。
【請求項１９】
前記第１半分及び第２半分の第２ビンに応じて、それぞれ前記第１半分及び第２半分の第１ビンをコンテキスト適応的にエントロピー復号化するためのコンテキストを選択するように構成された、請求項１８に記載の装置。
【請求項２０】
前記装置は、前記変換クラスシグナライゼーションが前記データストリーム内に含まれている、セグメントのイントラ符号化モードに応じて、前記第１半分及び第２半分の第２ビンをコンテキスト適応的にエントロピー復号化するためのコンテキストを選択するように構成された、請求項１８または１９に記載の装置。
【請求項２１】
ピクチャをデータストリームに予測的に符号化する装置であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して１つのセットの変換間の切り替えをサポートしながら、空間−スペクトル変換し、スペクトルドメインの予測残差信号を前記データストリームへと符号化するよう構成される、装置。
【請求項２２】
前記装置は、前記ピクチャがサブ分割されるセグメントの単位で前記セットの変換間の切り替えをサポートする、請求項２１に記載の装置。
【請求項２３】
前記装置は、前記予測残差信号の空間-スペクトル変換に際して、イントラ符号化セグメントについては前記セットの変換間の切り替えをサポートし、インター符号化セグメントについては、１つの変換を安定的に使用するか、又は異なるセットの変換間の切り替えを使用するよう構成される、請求項２２に記載の装置。
【請求項２４】
前記装置は、前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、前記データストリームに含まれた個々のセグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の１つの変換を信号伝達するよう構成され、前記セットの各セグメントについて、前記セットの変換のすべての変換が各セグメントの符号化モードから独立した方法で信号伝達され得るように、前記セットの各セグメントについて、前記変換クラスシグナライゼーションがとり得る値のドメインの、前記セットの変換への全射マッピングを使用する、請求項２２または２３に記載の装置。
【請求項２５】
前記装置は、前記個々のセグメントの近隣について前記データストリーム内で信号伝達された特性にも依存して、前記信号伝達を実行するよう構成される、請求項２４に記載の装置。
【請求項２６】
前記装置は、前記セットの変換間の切り替えに際して、イントラ符号化セグメントの各々について、前記データストリーム内の個々のイントラ符号化セグメントについての変換クラスシグナライゼーションを介して、前記セットの変換の１つを信号伝達するものであり、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー符号化を用いて、前記変換クラスシグナライゼーションを前記データストリームへ符号化するよう構成される、請求項２２〜２５のいずれか一項に記載の装置。
【請求項２７】
前記装置は、前記セットの変換間の切り替えに際して、前記セグメントの１セットの各々について、前記データストリーム内の個々のセグメントについての変換クラスシグナライゼーションを介して、前記変換クラスシグナライゼーションのプレフィックス部分によって、以下の信号伝達により前記セットの変換の１つの変換を信号伝達するように構成され、
前記各セグメントについて前記変換クラスシグナライゼーションがサフィックス部分を含まないままで、前記変換が、空間的および／または時間的に予測されるべきであるか、又は、前記個々のセグメントについて前記データストリーム内で信号伝達される特性に基づくべきである、ことを信号伝達するか、
又は
前記個々のセグメントについての変換クラスシグナライゼーションのサフィックス部分が前記データストリーム内に含まれ、かつ前記変換が前記サフィックス部分に基づいて選択されるべきである、ことを信号伝達する、請求項２２〜２６のいずれか一項に記載の装置。
【請求項２８】
前記装置は、前記変換クラスシグナライゼーションの前記サフィックス部分がとり得る値のドメインを、前記空間的および／または時間的予測と特性とから独立して、前記セットの変換に対してマッピングすることを使用して、前記サフィックス部分を設定するように構成される、請求項２７に記載の装置。
【請求項２９】
前記セットの変換は、第１の空間−スペクトル変換と、前記第１の空間−スペクトル変換とは異なる第２の空間−スペクトル変換とを含む、請求項２１〜２８のいずれか一項に記載の装置。
【請求項３０】
前記セットの変換は、水平方向に適用される第１の一次元空間−スペクトル変換と垂直方向に適用される第２の一次元空間−スペクトル変換との連鎖である空間−スペクトル変換を含み、前記第１の一次元空間−スペクトル変換と前記第２の一次元空間−スペクトル変換とは互いに異なる、請求項２１〜２９のいずれか一項に記載の装置。
【請求項３１】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元空間−スペクトル変換である第１の空間−スペクトル変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元空間−スペクトル変換である第２の空間−スペクトル変換と、
を含む、請求項２１〜３０のいずれか一項に記載の装置。
【請求項３２】
前記セットの変換が、水平変換セットの一つの変換と垂直変換セットの一つの変換との異なるペアで構成される、請求項２１〜３１のいずれか一項に記載の装置。
【請求項３３】
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第１の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第２の変換との連鎖によって構成される、請求項２１〜３２のいずれか一項に記載の装置。
【請求項３４】
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン／サイン変換とからなる、請求項３３に記載の装置。
【請求項３５】
前記一次元空間−スペクトル変換セットは、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶからなる、請求項３４に記載の装置。
【請求項３６】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される前記一次元空間-スペクトル変換セットの第１の変換を指標化するために前記ビンの第１半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第２の変換を指標化するために前記ビンの第２半分を使用するように構成される、請求項３４または３５記載の装置。
【請求項３７】
前記ビンの第１半分と前記一次元空間−スペクトル変換セットとの間の関連付けと、前記ビンの第２半分と前記一次元空間−スペクトル変換セットとの間の関連付けとは、互いに等しいことを特徴とする、請求項３６記載の装置。
【請求項３８】
前記装置は、前記データストリーム内の変換クラスシグナライゼーションを介して前記セットの変換間の切り替えを信号伝達するように構成され、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記装置は、水平方向に適用される前記一次元空間-スペクトル変換セットの第１の変換を指標化するために前記ビンの第１半分を使用し、垂直方向に適用される前記一次元空間-スペクトル変換セットの第２の変換を指標化するために前記ビンの第２半分を使用するように構成され、
前記装置は、｛恒等変換，ＤＳＴ−ＩＶ｝と｛ＤＣＴ−ＩＩ／ＩＩＩ，ＤＣＴ−ＩＶ｝とを区別するために前記ビンの第１半分の第１ビンと前記ビンの第２半分の第１ビンとを使用し、｛恒等変換，ＤＣＴ−ＩＩ／ＩＩＩ｝と｛ＤＣＴ−ＩＶ，ＤＳＴ−ＩＶ｝とを区別するために前記ビンの第１半分の第２ビンと前記ビンの第２半分の第２ビンとを使用するよう構成される、
請求項３５記載の装置。
【請求項３９】
前記装置は、前記第１半分および前記第２半分の第２ビンに応じて、前記第１半分および第２半分の第１ビンをコンテキスト適応的にエントロピー符号化するためのコンテキストを選択するように構成される、請求項３８に記載の装置。
【請求項４０】
前記装置は、前記変換クラスシグナライゼーションが前記データストリーム内に含まれている、セグメントのイントラ符号化モードに応じて、前記第１半分および前記第２半分の第２ビンをコンテキスト適応的にエントロピー符号化するためのコンテキストを選択するように構成される、請求項３８または３９に記載の装置。
【請求項４１】
予測残差信号の予測符号化と空間−スペクトル変換符号化とを用いて符号化された、ピクチャを有するデータストリームであって、前記予測残差信号の空間−スペクトル変換符号化の基底をなす変換が１つのセットの変換間で切り替わることを特徴とする、データストリーム。
【請求項４２】
前記セットの変換間の切り替えは、前記ピクチャがサブ分割されるセグメントの単位で行われる、請求項４１に記載のデータストリーム。
【請求項４３】
前記予測残差信号の空間−スペクトル変換符号化において、前記セットの変換間の切り替えはイントラ符号化セグメントに適用され、インター符号化セグメントについては、一つの変換が安定的に使用されるか、又は異なるセットの変換間の切り替えを使用する、請求項４２に記載のデータストリーム。
【請求項４４】
前記データストリームは、前記セグメントの１セットの各々について、個々のセグメントに対して前記セットの変換の１つの変換を信号伝達する変換クラスシグナライゼーションを含み、前記セットの各セグメントについて、個々のセグメント符号化モードから独立した方法で、前記変換クラスシグナライゼーションがとり得る値のドメインの全射マッピングを前記セットの変換に対して使用する、請求項４２または４３に記載のデータストリーム。
【請求項４５】
前記信号伝達は、前記各セグメントの近隣についてデータストリーム内で信号伝達された特性にも依存する、請求項４４に記載のデータストリーム。
【請求項４６】
前記データストリームは、イントラ符号化セグメントの各々について、個々のセグメントに対してセットの変換の１つの変換を信号伝達する変換クラスシグナライゼーションを含み、前記変換クラスシグナライゼーションは、各イントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用したコンテキストベースのエントロピー符号化を用いて前記データストリームに符号化されている、請求項４２〜４５のいずれか一項に記載のデータストリーム。
【請求項４７】
前記データストリームは、前記セグメントの１セットの各々について、個々のセグメントに対して前記セットの変換の１つの変換を信号伝達する変換クラスシグナライゼーションを含み、
前記変換クラスシグナライゼーションのプレフィックス部分は、
個々のセグメントについての前記変換クラスシグナライゼーションがサフィックス部分を持たないままで前記変換が空間的及び／又は時間的に予測されるべきであると信号伝達するか、又は個々のセグメントについての前記変換クラスシグナライゼーションのサフィックス部分が前記データストリームに含まれかつ前記変換が前記サフィックス部分に基づいて選択されるべきであると信号伝達する、請求項４２〜４６のいずれか一項に記載のデータストリーム。
【請求項４８】
前記サフィックス部分は、前記変換クラスシグナライゼーションのサフィックス部分がとり得る値のドメインを、前記空間的及び／又は時間的予測とは独立した前記セットの変換に対してマッピングすることを使用して、設定される、請求項４７に記載のデータストリーム。
【請求項４９】
前記セットの変換は、
第１の空間−スペクトル変換と、前記第１の空間−スペクトル変換とは異なる第２の空間−スペクトル変換とを含む、請求項４１〜４８のいずれか一項に記載のデータストリーム。
【請求項５０】
前記セットの変換は、水平方向に適用される第１の一次元空間−スペクトル変換と垂直方向に適用される第２の一次元空間−スペクトル変換との連鎖である空間−スペクトル変換を含み、前記第１の一次元空間−スペクトル変換と前記第２の一次元空間−スペクトル変換とは互いに異なる、請求項４１〜４９のいずれか一項に記載のデータストリーム。
【請求項５１】
前記セットの変換は、
空間ドメインにおいて垂直方向には適用されず、水平方向に適用される一次元空間−スペクトル変換である第１の空間−スペクトル変換と、
空間ドメインにおいて水平方向には適用されず、垂直方向に適用される一次元空間−スペクトル変換である第２の空間−スペクトル変換と、
を含む、請求項４１〜５０のいずれか一項に記載のデータストリーム。
【請求項５２】
前記セットの変換が、水平変換セットの１つの変換と垂直変換セットの１つの変換との異なるペアからなる、請求項４１〜５１のいずれか一項に記載のデータストリーム。
【請求項５３】
前記セットの変換は、水平方向に適用される一次元空間−スペクトル変換セットの第１の変換と、垂直方向に適用される一次元空間−スペクトル変換セットの第２の変換との連鎖によって構成される、請求項４１〜５２のいずれか一項に記載のデータストリーム。
【請求項５４】
前記一次元空間−スペクトル変換セットは、一つの恒等変換と、一つ以上の離散コサイン／サイン変換とからなる、請求項５３に記載のデータストリーム。
【請求項５５】
前記一次元空間−スペクトル変換セットは、恒等変換、ＤＣＴ−ＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶ、または恒等変換、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、およびＤＳＴ−ＩＶからなる、請求項５４に記載のデータストリーム。
【請求項５６】
前記データストリームは、前記セットの変換間の切り替えを信号伝達する変換クラスシグナライゼーションを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記ビンの第１半分は水平方向に適用される一次元空間−スペクトル変換セットの第１の変換を指標化し、前記ビンの第２半分は垂直方向に適用される一次元空間−スペクトル変換セットの第２の変換を指標化する、請求項５４または５５に記載のデータストリーム。
【請求項５７】
前記ビンの第１半分と前記一次元空間−スペクトル変換セットとの間の関連付けと、前記ビンの第２半分と前記一次元空間−スペクトル変換セットとの間の関連付けとは、互いに等しい、請求項５６に記載のデータストリーム。
【請求項５８】
前記データストリームは、前記セットの変換間の切り替えを信号伝達する変換クラスシグナライゼーションを含み、前記変換クラスシグナライゼーションは偶数個のビンを含み、前記ビンの第１半分は水平方向に適用される前記一次元空間−スペクトル変換セットの第１の変換を指標化し、前記ビンの第２半分は垂直方向に適用される前記一次元空間−スペクトル変換セットの第２の変換を指標化し、前記ビンの第１半分の第１ビンと前記ビンの第２半分の第１ビンとは、｛恒等変換，ＤＳＴ−ＩＶ｝と｛ＤＣＴ−ＩＩ／ＩＩＩ，ＤＣＴ−ＩＶ｝とを区別し、前記ビンの第１半分の第２ビンと前記ビンの第２半分の第２ビンとは、｛恒等変換，ＤＣＴ−ＩＩ／ＩＩＩ｝と｛ＤＣＴ−ＩＶ，ＤＳＴ−ＩＶ｝とを区別する、請求項５５に記載のデータストリーム。
【請求項５９】
前記第１半分及び第２半分の第１ビンが前記データストリームにコンテキスト適応的にエントロピー符号化される際に用いられるコンテキストは、前記第１半分及び第２半分の第２ビンに応じてそれぞれ設定される、請求項５８記載のデータストリーム。
【請求項６０】
前記第１半分および第２半分の第２ビンが前記データストリームにコンテキスト適応的にエントロピー符号化される際に用いられるコンテキストは、前記データストリームに含まれる変換クラスシグナライゼーションに関するセグメントのイントラ符号化モードに応じて設定される、請求項５８または５９に記載のデータストリーム。
【請求項６１】
データストリームからピクチャを予測的に復号化する方法であって、前記データストリームから前記ピクチャの予測残差信号を復号化するステップと、前記予測残差信号のスペクトル−空間変換に際して１つのセットの変換間の切り替えをサポートしながら、前記予測残差信号をスペクトル−空間変換するステップと、を含む方法。
【請求項６２】
ピクチャをデータストリームへ予測的に符号化する方法であって、前記ピクチャの予測残差信号を、前記予測残差信号の空間−スペクトル変換に際して１つのセットの変換間の切り替えをサポートしながら、空間−スペクトル変換するステップと、スペクトルドメインの予測残差信号を前記データストリームへと符号化するステップと、を含む方法。
【請求項６３】
コンピュータ上で実行されたとき、請求項６１または６２に記載の方法を実行する、プログラムコードを有するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
一実施形態によれば、明示的な信号伝達は、変換ベースの残差符号化／復号化における変換間の切り替えに使用される。変換クラスシグナライゼーション（transform class signalization）は、変換間の切り替えが適用される各セグメントについて、セグメントの符号化モードから独立した方式で、変換セットのすべての変換が選択できるようにしてもよい。換言すると、セグメントのデータストリームに含まれる変換クラスシグナライゼーションは全射的であってもよい。即ち、変換クラスシグナライゼーションがとり得る値のドメインからのマッピングのイメージが、イントラ符号化セグメントの場合のイントラ符号化モードのような各セグメントの符号化モードに関係なく、変換セットと一致してもよい。イントラ符号化モードは、例えば方向モードを含むことができる。この方向モードに従って、各イントラ符号化セグメントの近隣部を個々のイントラ符号化セグメントに空間的に外挿することによって、イントラ符号化セグメントが予測されてそれらの予測が取得され、その予測に関連して、変換ベースの残差符号化／復号化に付される予測残差信号が予測残差を形成する。変換クラスシグナライゼーションの全射的性質に伴う追加のオーバーヘッドは、予測残差信号の最適なデコリレーションのために最適な変換を選択できることによる符号化効率の向上により、十分に補償されている、ことが判明している。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
一実施形態によれば、変換クラスシグナライゼーションは、個々のイントラ符号化セグメントのイントラ符号化モードに依存するコンテキストを使用した、コンテキストベースのエントロピー符号化／復号化を使用して符号化される。この手段によって、この明示的なシグナライゼーションの全射的な性質が達成され得る一方で、この変換のこのセットの中の最適な変換への統計的依存性と、各イントラ符号化セグメントのために選択されたイントラ符号化モードとを利用することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
【図１】本発明の一実施形態によるピクチャを予測的に符号化する装置のブロック図である。
【図２】本発明の一実施形態に従ってピクチャを予測的に復号化する装置のブロック図であり、この装置は図１の装置に適合する。
【図３】符号化モード選択、変換選択および変換性能の区分をそれぞれ設定する可能性を示すために、予測残差信号、予測信号および再構成信号の間の関係の一例を示す概略図である。
【図４】変換切り替えに際して明示的な信号伝達を使用する例を示す概略図である。
【図５】プレフィックスとサフィックスを含む変換切り替えの明示的な信号伝達の例を示す概略図である。
【図６】可能なバイナリゼーションから変換へのマッピングが全単射である、プレフィックス及びサフィックスを含む変換切り替えの明示的な信号伝達の一例を示す概略図である。
【図７】ｘ、ｙ∈｛ＤＣＴ−ＩＩ、ＤＳＴ−Ｎ、ＤＣＴ−ＩＶ、ＩＴ｝であるｘおよびｙにそれぞれ適用され、ｘおよびｙを有する変換セット｛ｘ，ｙ｝を使用する例示的な場合において、すべての可能な変換ペアの４×４の基底関数を示すグレースケール図である。
【図８ａ】１Ｄ信号の一例についての様々なＤＴＴの対称的拡張（symmetric extentions）の図を示す。この基本的なシーケンスは連続的で対称的な拡張が破線で示されている。また、（ａ），（ｃ）及び（ｄ）における基本信号は４サンプルの長さを有するが、その一方で（ｂ）におけるその長さは３サンプルに過ぎない。なぜなら、対称的拡張は１つのサンプルが０であることを必要とするからである［非特許文献１１］。
【図８ｂ】１Ｄ信号の例についての様々なＤＴＴの対称的拡張の図を示す。
【図８ｃ】１Ｄ信号の例についての様々なＤＴＴの対称的拡張の図を示す。
【図８ｄ】１Ｄ信号の例についての様々なＤＴＴの対称的拡張の図を示す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
内部的に、エンコーダ１０は、元の信号、すなわちピクチャ１２からの予測信号２６の偏差を測定するために、予測残差信号２４を生成する予測残差信号形成器２２を備えてもよい。例えば、予測残差信号形成器２２は、元の信号、すなわちピクチャ１２から予測信号を減算する減算器であってもよい。次いで、エンコーダ１０はさらに、予測残差信号２４を空間−スペクトル変換に供してスペクトル−ドメイン予測残差信号２４'を取得するための変換器２８を含み、この残差信号２４’は次に、エンコーダ１０に含まれる量子化器３２によって量子化される。このように量子化された予測残差信号２４''は、ビットストリーム１４へと符号化される。この目的のために、エンコーダ１０は、任意選択的に、変換され量子化された予測残差信号をデータストリーム１４にエントロピー符号化するエントロピーエンコーダ３４を含むことができる。予測残差２６は、データストリーム１４へ符号化され、データストリームから復号化可能な予測残差信号２４''に基づいて、エンコーダ１０の予測ステージ３６によって生成される。この目的のために、予測ステージ３６は、図１に示されるように、内部に逆量子化器３８を含んでもよく、この逆量子化器は、予測残差信号２４''を逆量子化してスペクトルドメイン予測残差信号２４'''を取得し、このスペクトルドメイン予測残差信号２４'''は、量子化損失を除いて信号２４’に対応しており、逆量子化器に続く逆変換器４０が、先の予測残差信号２４'''に逆変換、即ち、スペクトル−空間変換を行いて予測残差信号２４''''を取得し、この予測残差信号２４''''は量子化損失を除いて元の予測残差信号２４に対応している。次に、予測ステージ３６の結合器４２は、例えば加算によって予測信号２６と予測残差信号２４''''とを結合し、再構成信号４６、つまり元の信号１２の再構成を取得する。再構成信号４６は、信号１２’に対応していてもよい。予測ステージ３６の予測モジュール４４は、例えば空間予測および／または時間予測を使用することによって、信号４６に基づいて予測信号２６を生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
セグメント８４ａについての選択は、個々のセグメント８４ａについてのデータストリーム１４に含まれる変換クラスシグナライゼーション１０６を介して、エンコーダ１０から信号伝達される。図４は、データストリーム１４が、変換クラスシグナライゼーション１０６に加えて、セグメント８４ａについてのイントラ符号化モードシグナライゼーション１０８も含む場合を示している。図４はまた、セグメント８４ａのためにデコーダ２０において実行される変換９６の選択を示す。変換９６の中でデコーダ１１０によって実行される選択は、図４に両頭矢印１１０を使用して示されている。その選択は、変換クラスシグナライゼーション１０６に依存して実行される。この目的のために、デコーダ２０は、変換クラスシグナライゼーション１０６がとり得る値のドメインを、変換９６のセット９４上に全射的にマッピングする。すなわち、セット９４の全ての変換９６には、マッピングを介して、変換クラスシグナライゼーション１０６がとり得る対応する値が関連付けられている。当然のことながら、シグナライゼーション１０６を設定するために、エンコーダ１０によって同じマッピングが使用される。同様に、デコーダ２０は、例えば、セット１０２内のセグメント８４ａに使用されるべきイントラ符号化モード１０４を選択１１２するために、イントラ符号化モードシグナライゼーション１０８を使用する。エンコーダ１０がセグメント８４ａについてすべての変換９２を選択することができる実施形態の場合、符号化モード１０４の中からの選択１００にかかわらず、変換クラスシグナライゼーション１０６がとり得る値からセット９４の変換９６へのマッピングの全射的性質は、イントラ符号化モードシグナライゼーション１０８に基づいて選択１１２されたイントラ符号化モードに関係なく適用する。しかしながら、このような状況は、変換クラスシグナライゼーション１０６に応じてセグメント８４ａについての変換９６を選択１１０するためにデコーダ２０によって適用されるマッピングが、イントラ符号化モードシグナライゼーション１０８とは無関係であることを必ずしも意味するものではない、ことに留意されたい。むしろ、以下により詳細に説明するように、セグメント８４ａのために実行される符号化モード選択１１２は、データストリーム１４内の変換クラスシグナライゼーション１０６をより効率的に伝送するために、エンコーダ１０およびデコーダ２０によって考慮されてもよい。例えば、セグメント８４ａのために選択されたイントラ符号化モードは、変換クラスシグナライゼーション１０６をコンテキスト適応型エントロピー符号化する際のコンテキストを設定するために使用されてもよく、および／または、変換クラスシグナライゼーションは、セグメント８４のイントラ符号化モードに依存して、この可変長符号の符号すなわち、変換クラスシグナライゼーション１０６がとり得る値を一方とし、セット９４の変換９６を他方とする、マッピングを変更しながら、可変長符号を使用して送信されてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
変換９２／９６のセット９０／９４が関係する限り、以下のことに注目されたい。上記では具体的に概説していないが、このセットは、恒等変換を追加的に含むか、または除外することにより、互いに異なる少なくとも２つの変換を含むことができる。この少なくとも２つの変換は、ＤＣＴおよびＤＳＴのいずれであってもよい。好ましくは、変換９２および９４は一次元変換の連鎖に相当し、一つは水平方向に適用され、他の一つは垂直方向に適用される。以下に説明する実施形態では、セット９０／９４は複数の変換を含み、その中の１つは、一次元変換を垂直方向に適用するが、空間的に水平方向には適用せず、その中の別の１つは、同じ次元変換を水平方向に適用するが、空間ドメインの垂直方向においては適用しない。一般的に言えば、以下に記載する特定の実施形態は、１つの水平変換と１つの垂直変換との異なるペアから構成される１セットの変換９０／９４を使用する。特に、この変換セットは、水平方向に適用された一次元変換セットの第１の１つと、垂直方向に適用された一次元変換の同じセットの第２の１つとの連鎖から構成される。一次元変換セットは、１つの恒等変換と３つの離散コサイン／サイン変換とからなる。しかしながら、離散コサイン／サイン変換の数は、例えば１つ、２つ、または３つよりも多いような、任意の他の数であってもよい。
【国際調査報告】
2019525589.tif 000020
2019525589.tif 000021
2019525589.tif 000022