(57)【要約】【課題】従来使用していない予測／変換コーディングの融合に基づいて、各コーディング方式の長所を全て適用できる方法を実現する。【解決手段】本発明は、ビデオ信号をエンコードする方法であって、原ビデオ信号（original video signal）を受信するステップと、原ビデオ信号と利用可能な復元された信号とを比較するステップと、比較結果に基づいて修正信号を決定するステップと、信号復元のために送信される変換コーディングされた修正信号を生成するステップとを含むことを特徴とする方法を提供する。【選択図】図１２
2016536859.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号をエンコードする方法であって、
原ビデオ信号を受信するステップと、
前記原ビデオ信号と利用可能な復元された信号とを比較するステップと、
前記比較の結果に基づいて修正信号を決定するステップと、
信号復元のために送信される変換コーディングされた修正信号を生成するステップと、
を有する、方法。
【請求項２】
前記信号復元のために用いられる復元関数を決定するステップをさらに有し、
前記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有する、請求項１に記載の方法。
【請求項３】
前記復元関数は、以前に復元された全てのサンプルと前記修正信号とに基づいて決定される、請求項２に記載の方法。
【請求項４】
前記修正信号は、歪み成分とレート成分との合計を最小化するように決定され、
前記歪み成分は、前記原ビデオ信号と前記修正信号との間の全体の歪みを表し、
前記レート成分は、前記変換コーディングされた修正信号を送信するために必要なビット数を表す、請求項２に記載の方法。
【請求項５】
前記変換コーディングされた修正信号は、逆量子化行列と逆変換行列とにより乗じられ、前記逆量子化行列は、ビット率及び量子化エラーの制御のために選択される、請求項２に記載の方法。
【請求項６】
前記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディングが適用された、請求項１に記載の方法。
【請求項７】
ビデオ信号をデコードする方法であって、
変換コーディングされた修正信号を受信するステップと、
前記変換コーディングされた修正信号に対して逆変換を行って修正信号を取得するステップと、
前記取得された修正信号とコンテキスト信号とを結合する復元関数を用いて復元信号を取得するステップと、を有し、
前記コンテキスト信号は、以前に復元された全てのサンプルに基づいて取得される、方法。
【請求項８】
前記信号復元のために用いられる前記復元関数を決定するステップをさらに有し、
前記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有する、請求項７に記載の方法。
【請求項９】
前記復元関数は、前記以前に復元された全てのサンプルと前記修正信号とに基づいて決定される、請求項８に記載の方法。
【請求項１０】
前記変換コーディングされた修正信号は、逆量子化行列と逆変換行列とにより乗じられる、請求項７に記載の方法。
【請求項１１】
前記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディングが適用された、請求項７に記載の方法。
【請求項１２】
ビデオ信号をエンコードする装置であって、
原ビデオ信号を受信する受信部と、
前記原ビデオ信号と利用可能な復元された信号とを比較し、前記比較の結果に基づいて修正信号を決定し、信号復元のために送信される変換コーディングされた修正信号を生成する最適化部と、を備える、装置。
【請求項１３】
前記最適化部は、さらに、前記信号復元のために用いられる復元関数を決定し、
前記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有する、請求項１２に記載の装置。
【請求項１４】
前記復元関数は、以前に復元された全てのサンプルと前記修正信号とに基づいて決定される、請求項１３に記載の装置。
【請求項１５】
前記修正信号は、歪み成分とレート成分との合計を最小化するように決定され、
前記歪み成分は、前記原ビデオ信号と前記修正信号との間の全体の歪みを表し、
前記レート成分は、前記変換コーディングされた修正信号を送信するために必要なビット数を表す、請求項１３に記載の装置。
【請求項１６】
前記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディングが適用された、請求項１２に記載の装置。
【請求項１７】
ビデオ信号をデコードする装置であって、
変換コーディングされた修正信号を受信する受信部と、
前記変換コーディングされた修正信号に対し、逆変換を行って修正信号を取得する逆変換部と、
前記取得された修正信号とコンテキスト信号とを結合する復元関数を用いて復元信号を取得する復元部と、を備え、
前記コンテキスト信号は、以前に復元された全てのサンプルに基づいて取得される、装置。
【請求項１８】
前記復元部は、さらに、前記信号復元のために用いられる前記復元関数を決定し、
前記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有する、請求項１７に記載の装置。
【請求項１９】
前記復元関数は、前記以前に復元された全てのサンプルと前記修正信号とに基づいて決定される、請求項１８に記載の装置。
【請求項２０】
前記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディングが適用された、請求項１７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディア信号のエンコード（符号化）（encoding）及びデコード（復号）（decoding）方法、並びに、メディア信号のエンコード及びデコード方法を用いる装置に関し、特に、非線形変換（non-linear transform）を利用した予測技術に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、記憶媒体に適した形で記憶するための一連の信号処理技術を意味する。映像（videos）、イメージ（画像）（images）、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮（video compression）と称する。
【０００３】
多くのメディア圧縮技術は、予測コーディング（predictive coding）及び変換コーディング（transform coding）という２つのアプローチ（approaches）に基づく。特に、ハイブリッドコーディング（hybrid coding）技術は、ビデオコーディングのために、両者の長所を結合し（組み合わせ）た（combining）方式を採択しているが、各コーディング技術は、次のような短所がある。
【０００４】
予測コーディングの場合、予測エラーサンプルを取得するにあたって、統計的依存性（statistical dependency）は利用されない。すなわち、予測コーディングは、同一信号の既にコーディングされた部分を利用して信号要素を予測し、予測された値と実際の値との間の差値をコーディングすることを基礎とする。これは、より正確に予測された信号がさらに効率的に圧縮され得るという情報理論にしたがい、予測の一貫性（consistency）及び精度（正確性）（accuracy）を増加（向上）させることにより、さらに良い圧縮効果を得ることができる。予測コーディングは、因果統計的関係（causal statistics relationships）に基づくので、非平滑（滑らかでない）（non-smooth）又は非定常（不規則な）（non-stationary）信号を処理するのに有利であるのに対し、大規模な信号処理では効率的でないという短所がある。また、原映像信号に量子化を適用するため、人間の視聴覚システムの限界を利用できないという短所がある。
【０００５】
一方、変換コーディングの場合、一般に、離散余弦（コサイン）変換（Discrete Cosine Transform）や離散ウェーブレット変換（Discrete Wavelet Transform）などの直交変換が利用され得る。変換コーディングは、最も重要なデータを識別するために、信号を一連の要素に分解する技術であり、量子化後、ほとんどの変換係数（transform coefficient）は０になる。
【０００６】
しかし、変換コーディングの場合、サンプルの予測値を取得するにあたって、最初に利用可能なデータに依存しなければならないという短所がある。このような理由により、予測信号が高い品質（クオリティ）（quality）を有し難くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明では、従来使用していない予測／変換コーディングの融合（convergence）に基づいて、各コーディング方式の長所を全て適用できる方法を提案しようとする。
【０００８】
本発明では、変換コーディングと結合された線形／非線形予測コーディングを、統合された（integrated）非線形変換コーディングに置き換えよう（replace）とする。
【０００９】
本発明では、変換コーディングと結合されたハイブリッドコーディングを、統合された非線形変換コーディングに置き換えようとする。
【００１０】
本発明では、非平滑（滑らかでない）（non-smooth）又は非定常（非静止的）（non-stationary）信号を含む高画質映像をより効率的にコーディングできる方法を提案しようとする。
【００１１】
本発明では、単一次元に対し、予測及び変換を同時に適用してコーディングできる方法を提案しようとする。
【００１２】
本発明では、非線形変換及びベクトル量子化を利用してコーディングできる方法を提案しようとする。
【００１３】
本発明によれば、エンコーダは、原ビデオ信号と利用可能な復元された信号とを比較することにより、修正信号（correction signal）を決定することができ、信号復元のために送信される変換コーディングされた修正信号を生成することができる。
【００１４】
また、本発明によれば、修正信号は、上記変換コーディングされた修正信号に対して逆変換を行うことにより取得されることができ、復元信号は、上記修正信号とコンテキスト信号とを結合する復元関数を用いて取得されることができる。
【００１５】
また、本発明によれば、予測処理を行うとき、既に復元された全ての信号を考慮することにより、最適な予測信号（optimized prediction signal）を生成することができる。
【００１６】
また、本発明によれば、予測信号を生成するための予測関数として非線形予測関数（non-linear prediction function）を選択することができる。
【００１７】
また、本発明によれば、最適な予測信号を生成するための最適な非線形予測関数を選択することができ、上記最適な非線形予測関数は、記憶部に記憶された候補関数から選択されることができる。
【００１８】
また、本発明によれば、最適な予測関数を選択するために、既に復元された全ての信号及びコンテキスト信号（context signal）を用いることができる。
【００１９】
また、本発明によれば、最適な変換係数を取得するために、歪み測定値とレート測定値との合計を最小化する候補関数を探すことができる。
【００２０】
また、本発明によれば、歪み測定値とレート測定値との合計を最小化する最適な変換係数を取得し、上記取得された変換係数を更新（アップデート）して（updating）予測信号生成のために用いることができる。
【課題を解決するための手段】
【００２１】
本発明は、ビデオ信号をエンコードする方法であって、原ビデオ信号（original video signal）を受信するステップと、原ビデオ信号と利用可能な復元された信号とを比較するステップと、比較の結果に基づいて修正信号を決定するステップと、信号復元のために送信される変換コーディングされた修正信号を生成するステップと、を有することを特徴とする方法を提供する。
【００２２】
本発明において、上記方法は、信号復元のために用いられる復元関数を決定するステップをさらに有し、復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有することを特徴とする。
【００２３】
本発明において、復元関数は、以前に復元された全てのサンプルと修正信号とに基づいて決定されることを特徴とする。
【００２４】
本発明において、修正信号は、歪み成分とレート成分との合計を最小化するように決定され、歪み成分は、原ビデオ信号と修正信号との間の全体の歪みを表し、レート成分は、変換コーディングされた修正信号を送信するために必要なビット数を表すことを特徴とする。
【００２５】
本発明において、変換コーディングされた修正信号は、逆量子化行列と逆変換行列とにより乗じられ、逆量子化行列は、ビット率及び量子化エラーの制御のために選択されることを特徴とする。
【００２６】
本発明において、変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディング（spatiotemporal transform coding）が適用されたことを特徴とする。
【００２７】
本発明は、ビデオ信号をデコードする方法であって、変換コーディングされた修正信号を受信するステップと、変換コーディングされた修正信号に対して逆変換を行って修正信号を取得するステップと、取得された修正信号とコンテキスト信号とを結合する復元関数を用いて復元信号を取得するステップと、を有し、コンテキスト信号は、以前に復元された全てのサンプル（all previously reconstructed samples）に基づいて取得されることを特徴とする方法を提供する。
【００２８】
本発明において、前記方法は、信号復元のために用いられる復元関数を決定するステップをさらに有し、復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有することを特徴とする。
【００２９】
本発明において、復元関数は、以前に復元された全てのサンプルと修正信号とに基づいて決定されることを特徴とする。
【００３０】
本発明において、変換コーディングされた修正信号は、逆量子化行列と逆変換行列とにより乗じられることを特徴とする。
【００３１】
本発明において、変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディング（spatiotemporal transform coding）が適用されたことを特徴とする。
【００３２】
本発明は、ビデオ信号をエンコードする装置であって、原ビデオ信号（original video signal）を受信する受信部と、原ビデオ信号と利用可能な復元された信号とを比較し、比較の結果に基づいて修正信号を決定し、信号復元のために送信される変換コーディングされた修正信号を生成する最適化部とを備えることを特徴とする装置を提供する。
【００３３】
本発明において、最適化部は、さらに、信号復元のために用いられる復元関数を決定し、復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有することを特徴とする。
【００３４】
本発明において、復元関数は、以前に復元された全てのサンプルと修正信号とに基づいて決定されることを特徴とする。
【００３５】
本発明において、修正信号は、歪み成分とレート成分との合計を最小化するように決定され、歪み成分は、原ビデオ信号と修正信号との間の全体の歪みを表し、レート成分は、変換コーディングされた修正信号を送信するために必要なビット数を表すことを特徴とする。
【００３６】
本発明において、変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディング（spatiotemporal transform coding）が適用されたことを特徴とする。
【００３７】
本発明は、ビデオ信号をデコードする装置であって、変換コーディングされた修正信号を受信する受信部と、変換コーディングされた修正信号に対し、逆変換を行って修正信号を取得する逆変換部と、取得された修正信号とコンテキスト信号とを結合する復元関数を用いて復元信号を取得する復元部とを備え、コンテキスト信号は、以前に復元された全てのサンプル（all previously reconstructed samples）に基づいて取得されることを特徴とする装置を提供する。
【００３８】
本発明において、復元部は、さらに、信号復元のために用いられる復元関数を決定し、復元関数は、線形成分及び非線形成分のうち、少なくとも１つを有することを特徴とする。
【００３９】
本発明において、復元関数は、以前に復元された全てのサンプルと修正信号とに基づいて決定されることを特徴とする。
【００４０】
本発明において、変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディング（spatiotemporal transform coding）が適用されたことを特徴とする。
【００４１】
本発明は、ビデオ信号をエンコードする方法であって、原ビデオ信号（original video signal）を受信するステップと、以前に復元された全てのサンプル（all previously reconstructed samples）と第１の変換コーディングされた係数（first transform coded coefficient）とに基づいて予測信号を生成するステップと、原ビデオ信号から予測信号を減算して予測エラー信号を生成するステップと、予測エラー信号を変換して第２の変換コーディングされた係数を取得するステップと、を有することを特徴とする方法を提供する。
【００４２】
本発明において、予測信号を生成するステップは、予測信号を生成するための予測関数を決定するステップをさらに有し、予測関数は、非線形予測関数であることを特徴とする。
【００４３】
本発明において、予測関数は、歪み成分とレート成分との合計を最小化する関数として決定され、歪み成分は、原ビデオ信号と復元信号との間の全体の歪みを表し、レート成分は、変換係数を送信するために必要なビット数を表すことを特徴とする。
【００４４】
本発明において、予測関数は、以前に復元された全てのサンプル（all previously reconstructed samples）とコンテキスト信号とに基づいて決定されることを特徴とする。
【００４５】
本発明において、決定ステップは、歪み成分とレート成分との合計を最小化する量子化行列（マトリックス）（matrix）を選択するステップを有し、量子化行列は、量子化制御のために用いられることを特徴とする。
【００４６】
本発明において、予測エラー信号は、ベクトル形態で表現されることを特徴とする。
【００４７】
本発明は、ビデオ信号をデコードする方法であって、第１の変換コーディングされた係数を受信するステップと、第１の変換コーディングされた係数に対し、逆変換を行って予測エラー信号を取得するステップと、予測エラー信号と予測信号とを用いて復元信号を取得するステップとを有し、予測信号は、以前に復元された全てのサンプル（all previously reconstructed samples）と第２の変換コーディングされた係数に基づいて取得されることを特徴とする方法を提供する。
【００４８】
本発明において、第２の変換コーディングされた係数は、歪み成分とレート成分との合計を最小化する予測関数に基づいて取得される値（a value obtained based on a prediction function that minimizes the sum of a distortion component and a rate component）を表し、歪み成分は、原ビデオ信号と復元信号との間の全体の歪みを表し、レート成分は、変換係数を送信するために必要なビット数を表すことを特徴とする。本発明において、予測関数は、以前に復元された全てのサンプル（all previously reconstructed samples）とコンテキスト信号とに基づいて決定される非線形予測関数であることを特徴とする。
【００４９】
本発明において、予測関数は、量子化エラーを制御するための量子化行列を用いて決定されることを特徴とする。
【００５０】
本発明において、第１の変換コーディングされた係数は、ピクチャグループに対する予測エラーベクトルに対応し、時空間変換コーディングが予測エラーベクトルに適用されたことを特徴とする。
【発明の効果】
【００５１】
本発明は、予測コーディングと変換コーディングとを融合することにより、各コーディング方式の長所を共に生かすことができる。すなわち、既に復元された信号を全て用いることにより、さらに精巧かつ高度な（向上した）（advanced）予測を行うことができ、予測エラーサンプルの統計的依存（従属性）（statistical dependency）を利用することができる。
【００５２】
また、単一次元に対し、予測及び変換を同時に適用してコーディングすることにより、非平滑（滑らかでない）（non-smooth）又は非定常（非静止的）（non-stationary）信号を含む高画質映像をさらに効率的にコーディングすることができる。
【００５３】
また、それぞれのデコードされた変換係数が復元処理全体に影響を及ぼすことにより、予測エラーベクトルに含まれている予測エラーの制御も可能となる。すなわち、量子化エラーが完全に考慮されて制御されるので、量子化エラー伝播の問題が解決される。
【００５４】
本発明は、付加情報を必要とせずに、信号適応型デコードの実行が可能であり、従来のハイブリッドコーダと比較すると、高画質予測が可能であり、予測エラーも減らすことができる。
【００５５】
また、本発明は、より高度な時空間（spatiotemporal）ビデオ圧縮方法を提供することにより、動き依存性が大きいか、空間境界特性が著しい映像に対しても効率的なコーディングが可能である。
【図面の簡単な説明】
【００５６】
【図１】各々においてメディアコーディングが行われるエンコーダ及びデコーダの概略ブロック図である。
【図２】各々においてメディアコーディングが行われるエンコーダ及びデコーダの概略ブロック図である。
【図３】本発明が適用される実施形態であって、各々に高度なコーディング方法が適用されるエンコーダ及びデコーダの概略ブロック図である。
【図４】本発明が適用される実施形態であって、各々に高度なコーディング方法が適用されるエンコーダ及びデコーダの概略ブロック図である。
【図５】本発明が適用される実施形態であって、高度なビデオコーディング方法を説明するための概略フローチャートを示す図である。
【図６】本発明が適用される実施形態であって、最適な予測信号を生成するための高度なビデオコーディング方法を説明するためのフローチャートを示す図である。
【図７】本発明が適用される実施形態であって、最適な予測信号を生成する処理を説明するためのフローチャートを示す図である。
【図８】本発明が適用される実施形態であって、最適な変換係数を取得する方法を説明するためのフローチャートを示す図である。
【図９】本発明が適用される実施形態であって、高度なコーディング方法が適用されるデコーダにおける動作方法を説明するための概略フローチャートを示す図である。
【図１０】本発明が適用される実施形態であって、従来の一般的な空間ドメインにおける変換方法を説明する図である。
【図１１】本発明が適用される実施形態であって、ピクチャグループに対して時空間変換を適用する方法を説明する図である。
【図１２】本発明が適用される実施形態であって、高度なビデオコーディング方法を説明するための概略フローチャートを示す図である。
【図１３】本発明が適用される実施形態を示す図である。
【図１４】本発明が適用される実施形態を示す図である。
【図１５】本発明が適用される実施形態を示す図である。
【図１６】本発明が適用される実施形態を示す図である。
【図１７】本発明が適用される実施形態を示す図である。
【発明を実施するための形態】
【００５７】
以下、添付された図面を参照して本発明の実施形態の構成及びその作用を説明し、図面により説明される本発明の構成及び作用は、１つの実施形態として説明されるものであり、これにより、本発明の技術的思想とその核心構成及び作用が制限されるものではない。
【００５８】
また、本発明において使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、該当部分の詳細説明においてその意味を明確に記載するので、本発明の説明において使用された用語の名称だけで単純に解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明かしておく。
【００５９】
なお、本発明において使用される用語は、発明を説明するために選択された一般的な用語であるが、類似した意味を有する他の用語がある場合、より適切な解析のために代替可能であろう。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング処理で適宜代替されて解析され得るであろう。
【００６０】
図１及び図２は、各々においてメディアコーディングが行われるエンコーダ及びデコーダの概略ブロック図を示す。
【００６１】
上記図１のエンコーダ１００は、変換部１１０、量子化部１２０、逆量子化部１３０、逆変換部１４０、遅延部１５０、予測部１６０、及びエントロピエンコード部１７０を備え、上記図２のデコーダ２００は、エントロピデコード部２１０、逆量子化部２２０、逆変換部２３０、遅延部２４０、及び予測部２５０を備える。
【００６２】
上記エンコーダ１００は、原映像信号（original video signal）を受信し、上記原映像信号から予測部１６０によって出力された予測信号（predicted signal）を減算して予測エラーを生成する。上記生成された予測エラーは、変換部１１０に送信され、上記変換部１１０は、上記予測エラーに変換技法を適用して変換係数を生成する。
【００６３】
例えば、上記変換技法の中には、ブロックベースの（基盤）（based）変換方法とイメージベースの変換方法とがありうる。上記ブロックベース変換方法の例としては、離散余弦変換（Discrete Cosine Transform）、カルーネンレーベ変換（Karhuhen-Loeve Transform）などを挙げることができる。ここで、上記離散余弦変換ＤＣＴとは、空間ドメイン（spatial domain）上の信号を２次元周波数成分に分解（変換）することを表す。ブロック内から左側上端に行くほど低い周波数成分を有し、右側下端に行くほど高い周波数成分を有するパターンをなす。例えば、６４個の２次元の周波数成分のうち、最も左側上端に存在する１個のみが直流成分（ＤＣ：Direct Current）で、周波数が０である成分であり、残りは交流成分（ＡＣ：Alternate Current）で、低い周波数成分から高い周波数成分まで６３個で構成される。上記離散余弦変換ＤＣＴを行うということは、原映像信号のブロックに含まれた基底成分（６４個の基本パターン成分）のそれぞれの大きさを求めることであり、この大きさは、離散余弦変換係数である。
【００６４】
また、上記離散余弦変換ＤＣＴは、単に原映像信号成分で表現する（expression into）ために使用される変換であり、逆変換（inverse transform）の際、周波数成分から本来の映像信号に完全に復元される（reconstructed）。すなわち、映像の表現方法を変えるだけであり、重複した情報を含む原映像に含まれた全ての情報を全て記憶する。原映像信号を離散余弦変換ＤＣＴする場合、原映像信号の振幅分布とは異なり、離散余弦変換ＤＣＴ係数は、０に近い値に集まって存在するので、これを用いて高い圧縮効果を得ることができる。
【００６５】
量子化部１２０は、上記生成された変換係数（transform coefficient）を量子化してエントロピエンコード部１７０に送信し、上記エントロピエンコード部１７０は、量子化された信号（quantized signal）をエントロピコーディングして出力する。
【００６６】
一方、上記量子化部１２０から出力された上記量子化された信号（quantized signal）は、予測信号を生成するために用いられることができる。例えば、上記量子化された信号（quantized signal）は、ループ内の逆量子化部１３０及び逆変換部１４０を介して逆量子化及び逆変換を適用することにより、予測エラーとして復元される（reconstructed into a prediction error）ことができる。上記復元された予測エラーを予測部１６０から出力された予測信号（prediction signal）に加えることにより、復元信号（reconstructed signal）が生成され得る。
【００６７】
遅延部１５０は、上記予測部１６０による今後の参照（future reference）のために上記復元信号を記憶し、上記予測部１６０は、上記遅延部１５０に記憶された以前に復元された信号（previously reconstructed signal）を用いて予測信号（prediction signal）を生成する。
【００６８】
図２のデコーダ２００は、上記図１のエンコーダ１００から出力された信号を受信し、受信された信号は、エントロピデコード部２１０を介してエントロピデコードされる。逆量子化部２２０では、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数を取得し、逆変換部２３０では、上記変換係数を逆変換して予測エラーを取得する。上記取得された予測エラーを上記予測部２５０から出力された予測信号（prediction signal）に加えることにより、復元信号（reconstructed signal）が生成される。
【００６９】
上記遅延部２４０は、上記予測部２５０による今後の参照（future reference）のために上記復元信号を記憶し、上記予測部２５０は、上記遅延部２４０に記憶された以前に復元された信号（previously reconstructed signal）を用いて予測信号（prediction signal）を生成する。
【００７０】
上記図１のエンコーダ１００と上記図２のデコーダ２００とは、予測コーディング、変換コーディング、及びハイブリッドコーディングが適用され得る。予測コーディング及び変換コーディングのそれぞれの長所を結合し（組み合わせ）たものをハイブリッドコーディングという。
【００７１】
ハイブリッドコーディングにおいて、このようなアプローチの利用時の問題点は、変換が適用される前に予測残差（prediction residuals）がグループ化されなければならないという点である。このような場合、信号が正確に復元され得ないため、循環（再帰）構造（cyclic structure）の予測は、エラーの蓄積の増加を招くことができる。
【００７２】
従来のインタフレーム（フレーム間）（inter-frame）ハイブリッドコーディングでは、２つの直交する次元（orthogonal dimension）で予測と変換とを分離した。例えば、ビデオコーディングの場合、時間領域で予測を適用し、空間領域で変換を適用した。また、従来のハイブリッドコーディングでは、既にコーディングされたブロック内のデータのみから予測を行った。したがって、本発明では、予測処理で利用され得るデータに対する制限事項を除去し、予測コーディングと変換コーディングとの長所を統合する新しいハイブリッドコーディングの形を可能にすることで、このような問題を解決しようとする。
【００７３】
図３及び図４は、本発明が適用される実施形態であって、各々に高度なコーディング方法が適用されるエンコーダ及びデコーダの概略ブロック図を示す。
【００７４】
上記図３のエンコーダ３００は、最適化部（optimizer）３１０、量子化部３２０、及びエントロピエンコード部３３０を備え、上記図４のデコーダ４００は、エントロピデコード部４１０、逆量子化部４２０、逆変換部４３０、及び復元部４４０を備える。
【００７５】
図３のエンコーダ３００を参照すると、最適化部３１０では、最適化された変換コーディングされた修正信号（correction signal）を取得する。上記最適化部３１０は、最適化された変換コーディングされた修正信号を取得するために、次のような実施形態を適用することができる。
【００７６】
まず、本発明が適用される実施形態を説明するために、信号を復元する（reconstruct）ための復元関数（reconstruction function）を次のように定義することができる。
【００７７】
【数１】
2016536859.tif 000003
【００７８】
ここで、
【表１】
2016536859.tif 000004
は、復元信号を表し、ｃは、デコードされた変換コーディングされた修正信号を表し、ｙは、コンテキスト信号を表す。Ｒ（ｃ、ｙ）は、復元信号を生成するためにｃとｙを用いる復元関数を表す。
【００７９】
本実施形態において、復元関数は、既に復元された値と変換コーディングされた修正信号との関係で定義されることができる。したがって、デコードされた修正信号は、復元値だけでなく、復元処理及び復元関数の選択の全体に影響を及ぼす。
【００８０】
例えば、修正信号は、次のように定義されることができる。
【００８１】
【数２】
2016536859.tif 000005
【００８２】
上記数式２において、ｅは、修正信号を表し、ｃは、変換コーディングされた修正信号を表し、Ｔは、変換行列を表す。また、一部の場合、上記修正信号は、エラー信号又は予測エラー信号を意味することができる。
【００８３】
このとき、復元信号は、次のように定義されることができる。
【００８４】
【数３】
2016536859.tif 000006
【００８５】
ここで、
【表２】
2016536859.tif 000007
は、ｎ番目の復元信号の成分を表し、ｅは、修正信号を表し、ｙは、コンテキスト信号（context signal）を表す。Ｒnは、復元信号を生成するために、ｅ、ｙ、
【表３】
2016536859.tif 000008
を用いる復元関数を表す。
【００８６】
一実施形態として、上記復元関数Ｒnは、次のように定義されることができる。
【００８７】
【数４】
2016536859.tif 000009
【００８８】
ここで、Ｐnは、予測信号を生成するために、上記パラメータで構成された一種の予測関数（prediction function）を表す。
【００８９】
上記予測関数（prediction function）としては、例えば、メディアン関数（median function）、ランクオーダフィルタ（rank order filter）と非線形関数との結合、又は線形関数等の組み合わせでありうる。また、上記非線形予測関数（non-linear prediction function）Ｐn（）は、各々互いに異なる非線形関数でありうる。
【００９０】
本発明の他の実施形態として、量子化部３２０は、最適化部３１０に含まれることができ、又は上記最適化部３１０は、変換部を含むことができる。
【００９１】
他の一実施形態として、本発明が適用されるエンコーダ３００及びデコーダ４００は、上記非線形予測関数（non-linear prediction function）を選択するための候補関数の記憶部を含むことができる。
【００９２】
このとき、上記最適な非線形予測関数は、上記記憶部に記憶された候補関数から選択されることができる。これについては、図７及び図８においてより詳しく説明する。
【００９３】
上記のように、最適な非線形予測関数が選択されたとき、上記最適化部３１０は、上記最適な非線形予測関数を用いて最適な予測信号（optimized prediction signal）を生成することができる。また、上記最適化部３１０は、上記最適な予測信号に基づいて最適な予測エラー信号を生成し、変換コーディングを行うことができる。上記変換コーディングを介して、上記最適化部３１０は、変換コーディングされた係数を出力することができる。ここで、上記変換コーディングされた係数は、最適化された変換係数を意味することができる。
【００９４】
一方、出力された変換係数は、量子化部３２０に送信され、上記量子化部３２０は、上記変換係数を量子化してエントロピエンコード部３３０に送信する。
【００９５】
上記エントロピエンコード部３３０は、上記量子化された変換係数をエントロピエンコードして圧縮されたビットストリームを出力できる。
【００９６】
図４のデコーダ４００は、上記図３のエンコーダから出力されたビットストリームを受信し、エントロピデコード部４１０を介してエントロピデコードを行い、逆量子化部４２０を介して逆量子化を行うことができる。このとき、逆量子化部４２０を介して出力された信号は、最適化された変換係数を意味することができる。
【００９７】
逆変換部４３０は、上記最適化された変換係数を受信して逆変換処理を行い、上記逆変換処理を介して予測エラー信号を取得する。
【００９８】
復元部４４０では、上記予測エラー信号と予測信号とを加えて復元信号を取得する。このとき、上記予測信号の場合、上記図３において説明した様々な実施形態が適用され得る。
【００９９】
図５は、本発明が適用される実施形態であって、高度なビデオコーディング方法を説明するための概略フローチャートを示す。
【０１００】
まず、エンコーダでは、原映像信号が入力されれば、最適な予測エラーベクトルを探すことができる（Ｓ５１０）。最適な予測エラーベクトルを探すために、上記エンコーダは、デコードシミュレーションを行うことができる。
【０１０１】
例えば、上記エンコーダは、上記最適な予測エラーベクトルを探すために、最適な予測信号を取得することができる。上記最適な予測信号を取得するために、既に復元された全てのサンプルを用いることができる。
【０１０２】
ここで、上記最適な予測信号を取得するためには、非線形予測関数が適用され得るし、それぞれの予測信号には、互いに異なる非線形予測関数が適応的に適用され得る。上記非線形予測関数は、候補予測関数（candidate prediction functions）を記憶している記憶部から選択されることができ、上記非線形予測関数の選択のために、既に復元された信号（previously reconstructed signal）及び／又はコンテキスト信号（context signal）が用いられ得る。ここで、コンテキスト信号（context signal）は、既に復元された信号、既に復元されたイントラコーディングされた信号（previously reconstructed intra-coded signal）、現在ビデオフレームの既に復元された部分又は復元される信号のデコード（復号）と関連してデコーダに送信される情報でありうる。
【０１０３】
本発明の実施形態として、上記エンコーダは、上記原映像信号と復元された信号との間の歪み測定値及び／又はコーディングされた信号を送信するためのレート測定値を最小化する変換係数を探すことにより、上記非線形予測関数を選択することができ、上記非線形予測関数を選択することにより、上記最適な予測信号を取得できる。
【０１０４】
つまり、上記原映像信号から上記取得された最適な予測信号を減算することにより、上記最適な予測エラーベクトルを取得できる。
【０１０５】
上記のような実施形態等を介して取得された最適な予測エラーベクトルは、変換係数を生成するために変換部に送信されることができる。上記変換部は、上記最適な予測エラーベクトルに対して変換処理を行って変換係数を生成することができる（Ｓ５２０）。ここで、上記予測エラーベクトルを取得することと上記変換係数を生成することとは、１つのステップで行われることができる。
【０１０６】
このように生成された変換係数は、量子化及びエントロピコーディング処理を介して圧縮されてデコーダに送信されることができる（Ｓ５３０）。
【０１０７】
一方、デコーダでは、上記のように圧縮コーディングされた信号を受信して、エントロピデコード、逆量子化、及び逆変換処理を介して予測エラーベクトルを取得する。デコーダ内の予測部では、既に復元された利用可能な全てのサンプルを用いて予測信号を生成し、予測信号を生成する処理は、上記エンコーダで説明した実施形態が適用され得る。
【０１０８】
図６は、本発明が適用される実施形態であって、最適な予測信号を生成するための高度なビデオコーディング方法を説明するためのフローチャートである。
【０１０９】
まず、本発明は、既に復元された信号（previously reconstructed signal）
【表４】
2016536859.tif 000010
とコンテキスト信号（context signal）とを用いて最適な予測信号を生成することができる（Ｓ６１０）。例えば、上記既に復元された信号（previously reconstructed signal）は、上記数式３で定義された
【表５】
2016536859.tif 000011
を意味することができる。また、上記最適な予測信号を生成するためには、非線形予測関数が適用され得るし、それぞれの予測信号には、互いに異なる非線形予測関数が適応的に適用され得る。
【０１１０】
上記生成された予測信号は、受信された予測エラー信号ｅ（ｉ）と合算されて（Ｓ６２０）、復元信号を生成する（Ｓ６３０）。このとき、上記ステップＳ６２０は、加算器（Adder）（図示せず）を介して行われることができる。
【０１１１】
上記生成された復元信号
【表６】
2016536859.tif 000012
は、今後の参照（future reference）のために記憶されることができる（Ｓ６４０）。このように記憶された信号は、引き続き、次の予測信号を生成するために用いられることができる。
【０１１２】
このように、予測信号を生成するための処理で利用可能なデータに対する制限事項を除去することにより、すなわち、既に復元された全ての信号を用いて最適化された予測信号を生成することにより、より高度な圧縮効率を提供できる。
【０１１３】
以下では、上記ステップＳ６１０の最適な予測信号を生成する処理についてより詳しく説明する。
【０１１４】
図７は、本発明が適用される実施形態であって、最適な予測信号を生成する処理を説明するためのフローチャートである。
【０１１５】
上記図６において説明したように、本発明は、既に復元された信号（previously reconstructed signal）
【表７】
2016536859.tif 000013
とコンテキスト信号（context signal）とを用いて最適な予測信号ｐ（ｉ）を生成することができる（Ｓ７１０）。このとき、上記最適な予測信号を生成するために、最適な予測関数ｆ（ｋ）の選択が必要でありうる。
【０１１６】
上記生成された予測信号を用いて復元信号
【表８】
2016536859.tif 000014
を生成することができ（Ｓ７２０）、上記生成された復元信号
【表９】
2016536859.tif 000015
は、今後の参照（future reference）のために記憶されることができる（Ｓ７３０）。
【０１１７】
したがって、上記最適な予測関数を選択するために、既に復元された全ての信号
【表１０】
2016536859.tif 000016
及びコンテキスト信号（context signal）を用いることができる。例えば、本発明は、歪み成分とレート成分との合計を最小化する候補関数を探すことにより、最適な予測関数を取得することができる（Ｓ７４０）。
【０１１８】
ここで、歪み成分は、原映像信号と復元信号との間の歪みを測定した値を表し、レート成分は、変換係数を送信するか、記憶するために必要なレートを測定した値を表す。
【０１１９】
より具体的には、本発明は、下記の数式５を最小化する候補関数を選択することにより、上記最適な予測関数を取得することができる。
【０１２０】
【数５】
2016536859.tif 000017
【０１２１】
ここで、ｃ*は、上記数式５を最小化するｃ値、すなわち、デコードされた変換係数を表す。また、
【表１１】
2016536859.tif 000018
は、原映像信号とその復元信号との間の歪み測定値を表し、Ｒ（ｃ）は、変換係数ｃを送信するか、記憶するために必要なレート測定値を表す。
【０１２２】
例えば、
【表１２】
2016536859.tif 000019
でありうるし、Ｒ（ｃ）は、ハフマンコーダ（Huffman coder）や算術コーダ（arithmetic coder）などのエントロピコーダを用いて変換係数ｃを記憶するために用いられるビット数を表すことができる。代替として、Ｒ（ｃ）は、ラプラシアン（Laplacian）やガウシアン確率モデル（Gaussian probability model）、
【表１３】
2016536859.tif 000020
などの分析レートモデル（analytical rate model）により予測されるビット数を表すことができる。
【０１２３】
一方、λは、エンコーダ最適化で用いられるラグランジュ乗数（Lagrange multiplier）を表す。例えば、λは、歪み測定値とレート測定値との均衡を維持する実数を表すことができる。
【０１２４】
図８は、本発明が適用される実施形態であって、最適な変換係数を取得する方法を説明するためのフローチャートである。
【０１２５】
本発明は、歪み測定値とレート測定値との合計を最小化する最適な変換係数を取得し、上記取得された変換係数を更新することにより、より高度なコーディング方法を提供することができる。
【０１２６】
まず、エンコーダは、歪み測定値とレート測定値との合計を最小化する変換係数を取得することができる（Ｓ８１０）。例えば、上記歪み測定値と上記レート測定値との合計は、上記数式５の数式が適用され得る。このとき、入力変数としては、原映像信号（ｘ）、既に復元された信号
【表１４】
2016536859.tif 000021
及びラグランジュ乗数（Lagrange multiplier、λ）が用いられ得る。ここで、既に復元された信号は、以前に復元された変換係数に基づいて取得されたものでありうる。
【０１２７】
上記のような処理を介して変換係数を取得すると、以前の変換係数は、新しく取得された変換係数（ｃ*）によって更新される（a previous transform coefficient is updated with a newly obtained transform coefficient c*）（Ｓ８２０）。
【０１２８】
上記更新された変換係数（ｃ）は、逆変換処理を介して逆変換され（Ｓ８３０）、予測エラー信号を取得する（Ｓ８４０）。
【０１２９】
上記エンコーダは、上記取得されたエラー信号を用いて復元信号
【表１５】
2016536859.tif 000022
を生成する（Ｓ８５０）。このとき、上記復元信号
【表１６】
2016536859.tif 000023
を生成するために、コンテキスト信号（context signal）が用いられ得る。
【０１３０】
上記生成された復元信号は、再度歪み成分とレート成分との合計を最小化する最適な変換係数を取得するために用いられ得る。
【０１３１】
また、このように更新された変換係数は、復元処理を介して再度新しい最適化された変換係数を取得するために用いられ得る。
【０１３２】
このような処理は、上記エンコーダ３００の最適化部３１０で行われることができる。上記最適化部３１０では、新しく取得された変換係数を出力し、出力された変換係数は、量子化及びエントロピエンコード処理を介して圧縮されて送信される。
【０１３３】
本発明の一実施形態は、新しい予測信号を生成する方法に関するものであって、上記予測信号は、既に復元された信号と変換コーディングされた係数との関係で定義されることができる。ここで、上記変換コーディングされた係数は、上記数式２により説明されることができ、上記数式２及び数式３のように、それぞれの変換コーディングされた係数は、復元処理全体に影響を及ぼすことができ、予測エラーベクトル内に含まれた予測エラーの幅広い制御を可能にすることができる。
【０１３４】
本発明の一実施形態として、復元処理は、線形的なものに制限されることができる。そのような場合、復元信号は、次のように定義されることができる。
【０１３５】
【数６】
2016536859.tif 000024
【０１３６】
ここで、
【表１７】
2016536859.tif 000025
は、復元信号を表し、ｃは、デコードされた変換係数を表し、ｙは、コンテキスト信号を表す。また、Ｆ、Ｔ、Ｈは、ｎｘｎ行列を表す。
【０１３７】
本発明の一実施形態として、変換係数に含まれた量子化エラーを制御するために、ｎｘｎ行列Ｓを利用することができる。この場合、復元信号は、次のように定義されることができる。
【０１３８】
【数７】
2016536859.tif 000026
【０１３９】
量子化エラーを制御するための行列Ｓは、次の数式８の最小化処理を利用して取得するこができる。
【０１４０】
【数８】
2016536859.tif 000027
【０１４１】
ここで、Ｔは、訓練信号（training signal）を表し、変換係数ｃは、ｎ次元ベクトルで整列される。変換係数成分は、Ｃi∈Ωiを満たす。ここで、Ωiは、一連の離散値（discrete value）を表し、Ωiは、一般的に整数値が適用された逆量子化処理を介して決定される。例えば、
【０１４２】
【表１８】
2016536859.tif 000028
でありうるし、ここで、Δiは、一定の量子化ステップサイズ（uniform quantization step size）を表す。また、上記変換係数の各々は、他の量子化ステップサイズを有することができる。
【０１４３】
本発明の実施形態として、上記数式７のｎｘｎ行列Ｆ、Ｓ、Ｈは、訓練信号に対して共通に（in common）最適化されることができる。上記共通（共同）最適化方法（common optimization method）は、次の数式９を最小化することにより行われることができる。
【０１４４】
【数９】
2016536859.tif 000029
【０１４５】
ここで、Λ＝｛λ1，λ2，…，λL｝は、制限乗数（constraint multipliers）のターゲットセット（target set）を表し、Ｌは、整数（integer）である。また、λにおける復元関数は、次の数式のように形成されることができる。
【０１４６】
【数１０】
2016536859.tif 000030
【０１４７】
図９は、本発明が適用される実施形態であって、高度なコーディング方法が適用されるデコーダにおける動作方法を説明するための概略フローチャートを示す。
【０１４８】
デコーダは、本発明によって取得された変換係数を含むビットストリームを受信し、エントロピデコード部を介してエントロピデコードを行い、逆量子化部を介して逆量子化を行うことができる。このとき、逆量子化部を介して出力された信号は、エンコーダで取得された最適化された変換係数を意味することができ、本明細書において説明された様々な実施形態が全て適用され得る。
【０１４９】
上記デコーダは、逆変換部を介して上記受信された最適化された変換係数に対して逆変換処理を行い（Ｓ９１０）、上記逆変換処理を介して予測エラー信号を取得することができる（Ｓ９２０）。
【０１５０】
上記デコーダは、復元部を介して上記予測エラー信号と予測信号とを合わせて（Ｓ９３０）、復元信号を生成する（Ｓ９４０）。このとき、上記予測信号の場合にも、本明細書において説明された様々な実施形態が全て適用され得る。
【０１５１】
上記復元信号は、利用可能なサンプルリストに追加されて、今後の参照のために記憶されることができる（Ｓ９５０）。
【０１５２】
上記デコーダは、予測部を介して上記利用可能なサンプルリスト（available sample list）にある復元信号（サンプル）を用いて予測信号を生成することができる。また、生成された予測信号は、上記Ｓ９３０ステップで予測エラー信号と合算されて復元信号が生成される。
【０１５３】
図１０及び図１１は、本発明が適用される実施形態であって、ピクチャグループ（ＧＯＰ：Group Of Picture）に対して時空間変換（spatiotemporal transform）を適用する方法を説明するための概念図である。
【０１５４】
本発明は、Ｖ個のフレームを含むピクチャグループＧＯＰに対して時空間変換を適用することができる。この場合、予測エラー信号と復元信号とは、次のように定義されることができる。
【０１５５】
【数１１】
2016536859.tif 000031
【０１５６】
【数１２】
2016536859.tif 000032
【０１５７】
ここで、Ｔstは、時空間変換（spatiotemporal transform）行列を表し、ｃは、全てのピクチャグループに対するデコードされた変換係数を含む。
【０１５８】
また、ｅiは、フレームに対応するエラー値で形成されたエラーベクトルを表す。例えば、Ｖ個のフレームを有するピクチャグループに対するエラーの場合、
【表１９】
2016536859.tif 000033
が定義されることができる。ここで、上記エラーベクトルｅは、上記Ｖ個のフレームを有するピクチャグループＧＯＰの全てに対するエラー値を全て含むことができる。
【０１５９】
また、
【表２０】
2016536859.tif 000034
は、ｎ番目の復元信号を表し、ｙは、コンテキスト信号（context signal）を表す。Ｒnは、復元信号を生成するための、ｅn及びｙを用いる非線形復元関数を表し、Ｐnは、予測信号を生成するための非線形予測関数（non-linear prediction function）を表す。
【０１６０】
上記図１０は、従来の一般的な空間ドメインにおける変換方法を説明するための図であり、上記図１１は、ピクチャグループに対して時空間変換を適用する方法を説明するための図である。
【０１６１】
上記図１０に示すように、従来のコーディング方式の場合、Ｉフレーム及びＰフレームのエラー値に対して各々独立して空間ドメインにおける変換コードが生成されることが確認できる。
【０１６２】
それに対し、本発明が適用される図１１の場合、Ｉフレーム及びＰフレームのエラー値に対してジョイント（共同）時空間変換（joint spatiotemporal transform）を共に適用することにより、さらにコーディング効率を向上させることができる。すなわち、上記数式１２で確認できるように、復元信号を生成するとき、ジョイント時空間変換された（joint spatiotemporal transformed）エラーベクトルが循環構造で用いられることにより、非平滑（滑らかでない）（non-smooth）又は非定常（非静止的）（non-stationary）信号を含む高画質映像に対してより効率的にコーディングすることができる。
【０１６３】
図１２は、本発明が適用され得る実施形態であり、高度なビデオコーディングを図示する概略フローチャートである。
【０１６４】
まず、原ビデオ信号（original video signal）がステップＳ１２１０で受信される場合、エンコーダは、ステップＳ１２２０で上記原ビデオ信号を利用可能な復元（再構成）された信号（reconstructed signals）と比較することができる。また、上記エンコーダは、ステップＳ１２３０で上記比較の結果に基づいて修正信号を決定することができる。
【０１６５】
このような場合において、上記修正信号は、歪み成分とレート成分との合計を最小化するように決定されることができる。上記歪み成分は、上記原ビデオ信号と上記修正信号との間の全体の歪みを表し、上記レート成分は、変換コーディングされた修正信号を送信するために必要なビット数を表す。修正信号を決定するために、上記エンコーダは、デコードを同時に行うことができる。
【０１６６】
本発明は、上記信号復元のために用いられる復元関数を決定するステップをさらに含むことができ、上記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを含むことができる。
【０１６７】
また、上記復元関数は、以前に復元された全てのサンプルと上記修正信号とに基づいて決定されることができる。
【０１６８】
それから、上記エンコーダは、ステップＳ１２４０で信号復元のために送信される変換コーディングされた修正信号を生成することができる。ここで、上記変換コーディングされた修正信号は、逆量子化行列と逆変換行列とにより乗じられることができ、上記逆量子化行列は、ビット率及び量子化エラーの制御のために選択されることができる。
【０１６９】
また、上記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディング（spatiotemporal transform coding）が上記修正信号に適用されることができる。
【０１７０】
本発明の一実施形態によれば、上記デコーダは、本発明により取得された変換コーディングされた修正信号を含むビットストリームを受信することができ、エントロピデコードユニットを介してエントロピデコードを行うことができ、逆変換ユニットを介して逆変換を行うことができる。上記デコーダは、上記変換コーディングされた信号に逆変換を行って修正信号を取得することができる。
【０１７１】
それから、上記デコーダは、上記取得された修正信号とコンテキスト信号とを結合する復元関数を用いて復元信号を取得することができる。ここで、上記コンテキスト信号は、以前に復元された全てのサンプル（all previously reconstructed samples）に基づいて取得されることができる。
【０１７２】
また、上記デコーダは、上記信号復元のために用いられる復元関数を決定することができ、上記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを含むことができる。ここで、上記復元関数は、上記以前に復元された全てのサンプルに基づいて決定されることができる。
【０１７３】
上記変換コーディングされた修正信号は、逆量子化行列と逆変換行列とにより乗じられることができる。また、上記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応し、時空間変換コーディングが上記修正信号に適用されている。
【０１７４】
図１３〜図１７は、本発明が適用され得る実施形態である。
【０１７５】
本発明は、オーディオ、イメージ、ビデオなどのメディア信号の圧縮のために高度な技術を定義する。多くのメディア圧縮技術は、予測コーディング及び変換コーディングと呼ばれる、２つのアプローチに基づき、特に、ビデオコーディングのために、両者の長所を結合したハイブリッドコーディングと呼ばれる２つの特定の組み合わせ方式が採択されたが、その組み合わせ方式にはいくつかの強力な限定が付加される。
【０１７６】
本発明は、従来使用していない新しい予測及び変換コーディングの融合に基づき、このような特性のより良好な結合でありうるし、最も一般的な技術において、各方法の長所をさらによく活用することができる。
【０１７７】
図１３は、メディアコーディングの一般的な形態のダイヤグラムを示し、予測コーディング、変換コーディング、及びハイブリッドコーディングのために必要な全ての要素を含んでいる。
【０１７８】
予測コーディング（又は、ＤＰＣＭ）は、信号圧縮のための最も基本的なツール（tool）のうちの１つであり、上記線形変換が恒等（単位）変換（identity transform）であると仮定すれば、図１２のダイヤグラムに対応する。予測コーディングは、同一信号の既にコーディングされた部分を用いて信号要素を予測し（predict）、予測された値と実際の値との間の差値をコーディングすることに基づく。これは、より正確に予測された信号（又は、信号要素）がより効率的に圧縮され得る（より小さいビット数で表現される）という情報理論にしたがう。予測の一貫性及び正確性を増加させることにより、さらに良い圧縮効果を得ることができる。
【０１７９】
予測コーディングの主な特徴は、次の通りである。
【０１８０】
・予測コーディングは、因果統計的関係（causal statistics relationships）に基づくので、短期推論を利用することができ、したがって、非平滑（non-smooth）／非定常（non-stationary）信号を処理するのにさらに有効である。
【０１８１】
・予測コーディングは、イメージ境界（image edges）及びビデオモーションなどの特定信号特性を利用するのに特化された非線形予測を含む、高度な適応的形態に容易に拡張されることができる。
【０１８２】
・予測コーディングは、大規模（large scale）な信号特性処理において効率的でない。
【０１８３】
・原信号に直接量子化を適用するため、人間の視覚及び聴覚システムの限界を完全に利用することはできない。
【０１８４】
図１２において、変換コーディングは、予測が同様に（identically）０であり、線形変換が恒等（identity）変換と異なる場合に対応する。典型的には、変換コーディングは、離散コサイン変換ＤＣＴや離散ウェーブレット変換ＤＷＴなどの直交変換である。変換コーディングは、最も重要なことを識別可能にして、信号を要素セットに分解する（Transform coding decomposes the signal in a set of components, making it possible to identify which are most important）。事実上、量子化後にほとんどの変換係数は、０である。
【０１８５】
本発明は、変換コーディングの特性のうち、次の特性を有する。
【０１８６】
・変換及びコーディング以前に、特定サイズのブロック内の信号サンプルを集約する（集める）（aggregate）必要がある。
【０１８７】
・平滑変動（変形）（smooth variation）から色調要素（tonal components）及び周期的イメージパターン（periodic image patterns）に至る、大規模メディア（large-scale media）の特徴を利用することができる。
【０１８８】
・信号が周波数バンドに分解されたとき、当該周波数で人間の視覚及び聴覚システムの相対的感度（relative sensitivity）を考慮することが可能である。
【０１８９】
・変換ドメインに量子化を適用することは、その影響の認知をより少なくすることがより容易になるが（Applying quantization in the transform domain makes it easier to make its effects less perceptible）、ブロック境界にアーチファクト（artifact）を作ることができる。
【０１９０】
図１２のダイヤグラムで示されたように、両者の長所を結合することを目標として、予測コーディングと変換コーディングとを結合することは概念的に簡単（直接的）（straightforward）であり、また、そのような結合は、ハイブリッドコーディングと呼ばれる。
【０１９１】
しかし、２つのコーディング技術を共に利用するときに注意する必要がある。予測コーディングは、毎回個別サンプルに適用され得る。事実上、予測のための最も強力な方法は、再帰（循環）構造（recursive structure）を有し、上記再帰構造は、信号値がある程度まで（in a sense）最も近い値を用いるときに最も良好に予測され得るという事実を利用する。これは、予測値がコーディングされた後、直ちに他の値を予測するのに利用される場合が最善であることを意味する。ハイブリッドコーディングにおいてこのようなアプローチの利用に関する問題点は、変換が適用される前に予測残差がグループ化されなければならないという点である。信号が正確に復元され得ないので、再帰予測は、蓄積されたエラーの増加を招くことができる。
【０１９２】
このような問題を解決するために、２つの解決策が現在利用される。
【０１９３】
１番目は、２つの直交する（又は、独立した）次元（dimension）で予測と変換とを分離する。例えば、ビデオの場合、時間次元で予測を適用し（apply prediction）、空間次元で変換を適用することが伴われる。
【０１９４】
２番目は、既にコーディングされたブロック内のデータのみからの予測に基づくことである。これは、エラー伝播の問題を除去できるが、予測処理においてブロック内のいくつかのデータサンプルとより小さい統計的相関関係を有するデータを用いるように強要することになり、性能が低下する。
【０１９５】
本発明は、予測処理で利用され得るデータに対する制限事項を除去し、予測コーディングと変換コーディングとの長所を真に（truly）統合するハイブリッドコーディングの形態を可能にすることにより、このような問題を解決しようとする。
【０１９６】
【表２１】
2016536859.tif 000035
：復元された信号。上記復元された信号は、ｎ次元ベクトルにディクショナリ形式で整列される（is lexicographically ordered into an n-dimensional vector）。
【０１９７】
ｙ：初期にエンコーダ及びデコーダの両方に利用可能なコンテキスト（context）信号。上記コンテキスト信号は、ディクショナリ形式でｋ次元ベクトルに整列される。
【０１９８】
ｃ：デコードされた係数。上記デコードされた係数は、ｎ次元ベクトルにディクショナリ形式で整列される。ｃの係数成分（すなわち、係数ｃi，ｉ＝１，…，ｋ）は、ｃi∈Ωiを満たし、ここで、Ωi は、一連の離散値（discrete value）を表す。Ωi は、典型的には整数値が適用された逆量子化手順を介して決定され、例えば、Ωi ＝｛…，−３Δi，−２Δi，−Δi，０，Δi，２Δi，３Δi，…｝などの均一量子化復元値（uniform quantization reconstruction values）である。ここで、Δiは、均一量子化器（uniform quantizer）ステップサイズであり、実数（例えば、３．２６７５、７．００１、．００１３など）に対応する。それぞれの係数は、それに割り当てられる他のステップサイズを有することができるということに注目しよう。
【０１９９】
上記ベクトルνのｉ番目要素は、νiにより示される。
【０２００】
上記デコードされた係数ｃ、及び上記コンテキスト信号、ｙ、最も一般的な復元信号が下記のように与えられた場合、
【０２０１】
【数１３】
2016536859.tif 000036
【０２０２】
ここで、Ｒ（ｃ，ｙ）は、
【表２２】
2016536859.tif 000037
を復元するためのｙ及びｃを用いる非線形復元関数を表す。
【０２０３】
本発明は、現在のデコーダと類似した複雑度を有するが、実質的に高度な圧縮結果を提供する高度な復元を可能にする特別な形態の復元関数を開示する。
【０２０４】
次の細部事項をよりよく理解するために、まず、従来の線形復元を考慮する。線形の場合において、上記復元された信号は、次のように形成される。
【０２０５】
【数１４】
2016536859.tif 000038
【０２０６】
ここで、Ｆ（ｎ×ｎ）、Ｔ（ｎ×ｎ）及びＨ（ｎ×ｋ）は、行列である。
【０２０７】
次の重要な限定は、下記のように識別されることができる。
【０２０８】
典型的な（伝統的な、従来の）（traditional）ＤＰＣＭにおいて、
【０２０９】
【数１５】
2016536859.tif 000039
【０２１０】
Ｈは、任意のｎ×ｋ行列であり、Ｈｙは、コンテキスト信号（context signal）を用いた線形予測であり、ＤＰＣＭは、変換を適用せずに、予測エラーを量子化し、コーディングするので、Ｔ＝１（すなわち、単位行列）である。したがって、典型的なＤＰＣＭにおいて、復元は、次のような形態を有する。
【０２１１】
【数１６】
2016536859.tif 000040
【０２１２】
一方、典型的な変換コーディングでは、Ｆ＝１、Ｈ＝０であり、これは、下記のように導かれる。
【０２１３】
【数１７】
2016536859.tif 000041
【０２１４】
典型的には、Ｔが正規直交（orthonormal）になるように制限されるよう正規直交変換（orthonormal transform）が利用される。（時々ハイブリッドコーディングと称される）上記典型的な変換コーディングの変形（variation）において、上記コンテキスト信号からの予測が利用される。
【０２１５】
【数１８】
2016536859.tif 000042
【０２１６】
上記ＤＰＣＭの長所は、（よく設計されたＦ行列を介して）極めて高度な予測を利用する点であり、ＤＰＣＭは、より強力な非線形予測子により容易に一般化されることができる。上記ＤＰＣＭの短所は、各サンプルに対する予測エラーが独立してエンコードされるため、大規模依存性（large-scale dependency）を利用できないという点である。それに対し、変換／ハイブリッドコーディングは、大規模依存性を利用できるが、線形、普通正規直交変換として利用され得る依存性だけに限定される。したがって、利用可能な依存性は、典型的には平滑（smooth）で定常な（stationary）信号に限定される。従来の研究とは異なり、後述されるように、本発明は、高度な非線形予測子を用いて（with the help of）非平滑（non-smooth）で非定常な（non-stationary）信号を含む大規模依存性（large-scale dependency）に適用するための技術を提供する。
【０２１７】
復元が行われる処理に注力（集中）すれば、このような動作は、次のような演算として見ることができる。
【０２１８】
【数１９】
2016536859.tif 000043
【０２１９】
ここで、Ｒiは、上記で示された変数の非線形復元関数である（図１３）。
【０２２０】
例えば、Ｒiは、次のとおりでありうる。
【０２２１】
【数２０】
2016536859.tif 000044
【０２２２】
ここで、Ｐｉは、上記で示された変数の非線形予測関数である（図１４）。
【０２２３】
【表２３】
2016536859.tif 000045
【０２２４】
それぞれのＰｉは、異なる非線形関数でありうるということに注目しよう。一実施形態として、各Ｐｉの候補関数のディクショナリ（集合）（dictionary）でありうるし、上記以前に復元された値及びコンテキスト信号がこのようなディクショナリから関数を選択するために用いられる（図１５）。例えば、このような選択は、上記以前に復元された値に対して数式２１を最小化するディクショナリ関数（dictionary function）を選択することにより行われることができる。
【０２２５】
本発明において、数式２１を最小化するｃを提供する（図１６）。
【０２２６】
【数２１】
2016536859.tif 000046
【０２２７】
【表２４】
2016536859.tif 000047
【０２２８】
上記予測子は、以前に復元された値とｃ値（すなわち、復元処理の主な入力値）との関係で定義され、数式１９に説明されたように変換コーディングされる。したがって、それぞれのデコードされた係数ｃiは、復元全体に影響を及ぼし、数式２０に見られるように、ベクトルｅにカプセル化（圧縮）された（encapsulated in the vector e）予測エラーの範囲の制御（range control）を可能にする。これは、ＤＰＣＭ、変換コーディング、ハイブリッドコーディング、及び従来の他の形態と異なるものであることを理解すべきである。特に、数式２１の最適化は、従来の技術より実質的により精巧である。
【０２２９】
【表２５】
2016536859.tif 000048
【０２３０】
一実施形態において、上記復元は、線形になるように制限される。したがって、本発明は、数式２２のように復元を形成する。
【０２３１】
【数２２】
2016536859.tif 000049
【０２３２】
一実施形態において、行列（マトリックス）（matrix）Ｓ（ｎ×ｎ）は、具体化された量子化されたエラーを調節するために用いられることができ、したがって、上記復元は、次の数式２３のように形成される。
【０２３３】
【数２３】
2016536859.tif 000050
【０２３４】
Ｔが信号のトレーニング（訓練）セット（training set）を表すとする。一実施形態において、Ｓは、次の最小化を利用して選択される。
【０２３５】
【数２４】
2016536859.tif 000051
【０２３６】
ここで、
【表２６】
2016536859.tif 000052
は、数式１０から取得される。他の実施形態において、Ｆ、Ｓ、及びＨは、上記トレーニングセット（training set）を介して共に最適化されることができる。Λ＝｛λ1，λ2，…，λL｝は、整数Ｌ（例えば、Ｌ＝１、２、１３、１７４など）に対して限定された乗数（乗算器）（constraint multipliers）のターゲットセットを表す。このような共通最適化は、次の数式２５を最小化することにより行われることができる。
【０２３７】
【数２５】
2016536859.tif 000053
【０２３８】
ここで、λは、次の数式２６により形成される。
【０２３９】
【数２６】
2016536859.tif 000054
【０２４０】
上記エンコーダのブロック図は、図５に示され、上記デコーダのブロック図は、図３に示される。
【０２４１】
一実施形態において、本発明は、Ｖ個のビデオフレームのグループ（又は、ピクチャグループ、ＧＯＰ）に対するビデオ信号に適用され得る。Ｖは、例えば、１、２、１０、１５、３０、１２１９などでありうる。
【０２４２】
【数２７】
2016536859.tif 000055
【０２４３】
ここで、Ｔstは、時空間（spatiotemporal）変換に対応し、ｃは、全てのＧＯＰに対してデコードされた変換係数を含み、ｅiは、フレームｉに対応するエラー値により形成されたベクトルを表す。
【表２７】
2016536859.tif 000056
は、ＧＯＰ全体に対するエラー値を含むベクトルである。
【表２８】
2016536859.tif 000057
は、ｉ番目に復元されたビデオフレームを表し、Ｐiは、フレームｉに対して動き補償された予測値を表す。従来の空間予測（temporal prediction）後に時間変換（spatial transform）を適用したビデオコーディング方式と比較するとき、このような技術は、ジョイント時空間変換コード（joint spatiotemporal transform code）を生成することと見ることができる。（図１１及び１２）。
【０２４４】
ＤＰＣＭ技術とは異なり、それぞれの送信された／デコードされた係数が予測エラーベクトルの全てに影響を及ぼすように、予測エラーサンプルに対する統計的な依存性が完全に利用される。
【０２４５】
従来技術とは異なり、本発明は、非線形依存性を容易に利用することができる。
【０２４６】
条件的な／状況的な予測により、いくつかの信号階層が収容され得る。
【０２４７】
付加情報を必要とせずに、信号適応的なデコーダの動作が可能である。
【０２４８】
ＤＰＣＭと変換コーディングとの長所が結合される。
【０２４９】
変換コーディングと結合された線形／非線形予測コーディングを統合された非線形変換ブロックに代替する。
【０２５０】
変換コーディングを用いるハイブリッドコーディング（変換コーディングが後続するＤＰＣＭ）を統合された非線形変換ブロックに代替する。
【０２５１】
ハイブリッドコーダと比較するとき、高画質予測が可能であり、予測エラーも減らすことができる。
【０２５２】
量子化エラーが完全に考慮され、制御されるので、量子化エラー伝播の問題が解決される。
【０２５３】
いくつかの開ループ（open-loop）ＤＰＣＭ／変換コーディングの組み合わせで生じることができるコーダ−デコーダの非対称性の問題が解決される。
【０２５４】
事後予測（posterior prediction）で量子化エラーの効果をよりよく調節することができる。
【０２５５】
より高度な時空間ビデオ圧縮を提供する。
【０２５６】
上記設計された時空間変換コードは、自動的にインタ予測及び空間予測などを含むので、以前の３Ｄ変換アプローチのような障害物がない。
【０２５７】
動き依存性（motion dependency）、空間境界（spatial edge）などのビデオデータの特性は、動き軌跡や境界に対する統計的な依存性を利用する、より精巧な時空間変換を必要とする。このような変換は、設計（デザイン）し難い。ＤＰＣＭと変換コーディングとを結合することにより、ＣＮＴは、このような問題を乗り越えることができ、事実上、単純な変換及び予測子を利用することにより、そのような変換を設計することができる。
【０２５８】
以上で説明したように、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置に備えられて、ビデオ信号及びデータ信号などを復号化するのに使用されることができる。また、上記マルチメディア放送送受信装置は、移動通信端末器を含むことができる。
【０２５９】
また、本発明が適用されるデコード／エンコード方法は、コンピュータで実行されるプログラムで製作されて、コンピュータ読み取り可能な記録媒体に記憶されることができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能な記録媒体に記憶されることができる。上記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られることのできるデータが記憶されるあらゆる種類の記憶装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＢＤ、ＵＳＢ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、光データ記憶装置などがあり、また、キャリアウェーブ（例えば、インタネットを介しての送信）の形で実現されるものも含む。また、上記エンコード方法により生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に記憶されるか、有／無線通信網を利用して送信されることができる。
【産業上の利用可能性】
【０２６０】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態を改良、変更、代替、又は付加などが可能であろう。
【図１】
2016536859.tif 000058
【図２】
2016536859.tif 000059
【図３】
2016536859.tif 000060
【図４】
2016536859.tif 000061
【図５】
2016536859.tif 000062
【図６】
2016536859.tif 000063
【図７】
2016536859.tif 000064
【図８】
2016536859.tif 000065
【図９】
2016536859.tif 000066
【図１０】
2016536859.tif 000067
【図１１】
2016536859.tif 000068
【図１２】
2016536859.tif 000069
【図１３】
2016536859.tif 000070
【図１４】
2016536859.tif 000071
【図１５】
2016536859.tif 000072
【図１６】
2016536859.tif 000073
【図１７】
2016536859.tif 000074
【国際調査報告】
2016536859.tif 000075
2016536859.tif 000076