(57)【要約】  原映像信号（ｏｒｉｇｉｎａｌ  ｖｉｄｅｏ  ｓｉｇｎａｌ）を受信するステップと、前記原映像信号を以前の復元信号と比較するステップと、歪み成分及びレート成分の合計を最小化するために修正信号を生成するステップと、映像信号復元のために、デコーダに送信される前記修正信号をエントロピーエンコードするステップとを含む映像信号をエンコードする方法が本発明において開示され、前記以前の復元信号は、スケーリング対角行列を付加的に用いて逆変換される。【選択図】図１５
2017509268.tif 000002
【特許請求の範囲】
【請求項１】
映像信号をエンコードする方法であって、
原映像信号（ｏｒｉｇｉｎａｌ  ｖｉｄｅｏ  ｓｉｇｎａｌ）を受信するステップと、
前記原映像信号を以前の復元信号と比較するステップと、
歪み成分及びレート成分の合計を最小化するために修正信号を生成するステップと、
映像信号復元のために、デコーダに送信される前記修正信号をエントロピーエンコードするステップと、
を含み、
前記以前の復元信号は、スケーリング対角行列を付加的に用いて逆変換される、エンコード方法。
【請求項２】
前記修正信号は、空間ドメインでのエラーの加重値を微分するために使用される他の対角行列に基づいて生成される、請求項１に記載のエンコード方法。
【請求項３】
前記スケーリング対角行列を含む複数の対角行列の最適セットを計算するステップをさらに含み、
前記修正信号は、前記複数の対角行列の最適セットに基づいて生成される、請求項１に記載のエンコード方法。
【請求項４】
前記複数の対角行列の最適セットは、付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）でエンコードされ、デコーダに送信される、請求項３に記載のエンコード方法。
【請求項５】
前記複数の対角行列の最適セットは、前記原映像信号のフレームをエンコードする前にエンコードされる、請求項３に記載のエンコード方法。
【請求項６】
前記歪み成分は、前記原映像信号及び復元信号間の全歪みを指示し、
前記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する、請求項１に記載のエンコード方法。
【請求項７】
映像信号をデコードする方法であって、
修正信号を含む前記映像信号を受信するステップと、
複数の対角行列を含む付加情報を前記映像信号から読み取るステップと、
前記映像信号をエントロピーデコードして前記修正信号を取得するステップと、
前記修正信号及び前記複数の対角行列に基づいて信号を復元するステップと、
を含む、デコード方法。
【請求項８】
前記複数の対角行列は、スケーリング対角行列を含む、請求項７に記載のデコード方法。
【請求項９】
前記スケーリング対角行列を付加的に用いて前記修正信号に対して逆変換を行うステップをさらに含む、請求項８に記載のデコード方法。
【請求項１０】
前記複数の対角行列は、空間ドメインでのエラーの加重値を微分するために使用される対角行列を含む、請求項７に記載のデコード方法。
【請求項１１】
前記修正信号は、歪み成分及びレート成分の合計を最小化する最適化された係数値を含む、請求項７に記載のデコード方法。
【請求項１２】
前記歪み成分は、前記原映像信号及び復元信号間の全歪みを指示し、
前記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する、請求項１１に記載のデコード方法。
【請求項１３】
前記複数の対角行列は、前記映像信号のフレームをデコードする前に読み取られる、請求項７に記載のデコード方法。
【請求項１４】
映像信号をエンコードする装置であって、
原映像信号を受信するように構成される受信部と、
前記原映像信号を以前の復元信号と比較し、歪み成分及びレート成分の合計を最小化するために修正信号を生成するように構成される最適化部と、
映像信号復元のために、デコーダに送信される前記修正信号をエントロピーエンコードするように構成されるエントロピーエンコード部と、
を備え、
前記以前の復元信号は、スケーリング対角行列を付加的に用いて逆変換される、エンコード装置。
【請求項１５】
前記修正信号は、空間ドメインでのエラーの加重値を微分するために使用される他の対角行列に基づいて生成される、請求項１４に記載のエンコード装置。
【請求項１６】
前記最適化部は、前記スケーリング対角行列を含む複数の対角行列の最適セットを計算するように構成され、
前記修正信号は、前記複数の対角行列の最適セットに基づいて生成される、請求項１４に記載のエンコード装置。
【請求項１７】
前記複数の対角行列の最適セットは、付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）でエンコードされ、デコーダに送信される、請求項１６に記載のエンコード装置。
【請求項１８】
映像信号をデコードする装置であって、
修正信号を含む前記映像信号を受信し、複数の対角行列を含む付加情報を前記映像信号から読み取るように構成される受信部と、
前記映像信号をエントロピーデコードして前記修正信号を取得するように構成されるエントロピーデコード部と、
前記修正信号及び前記複数の対角行列に基づいて信号を復元するように構成される復元部と、
を備える、デコード装置。
【請求項１９】
スケーリング対角行列を付加的に用いて前記修正信号に対して逆変換を行うように構成される逆変換部をさらに備える、請求項１８に記載のデコード装置。
【請求項２０】
前記複数の対角行列は、空間ドメインでのエラーの加重値を微分するために使用される対角行列を含む、請求項１８に記載のデコード装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のエンコード及びデコード方法並びにその装置に関し、特に、量子化エラーの追加的な制御を利用したコーディング技術に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、格納媒体に適した形で格納するための一連の信号処理技術を意味する。映像、イメージ、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。
【０００３】
多くのメディア圧縮技術は、予測コーディングと変換コーディングという２つのアプローチ方法に基づく。特に、ハイブリッドコーディング（ｈｙｂｒｉｄ  ｃｏｄｉｎｇ）技術は、以前にデコードされたコンテキスト値（ｐｒｅｖｉｏｕｓｌｙ  ｄｅｃｏｄｅｄ  ｃｏｎｔｅｘｔ  ｖａｌｕｅｓ）を用いてサンプルを空間的に予測し、予測エラーを変換コーディングする。このような過程は、ガウス信号（Ｇａｕｓｓｉａｎ  ｓｉｇｎａｌ）に対して最適のＲＤ（Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ）値を有するように行われる。
【０００４】
しかし、一般的なビデオ信号は、ガウス信号（Ｇａｕｓｓｉａｎ  ｓｉｇｎａｌ）によく合わない構造を含んでいるため、このような信号をより効率的にコーディングする必要がある。
【０００５】
一方、ブロックの他の部分で発生するエラー毎に互いに重要度が異なり得る。したがって、空間ドメインと周波数ドメインとの両方でエラーを制御できる方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明では、エッジと方向性構造（ｅｄｇｅ  ａｎｄ  ｄｉｒｅｃｔｉｏｎａｌ  ｓｔｒｕｃｔｕｒｅ）を有する信号に対してより効率的にコーディングしようとする。
【０００７】
本発明では、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（ｎｏｎ−ｃａｕｓａｌｌｙ）予測しようとする。
【０００８】
本発明では、非直交変換に基づいてビデオ信号をコーディングしようとする。
【０００９】
本発明では、歪みを最小化する最適の変換係数を取得しようとする。
【００１０】
本発明では、ＲＤ（Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ）最適の量子化ステップサイズを導こうとする。
【００１１】
本発明が適用される非因果的コーディング技術を非直交変換の形態とパラメータで表現しようとする。
【００１２】
本発明では、空間ドメインと周波数ドメインとの両方で量子化エラーを制御しようとする。
【００１３】
本発明では、空間ドメイン上でエラー重要度を区別するために、さらに他の対角行列を定義しようとする。
【００１４】
本発明では、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）観点で最適の対角行列を計算する方法を提案しようとする。
【００１５】
本発明では、空間ドメイン上で量子化エラーをもう少し細かく制御する方法を提案しようとする。
【００１６】
本発明は、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（ｎｏｎ−ｃａｕｓａｌｌｙ）予測する方法を提案する。
【００１７】
また、本発明は、エッジと方向性構造（ｅｄｇｅ  ａｎｄ  ｄｉｒｅｃｔｉｏｎａｌ  ｓｔｒｕｃｔｕｒｅ）を有する信号に対してより効率的にコーディングできる方法を提案する。
【００１８】
また、本発明は、非直交変換に基づいたビデオ信号のコーディング方法を提案しようとする。
【００１９】
また、本発明は、最適の変換係数を取得するための量子化アルゴリズムを提案する。
【００２０】
また、本発明は、最適の量子化ステップサイズを導く方法を提案する。
【００２１】
また、本発明は、非直交変換の形態とパラメータで表現され得る非因果的コーディング技術を提案する。
【００２２】
また、本発明は、既に復元された全ての信号及びコンテキスト信号（ｃｏｎｔｅｘｔ  ｓｉｇｎａｌ）を用いて最適の予測信号（ｏｐｔｉｍｉｚｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成する方法を提案する。
【００２３】
また、本発明は、空間ドメインと周波数ドメインとの両方で量子化エラーを制御する方法を提案する。
【００２４】
また、本発明は、空間ドメイン上でエラー重要度を区別するために、さらに他の対角行列を定義する。
【００２５】
また、本発明は、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）観点で最適の対角行列を計算する方法を提案する。
【００２６】
また、本発明は、空間ドメイン上で量子化エラーをもう少し細かく制御する方法を提案する。
【課題を解決するための手段】
【００２７】
本発明の実施形態は、原映像信号（ｏｒｉｇｉｎａｌ  ｖｉｄｅｏ  ｓｉｇｎａｌ）を受信するステップと、前記原映像信号を以前の復元信号と比較するステップと、歪み成分及びレート成分の合計を最小化するために修正信号を生成するステップと、映像信号復元のために、デコーダに送信される前記修正信号をエントロピーエンコードするステップとを含み、前記以前の復元信号は、スケーリング対角行列を付加的に用いて逆変換される、映像信号をエンコードする方法を提供する。
【００２８】
本発明の一態様において、前記修正信号は、空間ドメインでのエラーの加重値を微分するために使用される他の対角行列に基づいて生成される。
【００２９】
本発明の一態様において、前記方法は、前記スケーリング対角行列を含む複数の対角行列の最適セットを計算するステップをさらに含み、前記修正信号は、前記複数の対角行列の最適セットに基づいて生成される。
【００３０】
本発明の一態様において、前記複数の対角行列の前記最適セットは、付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）でエンコードされ、デコーダに送信される。
【００３１】
本発明の一態様において、前記複数の対角行列の最適セットは、前記原映像信号のフレームをエンコードする前にエンコードされる。
【００３２】
本発明の一態様において、前記歪み成分は、前記原映像信号及び復元信号間の全歪みを指示し、そして、前記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する。
【００３３】
本発明の他の実施形態は、修正信号を含む前記映像信号を受信するステップと、複数の対角行列を含む付加情報を前記映像信号から読み取るステップと、前記映像信号をエントロピーエンコードして前記修正信号を取得するステップと、前記修正信号及び前記複数の対角行列に基づいて信号を復元するステップとを含む、映像信号をデコードする方法を提供する。
【００３４】
本発明の一態様において、前記複数の対角行列は、スケーリング対角行列を含む。
【００３５】
本発明の一態様において、前記方法は、前記スケーリング対角行列を付加的に用いて前記修正信号に対して逆変換を行うステップをさらに含む。
【００３６】
本発明の一態様において、前記修正信号は、歪み成分及びレート成分の合計を最小化する最適化された係数値を含む。
【００３７】
本発明の一態様において、前記複数の対角行列は、前記映像信号のフレームをデコードする前に読み取られる。
【００３８】
本発明の他の実施形態は、原映像信号を受信するように構成される受信部と、前記原映像信号を以前の復元信号と比較し、歪み成分及びレート成分の合計を最小化するために修正信号を生成するように構成される最適化部と、映像信号復元のために、デコーダに送信される前記修正信号をエントロピーエンコードするように構成されるエントロピーエンコード部とを備え、前記以前の復元信号は、スケーリング対角行列を付加的に用いて逆変換される、映像信号をエンコードする装置を提供する。
【００３９】
本発明の一態様において、前記最適化部は、前記スケーリング対角行列を含む複数の対角行列の最適セットを計算するようにさらに構成され、前記修正信号は、前記複数の対角行列の最適セットに基づいて生成される。
【００４０】
本発明の他の実施形態は、修正信号を含む前記映像信号を受信し、複数の対角行列を含む付加情報を前記映像信号から読み取るように構成される受信部と、前記映像信号をエントロピーエンコードして前記修正信号を取得するように構成されるエントロピーデコード部と、前記修正信号及び前記複数の対角行列に基づいて信号を復元するように構成される復元部とを備える、映像信号をデコードする装置を提供する。
【００４１】
本発明の一態様において、前記デコード装置は、前記スケーリング対角行列を付加的に用いて前記修正信号に対して逆変換を行うように構成される逆変換部をさらに備える。
【発明の効果】
【００４２】
本発明は、全てのデコードされた情報を利用することにより、さらに精巧かつ向上した予測を行うことができる。
【００４３】
また、本発明は、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（ｎｏｎ−ｃａｕｓａｌｌｙ）予測することにより、エッジと方向性構造（ｅｄｇｅ  ａｎｄ  ｄｉｒｅｃｔｉｏｎａｌ  ｓｔｒｕｃｔｕｒｅ）を有する信号に対してより効率的にコーディングすることができる。
【００４４】
また、本発明は、非直交変換の形態とパラメータで表現され得る非因果的コーディング技術を提案することにより、さらに精巧かつ向上した予測を行うことができる。
【００４５】
また、本発明は、最適の変換係数を取得するための量子化アルゴリズムを提案することにより、量子化歪みを最小化することができる。
【００４６】
また、本発明は、最適の量子化ステップサイズを導く方法を提案することにより、さらに向上したコーディングを行うことができる。
【００４７】
また、本発明は、既に復元された全ての信号及びコンテキスト信号（ｃｏｎｔｅｘｔ  ｓｉｇｎａｌ）を用いることにより、最適の予測信号（ｏｐｔｉｍｉｚｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成できる。
【００４８】
また、本発明は、空間ドメインと周波数ドメインとの両方で量子化エラーを制御することにより、さらに向上したコーディングを行うことができる。
【図面の簡単な説明】
【００４９】
【図１】ビデオコーディングが行われるエンコーダとデコーダの概略的なブロック図を示す。
【図２】ビデオコーディングが行われるエンコーダとデコーダの概略的なブロック図を示す。
【図３】本発明が適用される実施形態であって、各々向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【図４】本発明が適用される実施形態であって、各々向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【図５】本発明が適用される実施形態であって、以前のコーディングされたピクセルを用いて予測を行う方法を説明するためのレイヤを定義する。
【図６】本発明が適用される実施形態であって、以前のコーディングされたピクセルを用いて予測を行う方法を説明するためのレイヤを定義する。
【図７】本発明が適用される実施形態であって、レイヤ単位で以前のコーディングされたピクセルを用いて予測を行う方法を説明するフローチャートである。
【図８】本発明が適用される実施形態であって、最適の量子化された係数を取得するための量子化過程を説明するフローチャートである。
【図９】本発明が適用される実施形態であって、最適の量子化された係数を取得するための量子化過程を具体的に説明するフローチャートである。
【図１０】本発明が適用される実施形態であって、最適の量子化ステップサイズを取得する過程を説明するフローチャートである。
【図１１】本発明が適用される実施形態であって、本発明が適用されたテストイメージを示す。
【図１２】本発明が適用される実施形態であって、テストイメージに対するレートゲイン（ｒａｔｅ  ｇａｉｎ）のパーセンテージを示す。
【図１３】本発明が適用される実施形態であって、向上した予測コーディング方法を説明するための概略的なフローチャートである。
【図１４】本発明が適用される実施形態であって、最適の量子化ステップサイズに基づいて量子化を行う方法を説明するための概略的なフローチャートである。
【図１５】本発明が適用される実施形態であって、量子化エラー制御による向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【図１６】本発明が適用される実施形態であって、量子化エラー制御による向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【図１７】本発明が適用される実施形態であって、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化過程を介してスケーリング対角行列（ｓｃａｌｉｎｇ  ｄｉａｇｏｎａｌ  ｍａｔｒｉｘ）を取得する過程を説明するフローチャートである。
【図１８】本発明が適用される実施形態であって、最適化されたスケーリング行列を用いてコーディングした場合と、既存の方式のとおりにコーディングした場合との各イメージ別のコーディングゲイン（ｃｏｄｉｎｇ  ｇａｉｎ）を比較するグラフである。
【図１９】本発明が適用される実施形態であって、各々向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【図２０】本発明が適用される実施形態であって、各々向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【図２１】本発明が適用される実施形態であって、向上したビデオコーディング方法を説明するための概略的なフローチャートである。
【発明を実施するための形態】
【００５０】
以下、添付された図面を参照して本発明の実施形態の構成とその作用を説明し、図面により説明される本発明の構成と作用は、１つの実施形態として説明されるものであり、これにより、本発明の技術的思想とその核心構成及び作用が制限されるものではない。
【００５１】
また、本発明において使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、該当部分の詳細説明においてその意味を明確に記載するので、本発明の説明において使用された用語の名称だけで単純解釈されてはならず、その該当用語の意味まで把握して解釈されなければならないことを明らかにしておく。
【００５２】
なお、本発明において使用される用語は、発明を説明するために選択された一般的な用語であるが、類似した意味を有する他の用語がある場合、より適切な解析のために代替可能であろう。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。
【００５３】
図１及び図２は、各々ビデオコーディングが行われるエンコーダとデコーダの概略的なブロック図を示す。
【００５４】
前記図１のエンコーダ１００は、変換部１１０、量子化部１２０、逆量子化部１３０、逆変換部１４０、バッファ１５０、予測部１６０、及びエントロピーエンコード部１７０を備え、前記図２のデコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、バッファ２４０、及び予測部２５０を備える。
【００５５】
前記エンコーダ１００は、原映像信号（ｏｒｉｇｉｎａｌ  ｖｉｄｅｏ  ｓｉｇｎａｌ）を受信し、前記原映像信号で予測部１６０から出力された予測信号（ｐｒｅｄｉｃｔｅｄ  ｓｉｇｎａｌ）を減算して予測エラーを生成する。前記生成された予測エラーは、変換部１１０に送信され、前記変換部１１０は、前記予測エラーに変換技法を適用して変換係数を生成する。
【００５６】
例えば、前記変換技法の中には、ブロックベース変換方法とイメージベース変換方法とがありうる。前記ブロックベース変換方法の例としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、カルーネンレーベ変換（Ｋａｒｈｕｈｅｎ−Ｌｏｅｖｅ  Ｔｒａｎｓｆｏｒｍ）などを挙げることができる。ここで、前記離散コサイン変換ＤＣＴとは、空間ドメイン（ｓｐａｔｉａｌ  ｄｏｍａｉｎ）上の信号を２次元周波数成分に分解（変換）することを示す。ブロック内から左側上端に行くほど低い周波数成分を有し、右側下端に行くほど高い周波数成分を有するパターンをなす。例えば、６４個の２次元の周波数成分のうち、最も左側上端に存在する１個のみが直流成分（ＤＣ：Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）で、周波数が０である成分であり、残りは交流成分（ＡＣ：Ａｌｔｅｒｎａｔｅ  Ｃｕｒｒｅｎｔ）で、低い周波数成分から高い周波数成分まで６３個で構成される。前記離散コサイン変換ＤＣＴを行うということは、原映像信号のブロックに含まれた基底成分（６４個の基本パターン成分）のそれぞれの大きさを求めることであり、この大きさは、離散コサイン変換係数である。
【００５７】
また、前記離散コサイン変換ＤＣＴは、単に原映像信号成分に表現するために使用される変換であり、逆変換の際、周波数成分から本来の映像信号に完全に復元される。すなわち、映像の表現方法のみを変えることで、重複した情報を含んで原映像に含まれた全ての情報を全て格納する。原映像信号を離散コサイン変換ＤＣＴする場合、原映像信号の振幅分布とは異なり、離散コサイン変換ＤＣＴ係数は、０近くの値に集まって存在するようになるので、これを用いて高い圧縮効果を得ることができるようになる。
【００５８】
量子化部１２０は、前記生成された変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を量子化してエントロピーエンコード部１７０に送信し、前記エントロピーエンコード部１７０は、量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）をエントロピーコーディングして出力する。
【００５９】
前記量子化部１２０は、入力されるデータに対して特定範囲の入力値を１つの代表値にマッピングする。量子化は、次の数式１のように、入力データを量子化ステップサイズで割ることにより計算されることができる。
【００６０】
【数１】
2017509268.tif 000003
【００６１】
ここで、Ｙは、量子化されたデータを表し、Ｘは、入力データを表し、Ｑは量子化ステップサイズを表す。Ｓｉｇｎ（）関数は、データの符号を取得するための演算であり、Ｒｏｕｎｄ（）関数は、四捨五入演算を表す。前記量子化ステップサイズは、量子化区間（ｑｕａｎｔｉｚａｔｉｏｎ  ｒａｎｇｅ）で表現されることができる。また、本明細書において、前記量子化ステップサイズは、スケーリングパラメータ（ｓｃａｌｉｎｇ  ｐａｒａｍｅｔｅｒ）を意味できる。ビデオコーディングの際、前記量子化ステップサイズは、変化されることができ、変化された量子化ステップサイズを用いて圧縮率を調節できる。一方、前記量子化ステップサイズの代わりに、整数値を使用する量子化パラメータを用いることもできる。
【００６２】
量子化過程は、次の数式２のように、入力された変換係数Ｃを量子化ステップサイズＱで割ることにより、量子化された係数Ｃ’を取得できる。
【００６３】
【数２】
2017509268.tif 000004
【００６４】
ここで、Ｃ’は、量子化された係数を表し、Ｃは、入力された変換係数を表し、Ｑは、量子化ステップサイズを表す。
【００６５】
一方、前記量子化部１２０から出力された前記量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）は、予測信号を生成するために用いられることができる。例えば、前記量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）は、ループ内の逆量子化部１３０及び逆変換部１４０を介して逆量子化及び逆変換を適用することにより、予測エラーに復元されることができる。前記復元された予測エラーを予測部１６０から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）に加えることにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）が生成され得る。
【００６６】
バッファ１５０は、前記予測部１６０による今後の参照（ｆｕｔｕｒｅ  ｒｅｆｅｒｅｎｃｅ）のために前記復元信号を格納し、前記予測部１６０は、前記バッファ１５０に格納された以前に復元された信号（ｐｒｅｖｉｏｕｓｌｙ  ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）を用いて予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成するようになる。
【００６７】
図２のデコーダ２００は、前記図１のエンコーダ１００から出力された信号を受信し、受信された信号は、エントロピーデコード部２１０を介してエントロピーデコードされる。逆量子化部２２０では、量子化ステップサイズ情報を利用してエントロピーデコードされた信号から変換係数を取得し、逆変換部２３０では、前記変換係数を逆変換して予測エラーを取得するようになる。前記取得された予測エラーを前記予測部２５０から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）に加えることにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）が生成される。
【００６８】
前記逆量子化部２２０は、次の数式３のように、量子化されたデータに逆量子化スケール値Ｑを掛けることにより計算されることができる。
【００６９】
【数３】
2017509268.tif 000005
【００７０】
ここで、Ｘ’は、復元されたデータを表し、Ｙは、量子化されたデータを表し、Ｑは、逆量子化スケール値を表す。前記Ｑは、量子化ステップサイズと同様の値を有することができる。
【００７１】
前記バッファ２４０は、前記予測部２５０による今後の参照（ｆｕｔｕｒｅ  ｒｅｆｅｒｅｎｃｅ）のために前記復元信号を格納し、前記予測部２５０は、前記バッファ２４０に格納された以前に復元された信号（ｐｒｅｖｉｏｕｓｌｙ  ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）を用いて予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成するようになる。
【００７２】
本発明は、ハイブリッドビデオコーダでのイントラ予測方法を提供する。圧縮されるサンプル値は、以前にコーディングされたコンテキスト値を用いて予測され、予測エラーは、変換コーディングされる。このような過程は、ガウス（Ｇａｕｓｓｉａｎ）信号に対して最適のＲＤ値を有するように行われることができる。しかし、一般的なビデオ信号は、ガウス（Ｇａｕｓｓｉａｎ）信号に合わない多くの信号を含んでいる。したがって、本発明では、前記のような信号をターゲットとして、我々は、予測サンプルとともに変換コーディングされたサンプル及びコンテキスト値を用いて各サンプルを非因果的に（ｎｏｎ−ｃａｕｓａｌｌｙ）予測する技術を提案しようとする。このような非因果的エンコード（ｎｏｎ−ｃａｕｓａｌ  ｅｎｃｏｄｉｎｇ）は、非直交変換（ｎｏｎｏｒｔｈｏｇｏｎａｌ  ｔｒａｎｓｆｏｒｍ）の形態とパラメータで表現されることができる。
【００７３】
図３及び図４は、本発明が適用される実施形態であって、各々向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【００７４】
前記図３のエンコーダ３００は、最適化部３１０、量子化部３１５、逆変換部３２０、予測部３３０、復元部３４０、バッファ３５０、及びエントロピーエンコード部３６０を備え、前記図４のデコーダ４００は、エントロピーデコード部４１０、逆量子化部４２０、逆変換部４３０、復元部４４０、バッファ４５０、及び予測部４６０を備える。
【００７５】
前記最適化部３１０は、前記バッファ３５０から現在ブロックのピクセル情報、以前にデコードされたブロックのピクセル情報、及び量子化ステップサイズ情報のうち、少なくとも１つを取ることができる。ここで、前記現在ブロックのピクセル情報は、ベクトルで表現された、コーディングされるブロックのピクセル（ｐｉｘｅｌｓ  ｆｒｏｍ  ｔｈｅ  ｂｌｏｃｋ  ｔｏ  ｂｅ  ｃｏｄｅｄ  ａｒｒａｎｇｅｄ  ｉｎｔｏ  ａ  ｖｅｃｔｏｒ）を表すことができる。前記以前にデコードされたブロックのピクセル情報は、ベクトルで表現された、以前にデコードされたブロックのピクセル（ｐｉｘｅｌｓ  ｆｒｏｍ  ｐｒｅｖｉｏｕｓｌｙ  ｄｅｃｏｄｅｄ  ｂｌｏｃｋ  ａｒｒａｎｇｅｄ  ｉｎｔｏ  ａ  ｖｅｃｔｏｒ）を表すことができる。前記量子化ステップサイズ情報は、ベクトルで表現された量子化ステップサイズを表すことができる。
【００７６】
前記最適化部３１０は、前記現在ブロックのピクセル情報、前記以前にデコードされたブロックのピクセル情報、及び前記量子化ステップサイズ情報のうち、少なくとも１つに基づいて変換係数Ｃ（ｉ、ｊ）を取得できる。ここで、前記変換係数Ｃ（ｉ、ｊ）は、量子化された変換係数を意味できる。
【００７７】
前記逆変換部３２０は、前記取得された変換係数Ｃ（ｉ、ｊ）を受信し、逆変換を行うことができる。前記逆変換部３２０は、逆変換を行い、レジデュアル信号ｒｅｓ（ｉ、ｊ）を取得できる。
【００７８】
前記予測部３３０は、前記バッファ３５０から以前にデコードされたブロックのピクセル情報を取ることができる。前記予測部３３０は、以前にデコードされたブロックのピクセル及び以前レイヤから復元されたピクセルのうち、少なくとも１つを用いて現在レイヤのピクセルを予測できる。前記予測部３３０は、前記のような予測を行うことにより、予測信号ｐｒｅｄ（ｉ、ｊ）を取得できる。ここで、前記現在レイヤのピクセル（ｌａｙｅｒ  Ｌk）は、現在ブロックがＢ×Ｂブロックであり、水平成分をｊ、垂直成分をｉとするとき、（ｋ、ｉ）及び（ｊ、ｋ）（ｉ＝１、...、Ｂ、ｊ＝１、...、Ｂ、ｋ＝１、...、Ｂ）位置にあるピクセルを表すことができる。このとき、前記以前レイヤから復元されたピクセルは、以前の全てのレイヤ（ｌａｙｅｒ  Ｌ1、...、ｌａｙｅｒ  Ｌk-1）の復元されたピクセルを表すことができる。これについては、図５及び図６においてより詳しく説明する。
【００７９】
前記復元部３４０は、前記予測部３３０から取得された予測信号ｐｒｅｄ（ｉ、ｊ）と前記逆変換部３２０から取得されたレジデュアル信号ｒｅｓ（ｉ、ｊ）とを加えることにより、復元信号ｒｅｃ（ｉ、ｊ）を取得できる。このとき、前記復元信号ｒｅｃ（ｉ、ｊ）は、前記現在レイヤ（ｌａｙｅｒ  Ｌk）に対する復元信号を意味できる。前記復元信号ｒｅｃ（ｉ、ｊ）は、今後、次のレイヤの予測のためにバッファ３５０に送信される。
【００８０】
一方、前記最適化部３１０から取得された変換係数Ｃ（ｉ、ｊ）は、量子化部３１５に送信されることができる。
【００８１】
前記量子化部３１５は、量子化過程を行い、前記エントロピーエンコード部３６０に前記量子化された変換係数を送信する。
【００８２】
このとき、前記変換係数Ｃ（ｉ、ｊ）は、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適の変換係数を意味できる。そして、前記量子化過程は、前記変換係数Ｃ（ｉ、ｊ）を量子化ステップサイズで割ることにより行われることができる。
【００８３】
前記エントロピーエンコード部３６０は、量子化された変換係数を受信し、エントロピーエンコードを行うことができる。
【００８４】
前記図４のデコーダ４００は、前記図３のエンコーダ３００から出力された信号を受信することができる。
【００８５】
前記エントロピーデコード部４１０は、ビットストリームを受信してエントロピーデコードを行うことができる。
【００８６】
前記逆量子化部４２０は、量子化ステップサイズ情報を利用してエントロピーデコードされた信号から変換係数を取得できる。
【００８７】
前記逆変換部４３０は、前記変換係数を逆変換することにより、レジデュアル信号ｒｅｓ（ｉ、ｊ）を取得できる。
【００８８】
前記復元部４４０は、前記レジデュアル信号ｒｅｓ（ｉ、ｊ）と予測部４５０から取得された予測信号ｐｒｅｄ（ｉ、ｊ）とを加えることにより、復元信号ｒｅｃ（ｉ、ｊ）を取得できる。前記復元信号ｒｅｃ（ｉ、ｊ）は、バッファ４５０に送信されて格納されることができる。そして、前記復元信号ｒｅｃ（ｉ、ｊ）は、次の信号の予測のために、前記予測部４５０に送信されることができる。
【００８９】
前記図４のデコーダ４００内の各部の動作は、前記図３のエンコーダ３００において説明した実施形態が適用可能であろう。
【００９０】
本発明が適用されるハイブリッドビデオコーダは、以前にデコードされたサンプル（ｉ．ｅ．ｃｏｎｔｅｘｔ  ｖａｌｕｅｓ）を用いてサンプルを空間的に予測し、予測エラーを変換コーディングすることにより、効率的な予測コーディングを行う。
【００９１】
このようなコーディング方式は、ブロック変換が部分的に最適である信号に対してさえ連続的にブロック変換を利用させるようにする。例えば、前記部分的に最適である信号には、相当なブロック間関係（ｓｉｇｎｉｆｉｃａｎｔ  ｉｎｔｅｒ−ｂｌｏｃｋ  ｃｏｒｒｅｌａｔｉｏｎｓ）を有する信号、エッジ及び他の方向的特異性を有する信号がありうる。したがって、空間的予測動作（ｓｐａｔｉａｌ  ｐｒｅｄｉｃｔｉｏｎ  ｏｐｅｒａｔｉｏｎ）は、単純な変換圧縮にさらに順応的な予測信号を生成することにより、精巧な予測過程には適応が少し足りないと考えられ得る。予測動作は、コンテキスト値（ｃｏｎｔｅｘｔ  ｖａｌｕｅｓ）を用いて行われるので、その効率は、ガウス（Ｇａｕｓｓｉａｎ）信号のような形態を有する基本的な過程に依然として強く従属することがある。
【００９２】
具体的な議論のために、コンテキストサンプル（ｃｏｎｔｅｘｔ  ｓａｍｐｌｅ）ｘ0を用いてシーケンスｘi（ｉ＝１〜Ｎ）を圧縮する１次元例題を考慮してみる。
【００９３】
例えば、ｘは、コンテキストサンプル（ｃｏｎｔｅｘｔ  ｓａｍｐｌｅ）ｘ0を用いて方向性予測を行う対象ブロック（ｔａｒｇｅｔ  ｂｌｏｃｋ）から水平のまたは方向性の一連のピクセルを含む。ここで、前記コンテキストサンプル（ｃｏｎｔｅｘｔ  ｓａｍｐｌｅ）ｘ0は、以前にデコードされたブロックの境界から取得され得る。前記コンテキストサンプル（ｃｏｎｔｅｘｔ  ｓａｍｐｌｅ）ｘ0は、エンコーダ及びデコーダの両方に利用可能であると仮定する。前記コンテキストサンプル（ｃｏｎｔｅｘｔ  ｓａｍｐｌｅ）ｘ0を用いたｘiの線形予測をＰi（ｘ0）とすれば、レジデュアル信号（ｒi）は、次の数式４のように定義することができる。
【００９４】
【数４】
2017509268.tif 000006
【００９５】
前記レジデュアル信号（ｒi）は、エンコード過程によって変換コーディングされ、デコード過程によって変換デコードされれば、下記の数式５のように表すことができる。
【００９６】
【数５】
2017509268.tif 000007
【００９７】
ここで、
【数６】
2017509268.tif 000008
は、復元信号を表す。
【００９８】
最適化された線形予測子を取得してＫＬＴを用いれば、前記過程は、ガウス（Ｇａｕｓｓｉａｎ）シーケンスの圧縮に漸近的に最適となることができる。しかし、前記過程は、ガウスモデリング（Ｇａｕｓｓｉａｎ  ｍｏｄｅｌｉｎｇ）のような多くのイメージ／ビデオ構造の場合に適合しない場合がある。したがって、本発明では、デコード過程中に全てのデコードされた情報を利用するさらに良い予測子を用いることにより、前記予測方法をより向上させようとする。本発明は、エッジと方向性構造を有するビデオ信号により優れた効果を見せるであろう。
【００９９】
以下では、まず、本発明の１次元例題を介して基本アイディアを説明する。その次に、線形予測子に集中して、本発明とＤＰＣＭとの連結関係を議論し、等価の非直交変換（ｅｑｕｉｖａｌｅｎｔ  ｎｏｎ−ｏｒｔｈｏｇｏｎａｌ  ｔｒａｎｓｆｏｒｍ）を導くであろう。そして、コーデック設計を議論した後、非直交変換を利用した圧縮及びＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適の量子化パラメータ誘導について説明する。最後に、本発明が適用されるシミュレーション結果に対する詳細内容を説明する。
【０１００】
【数７】
2017509268.tif 000009
【０１０１】
【数８】
2017509268.tif 000010
【０１０２】
前記デコーダは、利用可能な変換デコードされた残差の全てを有するので、このようなチェーン及び拡大された（ａｕｇｍｅｎｔｅｄ）予測子Ｐtが実現可能でありうる。前記対応するエンコードチェーンは、最適コーディングされた変換係数の選択として記述されることができ、数式６での前記変換デコーダに入力される場合、与えられた目標ビットレートで最小歪みを有する
【数９】
2017509268.tif 000011
を作り出す。
【０１０３】
本発明は、非線形予測関数に一般化され得ることに対し、本発明は、計算的に単純な、線形予測子を維持するであろうが、どこでもｘ0を用いるよりは、むしろ最も近接した利用可能なサンプルを用いて予測を行うであろう。１次元の例のために、本発明は、数式７を構成できる。
【０１０４】
【数１０】
2017509268.tif 000012
【０１０５】
このような場合において、本予測は、単一予測加重値を有する線形でありうる。このような設定において、数式７の前記予測Ｐi（ｘ0）は、単純に
【数１１】
2017509268.tif 000013
で交換され得る。線形予測子の他の加重値及び類型等が簡単な一般化でありうる。
【０１０６】
下記では、ＤＰＣＭ及び等価非直交変換との関係について説明されるであろう。
【０１０７】
数式７は、単一予測加重値で動作している１次ＤＰＣＭデコーダと類似する。ＤＰＣＭシステムが因果的に及び独立的に前記残差をエンコードすることに対し、前記数式７のデコーダは、非因果的に、そして結合してエンコードされた残差のデコードに対応する。これは、数式６で表される変換デコーダの出力である
【数１２】
2017509268.tif 000014
に起因する。残差従属及び他のＤＰＣＭ  Ｒ−Ｄ非効率性（ｉｎｅｆｆｉｃｉｅｎｃｉｅｓ）を活用する間に、提案されたシステムは、ＤＰＣＭシステムの予測正確度を得ることができる。
【０１０８】
数式７は、行列数式８に導かれることができる。
【０１０９】
【数１３】
2017509268.tif 000015
【０１１０】
ここで、Ｆは、数式９を利用する（Ｎ×Ｎ）下位三角予測行列である。
【０１１１】
【数１４】
2017509268.tif 000016
【０１１２】
このような実施形態は、単位成分（ｅｎｔｒｉｅｓ）を有する（Ｎ×１）行列である。数式８を、変換コーディングを収容するために拡大すれば、本発明は、数式１０を作り出すことができる。
【０１１３】
【数１５】
2017509268.tif 000017
【０１１４】
【数１６】
2017509268.tif 000018
【０１１５】
【数１７】
2017509268.tif 000019
【０１１６】
このような単純な線形形態で、本発明は、前記非直交変換Ｇを用いるｘ−Ｂｘ0の変換圧縮となることができる。
【０１１７】
モードベースの線形予測子を用いて、提案されたデコードチェーンは、各予測モードに対してＦ及びＢ行列を設計し、等価非直交変換Ｇを導いて基準（ｂａｓｅｌｉｎｅ）ハイブリッドコーデック類似ＨＥＶＣ内に統合されることができる。
【０１１８】
このようなデコードチェーンが行う全てのものは、境界サンプルというよりは、むしろ最も近接したサンプルを用いる予測であるから、デコードチェーンが前記基準と比較してわずかな（ｍａｒｇｉｎａｌ）複雑度の増加だけを有するようになるであろう。しかし、エンコードチェーンは、前記デコードチェーンのために送信する最適の係数を選択すべきであるため、さらに複雑である。下記において、本発明は、レート−歪み最適化された量子化パラメータを伴い、反復量子化アルゴリズムを提供するであろう。
【０１１９】
図５及び図６は、本発明が適用される実施形態であって、以前のコーディングされたピクセルを用いて予測を行う方法を説明するためのレイヤを定義する。
【０１２０】
本発明は、以前のコーディングされたピクセルを用いて各サンプルを非因果的に（ｎｏｎ−ｃａｕｓａｌｌｙ）予測する方法を提供する。
【０１２１】
このとき、現在ブロックのピクセル及び予測のために用いられる前記以前のコーディングされたピクセルは、様々な方法で決定されることができる。
【０１２２】
本発明が適用される一実施形態として、現在ブロックは、少なくとも１つ以上のレイヤ単位で分解（ｄｅｃｏｍｐｏｓｅ）されることができる。それにより、前記以前のコーディングされたピクセルもレイヤ単位で決定されることができる。
【０１２３】
ここで、前記レイヤ単位は、一定の基準によって位置したピクセルに基づいて様々に定義されることができる。具体的な例として、現在ブロックの最上位左側に位置したピクセルを基準として水平及び垂直方向に配列されたピクセルを１つのレイヤに定義することができる。そして、前記最上位左側に位置したピクセルの対角線方向に位置したピクセルを基準として各々連続されたレイヤに定義することができる。
【０１２４】
このとき、前記レイヤは、１つのピクセルまたは複数のピクセルに定義されることができ、または、ブロック全体のピクセルにも定義されることができる。また、前記レイヤは、前記図５のように連続されたピクセルの集合に定義されることができるが、場合によって、連続されていないピクセルの集合に定義されることもできる。
【０１２５】
例えば、前記図５に示すように、現在ブロックがＢ×Ｂブロックであり、ブロック内のピクセルの位置を（ｉ、ｊ）と仮定する。ここで、ｉ∈｛１、２、...、Ｂ｝、ｊ∈｛１、２、...、Ｂ｝である。このとき、現在ブロックの最上位左側に位置したピクセルを基準として水平及び垂直方向に配列されたピクセルをｌａｙｅｒ  Ｌ1に定義することができる。すなわち、ピクセルの位置（１、ｊ）及び（ｉ、１）に位置したピクセルをｌａｙｅｒ  Ｌ1に定義することができる。
【０１２６】
これを一般化すれば、ピクセルの位置（ｋ、ｊ）及び（ｉ、ｋ）に位置したピクセルをｌａｙｅｒ  Ｌk（ｋ＝１、２、...、Ｂ）に定義することができる。
【０１２７】
本発明が適用される一実施形態として、前記以前のコーディングされたピクセルは、コーディングしようとするレイヤのすぐ以前にコーディングされたレイヤのピクセルを含むことができる。
【０１２８】
前記図６に示すように、現在レイヤｌａｙｅｒ  Ｌkを予測するために、すぐ以前にコーディングされたレイヤｌａｙｅｒ  Ｌk-1を用いることができる。このとき、前記現在レイヤｌａｙｅｒ  Ｌkを予測するために、現在ブロックの境界に隣接したピクセルも共に用いることができる。すなわち、前記現在ブロックに隣接した既にデコードされたブロックの隣接ピクセルが前記レイヤｌａｙｅｒ  Ｌkを予測するために用いられることができる。
【０１２９】
例えば、前記現在レイヤｌａｙｅｒ  Ｌkは、以前の全てのレイヤ（ｌａｙｅｒ  Ｌ1、...、ｌａｙｅｒ  Ｌk-1）の復元されたピクセル及び既にデコードされたブロックの隣接ピクセルに基づいて予測されることができる。
【０１３０】
本発明の他の実施形態は、予測形式を提供できる。
【０１３１】
前記エンコーダは、ｃｏｅｆｆｓ（ｉ、ｊ）、ｉ∈｛１、２、...、Ｂ｝、ｊ∈｛１、２、...、Ｂ｝をベクトルｃに配列（ａｒｒａｎｇｅ）できる。これは、数式１２で表現されることができる。
【０１３２】
【数１８】
2017509268.tif 000020
【０１３３】
そして、前記エンコーダは、ｒｅｓ（ｉ、ｊ）、ｉ∈｛１、２、...、Ｂ｝、ｊ∈｛１、２、...、Ｂ｝をベクトルｒに配列できる。これは、数式１３で表現されることができる。
【０１３４】
【数１９】
2017509268.tif 000021
【０１３５】
それから、前記エンコーダは、以前にデコードされたブロックからのピクセルをベクトルｙに配列できる。
【０１３６】
このような場合において、数式１４のような行列掛け算を利用して本発明が実現され得る。
【０１３７】
【数２０】
2017509268.tif 000022
【０１３８】
また、数式１５のような行列掛け算を利用して本発明が実現され得る。
【０１３９】
【数２１】
2017509268.tif 000023
【０１４０】
さらに、数式１６のような行列掛け算を利用して本発明が実現され得る。
【数２２】
2017509268.tif 000024
【０１４１】
さらに、数式１７のような行列掛け算を利用して本発明が実現され得る。
【０１４２】
【数２３】
2017509268.tif 000025
【０１４３】
一方、前記図５及び図６において説明された実施形態は、イントラ予測の場合に適用可能であるだけでなく、イントラ予測の様々な予測モードに適用可能である。本発明は、これに限定されず、例えば、前記実施形態は、インター予測の場合にも適用可能である。
【０１４４】
図７は、本発明が適用される実施形態であって、レイヤ単位で以前のコーディングされたピクセルを用いて予測を行う方法を説明するフローチャートである。
【０１４５】
まず、受信されたビットストリームからエントロピーコーディングされた係数を抽出できる。前記エントロピーコーディングされた係数に対してエントロピーデコードを行い（Ｓ７１０）、逆量子化を行うことにより、変換係数ｃｏｅｆｆｓ（ｉ、ｊ）を取得できる（Ｓ７２０）。
【０１４６】
前記変換係数に逆変換を行うことにより、レジデュアル信号ｒｅｓ（ｉ、ｊ）を取得できる（Ｓ７３０）。前記レジデュアル信号ｒｅｓ（ｉ、ｊ）は、現在レイヤｌａｙｅｒ  Ｌkを復元するために用いられる。
【０１４７】
一方、現在レイヤｌａｙｅｒ  Ｌkにあるピクセルを予測するために、以前にデコードされたブロックのピクセルが用いられ得る。このとき、以前の全てのレイヤ（ｌａｙｅｒ  Ｌ1、...、ｌａｙｅｒ  Ｌk-1）の復元されたピクセルも共に用いて、前記現在レイヤｌａｙｅｒ  Ｌkにあるピクセルを予測できる（Ｓ７４０）。
【０１４８】
Ｓ７４０を介して生成された予測信号ｐｒｅｄ（ｉ、ｊ）は、前記Ｓ７３０で取得されたレジデュアル信号ｒｅｓ（ｉ、ｊ）に加えられて、前記現在レイヤｌａｙｅｒ  Ｌkにあるピクセルを復元できるようになる（Ｓ７５０）。上述のように生成された復元信号ｒｅｃｏｎ（ｉ、ｊ）は、次のレイヤの予測のために用いられることができる。
【０１４９】
図８は、本発明が適用される実施形態であって、最適の量子化された係数を取得するための量子化過程を説明するフローチャートである。
【０１５０】
本発明は、非直交変換を利用する圧縮方法を提供する。
【０１５１】
ランダムベクトルｘ（Ｎ×１）を考慮しよう。表記の便宜のために、前記コンテキスト予測がｘ以内で処理（ａｂｓｏｒｂ）されると仮定する。前記ベクトルｘは、列ｇi、ｉ＝１、．．．、Ｎが変換基底（ｂａｓｉｓ）を形成する、前記線形変換Ｇ（Ｎ×Ｎ）を利用して表現される。Ｇがフルランクであると仮定されるが、一般的に、すなわち、Ｇが必ず直交でないことがあり、ｇiは必ず単位大きさ（ｕｎｉｔ  ｎｏｒｍ）でないことがある。
【０１５２】
【数２４】
2017509268.tif 000026
【０１５３】
数式１８において、ｃ（Ｎ×１）は、変換係数である。前記係数は、
【数２５】
2017509268.tif 000027
が算出されるようにスカラー量子化されることができ、その後にエントロピーコーディングされることができ、デコーダに送信されることができる。
【０１５４】
量子化歪みを最小化することを目標とする非直交基底Ｇに関するスカラー量子化問題は、数式１９のように作成されることができる。
【０１５５】
【数２６】
2017509268.tif 000028
【０１５６】
本発明がビデオコーダとの互換性のために、様々な量子化部を収容できる間に、これは、数式２０のように仮定されるであろう。
【０１５７】
【数２７】
2017509268.tif 000029
【０１５８】
【数２８】
2017509268.tif 000030
【０１５９】
【数２９】
2017509268.tif 000031
【０１６０】
数式２１は、ιに関する最適解法が整数問題を解決することを要求する格子量子化部として認識されることができる。
【０１６１】
数式１９の解法のための多くのサブ最適化技法が提案された。迅速な解法を収容するために、本発明は、それぞれの係数に関して集中するスカラー量子化問題を順に繰り返して解決することと類似した方法を含めることができる。ｉ番目の係数を除き、全ての係数が量子化されたと仮定する。前記エラーベクトルは、数式２２のように定義されることができる。
【０１６２】
【数３０】
2017509268.tif 000032
【０１６３】
整数制約条件無しで、ｉ番目の係数が数式２３になるように選択して歪みが最小化され得る。
【０１６４】
【数３１】
2017509268.tif 000033
【０１６５】
数式２０における均一な逆量子化過程のために、前記最適量子化された係数は、数式２４のように取得されることができる。
【０１６６】
【数３２】
2017509268.tif 000034
【０１６７】
これは、下記において説明される量子化アルゴリズムに導かれることができる。
【０１６８】
エンコーダでは、デコーダに送信する最適の量子化された係数を取得するために、繰り返しシミュレーションを行うことができる（Ｓ８１０）。
【０１６９】
現在量子化された係数が以前の量子化された係数と比較して一定の条件を満たせば、前記現在量子化された係数が最適の量子化された係数に決定され得る。例えば、現在量子化された係数をＣnとし、以前の量子化された係数をＣn-1とすれば、前記現在量子化された係数と前記以前の量子化された係数との間の差（Ｃn-1−Ｃn）が０に収束するか否かが確認できる（Ｓ８２０）。前記差（Ｃn-1−Ｃn）が０に収束する場合、前記現在量子化された係数Ｃnを最適の量子化された係数に決定し、これをデコーダに送信することができる（Ｓ８３０）。しかし、前記差（Ｃn-1−Ｃn）が０に収束しない場合、前記現在量子化された係数Ｃnは、以前のステップ（Ｓ８１０、Ｓ８２０）を繰り返し行うようにリターンされることができる。
【０１７０】
前記一定の条件の他の例として、前記現在量子化された係数と前記以前の量子化された係数との間の差（Ｃn-1−Ｃn）を特定臨界値τと比較することにより、最適の量子化された係数を決定できる。例えば、前記差（Ｃn-1−Ｃn）が前記特定臨界値τより大きければ、前記現在量子化された係数Ｃnは、以前のステップ（Ｓ８１０、Ｓ８２０）を繰り返し行うようにリターンされることができる。それに対し、前記差（Ｃn-1−Ｃn）が前記特定臨界値τより小さいか、同じであれば、前記現在量子化された係数Ｃnは、最適の量子化された係数に決定されて、デコーダに送信されることができる。
【０１７１】
上記のような動作は、前記図３のエンコーダで行われることができ、例えば、前記量子化部３１０で行われることができる。
【０１７２】
図９は、本発明が適用される実施形態であって、最適の量子化された係数を取得するための量子化過程を具体的に説明するフローチャートである。
【０１７３】
本発明の実施形態によれば、エンコーダは、現在ブロックのピクセル情報、以前にデコードされたブロックのピクセル情報、及び量子化ステップサイズ情報のうち、少なくとも１つに基づいて、最適の量子化された係数を取得できる。これは、前記エンコーダ内の量子化部により行われることができる。
【０１７４】
まず、エンコーダは、前記現在ブロックのピクセル情報及び前記以前にデコードされたブロックのピクセル情報に基づいて初期量子化された係数（ｉｎｉｔｉａｌ  ｑｕａｎｔｉｚｅｄ  ｃｏｅｆｆｉｃｉｅｎｔ）を取得できる（Ｓ９１０）。前記初期量子化された係数は、次の数式２５のように表すことができる。
【０１７５】
【数３３】
2017509268.tif 000035
【０１７６】
ここで、Ｃ0は、初期量子化された係数を表し、ｘは、現在ブロックのピクセル情報を表し、ｙは、以前にデコードされたブロックのピクセル情報を表す。ここで、Ｇ、Ｈは、トレーニングセット（ｔｒａｉｎｉｎｇ  ｓｅｔｓ）に対して最適化された行列（ｍａｔｒｉｃｅｓ  ｏｐｔｉｍｉｚｅｄ  ｏｖｅｒ  ｔｒａｉｎｉｎｇ  ｓｅｔｓ）を表す。そして、前記行列Ｇは、非直交変換行列（ｎｏｎ−ｏｒｔｈｏｇｏｎａｌ  ｔｒａｎｓｆｏｒｍ  ｍａｔｒｉｘ）を表すことができる。
【０１７７】
前記初期量子化された係数に基づいて、原信号と復元された信号の差を表すエラーベクトルを取得できる（Ｓ９２０）。このとき、前記現在ブロックのピクセル情報ｘ及び前記以前にデコードされたブロックのピクセル情報ｙが利用され得るし、これは、次の数式２６のように表すことができる。
【０１７８】
【数３４】
2017509268.tif 000036
【０１７９】
ここで、ｅnは、エラーベクトルを表し、ｎ＝０、１、２、...であり、最適の量子化された係数が取得されるまで繰り返されることができる。このような繰り返し過程（ｉｔｅｒａｔｉｏｎ  ｐｒｏｃｅｓｓ）のために、一時ベクトル（ｔｅｍｐｏｒａｒｙ  ｖｅｃｔｏｒ）を下記の数式２７のように定義することができる。
【０１８０】
【数３５】
2017509268.tif 000037
【０１８１】
ここで、ｔは、一時ベクトル（ｔｅｍｐｏｒａｒｙ  ｖｅｃｔｏｒ）を表し、ｇkは、行列Ｇのｋ番目の列（ｃｏｌｕｍｎ）のベクトルを表す。そして、Ｃn-1（ｋ）は、（ｎ−１）番目の量子化された係数を表す。
【０１８２】
前記一時ベクトル（ｔｅｍｐｏｒａｒｙ  ｖｅｃｔｏｒ）ｔと量子化ステップサイズ情報λ（ｋ）とに基づいて、ｎ番目の量子化された係数Ｃnを取得できる（Ｓ９３０）。このとき、次のような数式２８が利用され得る。
【０１８３】
【数３６】
2017509268.tif 000038
【０１８４】
ここで、λ（ｋ）は、ｋ番目の変換係数のために用いられる量子化ステップサイズ（ｑｕａｎｔｉｚａｔｉｏｎ  ｓｔｅｐ  ｓｉｚｅ  ｔｈａｔ  ｉｓ  ｔｏ  ｂｅ  ｕｓｅｄ  ｆｏｒ  ｔｈｅ  ｋｔｈ  ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を表す。
【０１８５】
そして、前記エラーベクトルｅnは、次の数式２９のようにアップデートされることができる（Ｓ９４０）。
【０１８６】
【数３７】
2017509268.tif 000039
【０１８７】
上記のような過程を介して、ｎ番目の量子化された係数Ｃnが取得されれば、以前の量子化された係数Ｃn-1と比較して一定の条件が満たされるか否かを確認することにより、前記ｎ番目の量子化された係数Ｃnを最適の量子化された係数に決定することができる。例えば、前記ｎ番目の量子化された係数Ｃnと前記以前の量子化された係数Ｃn-1との間の差（Ｃn-1−Ｃn）が０に収束されるか否かを確認できる（Ｓ９５０）。
【０１８８】
前記差（Ｃn-1−Ｃn）が０に収束される場合、前記ｎ番目の量子化された係数Ｃnを最適の量子化された係数に決定し、これをデコーダに送信することができる（Ｓ９６０）。しかし、前記差（Ｃn-1−Ｃn）が０に収束されない場合、前記ｎ番目の量子化された係数Ｃnは、以前のステップを繰り返し行うようにリターンされることができる。
【０１８９】
前記一定の条件の他の例として、前記現在量子化された係数と前記以前の量子化された係数との間の差（Ｃn-1−Ｃn）を特定臨界値τと比較することにより、最適の量子化された係数を決定できる。例えば、次の数式３０のように表すことができる。
【０１９０】
【数３８】
2017509268.tif 000040
【０１９１】
前記差||Ｃn−Ｃn-1||2が前記特定臨界値τより大きければ、前記現在量子化された係数Ｃnは、以前のステップを繰り返し行うようにリターンされることができる。それに対し、前記差||Ｃn−Ｃn-1||2が前記特定臨界値τより小さいか、同じであれば、前記現在量子化された係数Ｃnは、最適の量子化された係数に決定されて、デコーダに送信されることができる。
【０１９２】
図１０は、本発明が適用される実施形態であって、最適の量子化ステップサイズを取得する過程を説明するフローチャートである。
【０１９３】
上記図９において説明したように、エンコーダによって、最適の量子化された係数を取得するために量子化を行う過程で、最適の量子化ステップサイズが導かれ得る。
【０１９４】
まず、量子化パラメータ値から量子化ステップサイズ情報を取得できる（Ｓ１０１０）。例えば、前記量子化ステップサイズ情報は、次の数式３１のように表すことができる。
【０１９５】
【数３９】
2017509268.tif 000041
【０１９６】
ここで、Δ（ｋ）は、ｋ番目の量子化ステップサイズを表し、ＱＰは、量子化パラメータを表す。
【０１９７】
一方、最適の量子化された係数を取得するために用いられる行列及びベクトルを初期化できる（Ｓ１０２０）。例えば、前記ベクトル及び行列は、各々次の数式３２及び３３のように表すことができる。
【０１９８】
【数４０】
2017509268.tif 000042
【０１９９】
【数４１】
2017509268.tif 000043
【０２００】
【数４２】
2017509268.tif 000044
【０２０１】
本発明の実施形態は、最適量子化ステップサイズを導く方法を提供できる。
【０２０２】
量子化ステップサイズのレート−歪み最適の設計は、レート及び歪みに対する追跡可能な表現がコーデック依存的であり、取得し難いため、一般的に難しい問題である。
【０２０３】
このような実施形態において、ステップサイズのベクトル、λを最適化するために、高いレート近似化が使用され得る。
【０２０４】
成功したイメージ及びビデオコーダに後続して、前記変換コーディング方法（ｒｅｃｉｐｅ）は、スカラーエントロピーコーダを活用する。したがって、
【数４３】
2017509268.tif 000045
に量子化された係数を伝達するために要求されるレートは、数式３４のように近似化され得る。
【０２０５】
【数４４】
2017509268.tif 000046
【０２０６】
数式３４において、Ｈ（）は、エントロピーを表す。係数
【数４５】
2017509268.tif 000047
は、ステップサイズλiを用いてスカラー量子化されるので、高いビットレートで近似化がなされ得る。
【０２０７】
【数４６】
2017509268.tif 000048
【０２０８】
数式３５において、ｈ（ｃi）は、連続的な値の係数の微分（ｄｉｆｆｅｒｅｎｔｉａｌ）エントロピーである。したがって、レート制約条件を満たすために、数式３６が要求され得る。
【０２０９】
【数４７】
2017509268.tif 000049
【０２１０】
Ｇが正規直交であれば、λに関する平均歪みに対する簡単な近似化は、
【数４８】
2017509268.tif 000050
になるであろうし、これは、均一に分布された量子化エラーを仮定して取得される。
【０２１１】
直交しないＧを用いる場合、信号ドメイン及び係数ドメイン歪みは同一でなく、このような近似化を使用できない。全ての量子化がゼロ平均（ｚｅｒｏ  ｍｅａｎ）であると仮定する。信号ドメイン平均歪みは、数式３７として作成されることができ、ここで、Ｅ［］は、平均（ｅｘｐｅｃｔａｔｉｏｎ）を表し、Ｔｒ（．）は、行列の対角合計（ｔｒａｃｅ）である。
【０２１２】
【数４９】
2017509268.tif 000051
を用いて、数式３７が取得され得る。
【０２１３】
【数５０】
2017509268.tif 000052
【０２１４】
数式３７において、
【数５１】
2017509268.tif 000053
は、係数ドメインエラーを表すように設定される。係数ドメインエラーが逆相関（ｄｅｃｏｒｒｅｌａｔｅ）であると仮定すると、すなわち、Ｅ［ｐｐT］が対角成分、πi、ｉ＝１、...Ｎを有して対角化されると仮定すれば、簡単な代数は、数式３８を算出する。
【０２１５】
【数５２】
2017509268.tif 000054
【０２１６】
前記量子化は、前記量子化アルゴリズムを介して行われるので、π＝λi2／１２形態の近似化は有効でない。Πをλと連関させるために、前記量子化アルゴリズムにより導かれるラウンドエラーに関して集中するようにしよう。収束地点で、数式３９が取得され得る。
【０２１７】
【数５３】
2017509268.tif 000055
【０２１８】
数式３９は、次を満たすラウンドエラーに導かれる。
【０２１９】
【数５４】
2017509268.tif 000056
【０２２０】
【数５５】
2017509268.tif 000057
に設定され、前記ラウンドエラーが均一であると仮定すれば、数式４０が取得され得る。
【０２２１】
【数５６】
2017509268.tif 000058
【０２２２】
【数５７】
2017509268.tif 000059
【０２２３】
【数５８】
2017509268.tif 000060
【０２２４】
【数５９】
2017509268.tif 000061
であるとすれば、数式４２が取得され得る。
【０２２５】
【数６０】
2017509268.tif 000062
【０２２６】
数式４２の対角成分を考慮すれば、数式４３が導かれ得る。
【０２２７】
【数６１】
2017509268.tif 000063
【０２２８】
【数６２】
2017509268.tif 000064
【０２２９】
【数６３】
2017509268.tif 000065
【０２３０】
数式４４において、ｕは、全て−１であるベクトル（ｖｅｃｔｏｒ  ｏｆ  ａｌｌ−ｏｎｅｓ）であり、
【数６４】
2017509268.tif 000066
である。
【０２３１】
したがって、数式４５が取得され得る。
【０２３２】
【数６５】
2017509268.tif 000067
【０２３３】
前記最適化は、数式４６を取得するためのレート制約条件に対する平均歪みの最小化（数式４５）の形態で与えられることができる。
【０２３４】
【数６６】
2017509268.tif 000068
【０２３５】
数式４６において、γは、ラグランジュ乗数（Ｌａｇｒａｎｇｅ  ｍｕｌｔｉｐｌｉｅｒ）である。数式４６の最適化は、下記の数式４７を算出する。
【０２３６】
【数６７】
2017509268.tif 000069
【０２３７】
図１１及び図１２は、本発明が適用される実施形態であって、図１１は、本発明が適用されたテストイメージを示し、図１２は、テストイメージに対するレートゲイン（ｒａｔｅ  ｇａｉｎ）のパーセンテージを示す。
【０２３８】
前述したように、本発明は、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（ｎｏｎ−ｃａｕｓａｌｌｙ）予測することにより、エッジと方向性構造（ｅｄｇｅ  ａｎｄ  ｄｉｒｅｃｔｉｏｎａｌ  ｓｔｒｕｃｔｕｒｅ）を有する信号に対してより効率的にコーディングすることができる。
【０２３９】
本シミュレーションでは、ブロック内の１ピクセル厚さのレイヤに対するイントラ予測が行われ、前記図３〜図１０において説明した予測過程及び量子化過程が適用された。
【０２４０】
前記図１１は、（ａ）〜（ｆ）まで６個のテストイメージを示し、前記６個のイメージはそれぞれのイメージ特性を有する。
【０２４１】
前記６個のテストイメージは、他の一般的なイメージよりエッジまたは方向的特異性（ｅｄｇｅ  ｏｒ  ｄｉｒｅｃｔｉｏｎａｌ  ｓｉｎｇｕｌａｒｉｔｙ）のうち、少なくとも１つが明確に現れる信号であるとみることができる。
【０２４２】
このようなテストイメージに対するレートゲイン（ｒａｔｅ  ｇａｉｎ）を測定した結果、前記図１２（ａ）のような結果を確認できる。すなわち、前記６個のテストイメージの全てに対して既存のコーデックの効率に比べて向上した効果を確認できる。
【０２４３】
さらに、前記図１１（ａ）、１１（ｂ）、１１（ｅ）のイメージは、残りのイメージの図１１（ｃ）、１１（ｄ）、１１（ｆ）に比べてより方向的特異性が目立つことを確認できる。したがって、前記図１２（ａ）のように、前記図１１（ａ）、１１（ｂ）、１１（ｅ）のレートゲイン（ｒａｔｅ  ｇａｉｎ）が相対的により高いことを確認できる。
【０２４４】
同様に、前記図１２（ｂ）のように、ビデオシーケンスに対するシミュレーションの場合にも、既存のコーデックの効率に比べて向上した効果を確認できる。
【０２４５】
図１３は、本発明が適用される実施形態であって、向上した予測コーディング方法を説明するための概略的なフローチャートである。
【０２４６】
まず、ステップＳ１３１０で前記原映像信号が受信される場合、前記エンコーダは、ステップＳ１３２０で前記原映像信号を利用可能な復元信号と比較することができる。そして、前記エンコーダは、前記比較結果に基づいて修正信号を決定することができる。
【０２４７】
このような場合において、前記修正信号は、歪み成分及びレート成分の合計を最小化するように決定されることができる。前記歪み成分は、前記原映像信号及び復元信号間の全歪みを指示し、そして、前記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する。修正信号を決定するために、前記エンコーダは、デコードシミュレーションを行うことができる。
【０２４８】
ステップＳ１３３０で前記エンコーダは、前記比較結果に基づいて変換コーディングされた修正信号を生成できる。
【０２４９】
そして、ステップＳ１３４０で前記エンコーダは、前記変換コーディングされた修正信号及び前記利用可能な復元信号に基づいて予測信号を生成できる。
【０２５０】
それから、ステップＳ１３５０で前記エンコーダは、前記変換コーディングされた修正信号を前記予測信号に合算して信号を復元できる。
【０２５１】
図１４は、本発明が適用される実施形態であって、最適の量子化ステップサイズに基づいて量子化を行う方法を説明するための概略的なフローチャートである。
【０２５２】
本発明は、最適の量子化された係数を取得するために量子化を行う過程で、最適の量子化ステップサイズを導く方法を提供する。このように導かれた量子化ステップサイズに基づいて量子化を行うことができる。
【０２５３】
まず、量子化パラメータ値から量子化ステップサイズ情報を取得でき、このとき、前記量子化ステップサイズ情報は、スケーリングパラメータ（ｓｃａｌｉｎｇ  ｐａｒａｍｅｔｅｒ）を意味できる。前記スケーリングパラメータは、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化アルゴリズムによって取得されることができる。例えば、前記スケーリングパラメータは、歪み成分（ｄｉｓｔｏｒｔｉｏｎ  ｃｏｍｐｏｎｅｎｔ）とレート成分（ｒａｔｅ  ｃｏｍｐｏｎｅｎｔ）との合計を最小化する値に決定されることができる（Ｓ１４１０）。
【０２５４】
一方、前記図８〜図１０において説明した実施形態によって、変換コーディングされた修正信号（ｔｒａｎｓｆｏｒｍ−ｃｏｄｅｄ  ｃｏｒｒｅｃｔｉｏｎ  ｓｉｇｎａｌ）を取得できる。例えば、前記変換コーディングされた修正信号（ｔｒａｎｓｆｏｒｍ−ｃｏｄｅｄ  ｃｏｒｒｅｃｔｉｏｎ  ｓｉｇｎａｌ）は、最適の変換係数を含むことができる。
【０２５５】
前記Ｓ１４１０ステップで決定されたスケーリングパラメータに基づいて、前記変換コーディングされた修正信号に対して量子化を行うことができる（Ｓ１４２０）。
【０２５６】
このように量子化された係数がエントロピーエンコードされて送信されることができる（Ｓ１４３０）。
【０２５７】
図１５及び図１６は、本発明が適用される実施形態であって、量子化エラー制御による向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【０２５８】
本発明は、空間的、スペクトル、格子ノーム（ｎｏｒｍ）の３つの空間で同時に要素（ｆａｃｔｏｒｓ）を処理することにより、量子化効果を制御するコーディングパラメータセットを定義する。イメージ圧縮方式の特定タイプとトレーニング（ｔｒａｉｎｉｎｇ）技術を利用して決定された最適のパラメータを探すことにより、向上した圧縮を提供できる。
【０２５９】
前述した図１では、予測コーディング、変換コーディング、及びハイブリッドコーディングのために必要な全ての要素を含んでいる。
【０２６０】
予測コーディングは、以前のコーディングされた部分を利用して信号要素を予測し、予測された値と実際値との間の差をコーディングすることを基にする。コーディングされるデータ（イメージまたはビデオフレーム）を表すために、Ｎ次元ベクトルＸを用い、それの予測された値を表すために、ベクトルＰを用いる。このような予測は、復元されたベクトル
【数６８】
2017509268.tif 000070
の過去値から形成されたベクトルｙを用いて算出される。
【０２６１】
まず、予測レジデュアルを表す差分ベクトルを下記の数式４８のように計算することができる。
【０２６２】
【数６９】
2017509268.tif 000071
【０２６３】
次に、このような差は、一般的にＮ×Ｎ行列Ｔにより表現される直交線形変換を利用して追加的に変換され（ｔｒａｎｓｆｏｒｍｅｄ）、その後、ベクトル係数は、エントロピーコーディングのための整数に転換される（ｃｏｎｖｅｒｔｅｄ）。
【０２６４】
整数係数を有するベクトルは、ｃにより表示され、次の数式４９のように定義されることができる。
【０２６５】
【数７０】
2017509268.tif 000072
【０２６６】
一般的に、量子化は、直交スケーリング行列Ｑを用いて行われ、これは、次の数式５０のとおりである。
【０２６７】
【数７１】
2017509268.tif 000073
【０２６８】
ここで、ダブルブラケット（ｄｏｕｂｌｅ  ｂｒａｃｋｅｔｓ、［［］］）は、次の数式のようにエレメント別のラウンド（ｐｅｒ−ｅｌｅｍｅｎｔ  ｒｏｕｎｄｉｎｇ）を表す。
【０２６９】
【数７２】
2017509268.tif 000074
【０２７０】
最後に、復元されたベクトル
【数７３】
2017509268.tif 000075
は、次の数式を利用して、エンコーダとデコーダとの両方で計算され得る。
【０２７１】
【数７４】
2017509268.tif 000076
【０２７２】
ここで、
【数７５】
2017509268.tif 000077
は、復元されたベクトル、ｐは、予測ベクトル、Ｔは、変換行列、Ｑは、量子化行列、そしてｃは、変換係数を表す。
【０２７３】
行列ＴがＤＣＴのような変換により定義されるとき、変換の適用は、レジデュアルベクトルｄのスペクトル成分を計算することとほとんど同一である。したがって、本発明では、対角行列（ｄｉａｇｏｎａｌ  ｍａｔｒｉｘ）Ｑの他の値を用いることにより、周波数ドメインで量子化エラーの分配を変更できる。
【０２７４】
イメージまたはビデオブロックのベクトル内の全てのエレメントがインターブロック予測時に同じ方式で利用されることができない。したがって、ブロック境界に存在するいくつかの要素のエラーのため、予測正確度が顕著に減少することがある。
【０２７５】
そして、ＤＣＴのような線形変換は、独立的にベクトルに適用されるとき、ブロック境界でブロッキングアーチファクトを生成できる。
【０２７６】
これは、ブロックの他の部分で発生するエラー毎に互いに重要度が異なるという点と関連がある。本発明は、空間ドメイン上で量子化エラーをもう少し細かく制御する方法を提供することにより、ブロッキングアーチファクトを軽減させることができる。しかし、対角行列（ｄｉａｇｏｎａｌ  ｍａｔｒｉｘ）Ｑを用いたアプローチは、単に周波数ドメインでの制御のみを可能とする。したがって、本発明は、空間ドメインと周波数ドメインとの両方で量子化エラーを制御できるようにすることにより、上記のような問題を解決できる。
【０２７７】
図１５に示すように、本発明が適用されるエンコーダ１５００は、最適化部１５２０、逆量子化部１５３０、逆変換部１５４０、バッファ１５５０、予測部１５６０、及びエントロピーエンコード部１５７０を備えることができる。ここで、前記逆変換部１５４０は、空間スケーリング部１５４５を備えることができる。
【０２７８】
図１５のエンコーダ１５００をみると、最適化部１５２０では、最適の量子化された変換係数を取得できる。
【０２７９】
まず、前記最適化部１５２０は、トレーニングステップを介して最適の量子化された変換係数を取得できる。例えば、前記最適化部１５２０は、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）観点において、対角行列Ｓ、Ｗ、Ｑの最適セットを計算できる。
【０２８０】
本発明は、空間ドメイン上のスケーリングファクターである、さらに他の対角行列（ｄｉａｇｏｎａｌ  ｍａｔｒｉｘ）Ｓを追加する方法を提供する。それで、信号復元のための過程は、次の数式５３のように変更され得る。
【０２８１】
【数７６】
2017509268.tif 000078
【０２８２】
これは、数式３のように単純なラウンド（ｒｏｕｎｄｉｎｇ）を用いて最適の変換係数を計算するようにする直交性条件を変更できる。したがって、本発明は、最適の変換係数を次の数式５４に基づいて計算することができる。
【０２８３】
【数７７】
2017509268.tif 000079
【０２８４】
ここで、Ｗは、空間ドメイン上でエラー重要度を区別するために用いられるさらに他の対角行列を表す。
【０２８５】
また、前記対角行列Ｓ、Ｗ、Ｑの最適セットを探すために、本発明は、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ）のような客観的な歪み測定、またはブロッキングアーチファクトの可視性のような主観的要素を含むさらに他の歪み測定を利用できる。
【０２８６】
そして、イメージまたはビデオフレームをコーディングする前に、付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）として対角行列Ｓ、Ｗ、Ｑの値をエンコードできる。このとき、デコーダにより認識可能な適切なプロトコルが利用され得る。
【０２８７】
逆量子化部１５３０は、最適の量子化された変換係数に逆量子化を行って変換係数を取得できる。
【０２８８】
前記逆変換部１５４０は、前記変換係数に逆変換を行うことにより、予測エラーベクトルを取得できる。このとき、前記逆変換は、スケール直交行列Ｓを含むことができる。このように、空間ドメイン上でスケーリング行列を追加することにより、空間ドメイン上でも量子化エラーを制御できるようになる。
【０２８９】
前記スケール直交行列Ｓによるスケーリングは、前記逆変換部１５４０内の空間スケーリング部１５４５で行われることができる。また、前記空間スケーリング部１５４５は、前記逆変換部１５４０による逆変換過程後に位置することもできる。
【０２９０】
前記取得された予測エラーベクトルを予測部１５６０から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）に加えることにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）が生成され得る。
【０２９１】
バッファ１５５０は、前記予測部１５６０による今後の参照（ｆｕｔｕｒｅｒｅｆｅｒｅｎｃｅ）のために前記復元信号を格納し、前記予測部１５６０は、前記バッファ１５５０に格納された以前に復元された信号（ｐｒｅｖｉｏｕｓｌｙ  ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）を用いて予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成するようになる。
【０２９２】
一方、前記最適化部１５２０から取得された最適の量子化された変換係数は、エントロピーエンコード部１５７０に送信され、前記エントロピーエンコード部１５７０は、前記最適の量子化された変換係数をエントロピーエンコードして出力することができる。
【０２９３】
図１６に示すように、本発明が適用されるデコーダ１６００は、エントロピーデコード部１６１０、逆量子化部１６２０、逆変換部１６３０、バッファ１６４０、及び予測部１６５０を備えることができる。ここで、前記逆変換部１６３０は、空間スケーリング部１６３５を備えることができる。
【０２９４】
図１６のデコーダ１６００は、前記図１５のエンコーダ１５００から出力された信号を受信し、受信された信号は、エントロピーデコード部１６１０を介してエントロピーデコードされる。
【０２９５】
逆量子化部１６２０では、量子化ステップサイズ情報を利用してエントロピーデコードされた信号から変換係数を取得し、逆変換部１６３０では、前記変換係数を逆変換して予測エラーを取得するようになる。このとき、前記逆変換は、スケール直交行列Ｓを含むことができる。
【０２９６】
前記スケール直交行列Ｓによるスケーリングは、前記逆変換部１６３０内の空間スケーリング部１６３５で行われることができる。前記空間スケーリング部１６３５は、前記逆変換部１６３０による逆変換過程後に位置することもできる。また、前記図１５において説明した実施形態が適用され得る。
【０２９７】
前記取得された予測エラーを前記予測部１６５０から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）に加えることにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）が生成される。
【０２９８】
バッファ１６４０は、予測部１６５０による今後の参照（ｆｕｔｕｒｅ  ｒｅｆｅｒｅｎｃｅ）のために前記復元信号を格納し、前記予測部１６５０は、前記バッファ１６４０に格納された以前に復元された信号（ｐｒｅｖｉｏｕｓｌｙ  ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）を用いて予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）を生成できる。
【０２９９】
図１７は、本発明が適用される実施形態であって、ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化過程を介してスケーリング対角行列（ｓｃａｌｉｎｇ  ｄｉａｇｏｎａｌ  ｍａｔｒｉｘ）を取得する過程を説明するフローチャートである。
【０３００】
数式４６により定義されるコーディングの形態において、ｃ∈ＺN、すなわち、コーディングされるデータのベクトルが整数値のみを有することができるので、近似化されたピクセルの再生（ｒｅｐｒｏｄｕｃｔｉｏｎ）値が取得され得る。
【０３０１】
本発明は、付加的なエラーベクトルｅを定義し、統計的方法を使用する近似化をモデリングできる。
【０３０２】
【数７８】
2017509268.tif 000080
【０３０３】
ｃの各成分のラウンドエラーは、前記直交行列Ｔによる掛け算を介して結合されることができる。高いレート近似化に対し、ｅの成分は、ゼロ平均及び同じ分散を有する、独立的なランダムガウス変数であると仮定することができる。したがって、数式４６から取得された値は、数式５６を算出する。
【０３０４】
【数７９】
2017509268.tif 000081
【０３０５】
数式５６は、エラーがブロック内の全てのピクセルに対してほぼ同じ分布を有するということを意味する。
【０３０６】
数式５７により定義される新しい処理方式を利用して、残差のｘ−ｐは、適切な再生を取得するために、Ｓ−１だけ予めスケーリング（ｐｒｅ−ｓｃａｌｅ）される。
【０３０７】
【数８０】
2017509268.tif 000082
【０３０８】
ｅの成分は、ゼロ平均及び同じ分散を有する、独立的なランダムガウス変数である。
【０３０９】
しかし、このような場合において、数式５８により与えられるピクセルが再生された。
【０３１０】
【数８１】
2017509268.tif 000083
【０３１１】
数式５２は、現在、各ピクセルでのエラーが対角行列Ｓでのスケーリング要素に比例して相違した分散を有するということを意味する。したがって、Ｓi、iのより大きい値は、相対的により大きいエラー分散を発生させ、その逆も成立する。
【０３１２】
下記において、本発明のさらに詳細な説明が提示される。例えば、本発明は、予め定義されたビデオセグメント、例えば、コーディング部、フレーム、タイル、スライスなどに対して適用されることができる。
【０３１３】
エンコーダにおいて、次のステップにしたがって本発明が行われ得る。
【０３１４】
まず、前記エンコーダは、前記セグメント内のコーディングピクセルブロックに対して使用される行列Ｓ、Ｗ、及びＱを選択できる。
【０３１５】
次に、各セグメント内のピクセルをコーディングする前に、前記エンコーダは、行列Ｓ及びＱに関する情報を圧縮されたビットストリームに付加することができる。例えば、Ｔは仮定された定数であり、Ｗは、前記エンコーダによってのみ使用される。
【０３１６】
それから、各ピクセルブロックに対して、前記エンコーダは、前記最適ベクトルｃ∈ＺNを探すことができ、その値をエントロピーコーディングし、これを前記圧縮されたビットストリップに付加する。
【０３１７】
デコーダにおいて、本発明は、次のステップにしたがって行われ得る。
【０３１８】
まず、各セグメントでピクセルをデコードする前に、前記デコーダは、前記行列Ｓ及びＱに関する情報を前記圧縮されたビットストリームから読み取ることができる。
【０３１９】
それから、各ピクセルブロックに対して、前記デコーダは、前記ベクトルｃ∈ＺNをエントロピーデコードすることができ、数式５９を利用して復元されたピクセル値を計算する。
【０３２０】
【数８２】
2017509268.tif 000084
【０３２１】
本発明の実施形態は、レート歪み（ＲＤ）最適化過程を介してスケーリング対角行列を取得する過程を提供する。
【０３２２】
まず、エンコーダは、トレーニングを介してＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化過程を行うことができる（Ｓ１７１０）。例えば、このようなＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化過程は、前記最適化部１５２０により行われることができる。
【０３２３】
前記ＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化過程を介して対角行列Ｓ、Ｗ、Ｑの最適セットを計算できる（Ｓ１７２０）。
【０３２４】
前記対角行列Ｓ、Ｗ、Ｑの値を付加情報（ｓｉｄｅ  ｉｎｆｏｒｍａｔｉｏｎ）としてエンコードすることができる（Ｓ１７３０）。
【０３２５】
その後、前記図１５及び図１６において記載した過程によってビデオ信号をエンコードまたはデコードすることができる（Ｓ１７４０）。
【０３２６】
例えば、前記対角行列のうち、スケーリング対角行列Ｓは、エンコーダ１５００の逆変換部１５４０またはデコーダ１６００の逆変換部１６３０で用いられることにより、空間ドメイン上でも量子化エラーを制御できる。
【０３２７】
図１８は、本発明が適用される実施形態であって、最適化されたスケーリング行列を用いてコーディングした場合と既存の方式のとおりにコーディングした場合との各イメージ別のコーディングゲイン（ｃｏｄｉｎｇ  ｇａｉｎ）を比較するグラフである。
【０３２８】
前記図１８は、エラー伝達の制御とコーディングゲインとの関係を見せることができる。
【０３２９】
グラフ上の点線は、一般的なコーデックのコーディングゲインを示し、実線は、最適の対角行列を用いたときのコーディングゲインを示す。
【０３３０】
本実施形態の場合、平面予測（ｐｌａｎａｒ  ｐｒｅｄｉｃｔｉｏｎ）と４×４ＤＣＴを用いた場合である。３個のテストイメージ、「Ｗｏｍａｎ」、「Ｂｉｋｅ」、「Ｃａｆｅ」で全て最適の対角行列を用いたとき、より良いコーディング効率を見せるという点を確認できる。
【０３３１】
これは、本発明の一実施形態であり、上記で言及した条件に限定されず、他の条件の実施形態にも適用可能である。
【０３３２】
図１９及び図２０は、本発明が適用される実施形態であって、各々向上したコーディング方法が適用されるエンコーダとデコーダの概略的なブロック図を示す。
【０３３３】
図１９のエンコーダ１９００は、最適化部１９１０、量子化部１９２０、及びエントロピーエンコード部１９３０を備える。図２０のデコーダ２０００は、エントロピーデコード部２０１０、逆量子化部２０２０、逆変換部２０３０、及び復元部２０４０を備える。
【０３３４】
図１９の前記エンコーダ１９００を参照すれば、前記最適化部１９１０は、最適化された変換コーディングされた修正信号を取得する。前記最適化部１９１０は、最適化された変換コーディングされた修正信号を取得するために、下記の実施形態を使用できる。
【０３３５】
本発明が適用され得る実施形態を図示するために、まず、信号を復元するための復元関数が次のように定義され得る。
【０３３６】
【数８３】
2017509268.tif 000085
【０３３７】
数式６０において、
【数８４】
2017509268.tif 000086
は、復元信号を表し、ｃは、デコードされた変換コーディング修正信号を表し、ｙは、コンテキスト信号を表す。Ｒ（ｃ、ｙ）は、復元信号を生成するために、ｃ及びｙを用いる復元関数を表す。
【０３３８】
本実施形態において、復元関数は、以前の復元値及び変換コーディングされた修正信号間の関係として定義され得る。したがって、前記デコードされた修正信号は、前記復元値のみならず、全体復元過程及び復元関数の選択にも影響を及ぼす。
【０３３９】
例えば、修正信号は、次のように定義され得る。
【０３４０】
【数８５】
2017509268.tif 000087
【０３４１】
数式６１において、ｅは、修正信号を表し、ｃは、変換コーディングされた修正信号を表し、Ｔは、変換行列を表す。また、一部の場合において、前記修正信号は、エラー信号または予測エラー信号を意味できる。
【０３４２】
このような場合において、復元信号は、次のように定義されることができる。
【０３４３】
【数８６】
2017509268.tif 000088
【０３４４】
【数８７】
2017509268.tif 000089
【０３４５】
一実施形態において、前記復元関数Ｒnは、次のように定義されることができる。
【０３４６】
【数８８】
2017509268.tif 000090
【０３４７】
数式６３において、Ｐnは、予測信号を生成するための前記パラメータの形態である予測関数の類型を表す。
【０３４８】
例えば、前記予測関数は、ランク次数フィルタ及び非線形関数の組み合わせ、または線形関数の組み合わせである、中間（ｍｅｄｉａｎ）関数でありうる。さらに、非線形予測関数Ｐn（）は、相違した非線形関数でありうる。
【０３４９】
本発明の他の実施形態において、量子化部１９２０は、前記最適化部１９１０内に含まれることができるか、前記最適化部１９１０は、変換部を含むことができる。
【０３５０】
本発明の他の実施形態において、前記エンコーダ１９００及び前記デコーダ２０００は、前記非線形予測関数を選択するための候補関数の格納部を含むことができる。
【０３５１】
このような場合において、前記最適化された非線形予測関数は、前記格納部に格納された候補関数から選択されることができる。
【０３５２】
最適化された非線形予測関数が前述されたように選択される場合、前記最適化部１９１０は、前記最適化された非線形予測関数を用いて最適化された予測信号を生成できる。そして、前記最適化部１９１０は、前記最適化された予測信号に基づいて最適化された予測エラー信号を生成でき、前記最適化された予測エラー信号に関する変換コーディングを行うことができる。前記最適化部１９１０は、前記変換コーディングを介して変換コーディングされた係数を出力できる。このような場合において、前記変換コーディングされた係数は、最適化された変換係数を意味できる。
【０３５３】
前記出力変換係数は、前記量子化部１９２０に送信される。前記量子化部１９２０は、前記変換係数を量子化し、前記量子化された変換係数を前記エントロピーエンコード部１９３０に送信する。
【０３５４】
前記エントロピーエンコード部１９３０は、量子化された変換係数に対してエントロピーエンコードを行い、圧縮されたビットストリームを出力できる。
【０３５５】
図２０の前記デコーダ２０００は、図１９の前記エンコーダから前記圧縮されたビットストリームを受信することができ、前記エントロピーデコード部２０１０を介してエントロピーデコードを行うことができ、前記逆量子化部２０２０を介して逆量子化を行うことができる。このような場合において、前記逆量子化部２０２０による信号出力は、最適化された変換係数を意味できる。
【０３５６】
前記逆変換部２０３０は、前記最適化された変換係数を受信し、逆変換過程を行い、逆変換過程を介して予測エラー信号を取得できる。
【０３５７】
前記復元部２０４０は、予測エラー信号及び予測信号を共に合算して復元信号を取得できる。このような場合において、図１９を参照して記述される様々な実施形態が、前記予測信号に適用され得る。
【０３５８】
図２１は、本発明が適用される実施形態であって、向上したビデオコーディング方法を説明するための概略的なフローチャートである。
【０３５９】
まず、ステップＳ２１１０で前記原映像信号が受信される場合、ステップＳ２１２０で前記エンコーダは、前記原映像信号を利用可能な復元信号と比較することができる。そして、ステップＳ２１３０で前記エンコーダは、前記比較結果に基づいて修正信号を決定できる。
【０３６０】
このような場合において、歪み成分及びレート成分の合計を最小化するために、前記予測信号が決定され得る。前記歪み成分は、前記原映像信号及び復元信号間の全歪みを指示し、前記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する。修正信号を決定するために、前記エンコーダは、デコードシミュレーションを行うことができる。
【０３６１】
本発明は、前記信号復元のために使用される復元関数を決定するステップをさらに含むことができ、前記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを含む。
【０３６２】
そして、前記復元関数は、前記以前の復元サンプル及び前記修正信号の全てに基づいて決定されることができる。
【０３６３】
それから、ステップＳ２１４０で前記エンコーダは、信号復元のために送信される変換コーディングされた修正信号を生成できる。ここで、前記変換コーディングされた修正信号は、逆量子化行列及び逆変換行列により掛けられることができ、ビットレート及び量子化エラーを制御するために、前記逆量子化行列が選択され得る。
【０３６４】
さらに、前記変換コーディングされた修正信号は、ピクチャのグループに対する修正信号に対応でき、時空間変換コーディングが前記修正信号に印加され得る。
【０３６５】
本発明の一実施形態によれば、前記デコーダは、本発明により取得された変換コーディングされた修正信号を含むビットストリームを受信することができ、前記エントロピーデコード部を介してエントロピーデコードを行うことができ、前記逆量子化部を介して逆量子化を行うことができ、前記逆変換部を介して逆変換を行うことができる。前記デコーダは、前記変換コーディングされた修正信号に逆変換を行い、修正信号を取得できる。
【０３６６】
それから、前記デコーダは、前記取得された修正信号及びコンテキスト信号を結合する復元関数を用いて復元信号を取得できる。ここで、前記コンテキスト信号は、以前の復元サンプルの全てに基づいて取得され得る。
【０３６７】
さらに、前記デコーダは、前記信号復元のために使用される復元関数を決定でき、前記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを含むことができる。ここで、前記復元関数は、前記以前の復元サンプル及び前記修正信号の全てに基づいて決定されることができる。
【０３６８】
前記変換コーディングされた修正信号は、逆量子化行列及び逆変換行列により掛けられることができる。また、前記変換コーディングされた修正信号は、ピクチャのグループに対する修正信号に対応でき、時空間変換コーディングが前記修正信号に印加された。
【０３６９】
前述されたように、本発明が適用され得る前記デコーダ及び前記エンコーダは、マルチメディア放送送信／受信装置、移動通信端末機、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視カメラ、ビデオチャッティング装置、ビデオ通信のようなリアルタイム通信装置、移動ストリーミング装置、格納媒体、カムコーダ、ＶｏＤサービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレコンファレンスビデオ装置、及び医療ビデオ装置内に含まれることができ、ビデオ信号及びデータ信号をコーディングするのに使用されることができる。
【０３７０】
また、本発明が適用され得る前記デコード／エンコード方法は、コンピュータにより実行され得るプログラムの形で製造されて、コンピュータ読み取り可能な記録媒体に格納されることができる。本発明に係るデータ構造を有するマルチメディアデータは、コンピュータ読み取り可能な記録媒体に格納されることができる。
【０３７１】
前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られることのできるデータが格納される全ての種類の格納装置を含む。前記コンピュータ読み取り可能な記録媒体は、例えば、ＢＤ、ＵＳＢ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光学データ格納装置を含むことができる。また、前記コンピュータ読み取り可能な記録媒体は、搬送波（例えば、インターネットを介しての送信）の形で実現される媒体を含む。さらに、前記エンコード方法により生成されたビットストリームがコンピュータ読み取り可能な記録媒体内に格納されるか、または有線／無線通信網を介して送信されることができる。
【産業上の利用可能性】
【０３７２】
本発明の例示的な実施形態は、例示の目的のために開示されたものであり、当該技術分野における通常の知識を有した者は、添付された請求項に開示された本発明の技術的思想及び範囲内で様々な他の実施形態を向上、変更、交換、または付加することができる。
【図１】
2017509268.tif 000091
【図２】
2017509268.tif 000092
【図３】
2017509268.tif 000093
【図４】
2017509268.tif 000094
【図５】
2017509268.tif 000095
【図６】
2017509268.tif 000096
【図７】
2017509268.tif 000097
【図８】
2017509268.tif 000098
【図９】
2017509268.tif 000099
【図１０】
2017509268.tif 000100
【図１２】
2017509268.tif 000101
【図１３】
2017509268.tif 000102
【図１４】
2017509268.tif 000103
【図１５】
2017509268.tif 000104
【図１６】
2017509268.tif 000105
【図１７】
2017509268.tif 000106
【図１９】
2017509268.tif 000107
【図２０】
2017509268.tif 000108
【図２１】
2017509268.tif 000109
【図１１】
2017509268.tif 000110
【図１８】
2017509268.tif 000111
【国際調査報告】
2017509268.tif 000112
2017509268.tif 000113