(57)【特許請求の範囲】
【請求項１】
映像信号をエンコードする方法であって、
現在ブロックを有する前記映像信号を受信するステップであって、前記現在ブロックは、少なくとも一つのレイヤを有し、前記少なくとも一つのレイヤは、前記現在ブロックにおいて対角線方向に配置されるピクセルを基準として水平及び垂直方向に配列されたピクセルを有する、ステップと、
全ての以前のレイヤＬ1、...、Ｌk-1の復元されたピクセルに基づいて、現在レイヤＬkに関する予測信号を取得するステップと、
前記予測信号に基づいて、前記現在レイヤＬkに関する残差信号を取得するステップと、
前記残差信号に関する最適化処理に基づいて、前記現在レイヤＬkに関する最適な量子化された係数を取得するステップと、
前記現在レイヤＬkに関する最適な量子化された係数をエントロピエンコードするステップと、を有し、
前記最適化処理は、現在の繰り返しｎの量子化された係数Ｃnと対応する以前の繰り返しｎ−１の量子化された係数Ｃn-1との間の差を、予め定められた閾値と繰り返して比較することを有し、
前記差が前記閾値より小さいか同じであると確認された場合、前記現在の繰り返しｎの量子化された係数Ｃnは、前記最適な量子化された係数であると決定される、エンコード方法。
【請求項２】
前記予測信号を取得するステップにおいて、
前記現在ブロックにおける１番目のレイヤは、以前にコーディングされた隣接ブロックのピクセルに基づいて予測され、
残りのレイヤは、以前のレイヤのピクセルに基づいて予測され、
前記１番目のレイヤは、前記現在ブロックの最上位左側のピクセルを基準として水平及び垂直方向に配列された境界ピクセルを有する、請求項１に記載のエンコード方法。
【請求項３】
非直交変換行列は、前記最適な量子化された係数を取得するのに使用される、請求項１に記載のエンコード方法。
【請求項４】
現在ブロックを有する映像信号をデコードする方法であって、
現在レイヤＬkに関する最適な量子化された係数を有する前記映像信号を受信するステップであって、前記現在ブロックは、少なくとも一つのレイヤを有し、前記少なくとも一つのレイヤは、前記現在ブロックにおいて対角線方向に配置されるピクセルを基準として水平及び垂直方向に配列されたピクセルを有する、ステップと、
前記最適な量子化された係数に基づいて、前記現在レイヤＬkに関する残差信号を取得するステップと、
全ての以前のレイヤＬ1、...、Ｌk-1の復元されたピクセルに基づいて、前記現在レイヤＬkに関する予測信号を取得するステップと、
前記残差信号を予測信号に合算して前記映像信号を復元するステップと、を有し、
前記方法は、さらに、
前記映像信号から量子化パラメータを抽出するステップと、
前記量子化パラメータに基づいて、前記現在レイヤＬkに関する最適な量子化された係数に逆量子化を行うステップと、
前記現在レイヤＬkに関する最適な量子化された係数に関する逆変換を行うステップと、を有し、
前記現在レイヤＬkに関する残差信号は、前記逆変換によって取得される、デコード方法。
【請求項５】
最適な量子化ステップサイズは、前記量子化パラメータから導出され、
前記逆量子化は、前記最適な量子化ステップサイズを用いて行われる、請求項４に記載のデコード方法。
【請求項６】
前記予測信号を取得するステップにおいて、
前記現在ブロックにおける１番目のレイヤは、以前にコーディングされた隣接ブロックのピクセルに基づいて予測され、
残りのレイヤは、以前のレイヤのピクセルに基づいて予測され、
前記１番目のレイヤは、前記現在ブロックの最上位左側のピクセルを基準として水平及び垂直方向に配列された境界ピクセルを有する、請求項４に記載のデコード方法。
【請求項７】
非直交変換行列は、前記現在レイヤＬkに関する残差信号を取得するのに使用される、請求項４に記載のデコード方法。
【請求項８】
映像信号をエンコードする装置であって、
現在ブロックを有する前記映像信号を受信し、前記現在ブロックは、少なくとも一つのレイヤを有し、前記少なくとも一つのレイヤは、前記現在ブロックにおいて対角線方向に配置されるピクセルを基準として水平及び垂直方向に配列されたピクセルを有し、
全ての以前のレイヤＬ1、...、Ｌk-1の復元されたピクセルに基づいて、現在レイヤＬkに関する予測信号を取得し、
前記予測信号に基づいて、前記現在レイヤＬkに関する残差信号を取得し、
前記残差信号に関する最適化処理に基づいて、前記現在レイヤＬkに関する最適な量子化された係数を取得し、
前記現在レイヤＬkに関する最適な量子化された係数をエントロピエンコードするように構成されるプロセッサを備え、
前記最適化処理は、現在の繰り返しｎの量子化された係数Ｃnと対応する以前の繰り返しｎ−１の量子化された係数Ｃn-1との間の差を、予め定められた閾値と繰り返して比較することを有し、
前記差が前記閾値より小さいか同じであると確認された場合、前記現在の繰り返しｎの量子化された係数Ｃnは、前記最適な量子化された係数であると決定される、エンコード装置。
【請求項９】
前記現在ブロックにおける１番目のレイヤは、以前にコーディングされた隣接ブロックのピクセルに基づいて予測され、
残りのレイヤは、以前のレイヤのピクセルに基づいて予測され、
前記１番目のレイヤは、前記現在ブロックの最上位左側のピクセルを基準として水平及び垂直方向に配列された境界ピクセルを有する、請求項８に記載のエンコード装置。
【請求項１０】
非直交変換行列は、前記最適な量子化された係数を取得するのに使用される、請求項８に記載のエンコード装置。
【請求項１１】
現在ブロックを有する映像信号をデコードする装置であって、
現在レイヤＬkに関する最適な量子化された係数を有する前記映像信号を受信し、前記現在ブロックは、少なくとも一つのレイヤを有し、前記少なくとも一つのレイヤは、前記現在ブロックにおいて対角線方向に配置されるピクセルを基準として水平及び垂直方向に配列されたピクセルを有し、
前記最適な量子化された係数に基づいて、前記現在レイヤＬkに関する残差信号を取得し、
全ての以前のレイヤＬ1、...、Ｌk-1の復元されたピクセルに基づいて、前記現在レイヤＬkに関する予測信号を取得し、
前記残差信号を予測信号に合算して、前記映像信号を復元するように構成されるプロセッサを備え、
前記プロセッサは、
前記映像信号から量子化パラメータを抽出し、
前記量子化パラメータに基づいて、前記現在レイヤＬkに関する最適な量子化された係数に逆量子化を行い、
前記現在レイヤＬkに関する最適な量子化された係数に関する逆変換を行うように構成され、
前記現在レイヤＬkに関する残差信号は、前記逆変換によって取得される、デコード装置。
【請求項１２】
非直交変換行列は、前記現在レイヤＬkに関する残差信号を取得するのに使用される、請求項１１に記載のデコード装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ（映像）（video）信号のエンコード及びデコード方法並びにビデオ信号のエンコード及びデコード装置に関し、特に、予測された信号と変換コーディングされた信号とを用いた予測技術に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、記憶（格納）媒体（storage medium）に適した形で記憶（格納）する（storing）ための一連の信号処理技術を意味する。映像、イメージ、音声などのメディアが圧縮符号化の対象となることができ、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。
【０００３】
多くのメディア圧縮技術は、予測コーディング及び変換コーディングという２つのアプローチ（approach）方法に基づく。特に、ハイブリッドコーディング（hybrid coding）技術は、以前にデコードされたコンテキスト値（previously decoded context values）を用いてサンプルを空間的に（spatially）予測し、予測エラーを変換コーディングする。このような処理（過程）（process）は、ガウス信号（Gaussian signal）に対して最適なレート歪み（Rate Distortion；ＲＤ）値を有するように行われる。
【０００４】
しかし、一般的なビデオ信号は、ガウス信号（Gaussian signal）に適合しない（not suitable）構造を含んでいるため、このような信号をより効率的にコーディングする必要がある。
【０００５】
一方、ブロックの他の部分で発生するエラー毎に互いに重要度が異なり得る。したがって、空間ドメインと周波数ドメインとの両方でエラーを制御できる方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明では、エッジ及び方向性構造（edge and directional structure）を有する信号に対してより効率的にコーディングしようとする。
【０００７】
本発明では、予測された信号とともに変換コーディングされた信号を用いて、ビデオ信号を非因果的に（non-causally）予測しようとする。
【０００８】
本発明では、非直交変換に基づいてビデオ信号をコーディングしようとする。
【０００９】
本発明では、歪みを最小にする最適な変換係数を取得しようとする。
【００１０】
本発明では、ＲＤ（Rate Distortion）が最適な（Rate Distortion (RD) -optimized）量子化ステップサイズを導出しようとする。
【００１１】
本発明が適用される非因果的コーディング技術を、非直交変換の式及びパラメータ（non-orthogonal transform having a form and parameters）で表現しようとする。
【００１２】
本発明では、空間ドメインと周波数ドメインとの両方で量子化エラーを制御しようとする。
【００１３】
本発明では、空間ドメイン上でエラーの重要度を区別する（異ならせる）（differentiate）ために、さらに他の対角行列を定義しようとする。
【００１４】
本発明では、ＲＤ（Rate-Distortion）の観点で最適な対角行列を計算する方法を提案しようとする。
【００１５】
本発明では、空間ドメイン上で量子化エラーをより細かく制御する方法を提案しようとする。
【００１６】
また、本発明は、エッジ及び方向性構造（edge and directional structure）を有する信号に対してより効率的にコーディングできる方法を提案する。
【００１７】
本発明は、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（non-causally）予測する方法を提案する。
【００１８】
また、本発明は、非直交変換に基づいたビデオ信号のコーディング方法を提案しようとする。
【００１９】
また、本発明は、最適な変換係数を取得するための量子化アルゴリズムを提案する。
【００２０】
また、本発明は、最適な量子化ステップサイズを導出する方法を提案する。
【００２１】
また、本発明は、非直交変換の式及びパラメータで表現され得る非因果的コーディング技術を提案する。
【００２２】
また、本発明は、既に復元された全ての信号及びコンテキスト信号（context signal）を用いて最適な予測信号（optimized prediction signal）を生成する方法を提案する。
【００２３】
また、本発明は、空間ドメインと周波数ドメインとの両方で量子化エラーを制御する方法を提案する。
【００２４】
また、本発明は、空間ドメイン上でエラーの重要度を区別するために、さらに他の対角行列を定義する。
【００２５】
また、本発明は、ＲＤ（Rate-Distortion）の観点で最適な対角行列を計算する方法を提案する。
【００２６】
また、本発明は、空間ドメイン上で量子化エラーをより細かく制御する方法を提案する。
【課題を解決するための手段】
【００２７】
本発明の一実施形態は、原映像信号（original video signal）を受信するステップと、原映像信号を利用可能な復元信号と比較するステップと、比較の結果に基づいて変換コーディングされた修正信号（correction signal）を生成するステップと、変換コーディングされた修正信号及び利用可能な復元信号に基づいて予測信号を生成するステップと、変換コーディングされた修正信号を予測信号に合算（加算）し（add）て信号を復元するステップと、を有する、映像信号をエンコードする方法を提供する。
【００２８】
本発明の一態様において、方法は、歪み成分とレート成分との合計（sum）を最小にするスケーリングパラメータを決定するステップと、スケーリングパラメータに基づいて変換コーディングされた修正信号に対して量子化を行うステップと、をさらに有する。
【００２９】
本発明の一態様において、歪み成分は、原映像信号と復元信号との間の歪みの総和（total distortion）を指示し、レート成分は、量子化された係数を送信するために要求されるビットの数を指示する。
【００３０】
本発明の一態様において、スケーリングパラメータは、量子化パラメータ値から決定される。
【００３１】
本発明の一態様において、方法は、コーディングされる原映像信号を複数のレイヤに分解するステップをさらに有する。
【００３２】
本発明の一態様において、非直交変換行列は、信号を復元するのに使用される。
【００３３】
本発明の他の実施形態は、最適な量子化された係数（optimal quantized coefficient）を有する映像信号を受信するステップと、最適な量子化された係数に基づいて残差エラーベクトルを取得するステップと、残差信号を予測信号に合算して映像信号を復元するステップと、を有し、最適な量子化された係数は、以前に復元された信号（previously reconstructed signals）の全てに基づいて取得される、映像信号をデコードする方法を提供する。
【００３４】
本発明の一態様において、デコード方法は、映像信号からスケーリングパラメータを抽出するステップと、スケーリングパラメータに基づいて最適な量子化された係数に量子化を行うステップと、をさらに有する。
【００３５】
本発明の他の実施形態は、原映像信号を受信するように構成される受信部と、原映像信号を利用可能な復元信号と比較し、比較の結果に基づいて変換コーディングされた修正信号を生成するように構成される最適化部と、変換コーディングされた修正信号及び利用可能な復元信号に基づいて予測信号を生成するように構成される予測部と、変換コーディングされた修正信号を予測信号に合算して信号を復元するように構成される復元部と、を備える、映像信号をエンコードする装置を提供する。
【００３６】
本発明の一態様において、エンコード装置は、歪み成分とレート成分との合計を最小にするスケーリングパラメータを決定するように構成される最適化部と、スケーリングパラメータに基づいて変換コーディングされた修正信号に量子化を行うように構成される量子化部と、をさらに備えることができる。
【００３７】
本発明の他の実施形態は、最適な量子化された係数を有する映像信号を受信するように構成される受信部と、最適な量子化された係数に基づいて残差エラーベクトルを取得するように構成される逆変換部と、残差信号を予測信号に合算して、映像信号を復元するように構成される復元部と、を備え、最適な量子化された係数は、以前に復元された信号の全てに基づいて取得される、映像信号をデコードする装置を提供する。
【００３８】
本発明の一態様において、デコード装置は、映像信号からスケーリングパラメータを抽出し、スケーリングパラメータに基づいて最適な量子化された係数に量子化を行うように構成される逆量子化部をさらに備える。
【発明の効果】
【００３９】
本発明は、デコードされた全ての情報を利用することにより、さらに精巧かつ改良された（向上した）（advanced）予測を行うことができる。
【００４０】
また、本発明は、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（non-causally）予測することにより、エッジ及び方向性構造（edge and directional structure）を有する信号に対してより効率的にコーディングすることができる。
【００４１】
また、本発明は、非直交変換の式及びパラメータで表現され得る非因果的コーディング技術を提案することにより、さらに精巧かつ改良された予測を行うことができる。
【００４２】
また、本発明は、最適な変換係数を取得するための量子化アルゴリズムを提案することにより、量子化エラー（歪み）（error）を最小にすることができる。
【００４３】
また、本発明は、最適な量子化ステップサイズを導出する方法を提案することにより、さらに改良されたコーディングを行うことができる。
【００４４】
また、本発明は、既に復元された（復元済みの）全ての信号及びコンテキスト信号（context signal）を用いることにより、最適な予測信号（optimized prediction signal）を生成できる。
【００４５】
また、本発明は、空間ドメインと周波数ドメインとの両方で量子化エラーを制御することにより、さらに改良されたコーディングを行うことができる。
【図面の簡単な説明】
【００４６】
【図１】ビデオコーディングが行われるエンコーダの概略ブロック図である。
【図２】ビデオコーディングが行われるデコーダの概略ブロック図である。
【図３】本発明が適用される実施形態であって、改良されたコーディング方法が適用されるエンコーダの概略ブロック図である。
【図４】本発明が適用される実施形態であって、改良されたコーディング方法が適用されるデコーダの概略ブロック図である。
【図５】本発明が適用される実施形態であって、以前にコーディングされたピクセルを用いて予測を行う方法を説明するためのレイヤを定義する図である。
【図６】本発明が適用される実施形態であって、以前にコーディングされたピクセルを用いて予測を行う方法を説明するためのレイヤを定義する図である。
【図７】本発明が適用される実施形態であって、レイヤ単位で以前にコーディングされたピクセルを用いて予測を行う方法を説明するフローチャートである。
【図８】本発明が適用される実施形態であって、最適な量子化された係数を取得するための量子化処理を説明するフローチャートである。
【図９】本発明が適用される実施形態であって、最適な量子化された係数を取得するための量子化処理を具体的に説明するフローチャートである。
【図１０】本発明が適用される実施形態であって、最適な量子化ステップサイズを取得する処理を説明するフローチャートである。
【図１１】本発明が適用される実施形態であって、本発明が適用されるテストイメージを示す図である。
【図１２】本発明が適用される実施形態であって、テストイメージに対するレートゲイン（rate gain）のパーセンテージを示す図である。
【図１３】本発明が適用される実施形態であって、改良された予測コーディング方法を説明するための概略フローチャートである。
【図１４】本発明が適用される実施形態であって、最適な量子化ステップサイズに基づいて量子化を行う方法を説明するための概略フローチャートである。
【図１５】本発明が適用される実施形態であって、量子化エラー制御による改良されたコーディング方法が適用されるエンコーダの概略ブロック図である。
【図１６】本発明が適用される実施形態であって、量子化エラー制御による改良されたコーディング方法が適用されるデコーダの概略ブロック図である。
【図１７】本発明が適用される実施形態であって、ＲＤ（Rate-Distortion）の最適化処理を介してスケーリング対角行列（scaling diagonal matrix）を取得する処理を説明するフローチャートである。
【図１８】本発明が適用される実施形態であって、最適化されたスケーリング行列を用いてコーディングした場合と既存の方式のとおりにコーディングした場合とにおいて、各イメージのコーディングゲイン（coding gain）を比較するグラフである。
【図１９】本発明が適用される実施形態であって、改良されたコーディング方法が適用されるエンコーダの概略ブロック図である。
【図２０】本発明が適用される実施形態であって、改良されたコーディング方法が適用されるデコーダの概略ブロック図である。
【図２１】本発明が適用される実施形態であって、改良されたビデオコーディング方法を説明するための概略フローチャートである。
【発明を実施するための形態】
【００４７】
以下、添付された図面を参照して本発明の実施形態の構成及びその作用を説明し、図面により説明される本発明の構成及び作用は、１つの実施形態として説明されるものであり、これにより、本発明の技術的思想とその中核となる構成及び作用とが制限されるものではない。
【００４８】
また、本発明において使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、該当部分の詳細説明においてその意味を明確に記載するので、本発明の説明において使用された用語の名称だけで単純に解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明らかにしておく。
【００４９】
なお、本発明において使用される用語は、発明を説明するために選択された一般的な用語であるが、類似した意味を有する他の用語がある場合、より適切な解析のために代替可能であろう。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング処理で適宜代替されて解析され得るであろう。
【００５０】
図１及び図２は、各々でビデオコーディングが行われるエンコーダ及びデコーダの概略ブロック図を示す。
【００５１】
上記図１のエンコーダ１００は、変換部１１０、量子化部１２０、逆量子化部１３０、逆変換部１４０、バッファ１５０、予測部１６０、及びエントロピエンコード部１７０を備え、上記図２のデコーダ２００は、エントロピデコード部２１０、逆量子化部２２０、逆変換部２３０、バッファ２４０、及び予測部２５０を備える。
【００５２】
上記エンコーダ１００は、原映像信号（original video signal）を受信し、上記原映像信号から、予測部１６０が出力した予測信号（predicted signal）を減算して予測エラーを生成する。上記生成された予測エラーは、変換部１１０に送信され、上記変換部１１０は、上記予測エラーに変換技法を適用して変換係数を生成する。
【００５３】
例えば、上記変換技法の中には、ブロックベースの変換方法とイメージベースの変換方法とがありうる。上記ブロックベースの変換方法の例としては、離散余弦（コサイン）変換（Discrete Cosine Transform；ＤＣＴ）、カルーネンレーベ変換（Karhuhen-Loeve Transform；ＫＬＴ）などを挙げることができる。ここで、上記離散余弦変換ＤＣＴとは、空間ドメイン（spatial domain）上の信号を２次元周波数成分に分解（変換）することを示す。ブロック内から左側上端に行くほど低い周波数成分を有し、右側下端に行くほど高い周波数成分を有するパターンをなす。例えば、６４個の２次元の周波数成分のうち、最も左側上端に存在する１個のみが直流成分（ＤＣ：Direct Current）で、周波数が０である成分であり、残りは交流成分（ＡＣ：Alternate Current）で、低い周波数成分から高い周波数成分まで６３個で構成される。上記離散余弦変換ＤＣＴを行うということは、原映像信号のブロックに含まれた基底成分（６４個の基本パターン成分）のそれぞれの大きさを求めることであり、この大きさは、離散余弦変換係数である。
【００５４】
また、上記離散余弦変換ＤＣＴは、単に原映像信号成分で表現するために使用される変換であり、逆変換の際、周波数成分から本来の（原）（original）映像信号に完全に復元される。すなわち、映像の表現方法のみを変えることで、重複した情報を含む原映像に含まれた全ての情報を全て記憶する。原映像信号を離散余弦変換ＤＣＴする場合、原映像信号の振幅の分布とは異なり、離散余弦変換ＤＣＴ係数は、０の近くの値に集まって存在するので、これを用いて高い圧縮効果を得ることができる。
【００５５】
量子化部１２０は、上記生成された変換係数（transform coefficient）を量子化してエントロピエンコード部１７０に送信し、上記エントロピエンコード部１７０は、量子化された信号（quantized signal）をエントロピコーディングして出力する。
【００５６】
上記量子化部１２０は、入力されるデータに対して特定範囲の入力値を１つの代表値にマッピングする。量子化は、次の数式１のように、入力データを量子化ステップサイズで割ることにより計算されることができる。
【００５７】
【数１】
0006730191.tif 000002
【００５８】
ここで、Ｙは、量子化されたデータを表し、Ｘは、入力データを表し、Ｑは量子化ステップサイズを表す。Ｓｉｇｎ（）関数は、データの符号を取得するための演算であり、Ｒｏｕｎｄ（）関数は、四捨五入演算を表す。上記量子化ステップサイズは、量子化区間（quantization range）によって表現されることができる。また、本明細書において、上記量子化ステップサイズは、スケーリングパラメータ（scaling parameter）を意味できる。ビデオコーディングの際、上記量子化ステップサイズは、変更されることができ、変更された量子化ステップサイズを用いて圧縮率を調節できる。一方、上記量子化ステップサイズの代わりに、整数値を使用する量子化パラメータを用いることもできる。
【００５９】
量子化処理は、次の数式２のように、入力された変換係数Ｃを量子化ステップサイズＱで割ることにより、量子化された係数Ｃ’を取得できる。
【００６０】
［数式２］
Ｃ’＝Ｃ／Ｑ
【００６１】
ここで、Ｃ’は、量子化された係数を表し、Ｃは、入力された変換係数を表し、Ｑは、量子化ステップサイズを表す。
【００６２】
一方、上記量子化部１２０から出力された上記量子化された信号（quantized signal）は、予測信号を生成するために用いられることができる。例えば、上記量子化された信号（quantized signal）は、ループ内の逆量子化部１３０及び逆変換部１４０を介して逆量子化及び逆変換を適用することにより、予測エラーに復元されることができる。上記復元された予測エラーを予測部１６０から出力された予測信号（prediction signal）に加えることにより、復元信号（reconstructed signal）が生成され得る。
【００６３】
バッファ１５０は、上記予測部１６０による今後の参照（future reference）のために上記復元信号を記憶し、上記予測部１６０は、上記バッファ１５０に記憶された以前に復元された信号（previously reconstructed signal）を用いて予測信号（prediction signal）を生成する。
【００６４】
図２のデコーダ２００は、上記図１のエンコーダ１００から出力された信号を受信し、受信された信号は、エントロピデコード部２１０を介してエントロピデコードされる。逆量子化部２２０では、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数を取得し、逆変換部２３０では、上記変換係数を逆変換して予測エラーを取得する。上記取得された予測エラーを上記予測部２５０から出力された予測信号（prediction signal）に加えることにより、復元信号（reconstructed signal）が生成される。
【００６５】
上記逆量子化部２２０は、次の数式３のように、量子化されたデータに逆量子化スケール値Ｑを掛けることにより計算されることができる。
【００６６】
［数式３］
Ｘ’＝Ｙ＊Ｑ
【００６７】
ここで、Ｘ’は、復元されたデータを表し、Ｙは、量子化されたデータを表し、Ｑは、逆量子化スケール値を表す。上記Ｑは、量子化ステップサイズと同様（同一）の（same）値を有することができる。
【００６８】
上記バッファ２４０は、上記予測部２５０による今後の参照（future reference）のために上記復元信号を記憶し、上記予測部２５０は、上記バッファ２４０に記憶された以前に復元された信号（previously reconstructed signal）を用いて予測信号（prediction signal）を生成する。
【００６９】
本発明は、ハイブリッドビデオコーダでのイントラ予測方法を提供する。圧縮されるサンプル値は、以前にコーディングされたコンテキスト値を用いて予測され、予測エラーは、変換コーディングされる。このような処理は、ガウス（Gaussian）信号に対して最適なＲＤ値を有するように行われることができる。しかし、一般的なビデオ（映像）（video）信号は、ガウス（Gaussian）信号に適合しない多くの信号を含んでいる。したがって、本発明では、上記のような信号をターゲットとして、我々は、予測サンプルとともに変換コーディングされたサンプル及びコンテキスト値を用いて各サンプルを非因果的に（non-causally）予測する技術を提案しようとする。このような非因果的エンコード（non-causal encoding）は、非直交変換（non-orthogonal transform）の式（form）及びパラメータで表現されることができる。
【００７０】
図３及び図４は、本発明が適用される実施形態であって、各々改良されたコーディング方法が適用されるエンコーダ及びデコーダの概略ブロック図を示す。
【００７１】
上記図３のエンコーダ３００は、最適化部３１０、量子化部３１５、逆変換部３２０、予測部３３０、復元部３４０、バッファ３５０、及びエントロピエンコード部３６０を備え、上記図４のデコーダ４００は、エントロピデコード部４１０、逆量子化部４２０、逆変換部４３０、復元部４４０、バッファ４５０、及び予測部４６０を備える。
【００７２】
上記最適化部３１０は、上記バッファ３５０から、現在ブロックのピクセル情報、以前にデコードされたブロックのピクセル情報、及び量子化ステップサイズ情報のうち、少なくとも１つを取り込む（取る）（フェッチする）（fetch）ことができる。ここで、上記現在ブロックのピクセル情報は、ベクトルで表現された、コーディングされるブロックのピクセル（pixels from the block to be coded arranged into a vector）を表すことができる。上記以前にデコードされたブロックのピクセル情報は、ベクトルで表現された、以前にデコードされたブロックのピクセル（pixels from previously decoded block arranged into a vector）を表すことができる。上記量子化ステップサイズ情報は、ベクトルで表現された量子化ステップサイズを表すことができる。
【００７３】
上記最適化部３１０は、上記現在ブロックのピクセル情報、上記以前にデコードされたブロックのピクセル情報、及び上記量子化ステップサイズ情報のうち、少なくとも１つに基づいて変換係数Ｃ（ｉ、ｊ）を取得できる。ここで、上記変換係数Ｃ（ｉ、ｊ）は、量子化された変換係数を意味できる。
【００７４】
上記逆変換部３２０は、上記取得された変換係数Ｃ（ｉ、ｊ）を受信し、逆変換を行うことができる。上記逆変換部３２０は、受信した変換係数Ｃ（ｉ、ｊ）に逆変換を行い、残差（レジデュアル）信号ｒｅｓ（ｉ、ｊ）を取得できる。
【００７５】
上記予測部３３０は、上記バッファ３５０から、以前にデコードされたブロックのピクセル情報を取り込むことができる。上記予測部３３０は、以前にデコードされたブロックのピクセル及び以前のレイヤ（previous layer）から復元されたピクセルのうち、少なくとも１つを用いて現在レイヤのピクセルを予測できる。上記予測部３３０は、上記のような予測を行うことにより、予測信号ｐｒｅｄ（ｉ、ｊ）を取得できる。ここで、上記現在レイヤのピクセル（ｌａｙｅｒ  Ｌk）は、現在ブロックがＢ×Ｂブロックであり、水平成分をｊ、垂直成分をｉとするとき、（ｋ、ｉ）及び（ｊ、ｋ）（ｉ＝１、...、Ｂ、ｊ＝１、...、Ｂ、ｋ＝１、...、Ｂ）に位置するピクセルを表すことができる。このとき、上記以前のレイヤから復元されたピクセルは、以前の全てのレイヤ（ｌａｙｅｒ  Ｌ1、...、ｌａｙｅｒ  Ｌk-1）の復元されたピクセルを表すことができる。これについては、図５及び図６においてより詳しく説明する。
【００７６】
上記復元部３４０は、上記予測部３３０から取得された予測信号ｐｒｅｄ（ｉ、ｊ）と上記逆変換部３２０から取得された残差信号ｒｅｓ（ｉ、ｊ）とを加えることにより、復元信号ｒｅｃ（ｉ、ｊ）を取得できる。このとき、上記復元信号ｒｅｃ（ｉ、ｊ）は、上記現在レイヤ（ｌａｙｅｒ  Ｌk）に対する復元信号を意味できる。上記復元信号ｒｅｃ（ｉ、ｊ）は、今後、次のレイヤの予測のためにバッファ３５０に送信される。
【００７７】
一方、上記最適化部３１０によって取得された変換係数Ｃ（ｉ、ｊ）は、量子化部３１５に送信されることができる。
【００７８】
上記量子化部３１５は、量子化処理を行い、上記エントロピエンコード部３６０に上記量子化された変換係数を送信する。
【００７９】
このとき、上記変換係数Ｃ（ｉ、ｊ）は、ＲＤ（Rate-Distortion）が最適な変換係数を意味できる。そして、上記量子化処理は、上記変換係数Ｃ（ｉ、ｊ）を量子化ステップサイズで割ることにより行われることができる。
【００８０】
上記エントロピエンコード部３６０は、量子化された変換係数を受信し、エントロピエンコードを行うことができる。
【００８１】
上記図４のデコーダ４００は、上記図３のエンコーダ３００から出力された信号を受信することができる。
【００８２】
上記エントロピデコード部４１０は、ビットストリームを受信してエントロピデコードを行うことができる。
【００８３】
上記逆量子化部４２０は、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数を取得できる。
【００８４】
上記逆変換部４３０は、上記変換係数を逆変換することにより、残差信号ｒｅｓ（ｉ、ｊ）を取得できる。
【００８５】
上記復元部４４０は、上記残差信号ｒｅｓ（ｉ、ｊ）と予測部４５０から取得された予測信号ｐｒｅｄ（ｉ、ｊ）とを加えることにより、復元信号ｒｅｃ（ｉ、ｊ）を取得できる。上記復元信号ｒｅｃ（ｉ、ｊ）は、バッファ４５０に送信されて記憶されることができる。そして、上記復元信号ｒｅｃ（ｉ、ｊ）は、次の信号の予測のために、上記予測部４５０に送信されることができる。
【００８６】
上記図４のデコーダ４００内の各部の動作は、上記図３のエンコーダ３００において説明した実施形態が適用可能であろう。
【００８７】
本発明が適用されるハイブリッドビデオコーダは、以前にデコードされたサンプル（すなわち、コンテキスト値（i.e., context values））を用いてサンプルを空間的に予測し、予測エラーを変換コーディングすることにより、効率的な予測コーディングを行う。
【００８８】
このようなコーディング方式は、ブロック変換が部分的に最適である信号に対してさえ連続的にブロック変換を利用させるようにする。例えば、上記部分的に最適である信号には、相当なブロック間相関関係（significant inter-block correlations）を有する信号、エッジ及び異なる方向の（他の方向的）特異性（edge and different directional singularities）を有する信号がありうる。したがって、空間的予測動作（spatial prediction operation）は、単純な変換圧縮にさらに順応的な（より適応できる）（more adaptive to simple transform compression）予測信号を生成するので、精巧な予測処理には適応が少し足りない（より適応できない）（less adaptive to an elaborate prediction process）と考えられ得る。予測動作は、コンテキスト値（context values）を用いて行われるので、その効率は、ガウス（Gaussian）信号のような形態を有する基本的な処理に依然として強く依存する（dependent on）ことができる。
【００８９】
具体的な議論のために、コンテキストサンプル（context sample）ｘ0を用いてシーケンスｘi（ｉ＝１〜Ｎ）を圧縮する１次元の例を考慮してみる。
【００９０】
例えば、ｘは、コンテキストサンプル（context sample）ｘ0を用いて方向性予測を行う対象ブロック（target block）からの水平又は方向性のある一連のピクセルを含む。ここで、上記コンテキストサンプル（context sample）ｘ0は、以前にデコードされたブロックの境界から取得され得る。上記コンテキストサンプル（context sample）ｘ0は、エンコーダ及びデコーダの両方に利用可能であると仮定する。上記コンテキストサンプル（context sample）ｘ0を用いたｘiの線形予測をＰi（ｘ0）とする場合、残差信号（ｒi）は、次の数式４のように定義することができる。
【００９１】
［数式４］
ｒi＝ｘi−Ｐi（ｘ0）
【００９２】
上記残差信号（ｒi）は、エンコード処理によって変換コーディングされ、デコード処理によって変換デコードされる場合、下記の数式５のように表すことができる。
【００９３】
［数式５］
x^i = Pi(x0) + r^i
【００９４】
ここで、 x^i は、復元信号を表す。
【００９５】
最適な線形予測子を取得してＫＬＴを用いる場合、上記処理は、ガウス（Gaussian）シーケンスの圧縮に関して漸近的に最適になることができる。しかし、上記処理は、ガウスモデル（Gaussian modeling）のような多くのイメージ／ビデオ構造の場合に適合しない場合がある。したがって、本発明では、デコード処理中に全てのデコードされた情報を利用するより良好な予測子を用いることにより、上記予測方法をより改善しようとする。本発明は、エッジ及び方向性構造を有するビデオ信号により優れた効果を見せるであろう。
【００９６】
以下では、まず、本発明の１次元の例を介して基本的概念（アイディア）を説明する。その次に、線形予測子に集中して、本発明とＤＰＣＭとの（連結）関係（connections）を議論し、等価の非直交変換（equivalent non-orthogonal transform）を導出するであろう。そして、コーデック設計を議論した後、非直交変換を利用した圧縮及びＲＤ（Rate-Distortion）が最適な量子化パラメータの導出について説明する。最後に、本発明が適用されるシミュレーション結果に対する詳細内容を説明する。
【００９７】
デコードを行った後に、上記デコーダは、上記残差サンプルの全てにアクセスすることができる。しかし、上記デコーダは、ｉ番目のサンプル x^iをデコードする場合、ｘ0及びｒiのみを用いる。特に、 x^i+1をデコードする場合、上記デコーダは、 x^i を既に復元しており、これは、ｘ0と比較して典型的に x^i+1のより良好な予測子である。本発明において、デコードチェーン（decoding chain）は、下記の数式６のように設計されることができる。
【００９８】
【数２】
0006730191.tif 000003
【００９９】
上記デコーダは、利用可能な変換デコードされた残差の全てを有するので、このようなチェーン及び拡大された（augmented）予測子Ｐtが実現可能でありうる。上記対応するエンコードチェーンは、最適にコーディングされた変換係数の選択として記述されることができ、数式６での上記変換デコーダに入力される場合、与えられた目標ビットレートで最小の歪みを有する x^を結果として得る（result in）。
【０１００】
本発明は、非線形予測関数に一般化され得ることに関し、本発明は、計算的には単純な、線形予測子を維持するであろうが、どこでも（あらゆるところの）（everywhere）ｘ0を用いるよりは、むしろ最も近接した利用可能なサンプルを用いて予測を行うであろう。１次元の例に関して、本発明は、数式７を構成できる。
【０１０１】
【数３】
0006730191.tif 000004
【０１０２】
このような場合において、本予測は、単一（統一）予測加重値（prediction weight of unity）を有する線形でありうる。このような設定において、数式７の上記予測Ｐi（ｘ0）は、単純にＰi（ x^i-1）で置き換えられ得る。他の加重値及びタイプ（類型）（types）等の線形予測子は、簡単な一般化でありうる。
【０１０３】
下記では、ＤＰＣＭ及び等価の非直交変換との関係について説明されるであろう。
【０１０４】
数式７は、単一予測加重値で動作している１次ＤＰＣＭデコーダと類似する。ＤＰＣＭシステムが因果的にかつ独立して上記残差をエンコードする一方、上記数式７のデコーダは、非因果的にかつ結合（連係）して（jointly）エンコードされた残差のデコードに対応する。これは、数式６で表される変換デコーダの出力であるr^に起因する。変換コーディングを介して残差の依存性及び他のＤＰＣＭ  Ｒ−Ｄの非効率（能率）（inefficiencies）を活用しながら（while exploiting residual dependencies and other DPCM R-D inefficiencies via transform coding）、提案されたシステムは、ＤＰＣＭシステムの予測精度（正確度）（accuracy）を得ることができる。
【０１０５】
数式７は、行列数式８へと導かれることができる。
【０１０６】
【数４】
0006730191.tif 000005
【０１０７】
ここで、Ｆは、数式９を利用する（Ｎ×Ｎ）下半（下位）三角予測行列（lower triangular prediction matrix）である。
【０１０８】
【数５】
0006730191.tif 000006
【０１０９】
このような実施形態は、単位成分（unit entries）を有する（Ｎ×１）行列である。数式８を、変換コーディングに対応する（accommodate）よう（を収容することと）拡大すれば、本発明は、数式１０を結果として得ることができる。
【０１１０】
【数６】
0006730191.tif 000007
【０１１１】
数式１０において、Ｔ（Ｎ×Ｎ）は、圧縮（例えば、ＨＥＶＣでのブロックＤＣＴ／ＤＳＴ）で使用される変換であり、c^は、逆量子化された変換係数である。Ｇ＝ＦＴとする場合、数式１０は、数式１１を介した非直交変換Ｇを有する x^−Ｂｘ0の変換コーディングに対応する。
【０１１２】
【数７】
0006730191.tif 000008
【０１１３】
このような単純な線形式（形態）で、本発明は、上記非直交変換Ｇを用いるｘ−Ｂｘ0の変換圧縮となることができる。
【０１１４】
モードベースの線形予測子を用いて、提案されたデコードチェーンは、各予測モードに対してＦ及びＢ行列を設計し、等価の非直交変換Ｇを導出して、基準ハイブリッドコーデックに類似するＨＥＶＣ（ＨＥＶＣのようなベースラインハイブリッドコーデック）（baseline hybrid codec like HEVC）内に統合されることができる。
【０１１５】
このようなデコードチェーンが行う全てのものは、境界サンプルというよりは、むしろ最も近接したサンプルを用いる予測であるから、デコードチェーンは、上記基準と比較して単に増加された周縁の（臨界）（marginal）複雑さを有するであろう。しかし、エンコードチェーンは、上記デコードチェーンのために送信する最適な係数を選択すべきであるため、さらに複雑である。下記において、本発明は、エンコーダが実行すべき繰り返し（反復）量子化アルゴリズムを提供し、レート歪みが最適化された量子化パラメータを導出するであろう（Hereinafter, the present invention will provide an iterative quantization algorithm which the encoder must carry out and derive rate-distortion optimal quantization parameters）。
【０１１６】
図５及び図６は、本発明が適用される実施形態であって、以前にコーディングされたピクセルを用いて予測を行う方法を説明するためのレイヤを定義する。
【０１１７】
本発明は、以前にコーディングされたピクセルを用いて各サンプルを非因果的に（non-causally）予測する方法を提供する。
【０１１８】
このとき、現在ブロックのピクセル及び予測のために用いられる上記以前にコーディングされたピクセルは、様々な方法で決定されることができる。
【０１１９】
本発明が適用される一実施形態として、現在ブロックは、少なくとも１つのレイヤ単位で分解（decompose）されることができる。それにより、上記以前にコーディングされたピクセルもレイヤ単位で決定されることができる。
【０１２０】
ここで、上記レイヤ単位は、一定の基準によって位置する（位置した）（placed）ピクセルに基づいて様々に定義されることができる。具体的な例として、現在ブロックの最上位左側に位置するピクセルを基準として水平及び垂直方向に配列されたピクセルを１つのレイヤとして定義することができる。そして、上記最上位左側に位置するピクセルの対角線方向に配列されたピクセルを基準として各々連続するレイヤ（consecutive pixels）として定義することができる。
【０１２１】
このとき、上記レイヤは、１つのピクセル又は複数のピクセルとして定義されるか、又は、ブロック全体のピクセルとして定義されることができる。また、上記レイヤは、上記図５のように連続するピクセルの集合として定義されることができるが、場合によって、連続しないピクセルの集合として定義されることもできる。
【０１２２】
例えば、上記図５に示すように、現在ブロックがＢ×Ｂブロックであり、ブロック内のピクセルの位置を（ｉ、ｊ）と仮定する。ここで、ｉ∈｛１、２、...、Ｂ｝、ｊ∈｛１、２、...、Ｂ｝である。このとき、現在ブロックの最上位左側に位置するピクセルを基準として水平及び垂直方向に配列されたピクセルをｌａｙｅｒ  Ｌ1として定義することができる。すなわち、ピクセルの位置（１、ｊ）及び（ｉ、１）に位置するピクセルをｌａｙｅｒ  Ｌ1として定義することができる。
【０１２３】
これを一般化すると、ピクセルの位置（ｋ、ｊ）及び（ｉ、ｋ）に位置するピクセルをｌａｙｅｒ  Ｌk（ｋ＝１、２、...、Ｂ）として定義することができる。
【０１２４】
本発明が適用される一実施形態として、上記以前にコーディングされたピクセルは、コーディングしようとするレイヤのすぐ以前にコーディングされたレイヤのピクセルを含むことができる。
【０１２５】
上記図６に示すように、現在レイヤｌａｙｅｒ  Ｌkを予測するために、すぐ以前にコーディングされたレイヤｌａｙｅｒ  Ｌk-1を用いることができる。このとき、上記現在レイヤｌａｙｅｒ  Ｌkを予測するために、現在ブロックの境界に隣接したピクセルも共に用いることができる。すなわち、上記現在ブロックに隣接した既にデコードされたブロックの隣接ピクセルが上記レイヤｌａｙｅｒ  Ｌkを予測するために用いられることができる。
【０１２６】
例えば、上記現在レイヤｌａｙｅｒ  Ｌkは、全ての以前のレイヤ（ｌａｙｅｒ  Ｌ1、...、ｌａｙｅｒ  Ｌk-1）の復元されたピクセル及び既にデコードされたブロックの隣接ピクセルに基づいて予測されることができる。
【０１２７】
本発明の他の実施形態は、予測形式を提供できる。
【０１２８】
上記エンコーダは、ｃｏｅｆｆｓ（ｉ、ｊ）、ｉ∈｛１、２、...、Ｂ｝、ｊ∈｛１、２、...、Ｂ｝をベクトルｃとして配列（arrange into）できる。これは、数式１２で表現されることができる。
【０１２９】
［数式１２］
Ｃ（（ｉ−１）＊Ｂ＋（ｊ−１）＋１）＝ｃｏｅｆｆｓ（ｉ、ｊ）
【０１３０】
そして、上記エンコーダは、ｒｅｓ（ｉ、ｊ）、ｉ∈｛１、２、...、Ｂ｝、ｊ∈｛１、２、...、Ｂ｝をベクトルｒとして配列できる。これは、数式１３で表現されることができる。
【０１３１】
［数式１３］
ｒ（（ｉ−１）＊Ｂ＋（ｊ−１）＋１）＝ｒｅｓ（ｉ、ｊ）
【０１３２】
それから、上記エンコーダは、以前にデコードされたブロックからのピクセルをベクトルｙとして配列できる。
【０１３３】
このような場合において、数式１４のような行列の掛け算を利用して本発明が実現され得る。
【０１３４】
【数８】
0006730191.tif 000009
【０１３５】
また、数式１５のような行列の掛け算を利用して本発明が実現され得る。
【０１３６】
【数９】
0006730191.tif 000010
【０１３７】
さらに、数式１６のような行列の掛け算を利用して本発明が実現され得る。
【０１３８】
【数１０】
0006730191.tif 000011
【０１３９】
さらに、数式１７のような行列の掛け算を利用して本発明が実現され得る。
【０１４０】
【数１１】
0006730191.tif 000012
【０１４１】
一方、上記図５及び図６において説明された実施形態は、イントラ予測の場合に適用可能であるだけでなく、イントラ予測の様々な予測モードに適用可能である。本発明は、これに限定されず、例えば、上記実施形態は、インター予測の場合にも適用可能である。
【０１４２】
図７は、本発明が適用される実施形態であって、レイヤ単位で以前にコーディングされたピクセルを用いて予測を行う方法を説明するフローチャートである。
【０１４３】
まず、受信されたビットストリームからエントロピコーディングされた係数を抽出できる。上記エントロピコーディングされた係数に対してエントロピデコードを行い（Ｓ７１０）、逆量子化を行うことにより、変換係数ｃｏｅｆｆｓ（ｉ、ｊ）を取得できる（Ｓ７２０）。
【０１４４】
上記変換係数に逆変換を行うことにより、残差信号ｒｅｓ（ｉ、ｊ）を取得できる（Ｓ７３０）。上記残差信号ｒｅｓ（ｉ、ｊ）は、現在レイヤｌａｙｅｒ  Ｌkを復元するために用いられる。
【０１４５】
一方、現在レイヤｌａｙｅｒ  Ｌkにあるピクセルを予測するために、以前にデコードされたブロックのピクセルが用いられ得る。このとき、全ての以前のレイヤ（ｌａｙｅｒ  Ｌ1、...、ｌａｙｅｒ  Ｌk-1）の復元されたピクセルも共に用いて、上記現在レイヤｌａｙｅｒ  Ｌkにあるピクセルを予測できる（Ｓ７４０）。
【０１４６】
Ｓ７４０を介して生成された予測信号ｐｒｅｄ（ｉ、ｊ）は、上記Ｓ７３０で取得された残差信号ｒｅｓ（ｉ、ｊ）に加えられて、上記現在レイヤｌａｙｅｒ  Ｌkにあるピクセルを復元できる（Ｓ７５０）。このように生成された復元信号ｒｅｃ（ｉ、ｊ）は、次のレイヤの予測のために用いられることができる。
【０１４７】
図８は、本発明が適用される実施形態であって、最適な量子化された係数を取得するための量子化処理を説明するフローチャートである。
【０１４８】
本発明は、非直交変換を利用する圧縮方法を提供する。
【０１４９】
ランダムベクトルｘ（Ｎ×１）を考慮しよう。記載上の便宜のために（For notational convenience）、上記コンテキスト予測がｘ内で処理（absorb）されると仮定する。上記ベクトルｘは、列ｇi、ｉ＝１、．．．、Ｎが変換基底（basis）を形成する、上記線形変換Ｇ（Ｎ×Ｎ）を利用して表現される。Ｇは、フルランクであるが、そうでない場合は一般的であると仮定、すなわち、Ｇは必ずしも直交でないことがあり、ｇiは必ずしも単位大きさ（ノルム）でないことがあると仮定する（Assume G is full rank but is otherwise general, i.e., G may be not necessarily orthogonal and g± may be not necessarily unit norm）。
【０１５０】
［数式１８］
ｘ＝Ｇｃ
【０１５１】
数式１８において、ｃ（Ｎ×１）は、変換係数である。上記係数は、 c^ ＝Ｑ（ｃ）が算出されるようにスカラー量子化されることができ、その後でエントロピコーディングされることができ、デコーダに送信されることができる。
【０１５２】
量子化歪みを最小にすることを目標とする非直交基底Ｇに関するスカラー量子化問題は、数式１９のように作成されることができる。
【０１５３】
［数式１９］
｜｜ｘ−Ｇ c^ ｜｜
【０１５４】
本発明は、ビデオコーダとの互換性のために、様々な量子化部に対応できるが、これは、数式２０のように仮定されるであろう。
【０１５５】
【数１２】
0006730191.tif 000013
【０１５６】
数式２０において、ι（Ｎ×１）は、整数のベクトルであり、Λは、量子化部ステップサイズの対角行列、すなわち、ｉ番目のステップサイズλi及びクロネッカーデルタ関数δi,jを用いる場合、Λi,j=λiδi,jである。したがって、数式２１が導出され得る。
【０１５７】
［数式２１］
｜｜ｘ−ＧΛι｜｜
【０１５８】
数式２１は、ιに関する最適解法が整数問題を解決することを要求する格子量子化部（lattice quantize）として認識されることができる。数式１９の解法のための多くの準（部分）（サブ）最適化技法（suboptimal techniques）が提案された。迅速な解法に対応するために、本発明は、それぞれの係数に関して集中するスカラー量子化問題を順に繰り返して解決することと類似した方法を含めることができる。ｉ番目の係数を除き、全ての係数が量子化されたと仮定する。上記エラーベクトルは、数式２２のように定義されることができる。
【０１５９】
【数１３】
0006730191.tif 000014
【０１６０】
整数の制約条件を用いずに（Without the integer constraint）、ｉ番目の係数が数式２３になるように選択することによって歪みが最小にされ得る。
【０１６１】
【数１４】
0006730191.tif 000015
【０１６２】
数式２０における均一逆量子化（uniform de-quantization）処理のために、上記最適な量子化された係数は、数式２４のように取得されることができる。
【０１６３】
【数１５】
0006730191.tif 000016
【０１６４】
これは、下記において説明される量子化アルゴリズムへと導かれることができる。
【０１６５】
エンコーダでは、デコーダに送信する最適な量子化された係数を取得するために、繰り返しシミュレーションを行うことができる（Ｓ８１０）。
【０１６６】
現在量子化された係数が以前に量子化された係数と比較して一定の条件が満たされる場合、上記現在量子化された係数が最適な量子化された係数に決定され得る。例えば、現在量子化された係数をＣnとし、以前に量子化された係数をＣn-1とする場合、上記現在量子化された係数と上記以前に量子化された係数との間の差値（Ｃn-1−Ｃn）が０に収束されるか否かが確認できる（Ｓ８２０）。上記差値（Ｃn-1−Ｃn）が０に収束される場合、上記現在量子化された係数Ｃnを最適な量子化された係数に決定し、これをデコーダに送信することができる（Ｓ８３０）。しかし、上記差値（Ｃn-1−Ｃn）が０に収束されない場合、上記現在量子化された係数Ｃnは、以前のステップ（Ｓ８１０、Ｓ８２０）を繰り返し行うようにリターンされることができる。
【０１６７】
上記一定の条件の他の例として、上記現在量子化された係数と上記以前に量子化された係数との間の差値（Ｃn-1−Ｃn）を特定閾値τと比較することにより、最適な量子化された係数を決定できる。例えば、上記差値（Ｃn-1−Ｃn）が上記特定閾値τより大きい場合、上記現在量子化された係数Ｃnは、以前のステップ（Ｓ８１０、Ｓ８２０）を繰り返し行うようにリターンされることができる。それに対し、上記差値（Ｃn-1−Ｃn）が上記特定閾値τより小さいか、同じである場合、上記現在量子化された係数Ｃnは、最適な量子化された係数に決定されて、デコーダに送信されることができる。
【０１６８】
上記のような動作は、上記図３のエンコーダで行われることができ、例えば、上記最適化部３１０で行われることができる。
【０１６９】
図９は、本発明が適用される実施形態であって、最適な量子化された係数を取得するための量子化処理を具体的に説明するフローチャートである。
【０１７０】
本発明の実施形態によれば、エンコーダは、現在ブロックのピクセル情報、以前にデコードされたブロックのピクセル情報、及び量子化ステップサイズ情報のうち、少なくとも１つに基づいて、最適な量子化された係数を取得できる。これは、上記エンコーダ内の量子化部により行われることができる。
【０１７１】
まず、エンコーダは、上記現在ブロックのピクセル情報及び上記以前にデコードされたブロックのピクセル情報に基づいて初期量子化された係数（initial quantized coefficient）を取得できる（Ｓ９１０）。上記初期量子化された係数は、次の数式２５のように表すことができる。
【０１７２】
［数式２５］
Ｃ0＝Ｇ-1（ｘ−Ｈｙ）
【０１７３】
ここで、Ｃ0は、初期量子化された係数を表し、ｘは、現在ブロックのピクセル情報を表し、ｙは、以前にデコードされたブロックのピクセル情報を表す。ここで、Ｇ、Ｈは、トレーニングセット（training sets）に対して最適化された行列（matrices optimized over training sets）を表す。そして、上記行列Ｇは、非直交変換行列（non-orthogonal transform matrix）を表すことができる。
【０１７４】
上記初期量子化された係数に基づいて、原信号と復元された信号の差を表すエラーベクトルを取得できる（Ｓ９２０）。このとき、上記現在ブロックのピクセル情報ｘ及び上記以前にデコードされたブロックのピクセル情報ｙが利用され得るし、これは、次の数式２６のように表すことができる。
【０１７５】
［数式２６］
ｅn＝ｘ−Ｈｙ−Ｇ  Ｃn-1
【０１７６】
ここで、ｅnは、エラーベクトルを表し、ｎ＝０、１、２、...であり、最適な量子化された係数が取得されるまで繰り返されることができる。このような繰り返し処理（iteration process）のために、一時（臨時）ベクトル（temporary vector）を下記の数式２７のように定義することができる。
【０１７７】
［数式２７］
ｔ＝ｅn＋ｇk  Ｃn-1（ｋ）
【０１７８】
ここで、ｔは、一時ベクトル（temporary vector）を表し、ｇkは、行列Ｇのｋ番目の列（column）のベクトルを表す。そして、Ｃn-1（ｋ）は、（ｎ−１）番目の量子化された係数を表す。
【０１７９】
上記一時ベクトル（temporary vector）ｔと量子化ステップサイズ情報λ（ｋ）とに基づいて、ｎ番目の量子化された係数Ｃnを取得できる（Ｓ９３０）。このとき、次のような数式２８が利用され得る。
【０１８０】
［数式２８］
Ｃn（ｋ）＝λ（ｋ）ｒｏｕｎｄ（ｇkTｔ／λ（ｋ）（ｇkTｇk））
（ｋ＝１、２、...、Ｂ2）
【０１８１】
ここで、λ（ｋ）は、ｋ番目の変換係数のために用いられる量子化ステップサイズ（quantization step size that is to be used for the kth transform coefficient）を表す。
【０１８２】
そして、上記エラーベクトルｅnは、次の数式２９のように更新（アップデート）される（updated）ことができる（Ｓ９４０）。
【０１８３】
［数式２９］
ｅn＋＝ｇk（Ｃn-1（ｋ）−Ｃn（ｋ））
【０１８４】
上記のような処理を介して、ｎ番目の量子化された係数Ｃnが取得される場合、以前に量子化された係数Ｃn-1と比較して一定の条件が満たされるか否かを確認することにより、上記ｎ番目の量子化された係数Ｃnを最適な量子化された係数に決定することができる。例えば、上記ｎ番目の量子化された係数Ｃnと上記以前に量子化された係数Ｃn-1との間の差値（Ｃn-1−Ｃn）が０に収束されるか否かを確認できる（Ｓ９５０）。
【０１８５】
上記差値（Ｃn-1−Ｃn）が０に収束される場合、上記ｎ番目の量子化された係数Ｃnを最適な量子化された係数に決定し、これをデコーダに送信することができる（Ｓ９６０）。しかし、上記差値（Ｃn-1−Ｃn）が０に収束されない場合、上記ｎ番目の量子化された係数Ｃnは、以前のステップを繰り返し行うようにリターンされることができる。
【０１８６】
上記一定の条件の他の例として、上記現在量子化された係数と上記以前に量子化された係数との間の差値（Ｃn-1−Ｃn）を特定閾値τと比較することにより、最適な量子化された係数を決定できる。例えば、次の数式３０のように表すことができる。
【０１８７】
［数式３０］
||Ｃn−Ｃn-1||2＞τ
【０１８８】
上記差値||Ｃn−Ｃn-1||2が上記特定閾値τより大きい場合、上記現在量子化された係数Ｃnは、以前のステップを繰り返し行うようにリターンされることができる。それに対し、上記差値||Ｃn−Ｃn-1||2が上記特定閾値τより小さいか、同じである場合、上記現在量子化された係数Ｃnは、最適な量子化された係数に決定されて、デコーダに送信されることができる。
【０１８９】
図１０は、本発明が適用される実施形態であって、最適な量子化ステップサイズを取得する処理を説明するフローチャートである。
【０１９０】
上記図９において説明したように、エンコーダは、最適な量子化された係数を取得するために量子化を行う処理で、最適な量子化ステップサイズが導出され得る。
【０１９１】
まず、量子化パラメータ値から量子化ステップサイズ情報を取得できる（Ｓ１０１０）。例えば、上記量子化ステップサイズ情報は、次の数式３１のように表すことができる。
【０１９２】
［数式３１］
Δ（ｋ）＝２(QP-4)/6（ｋ＝１、２、...、Ｂ2）
【０１９３】
ここで、Δ（ｋ）は、ｋ番目の量子化ステップサイズを表し、ＱＰは、量子化パラメータを表す。
【０１９４】
一方、最適な量子化された係数を取得するために用いられる行列及びベクトルを初期化できる（Ｓ１０２０）。例えば、上記ベクトル及び行列は、各々次の数式３２及び３３のように表すことができる。
【０１９５】
［数式３２］
ｕ（ｋ）＝１（ｋ＝１、２、...、Ｂ2）
【０１９６】
【数１６】
0006730191.tif 000017
【０１９７】
最適化部では、上記ｋ番目の量子化ステップサイズΔ（ｋ）と上記初期化されたベクトルｕ（ｋ）及び行列
【数１７】
0006730191.tif 000018
とに基づいて最適な量子化ステップサイズを取得できる（Ｓ１０３０）。このとき、ＣＯＮＶＥＸ  ＯＰＴＩＭＩＺＡＴＩＯＮ（凸最適化）アルゴリズムが用いられ得る。
【０１９８】
本発明の実施形態は、最適な量子化ステップサイズを導出する方法を提供できる。
【０１９９】
量子化ステップサイズのレート歪みが最適な設計（Rate-Distortion optimal design）は、レート及び歪みに関する扱いやすい（追跡可能な）表現（tractable expressions）がコーデックに依存し、取得し難いため、一般に難しい問題である。このような実施形態において、ステップサイズのベクトル、λを最適化するために、高いレート近似（high rate approximations）が使用され得る。
【０２００】
イメージ及びビデオコーダが成功する、上記変換コーディング方法（recipe）は、スカラーエントロピコーダを活用する（The transform coding recipe followed by successful image and video coders utilize scalar entropy coders）。したがって、
【数１８】
0006730191.tif 000019
に量子化された係数を伝達するために要求されるレートは、数式３４のように近似され得る。
【０２０１】
【数１９】
0006730191.tif 000020
【０２０２】
数式３４において、Ｈ（）は、エントロピを表す。係数
【数２０】
0006730191.tif 000021
は、ステップサイズλiを用いてスカラー量子化されるので、高いビットレートで近似がなされ得る。
【０２０３】
【数２１】
0006730191.tif 000022
【０２０４】
数式３５において、ｈ（ｃi）は、連続的な値の係数の微分（differential）エントロピである。したがって、レート制約条件を満たすために、数式３６が要求され得る。
【０２０５】
【数２２】
0006730191.tif 000023
【０２０６】
Ｇが正規直交である場合、λに関する平均歪みに対する簡単な近似は、
【数２３】
0006730191.tif 000024
になるであろうし、これは、均一に分布された量子化エラーを仮定して取得される。
【０２０７】
非直交Ｇを用いる場合、信号ドメインと係数ドメインとの歪みは同一でなく、このような近似を使用できない。全ての量子化がゼロ平均（zero mean）であると仮定する。信号ドメインの平均歪み（signal domain average distortion）は、数式３７として作成されることができ、ここで、Ｅ［］は、期待値（平均）（expectation）を表し、Ｔｒ（．）は、行列の対角成分の和（対角合計）（trace）である。
【数２４】
0006730191.tif 000025
を用いて、数式３７が取得され得る。
【０２０８】
【数２５】
0006730191.tif 000026
【０２０９】
数式３７において、
【数２６】
0006730191.tif 000027
は、係数ドメインエラーを表すように設定される。係数ドメインエラーが逆相関（decorrelate）される場合、すなわち、Ｅ［ｐｐT］が対角成分πi、ｉ＝１、...Ｎを有する対角行列である（is diagonal with diagonal entries πi, i =1）と仮定する場合、簡単な代数学によって、数式３８が算出される。
【０２１０】
【数２７】
0006730191.tif 000028
【０２１１】
上記量子化は、上記量子化アルゴリズムを介して行われるので、式（form）  π＝λi2／１２の近似は有効でない。Πをλと関連付けるために、上記量子化アルゴリズムにより導出される丸め誤差（ラウンドエラー）（rounding error）に集中しよう（let us concentrate on）。収束点で、数式３９が取得され得る。
【０２１２】
【数２８】
0006730191.tif 000029
【０２１３】
数式３９は、次を満たす丸め誤差を導き、
【数２９】
0006730191.tif 000030
【数３０】
0006730191.tif 000031
に設定され、上記丸め誤差が均一であると仮定する場合、数式４０が取得され得る。
【０２１４】
【数３１】
0006730191.tif 000032
【０２１５】
【数３２】
0006730191.tif 000033
【０２１６】
【数３３】
0006730191.tif 000034
【０２１７】
【数３４】
0006730191.tif 000035
【０２１８】
【数３５】
0006730191.tif 000036
【０２１９】
数式４２の対角成分を考慮すると、数式４３が導出され得る。
【０２２０】
【数３６】
0006730191.tif 000037
【０２２１】
【数３７】
0006730191.tif 000038
は、行列成分が各々Ｇ及びＨの２乗になるようにする行列を表すとしよう。数式３８及び４３は、数式４４となる。
【０２２２】
【数３８】
0006730191.tif 000039
【０２２３】
数式４４において、ｕは、全て−１であるベクトル（vector of all-ones）であり、
【数３９】
0006730191.tif 000040
【０２２４】
したがって、数式４５が取得され得る。
【０２２５】
【数４０】
0006730191.tif 000041
【０２２６】
上記最適化は、レートの制約条件下の歪み（数式４５）の平均を最小にする式で与えられ、数式４６を取得することができる（The optimization can be put in the form of the minimization of average distortion (equation 45) subject to the rate constraint to obtain equation 46）。
【０２２７】
【数４１】
0006730191.tif 000042
【０２２８】
数式４６において、γは、ラグランジュ乗数（Lagrange multiplier）である。数式４６の最適化によって、下記の数式４７が算出される。
【０２２９】
【数４２】
0006730191.tif 000043
【０２３０】
図１１及び図１２は、本発明が適用される実施形態であって、図１１は、本発明が適用されたテストイメージを示し、図１２は、テストイメージに対するレートゲイン（rate gain）のパーセンテージを示す。
【０２３１】
前述したように、本発明は、予測された信号とともに変換コーディングされた信号を用いてビデオ信号を非因果的に（non-causally）予測することにより、エッジ及び方向性構造（edge and directional structure）を有する信号に対してより効率的にコーディングすることができる。
【０２３２】
本シミュレーションでは、ブロック内の１ピクセルの厚さのレイヤに対するイントラ予測が行われ、上記図３〜図１０において説明した予測処理及び量子化処理が適用された。
【０２３３】
上記図１１は、（ａ）〜（ｆ）までの６個のテストイメージを示し、上記６個のイメージはそれぞれのイメージ特性を有する。
【０２３４】
上記６個のテストイメージは、他の一般的なイメージよりエッジ又は方向特異性（edge or directional singularity）のうち、少なくとも１つが明確に現れる信号であるとみることができる。
【０２３５】
このようなテストイメージに対するレートゲイン（rate gain）を測定した結果、上記図１２（ａ）のような結果を確認できる。すなわち、上記６個のテストイメージの全てに対して既存のコーデックの効率に比べて改良された（向上した）（advanced）効果を確認できる。
【０２３６】
さらに、上記図１１（ａ）、１１（ｂ）、１１（ｅ）のイメージは、残りのイメージの図１１（ｃ）、１１（ｄ）、１１（ｆ）に比べてより方向特異性が目立つことを確認できる。したがって、上記図１２（ａ）のように、上記図１１（ａ）、１１（ｂ）、１１（ｅ）のレートゲイン（rate gain）が相対的により高いことを確認できる。
【０２３７】
同様に、上記図１２（ｂ）のように、ビデオシーケンスに対するシミュレーションの場合にも、既存のコーデックの効率に比べて改良された効果を確認できる。
【０２３８】
図１３は、本発明が適用される実施形態であって、改良された予測コーディング方法を説明するための概略フローチャートである。
【０２３９】
まず、ステップＳ１３１０で上記原映像信号が受信される場合、上記エンコーダは、ステップＳ１３２０で上記原映像信号を利用可能な復元信号と比較することができる。そして、上記エンコーダは、上記比較の結果に基づいて修正信号を決定することができる。
【０２４０】
このような場合において、上記修正信号は、歪み成分とレート成分との合計（sum）を最小にするように決定されることができる。上記歪み成分は、上記原映像信号と復元信号との間の歪みの総和（total distortion）を指示し、そして、上記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する。修正信号を決定するために、上記エンコーダは、デコードシミュレーションを行うことができる。
【０２４１】
ステップＳ１３３０において、上記エンコーダは、上記比較の結果に基づいて変換コーディングされた修正信号を生成できる。
【０２４２】
そして、ステップＳ１３４０において、上記エンコーダは、上記変換コーディングされた修正信号及び上記利用可能な復元信号に基づいて予測信号を生成できる。
【０２４３】
それから、ステップＳ１３５０において、上記エンコーダは、上記変換−コーディングされた修正信号を上記予測信号と合算して信号を復元できる。
【０２４４】
図１４は、本発明が適用される実施形態であって、最適な量子化ステップサイズに基づいて量子化を行う方法を説明するための概略フローチャートである。
【０２４５】
本発明は、最適な量子化された係数を取得するために量子化を行う処理で、最適な量子化ステップサイズを導出する方法を提供する。このように導出された量子化ステップサイズに基づいて量子化を行うことができる。
【０２４６】
まず、量子化パラメータ値から量子化ステップサイズ情報を取得でき、このとき、上記量子化ステップサイズ情報は、スケーリングパラメータ（scaling parameter）を意味できる。上記スケーリングパラメータは、ＲＤ（Rate-Distortion）最適化アルゴリズムによって取得されることができる。例えば、上記スケーリングパラメータは、歪み成分（distortion component）とレート成分（rate component）との合計を最小にする値に決定されることができる（Ｓ１４１０）。
【０２４７】
一方、上記図８〜図１０において説明した実施形態によって、変換コーディングされた修正信号（transform-coded correction signal）を取得できる。例えば、上記変換コーディングされた修正信号（transform-coded correction signal）は、最適な変換係数を含むことができる。
【０２４８】
上記Ｓ１４１０ステップで決定されたスケーリングパラメータに基づいて、上記変換コーディングされた修正信号に対して量子化を行うことができる（Ｓ１４２０）。
【０２４９】
このように量子化された係数がエントロピエンコードされて送信されることができる（Ｓ１４３０）。
【０２５０】
図１５及び図１６は、本発明が適用される実施形態であって、量子化エラー制御による改良されたコーディング方法が適用されるエンコーダ及びデコーダの概略ブロック図を示す。
【０２５１】
本発明は、空間的、スペクトル、格子ノーム（norm）の３つの空間で同時に要素（factors）を処理することにより、量子化効果を制御するコーディングパラメータセットを定義する。イメージ圧縮方式の特定タイプ及びトレーニング（training）技術を利用して決定された最適なパラメータを探すことにより、改良された圧縮を提供できる。
【０２５２】
前述した図１では、予測コーディング、変換コーディング、及びハイブリッドコーディングのために必要な全ての要素を含んでいる。
【０２５３】
予測コーディングは、以前にコーディングされた部分を利用して信号要素を予測し、予測された値と実際値との間の差値をコーディングすることを基にする。コーディングされるデータ（イメージ又はビデオフレーム）を表すために、Ｎ次元ベクトルＸを用い、それの予測された値を表すために、ベクトルＰを用いる。このような予測は、復元されたベクトル
【数４３】
0006730191.tif 000044
の過去値から形成されたベクトルｙを用いて算出される。
【０２５４】
まず、予測残差を表す差分ベクトルを下記の数式４８のように計算することができる。
【０２５５】
［数式４８］
ｄ＝ｘ−ｐ（ｙ）
【０２５６】
次に、このような差は、一般にＮ×Ｎ行列Ｔにより表現される直交線形変換を利用してさらに（追加的に）（additionally）変換され（transformed）、その後、ベクトル係数は、エントロピコーディングのための整数に転換される（converted）。
【０２５７】
整数係数を有するベクトルは、ｃにより表示され、次の数式４９のように定義されることができる。
【０２５８】
［数式４９］
ｃ＝Ｑ（Ｔ［ｘ−ｐ］）、ｃi∈Ｚ、ｉ＝１、２、...、Ｎ
【０２５９】
一般に、量子化は、直交スケーリング行列Ｑを用いて行われ、これは、次の数式５０のとおりである。
【０２６０】
［数式５０］
ｃ＝［［ＱＴ（ｘ−ｐ）］］
【０２６１】
ここで、ダブルブラケット（二重角括弧）（double brackets、［［］］）は、次の数式のようにエレメント別の丸め（ラウンド）（per-element rounding）を表す。
【０２６２】
【数４４】
0006730191.tif 000045
【０２６３】
最後に、復元されたベクトル
【数４５】
0006730191.tif 000046
は、次の数式を利用して、エンコーダとデコーダとの両方で計算され得る。
【０２６４】
【数４６】
0006730191.tif 000047
【０２６５】
ここで、
【数４７】
0006730191.tif 000048
は、復元されたベクトル、ｐは、予測ベクトル、Ｔは、変換行列、Ｑは、量子化行列、そしてｃは、変換係数を表す。
【０２６６】
行列ＴがＤＣＴなどの変換により定義されるとき、変換の適用は、残差ベクトルｄのスペクトル成分を計算することとほとんど同一である。したがって、本発明では、対角行列（diagonal matrix）Ｑの他の値を用いることにより、周波数ドメインにおける量子化エラーの分布（分配）（distribution）を変更できる。
【０２６７】
イメージ又はビデオブロックのベクトル内の全てのエレメントがインターブロック予測時に同じ方式で利用されることはできない。したがって、ブロック境界に存在するいくつかの要素のエラーのため、予測精度が顕著に減少することがある。
【０２６８】
そして、ＤＣＴのような線形変換は、独立してベクトルに適用されるとき、ブロック境界でブロッキング（ブロック）アーチファクト（blocking artifact）を生成することがある。
【０２６９】
これは、ブロックの他の部分で発生するエラー毎に互いに重要度が異なるということと関連がある。本発明は、空間ドメイン上で量子化エラーをより細かく制御する方法を提供することにより、ブロッキングアーチファクトを軽減させることができる。しかし、対角行列（diagonal matrix）Ｑを用いたアプローチは、単に周波数ドメインでの制御のみを可能とする。したがって、本発明は、空間ドメインと周波数ドメインとの両方で量子化エラーを制御できるようにすることにより、上記のような問題を解決できる。
【０２７０】
図１５に示すように、本発明が適用されるエンコーダ１５００は、最適化部１５２０、逆量子化部１５３０、逆変換部１５４０、バッファ１５５０、予測部１５６０、及びエントロピエンコード部１５７０を備えることができる。ここで、上記逆変換部１５４０は、空間スケーリング部１５４５を備えることができる。
【０２７１】
図１５のエンコーダ１５００をみると、最適化部１５２０では、最適な量子化された変換係数を取得できる。
【０２７２】
まず、上記最適化部１５２０は、トレーニングステップを介して最適な量子化された変換係数を取得できる。例えば、上記最適化部１５２０は、ＲＤ（Rate-Distortion）の観点において、対角行列Ｓ、Ｗ、Ｑの最適セットを計算できる。
【０２７３】
本発明は、空間ドメイン上のスケーリングファクタである、さらに他の対角行列（diagonal matrix）Ｓを追加する方法を提供する。この場合、信号復元のための処理は、次の数式５３のように変更され得る。
【０２７４】
［数式５３］
ｘ＝ｐ＋ＳＴ-1Ｑ-1ｃ
【０２７５】
これは、数式３のように単純な丸め（rounding）を用いて最適な変換係数を計算するようにする直交条件（orthogonal condition）を変更できる。したがって、本発明は、最適な変換係数を次の数式５４に基づいて計算することができる。
【０２７６】
【数４８】
0006730191.tif 000049
【０２７７】
ここで、Ｗは、空間ドメイン上でエラーの重要度を区別するために用いられるさらに他の対角行列を表す。
【０２７８】
また、上記対角行列Ｓ、Ｗ、Ｑの最適なセットを探すために、本発明は、平均２乗誤差（Mean Squared Error；ＭＳＥ）などの客観的な歪み測定、又はブロッキングアーチファクトの可視性（視感度）（visibility）などの主観的要素を含むさらに他の歪み測定を利用できる。
【０２７９】
そして、イメージ又はビデオフレームをコーディングする前に、付加情報（side information）として対角行列Ｓ、Ｗ、Ｑの値をエンコードできる。このとき、デコーダにより認識可能な適切なプロトコルが利用され得る。
【０２８０】
逆量子化部１５３０は、最適な量子化された変換係数に逆量子化を行って変換係数を取得できる。
【０２８１】
上記逆変換部１５４０は、上記変換係数に逆変換を行うことにより、予測エラーベクトルを取得できる。このとき、上記逆変換は、スケール直交行列Ｓを含むことができる。このように、空間ドメイン上でスケーリング行列を追加することにより、空間ドメイン上でも量子化エラーを制御できる。
【０２８２】
上記スケール直交行列Ｓによるスケーリングは、上記逆変換部１５４０内の空間スケーリング部１５４５で行われることができる。また、上記空間スケーリング部１５４５は、上記逆変換部１５４０による逆変換処理後に位置することもできる。
【０２８３】
上記取得された予測エラーベクトルを予測部１５６０から出力された予測信号（prediction signal）に加えることにより、復元信号（reconstructed signal）が生成され得る。
【０２８４】
バッファ１５５０は、上記予測部１５６０による今後の参照（future reference）のために上記復元信号を記憶し、上記予測部１５６０は、上記バッファ１５５０に記憶された以前に復元された信号（previously reconstructed signal）を用いて予測信号（prediction signal）を生成する。
【０２８５】
一方、上記最適化部１５２０から取得された最適な量子化された変換係数は、エントロピエンコード部１５７０に送信され、上記エントロピエンコード部１５７０は、上記最適な量子化された変換係数をエントロピエンコードして出力することができる。
【０２８６】
図１６に示すように、本発明が適用されるデコーダ１６００は、エントロピデコード部１６１０、逆量子化部１６２０、逆変換部１６３０、バッファ１６４０、及び予測部１６５０を備えることができる。ここで、上記逆変換部１６３０は、空間スケーリング部１６３５を備えることができる。
【０２８７】
図１６のデコーダ１６００は、上記図１５のエンコーダ１５００から出力された信号を受信し、受信された信号は、エントロピデコード部１６１０を介してエントロピデコードされる。
【０２８８】
逆量子化部１６２０では、量子化ステップサイズ情報を利用してエントロピデコードされた信号から変換係数を取得し、逆変換部１６３０では、上記変換係数を逆変換して予測エラーを取得する。このとき、上記逆変換は、スケール直交行列Ｓを含むことができる。
【０２８９】
上記スケール直交行列Ｓによるスケーリングは、上記逆変換部１６３０内の空間スケーリング部１６３５で行われることができる。上記空間スケーリング部１６３５は、上記逆変換部１６３０による逆変換処理後に位置することもできる。また、上記図１５において説明した実施形態が適用され得る。
【０２９０】
上記取得された予測エラーを上記予測部１６５０から出力された予測信号（prediction signal）に加えることにより、復元信号（reconstructed signal）が生成される。
【０２９１】
バッファ１６４０は、予測部１６５０による今後の参照（future reference）のために上記復元信号を記憶し、上記予測部１６５０は、上記バッファ１６４０に記憶された以前に復元された信号（previously reconstructed signal）を用いて予測信号（prediction signal）を生成できる。
【０２９２】
図１７は、本発明が適用される実施形態であって、ＲＤ（Rate-Distortion）の最適化処理を介してスケーリング対角行列（scaling diagonal matrix）を取得する処理を説明するフローチャートである。
【０２９３】
数式４６により定義されるコーディングの式において、ｃ∈ＺN、すなわち、コーディングされるデータのベクトルが整数値のみを有することができるので、近似されたピクセルの再生（reproduction）値が取得され得る。
【０２９４】
本発明は、付加的なエラーベクトルｅを定義し、統計的方法を使用する近似をモデル化できる。
【０２９５】
［数式５５］
Ｔ-1Ｑ-1ｃ＝ｘ−ｐ＋ｅ
【０２９６】
ｃの各成分の丸め誤差は、上記直交行列Ｔによる掛け算を介して結合されることができる。高いレート近似に対し、ｅの成分は、ゼロ平均及び同じ分散（variance）を有する、独立したランダムガウス変数であると仮定することができる。したがって、数式４６から取得された値によって、数式５６が算出される。
【０２９７】
【数４９】
0006730191.tif 000050
【０２９８】
数式５６は、エラーがブロック内の全てのピクセルに対してほぼ同じ分布を有するということを意味する。
【０２９９】
数式５７により定義される新しい処理方式を利用して、残差値のｘ−ｐは、適切な再生を取得するために、Ｓ−１だけ予めスケーリング（pre-scale）される。
【０３００】
［数式５７］
Ｓ  Ｔ-1Ｑ-1ｃ＝Ｓ［Ｓ-1（ｘ−ｐ）＋ｅ］
【０３０１】
ｅの成分は、ゼロ平均及び同じ分散を有する、独立したランダムガウス変数である。
【０３０２】
しかし、このような場合において、数式５８により与えられるピクセルが再生された。
【０３０３】
【数５０】
0006730191.tif 000051
【０３０４】
数式５２は、現在、各ピクセルでのエラーが対角行列Ｓにおけるスケーリング要素に比例して相違した分散を有することを意味する。したがって、Ｓi,iのより大きい値は、相対的により大きいエラー分散を発生させ、その逆も成立する。
【０３０５】
下記において、本発明のさらに詳細な説明が提示される。例えば、本発明は、予め定義されたビデオセグメント、例えば、コーディング部、フレーム、タイル、スライスなどに対して適用されることができる。
【０３０６】
エンコーダにおいて、次のステップにしたがって本発明が行われ得る。
【０３０７】
まず、上記エンコーダは、上記セグメント内のコーディングピクセルブロックに対して使用される行列Ｓ、Ｗ、及びＱを選択できる。
【０３０８】
次に、各セグメント内のピクセルをコーディングする前に、上記エンコーダは、行列Ｓ及びＱに関する情報を圧縮されたビットストリームに付加することができる。例えば、Ｔは仮定された定数であり、Ｗは、上記エンコーダによってのみ使用される。
【０３０９】
それから、各ピクセルブロックに対して、上記エンコーダは、上記最適ベクトルｃ∈ＺNを探すことができ、その値をエントロピコーディングし、これを上記圧縮されたビットストリップに付加する。
【０３１０】
デコーダにおいて、本発明は、次のステップにしたがって行われ得る。
【０３１１】
まず、各セグメントでピクセルをデコードする前に、上記デコーダは、上記行列Ｓ及びＱに関する情報を上記圧縮されたビットストリームから読み取ることができる。
【０３１２】
それから、各ピクセルブロックに対して、上記デコーダは、上記ベクトルｃ∈ＺNをエントロピデコードすることができ、数式５９を利用して復元されたピクセル値を計算する。
【０３１３】
【数５１】
0006730191.tif 000052
【０３１４】
本発明の実施形態は、レート歪み（ＲＤ）の最適化処理を介してスケーリング対角行列を取得する処理を提供する。
【０３１５】
まず、エンコーダは、トレーニングを介してＲＤ（Rate-Distortion）最適化処理を行うことができる（Ｓ１７１０）。例えば、このようなＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）最適化処理は、上記最適化部１５２０により行われることができる。
【０３１６】
上記ＲＤ（Rate-Distortion）最適化処理を介して、対角行列Ｓ、Ｗ、Ｑの最適セットを計算できる（Ｓ１７２０）。
【０３１７】
上記対角行列Ｓ、Ｗ、Ｑの値を付加情報（side information）としてエンコードすることができる（Ｓ１７３０）。
【０３１８】
その後、上記図１５及び図１６において記載した処理によって、ビデオ信号をエンコード又はデコードすることができる（Ｓ１７４０）。
【０３１９】
例えば、上記対角行列のうち、スケーリング対角行列Ｓは、エンコーダ１５００の逆変換部１５４０又はデコーダ１６００の逆変換部１６３０で用いられることにより、空間ドメイン上でも量子化エラーを制御できる。
【０３２０】
図１８は、本発明が適用される実施形態であって、最適化されたスケーリング行列を用いてコーディングした場合と既存の方式のとおりにコーディングした場合とにおいて、各イメージのコーディングゲイン（coding gain）を比較するグラフである。
【０３２１】
上記図１８は、エラー伝達の制御とコーディングゲインとの関係を図示することができる。
【０３２２】
グラフ上の点線は、一般的なコーデックのコーディングゲインを示し、実線は、最適な対角行列を用いたときのコーディングゲインを示す。
【０３２３】
本実施形態の場合、平面予測（planar prediction）及び４×４ＤＣＴを用いた場合である。３個のテストイメージ、「Ｗｏｍａｎ」、「Ｂｉｋｅ」、「Ｃａｆｅ」において全て、最適な対角行列を用いたとき、より良好なコーディング効率見られる点を確認できる。
【０３２４】
これは、本発明の一実施形態であり、上記で言及した条件に限定されず、他の条件の実施形態にも適用可能である。
【０３２５】
図１９及び図２０は、本発明が適用される実施形態であって、各々改良されたコーディング方法が適用されるエンコーダ及びデコーダの概略ブロック図を示す。
【０３２６】
図１９のエンコーダ１９００は、最適化部１９１０、量子化部１９２０、及びエントロピエンコード部１９３０を備える。図２０のデコーダ２０００は、エントロピデコード部２０１０、逆量子化部２０２０、逆変換部２０３０、及び復元部２０４０を備える。
【０３２７】
図１９の上記エンコーダ１９００を参照すると、上記最適化部１９１０は、最適化された変換コーディングされた修正信号を取得する。上記最適化部１９１０は、最適化された変換コーディングされた修正信号を取得するために、下記の実施形態を使用できる。
【０３２８】
本発明が適用され得る実施形態を図示するために、まず、信号を復元するための復元関数が次のように定義され得る。
【０３２９】
【数５２】
0006730191.tif 000053
【０３３０】
数式６０において、
【数５３】
0006730191.tif 000054
は、復元信号を表し、ｃは、デコードされた変換コーディング修正信号を表し、ｙは、コンテキスト信号を表す。Ｒ（ｃ、ｙ）は、復元信号を生成するために、ｃ及びｙを用いる復元関数を表す。
【０３３１】
本実施形態において、復元関数は、以前に復元された値と変換コーディングされた修正信号との間の関係として定義され得る。したがって、上記デコードされた修正信号は、上記復元値のみならず、復元処理全体及び復元関数の選択にも影響を及ぼす。
【０３３２】
例えば、修正信号は、次のように定義され得る。
【０３３３】
【数５４】
0006730191.tif 000055
【０３３４】
数式６１において、ｅは、修正信号を表し、ｃは、変換コーディングされた修正信号を表し、Ｔは、変換行列を表す。また、一部の場合において、上記修正信号は、エラー信号又は予測エラー信号を意味できる。
【０３３５】
このような場合において、復元信号は、次のように定義されることができる。
【０３３６】
【数５５】
0006730191.tif 000056
【０３３７】
数式６２において、
【数５６】
0006730191.tif 000057
は、復元信号のｎ番目の成分を表し、ｅは、上記修正信号を表し、ｙは、コンテキスト信号を表す。Ｒnは、復元信号を生成するために、
【数５７】
0006730191.tif 000058
を用いる復元関数を表す。
【０３３８】
一実施形態において、上記復元関数Ｒnは、次のように定義されることができる。
【０３３９】
【数５８】
0006730191.tif 000059
【０３４０】
数式６３において、Ｐnは、予測信号を生成するための上記パラメータの式である１つのタイプの予測関数（a type of prediction function formed of the parameters）を表す。
【０３４１】
例えば、上記予測関数は、メディアン（中央値）関数、ランク次数フィルタと非線形関数との組み合わせ、又は線形関数の組み合わせでありうる（The prediction function may be, for example, a median function, a combination of a rank order filter and a nonlinear function, or a combination of linear functions）。さらに、非線形予測関数Ｐn（）は、相違した（異なる）（different）非線形関数でありうる。
【０３４２】
本発明の他の実施形態において、量子化部１９２０は、上記最適化部１９１０内に含まれることができるか、又は、上記最適化部１９１０は、変換部を含むことができる。
【０３４３】
本発明の他の実施形態において、上記エンコーダ１９００及び上記デコーダ２０００は、上記非線形予測関数を選択するための候補関数の記憶部を含むことができる。
【０３４４】
このような場合において、上記最適化された非線形予測関数は、上記記憶部に記憶された候補関数から選択されることができる。
【０３４５】
最適化された非線形予測関数が前述されたように選択される場合、上記最適化部１９１０は、上記最適化された非線形予測関数を用いて最適化された予測信号を生成できる。そして、上記最適化部１９１０は、上記最適化された予測信号に基づいて最適化された予測エラー信号を生成でき、上記最適化された予測エラー信号に対する変換コーディングを行うことができる。上記最適化部１９１０は、上記変換コーディングを介して変換コーディングされた係数を出力できる。このような場合において、上記変換コーディングされた係数は、最適化された変換係数を意味できる。
【０３４６】
上記出力変換係数は、上記量子化部１９２０に送信される。上記量子化部１９２０は、上記変換係数を量子化し、上記量子化された変換係数を上記エントロピエンコード部１９３０に送信する。
【０３４７】
上記エントロピエンコード部１９３０は、量子化された変換係数に対してエントロピエンコードを行い、圧縮されたビットストリームを出力できる。
【０３４８】
図２０の上記デコーダ２０００は、図１９の上記エンコーダから上記圧縮されたビットストリームを受信することができ、上記エントロピデコード部２０１０を介してエントロピデコードを行うことができ、上記逆量子化部２０２０を介して逆量子化を行うことができる。このような場合において、上記逆量子化部２０２０による信号出力は、最適化された変換係数を意味できる。
【０３４９】
上記逆変換部２０３０は、上記最適化された変換係数を受信し、逆変換処理を行い、逆変換処理を介して予測エラー信号を取得できる。
【０３５０】
上記復元部２０４０は、予測エラー信号と予測信号とを共に合算して復元信号を取得できる。このような場合において、図１９を参照して記述される様々な実施形態が、上記予測信号に適用され得る。
【０３５１】
図２１は、本発明が適用される実施形態であって、改良されたビデオコーディング方法を説明するための概略フローチャートである。
【０３５２】
まず、ステップＳ２１１０で上記原映像信号が受信される場合、ステップＳ２１２０において、上記エンコーダは、上記原映像信号を利用可能な復元信号と比較することができる。そして、ステップＳ２１３０において、上記エンコーダは、上記比較の結果に基づいて修正信号を決定できる。
【０３５３】
このような場合において、歪み成分とレート成分との合計を最小にするために、上記予測信号が決定され得る。上記歪み成分は、上記原映像信号と復元信号との間の歪みの総和を指示し、上記レート成分は、量子化された係数を送信するために要求されるビットの数を指示する。修正信号を決定するために、上記エンコーダは、デコードシミュレーションを行うことができる。
【０３５４】
本発明は、上記信号復元のために使用される復元関数を決定するステップをさらに含むことができ、上記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを含む。
【０３５５】
そして、上記復元関数は、上記以前に復元されたサンプル及び上記修正信号の全てに基づいて決定されることができる。
【０３５６】
それから、ステップＳ２１４０において、上記エンコーダは、信号復元のために送信される変換コーディングされた修正信号を生成できる。ここで、上記変換−コーディングされた修正信号は、逆量子化行列及び逆変換行列により掛けられることができ、ビットレート及び量子化エラーを制御するために、上記逆量子化行列が選択され得る。
【０３５７】
さらに、上記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応でき、時空間変換コーディングが上記修正信号に印加され得る。
【０３５８】
本発明の一実施形態によれば、上記デコーダは、本発明により取得された変換コーディングされた修正信号を含むビットストリームを受信することができ、上記エントロピデコード部を介してエントロピデコードを行うことができ、上記逆量子化部を介して逆量子化を行うことができ、上記逆変換部を介して逆変換を行うことができる。上記デコーダは、上記変換コーディングされた修正信号に対して逆変換を行い、修正信号を取得できる。
【０３５９】
それから、上記デコーダは、上記取得された修正信号とコンテキスト信号とを結合する復元関数を用いて復元信号を取得できる。ここで、上記コンテキスト信号は、以前に復元されたサンプルの全てに基づいて取得され得る。
【０３６０】
さらに、上記デコーダは、上記信号復元のために使用される復元関数を決定でき、上記復元関数は、線形成分及び非線形成分のうち、少なくとも１つを含むことができる。ここで、上記復元関数は、上記以前に復元されたサンプル及び上記修正信号の全てに基づいて決定されることができる。
【０３６１】
上記変換コーディングされた修正信号は、逆量子化行列及び逆変換行列により掛けられることができる。また、上記変換コーディングされた修正信号は、ピクチャグループに対する修正信号に対応でき、時空間変換コーディングが上記修正信号に印加されている。
【０３６２】
前述されたように、本発明が適用され得る上記デコーダ及び上記エンコーダは、マルチメディア放送送信／受信装置、移動通信端末機、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視カメラ、ビデオチャット装置（video chatting apparatus）、ビデオ通信などのリアルタイム通信装置、移動ストリーミング装置、記憶媒体、カムコーダ、ＶｏＤサービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレコンファレンスビデオ装置、及び医療ビデオ装置内に含まれることができ、ビデオ信号及びデータ信号をコーディングするのに使用されることができる。
【０３６３】
また、本発明が適用され得る上記デコード／エンコード方法は、コンピュータにより実行され得るプログラムの形で製作されて、コンピュータ読み取り可能な記録媒体に記憶されることができる。本発明に係るデータ構造を有するマルチメディアデータは、コンピュータ読み取り可能な記録媒体に記憶されることができる。
【０３６４】
上記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取ることのできるデータが記憶される全ての種類の記憶装置を含む。上記コンピュータ読み取り可能な記録媒体は、例えば、ＢＤ、ＵＳＢ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光学データ記憶装置を含むことができる。また、上記コンピュータ読み取り可能な記録（記憶）媒体は、搬送波（例えば、インタネットを介しての送信）の形で実現される媒体を含む。さらに、上記エンコード方法により生成されたビットストリームがコンピュータ読み取り可能な記録媒体内に記憶されるか、又は有無線通信網を介して送信されることができる。
【産業上の利用可能性】
【０３６５】
本発明の例示的な実施形態は、例示の目的のために開示されたものであり、当該技術分野における通常の知識を有した者は、添付された請求項に開示された本発明の技術的精神及び範囲内で様々な他の実施形態を向上、変更、置き換え、又は付加することができる。
【図１】
0006730191.tif 000060
【図２】
0006730191.tif 000061
【図３】
0006730191.tif 000062
【図４】
0006730191.tif 000063
【図５】
0006730191.tif 000064
【図６】
0006730191.tif 000065
【図７】
0006730191.tif 000066
【図８】
0006730191.tif 000067
【図９】
0006730191.tif 000068
【図１０】
0006730191.tif 000069
【図１１】
0006730191.tif 000070
【図１２】
0006730191.tif 000071
【図１３】
0006730191.tif 000072
【図１４】
0006730191.tif 000073
【図１５】
0006730191.tif 000074
【図１６】
0006730191.tif 000075
【図１７】
0006730191.tif 000076
【図１８】
0006730191.tif 000077
【図１９】
0006730191.tif 000078
【図２０】
0006730191.tif 000079
【図２１】
0006730191.tif 000080