(57)【特許請求の範囲】
【請求項１】
ディジタル画像は少なくとも１つの画像オブジェクトを有しており、該画像オブジェクトは任意の数のピクセルを有しており、該ピクセルにルミナンス値またはクロミナンス値としての符号化信号が割り当てられており、
前記ピクセルを画像ブロックとしてグループ化し、
画像ブロックのうち画像オブジェクトを有する画像ブロックの画像オブジェクトに属するピクセルに対して符号化信号の直流成分
【数１】
0003798432.tif 000008
ここでＮは画像オブジェクトＢＯに属するピクセルの数であり、ｆ（ｉ、ｊ）は符号化信号の値を表している
を求め、
該直流成分を画像オブジェクトに属する各ピクセルの符号化信号から差し引き、
該直流成分の低減された画像オブジェクトに属するピクセルの符号化信号に対してシェイプアダプティブ変換符号化（ＳＡ-ＤＣＴ）を行う、
ディジタル画像を符号化する方法において、
符号化信号からの直流成分の減算を、画像オブジェクトのエッジを含みかつフレーム内符号化モードで符号化される画像ブロックのみに適用する
ことを特徴とするディジタル画像を符号化する方法。
【請求項２】
位置領域におけるピクセルの符号化信号のエネルギが周波数領域における変換符号化されたピクセルのエネルギに等しくなるようにシェイプアダプティブ変換符号化を行う、請求項１記載の方法。
【請求項３】
変換係数ｃｊをピクセルの符号化信号の差値ｄｊから次の式
【数２】
0003798432.tif 000009
にしたがって形成し、ここでＮはピクセルが含まれている変換すべき画像ベクトルの大きさであり、ＤＣＴ−ＮはＮ×Ｎの大きさの変換マトリクスを表し、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスである、請求項１または２記載の方法。
【請求項４】
直流成分をスケーリングする、請求項１から３までのいずれか１項記載の方法。
【請求項５】
ディジタル画像は少なくとも１つの画像オブジェクトを有しており、該画像オブジェクトは任意の数のピクセルを有しており、該ピクセルにルミナンス値またはクロミナンス値としての符号化信号が割り当てられており、
前記ピクセルは画像ブロックとしてグループ化されており、
画像ブロックのうち画像オブジェクトを有する画像ブロックの画像オブジェクトに属するピクセルに対して符号化信号の直流成分
【数３】
0003798432.tif 000010
ここでＮは画像オブジェクトＢＯに属するピクセルの数であり、ｆ（ｉ、ｊ）は符号化信号の値を表している
が求められており、該直流成分が画像オブジェクトに属する各ピクセルの符号化信号から差し引かれており、該直流成分の低減された画像オブジェクトに属するピクセルの符号化信号に対してシェイプアダプティブ変換符号化が行われた結果の信号から
ディジタル画像を復号化する方法において、
前記シェイプアダプティブ変換符号化された信号のシェイプアダプティブ逆変換符号化を行い、
直流成分と画像オブジェクトに属する各ピクセルの符号化信号とを加算し、
該直流成分と符号化信号との加算を画像オブジェクトのエッジを含みかつフレーム内符号化モードで符号化される画像ブロックのみに適用する
ことを特徴とするディジタル画像を復号化する方法。
【請求項６】
位置領域におけるピクセルの符号化信号のエネルギが周波数領域における変換符号化されたピクセルの変換符号化された信号のエネルギに等しくなるようにシェイプアダプティブ逆変換符号化を行う、請求項５記載の方法。
【請求項７】
変換係数ｃｊからピクセルの符号化信号の差値ｄｊを次の式
【数４】
0003798432.tif 000011
にしたがって形成し、ここでＮはピクセルが含まれている変換すべき画像ベクトルの大きさであり、ＤＣＴ−ＮはＮ×Ｎの大きさの変換マトリクスを表し、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスであり、（・）-1は逆マトリクスを表している、請求項５または６記載の方法。
【請求項８】
直流成分をスケーリングする、請求項５から７までのいずれか１項記載の方法。
【請求項９】
ディジタル画像は少なくとも１つの画像オブジェクトを有しており、該画像オブジェクトは任意の数のピクセルを有しており、該ピクセルにルミナンス値またはクロミナンス値としての符号化信号が割り当てられており、
プロセッサユニットが設けられており、該プロセッサユニットは
ａ）前記ピクセルが画像ブロックとしてグループ化され、
ｂ）画像ブロックのうち画像オブジェクトを有する画像ブロックの画像オブジェクトに属するピクセルに対して符号化信号の直流成分
【数５】
0003798432.tif 000012
ここでＮは画像オブジェクトＢＯに属するピクセルの数であり、ｆ（ｉ、ｊ）は符号化信号の値を表している
が求められ、
ｃ）該直流成分が画像オブジェクトに属する各ピクセルの符号化信号から差し引かれ、
ｄ）該直流成分の低減された画像オブジェクトに属するピクセルの符号化信号に対してシェイプアダプティブ変換符号化（ＳＡ-ＤＣＴ）が行われる
ように構成されている
ディジタル画像を符号化する装置において、
前記プロセッサユニットは、符号化信号からの直流成分の減算を、画像オブジェクトのエッジを含みかつフレーム内符号化モードで符号化される画像ブロックのみに適用するように構成されている
ことを特徴とするディジタル画像を符号化する装置。
【請求項１０】
前記プロセッサユニットは位置領域におけるピクセルの符号化信号のエネルギと周波数領域におけるピクセルの変換符号化された信号のエネルギとを等しくするシェイプアダプティブ変換符号化を行うように構成されている、請求項９記載の装置。
【請求項１１】
前記プロセッサユニットは変換係数ｃｊをピクセルの符号化信号の差値ｄｊから次の式
【数６】
0003798432.tif 000013
にしたがって形成するように構成されており、ここでＮはピクセルが含まれている変換すべき画像ベクトルの大きさであり、ＤＣＴ−ＮはＮ×Ｎの大きさの変換マトリクスを表し、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスである、請求項９または１０記載の装置。
【請求項１２】
前記プロセッサユニットは直流成分をスケーリングするように構成されている、請求項９から１１までのいずれか１項記載の装置。
【請求項１３】
ディジタル画像は少なくとも１つの画像オブジェクトを有しており、該画像オブジェクトは任意の数のピクセルを有しており、該ピクセルにルミナンス値またはクロミナンス値としての符号化信号が割り当てられており、
前記ピクセルは画像ブロックとしてグループ化されており、
画像ブロックのうち画像オブジェクトを有する画像ブロックの画像オブジェクトに属するピクセルに対して符号化信号の直流成分
【数７】
0003798432.tif 000014
ここでＮは画像オブジェクトＢＯに属するピクセルの数であり、ｆ（ｉ、ｊ）は符号化信号の値を表している
が求められており、該直流成分が画像オブジェクトに属する各ピクセルの符号化信号から差し引かれており、該直流成分の低減された画像オブジェクトに属するピクセルの符号化信号に対してシェイプアダプティブ変換符号化が行われた結果の信号から
ディジタル画像を復号化する装置において、
プロセッサユニットが設けられており、該プロセッサユニットは
前記シェイプアダプティブ変換符号化された信号のシェイプアダプティブ逆変換符号化を行い、
直流成分と画像オブジェクトに属する各ピクセルの符号化信号とを加算し、
該直流成分と符号化信号との加算を、画像オブジェクトのエッジを含みかつフレーム内符号化モードで符号化される画像ブロックのみに適用するように構成されている
ことを特徴とするディジタル画像を復号化する装置。
【請求項１４】
前記プロセッサユニットは位置領域におけるピクセルの符号化信号のエネルギと周波数領域におけるピクセルの変換符号化された信号のエネルギとを等しくするシェイプアダプティブ逆変換符号化を行うように構成されている、請求項１３記載の装置。
【請求項１５】
前記プロセッサユニットは変換係数ｃｊからピクセルの符号化信号の差値ｄｊを次の式
【数８】
0003798432.tif 000015
にしたがって形成するように構成されており、ここでＮはピクセルが含まれている変換すべき画像ベクトルの大きさであり、ＤＣＴ−ＮはＮ×Ｎの大きさの変換マトリクスを表し、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスであり、（・）-1は逆マトリクスを表している、請求項１３または１４記載の装置。
【請求項１６】
前記プロセッサユニットは直流成分をスケーリングするように構成されている、請求項１３から１５までのいずれか１項記載の装置。
【請求項１７】
コンピュータのメモリ内にロードされた場合にディジタル画像を符号化する以下の方法ステップを実施可能なプログラムが記憶されている
コンピュータで読み出し可能な記憶媒体において、
前記ディジタル画像は少なくとも１つの画像オブジェクトを有しており、該画像オブジェクトは任意の数のピクセルを有しており、該ピクセルにルミナンス値またはクロミナンス値としての符号化信号が割り当てられており、
ａ）前記ピクセルを画像ブロックとしてグループ化するステップと、
ｂ）該画像ブロックのうち画像オブジェクトを有する画像ブロックの画像オブジェクトに属するピクセルに対して符号化信号の直流成分
【数９】
0003798432.tif 000016
ここでＮは画像オブジェクトＢＯに属するピクセルの数であり、ｆ（ｉ、ｊ）は符号化信号の値を表している
を求めるステップと
ｃ）該直流成分を画像オブジェクトに属する各ピクセルの符号化信号から差し引くステップと
ｄ）該直流成分の低減された画像オブジェクトに属するピクセルの符号化信号に対してシェイプアダプティブ変換符号化を行うステップとが実行され、
該符号化信号からの直流成分の減算は画像オブジェクトのエッジを含みかつフレーム内符号化モードで符号化される画像ブロックのみに適用される
ことを特徴とするコンピュータで読み出し可能な記憶媒体。
【請求項１８】
コンピュータのメモリ内にロードされた場合にディジタル画像を復号化する以下の方法ステップを実施可能なプログラムが記憶されている
コンピュータで読み出し可能な記憶媒体において、
前記ディジタル画像は少なくとも１つの画像オブジェクトを有しており、該画像オブジェクトは任意の数のピクセルを有しており、該ピクセルにルミナンス値またはクロミナンス値としての符号化信号が割り当てられており、
前記ピクセルは画像ブロックとしてグループ化されており、
画像ブロックのうち画像オブジェクトを有する画像ブロックの画像オブジェクトに属するピクセルに対して符号化信号の直流成分
【数１０】
0003798432.tif 000017
ここでＮは画像オブジェクトＢＯに属するピクセルの数であり、ｆ（ｉ、ｊ）は符号化信号の値を表している
が求められており、該直流成分が画像オブジェクトに属する各ピクセルの符号化信号から差し引かれており、該直流成分の低減された画像オブジェクトに属するピクセルの符号化信号に対してシェイプアダプティブ変換符号化（ＳＡ-ＤＣＴ）が行われた結果の信号に対して、
該シェイプアダプティブ変換符号化された信号のシェイプアダプティブ逆変換符号化を行うステップと、
直流成分と画像オブジェクトに属する各ピクセルの符号化信号とを加算するステップとが実行され、
該直流成分と符号化信号との加算は画像オブジェクトのエッジを含みかつフレーム内符号化モードで符号化される画像ブロックのみに適用される
ことを特徴とするコンピュータで読み出し可能な記憶媒体。
【発明の詳細な説明】
【０００１】
本発明は、ディジタル画像を含むビデオデータストリームの符号化および復号化に関する。
【０００２】
画像符号化の標準規格ＭＰＥＧ１、ＭＰＥＧ２、ＪＰＥＧ、Ｈ.２６１、Ｈ.２６３に相応するビデオ信号の符号化はいわゆるブロックベースの画像符号化の方式に基づいている（文献［１］〜［４］を参照）。
【０００３】
ブロックベースの画像符号化では予測符号化および変換符号化の方式が使用されている。
【０００４】
予測のために、予測された画像データを符号化すべき元の画像データから減算することにより差の画像が形成される。ここではいわゆる動き補償予測が使用されており、このために必要な動きの推定ないし見積もりの基礎、および動き補償予測への応用は当業者には周知である（文献［５］を参照）。動きの推定は符号化すべき画像ブロックごとに符号化すべき画像ブロックの画像の各ピクセルに対応しているルミナンス情報（輝度情報とも称する）と、時間的に先行する記憶された画像における同じ形状の領域のルミナンス情報とを比較して行われる。この比較は通常個々のルミナンス値の絶対差を形成することにより行われる。つまり符号化すべき画像ブロックと先行する画像の複数の領域とが比較される。先行の画像を以下先行画像ブロックと称する。差の画像は、画像ブロックのルミナンス値と動きの推定の際に“最も良好に”一致する先行画像ブロックのルミナンス値との差のみを含む。
【０００５】
差の画像に存在している位置的な相関関係、すなわち隣接するピクセル間の相関関係が適切な変換例えば離散コサイン変換ＤＣＴによって利用される。使用された変換符号化から変換符号化係数が得られ、この係数に対して量子化およびエントロピー符号化が行われる。続いて変換符号化係数は受信機へ伝送され、そこで符号化の手法全体が反転した形で実施される。これにより受信機では復号化の実施後、再び直接にピクセルに関する情報を使用可能となる。
【０００６】
また、ブロックベースの画像符号化法では２つの異なる画像符号化モードが区別される。フレーム内符号化モードではそのつど画像全体または適切な画像部分（例えば画像ブロック）が画像のピクセルに対応する全符号化信号とともに符号化および伝送され、いわゆるＩピクチャまたはＩピクチャブロックが符号化されている。フレーム間符号化モードではそのつど時間的に連続する２つの画像の差の画像情報のみが符号化され伝送され、いわゆるＰピクチャまたはＢピクチャ、またはＰピクチャブロックまたはＢピクチャブロックが符号化されている。
【０００７】
符号化信号とは以下では画像のピクセルに対応する輝度情報（ルミナンス情報）または色情報（クロミナンス情報）を意味するものとする。
【０００８】
文献［６］からは、いわゆるオブジェクトベースの画像符号化のための手法が知られる。オブジェクトベースの画像符号化では１つの画像のセグメント分割がその画像に存在している画像オブジェクトに相応に行われる。画像オブジェクトは個別に符号化される。この手法でも同様に動きの推定および変換符号化の手法が使用される。
【０００９】
オブジェクトベースの画像符号化法では、各画像オブジェクトＢＯがまず固定の大きさ、例えば８×８ピクセルを含む画像ブロックＢＰに分解される（図４を参照）。分解後に得られた多数の画像ブロックには画像オブジェクトＢＯの完全な内部に存在しているものもあるが、画像オブジェクトＢＯのオブジェクトエッジＯＫの部分を含む画像ブロックもある。オブジェクトエッジＯＫの少なくとも一部を含む画像ブロックを以下では境界画像ブロックＲＢＢと称する。
【００１０】
分解後、画像オブジェクトＢＯの完全な内部に存在している画像ブロックＢＢは上述のブロックベースの画像符号化法に則って一般的なブロックベースの離散コサイン変換ＤＣＴを用いて変換符号化される。一方、境界画像ブロックＲＢＢは特殊な手法で符号化しなければならない。
【００１１】
境界画像ブロックＲＢＢの符号化に対して、従来２つの基本的な手がかりが存在している。
【００１２】
よく知られているのは、境界画像ブロックＲＢＢ内部の画像オブジェクトＢＯのピクセルの符号化信号を、符号化信号の適切な外挿法を用いて完全な境界画像ブロックＲＢＢの平面へ補足する手法である。この手法はパディングと称される。補足された平面は続いて通常の２次元の離散コサイン変換ＤＣＴにより符号化される。
【００１３】
これに代えて、文献［６］［７］からは、境界画像ブロックＲＢＢ内部の画像オブジェクトＢＯのピクセルの符号化信号を行および列にしたがって別々に変換する手法も知られる。この技術はシェイプアダプティブ変換符号化と称され、ＤＣＴが使用される場合にはシェイプアダプティブＤＣＴと称される（Shape Apaptive ＤＣＴ／ＳＡ-ＤＣＴ）。画像オブジェクトＢＯに対応するＤＣＴ係数は、境界画像ブロックＲＢＢにおける画像オブジェクトＢＯに属さないピクセルがフェードアウトされるように定められる。残りのピクセルＢＰにはまず列ごとに１次元ＤＣＴが適用され、その長さはそれぞれの列の残りのピクセルＢＰの数に相応する。得られたＤＣＴ係数は水平方向に配向され、続いてさらに１次元ＤＣＴが水平方向に相応の長さで行われる。
【００１４】
文献［７］から周知のシェイプアダプティブＤＣＴの式は、次の構造を有する変換マトリクスＤＣＴ-Ｎに基づいている。すなわち
ＤＣＴ-Ｎ（ｐ，ｋ）＝γ・ｃｏｓ［ｐ・（ｋ＋１／２）・π／Ｎ］
ｋ，ｐ＝０→Ｎ−１
ここでγの値はｐ＝０の場合γ＝１／√２であり、他の全ての場合γ＝１である。Ｎは変換されたピクセルを含む変換すべき画像ベクトルの大きさを表しており、ＤＣＴ-ＮはＮ×Ｎの大きさの変換マトリクスを表しており、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスである。
【００１５】
シェイプアダプティブＤＣＴの後、変換すべき画像ブロックの各列は式
ｃｊ＝２・（２／Ｎ）・ＤＣＴ-Ｎ・ｘｊ
により垂直方向で変換され、その後同じ式が得られたデータに水平方向で適用される。
【００１６】
シェイプアダプティブＤＣＴの欠点は、得られる変換係数（スペクトル係数）のいずれも画像オブジェクトＢＯのピクセルＢＰの符号化信号の直流成分を表していないことである。ＤＣ係数と称される直流成分は通常の画像データでは信号エネルギの最大の成分であり、したがって効率的な画像符号化に重要な意義を有している。
【００１７】
したがって本発明の課題は、直流成分を考慮した効率的な符号化および復号化の可能なディジタル画像の符号化および復号化方法および装置を提供することである。
【００１８】
この課題は請求項１、５に記載の方法、請求項９、１３に記載の装置、および請求項１７、１８に記載の記憶媒体を構成することにより解決される。
【００１９】
装置は専用のハードウェアモジュール、例えばディジタル画像処理専用のコンピュータカードであってもよい。このコンピュータカードは以下に説明する符号器ないし復号器の論理ユニットのための専用モジュールを含んでいる。
【００２０】
この方法および装置の利点は、直流成分を個別に求め、それぞれの画像ブロックまたはその一部のこの直流成分を低減することにより、画像の伝送に必要な伝送容量を著しく節約でき、画像データの圧縮の向上を達成できること、また以下に説明する正規直交のシェイプアダプティブＤＣＴのバリエーションを使用できることである。これによりさらに符号化効率が改善され、データレートが等しい場合には画像の品質を著しく向上させることができる。具体的には本発明により、境界画像ブロックごとにこの境界画像ブロックに含まれるピクセルの符号化信号の直流成分を個別に求めて、境界画像ブロックのピクセルの符号化信号からこれを差し引き、これにより符号化効率の向上を達成することができる。
【００２１】
本発明の有利な実施形態は従属請求項に示されている。
【００２２】
符号化方法の実施形態として有利には、位置領域におけるピクセルの符号化信号の信号エネルギが周波数領域におけるピクセルの変換された符号化信号の信号エネルギに等しくなるように変換符号化が行われる。
【００２３】
その際に有利には、変換係数ｃｊをピクセルの符号化信号の差値ｄｊから次の式
【００２４】
【数１１】
0003798432.tif 000002
【００２５】
にしたがって形成する。ここでｄｊは符号化信号と直流成分との間の差値を表しており、ＮはピクセルＢＰが含まれている変換すべき画像ベクトルの大きさを表しており、ＤＣＴ-ＮはスＮ×Ｎの大きさの変換マトリクスを表しており、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスである。
【００２６】
上述の正規直交のシェイプアダプティブＤＣＴの変形により符号化効率が著しく向上する。
【００２７】
復号化方法の実施形態として有利には、位置領域におけるピクセルの符号化信号の信号エネルギが周波数領域におけるピクセルの変換された符号化信号の信号エネルギに等しくなるように逆変換符号化が行われる。
【００２８】
その際に有利には、差値ｄｊを変換係数ｃｊから次の式
【００２９】
【数１２】
0003798432.tif 000003
【００３０】
にしたがって形成する。ここでＮはピクセルｘｊが含まれている変換すべき画像ベクトルの大きさを表しており、ＤＣＴ-ＮはＮ×Ｎの大きさの変換マトリクスを表しており、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスであり、（・）−１はマトリクスの反転を表している。
【００３１】
この方法は、画像オブジェクトのオブジェクトエッジ（以下境界画像ブロックと称する）を含む画像ブロックの符号化に特に適している。
【００３２】
図に本発明の有利な実施例を示し、以下に詳細に説明する。
【００３３】
図１には符号化方法および復号化方法の個々の方法ステップがフローチャートで示されている。図２には画像データの記録、符号化、伝送および復号化のための２つのコンピュータ、カメラおよび伝送媒体を有するコンピュータ装置の概略図が示されている。図３には通常使用されている論理ユニットを用いてブロックベースで画像符号化を行うための一般的な装置の概略図が示されている。図４には画像オブジェクト、画像ブロックおよび境界画像ブロックを有する画像がシンボリックに示されている。
【００３４】
図２には一連の画像Ｂを記録するカメラＫと、接続線路Ｖを介してこの画像が供給される第１のコンピュータＲ１とが示されている。
【００３５】
第１のコンピュータＲ１では画像Ｂのシーケンスの複数の画像がディジタル化され、文献［６］に記載のＭＰＥＧ４規格の手法により符号化される。
【００３６】
第１のコンピュータＲ１は伝送媒体ＵＭ、例えばケーブルまたは無線伝送区間を介して第２のコンピュータＲ２に接続されている。伝送媒体ＵＭを介して第１のコンピュータＲ１によって符号化された画像データは第２のコンピュータＲ２へ伝送され、そこで復号化される。
【００３７】
第１のコンピュータＲ１および第２のコンピュータＲ２はそれぞれ１つずつバスＢＵを介して相互接続されたメモリＳＰおよび計算ユニットＲＥを有している。第１のコンピュータＲ１の計算ユニットＲＥは以下に説明するディジタル画像の符号化の方法ステップを行うように構成されている。第２のコンピュータＲ２の計算ユニットＲＥは、受信された符号化データをＭＰＥＧ２の手法に相応に復号化するように構成されている。第１のコンピュータＲ１および第２のコンピュータＲ２はさらに画像Ｂを表示するためにそれぞれ画面ＢＳを有しており、またコンピュータＲ１、Ｒ２を操作するためのキーポードＴＡ、マウスＭＡを有している。
【００３８】
図４には、ＭＰＥＧ４の範囲で画像Ｂに存在する画像オブジェクトＢＯに相応して画像Ｂのセグメント分割が行われる様子が示されている。画像ＢＯオブジェクトは個々に符号化される。
【００３９】
画像オブジェクトＢＯを符号化するために、この画像オブジェクトＢＯはまず固定の大きさ、この場合には８×８のピクセルＢＰの画像ブロックＢＢに分解される。分解後、得られた画像ブロックの一部は完全に画像オブジェクトＢＯ内部に存在しており、このことは図４に示されている。画像Ｂは少なくとも１つの画像オブジェクトＢＯを有しており、この画像オブジェクトＢＯは画像オブジェクトＢＯのオブジェクトエッジＯＫによって区切られている。
【００４０】
図３には、分解後、完全に画像オブジェクトＢＯ内部に存在する画像ブロックＢＢが上述のブロックベースの画像符号化法に則って通常のブロックベースの離散コサイン変換ＤＣＴを用いて変換符号化される様子が示されている。
【００４１】
画像ブロックＢＢはフレーム内符号化モードまたはフレーム間符号化モードで符号化される。これらのモード間の切換のために２つのスイッチユニットＳＥが設けられている。
【００４２】
フレーム内符号化モードを行うために減算ユニットＳが設けられており、この減算ユニットで画像ブロックＢＢのピクセルＢＰのルミナンス情報から以下に説明する予測された画像ブロックＰＢＢのピクセルのルミナンス情報が差し引かれる。差形成によって生じた差の画像ブロックＤＢＢは変換符号化ＤＣＴのためのユニットへ供給され、このユニットで差の画像ブロックＤＢＢに変換係数ＴＫを形成するための離散コサイン変換ＤＣＴが適用される。変換係数ＴＫは量子化ユニットＱで量子化されてＱＴＫとなる。量子化された変換係数ＱＴＫはエントロピー符号化ＶＬＣのためのユニットへ供給され、このユニットにおいていわゆるランレングス符号化および／またはいわゆる可変長符号化（Variable Length Coding）が行われる。符号化の際に量子化された変換係数ＱＴＫはさらに逆量子化のためのユニットＩＱへ供給される。このユニットで逆量子化された変換係数ＩＱＴＫが形成される。逆変換符号化ＩＤＣＴのためのユニットでは供給された逆量子化済みの変換係数ＩＱＴＫが逆変換される。これにより逆変換係数ＩＴＫが得られ、この係数は加算ユニットＡＥへ供給される。また加算ユニットＡＥにはさらに予測された画像ブロックＰＢＢが供給される。予測された画像ブロックＰＢＢは予測された変換係数を有しており、この係数が逆変換係数ＩＴＫに加算される。ここから得られる再構成された変換係数ＲＴＫがメモリＳＰに記憶される。
【００４３】
メモリＳＰにはそのつど時間的に先行する少なくとも１つの再構成された画像が記憶されている。この先行画像は再構成された変換係数ＲＴＫを有する先行画像ブロックを有している。この係数は先行画像の先行のピクセルＢＰの先行のルミナンス情報を表している。メモリＳＰに記憶された画像は動きの推定のために使用される。動きの推定は動き推定ユニットＢＳＣで行われる。
【００４４】
動きの推定は各画像ブロックＢＢのピクセルＢＰについてそのルミナンス情報と先行の画像のピクセルＢＰのルミナンス情報とを比較することにより行われる。先行画像には先行の画像ブロックとしてグループ化された先行の各ピクセルが使用される。
【００４５】
画像ブロックＢＢに対して画像ブロックＢＢに含まれているピクセルＢＰのルミナンス情報と、画像ブロックＢＢと同じ形状を有する先行の画像の所定の領域でのピクセルのルミナンス情報との絶対差が形成される。この差を以下ではエラーの度合と称する。
【００４６】
エラーの度合は画像ブロックＢＢごとに次の式にしたがって形成される。
【００４７】
【数１３】
0003798432.tif 000004
【００４８】
ここでｉは画像ブロックＢＢ内部の行を一義的に識別するための行インデクスであり、ｊは画像ブロックＢＢ内部の列を一義的に識別するための列インデクスである。ｘｉ，ｊはｉ，ｊによって示される位置に存在する画像ブロックＢＢ内のピクセルＢＰに割り当てられているルミナンス値である。ｙｉｊは画像ブロックＢＢと比較される先行画像の領域内のｉ，ｊによって示される位置に存在する先行のピクセルＢＰに割り当てられているルミナンス値である。
【００４９】
エラーの度合は所定数の先行の画像内部の領域、いわゆるサーチ領域ごとに形成される。
【００５０】
動きの推定の結果として先行の画像Ｂのうちエラーの度合が最小となる領域が予測された画像ブロックＰＢＢとして選択される。なぜならこの領域については画像ブロックＢＢとの一致が最適化されているからである。さらに動きの推定の点で先行の画像の予測された画像ブロックＰＢＢに対する画像ブロックＢＢの位置的なオフセットが求められる。このオフセットを以下では動きベクトルＢＶと称する。
【００５１】
動きの推定に関して先行の画像領域の一義的なアドレシングのためにＡＤＲもメモリＳＰに供給される。動きベクトルＢＶは動きの推定が完全に終了した後メモリＳＰに記憶される。
【００５２】
予測された画像ブロックＰＢＢのピクセルのルミナンス値が減算ユニットＳＥに供給され、これが画像ブロックＢＢのピクセルＢＰのルミナンス値から差し引かれる。
【００５３】
フレーム間符号化モードでは画像ブロックＢＢに完全にＤＣＴが行われ、量子化され、エントロピー符号化される。動きの推定はこのモードでは行われない。
【００５４】
境界画像ブロックＲＢＢは特別な手法で符号化しなければならない。本発明を以下に境界画像ブロックＲＢＢとフレーム内符号化モードとに対して説明する。
【００５５】
図１には本発明の方法の個々のステップを示したフローチャートが示されている。
【００５６】
第１のステップ１０１で、境界画像ブロックＲＢＢはフレーム内符号化モードで変換符号化ＤＣＴのためのユニットへ供給される。
【００５７】
第２のステップ１０２で、変換符号化ＤＣＴのためのユニットにおいて、画像オブジェクトＢＯに所属する境界画像ブロックＲＢＢのピクセルＢＰの符号化信号の直流成分ＤＣが求められる。この直流成分ＤＣは次の式
【００５８】
【数１４】
0003798432.tif 000005
【００５９】
にしたがって形成される。ここでNは境界画像ブロックＲＢＢの画像オブジェクトＢＯに所属するピクセルＢＰの数である。ｆ（ｉ，ｊ）は符号化信号の値を表しており、この値はインデクスｉ，ｊによって示される位置に存在するピクセルＢＰに割り当てられている。
【００６０】
第３のステップ１０３では、求められた直流成分ＤＣが、画像オブジェクトＢＯに属する境界画像ブロックＲＢＢの各ピクセルＢＰの符号化信号から減算される。
【００６１】
ここで符号化信号ｆ（ｉ，ｊ）の差値ｄ（ｉ，ｊ）はそれぞれピクセルごとに境界画像ブロックＲＢＢ内部の位置（ｉ，ｊ）で次の式
ｄ（ｉ，ｊ）＝ｆ（ｉ，ｊ）−ＤＣ  ∀  （ｉ，ｊ）∈ＢＯ
にしたがって形成される。第４のステップ１０４で、差値ｄ（ｉ，ｊ）に対してシェイプアダプティブＤＣＴの変形手法が行われる。差のベクトルｄｊとしてまとめられて変換係数ｃｊがピクセルの符号化信号の差値ｄ（ｉ，ｊ）のベクトルｄｊから次の式
【００６２】
【数１５】
0003798432.tif 000006
【００６３】
で得られる。ここでＮはピクセルＢＰが含まれている変換すべき画像ベクトルの大きさであり、ＤＣＴ−ＮはＮ×Ｎの大きさの変換マトリクスを表しており、ｐ，ｋはｐ，ｋ∈［０，Ｎ−１］で示されるインデクスである。
【００６４】
具体的にはこの変換係数ｃｊを形成するための式は、位置領域におけるピクセルＢＰの符号化信号の信号エネルギが周波数領域におけるピクセルＢＰの変換された符号化信号の信号エネルギに等しいことを意味している。
【００６５】
第５のステップ１０５で、直流成分ＤＣは所定の係数αと乗算され、スケーリングされた直流成分ＤＣ’となる。すなわち
ＤＣ’＝α・ＤＣ
有利には係数α＝ｓｑｒｔ（ｎ）に対する値が導出されている。ここでｎは境界画像ブロックＲＢＢ内の画像オブジェクトＢＯに属するピクセルＢＰの数である。
【００６６】
変換係数ｃｊおよびスケーリングされた直流成分ＤＣ’は第６のステップ１０６で量子化され、第７のステップ１０７でエントロピー符号化が行われる。
【００６７】
第８のステップ１０８で、符号化された画像情報は第１のコンピュータＲ１から第２のコンピュータＲ２へ伝送媒体ＵＭを介して伝送される。
【００６８】
第２のコンピュータＲ２では符号化された画像データが受信され、画像の復号化が次の方法ステップで境界画像ブロックＲＢＢに対して行われる。残りの画像ブロックは通常の符号化法を反転して復号化される。すなわちエントロピー復号化、逆量子化、逆変換、および場合により動き補償が行われる。
【００６９】
各境界画像ブロックＲＢＢに対しても同様に第９のステップ１０９でエントロピー復号化が行われ、第１０のステップ１１０で逆量子化が行われる。
【００７０】
伝送されるスケーリングされた直流成分ＤＣ’から係数αの逆数α−１が乗算されることにより、第１１のステップ１１１で直流成分ＤＣが再構成される。
【００７１】
逆量子化された変換係数ｃｊから第１２のステップ１１２で差値ｄ（ｉ，ｊ）が求められる。差のベクトルｄｊとしてまとめられ、ピクセルの符号化信号の差値ｄ（ｉ，ｊ）のベクトルｄｊが変換係数ｃｊから次の式
【００７２】
【数１６】
0003798432.tif 000007
【００７３】
によって得られる。
【００７４】
第１３のステップ１１３で直流成分ＤＣが再びピクセルの符号化信号の差値ｄ（ｉ，ｊ）に加算され、これによりピクセルの元の符号化信号が再構成され、境界画像ブロックが復号化される。
【００７５】
以下に上述の実施例に代わる手段を示す。
【００７６】
本発明はＭＰＥＧ４による手法に限定されない。本発明はそれぞれオブジェクトベースの画像符号化法に対しても有利には使用可能である。なぜならこの手法では常に境界画像ブロックの符号化ないし復号化の問題が生じるが、本発明によればこの問題がきわめて有利に解決されるからである。
【００７７】
本発明はそれぞれ、それ自体では直流成分を送出しないブロックベースの変換符号化またはオブジェクトベースの変換符号化に対しても使用可能である。例えば離散サイン変換ＤＳＴまたはウェーブレット変換にも使用可能である。
【００７８】
本発明は上述のシェイプアダプティブＤＣＴの実施形態に限定されない。またシェイプアダプティブＤＣＴは変更なしに本発明の範囲において使用できる。
【００７９】
具体的には本発明は境界画像ブロックごとに、この境界画像ブロックに含まれているピクセルの符号化信号の直流成分が個別に求められて、境界画像ブロックのピクセルの符号化信号から差し引かれる点に特徴がある。これにより符号化効率が高められる。
【００８０】
この明細書では次の諸刊行物が引用されている。
［１］D.Le Gall, The Video Compression Standard for Multimedia Applications, Communications of the ACM, Vol.34, No.4, P.47-58, April 1991
［２］G.Wallace, The JPEG Still Picture Compression Standard, Communications of the ACM, Vol.34, No.4, P.31-44, April 1991
［３］Ming Liou, Overview of the px 64kbit/s Video Coding Standard, Communications of the ACM, Vol.34, No.4, P.60-63, April 1991
［４］ITU-T Rec. H.263, Video Coding Low Bitrate Communication, March 1997, P.1-25
［５］A.N.Netravali & J.D.Robbins, Motion Compensated Television Coding: Part I, Bell System Technical Journal, Vol.58, P.631-690, March 1979
［６］ISO/IEC JTC1/SC29/WG11, MPEG-4 Video Verification Model Version 5.0 Doc.1469, P.55-69, Nov.1996
［７］T.Sikora & B.Makai, Shape Adaptive DCT for Generic Coding of Video Technology, Vol.5, P.59-62, Feb.1995
【図１Ａ】
0003798432.tif 000018
【図１Ｂ】
0003798432.tif 000019
【図２】
0003798432.tif 000020
【図４】
0003798432.tif 000021
【図３】
0003798432.tif 000022