(57)【特許請求の範囲】
【請求項１】
デジタルビデオ画像のブロック方式符号化方法であって、各ブロックにそのブロックが存在するゾーンに依存した特定の解像度が割り当てられ、画像は符号化のための少なくとも低解像度と高解像度とが割り当てられた少なくとも二つのゾーンを有し、符号化には基本レイヤと改良レイヤにわたるスケーラビリティが使用され、変換されたソースデータと再構成された基本レイヤデータとの間の残差が改良レイヤにおいて符号化され、改良レイヤの符号化に係る精度は符号化されるブロックに割り当てられた解像度に依存し、
解像度が異なる画素を有する混合ブロックの改良レイヤデータを計算するため、
符号化データから低解像度の係数ブロックを再構成し、
その係数ブロックを逆変換して低解像度の輝度ブロックを求め、
対応する高解像度のソース輝度ブロックの画素と低解像度の前記輝度ブロックの画素とを選択することにより混合輝度ブロックを計算し、
前記混合輝度ブロックを変換することにより混合係数ブロックを計算して、変換されたソースデータを求める方法。
【請求項２】
基本レイヤデータは低解像度に対応し、改良レイヤデータは高解像度に対応し、低解像度の係数ブロックは基本レイヤデータのみから再構成される、請求項１に記載のブロック方式符号化方法。
【請求項３】
改良レイヤは高解像度に係るデータと低解像度に係るデータとを有し、低解像度の係数ブロックは基本レイヤデータのみから再構成された係数ブロックに低解像度に係る残差データを加えることにより再構成される、請求項１に記載のブロック方式符号化方法。
【請求項４】
一方のゾーンが第１の解像度を有し、他方のゾーンが第１の解像度よりも高い第２の解像度を有する第１及び第２の二つの隣接ゾーンを有する混合ブロックにおいて、第１のゾーンの画素には、第１の解像度と第２の解像度の間にある少なくとも一つの中間解像度が割り当てられることを特徴とする、請求項１記載のブロック方式符号化方法。
【請求項５】
中間解像度は、最低解像度のゾーンを符号化するため使用される量子化幅に依存することを特徴とする、請求項４記載のブロック方式符号化方法。
【請求項６】
第１のゾーンの画素は、第２のゾーンに近ければ近いほど、その解像度が高くなることを特徴とする、請求項４記載のブロック方式符号化方法。
【請求項７】
中間解像度が混合ブロック内にある第１のゾーンの全画素に割り当てられることを特徴とする、請求項４記載のブロック方式符号化方法。
【請求項８】
第１のゾーンの各画素の中間解像度は、その画素の第２のゾーンからの距離の線形関数で表されることを特徴とする、請求項６記載のブロック方式符号化方法。
【請求項９】
混合ブロックを計算するため、画像の画素をゾーンに関連付け、これらの画素に適用される解像度を決めることができるようにゾーンの形状を再現するマスクを使用することを特徴とする、請求項４記載のブロック方式符号化方法。
【請求項１０】
マスクの修正は、マスク値に空間的フィルタリングをすることにより、注目ゾーンを定義するマスク値１と背景ゾーンを定義するマスク値０との間にある値を混合ブロックの画素に割り当てることにより行われることを特徴とする、請求項９記載のブロック方式符号化方法。
【請求項１１】
量子化幅をＰＱとし、第ｉ行第ｊ列に置かれた画素をＰ（ｉ，ｊ）とし、定数をｃで表わし、マスクによって画素Ｐ（ｉ，ｊ）に割り当てられたマスク値をｖ”（ｉ，ｊ）で表わすとき、以下の式、
Ａ（ｉ，ｊ）＝（ＰＱ／ｃ）＋ｖ”（ｉ，ｊ）
によって計算される係数Ａ（ｉ，ｊ）が第ｉ行第ｊ列に置かれた画素（Ｐ（ｉ，ｊ））に割り当てられ、
混合ブロックの各画素Ｐ（ｉ，ｊ）の解像度をＮ（ｉ，ｊ）とし、
Ｚｆｄ（ｉ，ｊ）が画素Ｐ（ｉ，ｊ）が置かれた背景ゾーンに割り当てられた解像度を表わし、Ｚｉｎ（ｉ，ｊ）が背景ゾーンに隣接した注目ゾーンに割り当てられた解像度を表わすとき、解像度Ｎ（ｉ，ｊ）は、
Ｎ（ｉ，ｊ）＝Ａ（ｉ，ｊ）．Ｚｉｎ（ｉ，ｊ）
＋（１−Ａ（ｉ，ｊ））．（Ｚｆｄ（ｉ，ｊ））
によって表わされることを特徴とする、請求項１０記載のブロック方式符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧタイプのブロック方式符号化方法に関する。
【０００２】
【従来の技術】
画像のデジタル伝送は、大量のデータの転送を必要とする。そのため、伝送されるデータ量を減少させ、これにより、伝送速度及び画像の読み取り速度を増加させるため、種々の符号化技術が使用される
ＭＰＥＧ４標準のようなある種の技術は、いわゆる、多重解像度技術を使用する。多重解像度技術の場合、画像に関する符号化情報は、第１の主信号、すなわち、第１のレイヤと、第２の改良（インプルーブメント）信号、すなわち、第２のレイヤとに分割される。
【０００３】
これらの二つのレイヤの獲得法について、図１に示されたＭＰＥＧ４標準を使用するビデオ画像符号器１０の構成図を参照して説明する。
【０００４】
第一に、符号器１０は、符号化されるべき画像１２ｉの信号１２を受信する第１の枝路１１を含む。
【０００５】
信号１２の第１の処理は、この信号１２から、先行画像１２ｊに関して既に伝送された情報を減算することである。この画像間処理は、画像１２ｉが先行画像１２ｊに含まれる情報を用いて符号化されるときに適用される。この演算は、先行画像に関して伝送された情報に対応した信号３４を受信する減算器１４を用いて行なわれる。この信号３４の獲得法について、以下に説明する。
【０００６】
信号１２は信号１６１４に変換され、信号１６１４は変換器１８へ送られる。変換器１８は、空間域（ドメイン）で定義された信号１６１４を、周波数域で定義された信号１６１８に変換する。情報の損失を伴うことなく行なわれるこの演算は、離散コサイン変換、すなわち、ＤＣＴである。
【０００７】
信号１６１８は、量子化幅を決定するこれらの信号のダイナミックレンジを圧縮する量子化器２０へ送られる。この量子化は、信号１６１８の無視できない情報の損失を生じさせる近似を含む。かくして、この量子化演算中に失われた情報は残差と称され、一方、量子化後に維持された情報は基本レイヤを形成する。
【０００８】
換言すると、主情報レイヤは、符号器によって受信されたデータからこの残差を差し引くことにより得られる。残差は、後述の改良レイヤによって与えられる。
【０００９】
符号器２２、たとえば、ハフマン符号器は、伝送されるべき情報量を更に圧縮することができる。
【００１０】
量子化器２０からの出口で、信号１６２０は、量子化器２０の逆関数を実行する逆量子化器２４を含む減算ループへ送られる。この逆量子化演算は、新しい情報の損失を伴うことなく行われる。
【００１１】
信号１６２４は、変換器１８によって実行される関数の逆関数（ＩＤＣＴ）を実行する変換器２６へ供給され、すなわち、変換器２６は、信号１６２４を周波数域から空間域へ変換し、その出力に信号１６２６を生ずる。
【００１２】
この信号１６２６は、メモリ２８及び動き推定器３０へ送られ、次に、減算器１４へ送られる。
【００１３】
信号１６２４は、改良レイヤの枝路３５の一部を形成する減算器３６へも送られる。減算器３６の第２の入力へは、ＤＣＴ変換器１８からの出力信号１６１８が供給される。
【００１４】
この減算器３６は、受信信号１６１８を表わす信号と、送信信号１６２４を表わす信号の減算を実行する。かくして、残差１６３６は、減算器３６の出力で獲得される。
【００１５】
枝路３５は、フレームとして（空間周波数域における）残差を保持するメモリ３８と、いわゆる「精細粒度スケーラビリティ(Fine granularity scalability:FGS)」プロセスと呼ばれる規格に従ってメモリ３８の出力における信号１６３８を改良プレーンに分離する装置４０と、を含む。
【００１６】
各改良プレーンは、互いに相補的であり、かつ、基本レイヤによって送られたデータに対して相補的である残差データを含む。これらのプレーンは、伝送によって生じる解像度の改良の程度に応じた優先度によってランク付けされる。
【００１７】
たとえば、基本レイヤＣ１と、プレーンＰ１、プレーンＰ２、及び、プレーンＰ３の順に優先度でランク付けされた三つのプレーンＰ１、Ｐ２及びＰ３を含む改良レイヤＣ２とからなる画像Ｉを受信した場合を考える。
【００１８】
基本レイヤＣ１を受信した後、この画像Ｉは、指定された解像度で獲得され得る。改良レイヤが改良プレーンＰ１を送信する場合、この画像の解像度は改良される。改良レイヤがプレーンＰ２も送る場合、解像度はより良くなる。最良の解像度は、プレーンＰ３も使用された場合に獲得される。
【００１９】
しかし、解像度の改良は、送信されるプレーンの優先度が低下するのに伴って、目立たなくなる。
【００２０】
このプロセスの場合、画像の解像度が高くなると、送信される改良プレーンの数が増加するので、伝送遅延若しくは読み取り遅延が増大する。
【００２１】
このため、画像の符号化、伝送若しくは読み取りの速度を改良するため、異なる解像度で、すなわち、異なる数の改良プレーンを用いて、全く同一の画像の種々のゾーンを符号化することが公知である。そして、画像の異なるゾーンに対して別々の解像度を適用することが可能である。
【００２２】
画像を符号化、伝送、若しくは、読み取るために要する時間は、注目ゾーンと呼ばれる他のゾーンよりも重要度が低いと考えられる背景ゾーンと呼ばれる画像のゾーンの解像度を低下させることによって短縮される。注目ゾーンは高解像度で維持され、その残差は完全に伝送される。
【００２３】
「高解像度」という用語は、残差が完全に伝送された注目ゾーンの解像度を表すため使用し、「低解像度」という用語は、残差が完全には伝送されない背景ゾーンの解像度を表わすため使用される。
【００２４】
たとえば、全体的に青空を背景にして飛んでいる鳥を表現する画像の場合、空に対応した画像のゾーンの解像度は低下されるが、鳥に関連した画像のゾーンは、高解像度のまま維持され、理論的に、画像の全体的な質を劣化させない。
【００２５】
【発明が解決しようとする課題】
しかし、この処理は常に満足できる結果が得られるとは限らない。特に、このように処理された画像は、注目ゾーンと背景ゾーンの境界で解像度の変則性が生じる。
【００２６】
したがって、本発明は、注目ゾーンと背景ゾーンの境界に解像度の変則性を生じさせることなく、画質の劣化しない画像を生成し得る符号化処理方法の提供を目的とする。本発明は、画素のブロック形式の処理は、幾つかの解像度を含む画像の符号化には不適切である、という観察結果に基づいている。
【００２７】
現実には、ビデオデータは、たとえば、ＭＰＥＧ２標準又はＭＰＥＧ４標準の場合に、８×８画素型の画素ブロックとして符号化され伝送される。
【００２８】
【課題を解決するための手段】
したがって、本発明は、各ブロックにはそのブロックが存在するゾーンに依存した特定の解像度が割り当てられ、画像は異なる解像度が割り当てられた少なくとも二つのゾーンにより構成される、デジタルビデオ画像をブロック形式で符号化するＭＰＥＧタイプの方法に関係する。この方法は、解像度の異なる二つのゾーンに広がる混合ブロックが検出され、混合ブロックの各画素に対応したゾーンは、その指定されたゾーンの解像度が各画素へ割り当てられるように決定される、ことを特徴とする。
【００２９】
一実施例において、この方法は、２段階の処理手順を含む。第１の手順において、画素の混合ブロックは、低解像度によって再構築され、次に、第２の手順において、（先行処理された）最高解像度のブロックからなるゾーンの各画素に高解像度を割り当てることができるマスクを利用する。
【００３０】
本発明によれば、画像の背景ゾーンの全画素は、これらの画素が混合ブロックに含まれるかどうかとは無関係に、同数の改良レイヤを用いて符号化される。
【００３１】
同様に、注目ゾーンの画素は、画像が注目ゾーンに完全に含まれるブロックに属するか、或いは、混合ブロックに属するかどうかとは無関係に、同じ解像度で符号化される。
【００３２】
したがって、同じ解像度が注目ゾーンの全画素と、背景ゾーンの全画素とに割り当てられるので、同じ解像度がブロックの全画素に割り当てられる従来の処理よりも、これらの二つのゾーンの間の境界における（顕著な）欠陥が除去される。
【００３３】
一実施例において、異なる解像度のゾーンを定義するため、画素の色、テクスチャー、明度及び／又は動きの規準による画像セグメンテーションのためのアルゴリズムが利用される。
【００３４】
一実施例によれば、画像の符号化は基本レイヤの符号化と改良レイヤの符号化によって行なわれ、少なくとも一つの低解像度のゾーンである背景ゾーンと、少なくとも一つの高解像度ゾーンである注目ゾーンは、背景ゾーンに属する画素と注目ゾーンに属する画素の改良レイヤの符号化（コーディング）の差によって画像に割り当てられる。
【００３５】
改良レイヤを定めるため、一実施例によれば、最大解像度で符号化された画像と、基本レイヤに従う画像との差が判定される。この差は、改良レイヤを定義するため、完全に、若しくは、部分的に使用される残差の構成要素となる。
【００３６】
さらに、一実施例によれば、画像は、周波数域におけるデータ若しくは係数を用いて、たとえば、コサイン変換型の変換を用いて符号化され、混合ブロックの各画素にそのゾーンに対応した解像度を割り当てるため、周波数域のデータは空間域へ再変換される。次に、解像度の割り当て後に、これらのデータが周波数域へ再変換される。
【００３７】
２段階の手順を有する一実施例において、第１の手順で、混合ブロックはゾーンの最低の解像度が割り当てられ、第２の手順の途中で、最高解像度のゾーンに属するこのブロック中の画素の解像度は増大される。
【００３８】
さらに、一実施例において、最低解像度は、基本レイヤ、又は、基本レイヤと少なくとも一つの改良レイヤとの組み合わせによって獲得される。
【００３９】
一実施例によれば、基本レイヤ及び改良レイヤは別々に決定され、混合画素の解像度の割り当ては、基本レイヤと改良レイヤの両方を考慮して行なわれる。
【００４０】
一実施例において、基本レイヤは、混合ブロックの改良レイヤを決定するために種々の解像度に応じて符号化されたその混合ブロックから減算される。
【００４１】
一方のゾーンが第１の解像度を有し、他方のゾーンが第１の解像度よりも高い第２の解像度を有する第１及び第２の二つの隣接ゾーンからなる混合ブロックに関係した一実施例において、第１のゾーンの画素は、第１の解像度と第２の解像度の間に収まる少なくとも一つの中間解像度が割り当てられる。
【００４２】
一実施例において、中間解像度は、最低解像度のゾーンを符号化するため使用される量子化幅（ＰＱ）に依存する。
【００４３】
一実施例によれば、第１のゾーンの画素（Ｐ（ｉ，ｊ））が第２のゾーンに接近すると、それに応じて、その画素の解像度が高くなる。
【００４４】
さらに、一実施例において、中間解像度は、混合ブロック内にある第１のゾーンの全画素に割り当てられる。
【００４５】
一実施例において、第１のゾーンの各画素の中間解像度は、画素の第２のゾーンからの距離の線形関数で表される。
【００４６】
混合ブロックの検出を実行するため、一実施例によれば、画像の画素をゾーンに関連付け、これらの画素に適用される解像度を決めることができるようにゾーンの形状を再現するマスク（６６）が利用される。このマスクは、
注目ゾーンを定義するマスク値（１）と背景ゾーンを定義するマスク値（２）の間に収まる値（ｖ”（ｉ，ｊ））を、混合ブロックの画素（Ｐ（ｉ，ｊ））に割り当てることによって修正される。
【００４７】
一実施例において、以下の式、
Ａ（ｉ，ｊ）＝（ＰＱ／ｃ）＋ｖ”（ｉ，ｊ）
によって計算される係数Ａ（ｉ，ｊ）は、第ｉ行第ｊ列に置かれた画素（Ｐ（ｉ，ｊ））に割り当てられる。ここで、ｃは定数であり、ｖ”（ｉ，ｊ）は、マスクによって画素Ｐ（ｉ，ｊ）に割り当てられたマスク値である。したがって、混合ブロックの各画素（（Ｐ（ｉ，ｊ））の解像度Ｎ（ｉ，ｊ）は、
0004034092.tif 000002
のように表わされる。式中、Ｚｆｄ（ｉ，ｊ）は、この画素Ｐ（ｉ，ｊ）が置かれた背景ゾーンに割り当てられた解像度を表わし、Ｚｉｎ（ｉ，ｊ）は、この背景ゾーンに隣接した注目ゾーンに割り当てられた解像度を表わす。
【００４８】
また、本発明は、上記のいずれかの一実施例による符号化方法によって獲得された、ブロック方式符号化によるＭＰＥＧタイプのあらゆる画像に関連する。
【００４９】
同様に、本発明は、上記のいずれかの一実施例による符号化方法によって獲得された画像を格納する媒体に関する。
【００５０】
さらに、本発明は、上記のいずれかの一実施例による符号化方法によって獲得され、画像を符号化するデジタルビデオ信号に関する。
【００５１】
本発明の方法は、ＭＰＥＧ符号化に関して一般的に使用されている用語に基づいて説明することも可能である。逆量子化後の画像ブロックは、周波数域では再構成係数ブロックと呼ばれ、逆量子化後の再構成係数ブロックは、空間域では画像ブロック又は再構成画素ブロックと呼ばれる。係数ブロックの解像度は、たとえば、量子化幅の値に対応した符号化の解像度と関連し、再構成画素ブロックの解像度もこの量子化幅に依存する。
【００５２】
かくして、本発明は、基本レイヤのコーディング及び改良レイヤのコーディングを含むソース画像のＭＰＥＧタイプのブロック方式画像符号化方法であって、
改良レイヤは、
ソース画像の解像度よりも低い指定された解像度の低解像度画素ブロックを計算する手順と、
ソース画像のブロック及び対応した低解像度画素ブロックから、マスクの関数として画素を選択する手順と、
係数ブロックを取得するため、得られた画素ブロックに対し変換を実施する手順と、
改良レイヤに関連した係数ブロックを生成するため、得られた係数ブロックを基本レイヤに関連した再構成係数ブロックから減算する手順と、
を用いて獲得されることを特徴とする方法である。
【００５３】
具体的な一態様では、低解像度画素ブロックは、基本レイヤに関連した再構成画素ブロックである。
【００５４】
具体的な一態様では、低解像度画素ブロックは、
基本レイヤに関連した量子化されていない係数のブロックと、基本レイヤに関連した再構成係数ブロックとの間で減算を行なう手順と、
中間ブロックを獲得するためビットプレーンを選択することにより、減算によって得られたブロックの解像度を選択する手順と、
中間ブロックを基本レイヤに関連した再構成係数ブロックに加算する手順と、
加算によって得られたブロックに逆変換を実施する手順と、
によって獲得される。
【００５５】
本発明の他の特徴及び効果は、限定的ではない例として挙げられた本発明の種々の実施例の説明と、添付図面の参照とによって明らかになるであろう。
【００５６】
【発明の実施の形態】
図２には、枝路５０及び枝路５１の二つの部分により構成された符号器４８が示されている。符号器４８の枝路５０は、図１の符号器１０の枝路１１と同一である。したがって、同じ部分を示すためには、同じ参照番号が使用される。
【００５７】
これに対し、分岐５１は、図１の符号器１０の分岐３５とは相違している。特に、異なる数の改良プレーンを用いて、画像の注目ゾーン内にある画素、及び、同じ画像中の背景ゾーンにある画素を符号化することができる装置が異なる。
【００５８】
本発明によれば、この符号化は、混合ブロック内に存在する画素に対しても適用される。混合ブロックは、少なくとも一つの注目ゾーンの画素と、少なくとも一つの背景ゾーンの画素とを含むブロックである。
【００５９】
符号器４８の枝路５１は、図１の符号器１０のメモリ３８と対応したメモリ５４の上流に配置されたデマルチプレクサ５２を含む。デマルチプレクサ又はスイッチ５２は、その切り替え位置に応じて、ピン５２１、５２２及び５２３から放出された信号をメモリ５４に送る。
【００６０】
デマルチプレクサ５２は、多数のソースから発生した信号を、伝送された信号によって符号化された画素ブロックの位置に応じて、メモリ５４へ渡す。メモリ５４の下流には、図１の装置４０と類似した分離装置５６が設けられる。
【００６１】
最初に、全符号化画素ブロックが背景ゾーンに含まれるとき、デマルチプレクサ５２は、ピン５２１をメモリ５４へ連結する。
【００６２】
この場合、スイッチ５２によってブロック伝送された信号１６５７は、このように処理された画素ブロックの残差を符号化するため使用される改良プレーンの数を減少させるプレーン数のコントローラ５７から生ずる。コントローラ５７は、図１の減算器３６と類似した減算器５８から残差を受け取る。コントローラ５７によって与えられる画素は、背景ゾーンに対応する。
【００６３】
注目ゾーンの内部に置かれた画素は、減算器５８によって伝送された信号１６５８をそのまま受け取るピン５２２によって伝送される。
【００６４】
改良レイヤは、注目ゾーンの内部に属する画素に関しては完全に伝送される。この伝送は、図１を用いて既に説明した、従来の多重解像度符号化方式に対応した伝送と類似している。
【００６５】
画像ブロックが注目ゾーンの画素と背景ゾーンの画素とを含む場合、これらの画素は、ピン５２３によって伝送される。ピン５２３は信号１６６０を受け取る。信号１６６０の解像度は、全く同一のブロックに対し、背景ゾーンの一部を形成する画素の場合には背景解像度であり、注目ゾーンの一部を形成する画素の場合には注目ゾーン解像度である。
【００６６】
混合ブロックを符号化するため、この混合ブロックの残差を表現する信号１６５８を最初に使用する。
【００６７】
次に、信号１６５８は、信号１６５８によって表現されるブロックの全画素に対する改良プレーンの数を減少させるコントローラ５７へ伝送される。このコントローラ５７は、背景ブロックへ適用した解像度と同じ解像度をこの混合ブロックに適用し、減少した残差改良レイヤに対する信号１６５７のコーディングを出力する。
【００６８】
この信号１６５７によって搬送される情報は、逆量子化器２４からえられた情報と組み合わされる。この目的のため、結合装置６２が使用され、結合装置６２は、信号１６５７及び信号１６２４を受け取った後、信号１６５７によって搬送された情報と、信号１６２４によって搬送された情報を結合する信号１６６２を送出する。
【００６９】
信号１６２４は基本レイヤを表現し、信号１６５７は低解像度残差を表現し、これらの信号は周波数域における信号であることに注意する必要がある。
【００７０】
したがって、結合装置６２を用いることにより、信号１６６２は、８×８型ブロックの全ての成分画素に対する背景解像度を有する画像に対応した周波数域で生成される。
【００７１】
この信号１６６２は、次に、ＩＤＣＴ（逆離散コサイン変換）演算を実行する変換器６４によって空間域に変換される。変換器６４は、得られた新しい信号を複合器６６へ伝送する。
【００７２】
複合器６６は、ＤＣＴ（離散コサイン変換）変換器１８の上流で入力信号１６１４によって与えられた高解像度信号を受け取る。
【００７３】
高解像度信号１６１４及び低解像度信号１６６４に基づいて、全く同一の混合ブロックに関して、高解像度を注目ゾーンに属する画素へ適用し、低解像度を背景ゾーンに属する画素へ適用するように、マスクを適用することが可能である。
【００７４】
このマスクは、画像の一つ以上の形状を分離することができる画像セグメンテーション演算によって予め獲得される。この目的のため、これらのマスクは、たとえば、色、テクスチャー、及び／又は、動きの規準に基づく形状認識アルゴリズムを使用する。これらのアルゴリズムは、画素スケールの精密な解像度を用いて、空間域で画像セグメンテーションを実行する。これらのセグメンテーション結果は、画像内で表現されたゾーン若しくは対象に対応する。
【００７５】
このようなアルゴリズムは、たとえば、文献：B. Chupeau and E. Francois, "Region-based Motion Estimation for Content-based Video Coding and Indexing", Proc. Int. Conf. on Visual Communication and Image Processing, Perth, Australia, Vol. SPIE 4067, pp.884-893, 2000に記載されている。
【００７６】
かくして、複合器６６によって（マスクを用いて）送出された信号１６６６は、画素の改良レイヤの全体が伝送された注目ゾーンの画素と、解像度が圧縮された背景画素と、を含む混合ブロックを生ずる。
【００７７】
次に、このブロックは、別のＤＣＴ（離散コサイン変換）変換器６８によって変換され、信号１６２４によって表現された伝送レイヤは、減算器６０によって、その変換されたブロックから減算され、信号１６６０が得られる。
【００７８】
この信号１６６０は、注目画素の残差を完全に明確に表現し、一方、背景画素の残差は、より低解像度へ圧縮され、画像のビット数を縮小することが可能である。
【００７９】
全ての背景画素は、同一の解像度を有する。同様に、混合ブロックが存在するにもかかわらず、注目ゾーンの全ての画素は同一の解像度を有する。したがって、解像度の変則性は、ゾーン若しくは対象の間の境界が種々の解像度のレベルに関して完璧に作成されているという意味で、除去される。
【００８０】
本発明は、種々の変形をなし得る。たとえば、注目ゾーンに属する画素に関して改良プレーンの数を制限することが可能である。さらに、複数の注目ゾーン、形状、或いは、対象を考慮することができる。同様に、数通りのタイプのゾーンを使用してもよい。
【００８１】
かくして、画像マスキング演算６６の前にコントローラ５７と類似したプレーンのコントローラを使用することにより、予め定義された二つの解像度レベルの間で平均解像度レベルを定義することが可能である。このプレーンの制御は、空間周波数域で行なわれ、注目ゾーンに専用の新たなＩＤＣＴ（逆離散コサイン変換）を準備する必要がある。
【００８２】
本発明の一変形例において、量子化器が大きい量子化幅を有するという点で叙述の符号器とは異なる符号化を考える。一例として、およそ２５、或いは、２５よりも大きい量子化幅は、１と３１の間で変化する量子化幅を有する符号器に対しては大きい。
【００８３】
この場合、この符号器によって伝送された画像は、背景ゾーンに置かれた画素ブロックのエッジが強調されることを特徴とする解像度の変則性を示すことがわかった。
【００８４】
これらの変則性の原因は、ＤＣＴ係数の量子化中に、高周波数の符号化の欠損によって引き起こされたブロック効果と呼ばれる公知の現象である。この符号化の欠損は、基本レイヤによって伝送される情報を制限する大きい量子化幅によって生じる。
【００８５】
背景ゾーンの画素の解像度は、基本レイヤによって伝送された情報の量に直接的に依存する。したがって、大きい量子化幅は、背景レイヤの画素にブロック効果を生じさせる。
【００８６】
さらに、注目ゾーンの解像度は、改良レイヤのプレーンによって高解像度に維持されていることに注意する必要がある。
【００８７】
本発明のこの実施例において、画像の注目ゾーン付近でのブロック効果は、注目ゾーンの近傍にある背景ゾーンに置かれた画素の解像度を改良することによって低減される。
【００８８】
このようにして、ブロック効果によって生ずる解像度の変則性は、注目ゾーンの近傍で低減される。
【００８９】
より詳しく説明すると、注目ゾーンの近傍にある背景ゾーンに置かれた画素のゾーンの解像度は、修正後のゾーンが背景ゾーンの解像度と注目ゾーンの解像度との間に解像度の勾配を示すように修正される。この修正ゾーンは勾配ゾーンと呼ばれる。
【００９０】
この方法によれば、勾配ゾーンの画素が注目ゾーンの画素の置かれた場所に近づくと、それに応じて、勾配ゾーンの画素の解像度が高くなる。逆に、勾配ゾーンの画素が背景ゾーンの近くに置かれると、それに応じて、勾配ゾーンの画素の解像度が低下する。
【００９１】
注目ゾーン近傍でのブロック効果はかくして低減され、背景ゾーンと注目ゾーンの間のコントラストは軽減される。
【００９２】
この勾配ゾーンを作成するため、上述の複合器６６と類似した機能を用いて実行される処理が使用される。
【００９３】
以下、たとえば、マスクによって画成された単一の注目ゾーンと単一の背景ゾーンとを含む画像を考慮して、この勾配ゾーン作成処理の一例について説明する。この例では、わかりやすくするために１次元だけに関して説明されているが、より多くの次元に関する実施例についても同様に類推できる。
【００９４】
この処理を説明するために、マスクは、このマスクによって処理される画像の各画素へ具体的に割り当てられた値により構成されることを前提にする。
【００９５】
この目的のため、マスクの第ｉ行第ｊ列の値ｖ（ｉ，ｊ）は、このマスクによって処理された画像の第ｉ行第ｊ列の画素Ｐ（ｉ，ｊ）と関連付けられる。マスクの値ｖ（ｉ，ｊ）は、この値ｖ（ｉ，ｊ）と関連付けられた画素Ｐ（ｉ，ｊ）の特性を表わすことになる。本例の場合、使用されるマスクは、値１を、注目ゾーンに置かれた画素と関連付け、値０を、背景ゾーンにある画素と関連付ける。このようにして、複合器は、異なる解像度が適用される画素を決定する。
【００９６】
この処理の第１の手順において、このマスクによって画成された注目ゾーンが拡張される。より詳細には、マスクによって背景ゾーンのある画素へ割り当てられた値０は、このマスクによって画成される注目ゾーンの範囲を拡大するため、値１の注目ゾーンへ修正される。
【００９７】
このため、以下のようにマスクの値ｖ（ｉ，ｊ）を修正するフィルタが利用される。
【００９８】
このフィルタの中心が、背景ゾーンの画素に対応したマスクの値０に置かれたとき、この中心の値は、このフィルタが別の値１の注目ゾーンと重なる場合に、注目ゾーンの値１をこの中心の値に割り当てることによって修正される。
【００９９】
たとえば、１次元フィルタが５個の値の範囲に広がる状況を想定する。そして、１次元フィルタを、
【０１００】
【外１】
0004034092.tif 000003
によって表わす。また、１次元の値ｖ（ｉ，ｊ）により構成されたマスクの一部を以下のように示す。
【０１０１】
【外２】
0004034092.tif 000004
マスクの値（１  １  １  １  １  １  １  １）の第１のブロックは、画像の８画素に延びる注目ゾーンを定義する。マスクの値（１  ０  ０  ０  ０  ０  ０  ０）の第２のブロックは、第１のブロックに連結した１画素の長さの注目ゾーンと、この注目ゾーンに隣接した画像の７画素からなる背景ゾーンとを定義する。第３のブロック（０  ０  ０  ０  ０  ０  ０  ０）は、先に識別された背景ゾーンに隣接した８画素の長さの背景ゾーンを定義する。
【０１０２】
フィルタの中心が、背景ゾーンに対応した値０毎に置かれたとき、中間ブロック（１  ０  ０  ０  ０  ０  ０  ０）の中の２個の値０は、上述の処理によって修正される。より詳細には、以下の二つの図表によって、これらの二つの修正演算を説明する。
【０１０３】
第１の修正演算は以下の通りである。
【０１０４】
【外３】
0004034092.tif 000005
フィルタの中心は、ブロック（１  ０  ０  ０  ０  ０  ０  ０）の中の値ｖ（ｉ，ｊ）が０である場所に置かれ、この値０は、同じブロックの値１に隣接する。
【０１０５】
フィルタは、５個の値の範囲に広がるので、この中心の値０の両側で２個ずつの値を含む。したがって、フィルタは、フィルタの中心が値０に置かれているので、第１のブロック（１  １  １  １  １  １  １  １）に置かれた値１と、同じ中間ブロック（１ ０  ０  ０  ０  ０  ０  ０）に置かれた値１とを対象とする。
【０１０６】
フィルタは少なくとも１個の値１を範囲内に含むので、マスクの中心の値０は値１に変わる。
【０１０７】
第２の修正演算は、以下のように表わされる。
【０１０８】
【外４】
0004034092.tif 000006
フィルタの中心は、第２のブロック（１  ０  ０  ０  ０  ０  ０  ０）の値０の場所に置かれ、この値０は、先に調べた値０に最も近い場所にある。
【０１０９】
フィルタは、５個の値をカバーするので、このフィルタは、値０がフィルタの中心に置かれているので、同じ第２のブロック（１  ０  ０  ０  ０  ０  ０  ０）の中にある値１を含む。
【０１１０】
中心の値０は、値１に修正される。
【０１１１】
したがって、拡張後に、マスクのこの部分の値ｖ’（ｉ，ｊ）は、以下のようになる。
【０１１２】
【外５】
0004034092.tif 000007
本例の場合、拡張ゾーンは、２個の値の範囲に広がることがわかった。このようにして、マスクの修正部分は、注目ゾーンを画像の２画素分の範囲で拡張する。
【０１１３】
次に、注目ゾーンの値１と背景ゾーンの値０の範囲に収まる値ｖ”（ｉ，ｊ）を割り当てるように拡張マスクの値ｖ’（ｉ，ｊ）の修正が行われる。
【０１１４】
この目的のため、５個の値を含む第２の１次元フィルタがこのマスクに適用され、この第２の１次元フィルタの中心が置かれた場所にある値を修正することができる。この第２の１次元フィルタは、次のように表わされる。
【０１１５】
【外６】
0004034092.tif 000008
かくして、このフィルタは、このフィルタによってカバーされた範囲に含まれる値の算術平均と一致する新しい値を中心の値に割り当てる。
【０１１６】
以下の図表を用いて、第２のブロック（１  １  １  ０  ０  ０  ０  ０）の値１に対するこの演算を説明する。
【０１１７】
【外７】
0004034092.tif 000009
フィルタの中心は、第２のブロック（１  １  １  ０  ０  ０  ０  ０）の値ｖ’（ｉ，ｊ）が１である場所に置かれ、この値１は、同じ第２のブロックの最後の値１に隣接する値１である。したがって、このフィルタの範囲に含まれる値ｖ’（ｉ，ｊ）は、１、１、１、１及び０である。
【０１１８】
この中心の値に対するマスクの新しい値ｖ”（ｉ，ｊ）は、これらの５個の値の算術平均として、すなわち、ｖ”（ｉ，ｊ）＝４／５として求められる。
【０１１９】
拡張演算の結果として、この処理によって獲得されるマスク部分の値ｖ”（ｉ，ｊ）は、以下のように表わされる。
【０１２０】
【外８】
0004034092.tif 000010
したがって、この演算が終了したとき、マスクは、値１のｖ”（ｉ，ｊ）を注目ゾーンへ割り当て、値０を背景ゾーンの一部の画素へ割り当て、０と１の間の値を拡張ゾーンと背景ゾーンの一部の画素へ割り当てる。
【０１２１】
本例の場合に、背景ゾーンの値０と注目ゾーンの値１の間の中間値によって表わされる画素のゾーンの幅は、４画素である。
【０１２２】
さらに、勾配ゾーンを判定する際の量子化幅を考慮に入れるため、８×８個の画素の混合ブロックの各画素Ｐ（ｉ，ｊ）に固有の係数Ａ（ｉ，ｊ）は、
Ａ（ｉ，ｊ）＝（ＰＱ／３２）＋ｖ”（ｉ，ｊ）
となるように評価され、式中、ＰＱは、基本レイヤの符号化のために使用され、値が１から３１まで変化する量子化幅を表わし、ｖ”（ｉ，ｊ）は、上述の拡張及びフィルタリングの演算にしたがって個のマスクを処理した後に、マスクによって画素Ｐ（ｉ，ｊ）へ割り当てられた値を表わす。
【０１２３】
ＰＱ／３２＋ｖ”（ｉ，ｊ）が１よりも大きい場合、Ａ（ｉ，ｊ）は１に制限される。
【０１２４】
前述のマスク部分を検討することにより、三つのブロック（１  １  １  １  １  １  １  １）、（１  ０  ０  ０  ０  ０  ０  ０）及び（０  ０  ０  ００  ０  ０  ０）のうちの各ブロックの値は、１次元的に処理された８×８型ブロックの画素と関連付けられる。
【０１２５】
本例の場合、値（１  ０  ０  ０  ０  ０  ０  ０）の第２のブロックだけが、８×８個の画素の混合ブロックと関連付けられた値のブロックであり、ブロック（１  １  １  １  １  １  １  １）及びブロック（０  ０  ０  ０  ０  ００  ０）は、それぞれ、８×８型の注目ゾーン画素ブロック及び背景ゾーン画素ブロックと関連付けられる。
【０１２６】
量子化幅を１６とすることにより、係数Ａ（ｉ，ｊ）は、ブロック（１  ０  ０  ０  ０  ０  ０  ０）の各値に対し、
Ａ（ｉ，ｊ）＝０．５＋ｖ”（ｉ，ｊ）
のように計算される。これにより、得られるブロックは、ブロック（１  １  １
０．９  ０．７  ０．５  ０．５  ０．５）である。
【０１２７】
次に、このブロックの値の一つと関連付けられた各画素Ｐ（ｉ，ｊ）に対し、新しい解像度Ｎ（ｉ，ｊ）が、
0004034092.tif 000011
のように定められる。式中、Ｚｉｎ（ｉ，ｊ）は、注目ゾーンに割り当てられた解像度を表わし、Ｚｆｄ（ｉ，ｊ）は、背景ゾーンに割り当てられた解像度を表わす。
【０１２８】
かくして、背景ゾーン解像度と注目ゾーン解像度の間に入る平均解像度は、初期的に８×８型の混合画素ブロックの背景ゾーンに属していた各画素Ｐ（ｉ，ｊ）に対して定められ、これらの二つの解像度は、量子化幅と、注目ゾーンに対する画素Ｐ（ｉ，ｊ）の位置とに関連した倍率によって重み付けされる。
【０１２９】
初期的に背景ゾーンに属する８×８型混合ブロックの全画素は、背景ゾーンの解像度と注目ゾーンの解像度の中間の解像度をもつことがわかる。これらの画素は、上述の勾配ゾーンを形成する。
【０１３０】
さらに、ブロック効果が起こりそうに無い場合、本発明による方法は、勾配ゾーンの画素に対し、伝送されるべき情報の量を実質的に減少させることに注意する必要がある。
【０１３１】
他の実施例では、大きさ４の量子化幅で符号化された背景ゾーンを考える。この例の場合、解像度が高いので、ブロック効果は起こる可能性が無いと考えられる。
【０１３２】
さらに、本発明の方法に続いて、先に処理したマスクの一部を検討することにより、本例の場合、（１  ０．９２  ０．７２  ０．５２  ０．３２  ０．１２０．１２  ０．１２）に一致する係数Ａ’（ｉ，ｊ）が、混合ブロックと関連した（１  ０  ０  ０  ０  ０  ０  ０）に対し獲得される。
【０１３３】
係数Ａ’（ｉ，ｊ）は、前の例の係数Ａ（ｉ，ｊ）よりも平均的に小さい、ということがわかる。したがって、背景ゾーンの解像度は、本例の方がかなり低くなる。
【０１３４】
換言すると、勾配ゾーンに関して伝送される情報の量は、本例の方が前の例よりも少なくなるので、本例の場合に、ブロック効果が起こる可能性は更に低くなることが考慮される。
【０１３５】
上述の種々の実施例は、種々の解像度が利用される画素のグルーピングを用いて行なわれるあらゆるタイプの画像処理に適用される点が特に重要である。上述の種々の実施例において、画素はブロックにグルーピングされているが、本発明はこのようなグルーピングに限定されることはなく、他の変形例として、本発明による処理演算は、形状又は対象に基づいて実施され得る。したがって、明細書の発明の詳細な説明、並びに、請求項に記載された「ブロック」という用語は、画素のグルーピングの総称であることに注意する必要がある。
【図面の簡単な説明】
【図１】ＭＰＥＧ４標準に準拠した従来の符号化方法を説明する図である。
【図２】本発明による符号化方法を説明する図である。
【符号の説明】
１８    離散コサイン変換器
２０    量子化器
２２    符号器
２４    逆量子化器
２６    変換器
２８    メモリ
３０    動き推定器
４８    符号器
５０，５１    枝路
５２    デマルチプレクサ
５２１，５２２，５２３    ピン
５４    メモリ
５６    分離装置
５７    コントローラ
５８    減算器
６０    減算器
６２    結合装置
６４    変換器
６６    複合器
６８    離散コサイン変換器
【図１】
0004034092.tif 000012
【図２】
0004034092.tif 000013