(57)【特許請求の範囲】
【請求項１】
ソース画像およびベース画像が、ピクセルからなるブロックから成り、
ベース画像を符号化して生成するベースレイヤ、およびソース画像とベース画像との間に存在する残差を符号化して生成する拡張レイヤによってソース画像を圧縮する装置において、
該装置は、前記拡張レイヤに割り振られるビットの数が、ブロック（ｋ）の復元品質（psnrｋ）の関数であるように、ブロック（ｋ）の拡張レイヤを生成する手段を含んでおり、
前記復元品質は、前記ソース画像における当該ブロックと、前記ベースレイヤを使用して、符号化し、再構成された前記ベース画像における当該ブロックとを比較することによって決定されることを特徴とし、
前記装置は、画像の各ブロックの復元品質を平均することにより得られる画像の平均復元品質（Psnrａｖｇ）を決定するため、および復元品質が該平均品質（Psnrａｖｇ）よりもまたは基準品質（Pnsrｒｅｆ）よりも小さいブロックに、拡張レイヤにおいてより多くのビット数を割り当てるための手段を有し、ここで該基準品質（Pnsrｒｅｆ）は、前記平均品質に基づいて、品質マージンを加算することによって得られる、
ソース画像を圧縮する装置。
【請求項２】
前記装置は、
ブロックｋの復元品質（psnrｋ）と基準品質（psnrｒｅｆ）とを比較して該基準品質（psnrｒｅｆ）を基準にした品質の偏差（δpsnrｋ）を検出する手段、および
当該偏差の関数として拡張レイヤのビット数（NbBitsｋ）を前記ブロックに割り当てる手段を含む、
請求項１に記載の装置。
【請求項３】
前記装置は、拡張レイヤのビット数（NbBitsｋ）を割り当てる手段を有しており、当該の割り当ては、
【数２】
0004806172.tif 000027
前記した比例関係を使用することによって行われ、
ここでthroughputｆｇｓは、画像当たりのビット量であり、前記画像当たりのビット量は、拡張レイヤの列に含まれ、
Δpsnrは、考察するブロックに対して測定される偏差（δpsnrｋ）の総和である、
請求項２に記載の装置。
【請求項４】
前記装置は、拡張レイヤを符号化して生成する手段を有し、ここで当該の生成は、考察する画像に続く１画像においてブロックがこの画像の外に出ることがあることを考慮することよって行われる、
請求項１に記載の装置。
【請求項５】
前記装置は、ピクセルからなるブロックの復元品質（psnr）を推定する手段を含んでおり、ここでこれはアフィンモデリングによって行われて、画像の復元品質（psnr）が線形な形態、すなわち
psnr＝Dpsnr．ｘ＋ｂ
を有するようにし、
ここでDpsnrは定数であり、ブロック当たり0.212dB／ビットに等しく、
ｘはブロック当たりに割り当てられるビット数を表す、
請求項１に記載の装置。
【請求項６】
前記装置は、拡張レイヤを符号化して生成する手段を含み、ここで当該の生成は、画像間予想符号化の場合のように、画像が別の複数の画像を生成するために使用される場合に当該の画像のブロックにより多くのビットを割り当てることによって行われる、
請求項１に記載の装置。
【請求項７】
前記装置は、離散コサイン変換（ＤＣＴ）によってベースレイヤを符号化する手段を含む、
請求項１に記載の装置。
【請求項８】
ソース画像およびベース画像が、ピクセルからなるブロックから成り、
ベース画像を符号化することにより獲得されるベースレイヤ、およびソース画像とベース画像との間に存在する残差を符号化することにより獲得される拡張レイヤによってソース画像を圧縮する方法において、
ブロックの前記拡張レイヤにプロセッサにより割り振られたビットの数がブロック（ｋ）の復元品質（psnrk）の関数であるように、当該ブロック（ｋ）の拡張レイヤを生成し、
ここで、前記復元品質は、プロセッサにより、ソース画像における当該ブロックと、ベース画像における符号化し、再構成された当該ブロックとを比較することによって決定し、
画像の各ブロックの復元品質を平均することにより得られる画像の平均復元品質（Psnrａｖｇ）を決定するため、および復元品質が該平均品質（Psnrａｖｇ）よりもまたは基準品質（Pnsrｒｅｆ）よりも小さいブロックに、拡張レイヤにおいてより多くのビット数を割り当て、ここで該基準品質（Pnsrｒｅｆ）は、前記平均品質に基づいて、品質マージンを加算することによって得られる、
ことを特徴とする
ソース画像を圧縮する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルのソース画像を圧縮する装置および方法に関する。
【背景技術】
【０００２】
ディジタル画像を圧縮することにより、例えば、インターネットのような通信ネットワークを介してこの画像を伝送するために必要なデータの量を低減することが可能である。
【０００３】
ＭＰＥＧ−４（Motion Picture Expert Group 4）標準のような圧縮標準は、いわゆるマルチレイヤ圧縮を使用しており、これによれば画像、いわゆるソース画像は、いわゆるベース画像を符号化するベースレイヤと、またソース画像とこのベース画像との間の偏差または残差を符号化する拡張レイヤとによって圧縮される。
【０００４】
この場合、圧縮画像の伝送は、最初にそのベースレイヤを、つぎにその拡張レイヤをバイナリ列の形で伝送することによって行うことが可能である。
【０００５】
拡張レイヤに関連するバイナリ列は、つぎのように打ち切ることができるという利点を有する。すなわちその伝送が、例えばネットワークにおける伝送スループットが変動した結果、部分的だけにしか行われない場合でも、正しく受信されたバイナリ列の部分で伝送された情報をなお使用して、ベースレイヤによって符号化される画像を強化できるというように打ち切ることができるという利点を有するのである。
【０００６】
これを行うためには、画像を構成するピクセルからなる各ブロックに固有な拡張係数１０１１，１０１２，…１０１ｎを符号化する残差１０１（図１）が、優先度の順序でランク付けされたビットの種々異なるプレーンＭＳＢ，ＭＳＢ−１，ＭＳＢ−２，ＭＳＢ−３およびＬＳＢに分解され、各プレーンＭＳＢ，ＭＳＢ−１，ＭＳＢ−２，ＭＳＢ−３またはＬＳＢは一緒になって、各ブロックに固有な残差の分解と同じ重み付けのビットを構成する。
【０００７】
後で説明するようにこれらの係数１０１１，１０１２，…１０１ｎは、ピクセルからなる８×８ブロックの離散コサイン変換ＤＣＴから得ることができ、ここでこれは、ソース画像すなわち符号化された画像のブロックのＤＣＴ係数と、そのベースレイヤの量子化およびつぎの逆量子化によって処理された画像のＤＣＴ係数との間の差分を評価することによって行われる。
【０００８】
プレーンＭＳＢ，ＭＳＢ−１，ＭＳＢ−２，ＭＳＢ−３またはＬＳＢを連続して伝送するバイナリ列１３０を生成することによって、全体として列の伝送を損なうことなく、この列の伝送を打ち切ることの可能な拡張レイヤを得ることができる。例えば、列１３０の伝送がプレーンＭＳＢ−３の伝送中に妨害されると、すでにプレーンＭＳＢ，ＭＳＢ−１，ＭＳＢ−２によって伝送された情報全体およびＭＳＢ−３の伝送された部分を考慮して、この画像を強化することができるのである。
【０００９】
ＭＰＥＧ４標準の枠組み内で微粒子スケーラビリティ（Fine Granularity Scalability  ＦＧＳ）と称されるこのような手法は、ベース符号の圧縮の効率よりも効率が劣る残差の圧縮が使用されるという欠点を有する。これにより、極めて大きなサイズのベースレイヤによって圧縮の効率を増大させるのと、小さなサイズのベースレイヤによってベースの伝送のセキュリティを向上させるのと間で妥協が行われ得ることになるのである。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の課題は、上に述べた従来公知の装置の欠点を解消した装置および方法を提供することである。
【課題を解決するための手段】
【００１１】
上記の装置についての課題は、本発明の請求項１によって解決される。また上記の方法についての課題は、本発明の請求項１６によって解決される。
【発明を実施するための最良の形態】
【００１２】
本発明は、ベース画像を符号化するベースレイヤ、およびソース画像とこのベース画像との間に存在する残差を符号化する拡張レイヤによってソース画像を圧縮するための装置に関し、ここでこのソース画像およびベース画像は、ピクセルからなるブロックとして構造化されている。この装置の特徴は、この装置が、ブロックの復元品質（quality of restitution）の関数として、および／またはこのピクセルからなるブロックによって符号化される情報の関数として、このブロックの拡張レイヤを生成する手段を含んでおり、ここでこの復元品質は、ソース画像におけるこのブロックの符号化と、ベース画像におけるこのブロックの符号化とを比較することによって決定される。
【００１３】
ベースレイヤに基づいて画像の復元品質をブロック毎に考慮することによって、本発明による装置は、拡張レイヤの生成を最適化することができ、ここでこれは、このブロックの符号化に依存して、拡張レイヤにおいて所定のビット量を各ブロックに割り当てて、最終的に得られる画像が均一な復元品質を有するようにすることによって行われる。
【００１４】
さらに各ブロックの符号化に関連する情報を考慮することによって、本発明による装置は、ベースレイヤの生成を最適化する。ここでこれは、ピクセルからなるブロックにより多くのデータを割り当てることによって行われ、ここでこのピクセルからなるブロックに対して、ベースレイヤの拡張が優先度的に行われる。例えば、このブロックに関連する解像度の欠陥が別のブロックよりも目立つ場合である。
【００１５】
１実施形態では、上記の装置は、例えば、
【００１６】
【数１】
0004806172.tif 000002
のような式によってブロック（ｋ）の復元品質を決定する手段を含んでおり、ここで（ｉ，ｊ）は考察するブロック（ｋ）のピクセルの座標を表し、ここでこのブロックは、ソース画像（blockｓｏｕｒｃｅ）またはベースレイヤによって符号化されるベース画像（block,ｒｅｃ）における例えばサイズ８×８のブロックであり、Ｌは画像の最大輝度の値を表し、例えば、２５５に等しい。
【００１７】
１実施形態によれば、上記の装置は、画像の平均復元品質Psnrａｖｇを決定するため、および復元品質がこの平均品質Psnrａｖｇよりもまたは基準品質Pnsrｒｅｆよりも小さいブロックに拡張レイヤにおいてより多くのビット数を割り当てるための手段を含む。ここでこの基準品質Pnsrｒｅｆは、上記の平均品質に基づいて、例えば品質マージンを加算することによって得られる。
【００１８】
１実施形態では上記の装置は、ブロックｋの復元品質psnrｋと基準品質psnrｒｅｆとを比較してこの基準psnrｒｅｆを基準にした品質の偏差δpsnrｋを検出する手段、およびこの偏差の関数として拡張レイヤのビット数NbBitsｋをこのブロックに割り当てる手段を含む。
【００１９】
１実施形態では上記の装置は、拡張レイヤのビット数NbBitsｋを割り当てる手段を有しており、これは例えば、
【００２０】
【数２】
0004806172.tif 000003
のような比例関係を使用することによって行われ、ここでthroughputｆｇｓは、拡張レイヤの列に含まれる画像当たりのビット量であり、Δpsnrは、考察するブロックに対して測定される偏差δpsnrｋの総和である。
【００２１】
１実施形態では、総和Δpsnrは、各ブロックの品質と基準品質との間の偏差に基づいて評価され、例えば、
【００２２】
【数３】
0004806172.tif 000004
のような式によって得られる。ここでＭおよびＮは、この画像における各ブロックのインデックス番号に関連するパラメタであり、ブロックが考慮されるのは、その復元品質psnrｋが基準復元品質よりも小さい場合である（psnrｋ  psnrｒｅｆ）。
【００２３】
１実施形態によれば、上記の装置は、隣接するブロック間のコントラストを低減することを意図したフィルタリングの劣化をまたはコストCostFltiを推定することによってベースレイヤの復元品質を推定する手段と、このコストCostFltiが大きくなるのに伴って、ピクセルからなるブロック（ｋ）に、拡張レイヤのビット数NbBitsｋをより多く割り当てる手段とを含む。
【００２４】
１実施形態では上記装置は、
【００２５】
【数４】
0004806172.tif 000005
のような式によってフィルタリングのコストCostFltiを推定するための手段を含み、ここでabsは絶対値関数であり、またblockｂａｓｅｆｉｌｔｅｒｅｄ(i, j)-blockｂａｓｅ(i, j)は、フィルタリングの後およびフィルタリングの前における、座標i, jを有するピクセルの値の差分を表している。
【００２６】
１実施形態によれば、上記の装置は、ブロックのフィルタリングのコストcostFltｉと、画像のフィルタリングのコストCOSTFltとを比較する手段と、この比較の関数として各ブロックｉに拡張レイヤのビット数NbBitsfgsｉを割り当てる手段とを含んでおり、ここでこの割り当ては関係、
【００２７】
【数５】
0004806172.tif 000006
を使用して行われ、ここでthroughputｆｇｓは、拡張レイヤの列に含まれる画像当たりのビット量である。
【００２８】
１実施形態では上記の装置は、画像のフィルタリングのコストcostFltを決定する手段を有しており、ここでこれはこの画像のすべてのブロックのフィルタリングのコストを足し合わせることによって、例えば、式
【００２９】
【数６】
0004806172.tif 000007
によって得られ、ここでｉはブロックインデックス番号であり、またＭおよびＮはこの画像のサイズを表す。
【００３０】
１実施形態によれば、上記の装置は、ブロックについての平均輝度（Lavg）に関連するパラメタの関数として、ブロックの拡張レイヤを生成する手段を含む。ここでこの平均輝度は、例えば、考察するブロックのピクセルの輝度を足し合わせることによって決定される。
【００３１】
１実施形態では上記の装置は、係数Ｆ(Lavgｉ)の関数としてブロックのフィルタリングのコストを重み付けする手段を含む。ここでこの係数Ｆ(Lavgｉ)の値は、このブロックの平均輝度に依存する。
【００３２】
１実施形態によれば、上記の装置はつぎのような手段を含む。すなわち、ブロックの平均輝度Lavgｉが閾値ThreshLumよりも大きい場合、この重み付け係数の値は、式
Ｆ(Lavgｉ) ＝ １−(Lavgｉ／２×ThreshLum)
にしたがって計算され、これに対してその他の場合、この重み付け係数の値は一定であり、例えば１／２に等しい。
【００３３】
１実施形態では、上記の装置は、係数Ｆ(Lavgｉ)の関数としてフィルタリングのコストの重み付けを行う手段を含んでおり、ここでこの係数Ｆ(Lavgｉ)の値は、考察するこのピクセルからなるブロックのテクスチャまたはアクティビティに依存する。
【００３４】
１実施形態によれば、上記の装置は、ブロックｉのアクティビティActｉを
【００３５】
【数７】
0004806172.tif 000008
のような式によって計算する手段を含み、ここでｋおよびｌはブロックに含まれるピクセルの座標であり、ｂｉ，ｓｒｃはソース画像のインデックスｉのブロックであり、max(a, b)は、aがbよりも大きい場合はaに等しく、その他の場合はbに等しい。
【００３６】
１実施形態では上記の装置は、ブロックのフィルタリングのコストをそのアクティビティに依存して係数（Ｆ(Actｉ)）で重み付けする手段を含む。
【００３７】
１実施形態では上記の装置は手段を含み、これにより、上記の重み付け係数（Ｆ(Actｉ)）は、閾値ThreshActの関数として０．５〜１で変化して、考察するブロックｉのアクティビティActｉが閾値ThreshActよりも小さい場合には係数Ｆ(Actｉ)が
Ｆ(Actｉ) ＝ １−(Actｉ／２×ThreshAct)
に等しくなるようにする。これに対してその他の場合、この閾値は一定である。
【００３８】
１実施形態によれば、上記の装置は、各ピクセルブロックｉについての動きないしは変位ベクトルを考察することによって拡張レイヤを生成する手段を含み、ここで当該の考察は、例えば、式
【００３９】
【数８】
0004806172.tif 000009
によって行われる。ここでＶｘおよびＶｙはブロックの水平方向および垂直方向の変位をそれぞれ表す。
【００４０】
１実施形態によれば、上記の装置は手段を含んでおり、これにより、ブロックのフィルタリングのコストが、このブロックの動きベクトルに依存して係数Ｆ(Vectｉ)によって重み付けされる。
【００４１】
１実施形態では上記の装置は手段を含んでおり、これにより、上記の重み付け係数Ｆ(Vectｉ)は、動きの閾値ThreshVectの関数として０〜１で変化して、例えばこのベクトルVectｉのノルムがこの閾値ThreshVectよりも小さい場合、この係数は、
Ｆ(Vectｉ) ＝ １−(Vectｉ／ThreshVect)
に等しく、これに対してその他の場合、この係数Ｆ(Vectｉ)はゼロである。
【００４２】
１実施形態によれば、上記の装置は、拡張レイヤを生成する手段を有し、ここでこれは、考察する画像に続く１画像においてブロックが外に出ることがあることを考慮することよって行われる。
【００４３】
１実施形態では上記の装置は、画像からブロックが出ることを予想する手段を含み、ここでこれはこのブロックの変位ベクトルVectの成分ＶｘおよびＶｙをこのブロックの座標ｉｂおよびｊｂに加算することによって、すなわちｉｂｎｅｘｔ ＝ ｉｂ＋Ｖｘおよびｊｂｎｅｘｔ ＝ ｊｂ＋Ｖｙによって行われて、つぎの画像においてこのブロックの推定された位置が、画像の外、すなわち（ｉｂｎｅｘｔ  ＜ ０）または（ｉｂｎｅｘｔ  ＞ Ｍ）または（ｊｂｎｅｘｔ  ＜ ０）または（ｊｂｎｅｘｔ  ＞ Ｎ）にある場合、このブロックの拡張レイヤか処理されないようにする。ここでＭおよびＮはこの画像のサイズである。
【００４４】
１実施形態では上記の装置は、ピクセルからなるブロックの復元品質psnrを推定する手段を含んでおり、ここでこれはアフィンモデリングによって行われて、画像の復元品質psnrが線形な形態、すなわち
psnr ＝ Dpsnr．ｘ＋ｂ
を有するようにする。ここでDpsnrは定数であり、例えば、ブロック当たり0.212dB／ビットに等しく、ｘはブロック当たりに割り当てられるビット数を表す。
【００４５】
１実施形態によれば、上記の装置は、拡張レイヤを生成する手段を含み、ここでこの生成は、例えば画像間予想符号化の場合のように、画像が別の複数の画像を生成するために使用される場合にこの画像のブロックにより多くのビットを割り当てることによって行われる。
【００４６】
１実施形態では上記の装置は、離散コサイン変換によってベースレイヤを符号化する手段を含む。
【００４７】
本発明はまた、ベース画像を符号化するベースレイヤと、ソース画像とベース画像との間に存在する残差を符号化する拡張レイヤとによってソース画像を圧縮する方法に関し、ここでソース画像およびベース画像は、ピクセルからなるブロックとして構造化されている。この方法の特徴は、ブロックの復元品質の関数としてこのブロックの拡張レイヤを生成する、請求項１から請求項１５にいずれか１項に記載した装置を使用することである。
【００４８】
本発明のその他の特徴および利点は、添付の図面を参照した、制限を意図しない実施例によって、以下に示した説明から明らかになろう。
【実施例】
【００４９】
本発明による符号化器２１０（図２）は、圧縮すべき画像を符号化する信号２１２を受信する受信器２１１を含む。画像間モードの符号化の枠組み内ではこの受信器２１１により、信号２１２から、すでに前の画像に対して伝送された情報が減算される。この操作は減算器２１４によって行われ、これは前の画像に対して伝送された情報に相応する信号２３４を受信する。
【００５０】
これによって信号２１２は、信号２１６１４に変換され、これは変換器２１８に進み、この変換器により、空間領域において定義される信号２１６１４が、周波数領域において定義される信号２１６１８に変換される。情報の損失なしに行われるこの操作が、離散コサイン変換ないしはＤＣＴである。
【００５１】
信号２１６１８は、量子化器２２０に伝送され、この量子化器により、これらの信号のダイナミックな振れが量子化操作を介して低減される。この量子化操作には、信号２１６１８の情報の無視できない損失を伴う近似化が含まれる。
【００５２】
この量子化操作中にこのようにして失われる情報は残差と称され（ｆｇｓ符号化器用の残余情報）、これに対して量子化の後に保持される情報は圧縮画像のベースレイヤを構成する。
【００５３】
言い換えると、ベースレイヤは、この符号化器によって受信されるデータからこの残差を引いたものからなり、またこの残差は後で説明するように拡張レイヤによって符号化される。
【００５４】
量子化器２２０から出ると、信号２１６２０は減算ループにも伝送され、これは量子化器２２０とは逆の機能を行うを逆量子化器２２４を含む。この逆量子化操作は、情報を新たに損失することなく行われる。
【００５５】
つぎに信号２１６２４が得られ、この信号は、変換器２１８によって行われたのとは逆の機能（ＩＤＣＴ）を行うコンバータ２２６に供給される。つまりこのコンバータにより、信号２１６２４が周波数領域から空間領域に変換されて信号２１６２６が出力されるのであり、この信号がメモリ２２８および動き推定／補償プロセッサ２３０に伝送され、つぎに減算器２１４に伝送される。
【００５６】
信号２１６２４は減算器２３６にも伝送され、これは拡張レイヤを生成するための分岐路２３５の一部をなす。減算器２３６の第２入力側はＤＣＴ変換器２１８から出力信号２１６２４を受信する。
【００５７】
したがってこの減算器２３６は、受信した信号を表す信号２１６１８と、送信した信号を表す信号２１６２４との間で減算を行い、減算器２３６の出力側において残差２１６３６が得られる。
【００５８】
分岐路２３５には（空間周波数領域における）残差をイメージ的に記憶するメモリ２３８と、すでに述べた"Fine granularity scalability"（ＦＧＳ）として知られている標準化された手法にしたがって、メモリ２３８からの出力時に信号２１６３８を拡張プレーンに分割する装置２４０とが含まれている。
【００５９】
さらに分岐路２３５は、ベースレイヤに基づいて、圧縮されたピクセルからなるブロックを分析して復元品質を決定するため、またこの品質と、考察するブロックのピクセルの符号化に関連する情報との関数として、拡張レイヤレベルにおいてどの位のビット量をこのブロックに割り当てられるべきであるかを決定するため手段２５０を含んでいる。
【００６０】
本発明のこの実施形態では、ピクセルからなるブロックｋに対して復元品質または"psnrｋ"がつぎの式
【００６１】
【数９】
0004806172.tif 000010
によって測定され、ここで（ｉ，ｊ）は考察するブロックのピクセルの座標を表し、ここでこのブロックは、ベースレイヤによって符号化された再構成されたベース画像（block,ｒｅｃ）またはソース画像（blockｓｏｕｒｃｅ）におけるサイズ８×８のブロックである。
【００６２】
ピクセルからなる各ブロックｋ毎に計算される復元品質psnrｋを用いることによって、この画像の平均復元品質psnrａｖｇを計算することができる。これは、例えば、画像の各ブロックの復元品質psnrを平均することによって、または後で説明するグラフィカルなプロシージャを使用することによって得られる。
【００６３】
最後に画像に固有な基準復元品質psnrａｖｇが、平均品質Psnrａｖｇに基づいて得られ、これには例えば３ｄＢのマージンが加算される。すなわち、
Pnsrｒｅｆ ＝ Psnrａｖｇ ＋ ３ｄＢ
である。
【００６４】
その上で復元品質psnrｋの各測定値と、基準のpsnrｒｅｆとが比較されて、復元品質の発生し得るエラーδpsnrｋが検出される。すなわち、閾値psnrｒｅｆを基準にして復元品質のエラーが定められるのである。
【００６５】
復元品質の発生し得るこのエラーδpsnrｋの関数として、所定数のビットNbBitsｋが拡張レイヤの列に割り当てられ、これは、
【００６６】
【数１０】
0004806172.tif 000011
のような比例関係を使用することよって行われる。ここでthroughputｆｇｓは、拡張レイヤ専用の符号化の枠組み内で画像に割り当てられるスループットに相応し、またΔpsnrは、各々の品質と、基準品質との間の偏差に基づいて評価された、この画像のグローバルなエラーを表し、ここでこれは、
【００６７】
【数１１】
0004806172.tif 000012
のような式によって得られる。ここでＭおよびＮは、この画像における各ブロックのインデックス番号に関連するパラメタであり、ブロックが考慮されるのは、その復元品質psnrｋが基準復元品質よりも小さい場合である（psnrｋ ＜ psnrｒｅｆ）。
【００６８】
このような操作は、複数のブロック３４３を表す図３によって示されており、ここでこれらのブロックは、ブロックインデックス番号（横座標軸３０２）によって識別され、またこれらのブロックに対して復元品質psnrｋが上に示した式によって決定されている。
【００６９】
基準品質psnrｒｅｆ３４２は、平均復元品質３４０と、あらかじめ定めた品質マージン３４１とによって決定される。
【００７０】
本発明によれば、復元品質が基準の閾値より大きなブロック３４３iに対しては拡張レイヤにおける符号化は行われず、これに対して復元品質が基準品質（psnrｒｅｆ）よりも小さいピクセルのブロックに対しては拡張符号化が行われる。この偏差が大きければ大きいほど、より大きなビット数がこの符号化に割り当てられる。
【００７１】
手段２５０（図２）によって考慮される別の拡張レイヤ生成パラメタは、ブロックの任意の影響を低減することを意図したフィルタリングの後の１ブロックにおける情報の変化である。すなわち、隣接する２つのピクセルブロック間に存在するコントラストの問題である。
【００７２】
このためには、このようなフィルタリングは、ＭＰＥＧ４標準の場合には復号器レベルでオプションで行われることを思い出せばよい。
【００７３】
それにもかかわらず、このポストフィルタリングは符号化器レベルで行うことができ、これにより、再構成されたベースレイヤの画像における描画状態（rendition）をソース画像に対して推定することができる。
【００７４】
後者の場合、ポストフィルタリングは、画像間符号化プロセスのループに介入せず、ここでこのプロセスは、復号化された（ベースレイヤの）画像と、ソース画像との間の劣化を推定するためだけに使用される。
【００７５】
その一方でこのループにフィルタが設けられる場合、劣化推定操作はそこで行うことができる。これは、ｈ２６３，ｈ２６１およびＭＰＥＦ−４パート１０の枠組み内の場合である。
【００７６】
これを行うためには、例えば、式
【００７７】
【数１２】
0004806172.tif 000013
によってフィルタリングのコスト（costFlti）を評価することができ、ここでabsは絶対値関数であり、またblockｂａｓｅｆｉｌｔｅｒｅｄ(i, j)-blockｂａｓｅ(i, j)は、復号化された（ベースレイヤの）画像に所属する、座標i, jを有するピクセルを含むブロックのレベルにおける品質の差分をフィルタリングの後とフィルタリングの前で表している。ここでこのフィルタリングはこのブロックの影響を低減するためのものである。
【００７８】
ピクセルからなるブロックのフィルタリングのコストに基づいて、この画像に対して全体的なコストCOSTFltを計算することができ、これは各ブロックに固有のcostFltｉを足し合わせることによって得られる。すなわち、
【００７９】
【数１３】
0004806172.tif 000014
である。
【００８０】
最後に、拡張エリアのデータ列においてブロックに割り当てるビットの数をつぎの式のような関数として決定することができる。すなわち、
【００８１】
【数１４】
0004806172.tif 000015
である。
【００８２】
この実施形態では、輝度が低い画像のゾーンにこのブロックが位置している場合、ピクセルブロックの拡張レイヤの有意の符号化（significant coding）も有利である。実際に画像の異常は、この画像の暗いゾーンにおいてより一層目につくのである。
【００８３】
このために各ブロックの平均輝度を計算して、平均輝度の低いブロックが、拡張レイヤにおいて、符号化の増大の恩恵を得られるようにする。
【００８４】
上記の平均輝度Lavgは
【００８５】
【数１５】
0004806172.tif 000016
によって計算可能であり、ここでｋおよびｌはブロックｉに含まれるピクセルの座標である。
【００８６】
ポストフィルタリングの終了時に測定されるブロックの影響（ポストフィルタリング）に基づく適用はつぎのようにして行うことができる。すなわち、
画像に関連するフィルタリングコストを、局所的な平均輝度で重み付けを行って計算する。すなわち
【００８７】
【数１６】
0004806172.tif 000017
である。この場合、ブロック当たりのビット数の配分は、
【００８８】
【数１７】
0004806172.tif 000018
となる。
【００８９】
Ｆ(Lavgｉ)は、０．５〜１で変化する重み付け関数である。この実施形態では、ブロックｉの輝度Lavgｉが閾値ThreshＬｕｍよりも小さい（Lavgｉ ＜ ThreshＬｕｍ）場合、この関数は
Ｆ(Lavgｉ) ＝ １−(Lavgｉ / ２×ThreshＬｕｍ)
と書くことができる。
【００９０】
その他の場合、この重み付け関数Ｆ(Lavgｉ)は、一定のままに、例えば１／２に等しくすることができる。このアプローチにより、輝度の高いブロックに対して輝度の低いブロックをより有利にすることができる。
【００９１】
上記の閾値ThreshＬｕｍは最大の輝度（２５５）を有することに注意されたい。
【００９２】
この実施形態では、テクスチャが弱い画像のゾーンにブロックがある場合、このピクセルブロックの拡張レイヤの有意の符号化も有利である。それは弱いテクスチャのゾーンに位置する復元エラーは、強いテクスチャのゾーンよりも目立つからである。
【００９３】
このためにこのテクスチャは、ブロックｉ内のアクティビティActｉによって測定され、これは例えば、
【００９４】
【数１８】
0004806172.tif 000019
ように評価され、ここでｋおよびｌはこのブロックに含まれるピクセルの座標であり、ｂｉ，ｓｒｃはソース画像のインデックスｉのブロックであり、max(a-b)は、aがbよりも大きい場合には、aに等しく、その他の場合にはbに等しい。
【００９５】
つぎにポストフィルタリング終了時に測定されるブロックの影響に基づく適用が、この画像に関連する、フィルタリングのコストを計算することによって行われ、ここでこれは上記のように局所的なアクティビティによって重み付けを行うことによってなされる。すなわち、
【００９６】
【数１９】
0004806172.tif 000020
である。
【００９７】
この時、ブロック毎のビットの数の分配はつぎのようになる。すなわち、
【００９８】
【数２０】
0004806172.tif 000021
である。
【００９９】
Ｆ(Lavgｉ)は、上記の重み付け関数と同様に０．５〜１で変化する重み付け関数である。この実施例では、アクティビティActｉが、与えられたThreshＡｃｔよりも小さい場合、この重み付けの係数Ｆ(Actｉ)は式
Ｆ(Actｉ) ＝ １−(Actｉ／２×ThreshAct)
によって決定される。
【０１００】
その他の場合、重み付け係数Ｆ(Actｉ)は、一定のままに、例えば１／２に等しくすることができ、これによってテクスチャの強いブロックに対してテクスチャの弱いブロックをより有利にすることができる。
【０１０１】
さらにこのテクスチャは最大の閾値（ThreshＡｃｔ ＝ ２５５）をとることに注意されたい。
【０１０２】
平均輝度に基づく判定基準と、ブロックロックに含まれるアクティビティとに基づく判定基準の２つの判定基準を組み合わせることができ、この場合、改善されたレイヤに固有の情報はつぎのように拡張される。すなわち、
【０１０３】
【数２１】
0004806172.tif 000022
である。
【０１０４】
ブロック毎の分配は、
【０１０５】
【数２２】
0004806172.tif 000023
のような式によって評価される。
【０１０６】
拡張レイアにおいて、ピクセルからなるこのブロックに割り当てられるビットの量を考える際に、このピクセルからなるブロックに関連する動きベクトルの振幅を考慮することができる。
【０１０７】
このアプローチによって可能になるのは、画像符号化につきものの復元エラーの動きを介して、マスキングの効果を活用することであり、また殊に低いスループットにおいて、および極めて低いスループットにおいてこれを活用することである。
【０１０８】
実際に、ピクセルからなるブロックが、有意の動きベクトル（significant motion vector）に関連している場合、このブロックによって符号化される画像のゾーンは、この画像において移動するエレメントに相応すると考えることができ、またこれに対しては、この画像の静止ゾーンに対する解像度よりも低い解像度で十分である。
【０１０９】
ブロックｉに関連する動きベクトル係数（modulus of the motion vector）の決定は、
【０１１０】
【数２３】
0004806172.tif 000024
のような式によって決定され、ここでＶｘは、一般的に水平方向であるｘ軸に沿ったピクセル単位の変位であり、Ｖｙは一般的に垂直方向であるｙ軸に沿ったピクセル単位の変位である。
【０１１１】
ポストフィルタリング終了時に測定されるブロックの影響に基づく適用は、この画像に関連するフィルタリングコストを計算することによって行われ、ここでこの計算は、ベクトルの振幅によって重み付けを行うことによってなされ、例えば式
【０１１２】
【数２４】
0004806172.tif 000025
が用いられる。
【０１１３】
この場合、ブロック当たりに割り当てられるビットの数の分配は、
【０１１４】
【数２５】
0004806172.tif 000026
となる。
【０１１５】
Ｆ(Vectｉ)は、０〜１で変化する重み付け関数である。この実施例では、ブロックｉの動きベクトルVectｉのノルムが閾値ThreshＶｅｃｔよりも小さい場合、この関数Ｆ(Vectｉ)は
１−(Vectｉ／ThreshＶｅｃｔ)
に等しい。
【０１１６】
その他の場合、このベクトルのノルムがこの閾値よりも大きいと、この関数はゼロである（Ｆ(Vectｉ) ＝ ０）。
【０１１７】
したがって変位ベクトルのノルムが閾値ThreshＶｅｃｔよりも小さい任意のブロックは、その変位およびコストの関数として拡張され、これに対してこのベクトルが閾値を上回る場合、このブロックが付加的な拡張レイヤを有しないことになる。
【０１１８】
この閾値は、とりわけ画像の解像度に依存しており、ＣＩＦ形式（３５２ピクセルからなる２８８行）の画像に対して、値３０により、許容し得る結果が得られることに注意されたい。
【０１１９】
同様に画像の縁部に位置する、ピクセルからなるブロックが、動きベクトルに関連しており、これによってこのブロックが所属する、符号化された画像のゾーンが、将来この画像の外に出ることを予想できる場合、このゾーンを高い解像度で符号化する必要はない。
【０１２０】
それゆえつぎの画像における、現在のブロックの位置を、このブロックの変位ベクトルに基づいて推定する。これは、例えば、ベクトルVect(Ｖｘ，Ｖｙ)の成分Ｖｘ，Ｖｙを、ブロックの中央の座標ｉｂおよびｊｂにそれぞれ加えることによって行われる。
【０１２１】
言い換えると、現在のブロックの中央の座標がｉｂおよびｊｂの場合、つぎの画像において推定されるこの現在のブロックの中央の座標は
ｉｂｎｅｘｔ ＝ ｉｂ＋Ｖｘ
ｊｂｎｅｘｔ ＝ ｊｂ＋Ｖｙ
である。
【０１２２】
したがって、つぎの画像に対する座標の推定が、画像の枠（（ｉｂｎｅｘｔ  ＜ ０）またはｉｂｎｅｘｔ  ＞ Ｍ）または（ｊｂｎｅｘｔ  ＜ ０）または（ｊｂｎｅｘｔ  ＞ Ｎ））を出る場合、このブロックは拡張されない。ここでＭおよびＮは処理する画像のサイズを表す。
【０１２３】
本発明にしたがい、ここまでさまざまなパラメタを説明したが、これらのパラメタにより、ピクセルからなるブロックに割り当てられるビット数を、これらのブロックにおいて符号化される情報の関数として決定することでき、ここでこの関数は、動きベクトルまたは有意のコントラストの関数および／またはベースレイヤを使用した画像の復元品質の関数などである。
【０１２４】
したがって明らかであるのは、拡張レイヤにおけるビット数はこれらのパラメタの関数と変化し得ることである。
【０１２５】
このような変化を制御するため、本発明の１実施形態では、画像の復元品質の変化についてのモデルを使用して、ベースレイヤと、可変の拡張レイヤとの伝送によってどの位の復元品質が達成されるかを決定する。これについては以下、図４を用いて説明する。
【０１２６】
図４に示されているのは、復元品質（縦座標軸４０１においてｄＢで）を識別する曲線４０２，４０４および４０６から構成される扇形であり、これらの関数は、ブロックに割り当てられるビット数（横座標軸４０３）の関数である。
【０１２７】
各曲線４０２，４０４，４０６は、拡張レイヤのサイズ増大に伴うベースレイヤによる１９２，２５６および３８４ｋビット／ｓでの画像の伝送にそれぞれ対応する。
【０１２８】
この扇形は曲線４００から生成されており、この曲線は、単一のベースレイヤが伝送される場合の復元品質／ブロック当たりのビット数の比を表している。
【０１２９】
したがって注目すべきであるのは、同一の品質に対して、ベースレイヤだけの伝送は、拡張レイヤを伴うベースレイヤの伝送よりも効果的なことである。これによってベースレイヤの符号化は、拡張レイヤの符号化を基準とすると極めて効率的である。
【０１３０】
また曲線４０２，４０４および４０６の扇形は、ほとんどアフィン形であり、画像の復元品質psnrは、
psnr ＝ Dpsnr．x＋b
形をとることである。ここでDpsnrは、ブロック当たりに0.212dB／ビットに等しい一定数であり、ｘはブロック当たりに割り当てられるビット数を表す
復元品質／throughput fgsの変化を近似することできるこの定数Dpsnrは、微調整スケーラビリティ形の圧縮を可能にするアルゴリズムのタイプに対応することに注意されたい。
【０１３１】
しかしながらまたこの定数は、実現される圧縮アルゴリズムに依存することも注意されたい。
【０１３２】
これにより、画像またはこの画像の各ブロックに割り当てなければならないビット数を単純に決定して、与えられた復元品質を得ることができる。
【０１３３】
実際に、決定された復元品質psnrｄｅｔを固定することによって、拡張レイヤにおけるブロックに割り当てられなければならない、ブロック当たりのビット数を推定することができる。ここでこれはベースレイヤで伝送されるブロック当たりのビット数（曲線４００）と、要求された復元品質を得るために伝送しなければならないブロック当たりのビット数との間の偏差を計算することによって行われる。
【０１３４】
拡張レイヤに割り当てなければならないビット数を図形的に決定して、与えられた復元品質を得るこのようなプロシージャは、殊に簡単である。それはこのプロシージャは、限られた計算能力しか必要としないからである。
【０１３５】
さらに、拡張レイヤの符号化の効率をさらに最適化することにより、この拡張レイヤにおいて、ピクセルからなるブロックに割り当てられるビット数を制限することができる。それは、要求される圧縮品質の状況の下で、復元品質がすでに所要の品質を達成したか否かを決定することによってブロックの過剰な符号化を回避できるからである。
【０１３６】
この手法は、現在符号化中のブロックに関連するすでに説明したパラメタの２つ以上のパラメタ、すなわちブロックの影響、フィルタリングのコスト、局所的な平均輝度、局所的なアクティビティ、動きベクトルの振幅および／またはつぎの画像においてシーンを出たしまう危険性の重み付けパラメタの組み合わせを考慮することができる。
【０１３７】
本発明は数多くの変形実施形態が可能である。したがってピクセルブロックが所属する画像の位置および／または機能も、ブロックに割り当てられる拡張レイヤのビットの量を決定する際に考慮されるパラメタとすることができる。
【０１３８】
実際に、ベースレイヤと、拡張レイヤのすべてまたはその一部とを用いて再構成される画像が画像間で使用される予測的な符号化方式の特別の場合のように、１つの画像が別の画像を生成するために使用される場合、この画像のブロックは、これらのブロックが孤立した画像または一連の画像の最後に位置する画像に所属する場合、少ない拡張レイヤで処理されるのである。
【図面の簡単な説明】
【０１３９】
【図１】公知の方法による拡張レイヤの符号化方法を示す図である。
【図２】本発明によるマルチレイヤ法にしたがって符号化される画像の圧縮器のブロック図である。
【図３】同一の画像のさまざまなブロックに対して変化する復元品質の分布を示す図である。
【図４】マルチレイヤ符号化中の効率の変化を示す図である。
【符号の説明】
【０１４０】
１３０  バイナリ列
２１０  符号化器
２１１  受信器
２１２  符号化信号
２１４  減算器
２１８  変換器
２２０  量子化器
２２４  逆量子化器
２２６  コンバータ
２２８  メモリ
２３０  動き推定／補償プロセッサ
２３４  前の画像に対して伝送された情報に相応する信号
２３５  拡張レイヤ生成分岐路
２３６  減算器
２３８  メモリ
２４０  拡張プレーン分割装置
２５０  ブロック分析およびビット量割り当て手段
３０２  ブロックインデックス番号（横座標軸）
３０４  復元品質（縦座標軸）psnr
３４０  平均復元品質psnrａｖｒ
３４１  品質マージン
３４２  基準復元品質psnrｒｅｆ
４００  単一のベースレイヤが伝送される場合の復元品質／ブロック当たりのビット数の比
４０１  縦座標軸（復元品質，ｄＢ）
４０２，４０４，４０６  復元品質識別曲線
４０３  横座標軸（ブロックに割り当てられるビット数）
【図１】
0004806172.tif 000028
【図２】
0004806172.tif 000029
【図３】
0004806172.tif 000030
【図４】
0004806172.tif 000031