(57)【要約】  本発明は、縮約バイナリ列を供給するために、バイナリ列から１つ又は複数のビデオパケットを削除してバイナリ列を縮約するステップ（２）と、縮約バイナリ列と前記マスキングアルゴリズムとに基づいて再構成される画像である復号劣化補正ローカル画像を計算するために、縮約バイナリ列にエラーマスキングアルゴリズムを実施するステップ（３）と、前記復号劣化補正ローカル画像の品質に依存してバイナリ列の縮約が妥当であるか否かを検査する妥当性検査ステップ（４）と、妥当性の有無に応じて、縮約バイナリ列又はバイナリ列を選択するステップ（２）を含んでいることを特徴とする方法に関する。
2005513882.tif 000002
【特許請求の範囲】
【請求項１】
パケットに配列されたデータのバイナリ列を提供するビデオデータの符号化ステップ（１）を含んだ、ビデオデータを圧縮する方法であって、圧縮したデータがエラーマスキングアルゴリズムの実施により復号されることを意図した様式の方法において、
縮約バイナリ列を供給するために、バイナリ列から１つ又は複数のビデオパケットを削除してバイナリ列を縮約するステップ（２）と、
縮約バイナリ列と前記マスキングアルゴリズムとに基づいて再構成される画像である復号劣化補正ローカル画像を計算するために、縮約バイナリ列にエラーマスキングアルゴリズムを実施するステップ（３）と、
前記復号劣化補正ローカル画像の品質に依存してバイナリ列の縮約が妥当であるか否かを検査する妥当性検査ステップ（４）と、
妥当性の有無に応じて、縮約バイナリ列又はバイナリ列を選択するステップ（２）も含んでいることを特徴とする、ビデオデータを圧縮する方法。
【請求項２】
基準画像と呼ばれる先行する画像に基づいた時間的予測を利用し、
さらに、次の画像の符号化（１）の間、基準画像（５）として利用されるように、復号劣化補正ローカル画像を格納するステップ（４）を含んでいる、請求項１記載の方法。
【請求項３】
データ圧縮のためのマスキングアルゴリズムが、圧縮データの復号に使用されるマスキングアルゴリズムと同じである、請求項１記載の方法。
【請求項４】
画質を信号対雑音比又はソース画像に対する該画像のＰＳＮＲに基づいて計算する、請求項１記載の方法。
【請求項５】
前記妥当性検査ステップ（４）の間、復号劣化補正ローカル画像の品質を復号ローカル画像の品質と比較する、請求項１記載の方法。
【請求項６】
データストリームから除去すべきパケットの選択（２）を、縮約バイナリ列に基づいて得られた補正された復号ローカル画像の品質に依存して行う、請求項１記載の方法。
【請求項７】
画像に関連するバイナリ列データの選択を、縮約（３）、妥当性検査（４）及び選択（４）のステップをパケットごとに又はパケットのグループごとに逐次反復することにより行い、ただし、バイナリ列の縮約（３）及びバイナリ列の妥当性検査（４）は前回の反復において選択されたバイナリ列に対して行う、請求項１記載の方法。
【請求項８】
前記符号化はＭＰＥＧ方式の符号化である、請求項１記載の方法。
【請求項９】
パケットに配列されたデータのバイナリ列を提供するビデオデータ（１）を符号化するための回路を含んだビデオデータコーダであって、圧縮したデータがエラーマスキングアルゴリズムの実施により復号されることを意図した形式のビデオデータコーダにおいて、
１つ又は複数のビデオパケットの削除を実行するバイナリ列縮約のための回路（２）と、
縮約バイナリ列に基づいて再構成される画像である復号劣化補正ローカル画像を計算するために、縮約バイナリ列に対してエラーマスキングアルゴリズムを実施するための回路（３）と、
前記復号劣化補正ローカル画像の品質に依存してバイナリ列の縮約が妥当であるか否かを検査するための回路（４）と、
妥当性の有無に応じて、縮約バイナリ列又はバイナリ列を選択するための回路（２）を有することを特徴とする、ビデオデータコーダ。
【請求項１０】
請求項９記載のコーダと、デコーダとを有する符号化／復号化システムにおいて、
前記コーダがデコーダにより使用されるのと同じエラーマスキングアルゴリズムを実施することを特徴とする符号化／復号化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオパケットにより符号化されたビデオデータを圧縮するための方法及び装置に関する。これはエラーに対して頑強な、ビデオパケットを使用したビデオ圧縮技術の分野に属する。特に、このようなツールを統合したＨ．２６３、ＭＰＥＧ−２及びＭＰＥＧ−４規格の文脈での適用が考えられる。
【０００２】
ビデオパケットは、ビデオの各画像が符号化される間、互いに空間的に独立したバイナリデータを生成することから形成される。１つの画像のバイナリ列は、再同期化マーカにより互いに分けられた複数のパケットから構成されている。各パケットは、先行する同期化マーカによって目印を付けることができる。隣接パケットのデータを知らなくても復号が可能である。このツールによれば、パケットを喪失した場合の復号に対する頑強性が増す。というのも、これらの喪失はエラーの空間的な伝播を生じさせないからである。
【０００３】
ビデオデータの圧縮コストは一般に受信の際に望む画質に依存する。この関係は既知であり、主にＤＣＴ係数の量子化間隔の値に依存する。従来的には、圧縮は符号体系により提供されるすべてのオプションを利用した有効な符号化戦略を実施することによって改善される。これらの戦略は実質的に次の２つの点に関係している。
−  符号化品質とこの符号化方式における符号化コストとの間で満足な妥協が得られるような画像符号化方式、マクロブロック及びブロックの選択；
−  時間的予測の品質とベクトルの符号化コストとの間で満足な妥協が得られるような時間的に予測された画像に対する動きベクトルの選択。
【０００４】
これらの符号化方法は一般に規格で定義されており、非常に有効ではあるが、符号化コスト、伝送コスト、又は、大きな問題である通過帯域のコストを低減する付加的な手段を実施すると有益である。これは実際には、より良い画質／符号化コスト比を得るために、量子化間隔を増すといった従来的な圧縮手法と新しい手法との間に妥協点を見付けることである。
【０００５】
本発明の課題は上記欠点を解消することである。
【０００６】
本発明は、上記課題のために、パケットに配列されたデータのバイナリ列を提供するビデオデータの符号化ステップを含んだビデオデータを圧縮する方法であって、圧縮したデータがエラーマスキングアルゴリズムの実施により復号されることを意図した様式の方法において、縮約バイナリ列を供給するために、バイナリ列から１つ又は複数のビデオパケットを削除してバイナリ列を縮約するステップと、縮約バイナリ列と前記マスキングアルゴリズムとに基づいて再構成される画像である復号劣化補正ローカル画像を計算するために、縮約バイナリ列にエラーマスキングアルゴリズムを実施するステップと、前記復号劣化補正ローカル画像の品質に依存してバイナリ列の縮約が妥当であるか否かを検査する妥当性検査ステップと、妥当性の有無に応じて、縮約バイナリ列又はバイナリ列を選択するステップも含んでいることを特徴とする、ビデオデータを圧縮する方法を提供する。
【０００７】
１つの実施形態は、基準画像と呼ばれる先行する画像に基づいた時間的予測を利用した方法であり、さらに、次の画像の符号化の間、基準画像として利用されるように、復号劣化補正ローカル画像を格納するステップを含んでいる。
【０００８】
１つの実施形態では、データ圧縮のためのマスキングアルゴリズムが、圧縮データの復号に使用されるマスキングアルゴリズムと同じである。
【０００９】
１つの実施形態では、画像の品質を信号帯雑音比又はソース画像に対する該画像のＰＳＮＲに基づいて計算する。
【００１０】
別の実施形態では、妥当性検査ステップの間、復号劣化補正ローカル画像の品質を復号ローカル画像の品質と比較する。
【００１１】
別の実施形態では、データストリームから除去すべきパケットの選択を縮約バイナリ列に基づいて得られた補正された復号ローカル画像の品質に依存して行う。
【００１２】
別の実施形態では、１つの画像に関連するバイナリ列データの選択を、縮約、妥当性検査及び選択のステップをパケットごとに又はパケットのグループごとに逐次反復することにより行い、ただし、バイナリ列の縮約及びバイナリ列の妥当性検査は前回の反復において選択されたバイナリ列に対して行う。
【００１３】
本発明はまた、パケットに配列されたデータのバイナリ列を提供するビデオデータを符号化するための回路を含んだビデオデータコーダであって、圧縮したデータがエラーマスキングアルゴリズムの実施により復号されることを意図した形式のビデオデータコーダにおいて、１つ又は複数のビデオパケットの削除を実行するバイナリ列縮約のための回路と、縮約バイナリ列に基づいて再構成される画像である復号劣化補正ローカル画像を計算するために、縮約バイナリ列に対してエラーマスキングアルゴリズムを実施するための回路と、前記復号劣化補正ローカル画像の品質に依存してバイナリ列の縮約が妥当であるか否かを検査するための回路と、妥当性の有無に応じて、縮約バイナリ列又はバイナリ列を選択するための回路も含んでいることを特徴とするビデオデータコーダにも関する。
【００１４】
本発明はまた、上記コーダとデコーダとを有する符号化／復号化システムにおいて、上記コーダがデコーダにより使用されるのと同じエラーマスキングアルゴリズムを実施することを特徴とする符号化／復号化システムにも関する。
【００１５】
本発明において提案されるアプローチは、ビデオパケットによる符号化が使用される場合の圧縮コストの低減を目的としている。本発明は画質を比較的に劣化させずに符号化コストを低減することを可能にする。これを行うために、デコーダで実施されるエラーマスキング戦略をコーダレベルでの圧縮を改善するために考慮する：デコーダで効果的に再構成されうるデータの生成は避ける、又は、デコーダで満足に再構成するこのできるビデオパケットをこれらのエラーマスキングアルゴリズムを使用することにより除去する。この解決手段はそれゆえ、コーダがデコーダと同じエラーマスキングアルゴリズムを知っており且つ採用している場合には、品質の観点からして特に有効である。このような「コンパチブル」デコーダは、コーダにより為されるのと全く同じように欠落データを再構成することができ、それゆえ出力側においてコーダにより生成されるのと同一の復号画像を得ることができる。別のマスキングアルゴリズムを使用する「非コンパチブル」デコーダは僅かに異なる画像を得ることになり、符号体系において時間的予測を実施する場合にドリフトが時として生じることがある。
【００１６】
本発明の他の特徴及び利点は、非限定的な例として与えられた以下の説明及び添付した図面から明らかとなる。
−  図１は本方法の概略を示しており、
−  図２は符号化すべき画像をパケットに分けるところを示しており、
−  図３は符号化すべき画像からビデオパケットを除去するところを示しており、
−  図４はエラーマスキング後の復号画像を示している。
【００１７】
図１は本発明による符号化方法の概略を示している。
【００１８】
本方法を実施する符号化装置の入力側に伝送されたソースシーケンスは、従来のやり方で画像の完全符号化を行う第１のステップ１において処理される。この符号化ステップにより符号化装置の出力側には符号化されたバイナリ列が供給され、次のステップ２に伝送される。この符号化されたバイナリ列は同期化マーカにより画定されたビデオパケットから構成されている。符号化装置は同様にステップ２及びステップ４に対して復号されたローカル画像を供給する。この画像は、公知の手法により、符号化ステップ１の間に、符号化されたデータから再構成される。この画像は、符号化の間、例えば画像間タイプの時間的予測を用いた符号化方式のための基準画像として使用される。
【００１９】
ステップ２の役割はデータストリームからビデオパケットを削除し、相応する画像を計算することである。復号劣化ローカル画像と呼ばれるこの画像は、復号ローカル画像から１つ又は複数のビデオパケットに相応するマクロブロックを削除することにより得られる。このステップ２は、伝送すべき復号されたデータと同様に、復号劣化ローカル画像も計算する。これらのデータは妥当性検査信号に依存している。これらのデータは、ビデオパケットの削除が妥当でない場合にはステップ１から受信したバイナリ列を含み、削除が妥当な場合には縮約バイナリ列を含む。
【００２０】
つづいて、復号劣化ローカル画像は、次のステップ３において、エラーマスキングアルゴリズムを使用して処理される。これは、劣化した画像とエラーマスキングアルゴリズムとに基づいて再構成される画像である復号劣化補正ローカル画像を得るためである。この種のアルゴリズムの目的は、例えば伝送中に、画像の劣化が制限されるように、欠落又は誤ったデータの代わりのデータを計算することである。このステップはまた、画像間時間相関が要求されている場合には、この画像又は先行する複数の画像をマスキングアルゴリズムに依存して格納する。
【００２１】
次のステップ４はバイナリ列縮約の妥当性検査のステップである。第１の入力では、復号劣化補正ローカル画像が受信され、第２の入力では、符号化ステップ１に由来する復号ローカル画像が受信され、最後に第３の入力では、ソースシーケンスのソース画像が受信される。このステップからの画像出力は妥当性検査の結果に依存している。バイナリ列の縮約が妥当ならば、ステップ１において次の画像の符号化のための基準画像として採用される画像は、補正された復号ローカル画像である。妥当でない場合には、ステップ１において計算された復号ローカル画像が基準画像として採用される。妥当性検査信号は、伝送すべき符号化されたデータの選択のために、ステップ２に伝送される。妥当な場合には、結果として得られるバイナリ列は縮約バイナリ列（すなわち、除去が妥当とされたビデオパケットが抜き取られている）である。妥当でない場合には、ビデオパケットは除去されず、バイナリ列はそのままである。
【００２２】
符号化すべきビデオシーケンスの各画像に対して、先ずはステップ１において「完全」符号化が行われる。この符号化は、画像を完全に記述するビデオパケットから構成されたバイナリデータ列を出力する。例えば、ＭＰＥＧ−４ビデオ規格が使用されている場合には、パケットＮｏ．１はマクロブロック１〜Ｎ１を記述し、パケットＮｏ．２はマクロブロックＮ１＋１〜Ｎ２を記述し、パケットＮｏ．３はマクロブロックＮ２＋１〜Ｎ３を記述する、等々。画像のすべてのマクロブロックはこれらのビデオパケットに基づいて再構成することができる。図２では、画像は４つのこのようなビデオパケットに分けられている。
【００２３】
バイナリ列縮約のステップ２は、符号化により生じるバイナリ列の量の低減、すなわち、データ圧縮率の引き上げ、又は符号化コストの低減を目的としている。このステップはバイナリデータストリームから１つ又は複数のビデオパケットを除去することから成る。除去すべきビデオパケットの選択基準は採用するエラーマスキングアルゴリズムに強く依存する。一般的には、最も効果的なエラーマスキングアルゴリズムは実質的に時間的マスキングを使用している。時間的マスキングは、欠落した情報を先行画像内で動きの方向にサーチすることから成っている。したがって、このステップは、特にＩＮＴＥＲモードで符号化されたデータを含んだビデオパケットを低い予測残差でもって優先的に選択する。再び図２を例にとると、図３は復号画像上でのビデオパケットの除去の結果を示している。黒いゾーンは失われたデータに対応している。劣化した復号ローカル画像は、受信した復号ローカル画像から相応する１つ又は複数のパケットを削除することにより構成されている。
【００２４】
次のステップ３はエラーマスキングアルゴリズムを実施する。バイナリ列から除去されたビデオパケットはデコーダにおいてエラーを生じる。これらのエラーは、実際には、復号すべき情報がもはや存在しない画像領域に対応している。それゆえ、デコーダはこれらの空の領域を埋めるためにエラーマスキングアルゴリズムを使用する。提案されたこのアプローチは、以前に除去されたビデオパケットに対応する領域に対してコーダレベルで同じアルゴリズムを適用することから成る。図４には、車を例として、マスキングの効果が示されている。マスキングが欠落している信号を再構成すると、エラーについても再構成が行われる。窓の寸法は、例えば、マスキングが完璧でないことを示している。
【００２５】
ステップ４は行われたバイナリ列縮約の妥当性検査を目的としている。これは、発生したエラーをマスキングする前に行われる１つ又は複数のビデオパケットの除去が、結果として得られる画像に、完全符号化から生じる画像に比べて、あまりに著しい劣化を生じさせていないか検査することに関している。それゆえ、処理は、ソース画像を基準として、復号ローカル画像又は再構成画像と称する完全符号化から生じた画像の品質を、復号劣化補正ローカル画像又は補正画像と称するバイナリ列縮約及びエラーマスキングから生じた画像の品質と比較することから成る。品質の尺度は、従来のように、信号対雑音比又はＰＳＮＲであってよい。ＰＮＳＲはピーク信号対雑音比を表す頭字語である。
【００２６】
判定テストは例えば：
ＰＳＮＲ（補正画像）≧ＰＳＮＲ（再構成画像）−λならば、
縮約は妥当であり、選択されたビデオパケットは実際にバイナリ列から除去される。
λは閾値であり、ソース画像に依存させてもよい。λは、例えば、除去されたパケットに対応する領域の複雑度の関数であり、画像の劣化における許容範囲を表す。
【００２７】
画像ＩのＰＳＮＲは次の関係式により定義される：
【００２８】
【数１】
2005513882.tif 000003
ここで、ｉ，ｊは画像Ｉの中のピクセルの座標であり、ｌ及びｃは画像Ｉの中のピクセルの行及び列の数に相当し、Ｉ（ｉ，ｊ）は画像Ｉの中の座標（ｉ，ｊ）を有するピクセルの輝度値に相当し、Ｉｓｒｃ（ｉ，ｊ）はソース画像の中の座標（ｉ，ｊ）を有するピクセルの輝度値に相当する。
【００２９】
判定は時間干渉性測度を含んでいてもよい。時間干渉性測度は、時間的変動を制限することと複数の連続する画像においてマクロブロックの同一の集合を除去するのを避けることを目的としている。というのも、複数の連続する画像においてマクロブロックの同一の集合を除去すると、結果として得られる画像の品質の劣化が増大してしまう可能性があるからである。
【００３０】
時間予測符号化の場合、ビデオシーケンスの後続画像の符号化の基準画像として使用されるのは、下された判定に依存して、再構成画像又は補正画像である。このようにして、時間的予測の間のデコーダレベルでのドリフトが防止される。コーダと同じエラーマスキング戦略を使用するデコーダには、コーダと同じ基準画像が供給される。
【００３１】
本発明の変更形態は、ビデオパケットを除去するか否かを判定するのではなく、バイナリ列から除去するのが望ましいパケットがどれであるかを補正画像内に生じるエラーに基づいて判定することからなる。第１のパケットがデータストリームから除去され、相応する復号劣化補正ローカル画像の品質のテストが行われる。第２のパケットが第１のパケットの代わりに除去され、新たなテストが行われる。同じことが１つの画像に関連するすべてのパケットに関して続行される。２回目のパスのときには、復号劣化補正ローカル画像が最高品質であるようなパケットが、データストリームから実際に除去される。
【００３２】
復号劣化補正ローカル画像の品質に関するこれらの同じテストは、除去しうる画像のパケットの数を決定するために行ってもよい。これは、この画像の品質がもはや適度なものでなくなるまで、１つ、２つ、３つ等々のパケットを順次除去した後に復号劣化補正ローカル画像を計算することにより行われる。テストのためにパケットを選択する順序は、前述のように、各パケットを統一して除去する際に得られる補正された劣化画像の品質に依存するようにしてもよい。
【００３３】
これらの変更形態は図１ではステップ４をステップ２につなぐ破線によって示されている。妥当性検査、すなわち、品質テストは、バイナリストリームから１つのパケットを除去するたびに行われる。
【００３４】
別の変更形態は、コーダの従来の判定アルゴリズムであるステップ１に、データ除去のオプションとエラーマスキング戦略を組み込むものである。上記の解決手段と比べた場合の主な違いは、データ除去の選択が符号化モジュールに組み込まれていることである。このアプローチは、「マクロブロックマスキング」と呼ばれる符号化方式をコーダの判定アルゴリズムに付加するものである。これはイントラ予測、前向き予測、後ろ向き予測モードなどのような従来の符号化方式に付加される。したがって、提供される他のすべてのモードに加えて、各マクロブロックに関して、デコーダにおいてエラーマスキングアルゴリズムの実施により行われるようなマスキングの後の表現が計算される。このマスキングアルゴリズムにより新しいマクロブロックを得ることが可能となる。品質基準はこの新しいマクロブロックに基づいて、例えば、ＰＳＮＲに基づいて計算される。判定基準には、符号化コストに関する項と符号化品質に関する項の２つの項が含まれている。符号化コストに関する項は、「マクロブロックマスキング」モードに対してはゼロであり、符号化品質に関する項は上記の品質基準である。これら２つの項は符号化の選択を決定するために評価される。この場合にも、ドリフト現象は防止される。というのも、後に符号化において使用される予測画像はこの新しいモードを考慮するからである。
【００３５】
マクロブロックマスキングによる符号化方式の決定は付加的な制限、すなわち、１つのパケットのマクロブロックの全集合又はこのパケットのマクロブロックの最小の割合がこの方式で符号化しうるという制限に束縛されている。そこで、１つのパケットのマクロブロックの全集合にわたる１回目のパスは、このパケットのマクロブロックの全集合に対するマクロブロックマスキングによるこの符号化に関して判断するために行われる。
【００３６】
本発明の使用は、とりわけ、デジタル画像をパケットごとに伝送又は格納するためのデータ圧縮に関する。
【図面の簡単な説明】
【００３７】
【図１】本方法の概略を示す。
【００３８】
【図２】符号化すべき画像をパケットに分けるところを示す。
【００３９】
【図３】符号化すべき画像からビデオパケットを除去するところを示す。
【００４０】
【図４】エラーマスキング後の復号画像を示す。
【図１】
2005513882.tif 000004
【図２】
2005513882.tif 000005
【図３】
2005513882.tif 000006
【図４】
2005513882.tif 000007
【国際調査報告】
2005513882.tif 000008
2005513882.tif 000009
2005513882.tif 000010
2005513882.tif 000011