(57)【要約】映像圧縮中における画像情報のコンテンツの複雑さの制御の下での各ブロックの量子化スケール値。量子化スケール値の時間的及び/または空間的な変動が、例えば、仮に選ばれた量子化スケール値をローパスフィルタリングすることにより低減される。量子化スケール値は、映像データの量子化に利用される。量子化スケール値はまた、コード変換中に利用されてもよい。
2005522117.tif 000002
【特許請求の範囲】
【請求項１】
デジタル映像ストリーム符号化方法であって、
デジタル映像ストリームのフレームをブロックに分割するステップと、
前記ブロックのそれぞれに対して、前記ブロックのそれぞれの映像情報のコンテンツの複雑さの制御の下、量子化スケール値を選択するステップと、
前記選択された量子化スケール値に従って量子化された映像データを計算するステップと、
前記量子化された映像データを有する符号化映像ストリームを生成するステップとを有し、前記量子化スケール値の時間的及び/または空間的変動に対する前記ブロックのそれぞれの時間及び/または位置の関数としての前記複雑さの変動の効果が低減されることを特徴とする方法。
【請求項２】
請求項１記載のデジタル映像ストリーム符号化方法であって、前記選択するステップは、
前記複雑さの制御の下、前記ブロックのそれぞれの量子化スケール値に対して仮の値を予め選択するステップと、
前記計算するステップで使用されるべき前記量子化スケール値を決定するため、前記仮の値を時間的及び/または空間的にローパスフィルタリングするステップとを有することを特徴とする方法。
【請求項３】
請求項１記載のデジタル映像ストリーム符号化方法であって、前記デジタル映像ストリームは量子化入力値を表す情報を有する符号化映像ストリームであり、該方法はさらに、前記選択された量子化スケール値に従って前記量子化入力値を逆量子化するステップを有することを特徴とする方法。
【請求項４】
請求項１記載のデジタル映像ストリーム符号化方法であって、さらに、
予測される動きベクトルに基づき連続するフレームからの連続するブロックを互いに関連付けるステップを有し、前記選択するステップは、前記連続するブロックのそれぞれに対して仮に選ばれた連続する量子化値を一時的にローパスフィルタリングことからなることを特徴とする方法。
【請求項５】
デジタル映像ストリーム符号化システムであって、
デジタル映像ストリームのフレームにおける画素の各ブロックに対して画像情報を計算するよう構成されるプリプロセッサと、
ブロック依存した量子化スケール値を利用して、前記計算された画像情報を量子化するよう構成される量子化装置と、
前記量子化された画像情報を符号化する符号化ストリームを生成するよう構成される符号化映像ストリーム生成装置と、
前記各ブロックの画像情報のコンテンツの複雑さの制御の下、前記各ブロックに対して前記量子化スケール値を選択するよう構成される量子化スケールセレクタとを有し、前記量子化スケール値の時間的及び/または空間的変動に対する前記各ブロックの時間及び/または位置の関数としての前記複雑さの変動の効果が低減されることを特徴とするシステム。
【請求項６】
請求項５記載のデジタル映像ストリーム符号化システムであって、さらに、
前記複雑さの制御の下、前記各ブロックの量子化スケール値に対して仮の値を予め選択するプレセレクタと、
前記量子化スケール値を決定するため、前記仮の値を時間的及び/または空間的にローパスフィルタリングするローパスフィルタユニットとを有することを特徴とするシステム。
【請求項７】
請求項５記載のデジタル映像ストリーム符号化システムであって、前記プリプロセッサは、前記量子化装置により逆量子化された量子化入力値を有する入力符号化映像ストリームから前記映像情報を計算するよう構成されることを特徴とするシステム。
【請求項８】
請求項６記載のデジタル映像ストリーム符号化システムであって、前記フィルタは、異なるフレームにおける連続する選ばれたブロックに対して予め選択された量子化を一時的にローパスフィルタリングし、前記選ばれたブロックは、前記フレームに対して予測される動きベクトルにより互いに関連付けされることを特徴とするシステム。
【請求項９】
請求項１記載の方法を実行するようコンピュータをプログラミングする指示を有するコンピュータプログラムを有するコンピュータプログラムプロダクツ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの符号化方法及びそれを実現するシステムに関する。
【背景技術】
【０００２】
Ｗ．Ｍ．Ｊ．ＣｏｅｎｅとＧ．Ｊ．Ｋｅｅｓｍａｎによる論文「Ｏｎ  ｐｅｒｆｏｒｍａｎｃｅ  ｇａｉｎｓ  ｉｎ  ＭＰＥＧ−２  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｖｉａ  ａ  ｒａｔｅ−ｄｉｓｔｒｉｂｕｔｉｏｎ  ｏｐｔｉｍａｌ  ｒｏｕｔｅ」（Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｖｏｌ．５５（１９９６）ｐｐ．３６９−３７４）により、ＭＰＥＧ符号化映像データの計算方法が開示されている。ＭＰＥＧ映像符号化規格は、映像情報の圧縮を提供するものである。映像フレームは、自らにより符号化されるＩ（Ｉｎｔｒａ）フレーム、あるいは他のフレームへの更新のため符号化されるＰ及びＢフレームとして符号化される。映像フレームはブロックに分割される（ＭＰＥＧはブロックとマクロブロックを区別し、後者は異なるカラーチャンネルからの情報を有する複数のブロックから構成されるものであるが、これは本発明に影響を与えるものではないため、特段の断りがない限り、「ブロック」という一般的な用語がブロックとマクロブロックを分けることなく使用される）。いくつかのブロックはゼロとされ、残りの各ブロックの映像情報についてのＤＣＴ（離散コサイン変換）係数が計算され、この係数が量子化され、量子化された係数がＭＰＥＧ信号に符号化される。
【０００３】
更新による符号化、ブロックのゼロ化及び量子化は、ＭＰＥＧにおける映像情報の圧縮に主として寄与するものである。量子化は、係数を限られた利用可能な値の集合から選ばれた量子化された係数に置き換えることに関する。この制限された値の集合は、連続する利用可能な値間の差に対応する量子化スケール値Ｑにより特徴付けされる。係数の量子化係数により置換により、もとの係数と量子化された係数との間の差による誤差の丸め込みにより生じる画像の歪みを犠牲にして、係数の符号化に必要な情報量を減らすことができる。ＭＰＥＧ信号では、符号化された信号の圧縮と歪みとの最適なバランスを選ぶため、量子化スケールＱはブロックごとに可変とされてもよい。
【０００４】
ＣｏｅｎｅとＫｅｅｓｍａｎによる論文では、この量子化スケールを含む最適な圧縮パラメータの選択のための最適化方法が開示されている。映像信号を符号化するのにある一定以上の情報量（ビットレート）は利用しないという制約の下、歪みの単位が最小化される。開示された方法で使用される歪みの単位は、前提的に個々のフレームの歪みの合計が使用されているが、開示はされていない。
【０００５】
この論文によると、従来方法では、一方におけるＩフレームの歪みが、他方におけるＢ及びＰフレームの歪みと異なるということが示される。従って、いわゆるフレーム周波数群（Ｉフレームを含み、Ｂ及びＰフレームを取り囲むフレーム群）により周期的に変動する。論文による方法の一実施例では、そのようなフレーム群の複数のフレームの歪みの合計を最適化することにより、歪みの変動が減少されている。他の実施例では、すべてのフレームの歪みを同じにすることにより、この変動が減少されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、既知の符号化方法では、符号化された信号が復号されるとき、映像信号の一部に視覚的なアーチファクトが感知される。例えば、低符号化ビットレートでは、交互に生じる良好なブロック符号化周期と良好でないブロック符号化周期とにより、ハートビート（ｈｅａｒｔｂｅａｔ）効果が観察されるかもしれない。このハートビート効果は、例えば、オブジェクトへのズームインまたはズームアウト中、あるいは相対的に一様な面のエッジにおいて、より少ないビットによる符号化により、従ってより多くのエラーをもたらす困難な場面で最も顕著に現れる。この効果はまた、符号変換されたデータストリームに現れ、その後バッファ調整アルゴリズムが適用される。
【０００７】
本発明の課題は、上記ハートビート効果を低減することにある。
【０００８】
本発明は、量子化による顕著な歪みは、フレームの歪み、すなわち、圧縮された画像と圧縮前の画像との間の差の問題というより、むしろ歪みの局所的変動の問題であるという認識に基づくものである。この効果は、通常の歪みの総和により測定されるものではない。
【０００９】
本発明による符号化方法を利用することにより、時間の関数としてのフレーム内の同一の位置におけるブロックの量子化スケールの変動及び/または位置の関数としての同一の画像におけるブロックの量子化スケールの変動を低減する。本発明の一実施例では、空間及び/または時間フィルタが予め選ばれている量子化スケールに対し適用され、これにより時間及び/または位置の関数としての量子化スケールの変化を限定することができる。
【００１０】
本発明は、量子化スケールが変動するトレンドでの変動を局所的に制限することを目的とする。量子化スケールはこのトレンドに従うが、トレンドの周りでの時間的あるいは空間的変動は、時間または空間領域での局所的環境における変動の効果が低減されるように制限される。本発明はさらに、符号化装置、視聴覚装置、データ格納装置、コンピュータプログラム及びコンピュータプログラムを格納するデータキャリア装置に関する。
【００１１】
一実施例では、本発明による方法は、すでに量子化された映像ストリームのコード変換に適用される。従って、コード変換中のアーチファクトの生成は最小化される。
【００１２】
他の実施例では、予測された動きベクトルを利用して、当該動きベクトルにより互いに関連付けされた異なるフレームのブロックが選択される。連続するフレームにおいて互いに連続的に対応すると検出されたブロックの一時的に選択された量子化値は、一時的にローパスフィルタリングされる。
【００１３】
本発明のさらなる課題、詳細、変更及び効果は、図面を参照しながら、以下の説明から明らかとなるであろう。
【発明を実施するための最良の形態】
【００１４】
図１は、符号化装置を示す。符号化装置は、入力１０と出力１７を有し、プリプロセッサ１２、量子化装置１４、パッケージャ（ｐａｃｋａｇｅｒ）１６、量子化スケールセレクタ１８及び量子化スケールフィルタ１９からなる。入力は、プリプロセッサ１２、量子化装置１４、そしてパッケージャ１６を介し出力に結合される。量子化スケールセレクタ１８は、入力１０と結合された入力と、量子化スケールフィルタ１９を介し量子化装置１４の量子化スケール入力に結合された出力を有する。
【００１５】
図２は、ＭＰＥＧ符号化に関する符号化装置の動作の説明に利用される。動作中の第１ステップ２１において、映像入力情報が入力１０に供給される。この第１ステップ２１において、プリプロセッサ１２は、映像入力情報を前処理し、フレームをブロックに分割し、各ブロックの映像情報にＤＣＴ（離散コサイン変換）を実行する。プリプロセッサ１２は、得られた変換係数を量子化装置１４に供給する。
【００１６】
第２ステップ２２では、量子化スケールセレクタ１８は、量子化スケール値Ｑｐを予め選び、量子化スケールフィルタ１９は、一時的にこれら予め選ばれた量子化スケール値Ｑｐをフィルタリングし、フィルタリングされた量子化スケール値Ｑｆを量子化装置１４に供給する。
【００１７】
第３ステップ２３では、量子化装置１４は、プリプロセッサ１２から受け取った係数を量子化する。すなわち、量子化装置１４は、受け取った係数を制限された量子化値の集合からの近傍の量子化係数と置換し、この量子化係数をパッケージャ１６に供給する。これは、例えば、ブロックの係数（任意にはオフセットを差し引いた）を量子化スケール値で割り、その商整数部分を量子化価とすることにより行われてもよい。第４ステップ２４では、パッケージャ１６は、量子化係数をＭＰＥＧ互換信号に符号化及びパッケージ化し、当該信号を出力１７に供給する。これらステップ２１、２２、２３及び２４は、新たなフレームが入力されるたびに周期的に繰り返される。
【００１８】
第２ステップ２２において、量子化スケールセレクタ１８は、入力される映像情報の各フレームの各ブロックに対して、量子化スケール値Ｑｐを予め選ぶ。量子化スケールセレクタ１８は、量子化装置１４により量子化係数が選ばれる制限された量子化値の集合における連続した量子化値間のステップサイズを制御するため、この予め選択された量子化スケール値Ｑｐを量子化スケールフィルタ１９を介し量子化装置１４に供給する。
【００１９】
量子化スケール値Ｑｐを予め選択するのに、量子化スケール値の任意の既知の選択方法が利用可能である。一例では、量子化スケールセレクタ１８は、ビットレート選択信号を受信し、平均的に出力１７における出力信号のビットレートが選択されたビットレートを超えないように量子化スケール値Ｑｐを予め選択する。量子化スケールセレクタ１８は、各ブロックに対して複雑さを計算し、この複雑さに比例して個々のビットレートを各ブロックに割り当てる。これにより、すべてのブロックの平均ビットレートは選択されたビットレートを超えなくすることができる。その後、各ブロックの量子化スケール値Ｑｐは、当該ブロックに割り当てられたビットレートを超えないように選択される。
【００２０】
量子化スケールセレクタ１８は、この予め選ばれた量子化スケール値Ｑｐを量子化スケールフィルタ１９を介し量子化装置１４に供給する。量子化スケールフィルタ１９は、この予め選ばれた量子化スケール値Ｑｐに対して時間及び/または空間ローパスフィルタ処理を実行し、このローパスフィルタリングされた量子化スケール値Ｑｆを量子化装置１４に供給する。
【００２１】
第２ステップは、ある一定の先読み（ｌｏｏｋａｈｅａｄ）量を伴うということが理解されるであろう。すなわち、フレームのブロックに対して、先行するフレームのブロック及び/または同一のフレームの先行するブロックに対する量子化スケール値Ｑｆを選択するため、これら先行するフレームのブロック及び/または同一のフレームの先行するブロックの量子化前に予め選ばれる量子化スケール値が計算される。従って、意向のブロックの予め選ばれた量子化スケール値が考慮されてもよい。
【００２２】
図３は、時間の関数（すなわち、フレーム番号）として映像情報の連続するフレームにおける同一の画素位置でのブロックに対して、量子化スケールセレクタ１８により選ばれた予め選択された量子化スケール値Ｑｆのグラフ３０を示す。図３はまた、量子化スケールフィルタ１９により生成されるような一時的にフィルタリングされた量子化スケール値Ｑｆのグラフ３２を示す。ここで、フィルタリングされた量子化スケール値Ｑｆ３２は、予め選ばれた量子化スケール値Ｑｐの全体的なトレンドに従うが、トレンド周りのその変動は抑えられている。
【００２３】
量子化スケールＱｐ及びＱｆに対して、１つのフレームにおいてこれらのスケールが関連するブロックの位置の関数として同様のグラフが描けるかもしれない。
【００２４】
予め選ばれた量子化スケール値Ｑｐ３０のフィルタリングには、任意の方法が利用可能である。例えば、フィルタリングされた量子化スケール値Ｑｆが選ばれるフレームの近傍のいくつかのフレームのウィンドウにおける連続する予め選ばれたいくつかの量子化スケール値Ｑｐのメジアン（ｍｅｄｉａｎ）がとられてもよい。これにより、変動は取り除かれるが、例えば、ブロックのコンテンツが急激に変化するときには、急激な変化が可能となる。他の例では、フィルタリングされた量子化スケール値Ｑｆが選ばれるフレームの近傍のいくつかのフレームのウィンドウにおける連続する予め選ばれたいくつかの量子化スケール値Ｑｐの平均を計算することによりフィルタリングが実現される。この平均は、フィルタリングされた量子化スケール値Ｑｆが選ばれたフレームに近いフレームからの予め選ばれた量子化スケール値Ｑｐにより大きな重みを割り当てる加重平均であってもよい。
【００２５】
他の実施例では、フィルタリングをサポートするため動き情報が利用される。この場合、フィルタ１９は、動きベクトルにより互いに関連付けされた異なるフレームにおけるブロックに対して選ばれた量子化値を一時的にフィルタリングする。すなわち、第１フレームの第１ブロックのコンテンツが第２フレームの第２ブロックに移り、そこから第３フレームの第３ブロックに移り、以降同様に移ると予測される場合、一時的フィルタリングが第１ブロック、第２ブロック、第３ブロックなどの量子化スケール値により形成される量子化スケール値系列に適用され、対応するブロックの量子化にフィルタリングされた量子化スケール値が利用される。再びこれにより、可視的なアーチファクトを低減することができる。動きベクトルは、例えば、ＭＰＥＧ符号化で利用される動きベクトルから任意の方法で取得されてもよい。
【００２６】
図１に示される量子化スケール値フィルタ１９を利用した実現形態は効果的にシンプルであるが、変動を低減するための他の手段が利用されてもよいということは理解されるであろう。例えば、所定のビットレートを超えることなく、歪みを最小化する量子化スケール値の集合の検索が利用されてもよい。この場合、符号化装置は、量子化スケール値の変動の場合における歪みに増加された値を割り当てる修正された歪みの単位を使用するべきである。これは、例えば、もとの画像と符号化された画像との間の乖離に基づく、隣接フレームにおける対応する位置の間の実際に使用された量子化スケール値Ｑｆの差の平方及び/または同一フレームにおける隣接位置間の量子化スケール値Ｑｆの差の平方に加えられる歪みの単位を利用することにより行われてもよい。
【００２７】
量子化スケールの変動を低減するための原理が説明されてきたが、符号化規格に特有の詳細を考慮するため、多くの変更が必要となるかもしれないということは理解されるであろう。例えば、ＭＰＥＧ規格の場合には、限られた個数の量子化スケール値のみが許容される。従って、フィルタリングされた量子化スケール値Ｑｆはこの限られた個数の値から選択されるべきであるが、予め選ばれた量子化スケール値Ｑｐは自由に選択されてもよい。また、ＭＰＥＧ規格は、あるマクロブロックの異なるブロックに対して利用される量子化スケール値間の差にある制限を課す。これは、例えば、マクロブロックごとのフィルタリングされた量子化スケール値Ｑｆを選択することにより実現することが可能である。
【００２８】
さらに、ＭＰＥＧ規格では、量子化スケール値の大部分の変動（すなわち、水平方向に隣接するブロック間の変動）は、量子化スケールが変動しないときには必要でない追加的な信号により信号処理される必要がある。この追加的な信号により、圧縮された信号のビット数の増加がもたらされる。従って、量子化スケールの変動による顕著な歪みと圧縮信号のビット数の増加の両方を重み付けすることが望ましいかもしれない。
【００２９】
本発明は、映像情報の送信あるいは格納のためのデータを生成する圧縮に適用されてもよい。本発明は、フロッピー（登録商標）ディスク、デジタル多用途ディスク（ＤＶＤ）、スーパーオーディオＣＤ（ＳＡＣＤ）、あるいはＤＶＤやＳＡＣＤを製造するためのマスタあるいはスタンパ（ｓｔａｍｐｅｒ）などのデータ格納装置へのデータの格納に適用可能である。本発明はまた、圧縮された映像情報のコード変換に適用されてもよい。
【００３０】
図４は、コード変換装置を示す。コード変換装置は、部分的復号化ユニット４０、逆量子化装置４４、パッケージャ４６、量子化スケールセレクタ４８及び量子化スケールフィルタ４９を有する。コード変換装置の入力は、部分的復号化ユニット４０、逆量子化装置４４及びパッケージャ４６と連続的に介して出力に結合される。量子化スケールセレクタ４８は、部分的復号化ユニット４０の出力に結合された入力と、量子化スケールフィルタ４９を介して逆量子化装置４４の量子化スケール入力に結合された出力を有する。
【００３１】
コード変換装置は、その動作において、第１量子化スケールを利用して量子化された信号値を有する圧縮符号化データを受け取る。コード変換装置は、例えば、圧縮率を高めるために、この信号値を第２量子化装置により逆量子化する。部分的復号化ユニット４０は、受け取った圧縮信号を部分的に復号し、受信した信号から量子化された信号値を表す情報を逆量子化装置４４に供給する。逆量子化装置４４は、新たな量子化値がフィルタ４９により示される量子化スケールに属するように、各信号値のためにこの新たな量子化値を選択する。パッケージャ４６は、ストリームからの情報を新たな量子化値を符号化する新たな符号化ストリームにリパッケージ処理（ｒｅｐａｃｋａｇｅ）する。
【００３２】
セレクタ４８は、量子化スケールを選択する。これは、例えば、入力信号の対応するブロックにおいて使用される量子化スケールに比例して、各ブロックに対して実行される（平均的な出力における測定されたビットレートが外部的に要求されるビットレートに対応するよう比例係数が選ばれる）。フィルタ４９は、図１に対して説明されたように、選択された量子化スケール値を空間的及び/または時間的にフィルタリングする。
【００３３】
本発明の実現形態では、独立したハードウェアユニットが示されたが、上記ユニットの１以上の機能が単一のユニットに合成されてもよいということは理解されるであろう。例えば、ユニット１８及び１９により実行される先行的な選択及びフィルタリングは、単一のユニットにより実行されてもよい。さらに、図１に示される符号化装置の構成要素は、論理的には単一の装置としてみなされながら、いくつかの装置に物理的には分散されていてもよい。本発明は、既存のＭＰＥＧ規格に従う圧縮の観点から説明されてきたが、例えば、将来のＭＰＥＧ規格あるいは他の規格に従う任意の圧縮形式に適用されてもよい。
【００３４】
また、様々な要素が、本発明を実現するのに適した、コンピュータシステムの実行時に本発明による方法の各ステップを実行し、汎用的なコンピュータシステムが本発明によるコンピュータシステムの機能を実行することを可能にする指示を少なくとも含むコンピュータプログラムを備えるようプログラミングされたコンピュータシステムにより実現されてもよい。そのようなコンピュータプログラムは、コンピュータシステムのメモリにロード可能な、コンピュータプログラムを表すデータを格納した、ＣＤ−ＲＯＭやディスケットのようなデータキャリア上に備えられてもよい。データキャリアはさらに、本発明によるコンピュータプログラムを表す信号を送信する電話線や無線接続などのデータ接続であってもよい。
【００３５】
上記明細書では、本発明は、本発明の特定の実施例を参照して説明された。明細書及び図面は、限定的というより例示的なものとしてみなされるべきである。
【図面の簡単な説明】
【００３６】
【図１】図１は、符号化装置を示す。
【図２】図２は、符号化方法のフロー図を示す。
【図３】図３は、時間の関数としての量子化スケールのグラフを示す。
【図４】図４は、コード変換装置を示す。
【図１】
2005522117.tif 000003
【図２】
2005522117.tif 000004
【図３】
2005522117.tif 000005
【図４】
2005522117.tif 000006
【国際調査報告】
2005522117.tif 000007
2005522117.tif 000008
2005522117.tif 000009