(57)【要約】【課題】符号化のためのモーションフィールドを効率よく表現することができるモーションを表わす方法を得る。【解決手段】この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する。具体的には、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する。【選択図】図１
2011055536.tif 000002
【特許請求の範囲】
【請求項１】
異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する
ことを特徴とする画像デジタル化のシーケンスにおけるモーションを表わす方法。
【請求項２】
上記モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する
ことを特徴とする請求項１に記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
【請求項３】
解像度を増加して見逃し誤りのシーケンスを生成し符号化する
ことを特徴とする請求項２に記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
【請求項４】
異なる解像度の符号化されたモーションベクトルフィールドバージョンを、組込みビットストリームに多重化する
ことを特徴とする請求項１乃至３のいずれかに記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
【請求項５】
上記符号化がベクトル量子化を使って行われる
ことを特徴とする請求項１乃至３のいずれかに記載の画像デジタル化のシーケンスにおけるモーションを表わす方法。
【請求項６】
異なる解像度の複数のモーションベクトルフィールドのバージョンを生成し符号化する手段を備える
ことを特徴とする画像デジタル化のシーケンスにおけるモーションを表わす装置。
【請求項７】
上記モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成する手段と、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成する手段と、解像度の粗いモーションベクトルフィールドと見逃し誤りをより細かい解像度で符号化する手段とを備える
ことを特徴とする請求項６に記載の画像デジタル化のシーケンスにおけるモーションを表わす装置。
【請求項８】
解像度を増加して見逃し誤りのシーケンスを生成し符号化する手段を備える
ことを特徴とする請求項７に記載の画像デジタル化のシーケンスにおけるモーションを表わす装置。
【請求項９】
所定の解像度におけるモーションベクトルフィールドのバージョンを復元する手段を備え、請求項６乃至８のいずれかに記載の装置を使って符号化される情報を復号する
ことを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル化画像のシーケンスのためのモーションベクトルフィールドを符号化する方法および装置に関する。
【背景技術】
【０００２】
デジタル化動画を圧縮するために動き補償の原理を使用するのは周知である。ＭＰＥＧ-１、ＭＰＥＧ-２、Ｈ２６３などの既知の方法の多くにおいて、動き補償はピクセルの正方形または長方形のブロックを使って行われ、そしてモーションベクトルが各ブロックに割り当てられる。例えば、ピクセルのブロック、通常には基準画像の制限された領域内で、１６×１６ブロックを先行する基準画像におけるブロックと比較するのは既知である。検討中の現行ブロックに非常に類似する基準画像におけるブロックは、最小平均二乗誤差のようなアルゴリズムを用いて得られ、そして対応するモーションベクトルは現行ブロックに関連する。このように、図７に示すような現行の画像における１６×１６ブロックは、個々のモーションベクトルに関連する。モーションベクトルは、フルペルまたはサブペル (通常、ハーフペルまたはクォータペル) の精度で続けて量子化されて、通常その結果は差別的に符号化される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記した既知の方法で単一モーションベクトルを画像内のピクセルのブロックに割り当てると、変換モーションを表わすのに有用である。しかし、予測アルゴリズムの性能を著しく制限し得る上述のタイプのブロックに基づく動き補償の方法には、多くの欠点がある。例えば、その方法は、簡単な変換運動より複雑な回転、スケールの変化のようなモーションを含む領域に対して十分に機能しない。また、ブロックに基づく予測は、例えば雲や人によって表わされるような柔らかいモーションに対して不満足である。さらに、ブロックに基づく方法はブロックに沿ってモーション境界を課し、ブロック内のモーション境界を正確に表わすことができない可能性がある。さらに加えて、再構築された画像は、特にモーション境界がブロックを横切っている状態では、“濃淡のむらがある”アーティファクトを現す可能性がある。
【０００４】
そのような問題を軽減するために、いくつかの方法では、パラメータモーションモデルを備えた可変ブロックサイズ動き補償を採用している(変換モデルに加えて準アフィンモーションモデルおよびアフィンモーションモデルを含む)。これらの方法では、動き補償に使われるブロックのサイズおよびモーションモデルはどれほど多くの動く対象が１つの領域内に存在しているかに依存しており、そしてモーションフィールドの複雑さに依存している。そのような方法によって、サイズが固定されたブロックを使う方法にいくつかの改善が行われるが、その改善には限界がある。
【０００５】
本発明は、上記のような課題を解決するためになされたもので、画像に対して高密度モーションベクトルフィールドを導き出し、モーションベクトルフィールドでベクトル量子化を実行することによって、画像デジタル化のシーケンスにおけるモーションを表わす方法および装置を提供する。
【課題を解決するための手段】
【０００６】
この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、画像に対する密なモーションベクトルフィールドの導き出し工程と、モーションベクトルフィールドでのベクトル量子化工程とを備える。
【０００７】
また、モーションベクトルフィールドのモーションベクトルが８×８ピクセルブロックより小さいサイズのピクセルブロックに対して導き出される。
【０００８】
また、モーションベクトルフィールドのモーションベクトルが各ピクセルに対して導き出される。
【０００９】
また、ベクトル量子化が、モーションベクトルの成分に対して個々に行われる。
【００１０】
また、ベクトル量子化後に、可変長符号化が行われる。
【００１１】
また、画像中でモーション不連続が起きる場所が識別される。
【００１２】
また、モーションベクトルフィールドを処理して、ベクトル量子化前にモーションベクトルのエントロピーを減らす。
【００１３】
また、モーション不連続が、エントロピーを減らす工程で使用される。
【００１４】
また、エントロピーを減らす工程が隣接するモーションベクトルの平均をとることによって行われる。
【００１５】
また、モーション不連続によって区分されたモーションベクトルが平均化において使用されない。
【００１６】
また、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する。
【００１７】
また、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、解像度の粗いモーションベクトルフィールドを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する。
【００１８】
また、この発明に係る画像デジタル化のシーケンスにおける画像に関するデータを処理する方法は、画像に対するモーションベクトルを導き出し、所定のモーションベクトルを隣接するモーションベクトルにもとづく平均化によって導き出された新しいモーションベクトルで置換することによってモーションベクトルを平滑化し、さらにモーション不連続が画像中で起きる場所を識別し、モーションベクトルがモーション不連続によって所定のモーションベクトルから区分けされる場合、それらを平均化から省略する。
【００１９】
また、新しいモーションベクトルが予測誤差を用いて導き出される。
【００２０】
また、この発明に係る画像デジタル化のシーケンスにおける画像に関するデータを処理する方法は、画像に対するモーションベクトルを導き出し、所定のモーションベクトルを隣接するモーションベクトルと予測誤差にもとづく平均化によって導き出される新しいモーションベクトルで置換することによってモーションベクトルを平滑化する。
【００２１】
また、モーション不連続が画像中で起きる場所を識別し、モーションベクトルが該モーション不連続によって所定のモーションベクトルから区分けされる場合、それらを平均化から省略する。
【００２２】
また、モーションベクトルが各ピクセルに対して導き出される。
【００２３】
また、平均をとるとき所定のモーションベクトルが考慮される。
【００２４】
また、平均をとるとき加重平均を用いる。
【００２５】
また、この発明に係る画像デジタル化のシーケンスにおける画像に関するデータを処理する方法は、画像に対するモーションベクトルフィールドを導き出し、モーション不連続が画像中で起きる場所を識別し、そしてモーション不連続が画像中で起きる場所を考慮して隣接するモーションベクトルを結合することによってモーションベクトルフィールドを平滑化する。
【００２６】
また、モーションベクトルが各ピクセルに対して導き出される。
【００２７】
また、この発明に係る画像を処理する方法は、モーションベクトルフィールド内のモーション境界を表わすモーション不連続を導き出し、各境界内のモーションベクトルをその境界内の他のモーションベクトルにもとづいて調整する。
【００２８】
また、この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成して符号化する。
【００２９】
また、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成し、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成し、そしてこの見逃し誤りをより細かい解像度で符号化する。
【００３０】
また、解像度を増加して見逃し誤りのシーケンスを生成し符号化する。
【００３１】
また、異なる解像度の符号化されたモーションベクトルフィールドバージョンを、組込みビットストリームに多重化する。
【００３２】
また、符号化がベクトル量子化を使って行われる。
【００３３】
また、この発明に係るエンコーダは、上述のいずれかの方法によって画像デジタル化のシーケンスに対するモーション情報を符号化する。
【００３４】
また、この発明に係るデコーダは、上述のいずれかの方法によって符号化された画像デジタル化のシーケンスに対するモーション情報を復号する。
【００３５】
また、この発明に係るエンコーダは、画像に対して密なモーションベクトルフィールドを導き出すモーションエスティメータと、モーションベクトルフィールドを符号化するベクトル量子化器を備える。
【００３６】
また、この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす装置は、異なる解像度の複数のモーションベクトルフィールドのバージョンを生成し符号化する手段を備える。
【００３７】
また、モーションベクトルフィールドの副標本をとってフィールドの副標本バージョンを第１の粗い解像度と第２のより細かい解像度で生成する手段と、モーションベクトルフィールドの解像度の粗いバージョンを符号化し、解像度の粗いフィールドを解像度のより細かいフィールドと比較して見逃し誤りを生成する手段と、解像度の粗いモーションベクトルフィールドと見逃し誤りをより細かい解像度で符号化する手段とを備える。
【００３８】
また、解像度を増加して見逃し誤りのシーケンスを生成し符号化する手段を備える。
【００３９】
また、この発明に係るデコーダは、所定の解像度におけるモーションベクトルフィールドのバージョンを復元する手段を備え、上述のいずれかの装置を使って符号化される情報を復号する。
【００４０】
また、この発明に係る符複号器は、上述のいずれかのエンコーダと、上述のいずれかのデコーダとを備える。
【発明の効果】
【００４１】
この発明に係る画像デジタル化のシーケンスにおけるモーションを表わす方法は、画像に対する密なモーションベクトルフィールドの導き出し工程と、モーションベクトルフィールドでのベクトル量子化工程とを備える。そのため、符号化のためのモーションフィールドを効率よく表現することができる。そして、動き補償を用いたより良い予測の結果、そしてアーティファクトの数を減らすことができるので、視覚品質が改善された再構築画像を得ることができる。そして特に、ブロッキングアーティファクトを減らしたり、または完全に無くすことができる。また、この方法は、モーションフィールドのスケーラブル表現に向いており、伝送エラーに対するエラー強さが向上する。
【図面の簡単な説明】
【００４２】
【図１】本発明のエンコーダを示すブロック図である。
【図２】不連続ラベルを示す画像領域を表わす図である。
【図３】図１に示したエンコーダのコンポーネントのブロック図である。
【図４】図１に示したエンコーダからのビットストリーム出力を表わす図である。
【図５】本発明のデコーダを示すブロック図である。
【図６】本発明のハイブリットＤＣＴ／ＭＣ符復号器のブロック図である。
【図７】先行技術によるモーションベクトルフィールドを表わす図である。
【発明を実施するための形態】
【００４３】
本明細書では、モーションベクトルフィールドに関する濃いという語は、サイズ８×８ピクセルのピクセルブロックに対して少なくとも２つのモーションベクトルがあることを意味する。例えば、モーションベクトルは各４×４ピクセルブロックまたは各２×２ピクセルブロックに割り当てられるかもしれない。好ましくは、モーションベクトルは各ピクセルに割り当てられる。
【００４４】
図１は、本発明の実施の形態によるマルチ解像度モーションベクトルフィールド（ＭＭＶＦ）エンコーダのブロック図である。図１に示すようなＭＭＶＦエンコーダは、モーションベクトルフィールドおよびモジュールへの画像入力のシーケンスにおける画像のためのモーション不連続マップを生成するモーションエスティメータ（ＭＥ）モジュール２１０を有している。モーションエスティメータモジュールの出力は、エントロピーリダクションモジュール２２０の入力に接続される。エントロピーリダクションモジュール２２０は、モーション不連続マップを使用してモーションベクトルフィールドを処理して不連続点を有するエントロピー束縛モーションベクトルフィールドを生成する。エントロピーリダクションモジュール２２０の出力は、マルチ解像度ベクトル量子化モーションフィールドおよび不連続符号化モジュール２３０の入力に接続される、それはモーションベクトルフィールドのマルチ解像度ベクトル量子化（ＭＭＶＦ）表現を生成するものである。
【００４５】
ＭＭＶＦエンコーダの動作について、以下に詳述する。
モーションエスティメータモジュール２１０は、入力画像フレームのシーケンスで動作して、密なモーションベクトルフィールドを生成する。そして各フィールドは関連モーション不連続マップを有する。
【００４６】
画像フレームに対するモーションベクトルフィールドは、画像フレームと基準フレームに基づくモーション評価を使って導き出される。本実施の形態において、この評価は、基準フレームと連続する最初のフレームのオリジナルの符号化バージョンから再構築された基準フレームを使って行われる。例えば、モーション評価は最初の基準フレームと最初の連続するフレームを使って行うことができる。
【００４７】
このモーション評価は、既知のブロックマッチング技術の変形を使って実行される。画像フレーム中の１６×１６ピクセルのブロックは、基準フレーム中のブロックと比較される。最も類似する合致が見つかった場合に、対応するモーションベクトルが基準ピクセルに割り当てられる。本実施の形態における基準ピクセルは、４つの中央ピクセルのうちの上左側のピクセルである。他の実施の形態において、ｍ×ｎブロックのうちのどのピクセルも基準ピクセルとすることができる。しかし、それはブロックの中心近くまたは中心が好ましい。これらのステップは繰り返されて、画像中の各ピクセルに対するモーションベクトルを得るために画像フレーム中の１６×１６ブロックをオーバーラップし、その結果、画像全体に対するモーションベクトルを得る。この方法で生成されたモーションベクトルフィールドは、ブロック様構造を示すが、正確で密なモーションベクトルフィールドが、エントロピーリダクションモジュール２２０で回復生成される。ここでは、ペルリカーシブ技術や傾斜ベース法のようなピクセルに対するモーションベクトルを得る他の方法を利用できる。これは“Digital Pictures - Representation, Compression and Standards”by A. Netravali and B.G. Haskell, Plenum Publishing 1995.に記述されている。
【００４８】
また、モーションエスティメータモジュール２１０は、画像フレーム中のモーション不連続を映すモーション不連続マップを生成する。一般にモーション不連続はピクセル間に位置存在する。そして各ピクセルは関連する４つの不連続ラベル６１１，６１２，６１３，６１４を有し、それらは、図２に示すように、上部、下部、右側、左側の各々に対応する。各不連続ラベルは、２つの隣接するピクセルの間で共用される。すなわち例えば、ピクセル６００に対する右側不連続ラベル６１２は、右側のピクセル６００に隣り合うピクセル６０２に対する左側不連続ラベル６１２である。
【００４９】
画像中のモーション不連続は、論文“Robust Motion Analysis”by M. Bober and J. Kittler, CVPR, 1994, pp 947-952に記述された技術のような適当な技術を使って識別される。手短かに言えば、前のフレーム中の最も類似するマッチングに関するブロック中の見逃し誤りの広がりを評価するのに統計分析が使用されている。受理できる範囲外に見逃し誤りを有するピクセルは、ブロックの残部におけるピクセルと異なるモーション領域に属するとして処理される。そして、異なるモーション領域間の境界がモーション不連続である。
【００５０】
モーションエスティメータモジュール２１０によって導き出されたモーションベクトルフィールドおよびモーション不連続マップは、エントロピーリダクションモジュール２２０に入力される。エントロピーリダクションモジュール２２０は、モーションエスティメータモジュール２１０で評価されたモーションベクトルフィールドを処理し、モーション不連続ラベルを考慮して、モーション境界を保存し、そしてエントロピー束縛モーションベクトルフィールドを生成する。このプロセスはペルリカーシブ技術に基づいており、以下に詳述する。
【００５１】
画像中の単一ピクセルの処理は、図２を参照して単一ピクセルに対して述べられる。中央のピクセル６００とその隣、上下左右のピクセル６０１、６０２、６０３、６０４が考慮される。さらに、中央のピクセル６００に対する４つのモーション不連続ラベル６１１、６１２、６１３、６１４が考慮される。各ピクセルは、それに関連するモーションベクトルを有する。すなわち、ピクセル６００はモーションベクトルＶ６００を有する。処理後、モーションベクトルＶ６００の新しい値が中央のピクセルに対して計算される。
【００５２】
本実施の形態における処理は、中央のピクセル６００のモーションベクトルと能動不連続ラベルによって中央のピクセルから分離されないその隣のピクセル６０１、６０２、６０３、６０４のモーションベクトルの加重平均をとることに基づいている。より具体的には、
【００５３】
【数１】
2011055536.tif 000003
【００５４】
【数２】
2011055536.tif 000004
【００５５】
ここで、V60nx(i)とV60ny(i)はi番目の反復であるピクセル６０ｎに割り当てられるモーションベクトル成分であり、ｋはゼロ以上の定数である。
【００５６】
隣のピクセルの１つ以上が能動モーション境界によって中央のピクセルから区分けされない場合、それは計算から除外され、したがって分母が調整される。例えば、モーション不連続ラベル６１１がアクティブであると仮定すると、V600x(i+l)は次式で計算される。
【００５７】
【数３】
2011055536.tif 000005
【００５８】
この例において、処理は平均に基づくが、予測誤差が考慮されても良い。
より具体的には、
【００５９】
【数４】
2011055536.tif 000006
【００６０】
【数５】
2011055536.tif 000007
【００６１】
ここで、ＰＥは、予測誤差、すなわちピクセル６００と反復ｉで計算されるモーションベクトルV600(i)を使ったディスプレイスメント後の基準フレーム中のピクセルとの間の輝度値における差であり、V600(i)＝(V600x(i),V600y(i))、▽xIと▽yIはピクセル６００に対する画像密度傾斜の成分である。本実施の形態における画像傾斜は、中央のピクセルと隣のピクセルの輝度値に基づいて計算される。具体的にいえば、▽xI＝I602−I600、そして▽yI＝I601−I600 であり、ここで、I60nはピクセル６０ｎの輝度値を表わす。画像傾斜は、隣のピクセルを使う他の方法で計算できる。例えば、▽xIと▽yIは次式により計算される。ｍは０より大きい定数である。
【００６２】
【数６】
2011055536.tif 000008
【００６３】
【数７】
2011055536.tif 000009
【００６４】
【数８】
2011055536.tif 000010
【００６５】
この例において、ｍ＝１００である。また、隣のピクセルの１つが能動モーション境界によって区分けされない場合、それは計算から除外される。このように、モーション不連続ラベル６１１がアクティブであると仮定すると、次式が成立する。
【００６６】
【数９】
2011055536.tif 000011
【００６７】
上述の処理方法の各々において、処理は画像中のすべてのピクセルに対して行われて、多数の反復やパスが行われる。ピクセルが単一パスにおいて処理される順序は、結果にそれほど影響しない。これらの例において、反復の最適数は、使用されるモーションエスティメータのタイプに依存するが、５〜１０回の反復が行われる。
【００６８】
上述した処理の結果、モーションベクトルフィールドの平滑されたエントロピー束縛バージョンが得られる。そしてモーション不連続が保存される。モーション不連続ラベルおよび上述の第２の処理方法における予測誤差を考慮することによって、平滑化はそれによって動き補償予測の効率が低下しない領域で行われるだけである。エントロピーリダクションモジュール２２０による出力としてモーション不連続を有するモーションベクトルフィールドの領域の表現の例を図１の２２５に示す、ここで丸印はピクセルを表わし、矢印はモーションベクトルを表わし、そしてピクセル間の線はモーション不連続を表わす。
【００６９】
エントロピーリダクションモジュール２２０によって生成されるモーション不連続を有するエントロピー束縛モーションベクトルフィールドは、マルチ解像度モーションベクトルフィールド量子化（ＭＭＶＦＱ）および不連続符号化モジュール２３０に入力される。
【００７０】
図３は、ＭＭＶＦＱおよび不連続符号化モジュールをより詳しく示す。図３を参照すると、エントロピーリダクションモジュール２２０から得られるモーションベクトルフィールドは、モーションフィールドピラミッドモジュール３１０に入力され、モジュール３１０は、降順空間解像度における最初のモーションベクトルフィールドのバージョンであるｎ＋１個のモーションフィールドのセットを生成する。ｎ＋１個のモーションフィールドは、画像解像度ｓ０〜ｓｎを有する。ここで最初の画像解像度におけるモーションフィールドは、解像度ｓｎを有し、解像度が最も粗いモーションフィールドは解像度ｓ０を有する。解像度ｓｍのモーションフィールドは、解像度ｓ（ｍ＋１）の高解像度モーションを低域フィルターにかけたり副標本をとったりすることによって得られる。このプロレスは、最初のモーションフィールドから始まってｎ回実行されて、モーションベクトルフィールドのピラミッドと呼ばれるｎ＋１個のフィールドを生成する。
【００７１】
本実施の形態によると、副標本ファクタｋは２であり、低域フィルタリングプロセスは２×２ブロック内のｖｘ値とｖｙ値の平均をとる。それから平均値ｖｘ−ａｖｅｒとｖｙ−ａｖｅｒを求めて、より粗い解像度におけるブロックのモーションを表わす。しかし、様々な副標本ファクタｋ（ｋ＞１）と様々な低域フィルターを使うことができる。
【００７２】
その後、モーションフィールドのピラミッドが処理される。解像度ｓ０におけるモーションフィールドは、コードブックｃ０を使ってベクトル量子化（ＶＱ）エンコーダ３３０ａによって符号化される。ＶＱエンコーダ３３０ａからの出力は、エントロピーを符号化するモジュール３８０ａに伝わり最も粗い解像度ｓ０におけるモーションフィールドの表現を形成し、そしてＶＱデコーダ３６０ａに伝わる。ＶＱデコーダ３６０ａはコードブックｃ０を使用してより粗いモーションフィールドを再構築する。それから粗いモーションフィールドは、モーションフィールドの解像度がファクタｋによって増大するアップサンプリングモジュール３４０ａへパスされる。差分モジュール３５０ａは、解像度ｓ１におけるモーションフィールドと解像度ｓ０のフィールドから得られるアップサンプリングされた再構築モーションフィールドの間の差異を計算する。そうして得られた解像度ｓ１における残留誤差モーションフィールドは、差分モジュール３５０ａから出力されて、コードブックｃ１を使ってＶＱエンコーダ３３０ｂによって処理される。上述のステップは、最初の解像度までのすべての解像度におけるモーションフィールドが処理されるまで、解像度を増大させて帰納的に繰り返されて、最初のモーションベクトルフィールドのｎ＋１個の成分表現が得られる。
【００７３】
上述のベクトル量子化は、符号化モジュール３３０ａ〜３３０ｎ中のモーションベクトルフィールドの各々で実行される。このベクトル量子化は、“Scalable image coding using Gaussian pyramid vector quantization with resolution-independent block size” by L. Cieplinski and M. Bober, Processing IEEE International conference on Acoustics, Speech and Signal Processing, 1997, vol. 4, pp 2949-2952に述べられているものに類似しており、ここでベクトル量子化は静止絵の輝度値に関連して述べられている。
【００７４】
ベクトル量子化が各解像度で適用されるベクトルを、次の方法のうちの１つで形成できる。
【００７５】
１）速度成分フィールドＶｘとＶｙにおけるノンオーバーラッピング領域からｏ(ｏ＞１）個の成分速度を別々にグループ化する。これらの領域は同一の形を有しており、速度フィールド全体を覆っている。各領域に対して、２つのｏ次元ベクトルが形成される。VQx＝(vx1,...vxi,...vxo)、VQx＝(vy1,...vyi,...vyo)、ここで、vxi とvyiはブロック内のピクセルｉのx速度成分とｙ速度成分である。
【００７６】
２）上述のようにしてベクトルを形成する前に、ベクトルフィールドＶに対して変形を行う。変形の目的は成分フィールドを統計的に無関係にすることであり、または符号化性能を改善するためにそれらの相関関係を弱めることである。例えば、画像内の各ピクセルロケーションでの各ベクトルｖ＝（ｖｘ，ｖｙ）は、ログポーラー表現ｖｐ＝（ｖｐｒ，ｖｐａ）に変形される。ここで、成分ｖｐａとｖｐｒは次のように定義される。
【００７７】
【数１０】
2011055536.tif 000012
【００７８】
【数１１】
2011055536.tif 000013
【００７９】
【数１２】
2011055536.tif 000014
【００８０】
【数１３】
2011055536.tif 000015
【００８１】
各領域に対して、２つのｏ次元ベクトルが形成される。VQr＝(vpr1,...vprj,...vpro)、VQa＝(vpa1,...vpaj,...vpao)、ここでvprjとvpajは上に略述された変形から得られる。
【００８２】
３）２）項に定義された成分ベクトルＶＱｘとＶＱｙはともにグループ化されて、ベクトルVQ＝(VQx,VQy)またはVQ＝(VQr,VQa)を形成する、そしてＶＱを量子化できる。もちろん、そのようにして形成されたＶＱベクトルは、次元２ｏを有する。
【００８３】
本実施の形態では、上述の２）項の方法が２×２ピクセルの方形ブロックとともに使われ、そのためＶＱは４次元ベクトルに対して行われる。
【００８４】
エントロピーコーダ３８０ａ〜３８０ｎから出力されたモーションベクトルフィールドの成分表現３７０．．．３７ｎは結合されて、例えば図４に示すように組込表現２６０となる。図４は、セパレータによって区切られたいろいろな解像度における成分表現を示す。
【００８５】
図５は、モーションフィールドの組込表現を復号していろいろな解像度におけるモーションフィールドと最初のモーションベクトルフィールドを再構築するデコーダ５００を示す。再構築は解像度が最も粗い表現から始まる。それはエントロピーデコーダ５１０ａによって復号されて、ＶＱデコーダ５１５ａに伝えられる、ここではコードブックｃ０を使って復号されて解像度ｓ０において再構築されたモーションフィールドを得る。それからこの解像度ｓ０において再構築されたモーションフィールドは、アップサンプリングモジュール５２５ａによってエンコーダと同じような方法でアップサンプリングされて、解像度ｓ１におけるフィールドの近似を得る。そして解像度ｓ１におけるモーションフィールドの見逃し誤りは類似の方法で再構築される。解像度ｓ１の見逃し誤りと解像度ｓ０におけるフィールドからアップサンプリングされるフィールドはともにサメーションモジュールに加えられて、解像度ｓ１において再構築されたモーションフィールドを生成する。最初の解像度のモーションフィールドが得られるまで、このプロセスは、より細かい解像度ごとに繰り返される。しかし必要な場合には、このプロセスを最初の解像度前のどの解像度においても止めることができる。
【００８６】
図６は、本発明の実施の形態によるビデオ画像データを符号化したり復号したりするハイブリットＤＣＴ／ＭＣ符複号器を示す。
【００８７】
図６において、コーダ側は、入力画像データで離散的余弦変形を行うＤＣＴモジュール７１０を備える。ＤＣＴモジュール７１０は、ＤＣＴモジュールから出力されるＤＣＴ係数において適合量子化を行う適合できる量子化器７２０に接続される。量子化器７２０は、レートコントローラ７３０によって制御される。量子化器７２０の出力は、可変長コーダ７４０と逆量子化器７５０に接続される。逆量子化器７５０の出力は、最初のフレームのバージョンを再構築する逆ＤＣＴモジュール７６０に接続される。逆ＤＣＴモジュール７６０の出力は、複数のフレームストア７７０に接続される。フレームストア７７０の出力は、モーションベクトルフィールドを導き出したり符号化するマルチ解像度モーションベクトルフィールド（ＭＭＶＦ）エンコーダ７８０に接続される。ＭＭＶＦコーダ７８０は、既知の方法で動き補償を行うアドバンスト動き補償モジュール７９０に接続される。また、ＭＭＶＦコーダ７８０は符号化モーションベクトルフィールドを表わす出力データを可変長コーダ７４０に出力し、可変長コーダ７４０の出力は、バッファ８００に接続される。バッファ８００はレートコントローラ７３０を調整するのに使用されて、格納データが伝送したり記録媒体に記録するために出力される。
【００８８】
対応する成分は、バッファ８１０、可変長デコーダ８２０、逆量子化器８３０、逆ＤＣＴモジュール８４０、アドバンスト動き補償モジュール８５０、フレームストア８６０、およびＭＭＶＦデコーダ８7０を備えるデコーダ内に与えられる。
【００８９】
コーダとデコーダは、実質的に既知の方法で動作して、ＭＭＶＦコーダ７８０とデコーダ８7０を使ってのモーションベクトルフィールドの符号化と復号を除いて、ビデオ画像データを符号化する。ＭＭＶＦコーダ７８０とデコーダ８7０は実質的に上述のように動作する。しかし上述のように、可変長コーダ７４０とデコーダ８２０は、エントロピーコーダ３８０ａ〜３８０ｎとデコーダ５１５ａ〜５１５ｎの代わりにエントロピー符号化および復号を行う。ｎ個のエントロピーコーダ３８０ａ〜３８０ｎの代わりに単一の可変長コーダ９４０を使用することができ、異なる解像度における画像データに対して異なる参照用テーブルを採用する、そしてデコーダ８２０についても同じである。
【００９０】
上述の符号化の効率(ピクセル毎のビットの平均数に基づく)は、既知の方法と同じ程度かそれ以上にすることができる。モーションベクトルの各ピクセルへの割り当てによってモーション情報量が増加するが、これは続くプロセス、すなわちエントロピーリダクションとベクトル量子化において減少する。もちろん、ピクセル毎のビットの平均数は符号化されるデータの特質に依存する。
【００９１】
上述の本発明の実施の形態において、モーション不連続マップが導き出されて続くプロセスで使われる、しかしモーション不連続を考慮するのは本質ではない。上述の実施の形態のように、各ピクセルに対してモーションベクトルを導き出す代わりに、本発明は、モーションベクトルを、例えば２×２または４×４ピクセルブロックのようなピクセルのグループに割り当てることができる方法にも適用できる。しかし、重要な特長は、得られるモーションベクトルフィールドが密であることである。
【００９２】
本発明は、次の条件の1つ以上を満足する画像のシーケンスを取り扱う応用において特に有用である。
i）チャンネル帯域幅が限定される。
ii）データ破損のリスクが大きい、または
iii）モーションデータの解像度が小さいバージョンを得ることに利益が有る。
【００９３】
本発明によって導き出されて表わされるモーション情報をデータベースに蓄積し検索閲覧に供することができる。例えば、特殊なタイプの動きのシーケンスを探す場合に、先ずそのデータベース(本発明によって得られるモーションベクトルを蓄積)から粗いモーション情報を得ることができて、それから最初の解像度における選択シーケンスを検索する。
【００９４】
本発明の結果、符号化のためのモーションフィールドを効率よく表現することができる。そして、動き補償を用いたより良い予測の結果、そしてアーティファクトの数を減らすことができるので、視覚品質が改善された再構築画像を得ることができる。そして特に、ブロッキングアーティファクトを減らしたり、または完全に無くすことができる。また、この方法は、モーションフィールドのスケーラブル表現に向いており、伝送エラーに対するエラー強さが向上する。
【００９５】
また、本発明は、いろいろな解像度で複数のモーションベクトルフィールドのバージョンを発生し符号化することによって、デジタル化画像のシーケンスにおけるモーションを表わす方法および装置を提供する。
【００９６】
本発明の結果、モーションフィールドのスケーラブル表現および組込みビットストリームを生成できる。こうして、ビットストリームの一部を復号することによって、モーションベクトルフィールドの粗いバージョンを容易に再構築することができる。これはいくつかの利点を有する。例えば、ビットストリームの一部が伝送中に破損した場合に、モーションフィールドの解像度の小さいバージョンを回復し、動き補償に使用することができる。一方、いくつかの用途ではフィールドの粗いバージョンを必要とする、したがってフルバージョンを再構築してそれの副標本をとって粗いバージョンを得るよりもむしろ切り詰められたビットストリームから直接粗い画像を再構築することによって、処理パワーとメモリーに対する要求を軽減できる。このような方法は、例えば、ビデオ移動電話において有用である。
【００９７】
また、本発明は、モーションベクトルフィールドを予備処理して予測誤差をあまり減らさずにエントロピーを減らす方法および装置を提供する。これは、できる限り、モーション予測の品質およびモーション不連続の保存に与える効果を制限する他の制約とともに、隣接したモーションベクトルの平均をとることによって行うことができる。
【００９８】
また、本発明は、モーション不連続が画像中のどこで起きるかを識別し、モーション不連続が画像中のどこで起きるかを考慮して隣接するモーションベクトルを結合することによってモーションベクトルフィールドを平滑化するデジタル化画像のシーケンスにおける画像に関するデータを処理する方法および装置を提供する。
この結果、モーションベクトルフィールドのより正確な反射を得ることができる。
【符号の説明】
【００９９】
２１０  モーションエスティメータモジュール、２２０  エントロピーリダクションモジュール、２３０  マルチ解像度ベクトル量子化モーションフィールドおよび不連続符号化モジュール。
【図１】
2011055536.tif 000016
【図２】
2011055536.tif 000017
【図３】
2011055536.tif 000018
【図４】
2011055536.tif 000019
【図５】
2011055536.tif 000020
【図６】
2011055536.tif 000021
【図７】
2011055536.tif 000022