(57)【要約】【課題】スケーラブルビデオコーディングでモーションベクトルのスケーラビリティーを具現する方法及び装置を提供する。【解決手段】モーションベクトルに対する真の意味のスケーラビリティーを具現することによって、可変的なネットワーク環境で適切なビット量を有するビットストリームを生成し、これをユーザに提供しうる。【選択図】図５
2005304035.tif 000002
【特許請求の範囲】
【請求項１】
所定のピクセル精度によって各階層の費用関数が最小となる可変ブロックサイズ及びモーションベクトルを検索するモーション推定モジュールと、
前記各階層別に検索されたモーションベクトルの差分値を計算するモーション差分モジュールと、
前記検索されたモーションベクトルの差分値及び可変ブロックサイズ情報を、検索された下位階層の重要度情報によって再配列する再配列モジュールと
を含むことを特徴とするモーション推定装置。
【請求項２】
前記費用関数Ｊは、Ｊ＝Ｄ＋λ×Ｒの式を通じて求められるが、ここで、Ｄはフレーム間の差分値をコーディングするのに使われるビット数であり、Ｒは推定されたモーションベクトルをコーディングするのに使われるビット数を意味し、λはラグランジアン制御変数であることを特徴とする請求項１記載のモーション推定装置。
【請求項３】
前記フレームのアップサンプリングは、所定のフィルターを用いてピクセル間を補間することによってなされることを特徴とする請求項１記載のモーション推定装置。
【請求項４】
前記重要度は、前記下位階層のモーションベクトル係数の絶対値の大きさによって決定されることを特徴とする請求項１記載のモーション推定装置。
【請求項５】
前記重要度は、前記下位階層の可変ブロックサイズによって決定されることを特徴とする請求項１記載のモーション推定装置。
【請求項６】
入力されたフレームに対してモーション推定を行ってモーションベクトルを求め、これを重要度によって再配列するモーション情報生成モジュールと、
前記求めたモーションベクトルを用いて時間軸方向にフレームを低周波及び高周波フレームに分解することによって、時間的重複性を減少させる時間的フィルタリングモジュールと、
時間的フィルタリング部によって時間的重複性が除去されたフレームに対して空間的重複性を除去することによって、変換係数を生成する空間的変換モジュールと、
前記生成された変換係数を量子化する量子化モジュールと、
前記量子化された変換係数及び前記再配列されたモーションベクトルを無損失符号化するエントロピー符号化モジュールと
を含むことを特徴とするビデオエンコーダ。
【請求項７】
前記空間的変換は、ＤＣＴ変換またはウェーブレット変換のうち何れか１つの方法を使用することを特徴とする請求項６記載のビデオエンコーダ。
【請求項８】
前記モーション情報生成モジュールは、
前記入力されたフレームについて所定のピクセル精度によって費用関数が最小となる可変ブロックサイズ及びモーションベクトルを求めるモーション推定モジュールと、
前記求めたモーションベクトル及び可変ブロックサイズ情報を、検索された下位階層の重要度情報を用いて再配列する再配列モジュールと
を含むことを特徴とする請求項６記載のビデオエンコーダ。
【請求項９】
前記モーション情報生成モジュールは、
前記入力されたフレームについて所定のピクセル精度による各モーション階層の費用関数が最小となる可変ブロックサイズ及びモーションベクトルを検索するモーション推定モジュールと、
前記各モーション階層別に検索されたモーションベクトルの差分値を計算するモーション差分モジュールと、
前記検索されたモーションベクトルの差分値及び可変ブロックサイズ情報を検索された下位階層の重要度情報を用いて再配列する再配列モジュールと
を含むことを特徴とする請求項６記載のビデオエンコーダ。
【請求項１０】
前記重要度は、前記下位階層のモーションベクトル係数の絶対値の大きさによって決定されることを特徴とする請求項９記載のビデオエンコーダ。
【請求項１１】
前記重要度は、前記下位階層の可変ブロックサイズによって決定されることを特徴とするに請求項６記載のビデオエンコーダ。
【請求項１２】
入力されたビットストリームを解釈してテクスチャ情報及びモーション情報を抽出するエントロピー復号化モジュールと、
前記モーション情報のうち、下位階層のモーション情報を用いて重要度を探し出し、前記重要度を参照して現在階層のモーションベクトルを元の順序に逆配列するモーション情報復元モジュールと、
空間的変換を逆に行い、前記テクスチャ情報に含まれた変換係数を空間的領域での変換係数に逆変換する逆空間的変換モジュールと、
前記逆配列されたモーションベクトルを用いて前記空間的領域での変換係数を逆時間的フィルタリングしてビデオシーケンスを構成するフレームを復元する逆時間的フィルタリングモジュールと
を含むことを特徴とするビデオデコーダ。
【請求項１３】
前記空間的変換を経る前に前記変換係数を逆量子化する逆量子化モジュールをさらに含むことを特徴とする請求項１２記載のビデオデコーダ。
【請求項１４】
前記モーション情報復元モジュールは、前記エントロピー復号化モジュールから伝えられるモーション情報をコーディング方式であらかじめ約束された重要度を用いて元来の順序で逆配列する逆配列モジュールと、前記逆配列されたモーション情報からモーション差分値を得て、これを下位階層のモーションベクトルと合わせることによって、現在階層のモーションベクトルを復元するモーション加算モジュールとを含むことを特徴とする請求項１２記載のビデオデコーダ。
【請求項１５】
前記約束は、エンコーダ側で複数の重要度のうち、如何なる基準を通じて再配列したのかをビットストリームのうち、所定の位置に記録してデコーダ側に伝達することによってなされることを特徴とする請求項１４記載のビデオデコーダ。
【請求項１６】
元のフレームから基礎階層の可変ブロックサイズとモーションベクトルとを求める段階と、
第１向上階層のモーションベクトルを求める段階と、
前記基礎階層のモーションベクトルと、前記第１向上階層のモーションベクトルとの差分を求める段階と、
モーションベクトルの差分値を各モーションベクトルの重要度順によって再配列する段階と
を含むことを特徴とするモーション推定方法。
【請求項１７】
第２向上階層のモーションベクトルを検索する段階と、
前記基礎階層のモーションベクトル及び前記第１向上階層のモーションベクトル差分を合わせた値と、検索されたモーションベクトルの差分値とを求める段階と、
前記求めた差分値を下位階層から得る重要度によって再配列する段階と
を含むことを特徴とする請求項１６記載のモーション推定方法。
【請求項１８】
前記可変ブロックサイズとモーションベクトルとを検索することは、費用関数Ｊが最小となる値で決定するが、前記費用関数Ｊは、Ｊ＝Ｄ＋λ×Ｒの式を通じて求められ、ここで、Ｄはフレーム間の差分値のコーディングに使われるビット数を、Ｒは推定されたモーションベクトルのコーディングに使われるビット数を、λはラグランジアン制御変数を意味することを特徴とする請求項１６記載のモーション推定方法。
【請求項１９】
前記重要度は、前記下位階層のモーションベクトル係数の絶対値の大きさによって決定されることを特徴とする請求項１６記載のモーション推定方法。
【請求項２０】
前記重要度は、前記下位階層の可変ブロックサイズによって決定されることを特徴とする請求項１６記載のモーション推定方法。
【請求項２１】
元のフレームから基礎階層の解像度になるように第１ダウンサンプリングする段階と、
前記第１ダウンサンプリングされたフレームに対して基礎階層の可変ブロックサイズ及びモーションベクトルを検索する段階と、
元のフレームから第１向上階層の解像度になるように第２ダウンサンプリングする段階と、
前記第１ダウンサンプリングされたフレームに対して第１向上階層の可変ブロックサイズ及びモーションベクトルを検索する段階と、
モーションベクトルのスケールを同一にするために前記基礎階層で検索されたモーションベクトルを基礎階層に対する第１向上階層の解像度倍数だけスケーリングする段階と、
前記第１向上階層のモーションベクトルと基礎階層の前記スケーリングされたモーションベクトルとの差分値を求める段階と、
前記基礎階層のモーション情報から得られる重要度によって前記差分値を再配列する段階と
を含むことを特徴とするモーション推定方法。
【請求項２２】
（ａ）ＧＯＰに存在するフレームに関するモーション推定を行ってモーションベクトルを選定し、これを再配列する段階と、
（ｂ）前記モーションベクトルを用いてフレームの時間的重複性を減少させる段階と、
（ｃ）時間的フィルタリング部によって時間的重複性が除去されたフレームに対して空間的重複性を除去する段階と、
（ｄ）前記空間的重複性が除去されて生成される変換係数及び前記再配列されたモーションベクトルを量子化する段階と
を含むことを特徴とするビデオエンコーディング方法。
【請求項２３】
前記モーションベクトルの再配列は、モーションベクトルが表すフレームブロックの重要度により決定されることを特徴とする請求項２２記載のビデオエンコーディング方法。
【請求項２４】
前記(（ｃ）段階は、ＤＣＴ変換またはウェーブレット変換のうち何れか１つの方法を使用することを特徴とする請求項２２記載のビデオエンコーディング方法。
【請求項２５】
前記量子化された変換係数及び前記生成されたモーション情報を無損失符号化して出力ビットストリームを生成する段階をさらに含むことを特徴とする請求項２３記載のビデオエンコーディング方法。
【請求項２６】
前記（ａ）段階は、
元のフレームから基礎階層の可変ブロックサイズとモーションベクトルとを検索する段階と、
第１向上階層のモーションベクトルを検索する段階と、
前記基礎階層のモーションベクトルと、前記第１向上階層のモーションベクトルとの差分を求める段階と、
モーションベクトルの差分値を各モーションベクトルの重要度順によって再配列する段階と
を含むことを特徴とする請求項２３記載のビデオエンコーディング方法。
【請求項２７】
前記重要度は、前記下位階層のモーションベクトル係数の絶対値の大きさによって決定されることを特徴とする請求項２３記載のビデオエンコーディング方法。
【請求項２８】
前記重要度は、前記下位階層の可変ブロックサイズによって決定されることを特徴とする請求項２３記載のビデオエンコーディング方法。
【請求項２９】
（ａ）入力されたビットストリームを解釈してテクスチャ情報及びモーション情報を抽出する段階と、
（ｂ）前記モーション情報のうち、モーションベクトルを元の順序で逆配列する段階と、
（ｃ）前記テクスチャ情報に含まれた変換係数を逆空間的変換し、前記モーションベクトルを用いて逆時間的フィルタリングする段階と
を含むことを特徴とするビデオデコーディング方法。
【請求項３０】
前記空間的変換を経る以前に前記変換係数を逆量子化する段階をさらに含むことを特徴とする請求項２９記載のビデオデコーディング方法。
【請求項３１】
前記（ｂ）段階は、前記抽出されたモーション情報をコーディング方式であらかじめ約束された重要度を用いて元来の順序で逆配列する段階と、
前記逆配列されたモーション情報からモーション差分値を得て、これを下位階層のモーションベクトルと合わせることによって、現在階層のモーションベクトルを復元する段階と
を含むことを特徴とする請求項２９記載のビデオデコーディング方法。
【請求項３２】
前記約束は、エンコーダ側で複数の重要度のうち、如何なる基準を通じて再配列したのかをビットストリームのうち、所定の位置に記録してデコーダ側に伝達することによってなされることを特徴とする請求項２９記載のビデオデコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮方法に係り、より詳細には、スケーラブルビデオコーディングでモーションベクトルのスケーラビリティーを具現する方法及び装置に関する。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を満たすには足りず、したがって、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータは、その量がぼう大で大容量の保存媒体を必要とし、転送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを転送するためには圧縮コーディング技法を使用することが必須である。
【０００３】
データを圧縮する基本的な原理は、データの重複をなくす過程である。イメージで同じ色や客体が反復されるような空間的重複や、動映像フレームで隣接フレームがほとんど変化のない場合や、オーディオで同じ音が反復され続けるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによりデータを圧縮できる。
【０００４】
現在、大部分のビデオコーディング標準は、モーション補償予測コーディング法に基づいているが、時間的重複はモーション補償に基づいた時間的フィルタリングにより除去し、空間的重複は空間的変換により除去する。
データの重複を除去した後、生成されるマルチメディアを伝送するためには、伝送媒体が必要であるが、その速度は伝送媒体ごとに違う。現在、使われている伝送媒体は、秒当り数十Ｍｂｉｔのデータを伝送できる超高速通信網から秒当り３８４ｋｂｉｔの伝送速度を有する移動通信網のように多様な伝送速度を有する。
【０００５】
このような環境で、多様な速度の伝送媒体を支援するために、または伝送環境によってこれに適した伝送率でマルチメディアを伝送可能にする、すなわち、スケーラビリティーを有するデータコーディング方法が、マルチメディア環境にさらに適している。
このようなスケーラビリティーとは、１つの圧縮されたビットストリームに対してビットレート、エラー率、システム資源などの条件によってデコーダまたはプリデコーダ端で部分的デコーディングを可能にする符号化方式である。デコーダまたはプリデコーダは、このようなスケーラビリティーを有するコーディング方式で符号化されたビットストリームの一部だけを取って異なる画質、解像度、またはフレームレートを有するマルチメディアシーケンスを復元しうる。
【０００６】
既に、ＭＰＥＧ−２１（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ−２１）ＰＡＲＴ−１３でスケーラブルビデオコーディングに関する標準化を進行しているが、その中、空間的変換方法としてウェーブレット基盤の（ｗａｖｅｌｅｔ−ｂａｓｅｄ）方式が有力な方法と認識されている。また、時間的スケーラビリティーを支援するコーディング方法として最近に特許文献１で提示した技術が関心を引いている。
のみならず、従来のＭＰＥＧ４またはＨ．２６４のようにウェーブレット基盤の圧縮方式を使用していないコーディング方式でも、マルチ階層を使用して空間的、時間的スケーラビリティーを具現している。
【０００７】
従来には、このように空間的（ｓｐａｔｉａｌ）、時間的（ｔｅｍｐｏｒａｌ）、または画質（ｖｉｄｅｏ  ｑｕａｌｉｔｙ）などに関してスケーラビリティーを具現しようとする努力はあったが、データの効率的な圧縮のために、同様に重要な要素であるモーションベクトルに対してスケーラビリティーを具現する研究は相対的に少なかった。
【０００８】
これに、最近には、モーションベクトルに対するスケーラビリティーを具現しようとする研究が始まっているが、図１を参照してその一例を説明する。低いビットレートを有するビデオ伝送において、モーションベクトル、モーション推定を行う可変的ブロックサイズ及び位置、このような可変的ブロックごとに決定されるモーションベクトルなどの情報（以下、‘モーション情報'と称する）に対するビットを節約し、このビットをテクスチャ情報に割り当てれば画質改善にさらに助けになる場合がある。したがって、モーション推定の後にモーション情報も階層化して分けて伝送することが助けになりうる。
【０００９】
可変的ブロックサイズを用いたモーション予測で、予測の基本単位は、１６×１６のマクロブロックである。それぞれのマクロブロックは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、そして４×４の組合わせよりなる。そして、対応するモーションベクトルは、１／４ピクセル精度を有する。次いで、モーションベクトルを後述する段階によって階層化する。
第１に、１６×１６ブロックサイズのモーション検索を１ピクセル精度によって行う。生成されたモーションベクトルは、モーションベクトルの基礎階層となる。基礎階層のうち、一例としてマクロブロックのモーションベクトル１が図示されている。
【００１０】
第２に、１６×１６及び８×８ブロックサイズのモーション検索を１／２ピクセル精度によって行う。実行の結果、検索されたモーションベクトルと基礎階層のモーションベクトルとの差が第１向上階層のモーションベクトル差分値であって、今後にこの値がデコーダ端に伝送される。モーションベクトル１１、１２、１３、及び１４は、示されたように第１向上階層で可変的ブロックサイズを決定し、これに対するモーションベクトルを求めたものである。しかし、実際に伝送される値は、前記モーションベクトル１１、１２、１３、及び１４から基礎階層のモーションベクトル１を差し引いた差分値である。図２に基づいてこれを説明すれば、第１向上階層のモーションベクトル差分値は各々ベクトル１５、ベクトル１６、ベクトル１７、及びベクトル１８になる。
【００１１】
第３に、あらゆるサブブロックサイズのモーション検索を１／４ピクセル精度によって行う。基礎階層のモーションベクトルと第１向上階層のモーションベクトル差分とを合わせた値と、前記実行の結果で検索されたモーションベクトルの差が、第２向上階層のモーションベクトル差分値となり、この値が伝送される値である。例えば、マクロブロックＡにおいてモーションベクトル差分値は、差分ベクトル１４２から差分ベクトル１４を差し引いた値であって、差分ベクトル１４２から、差分ベクトル１８とモーションベクトル１とを加算した値を差し引いた値と同じである。
【００１２】
最後に、前記３階層のモーション情報を各々エンコーディングする。
図１から分かるように、オリジナルモーションベクトルは３階層に分けられる。時間的分解でモーション情報を有するそれぞれのフレームは前述したように基礎階層と向上階層とに分けられる。したがって、全体モーションベクトル情報は、図１に示されたようなグループで組織化される。このように、基礎階層は最優先順位のモーションベクトル情報となり、伝送時に省略され得ない成分である。
【００１３】
したがって、基礎階層のビットレートは、ネットワークが支援する最小バンド幅より小さいか、同じでなければならず、基礎階層及び向上階層全体を伝送する時のビットレートは、ネットワークが支援する最大帯域幅より小さいか、同じでなければならない。
広範囲の空間的解像度とビットレートをカバーするために、かかる方法を利用すれば、空間的解像度によって適したベクトル精度を決定することによって、モーション情報についてのスケーラビリティーを具現しうる。
【００１４】
少ないビットで圧縮されたビットストリームの場合、モーションベクトルの量がテクスチャ情報の量に比べて相当多くて画質劣化が多発しうる。これを克服するための方法として、図１のようなモーション精度によって基礎階層と向上階層とに分けてビットストリームを構成する方法が使われている。
【００１５】
しかし、基礎階層でデコーディングするには、モーションベクトルの情報が過度に少なく、向上された階層でデコーディングするには、モーションベクトルの情報が過度に多いの場合には、その間で適切なモーションベクトルの情報量を定められないので、真の意味のモーションベクトルスケーラビリティーが具現できず、よって可変的なネットワーク状況に合わせてモーションベクトルの情報量を調節できない。
【００１６】
すなわち、前記方法は、階層単位のスケーラビリティーは具現できるが、１階層内では、モーション情報のうち、任意の位置でその情報の一部を切り取れば、性能が劣る。これは１階層内ではモーション情報がその重要度とは関係なく配列されていて、任意の位置で切り取る場合に重要なモーション情報が流失される恐れがあるからである。
【００１７】
【特許文献１】米国特許２００３／０２０２５９９号明細書（Ｐｈｉｌｉｐｓ社の公開特許）
【発明の開示】
【発明が解決しようとする課題】
【００１８】
本発明は前記問題点を考慮して創案されたものであって、階層単位のモーションベクトルスケーラビリティーを改良して１つの階層内でも適応的にモーションベクトルスケーラビリティーを具現できる方法を提供することをその目的とする。
本発明の他の目的は、階層内モーションベクトルスケーラビリティーを具現するために、所定の重要度によってモーションベクトルを再配列する方法を提供することである。
本発明のさらに他の目的は、モーションベクトルを再配列するに当って、下位階層の情報だけを用いて別途の付加情報なしに再配列しうる方法を提供することである。
【課題を解決するための手段】
【００１９】
前記目的を達成するために、本発明に係るモーション推定装置は、所定のピクセル精度によって各階層の費用関数が最小となる可変ブロックサイズ及びモーションベクトルを検索するモーション推定モジュールと、前記ピクセル精度がピクセルサイズ未満である場合に、元のフレームをアップサンプリングし、元のフレームより小さな解像度を有する階層でのモーションベクトルを検索する場合、元のフレームを前記小さな解像度を有するようにダウンサンプリングするサンプリングモジュールと、前記各階層別に検索されたモーションベクトルの差分値を計算するモーション差分モジュールと、前記検索されたモーションベクトルの差分値及び可変ブロックサイズ情報を検索された下位階層の重要度情報を用いて再配列する再配列モジュールとを含む。
【００２０】
前記目的を達成するために、本発明に係るビデオエンコーダは、ＧＯＰに存在するフレームに関するモーション推定を行ってモーションベクトルを求め、これを重要度によって再配列するモーション情報生成モジュールと、前記求めたモーションベクトルを用いて時間軸方向にフレームを低周波及び高周波フレームに分解することによって、時間的重複性を減少させる時間的フィルタリングモジュールと、時間的フィルタリング部によって時間的重複性が除去されたフレームに対して空間的重複性を除去することによって、変換係数を生成する空間的変換モジュールと、前記生成された変換係数を量子化する量子化モジュールとを含むことを特徴とする。
【００２１】
前記目的を達成するために、本発明に係るビデオデコーダは、入力されたビットストリームを解釈してテクスチャ情報及びモーション情報を抽出するエントロピー復号化モジュールと、前記モーション情報のうち、下位階層のモーション情報を用いて重要度を探し出し、前記重要度を参照して現在階層のモーションベクトルを元の順序に逆配列するモーション情報復元モジュールと、空間的変換を逆に行い、前記テクスチャ情報に含まれた変換係数を空間的領域での変換係数に逆変換する逆空間的変換モジュールと、前記逆配列されたモーションベクトルを用いて前記空間的領域での変換係数を逆時間的フィルタリングしてビデオシーケンスを構成するフレームを復元する逆時間的フィルタリングモジュールとを含む。
【００２２】
前記目的を達成するために、本発明に係るモーション推定方法は、元のフレームから基礎階層の可変ブロックサイズとモーションベクトルとを求める段階と、第１向上階層のモーションベクトルを求める段階と、前記基礎階層のモーションベクトルと、前記第１向上階層のモーションベクトルとの差分を求める段階と、モーションベクトルの差分値を各モーションベクトルの重要度順によって再配列する段階とを含む。
【００２３】
前記目的を達成するために、本発明に係るモーション推定方法は、元のフレームから基礎階層の解像度になるように第１ダウンサンプリングする段階と、前記第１ダウンサンプリングされたフレームに対して基礎階層の可変ブロックサイズ及びモーションベクトルを検索する段階と、元のフレームから第１向上階層の解像度になるように第２ダウンサンプリングする段階と、前記第１ダウンサンプリングされたフレームに対して第１向上階層の可変ブロックサイズ及びモーションベクトルを検索する段階と、モーションベクトルのスケールを同一にするために前記基礎階層で検索されたモーションベクトルを基礎階層に対する第１向上階層の解像度倍数だけスケーリングする段階と、前記第１向上階層のモーションベクトルと基礎階層の前記スケーリングされたモーションベクトルとの差分値を求める段階と、前記基礎階層のモーション情報から得られる重要度によって前記差分値を再配列する段階とを含む。
【００２４】
前記目的を達成するために、本発明に係るビデオエンコーディング方法は、（ａ）ＧＯＰに存在するフレームに関するモーション推定を行ってモーションベクトルを選定し、これを再配列する段階と、（ｂ）前記モーションベクトルを用いてフレームの時間的重複性を減少させる段階と、（ｃ）時間的フィルタリング部によって時間的重複性が除去されたフレームに対して空間的重複性を除去する段階と、（ｄ）前記空間的重複性が除去されて生成される変換係数及び前記再配列されたモーションベクトルを量子化する段階と、を含む。
前記目的を達成するために、本発明に係るビデオデコーディング方法は、（ａ）入力されたビットストリームを解釈してテクスチャ情報及びモーション情報を抽出する段階と、（ｂ）前記モーション情報のうち、モーションベクトルを元の順序で逆配列する段階と、（ｃ）前記テクスチャ情報に含まれた変換係数を逆空間的変換し、前記モーションベクトルを用いて逆時間的フィルタリングする段階とを含む 。
【発明の効果】
【００２５】
本発明によれば、モーションベクトルに対する真の意味のスケーラビリティーを具現することによって、可変的なネットワーク環境で適切なビット量を有するビットストリームを生成し、これをユーザに提供しうる。本発明によれば、使用環境や必要によってモーション情報のサイズを必要分だけ増加／減少させ、これにより、テクスチャ情報を減少／増加させて、モーション情報量とテクスチャ情報量とを相補的に調節することによって画質改善に寄与しうる。
【発明を実施するための最良の形態】
【００２６】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。 本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は以下で開示される実施形態に限定されるものではなく、この実施形態から外れて多様な形に具現でき、本明細書で説明する実施形態は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
【００２７】
まず、ビデオ／イメージコーディングシステムの全体構成を説明すれば、図３に示されたようである。まず、エンコーダ１００は、入力ビデオ／イメージ１０を符号化して１つのビットストリーム２０を生成する。そして、プリデコーダ２００は、デコーダ３００との通信環境またはデコーダ３００端での機器性能などを考慮した条件、例えば、ビットレート、解像度またはフレームレートを抽出条件として、エンコーダ１００から受信したビットストリーム２０を切り取って多様なビットストリーム２５を抽出しうる。
【００２８】
デコーダ３００は、前記抽出したビットストリーム２５から出力ビデオ／イメージ３０を復元する。もちろん、前記抽出条件によるビットストリームの抽出は必ずしもプリデコーダ１５０で実行されるものではなく、デコーダ３００で実行されても良い。また、プリデコーダ１５０及びデコーダ３００の両方で実行されても良い。
【００２９】
図４Ａは、ビデオコーディングシステムのうち、エンコーダの構成を表したブロック図である。エンコーダ１００は、断片化モジュール１１０、モーション情報生成モジュール１２０、時間的フィルタリングモジュール１３０、空間的変換モジュール１４０、量子化モジュール１５０、及びエントロピー符号化モジュール１６０を含んで構成されうる。
まず、入力ビデオ１０は、断片化モジュール１１０によってコーディングの基本単位であるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）に分けられる。
【００３０】
モーション情報生成モジュール１２０は、入力されたＧＯＰを抽出し、それぞれのＧＯＰに存在するフレームに関するモーション推定を行ってモーションベクトルを選定し、これを重要度によって再配列する。図４Ｂに示されたように、モーション情報生成モジュール１２０はまた、モーション推定モジュール１２１、サンプリングモジュール１２２、モーション差分モジュール１２３、及び再配列モジュール１２４を含んで構成されうる。
モーション推定モジュール１２１は、所定のピクセル精度によって各階層の費用関数が最小となる可変ブロックサイズ及びモーションベクトルを検索する。
【００３１】
また、サンプリングモジュール１２２は、前記ピクセル精度がピクセルサイズ未満の場合に所定のフィルターを用いてフレームをアップサンプリングし、元のフレームより小さな解像度を有する階層でのモーションベクトルを検索するために元のフレームを前記小さな解像度を有するようにダウンサンプリングを行う。
そして、モーション差分モジュール１２３は、各階層別に検索されたモーションベクトルの差分値を計算して保存する。
【００３２】
再配列モジュール１２４は、下位階層の重要度情報を用いて現在階層のモーション情報を再配列する。
以下、モーション情報生成モジュール１２０での動作を詳細に説明する。本発明では、図１、図２で説明したような多階層のモーションベクトルを生成し、これを利用する方法を使用する。本発明では２種のモードを想定する。１つは、空間的スケーラビリティーとは独立した方式、すなわち同じ解像度を有するフレームに対してモーションベクトル検索の精度によってモーションベクトルを多階層で生成することによって、モーションベクトルスケーラビリティーを具現する方法（以下、第１実施形態と称する）である。
【００３３】
そして、他の１つは、空間的スケーラビリティーと関連し、すなわち解像度が大きくなるほどモーションベクトル検索の精度を高めることによって、空間的スケーラビリティーとモーションベクトルスケーラビリティーとを連動させる方法（以下、第２実施形態と称する）である。
図５を参照して本発明の第１実施形態を説明する。第１実施形態では、基礎階層、第１向上階層、及び第２向上階層の３種の階層を使用し、基礎階層には１／２ピクセル精度を、第１向上階層には１／４ピクセル精度を、第２向上階層には１／８ピクセル精度を使用する。これは説明のための１つの例に過ぎず、前記階層の次数やピクセル精度はいくらでも他の値に選択できるということは、当業者にとって自明なことである。
まず、元のフレームから基礎階層の可変ブロックサイズと、モーションベクトルを検索する（Ｓ１）。この場合、モーションベクトルの検索は１／２ピクセル精度によって実行される。
【００３４】
一般的に、モーションベクトルを検索する方法は、現在の映像を所定サイズ、例えば、１６×１６ピクセルサイズのマクロブロックで分割して、所定のピクセル精度によって比較対象であるフレーム内を動きつつ、二映像間のフレーム差を比較し、そのエラーの和が最小となるモーションベクトルを該当マクロブロックのモーションベクトルと選定する方法を使用する。モーションベクトルを検索する範囲はあらかじめパラメータで指定しうる。検索範囲が小さければ、検索時間が短縮され、もし、モーションが探索範囲内に存在するならば、優秀な性能を示すが、映像の動きが速過ぎて探索範囲を外れれば、予測の精度は落ちる。すなわち、検索範囲は、映像が有する特性によって適切に選定されねばならない。本発明の基礎階層でのモーションベクトルは、他の階層でのモーションベクトル検索の精度、効率性に影響を与えるので、基礎階層でのモーションベクトルは全域検索をする。
【００３５】
このように固定サイズのマクロブロックを使用したモーション推定の実行から発展して、可変サイズのブロックを利用する方法がある。可変サイズのブロックを使用するモーション推定方法でも、基本的ユニットはマクロブロック（例えば、１６×１６ピクセルサイズ）である。マクロブロックは、図６Ａに示されたように、４つのサブマクロブロック類型、すなわち１６×１６、１６×８、８×１６、そして８×８ブロックに分けられる。また、８×８サブマクロブロックは、図６Ｂに示されたように、細分化されたブロックの類型、すなわち８×８、８×４、４×８、そして、４×４ブロックに分けられる。
【００３６】
前記マクロブロックないしサブマクロブロックのうち、何を使用するかは、‘費用関数（ｃｏｓｔ  ｆｕｎｃｔｉｏｎ）’を用いて決定しうる。費用関数は次の式１のように表現される。
［式１］
Ｊ＝Ｄ＋λ×Ｒ
【００３７】
式１は、モーション推定で可変ブロックサイズを決定するのに使われる。ここで、Ｄは、フレーム間の差分値のコーディングに使われるビット数を意味し、Ｒは推定されたモーションベクトルのコーディングに使われるビット数を意味する。しかし、ＭＣＴＦ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｔｅｒｉｎｇ）やＵＭＣＴＦ（Ｕｎｃｏｎｓｔｒａｉｎｅｄ  ＭＣＴＦ）のような時間的フィルタリングを行う過程で時間的レベルが高まるほど、時間的低周波フレームのエネルギーも増加する。したがって、時間的レベルが高まれば、一定のレート歪曲（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）関係を保持するために、λ値も共に大きくならねばならない。例えば、ＭＣＴＦ過程でλ値は時間的レベルが増加するほど、√２だけ増加させる。
【００３８】
このような費用関数を用いてある領域のモーション推定を行うに当って、１６×１６、１６×８、８×１６、８×８、８×４、４×８、そして４×４ブロックのうち、いかなるブロックサイズを使用するかは、前記費用関数が最小となるように定める。
実際に、ブロックサイズを決定することと、該当ブロックサイズに係るモーションベクトルを決定することとは、別途の過程ではなく、前記費用関数の最小化過程でブロックサイズとそれに伴うモーションベクトルの成分が共に決定されることである。
【００３９】
このような検索過程は、所定のピクセル精度によってなされるが、１ピクセル単位で検索する時には、そのまま検索を行えばよい。しかし、１／２、１／４、１／８ピクセル精度のように、ピクセル以下単位で検索しようとするならば、元のフレームを各々２倍、４倍、８倍にアップサンプリング(Ｕｐｓａｍｐｌｉｎｇ)した後、１ピクセル単位で検索を行う。
【００４０】
このようなアップサンプリング(Ｕｐｓａｍｐｌｉｎｇ)を行うためには、各種のフィルターを用いて補間せねばならない。図７は、１／８ピクセルのモーションベクトル検索のための補間過程を示したものである。１／８ピクセルモーションベクトル検索の場合に、フレームは８倍（８：１）にアップサンプリングえねばならない。フィルター１を用いて元のフレームを２：１解像度のフレームに、フィルター２を用いて２：１解像度のフレームを４：１解像度のフレームに、フィルター３を用いて４：１解像度のフレームを８：１解像度のフレームに、各々アップサンプリングしうる。前記３種のフィルターは、相異なるフィルターを使用しても良く、同じフィルターを使用しても良い。
【００４１】
再び、図５を参照する。前述したような過程を通じて基礎階層に対する可変ブロックサイズと、モーションベクトルを検索した後（Ｓ１）には、第１向上階層のモーションベクトルを検索する（Ｓ２）。モーションベクトル検索時には、前記基礎階層で探し出したモーションベクトルから始めて、その近所を検索領域にしてモーションベクトル検索を行うことによって、基礎階層での実行よりはるかに効率的な検索がなされる。
【００４２】
第１実施形態では、基礎階層の空間的解像度が向上階層と同一なので、前記基礎階層で使用した可変ブロックサイズを向上階層でもそのまま用いてモーションベクトル検索を行える。しかし、ピクセル精度が変わりつつ、費用関数が変化され、よって可変ブロックサイズも変わりうるので、エンコーダ１００に十分なプロセッシング能力が支援されるならば、向上階層でも別途に可変ブロックサイズを検索によって新たに探し出すことが、さらに良い結果をもたらし得る。本実施形態では、基礎階層の可変ブロックサイズを向上階層でそのまま利用する。
【００４３】
次いで、前記基礎階層のモーションベクトルと、第１向上階層のモーションベクトルとの差分を求める（Ｓ３）。このように、第１向上階層では基礎階層を用いて基礎階層のモーションベクトルとの差分値だけ保存することによって、モーションベクトルを保存するデータ量を減少させうる。
次いで、前記モーションベクトルの差分値を各モーションベクトルの‘重要度’順によって再配列する（Ｓ４）。モーションベクトルの情報を一部切り取っても、画質にあまり影響を受けないモーションベクトルを後方に配列することによって、１つの階層内でスケーラビリティーを具現可能にする。
【００４４】
このような、重要度として色々な情報を使用しうる。例えば、モーションベクトル係数の絶対値の大きさを利用する方法、可変サイズのモーションベクトル検索でモーションブロックサイズを利用する方法、またはこれらのうち、何れか１つを最初の基準にし、他の１つを二番目の基準にする方法（モーションブロックサイズ順に配列するが、同一サイズならば、モーションベクトルの大きいものが優先する方法、またはその逆の方法）などが挙げられる。
【００４５】
モーションベクトルの係数が大きいということは、動きが多いということを意味する。動きの大きい順にモーションベクトルを再配列した後、動きの小さな所から順次にビットストリームを切り取れば、効率よくスケーラビリティーの性能向上を達成しうる。
また、可変ブロックサイズが小さいということは、複雑で変化の激しい部分である可能性が大きく、可変ブロックサイズが大きいということは、背景の絵のように単調で変化の小さな部分である可能性が大きいために、可変ブロックサイズが小さいほど、重要度が高いと判断することもある。
【００４６】
このような重要度を得ることは、該当階層の下位階層のモーション情報を得ることによって可能となる。第１向上階層は、基礎階層のモーション情報を得て自身のモーションベクトルの差分値をどのように配列するかを決定しうる。そして、第２向上階層は、基礎階層及び第１向上階層のモーション情報を得なければならない。なぜなら、第１向上階層には第１階層のモーションベクトル情報が保存されるものではなく、差分値だけが保存されるので、実際に第１階層のモーションベクトルを知ろうとすれば、基礎階層のモーション情報も知らねばならないからである。
【００４７】
図８は、基礎階層から重要度情報を得る例を説明する図である。図８に示されたように、基礎階層のモーションベクトルは記載された数字順に配列されて再配列なしにエンコーディングされる。基礎階層でモーション情報は、重要度を参照する下位階層がないために、再配列が不可能であり、よって再配列されない。しかし、基礎階層は、モーション情報でも、テクスチャ情報でも、全体データがデコーダ３００に基本的に伝達されるので、基礎階層内部でのスケーラビリティーを想定する必要がないために問題にならない。
【００４８】
第１向上階層のモーションベクトル差分値は、前記基礎階層で提供する重要度情報を用いて再配列される。これにより、以後にプリデコーダ２００で後から一部のモーションベクトルを切り取ることによって、階層内でもスケーラビリティーを具現できる。
もし、第１向上階層でモーションベクトル差分値を配列した順序を別途のデータとして保存してデコーダ３００に伝達すべきならば、スケーラビリティーを具現する代わりに他のオーバーヘッドが発生する。しかし、本発明では一定の基準で特定の重要度だけ定めれば良く、その重要度情報は下位階層のデータを見れば分かるために、別途の順序情報を記録する必要はない。
【００４９】
例えば、重要度がモーションベクトルの大きさとすれば、第１階層では基礎階層のモーションベクトルの大きさを見て、その大きさの順序によって対応するブロックでのモーションベクトルの差分値を再配列しうる。そして、デコーダ３００は別途の順序情報を伝達されなくても、基礎階層のモーションベクトルの大きさを見れば、第１階層でのモーションベクトル差分値をどのように逆配列するかが分かる。
【００５０】
再び図５を参照すれば、次に第２向上階層のモーションベクトルを検索する（Ｓ５）。そして、基礎階層のモーションベクトル及び第１階層のモーションベクトルの差分を合わせた値、すなわち第１階層のモーションベクトルと検索されたモーションベクトルとの差分値を求める（Ｓ６）。最後に、前記求めた差分値を下位階層から得る重要度によって再配列する（Ｓ７）。
【００５１】
図９は、本発明の第２実施形態を説明する図である。本実施形態では基礎階層と向上階層との解像度が異なる場合である。ここで、全体階層の数は、３つ（基礎階層及び２個の向上階層）にし、１つの階層が上がる度に解像度、及びピクセル精度が２倍になるとする。
これにより、ここで第２向上階層は元のフレームサイズを有するので、基礎階層では元のフレームから１／４にダウンサンプリングする（Ｓ１０）。そして、基礎階層の可変ブロックサイズ及びモーションベクトルを検索する（Ｓ１１）。
【００５２】
次いで、第１向上階層では元のフレームから１／２にダウンサンプリングする（Ｓ１２）。そして、第１向上階層の可変ブロックサイズ及びモーションベクトルを検索する（Ｓ１３）。この際、図５とは違って、基礎階層の解像度と第１階層の解像度とが異なるので、第１階層では別途の可変ブロックサイズが決定されねばならない。
モーションベクトルの差分を求める前にモーションベクトルのスケールを同一にするために基礎階層で検索されたモーションベクトルを２倍にスケーリングする（Ｓ１４）。そして、第１向上階層のモーションベクトルと基礎階層の前記スケーリングされたモーションベクトルとの差分値を求める（Ｓ１５）。
【００５３】
次いで、前記基礎階層のモーション情報から得る重要度によって前記差分値を再配列する（Ｓ１６）。Ｓ１６過程を図１０を通じて説明する。元のフレームの１／４の大きさを有する基礎階層は再配列なしに順次にモーション情報を羅列する。しかし、第１向上階層では、基礎階層から得る重要度を基準に再配列がなされる。しかし、第２実施形態では、可変ブロックの形態や個数が一致しなくて、第２向上階層のあらゆるブロックの重要度を基礎階層から得られなくなる場合が発生する。
【００５４】
図１０の例で、基礎階層の情報としては、１ａないし１ｄ間に、そして４ａないし４ｃ間に重要度を区分できなくなる。したがって、かかる場合には、これらを同じ優先順位を有すると見なして、これらの内ではランダムに順序を定めても良い。
また、第１階層でモーションベクトルの順序が混ざっていても、デコーダ３００端で探せるモーション情報、例えば第１階層の可変ブロックサイズを用いて細部順位を定められる。基礎階層での重要度が最も高い４に対応する４ａ、４ｂ、４ｃのうち、最も大きい４ｃは４ａ、４ｂに比べて後順位になりうることを表す。
【００５５】
時間的フィルタリングモジュール１３０は、モーションベクトル推定モジュール１１０によって求められたモーションベクトルを用いて時間軸方向にフレームを低周波と高周波フレームに分解することによって、時間的重複性を減少させる。時間的フィルタリング方法では、例えばＭＣＴＦ、ＵＭＣＴＦなどを使用しうる。
空間的変換モジュール１４０は、時間的フィルタリング部１３０によって時間的重複性が除去されたフレームに対して、ＤＣＴ変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、またはウェーブレット変換を使用することによって、空間的重複性を除去しうる。このような空間的変換の結果、求められる係数を変換係数という。
【００５６】
量子化モジュール１５０は、空間的変換モジュール１４０で求めた変換係数を量子化する。量子化とは、前記変換係数を任意の実数値で表現するものでなく、不連続的な値（ｄｉｓｃｒｅｔｅｖａｌｕｅ）を有するように一定値以下の桁数を切り取る作業である。特に、空間的変換時にウェーブレット変換を利用する場合には、エンベデッド量子化を利用する場合が多い。このようなエンベデッド量子化方法は、ＥＺＷ（Ｅｍｂｅｄｄｅｄ  Ｚｅｒｏｔｒｅｅｓ  Ｗａｖｅｌｅｔ  Ａｌｇｏｒｉｔｈｍ）、ＳＰＩＨＴ（Ｓｅｔ  Ｐａｒｔｉｔｉｏｎｉｎｇｉｎ  Ｈｉｅｒａｒｃｈｉｃａｌ  Ｔｒｅｅｓ）、ＥＺＢＣ（Ｅｍｂｅｄｄｅｄ  Ｚｅｒｏ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ）などがある。
【００５７】
最後に、エントロピー符号化モジュール１６０は、量子化モジュール１５０によって量子化された変換係数及びモーションベクトル生成部１２０を通じて生成されたモーション情報を無損失符号化して出力ビットストリーム２０を出力する。
図１１Ａは、ビデオコーディングシステムのうち、デコーダの構成を示すブロック図である。
【００５８】
デコーダ３００は、エントロピー復号化モジュール３１０、逆量子化モジュール３２０、逆空間的変換モジュール３３０、逆時間的フィルタリングモジュール３４０、及びモーション情報復元モジュール３５０を含んで構成されうる。
まず、エントロピー復号化モジュール３１０はエントロピー符号化方式の逆であって、入力されたビットストリーム２０を解釈してテクスチャ情報（エンコーディングされたフレームデータ）及びモーション情報を抽出する。
【００５９】
モーション情報復元モジュール３５０は、エントロピー復号化モジュール３１０からモーション情報を伝達され、前記モーション情報のうち、下位階層のモーション情報を用いて重要度を探し出し、前記重要度を参照して現在階層のモーションベクトルを元の順序で逆配列する。これはモーションベクトルのスケーラビリティーのために再配列された形態から元の形態に還元する過程である。
【００６０】
図１１Ｂを参照してモーション情報復元モジュール３５０の動作をさらに詳細に説明すれば、モーション情報復元モジュール３５０は逆配列モジュール３５１とモーション加算モジュール３５２とを含んで構成される。
逆配列モジュール３５０は、エントロピー復号化モジュール３１０から伝えられるモーション情報をあらかじめ約束された重要度を用いて元の順序で逆配列する。逆配列は、既に受信された基礎階層と向上階層との情報だけでなされるので、デコーダでは別途の付加情報を要しない。
【００６１】
前記重要度に対する約束は、エンコーダ１００が色々な重要度のうち、如何なる基準を通じて再配列したかを、予備フィールドのうち、所定部分（‘重要度類型フィールド’と名付けられる）に記録してデコーダ３００に伝達することによってなされうる。例えば、前記部分に‘００’が記録されれば、モーションベクトルサイズの絶対値を基準に、‘０１’が記録されれば、可変ブロックサイズを基準に、‘０２’が記録されれば、前者を第１基準、後者を第２基準にすると約束しうる。
【００６２】
例えば、モーションベクトルのサイズを重要度基準にするとし、基礎階層のモーションベクトルのサイズが｛２．４８、１．５４、４．２４、３．９２｝と仮定しよう。
これにより、第１向上階層でモーションベクトル差分値は、現在の重要度順序で配列されているので、これを前記基礎階層のモーションベクトルのサイズによって逆配列せねばならない。すなわち、ビットストリームから読み込まれる第１向上階層のモーションベクトル差分値を｛ａ、ｂ、ｃ、ｄ｝とすれば、ａは４．２４、ｂは３．９２、ｃは２．４８、ｄは１．５４と連結される値である。したがって、モーションベクトルの差分値は元の順序で逆配列されねばならないので、その配列は基礎階層の配列順序に基づいて｛ｃ、ｄ、ａ、ｂ｝に復元される。
【００６３】
モーション加算モジュール３５２は、元の順序で逆配列されたモーション情報からモーション差分値を得て、これを下位階層のモーションベクトルと合わせることによって、現在階層のモーションベクトルを復元する。
一方、逆量子化モジュール３２０は抽出されたテクスチャ情報を逆量子化して変換係数を出力する。逆量子化過程は量子化方式によって不要となる可能性もある。エンベデッド量子化の場合には、逆エンベデッド量子化過程が必要であるが、一般的な量子化の場合にはデコーダ３００に含まれずに、省略されることもある。
【００６４】
逆空間的変換モジュール３３０は空間的変換を逆に行い、前記変換係数を空間的領域での変換係数に逆変換する。例えば、ＤＣＴ方式の場合には、周波数領域から空間的領域に、ウェーブレット方式の場合には、ウェーブレット領域から空間的領域に変換係数を逆変換することである。
【００６５】
逆時間的フィルタリングモジュール３４０は、前記空間的領域での変換係数、すなわち時間的差分イメージを逆時間的フィルタリングしてビデオシーケンスを構成するフレームを復元する。逆時間的フィルタリングのために逆時間的フィルタリングモジュール３３０はモーション情報復元モジュール３５０から復元されたモーションベクトルを用いる。
【００６６】
前記‘モジュール’は、ソフトウェアまたはＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェア構成要素を意味し、モジュールは所定の役割を行う。しかし、モジュールはソフトウェアまたはハードウェアに限定されるものではない。モジュールは、アドレッシング可能な保存媒体に存在すべく構成しても良く、１つまたはそれ以上のプロセッサーを実行させるように構成しても良い。したがって、一例としてモジュールは、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素とモジュールから提供される機能は、より少数の構成要素及びモジュールで結合されるか、追加的な構成要素とモジュールにさらに分離されうる。のみならず、構成要素及びモジュールは 通信システム内の１つまたはそれ以上のコンピュータを再生させるように具現されることもある。
【００６７】
図１２Ａないし図１２Ｃは、本発明に係るビットストリーム４００の構造を示したものである。この中、図１２Ａはビットストリーム４００の全体的構造を概略的に示す図である。
ビットストリーム４００は、シーケンスヘッダフィールド４１０とデータフィールド４２０とで構成され、データフィールド４２０は１つ以上のＧＯＰフィールド４３０、４４０、４５０で構成されうる。
【００６８】
シーケンスヘッダフィールド４１０には、フレームの横サイズ（２バイト）、縦サイズ（２バイト）、ＧＯＰサイズ（１バイト）、フレームレート（１バイト）など映像の特徴を記録する。
データフィールド４２０は、全体映像情報以外の映像復元のために必要な情報（動きベクトル、参照フレーム番号など）が記録される。
【００６９】
図１２Ｂは、各ＧＯＰフィールド４１０の細部構造を示した図である。ＧＯＰフィールド４１０はＧＯＰヘッダ４６０と、最初の時間的フィルタリング順序を基準とすれば、最初のフレーム（他のフレームを参照せずにエンコーディングされるフレーム）に関する情報を記録するＴ（０）フィールド４７０と、動きベクトルの集合を記録するＭＶフィールド４８０と、前記最初のフレーム以外のフレーム（他のフレームを参照してエンコーディングされるフレーム）の情報を記録する‘ｔｈｅ  ｏｔｈｅｒ  Ｔ’フィールド４９０とで構成されうる。
【００７０】
ＧＯＰヘッダフィールド４６０には、前記シーケンスヘッダフィールド４１０とは違って、全体映像の特徴でなく、該当ＧＯＰに限定された映像の特徴を記録する。ここには、時間的フィルタリング順序を記録でき、時間的レベルを記録しうる。
【００７１】
図１２Ｃは、ＭＶフィールド４８０の細部構造を示したものである。
ここには、可変ブロックの数ほどの可変ブロックのサイズ情報、位置情報、及び動きベクトル情報を各々ＭＶ（１）ないしＭＶ（ｎ−１）フィールドに記録する。ここには、可変ブロック情報（サイズ及び位置）と動きベクトル情報とが対をなして記録される。ＭＶ（１）からＭＶ（ｎ−１）に記録する順序は、本発明で提示した‘重要度’順に決定される。もし、プリデコーダ２００またはデコーダ３００端でモーションスケーラビリティーを用いようとすれば、ＭＶ４８０フィールドの後方から必要な分だけ切り取ればよい。これにより、重要でないモーション情報部順に捨てることによって、モーションスケーラビリティーを具現可能になる。
【００７２】
本発明は図面に示された一実施形態に基づいて説明されたが、これは例示的なものに過ぎず、当業者ならば 他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施形態はあらゆる面で例示的なものであり、限定的なものと理解してはならない。
【産業上の利用可能性】
【００７３】
本発明は、モーションスケーラビリティーを支援するコーディング方法及び装置に関連した技術分野に好適に適用されうる。
【図面の簡単な説明】
【００７４】
【図１】多階層モーションベクトルを求める概念を示す図である。
【図２】図１における第１向上階層の例を示す図である。
【図３】ビデオ／イメージコーディングシステムの全体構造を示す図である。
【図４Ａ】本発明に係るエンコーダの構成を示すブロック図である。
【図４Ｂ】モーション情報生成モジュールの構成を示すブロック図である。
【図５】本発明の第１実施形態を説明した図である。
【図６Ａ】サブマクロブロックの例を示す図である。
【図６Ｂ】細分化されたサブマクロブロックの例を示す図である。
【図７】１／８ピクセルのモーションベクトル検索のための補間過程を示す図である。
【図８】基礎階層から重要度情報を得る例を説明する図である。
【図９】本発明の第２実施形態を説明する図である。
【図１０】基礎階層から重要度情報を得る例を説明する図である。
【図１１Ａ】本発明に係るデコーダの構成を示すブロック図である。
【図１１Ｂ】モーション情報復元モジュールの構成を示すブロック図である。
【図１２Ａ】ビットストリーム４００の全体的構造を概略的に示す図である。
【図１２Ｂ】各ＧＯＰフィールドの細部構造を示す図である。
【図１２Ｃ】ＭＶフィールドの細部構造を示す図である。
【符号の説明】
【００７５】
１００…エンコーダ
１２０…モーション情報生成モジュール
１２１…モーション推定モジュール
１２２…サンプリングモジュール
１２３…モーション差分モジュール
１２４…再配列モジュール
２００…プリデコーダ
３００…デコーダ
３２０…モーション情報復元モジュール
３２１…モーションベクトル逆配列モジュール
３２２…モーションベクトル加算モジュール
【図１】
2005304035.tif 000003
【図２】
2005304035.tif 000004
【図３】
2005304035.tif 000005
【図４Ａ】
2005304035.tif 000006
【図４Ｂ】
2005304035.tif 000007
【図５】
2005304035.tif 000008
【図６Ａ】
2005304035.tif 000009
【図６Ｂ】
2005304035.tif 000010
【図７】
2005304035.tif 000011
【図８】
2005304035.tif 000012
【図９】
2005304035.tif 000013
【図１０】
2005304035.tif 000014
【図１１Ａ】
2005304035.tif 000015
【図１１Ｂ】
2005304035.tif 000016
【図１２Ａ】
2005304035.tif 000017
【図１２Ｂ】
2005304035.tif 000018
【図１２Ｃ】
2005304035.tif 000019