(57)【要約】 スケーラブルコーダは、グリッド動き推定／補償モジュール（１１０）と、動き補償時間フィルタリングモジュール（１０５）と、スケーラブル符号化モジュール（１１５）と、離散変換モジュール（１２０）と、パケット化モジュール（１３５）とを備える。グリッド動き推定／補償モジュール（１１０）は、ソースビデオデータ、所望のビットレート及び解像度パラメータからスケーラブル動きベクトルを出力する。動き補償時間フィルタリングモジュール（１０５）は、前記ソースビデオデータと前記スケーラブル動きベクトルから、現フレームと前フレームにおける画像の違いに対応する残存画像を生成する。スケーラブル符号化モジュール（１１５）は、前記スケーラブル動きベクトルを受信し符号化するために連結されている。離散変換モジュール（１２０）は、前記供給されたビデオデータを受信し、係数シークエンスにドメイン変換するように構成される。パケット化モジュールは、前記スケーラブル符号化モジュール（１１５）と前記離散変換モジュール（１２０）に連結されており、前記符号化されたスケーラブル動きベクトルと前記係数シークエンスとを結合して一のパケットとすることが可能である。
2008503981.tif 000002
【特許請求の範囲】
【請求項１】
ソースビデオデータを受信する第１入力、所望のビットレート及び解像度パラメータを受信する第２入力、並びに一の出力を有しており、前記ソースビデオデータと前記供給された解像度及びビットレートパラメータとから計算されるスケーラブル動きベクトルを出力可能なグリッド動き推定／補償モジュールと、
前記ソースビデオデータを受信する第１入力、前記スケーラブル動きベクトルを受信する第２入力、並びに一の出力を有しており、現フレームと前フレームとにおける画像の違いに対応する残存画像を生成可能な動き補償時間フィルタリングモジュールと、
前記スケーラブル動きベクトルを受信し符号化するために連結されたスケーラブル符号化モジュールと、
前記残存画像を受信するように構成された複数の入力と一の出力とを有しており、前記供給されたビデオデータを係数シークエンスにドメイン変換可能な離散変換モジュールと、
前記スケーラブル符号化モジュールと前記離散変換モジュールとに連結されており、前記符号化されたスケーラブル動きベクトルと前記係数シークエンスとを結合して一のパケットとすることが可能なパケット化モジュールと、
を備えることを特徴とするスケーラブルビデオコーダ。
【請求項２】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償モジュールは、更にビットレートデータを切断して、前記所定のビットレートよりも低いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１に記載のスケーラブルビデオコーダ。
【請求項３】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償モジュールは、更に再帰的工程を用いて前記ビットレートデータを改良して、前記所定のビットレートよりも高いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１又は２に記載のスケーラブルビデオコーダ。
【請求項４】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償モジュールは、更にデータを切断して、前記所定の解像度レベルよりも低い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１から３のいずれかに記載のスケーラブルビデオコーダ。
【請求項５】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償モジュールは、更に再帰的工程を用いて前記解像度データを改良して、前記所定の解像度レベルよりも高い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１から４のいずれかに記載のスケーラブルビデオコーダ。
【請求項６】
前記離散変換モジュールは、離散ウェーブレット変換モジュールを備えることを特徴とする請求項１から５のいずれかに記載のスケーラブルビデオコーダ。
【請求項７】
前記離散変換モジュールは、離散コサイン変換モジュールを備えることを特徴とする請求項１から５のいずれかに記載のスケーラブルビデオコーダ。
【請求項８】
前記グリッド動き推定／補償モジュールは、信号ノイズ比向上動き推定／補償工程によりグリッド動き推定／補償を実行して、信号ノイズ比向上残存画像と対応する動きベクトルとを生成可能であることを特徴とする請求項１から７のいずれかに記載のスケーラブルビデオコーダ。
【請求項９】
前記グリッド動き推定／補償モジュールは、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償モジュールは、前記所定の解像度レベルよりも低い解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項８に記載のスケーラブルビデオコーダ。
【請求項１０】
前記グリッド動き推定／補償モジュールは、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償モジュールは、前記所定の解像度レベルとは異なる第２解像度レベルおける解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項８に記載のスケーラブルビデオコーダ。
【請求項１１】
前記グリッド動き推定／補償モジュールは、動き情報の精度を可変的に選択可能であることを特徴とする請求項８に記載のスケーラブルビデオコーダ。
【請求項１２】
前記動き情報の精度における可変的選択は、前記ビットレートに関連することを特徴とする請求項１１に記載のスケーラブルビデオコーダ。
【請求項１３】
前記グリッド動き推定／補償モジュールは、二つのパラメータλopt及びλhighを用いて前記スケーラブル動きベクトルを生成可能であり、λoptは、所定の最適ビットレートに対応するラグランジュ乗算器からなり、λhighは、前記所定の最適ビットレートよりも高いビットレートに対応するラグランジュ乗算器からなることを特徴とする請求項１から９のいすれかに記載のスケーラブルビデオコーダ。
【請求項１４】
前記グリッド動き推定／補償モジュールは、各解像度における動き補償ペア毎に、二グループの動き情報と二つの残存画像とを生成可能であることを特徴とする請求項１３に記載のスケーラブルビデオコーダ。
【請求項１５】
ソースビデオデータ、所望のビットレート及び解像度パラメータを受信する複数の手段を有しており、前記ソースビデオデータと前記供給された解像度及びビットレートパラメータとから計算されるスケーラブル動きベクトルを出力可能なグリッド動き推定／補償手段と、
前記ソースビデオデータおよび前記スケーラブル動きベクトルを受信する複数の手段を有しており、現フレームと前フレームとにおける画像の違いに対応する残存画像を生成可能な動き補償時間フィルタリング手段と、
前記スケーラブル動きベクトルを受信し符号化するために連結されたスケーラブル符号化手段と、
前記残存画像を受信するように構成された複数の入力と一の出力とを有しており、前記供給されたビデオデータを係数シークエンスにドメイン変換可能な離散変換手段と、
前記スケーラブル符号化手段と前記離散変換手段とに連結されており、前記符号化されたスケーラブル動きベクトルと前記係数シークエンスとを結合して一のパケットとすることが可能なパケット化手段と、
を備えることを特徴とするスケーラブルビデオコーダ。
【請求項１６】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償手段は、更にビットレートデータを切断して、前記所定のビットレートよりも低いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１５に記載のスケーラブルビデオコーダ。
【請求項１７】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償手段は、更に再帰的工程を用いて前記ビットレートデータを改良して、前記所定のビットレートよりも高いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１５又は１６に記載のスケーラブルビデオコーダ。
【請求項１８】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償モジュールは、更にデータを切断して、前記所定の解像度レベルよりも低い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１５から１７のいずれかに記載のスケーラブルビデオコーダ。
【請求項１９】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償手段は、更に再帰的工程を用いて前記解像度データを改良して、前記所定の解像度レベルよりも高い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１５から１８のいずれかに記載のスケーラブルビデオコーダ。
【請求項２０】
前記グリッド動き推定／補償手段は、信号ノイズ比向上動き推定／補償工程によりグリッド動き推定／補償を実行して、信号ノイズ比向上残存画像と対応する動きベクトルを生成可能であることを特徴とする請求項１５から１９のいずれかに記載のスケーラブルビデオコーダ。
【請求項２１】
前記グリッド動き推定／補償手段は、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償手段は、前記所定の解像度レベルよりも低い解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項２０に記載のスケーラブルビデオコーダ。
【請求項２２】
前記グリッド動き推定／補償手段は、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償手段は、前記所定の解像度レベルとは異なる第２解像度レベルおける解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルを生成することを特徴とする請求項２０に記載のスケーラブルビデオコーダ。
【請求項２３】
前記グリッド動き推定／補償手段は、二つのパラメータλopt及びλhighを用いて前記スケーラブル動きベクトルを生成可能であり、λoptは、所定の最適ビットレートに対応するラグランジュ乗算器からなり、λhighは、前記所定の最適ビットレートよりも高いビットレートに対応するラグランジュ乗算器からなることを特徴とする請求項１５から２０のいすれかに記載のスケーラブルビデオコーダ。
【請求項２４】
前記グリッド動き推定／補償手段は、各解像度における動き補償ペア毎に、二グループの動き情報と二つの残存画像を生成可能であることを特徴とする請求項２３に記載のスケーラブルビデオコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化に関する。より詳細には、所望のビットレート範囲、フレームレート及び解像度の関数として動き推定／補償を最適化できるスケーラブル（拡大縮小可能な）ビデオ符号化に関する。
【背景技術】
【０００２】
（関連出願の相互参照）
本願は、２００４年６月２３日に出願された米国仮出願番号６０／５８２，４４４の利益を主張するものである。その内容は、全体として参照することにより本願に組み込まれる。
【０００３】
（背景）
３次元サブバンドウェーブレット符号化は、効率の良いスケーラブルビデオ符号化（ＳＶＣ）技術として提案されている。その開発は、J. Ohmによる"Three Dimensional Sub-band Coding with Motion Compensation", IEEE Trans. on Image Processing, Vo. 3, No. 9, pp559-571, Sept 1994に記載されている。このようなスキームでは、４種類の冗長性が除去される。即ち、時間的、空間的、知覚的、及び統計的な冗長性である。
【０００４】
時間的冗長性は、動き補償に基づくオープンルックを実行することにより除去できる。これにより、動き補償における参照フレームは、ＭＰＥＧ１／２／４圧縮規格やＨ．２６３／４等の既存の規格において再構成されたフレームではなく、本来のフレームとなる。ここで、動き補償技術に基づくオープンループは、「動き補償時間フィルタリング」、或いはＭＣＴＦと称される。この開発は、J. Ohmによる上記文献に記載されている。ＭＣＴＦの更なる改良版については、S. Choi及びJ. Woodsによる"Motion Compensated 3-D Sub-band Coding of Video," IEEE Trans. on Image Processing. Vol. 8, NO. 2, pp.155-167, Feb. 1999に述べられた。この後期の研究では、動き推定の方向を動き補償の方向と同じにすることによりＭＣＴＦが改良された。この技術では、所望の時間的スケーラビリティを取得し、且つ不必要な時間的冗長性を除去するために、ＭＣＴＦが何回か行われる。ＭＣＴＦが１回行われるたびに、ラグランジュ乗算器（λ）を用いた速度ひずみ最適化を利用して、高及び低サブバンド係数が、動き補償されたペア毎に生成される。ここで、λは、ビットレート範囲と動き情報及び残存データ間のトレードオフとに相当する。送信された動き情報量及び残存データ間のトレードオフは、スケーラブルビデオシステムにおいて重要な特性である。これにより、λが大きいことは、送信された動き情報の情報量が少なく且つビットレートが低いことに相当する。またλが小さいことは、送信された動き情報の情報量が多く且つビットレートが高いことに相当する。一般的に、ＳＶＣシステムの最適点は、動き補償ペア毎に第１残存画像が生成される点であり、通常、そのような点は一つだけ存在する。
【０００５】
必要なＭＣＴＦ動作の全てが一旦実行されると、通常、空間的冗長性を除去するためにサブバンド毎に空間変換が実行される。多くの場合、このような動作で用いられる空間変換は、離散コサイン変換（ＤＣＴ）か、又は離散ウェーブレット変換（ＤＷＴ）である。
【０００６】
知覚的冗長性は、通常、周波数ドメイン残存データを量子化することにより除去される。これは、通常、量子化マトリックスを用いて行われる。量子化マトリックスは、人間の視覚体系（ＨＶＳ）の重要な特性に応じて設計される。即ち、人間の目は、低い周波数成分に敏感であり、高い周波数成分にはあまり敏感ではない。従って、低周波数では、残存データに対して小さい要素が選ばれる。一方、大きい要素が高周波数データに対して選ばれる。量子化工程は通常ロッシーであり、ＳＮＲスケーラビリティは、異なる伝送ビットレートにおいて量子化ステップを適切に選ぶことにより得られる。
【０００７】
時間的、空間的及び知覚的な冗長性の除去時には、残存データ及び動き情報が、エントロピー符号化のために生成され、これが空間的冗長性を除去するのに用いられる。この工程では、より高い頻度で生じる値を表すために短いシンボルが用いられ、またそれほど生じない値を表すために長いシンボルが用いられる。可変長符号化及び算術符号化は、この工程で用いられる符号化の種類の例である。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のスケーラブルビデオ符号化システムは、最大ビットレートにおいて最適なシステム性能を得るために、通常、小型のラグランジュ乗算器λを採用する。しかしながら、このようなシステムにおける低ビットレートストリームの表示品位は、比較的質が悪い。何故なら、切断されたビットが動き情報を沢山含みすぎて、十分な残存データを含まないからである。低ビットレートにおける符号化効率を向上させる試みは、H. Hang, S. Tsai, 及びT. Chiangによる"Motion Information Scalability for MC-EZBC: response to Call for Evidence of Scalable Video Coding," ISO/IEC JTC1/Sc29/WG11, MPEG200/m9756, July, 2003 Tronheimに述べられた。ここでは、時間分解における動き情報は、基層及び拡張層に分割される。基層は、動き情報の形態６４×６４ないし１６×１６からなる。一方、拡張層は、情報形態８×８ないし４×４からなる。ここで、基層からの動き情報のみが、低ビットレートで復号器に送信される。しかしながら、残存データは高ビットレートにおいて得られる。よって、動きの不一致が生じる。仮に領域が比較的滑らかであれば、得られた動き情報の差はそれほど大きくないであろう。しかしながら、その領域にかなりざらつきがある場合、動き情報の差が、結果として大幅なひずみとなるであろう。その結果、符号化効率は、提案されたスキームを用いても、低ビットレート伝送において低いままであろう。
【０００９】
更に、不都合なことには、提案された技術は、異なるプロバイダ（供給者）が様々な顧客組成を有しており、よって様々なビットレート、フレームレート及び解像度の要求があるということを考慮していないという点で、実施上又は商業上最適ではない。表１にこの例を示す。
【００１０】
【表１】
2008503981.tif 000003
【００１１】
会社Ａ及びＢが、例示した顧客組成を有すると仮定する。会社Ａの最適動作条件は、明らかに、ＱＣＩＦ、７．５ｆ／ｓ及び６４Ｋｂ／ｓであるが、会社Ｂは、４ＣＩＦ、６０ｆ／ｓ及び２Ｍｂ／ｓのビットレートで運営する。このような例では、高ビットレートで最適な性能を発揮するように設計された従来のビデオ符号化システムは、会社Ａに最適ではない。なぜなら、その顧客らの多くが低ビットレートサービスを使用するからである。
【００１２】
従って、必要とされるのは、任意のビットレート、フレームレート及び解像度で、最適な性能を発揮できる改良されたビデオ符号化システムである。
【課題を解決するための手段】
【００１３】
本発明は、グリッド動き推定／補償モジュールと、動き補償時間フィルタリングモジュールと、スケーラブル符号化モジュールと、離散変換モジュールと、パケット化モジュールと、を備えるスケーラブルビデオコーダを提供する。グリッド動き推定／補償モジュールは、ソースビデオデータを受信する第１入力、所望のビットレート及び解像度パラメータを受信する第２入力、並びに一の出力を含み、前記ソースビデオデータと前記供給された解像度及びビットレートパラメータとから計算されるスケーラブル動きベクトルを出力可能である。動き補償時間フィルタリングモジュールは、前記ソースビデオデータを受信する第１入力、前記スケーラブル動きベクトルを受信する第２入力、並びに一の出力を含み、現フレームと前フレームとにおける画像の違いに対応する残存画像を生成可能である。スケーラブル符号化モジュールは、前記スケーラブル動きベクトルを受信し符号化するために連結されている。離散変換モジュールは、前記供給されたビデオデータを受信し、係数シークエンスにドメイン変換するように構成された一の入力を有する。パケット化モジュールは、前記スケーラブル符号化モジュールと前記離散変換モジュールとに連結されており、前記符号化されたスケーラブル動きベクトルと前記係数シークエンスとを結合して一のパケットとすることが可能である。
【００１４】
本発明におけるこれらの特性及びその他の特性は、次の図面及び詳細な説明に照らすとより理解されるであろう。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明に係るグリッド動き推定／補償（グリッドＭＥ／ＭＣ）を用いたスケーラブルビデオエンコーダ１００を示す。エンコーダ１００は、動き補償時間フィルタリング（ＭＣＴＦ）モジュール１０５と、グリッドＭＥ／ＭＣモジュール１１０と、スケーラブル動きベクトル符号化モジュール１１５と、離散変換モジュール（ＤＴＭ）１２０と、フレーム層シフトモジュールと、埋め込みゼロブロック符号化（ＥＺＢＣ）モジュール１３０と、パケット化モジュール１３５とを含む。
【００１６】
動作中、ビデオ情報１０２がＭＣＴＦモジュール１０５に供給される。ＭＣＴＦモジュール１０５は、ビデオ情報をグリッドＭＥ／ＭＣモジュール１１０に転送する。ビデオ情報１０２並びに更に供給された最適解像度レベル、フレームレート及びビットレートから構成されるユーザパラメータの受信に応答して、グリッドＭＥ／ＭＣモジュールは、ＭＣＴＦモジュール及び符号化モジュール１１５に供給されるスケーラブル動きベクトル１１３を計算する。
【００１７】
スケーラブル動きベクトルの受信時に、ＭＣＴＦ１０５は、現フレームと前フレームにおける画像間の差に対応する残存画像を生成する。残存画像は、ＭＣＴＦモジュール１０５から、Ｙ平面高低サブバンドデータからなる輝度情報と、Ｕ及びＶ平面データからなる色情報として出力される。供給されたＹ、Ｕ及びＶデータは、離散変換モジュール１２０を用いて変換され、この離散変換モジュール１２０が対応する係数を出力する。本発明の特定の実施形態において、離散変換モジュール１２０は、２次元離散ウェーブレット変換を採用する。別の実施形態では、２次元離散コサイン変換が採用される。その後、係数がフレーム層シフトモジュール１２５に供給される。ＥＺＢＣモジュールは、残存データをビットプレーン法で符号化する。そしてＳＮＲ細粒度スケーラビリティが達成される。符号化モジュール１１５は、符号化された残存データを用いて、パケット化のためのスケーラブル動きベクトルを符号化する。パケット化モジュール１３５は、インターネット等の通信媒体を利用して送り先の受信機に伝送するために、符号化されたスケーラブル動きベクトルとモジュール１３０からの残存データとを結合する。
【００１８】
記載されたアーキテクチャは単なる例であり、当業者は、多くの変形例が可能であることを理解するであろう。本発明の模範的実施形態は、既存の細粒度スケーラビリティ（ＦＧＳ）符号化における符号化効率を向上させるために用いることができる。本発明の好適な実施形態において、スケーラブル動きベクトル符号化モジュール１１５、ＤＷＴモジュール１２０、フレーム層シフトモジュール１２５、ＥＺＢＣモジュール１３０及びパケット化モジュール１３５により実行される複数の工程は、従来の複数の工程により実行される。ＭＣＴＦモジュールにより実行される複数の工程は、一般的には先行技術に記載されたようなものであるが、本願に記載したような改良点を有するものである。グリッドＭＥ／ＭＣモジュール１１０の動作は、本発明の主題の一つであり、以下に更に説明する。
【００１９】
図２は、本発明の一の実施形態に係るグリッド動き推定／補償工程の機能的な表示である。グリッドは、一の軸（ｘ軸）に沿ったビットレート範囲と、第２軸（ｙ軸）に沿った解像度レベルとについて規定される。所望のビットレート及び解像度レベルに対応する最適点２１０が選ばれる。また最適点付近に位置する次善最適点２１５及び２２０が選択可能であり、次善最適点の夫々は、所望されているがそれほど重要ではないビットレート範囲及び／又は解像度レベルに対応する。符号化効率は、最適点２１０付近で最適化され、そして二次的に次善最適点２１５及び２２０までその相対的な重要性に基づいて拡張される。
【００２０】
図２に、特定のグリッドＭＥ／ＭＣ工程を示す丸数字１から５を更に示す。最適点２１０からベーシックＭＥ／ＭＣ工程を開始する。その結果、動きベクトルとそれに対応する残存画像が生成される。同じ、高い、又は低い解像度レベルで低ビットレートに向かう場合（数字４）、グリッドＭＥ／ＭＣ工程は、ビットレートデータの切断を含む。最適点２１０から同じビットレートで低解像度に向かう場合（数字３）、グリッドＭＥ／ＭＣ工程は、解像度データの切断を含む。同じビットレートで高解像度に向かう場合（数字５）、再帰的ＭＥ／ＭＣ工程により解像度が向上する。同じ、高い、又は低い解像度レベルで高ビットレートに向かって移動する場合（数字２）、再帰的ＭＥ／ＭＣ工程によりビットレートが向上する。
【００２１】
各工程について更に以下に説明する。
【００２２】
本発明によれば、二以上のパラメータが、l番目の時間レベルにおける異なるビットレート範囲に対応する動き推定に対して、予め定義される。このパラメータは、夫々、λlow(l)、λopt(l)及びλhigh(l)と定義され、式（１）を満たす。
【００２３】
【数１】
2008503981.tif 000004
【００２４】
（１）
λlow(l)は最小ビットレートに相当し、λopt(l)は選択された最適ビットレート範囲に相当し、λhigh(l)は最大ビットレート範囲に相当する。
【００２５】
本発明における特定の実施形態において、グリッドＭＥ／ＭＣは、二つのパラメータλopt(l)及びλhigh(l)を用いて実行される。このような実施形態では、二グループの動き情報と二つの残存画像が、各解像度における動き補償ペア毎に生成される。これらを用いて、各範囲で符号化される残存データ及び動き情報を生成する。
【００２６】
従来のシステムでは、ＭＥ／ＭＣは最大ビットレート及び最大解像度で最適化される。このようなシステムでは、唯一つの残存画像と対応する動きベクトルとが、動きペア（前の二つのビデオフレーム）毎に生成される。
【００２７】
本発明において、グリッドＭＥ／ＭＣは、次の５つの方法のうちの一の方法で実現される。即ち、（ｉ）ベーシック残存画像と対応する動きベクトルとを、動き補償ペア毎に生成する、ベーシックＭＥ／ＭＣという方法、（ｉｉ）解像度を向上させた残存画像と対応する動きベクトルとを、動き補償ペア毎に生成する、解像度向上ＭＥ／ＭＣという方法、（ｉｉｉ）ＳＮＲを向上させた残存画像と対応する動きベクトルとを、低解像度において動き補償ペア毎に生成する、低解像度における信号ノイズ比（ＳＮＲ）向上ＭＥ／ＭＣという方法、（ｉｖ）ＳＮＲを向上させた残存画像と対応する動きベクトルとを、最重要解像度において動き補償ペア毎に生成する、最重要解像度におけるＳＮ比（ＳＮＲ）向上ＭＥ／ＭＣという方法、並びに（ｖ）ＳＮＲ及び解像度の両方を向上させた残存情報と対応する動きベクトルとを、動き補償ペア毎に生成する、両ＳＮＲ及び解像度向上ＭＥ／ＭＣという方法である。
【００２８】
（各時間レベルにおけるベーシック動き推定）
模範的な実施形態において、時間レベルの総数はＬであり、最重要点はl0番目の時間レベルで選ばれる。最適なラグランジュ乗算器
【００２９】
【数２】
2008503981.tif 000005
【００３０】
は、次のように定義される。
【００３１】
【数３】
2008503981.tif 000006
【００３２】
（２）
時間レベルｌ（ｌ＝１，２，…，Ｌ）において、解像度φ(l)は、最重要解像度として顧客組成に応じてユーザにより選ばれる。動き補償は、l番目の時間レベルでパラメータ
【００３３】
【数４】
2008503981.tif 000007
【００３４】
を有した解像度φ(l)から開始し、l番目の時間レベルにおけるベーシック動き補償と称される。
【００３５】
最適点の性能を提供するために、残存画像は、以下の二つのケースに応じて生成される。
【００３６】
ケース１：l<l0。
【００３７】
残存画像は、λhigh(l)のみを用いて生成される。
【００３８】
ケース２：
【００３９】
【数５】
2008503981.tif 000008
【００４０】
動き推定／補償は、λopt(l)とλhigh(l)とを用いて行われる。
【００４１】
よって、時間レベルl
【００４２】
【数６】
2008503981.tif 000009
【００４３】
において各解像度における動き補償ペア毎に二つの残存画像が生成される。それらは、各範囲において符号化される動き情報及び残存画像を生成するために用いられる。
【００４４】
最適ビットレート範囲に渡って符号化効率をよくするために、最適範囲よりも低いビットレート範囲に対する動き情報が、ベーシック動き推定により得られた動き情報から切断される。同様に、φ(l)よりも低い解像度において、
【００４５】
【数７】
2008503981.tif 000010
【００４６】
に対応するビットレート範囲の情報とそれよりも低い情報とは、縮小されてベーシック動き情報から切断される。
【００４７】
（動き情報と残存データとにおけるＳＮＲスケーラビリティ）
グリッドＭＥ／ＭＣは、パラメータλmv, optに対応するビットレート範囲から開始する。本発明における特定の実施形態において、動き情報及びテクスチャのＳＮＲスケーラビリティは、（ｉ）グリッドＭＥ／ＭＣに対する適応精度、（ｉｉ）再帰的動き補償による改良(refinement)、（ｉｉｉ）同じ解像度における異なるビットレート範囲間で共有される情報、（ｉｖ）低ビットレート範囲における動き情報切断、及び（ｖ）高低ビットレート範囲における冗長性の除去を利用して得られる。ここで、これらの工程の夫々について説明する。
【００４８】
（グリッド動き推定／補償に対する適応精度）
初めに、グリッド動き推定／補償を行う前に、動きベクトルの精度を選ぶ。特定の実施形態において、その精度はビットレート範囲に適応可能である。通常、動き情報の精度は、ビットレートを高めると向上する。例えば、低ビットレートでは２分の１ピクセルを選択でき、中及び高ビットレートでは４分の１ピクセルを選択できる。加えて、ブロックサイズは、Ｈ．２６４において、１６×１６ないし４×４の代わりに、３２×３２ないし８×８である。
【００４９】
（時間レベルに沿っての再帰的動き補償による改良(refinement)）
このような工程において、(dx0, dy0)は、λopt(l)を用いてグリッドＭＥ／ＭＣにより得られた動きベクトルを意味する。(dx, dy)は、(dx0, dy0)付近に位置する動きベクトルであり、改良の候補となる。第１の再帰的動き改良ひずみ基準は、第l0回目のＭＣＴＦに対して、次のように定義される。
【００５０】
【数８】
2008503981.tif 000011
【００５１】
（３）
但し、IQ( )とQ( )とは、量子化動作と対応する逆量子化動作とであり、A(x, y)とB(x, y)とは、夫々、予測フレームと参照フレームとである。Dcl0(dx, dy, dx0, dy0)は、動き推定／補償に対して一般化されたひずみ基準である。最大符号化ゲインは、時間的Ｌサブバンドのエネルギーが比較的一定であることから、時間的Ｈサブバンドの信号エネルギーを最小化することによりほぼ達成される。
【００５２】
更に、Rmv(dx-dx0, dy-dy0)は、動きベクトル(dx-dx0, dy-dy0)を符号化するビット数を表す。次の不等式が満たされる場合、更なる動き推定(dx, dy)が、第１回目のＭＣＴＦで実行される。
【００５３】
【数９】
2008503981.tif 000012
【００５４】
（４）
（同じ解像度における、異なるビットレート範囲間で共有される情報）
（例えば、以下に示す図３の水平方向に沿った）同じ時間レベルにおける、同じ解像度において動き推定を迅速化するために、ブロック分割情報及び対応する動き情報は、異なるビットレートにおける動き推定に共有されてもよい。共有情報が採用される際、その共有情報はユーザの選択次第である。例えば、ユーザは最終ブロック分割モデルを定めてもよい。この場合、最終ブロック分割モード及び対応する動き情報は共有され、また動き情報の数は異なるビットレートにおいて同じである。ユーザは、動き推定工程で得られた初期フルモーションベクトルツリーを定めてもよい。初期フルモーションベクトルツリー及び対応する動き情報は共有される。このツリーにおける枝刈り工程(tree pruning processes)は、初期フルモーションベクトルツリーからのλopt(l)とλhigh(l)とを用いて実行される。更に、動き情報の数は、異なるビットレートでは同じでなくてもよい。ユーザは、他の解像度における初期フルモーションベクトルツリーを修正しつつ、一の解像度において最終ブロック分割モードを定めることを選択できる。
【００５５】
（低ビットレート範囲における動き情報切断）
各解像度において、低ビットレートにおける動き情報は、その範囲に対応するパラメータλlow(l)を用いたレートひずみ最適化を利用してベーシック動き推定において得られた動き情報から切断される。
【００５６】
このような工程において、B(x, y)は、参照像(reference picture)である。ベクトル(dx, dy)及びベクトル(dx0, dy0)は、二つの動きベクトルである。但し、(dx0, dy0)は、パラメータ
【００５７】
【数１０】
2008503981.tif 000013
【００５８】
を用いて得られ、(dx, dy)は、(dx0, dy0)の切断された動きベクトルである。切断ひずみの基準は次のように定義される。
【００５９】
【数１１】
2008503981.tif 000014
【００６０】
（５）
動きベクトル(dx0, dy0)は、次の不等式が満たされる場合、(dx, dy)に切断される。
【００６１】
【数１２】
2008503981.tif 000015
【００６２】
（６）
二つのラグランジュ乗算器λ1＞λ2に関して、動きベクトル(dx0, dy0)がλ1により(dx, dy)に切断される場合、動きベクトルは、同様にλ2により(dx, dy)に切断されるであろう。言い換えれば、あるビットレートにおける一連の動きベクトルは、比較的高いビットレートにおける動きベクトルのサブセットである。
【００６３】
次に、予測ひずみ基準は次のように定義される。
【００６４】
【数１３】
2008503981.tif 000016
【００６５】
（７）
これは式（６）から次のように決定できる。
【００６６】
【数１４】
2008503981.tif 000017
【００６７】
（８）
即ち、
【００６８】
【数１５】
2008503981.tif 000018
【００６９】
（９）
低ビットレートにおける動きベクトルは、式（９）を用いて得られることが観察できるが、動き情報の拡張層は、高ビットレートに対応しており、既存のスキームでは、一連の比較的小さいλsにより生成される。動きベクトルが本発明のグリッドＭＥ／ＭＣ工程を用いて切断される場合、それは従来の工程でも取り除かれるであろう。しかしその逆は成り立たない。従来のＭＥ／ＭＣ方法に係る工程は、低ビットレートで符号化されるべき残存画像が、λlow(l)により生成される残存画像である場合に、最適となる。しかしながら、それは、λlow(l)の代わりにパラメータλopt(l)を用いて生成される。これは、低ビットレートにおけるＲＤＯという意味では、動き情報が不十分であることを示している。その結果、従来のシステムにおいて動きの不一致が深刻となる可能性があり、符号化効率は低ビットレートにおいて非常に低くなるであろう。
【００７０】
最適ビットレート範囲の符号化効率を確保するために、(dx, dy)は、次の条件を満たすことが好ましい。
【００７１】
【数１６】
2008503981.tif 000019
【００７２】
（１０）
但し、θ1は、スケーラブル動きベクトル符号化により生じた冗長性を符号化するビット数に関して、ユーザにより選ばれた閾値である。
【００７３】
このような例では、切り替え点は次式により計算される。
【００７４】
【数１７】
2008503981.tif 000020
【００７５】
（１１）
これは、現在のファイル（ＧＯＦ）群における全ての動き補償において次式が得られるように計算される。
【００７６】
【数１８】
2008503981.tif 000021
【００７７】
（１２）
符号化されるべき動き情報のみが切り替えられるが、符号化されるべき残存画像は、この切断で変化しないことに留意されたい。
【００７８】
（高低ビットレート範囲間における冗長性の除去）
冗長的な符号化情報は、符号化効率を向上させるために除去されることが好ましい。図３はこの工程を示している。ここで、λopt(l)及びλhigh(l)を用いた動き補償後の三つの解像度における残存画像を、夫々、E11、E21、E31、F1、F2及びF3と表す。IQ(Q((E11))及びF1間、IQ(Q((E21))及びF2間、IQ(Q((E31))及びF3間の冗長性を除去することが好ましい。よって、高ビットレートの符号化に対する残存画像E12、E22、及びE32は、次式により計算される。
【００７９】
E12=F1- IQ(Q((E11))          （１３）
E22=F2- IQ(Q((E21))          （１４）
E32=F3- IQ(Q((E31))          （１５）
(動き情報と残存データの時間スケーラビリティ）
本発明の模範的な実施形態において、動き情報及び残存データの時間スケーラビリティは、同じレベルで動き情報を時間的高サブバンド残存データ係数に結合させ、必要であればそれらを一緒に減少(drop)させることで実現される。
【００８０】
二つの時間的低サブバンド及び高サブバンドは、時間レベルl(l>l0)における二つの定数に応じて生成される。これらのレベルにおいて、残りのＭＣＴＦは、対応する低サブバンドを用いて実行される。
【００８１】
本発明の模範的な実施形態では、Lr,1(x, y)とLo,1(x, y)は、夫々、改良スキームと本来の最適スキームから得られた予測低サブバンドであり、Lr,2(x, y)とLo,2(x, y)は、夫々、改良スキームと本来の最適スキームから得られた参照低サブバンドである。
【００８２】
動き補償は、λopt(l)、Lo,1(x, y)、及びLo,2(x, y)を用いて開始する。λhigh(l)、Lr,1(x, y)、及びLr,2(x, y)を用いて動き補償を実行する際には、λopt(l)を用いて得られたブロック分割モードと動きベクトル（ＭＶｓ）とを十分に活用すべきである。前層におけるブロックの符号化ＭＶｓは、予測ＭＶの一候補として用いることができ、またこの前層から得られたブロック分割モードは、共同設置ブロックにおける分割の初期状態としてみなすことができる。同様に、第２の再帰的動き改良ひずみ基準は、別の回のＭＣＴＦに対して、次のように定義できる。
【００８３】
【数１９】
2008503981.tif 000022
【００８４】
（１６）
【００８５】
【数２０】
2008503981.tif 000023
【００８６】
（１７）
更なる動き推定(dx, dy)は、次の不等式が満たされる場合、ｉ回目のＭＣＴＦで実行される。
【００８７】
【数２１】
2008503981.tif 000024
【００８８】
（１８）
上記工程は、再帰的動き補償による改良と称される。切り替え点は、次式により計算される。
【００８９】
【数２２】
2008503981.tif 000025
【００９０】
（１９）
これは、現在のファイル（ＧＯＦ）群において次式を得るように計算される。
【００９１】
【数２３】
2008503981.tif 000026
【００９２】
（２０）
但し、R(λ)は、パラメータλに対応するビットレート範囲である。
【００９３】
符号化されるべき残存画像と動き情報との両方は、再帰的動き改良手法を用いる際に切り替えられることに留意されたい。
【００９４】
φ(l)よりも低い解像度では、パラメータλhigh(l)を用いて動き補償が一回だけ実行される。解像度φ(l)では、パラメータλhigh(l)を用いたその他の動き補償が更に実行され、残存画像を向上させる。φ(l)よりも高い解像度では、パラメータλopt(l)を用いた動き補償が一回だけ、またパラメータλhigh(l)を用いたその他の動き補償が実行され、最適動き情報と対応するビットレート範囲に対する最適残存画像とが生成される。改良の度に、対応する残存画像及び動き情報が、対応するビットレート範囲において残りの符号化工程に対して生成される。
【００９５】
（動き情報と残存データの空間スケーラビリティ）
時間フィルタリングは、最重要（最適）解像度から開始され、そこで最適化される。独立した改良動き推定／補償は、最重要解像度よりも高い解像度に対して実行できる。最重要解像度における動き情報は切断されて、最重要解像度よりも低い解像度の動き情報が生成される。この解像度及び高解像度に対応して得られた残存画像は、一つの残存画像に融合される。簡単のため、全体として三つの解像度があり、φ(l)=2と仮定する。テクスチャ及び動き情報の空間スケーラビリティは、（ｉ）中解像度における動き情報と残存画像、（ｉｉ）高解像度における動き情報と残存画像、及び（ｉｉｉ）最適解像度よりも低い解像度における動き情報の切断についての、複数の処理工程を経て得られる。これらの工程の夫々について、以下にさらに説明する。
【００９６】
（中解像度における動き情報と残存画像）
中解像度及び最大解像度において参照フレームが
【００９７】
【数２４】
2008503981.tif 000027
【００９８】
とB(x, y)であるとする。
【００９９】
【数２５】
2008503981.tif 000028
【０１００】
は、SD(B(x, y))でありうる。但し、パラメータSD( )は、W. Hannによる"Response of Call for Proposal for Scalable Video Coding," ISO/IEC JTC1.SC 29 WG11 MPEG2004/M10569/S7, Munchen, Germany, March 2004に記載のようなダウンサンプリング動作を意味する。また、
【０１０１】
【数２６】
2008503981.tif 000029
【０１０２】
及びB(x, y)は、独立であってよい。動き情報及び残存画像は、
【０１０３】
【数２７】
2008503981.tif 000030
【０１０４】
及びSD(A(x, y))間の動き推定／補償と次のひずみ基準とを用いて生成される。
【０１０５】
【数２８】
2008503981.tif 000031
【０１０６】
（２１）
（高解像度における動き情報と残存画像）
高解像度において迅速で効率の良い推定及び符号化を行うために、中解像度において既に符号化されたＭＶｓとブロック分割モードを活用する。ＭＶｓは、すべて先ず２倍され、その後予測ＭＶの候補とされることが好ましい。また、前層から得られたブロック分割モードは、最大解像度において共同設置ブロックにおける分割の初期状態としてみなすことができる。
【０１０７】
動き情報と残存画像は、B(x, y)、A(x,y)間の動き推定／補償と次のひずみ基準とを用いて生成される。
【０１０８】
【数２９】
2008503981.tif 000032
【０１０９】
（２２）
但し、SUは、上述のW. Hanの文献に記載のように、アップサンプリング演算を意味する。
【０１１０】
図３中の符号化された残存画像IQ(Q(E31))は、上述のW. Hanの文献に記載のように、次式により計算される。
【０１１１】
【数３０】
2008503981.tif 000033
【０１１２】
（２３）
対応する残存画像及び動き情報は、対応する解像度における残りの符号化工程に対して生成される。
【０１１３】
（低解像度における動き情報と残存画像）
最小解像度では、
【０１１４】
【数３１】
2008503981.tif 000034
【０１１５】
に対応するビットレート範囲に対する全てのＭＶｓが縮小され、中解像度におけるＭＶｓから切断される。全てのＭＶｓは、解像度を一つ下げた後に、先ず１／２倍される。解像度φ(l)における最終ブロック分割モードは、φ(l)よりも低い次の解像度の初期フルモーションベクトルツリーとして機能する。このツリーにおける枝刈り工程(tree pruning process)は、
【０１１６】
【数３２】
2008503981.tif 000035
【０１１７】
を用いて実行され、最終ブロック分割モードを生成する。同様に、他の低解像度における動き情報と最終ブロック分割モードを得ることができる。
【０１１８】
ベクトル(dx, dy)及びベクトル(dx0, dy0)は、(2dx0, 2dy0)が図３のベーシックＭＥ／ＭＣにより得られ且つ(dx, dy)が(dx0, dy0)の切断ベクトルである場合、二つの動きベクトルである。別の切断ひずみ基準は、次のように定義される。
【０１１９】
【数３３】
2008503981.tif 000036
【０１２０】
（２４）
動きベクトル(dx0, dy0)は、次の不等式が満たされる場合、(dx, dy)に切断される。
【０１２１】
【数３４】
2008503981.tif 000037
【０１２２】
（２５）
同様に、最適ビットレート範囲における符号化効率を確保するために、(dx, dy)は次の不等式を満たすことが好ましい。
【０１２３】
【数３５】
2008503981.tif 000038
【０１２４】
（２６）
但し、θ2はユーザにより選ばれた別のビット数閾値である。
【０１２５】
本発明の更なる実施形態では、既存のビデオ符号化基準を作動させるか否かを決定する際のユーザフレキシビリティを提供するために、ビットを用いる。例えば、ビットを１に設定する場合、既存のビデオ符号化基準が作動する。全ビットストリームは、二つのサブビットストリームにより構成される、即ち、一方は既存のビデオ符号化基準に互換性があり、もう一方はＭＣＴＦに基づいている二のサブビットストリームにより構成される。或いは、既存のビデオ符号化基準に互換性がある一のビットストリームにより構成される。そうでなければ、全ビットストリームは、完全にＭＣＴＦに基づくものである。
【０１２６】
当業者に容易に理解されるように、記載した工程は、ハードウェア、ソフトウェア、ファームウェア、又は必要に応じてこれらの実行様式の組み合わせにおいて実施されてよい。更に、記載された工程の幾つか又は全ての工程は、コンピュータ読取可能媒体（リムーバブルディスク、揮発又は不揮発メモリ、埋め込みプロセッサ等）におけるコンピュータ読取可能な命令コードとして実施されてもよく、またその命令コードは、所望の機能を実行するためにその他のプログラム可能な装置のコンピュータをプログラミングできる。
【実施例】
【０１２７】
ここで、低遅延の場合に対する上記工程の一般的応用について説明する。初めに、ＭＣＴＦと動き補償予測とのシームレス統合により、低遅延用ビットストリームが最適に生成される。次に、低遅延用の所望のビデオシークエンスが、
【０１２８】
【数３６】
2008503981.tif 000039
【０１２９】
を用いたＭＣＴＦを利用して、一の実施例において生成される。
【０１３０】
例えば、入力フレームレートは３０ＨＺであり、フレームサイズは４ＣＩＦである。ユーザは、低遅延用に７．５ＨＺのＱＣＩＦサイズビデオシークエンスに対する動作を最適化したいと望んでいる。このような実施例においては、エンコーダは、低遅延における符号化のために、所望の像を次のように生成する。即ち、時間ウェーブレット変換を４つの連続する像に対して２回行い、４ＣＩＦサイズで７．５ＨＺのビデオシークエンスを生成する。次に、２次元空間ウェーブレット変換を２回行い、所望のビデオシークエンスを生成する。その後、ビデオシークエンスは、例えばＨ．２６４エンコーダを用いて符号化される。
【０１３１】
次に、拡張層ビットストリームが生成される。その後、４ＣＩＦサイズの本来の像及び各ＧＯＦにおける所定のパラメータに対して必要な全ＭＣＴＦが実行され、低及び高サブバンドが生成される。Ｈ．２６４符号化工程において再構成された像を用いてＭＣＴＦを更に実行し、対応する低及び高サブバンドを生成する。これらの冗長性は、上記のような工程を用いて除去されるであろう。その後、残りの情報は、ＭＣＴＦに対する既存の方法を用いて、符号化される。
【０１３２】
動き補償スキームを設計する模範的な実施形態は、次の通りである。初めに、ＧＯＦのサイズは、低遅延ビットストリームに対して３２に選ばれる。そして本来のフレームは
【０１３３】
【数３７】
2008503981.tif 000040
【０１３４】
で示される。低遅延に対する所望の時間スケーラビリティは、夫々、３０Ｈｚ、１５Ｈｚ及び７．５Ｈｚである。許容遅延は、２／１５ｓである。動き補償後に生成されたフレームが
【０１３５】
【数３８】
2008503981.tif 000041
【０１３６】
で示されるとする。動き補償スキームは次式により示される。
【０１３７】
【数３９】
2008503981.tif 000042
【０１３８】
（２７）
ＭＣＴＦに係るドリフト問題はなく、この遅延は、上述のW. Hanの文献に記載されるように、制約なしＭＣＴＦによってうまく制御できることに留意されたい。従って、できるだけＭＣＴＦを用いることが望ましく、また低遅延ビットストリームが提供される際には、ＭＣＴＦを制約なしＭＣＴＦとシームレスに統合させることが望ましい。この目的を達成するために、次の方法を用いることができる。
【０１３９】
１．全ての
【０１４０】
【数４０】
2008503981.tif 000043
【０１４１】
はＭＣＴＦにより決定される。
【０１４２】
２．その他のAijは、全て、ＭＣＴＦ及び制約なしＭＣＴＦ／又はクローズドループに基づく動き補償により決定される。
【０１４３】
仮に次式が成り立つとする。
【０１４４】
【数４１】
2008503981.tif 000044
【０１４５】
（２８）
再構成を完全にするための必要十分条件は、全行列
【０１４６】
【数４２】
2008503981.tif 000045
【０１４７】
が、正則行列であることである。ビデオシークエンスは、次式により再構成される。
【０１４８】
F=A-1P
（２９）
興味深い事例は、全ての
【０１４９】
【数４３】
2008503981.tif 000046
【０１５０】
が、同じであることである。図４に一例を示す。５／３変換が、ＭＣＴＦにおいて選ばれる。Aijは、以下に与えられた行列以外は、全て０である。
【０１５１】
【数４４】
2008503981.tif 000047
【０１５２】
制約なしＭＣＴＦに係るドリフト問題が存在することを観察できる。これは、ドリフト長を制御することで改善できる。上記の実施例において、その長さは４に設定される。
【０１５３】
第２実施例では、ftp://ftp.cipr.rpi.edu/personal/chen/におけるＭＣＥＺＢＣソフトウェアパッケージで利用可能なＭＣ−ＥＺＢＣフレーム間ウェーブレットコーダに基づいて、実験を行う。４つの標準ビデオシークエンス、即ち、ＳＩＦサイズ（３５２ｘ２４０）のFlower garden及びFootball、ＣＩＦサイズ（３５２ｘ２８８）のMobile及びForemen、を試験に用いて、現スキームを上述のChoi及びWoodsの文献に開示されたスキームと比較する。これらのシークエンスのフレームレートは、３０ｆ／ｓに設定される。ビットレートは１０２４ｋｂ／ｓである。上述のChoi及びWoodsの文献に記載された階層可変サイズブロックマッチング（ＨＶＳＢＭ）アルゴリズムは、１ピクセルに設定された階層動き推定において、最小解像度、最大検索幅／高さで用いられる。動き情報フィールドをより滑らかにするために、１／８ブロックが重複された重複ブロック動き補償（ＯＢＭＣ）スキームも実験に採用する。動き情報の精度は１／２ピクセルである。枝刈り工程に対するλopt(l)は、２２４に選ばれる。仮に、最適点が顧客組成に応じて低ビットレートで選ばれるとする。
【０１５４】
実験の結果を表２から表５に示す。ここで、ハイフン「−」は、動き情報には不十分なビットレートであることを意味する。我々のスキームを用いてＰＳＮＲを４．５ｄＢまで向上できることが示された。
【０１５５】
【表２】
2008503981.tif 000048
【０１５６】
【表３】
2008503981.tif 000049
【０１５７】
【表４】
2008503981.tif 000050
【０１５８】
【表５】
2008503981.tif 000051
【０１５９】
（組み込まれた文献）
以下は、参照により本願に組み込まれる。
【０１６０】
【非特許文献１】J. Ohm, "Three Dimensional Sub-band Coding with Motion Compensation", IEEE Trans. on Image Processing, Vo. 3, No. 9, pp559-571, Sept 1994
【非特許文献２】S. Choi and J. Woods, "Motion Compensated 3-D Sub-band Coding of Video," IEEE Trans. on Image Processing. Vol. 8, NO. 2, pp.155-167, Feb. 1999
【非特許文献３】ＭＣＥＺＢＣソフトウェアパッケージftp://ftp.cipr.rpi.edu/personal/chen/
【非特許文献４】H. Hang, S. Tsai, and T. Chiang, "Motion Information Scalability for MC-EZBC: response to Call for Evidence of Scalable Video Coding," ISO/IEC JTC1/Sc29/WG11, MPEG200/m9756, July, 2003 Tronheim
【非特許文献５】W. Han, "Response of Call for Proposal for Scalable Video Coding," ISO/IEC JTC1.SC 29 WG11 MPEG2004/M10569/S7, Munchen, Germany, March 2004  以上は本発明の詳細な説明であるが、これは単なる例であり、各種変形物、変更物、及び同等物がここに記載の各種装置及び工程において採用されてよい。従って、本発明の範囲は、次に記載の特許請求の範囲によりここに定義される。
【図面の簡単な説明】
【０１６１】
【図１】本発明の一の実施形態に係るグリッド動き推定／補償を用いたスケーラブルビデオコーダを示す図である。
【図２】本発明の一の実施形態に係るグリッド動き推定／補償工程の機能的表示である。
【図３】本発明の一の実施形態に係る高低ビットレートデータ間の符号化冗長性を除去するための工程を示す図である。
【図４】本発明の一の実施形態に係る制約なし動き補償時間フィルタリング工程（又はクローズドループ型動き補償スキーム）と一体化された動き補償時間フィルタリング工程を示す図である。
【符号の説明】
【０１６２】
１００  スケーラブルビデオエンコーダ
１０５  動き補償時間フィルタリング（ＭＣＴＦ）モジュール
１１０  グリッドＭＥ／ＭＣモジュール
１１５  スケーラブル動きベクトル符号化モジュール
１２０  離散変換モジュール（ＤＴＭ）
１２５  フレーム層シフトモジュー
１３０  埋め込みゼロブロック符号化（ＥＺＢＣ：Embedded Zero Block Coding）モジュール
１３５  パケット化モジュール
【図１】
2008503981.tif 000052
【図２】
2008503981.tif 000053
【図３】
2008503981.tif 000054
【図４】
2008503981.tif 000055
【手続補正書】
【提出日】平成19年3月13日(2007.3.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ソースビデオデータを受信する第１入力、所望のビットレート及び解像度パラメータを受信する第２入力、並びに一の出力を有しており、前記ソースビデオデータと前記供給された解像度及びビットレートパラメータとから計算されるスケーラブル動きベクトルを出力可能なグリッド動き推定／補償モジュールと、
前記ソースビデオデータを受信する第１入力、前記スケーラブル動きベクトルを受信する第２入力、並びに一の出力を有しており、現フレームと前フレームとにおける画像の違いに対応する残存画像を生成可能な動き補償時間フィルタリングモジュールと、
前記スケーラブル動きベクトルを受信し符号化するために連結されたスケーラブル符号化モジュールと、
前記残存画像を受信するように構成された複数の入力と一の出力とを有しており、前記供給されたビデオデータを係数シークエンスにドメイン変換可能な離散変換モジュールと、
前記スケーラブル符号化モジュールと前記離散変換モジュールとに連結されており、前記符号化されたスケーラブル動きベクトルと前記係数シークエンスとを結合して一のパケットとすることが可能なパケット化モジュールと、
を備え、
前記グリッド動き推定／補償モジュールは、二つのパラメータλopt及びλhighを用いて前記スケーラブル動きベクトルを生成可能であり、λoptは、所定の最適ビットレートに対応するラグランジュ乗算器からなり、λhighは、前記所定の最適ビットレートよりも高いビットレートに対応するラグランジュ乗算器からなり、
前記グリッド動き推定／補償モジュールは、各解像度における動き補償ペア毎に、二グループの動き情報と二つの残存画像とを生成可能であることを特徴とするスケーラブルビデオコーダ。
【請求項２】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償モジュールは、更にビットレートデータを切断して、前記所定のビットレートよりも低いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１に記載のスケーラブルビデオコーダ。
【請求項３】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償モジュールは、更に再帰的工程を用いて前記ビットレートデータを改良して、前記所定のビットレートよりも高いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１又は２に記載のスケーラブルビデオコーダ。
【請求項４】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償モジュールは、更にデータを切断して、前記所定の解像度レベルよりも低い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１から３のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項５】
前記グリッド動き推定／補償モジュールにより生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償モジュールは、更に再帰的工程を用いて前記解像度データを改良して、前記所定の解像度レベルよりも高い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１から４のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項６】
前記離散変換モジュールは、離散ウェーブレット変換モジュールを備えることを特徴とする請求項１から５のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項７】
前記離散変換モジュールは、離散コサイン変換モジュールを備えることを特徴とする請求項１から５のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項８】
前記グリッド動き推定／補償モジュールは、信号ノイズ比向上動き推定／補償工程によりグリッド動き推定／補償を実行して、信号ノイズ比向上残存画像と対応する動きベクトルとを生成可能であることを特徴とする請求項１から５のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項９】
前記グリッド動き推定／補償モジュールは、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償モジュールは、前記所定の解像度レベルよりも低い解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項８に記載のスケーラブルビデオコーダ。
【請求項１０】
前記グリッド動き推定／補償モジュールは、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償モジュールは、前記所定の解像度レベルとは異なる第２解像度レベルおける解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項８に記載のスケーラブルビデオコーダ。
【請求項１１】
前記グリッド動き推定／補償モジュールは、動き情報の精度を可変的に選択可能であることを特徴とする請求項８に記載のスケーラブルビデオコーダ。
【請求項１２】
前記動き情報の精度における可変的選択は、前記ビットレートに関連することを特徴とする請求項１１に記載のスケーラブルビデオコーダ。
【請求項１３】
ソースビデオデータ、所望のビットレート及び解像度パラメータを受信する手段を有しており、前記ソースビデオデータと前記供給された解像度及びビットレートパラメータとから計算されるスケーラブル動きベクトルを出力可能なグリッド動き推定／補償手段と、
前記ソースビデオデータおよび前記スケーラブル動きベクトルを受信する手段を有しており、現フレームと前フレームとにおける画像の違いに対応する残存画像を生成可能な動き補償時間フィルタリング手段と、
前記スケーラブル動きベクトルを受信し符号化するために連結されたスケーラブル符号化手段と、
前記残存画像を受信するように構成された複数の入力と一の出力とを有しており、前記供給されたビデオデータを係数シークエンスにドメイン変換可能な離散変換手段と、
前記スケーラブル符号化手段と前記離散変換手段とに連結されており、前記符号化されたスケーラブル動きベクトルと前記係数シークエンスとを結合して一のパケットとすることが可能なパケット化手段と、
を備え、
前記グリッド動き推定／補償手段は、二つのパラメータλopt及びλhighを用いて前記スケーラブル動きベクトルを生成可能であり、λoptは、所定の最適ビットレートに対応するラグランジュ乗算器からなり、λhighは、前記所定の最適ビットレートよりも高いビットレートに対応するラグランジュ乗算器からなり、
前記グリッド動き推定／補償手段は、各解像度における動き補償ペア毎に、二グループの動き情報と二つの残存画像とを生成可能であることを特徴とするスケーラブルビデオコーダ。
【請求項１４】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償手段は、更にビットレートデータを切断して、前記所定のビットレートよりも低いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１３に記載のスケーラブルビデオコーダ。
【請求項１５】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定のビットレートからなり、前記グリッド動き推定／補償手段は、更に再帰的工程を用いて前記ビットレートデータを改良して、前記所定のビットレートよりも高いビットレートを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１３又は１４に記載のスケーラブルビデオコーダ。
【請求項１６】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償モジュールは、更にデータを切断して、前記所定の解像度レベルよりも低い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１３から１５のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項１７】
前記グリッド動き推定／補償手段により生成された前記スケーラブル動きベクトルは、所定の解像度レベルからなり、前記グリッド動き推定／補償手段は、更に再帰的工程を用いて前記解像度データを改良して、前記所定の解像度レベルよりも高い解像度レベルを有するスケーラブル動きベクトルを生成可能であることを特徴とする請求項１３から１６のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項１８】
前記グリッド動き推定／補償手段は、信号ノイズ比向上動き推定／補償工程によりグリッド動き推定／補償を実行して、信号ノイズ比向上残存画像と対応する動きベクトルとを生成可能であることを特徴とする請求項１３から１７のいずれか一項に記載のスケーラブルビデオコーダ。
【請求項１９】
前記グリッド動き推定／補償手段は、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償手段は、前記所定の解像度レベルよりも低い解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項１８に記載のスケーラブルビデオコーダ。
【請求項２０】
前記グリッド動き推定／補償手段は、所定の解像度レベルで動作可能であり、前記グリッド動き推定／補償手段は、前記所定の解像度レベルとは異なる第２解像度レベルおける解像度レベルに対して、前記信号ノイズ比向上残存画像と対応する動きベクトルとを生成することを特徴とする請求項１８に記載のスケーラブルビデオコーダ。
【請求項２１】
前記スケーラブルビデオコーダは、低ビットレートにおいて既に符号化された残存画像から、高ビットレートにおいて符号化すべき残存画像を予測可能であることを特徴とする請求項１又は１３に記載のスケーラブルビデオコーダ。
【国際調査報告】
2008503981.tif 000056
2008503981.tif 000057