(57)【要約】上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構において、低ビットレートでの予測ドリフトを最小化するための方法と装置である。前記方法と装置は、少なくとも映像の一部で動きを測定し、前記測定された動きが所定の閾値より下であるか否かを判断し、前記測定された動きが前記所定の閾値より下である場合に、前記上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化し、前記測定された動きが前記所定の閾値より上である場合に、前記上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化する。
2005518731.tif 000002
【特許請求の範囲】
【請求項１】
上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構において、予測ドリフトを最小化するための方法であって、
少なくとも映像の一部で動きを測定し、
前記測定された動きが所定の閾値より下であるか否かを判断し、
前記測定された動きが前記所定の閾値より下である場合に、前記上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化し、
前記測定された動きが前記所定の閾値より上である場合に、前記上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化することを有する方法。
【請求項２】
請求項１に記載の方法であって、
前記測定するステップが、下位レイヤの符号化の間に計算された動きデータを使用して実行される方法。
【請求項３】
少なくとも映像の一部で動きを測定するための手段と、
前記測定された動きが所定の閾値より下であるか否かを判断するための手段と、
前記測定された動きが前記所定の閾値より下である場合に、上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化するための手段と、
前記測定された動きが前記所定の閾値より上である場合に、上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化するための手段と
を有する映像を符号化するための装置。
【請求項４】
請求項３に記載の装置であって、
前記測定手段が、下位レイヤの符号化の間に計算された動きデータを使用する装置。
【請求項５】
少なくとも映像の一部で動きを測定し、
前記測定された動きが所定の閾値より下であるか否かを判断し、
前記測定された動きが前記所定の閾値より下である場合に、上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化し、
前記測定された動きが前記所定の閾値より上である場合に、上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化すること
を有する映像を符号化するための方法。
【請求項６】
請求項５に記載の方法であって、
前記測定するステップが、下位レイヤの符号化の間に計算された動きデータを使用して実行される方法。
【請求項７】
少なくとも映像の一部で動きを測定するためのコードと、
前記測定された動きが所定の閾値より下であるか否かを判断するためのコードと、
前記測定された動きが前記所定の閾値より下である場合に、上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化するためのコードと、
前記測定された動きが前記所定の閾値より上である場合に、上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化するためのコードと
を有する映像を符号化するためのメモリ媒体。
【請求項８】
請求項７に記載のメモリ媒体であって、
前記動きを測定するためのコードが、下位レイヤの符号化の間に計算された動きデータを使用するメモリ媒体。
【請求項９】
少なくとも映像の一部で動きを測定し、
前記測定された動きが所定の閾値より下であるか否かを判断し、
前記測定された動きが前記所定の閾値より下である場合に、上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化し、
前記測定された動きが前記所定の閾値より上である場合に、上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化すること
を有するステップにより作られた符号化データ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
2001年6月22日に出願された同一出願による同時係属の米国特許出願第09/887756号“単一ループの動き補償細粒スケーラビリティ構成（Single-Loop  Motion-Compensation  Fine  Granular  Scalability  Structures）”。
【０００２】
本発明は、スケーラブル映像符号化に関するものであり、特に上位レイヤで動き補償を利用する動き補償された細粒スケーラブル映像符号化機構における低ビットレートでの予測ドリフトを最小化するための方法と装置に関するものである。前記方法と装置は、動き補償された細粒スケーラブル符号化機構と細粒スケーラブル映像符号化機構との間を切り替える動きに基づく切り替え技術を使用して、予測ドリフトを最小化する。
【背景技術】
【０００３】
スケーラブル映像符号化機構は、インターネットのような変化する帯域を有するコンピュータネットワーク上で伝送される映像を圧縮するために使用されてきた。１つの周知の形式のスケーラブル符号化機構は、細粒スケーラブル（FGS）符号化である。FGS映像符号化機構は、MPEG-4  Streaming  Video  Profileの中心の映像符号化方法として、ISO  MPEG-4規格で採用されている。
【０００４】
図１に示される通り、FGS映像符号化機構（以下、FGSと称する）は、ビットレートRBLで符号化された予測に基づく下位レイヤ10と、細粒スケーラブル（又は埋め込み）符号化機構を使用して最小ビットレートRELに符号化された単一の上位レイヤ11とを有する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
図１のFGS映像符号化機構は上位レイヤ11で動き補償を使用しないため、非常に柔軟である。従って、上位レイヤのフレームは、伝送時点の利用可能な帯域に応じて切り捨てられ得る。しかし、上位レイヤ11に動き保障がないことは、映像の画質を減少させる。
【０００６】
図２は、映像の画質を改善するために、上位レイヤで動き補償を使用する改善されたFGS符号化機構を示したものである。この改善されたFGS符号化機構は、以下にMC-FGS映像符号化機構と称され、この代理人により2001年6月22日に出願された“単一ループの動き補償細粒スケーラビリティ（SINGLE-LOOP  MOTION-COMPENSATION  FINE  GRANULAR  SCALABILITY）”という題名の米国特許出願第09/887756号に記載されている。その全ての開示が、参照として取り込まれる。
【０００７】
図２のMG-FGS映像符号化機構はまた、ビットレートRbで符号化された予測に基づく下位レイヤ20と、細粒スケーラブル（又は埋め込み）符号化機構を使用して最小ビットレートReに符号化された単一の上位レイヤ21とを有する。しかし、P及びB下位レイヤのフレームが下位レイヤのI及びP参照フレームから予測されるFGS符号化機構と異なり、MC-FGSの下位レイヤ20のP及びBフレームは、下位レイヤの符号化の間に動き補償された“拡張”又は“強化”下位レイヤのI及びP参照フレーム（以下、拡張下位レイヤの参照フレームと称する）から予測される。それぞれの動き補償された拡張下位レイヤの参照フレームは、標準の下位レイヤの参照フレームからのデータと、関連する上位レイヤの参照フレームの少なくとも一部からのデータ（関連する上位レイヤの参照フレームの１つ以上のビットプレーン又は部分ビットプレーン）と、動き推定データとを有する。
【０００８】
図３は、FGSとMC-FGSの映像符号化機構の性能をグラフで比較したものである。図示された通り、MC-FGS映像符号化機構は、高いビットレート（すなわち図３の280kbit/sより上）でFGS映像符号化機構より高いピーク信号対雑音比（PSNR）値（PSNRはフレーム毎の品質指標である）を有する。しかし、低いビットレート（すなわち図３の280kbit/sより下）では、MC-FGS符号化機構に導入された予測ドリフトのため、FGS符号化機構はMC-FGS符号化機構より優れる。このドリフトは、下位レイヤのP及びBフレームの動き補償予測における上位レイヤのフレームデータの使用により引き起こされる。上位レイヤのフレームデータは、RBLより大きいビットレートでのみデコーダで利用可能であるため、その上位レイヤのデータが利用可能でない低いビットレートで、予測ドリフトがMC-FGS符号化機構で生じる。
【０００９】
従って、低ビットレートでの予測ドリフトを減少させたMC-FGS映像符号化機構の必要性が存在する。
【課題を解決するための手段】
【００１０】
本発明は、上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構において、低ビットレートでの予測ドリフトを最小化することを対象にする。本発明は、少なくとも映像の一部で動きを測定し、前記測定された動きが所定の閾値より下であるか否かを判断し、前記測定された動きが前記所定の閾値より下である場合に、前記上位レイヤで動き補償を利用する細粒スケーラブル映像符号化機構で前記映像の前記一部を符号化し、前記測定された動きが前記所定の閾値より上である場合に、前記上位レイヤで動き補償を利用しない細粒スケーラブル映像符号化で前記映像の前記一部を符号化することを有する。
【発明の効果】
【００１１】
添付の図面と共に詳細に説明される例示的な実施例を完全に考慮して、本発明の利点と本質と多様な更なる特徴が現れる。
【発明を実施するための最良の形態】
【００１２】
本発明において、低ビットレートでの予測ドリフトは、前述の米国特許出願第09/887756号で開示された通り、MC-FGS映像符号化機構で最小化され、FC-FGS符号化とFGS符号化との間を切り替えることにより、高ビットレートでの符号化機構の高い符号化効率を維持する。切り替えは、対象の映像シーケンス又はその一部における動きの量に従って実行される。この動きに基づく切り替え方法は、MC-FGSとFGSの映像符号化についての４つの観察から生じる。第１の観察は、高ビットレートでの大きい動きの映像シーケンスにおいて、MC-FGS映像符号化がFGS映像符号化よりわずかにのみ優れることである。第２の観察は、低ビットレートでの大きい動きの映像シーケンスにおいて、MC-FGSがかなりの予測ドリフトを有することである。第３の観察は、高ビットレートでの小さい動きの映像シーケンスにおいて、MC-FGS映像符号化が、FGS映像符号化より実質的に優れることである。第４の最後の観察は、低ビットレートでの小さい動きの映像符号化において、MC-FGSが容認できる予測ドリフトを示すことである。従って、MC-FGS映像符号化は、本発明において、小さい動きを有する映像シーケンス又はその一部のために利用され、FGS映像符号化は、大きい動きの映像シーケンス又はその一部のために使用される。
【００１３】
図４は、本発明の切り替え方法を示したフローチャートである。ブロック30において、映像の一部又は全シーケンス内の動きの量が測定される。動きは、動きベクトル又は下位レイヤで計算された動き情報データを使用して判断されることがある。ブロック31において、ブロック30で測定された動きの量が所定の閾値より下であるか否かについての判断が行われる。ブロック30で測定された動きの量が所定の閾値より下である場合、ブロック32においてMC-FGS映像符号化機構が利用される。ブロック30で測定された動きの量が所定の閾値より上である場合、ブロック33においてFGS映像符号化機構が利用される。
【００１４】
図５は、本発明の予測ドリフトの減少の原理を組み込んだ例示的なMC-FGSエンコーダ40のブロック図を示したものである。MC-FGSエンコーダ40は、映像シーケンス又はその一部で検出された動きの量に応じて、MC-FGSモード又はFGSモードのいずれかで動作するように構成される。図示されているエンコーダ40は、下位レイヤのエンコーダ41と上位レイヤのエンコーダ42とを有する。
【００１５】
下位レイヤのエンコーダ41は、元の映像シーケンス及びフレームメモリ60に保存された参照フレームから動き情報（動きベクトルと予測モード）を生成する動き推定器43を有する。この動き情報は、動き補償器44に提供される。その動き補償器44は、MC-FGS映像符号化モードにおいて、フレームメモリ60に保存された動き情報と拡張下位レイヤのI及びP参照フレームを使用して、動き補償された拡張下位レイヤのI及びP参照フレームRef(i)を生成する。FGS映像符号化モードにおいて、動き補償器44は、フレームメモリ60に保存された動き情報と標準の下位レイヤのI及びP参照フレームを使用して、動き補償された下位レイヤのI及びP参照フレームRef(i)を生成する。第１の減算器45は、動き補償された拡張下位レイヤのI及びP参照フレームRef(i)（MC-FGSモード）、又は動き補償された標準の下位レイヤのI及びP参照フレームRef(i)（FGSモード）を、元の映像シーケンスから減算し、動き補償された残りの下位レイヤのP及びBフレームMCR(i)を生成する。（技術的に周知である通り、Iフレームは動き補償されていないため、Iフレームを含む減算は存在しない。）動き補償された残りの下位レイヤのP及びBフレームと、Iフレームとは、離散コサイン変換（DCT）エンコーダ46と、量子化装置47と、エントロピーエンコーダ48とにより処理され、下位レイヤのI、P及びBフレームを作り、それらが圧縮された下位レイヤのストリームの一部を構成する。動き推定器43により生成された動き情報はまた、多重化装置49に適用され、その多重化装置49は動き情報をI、P及びBフレームと結合し、圧縮された下位レイヤのストリームを完成する。量子化装置47の出力で生成された、量子化された動き補償された残りの下位レイヤのI、P及びBフレームMCR(i)は、逆量子化装置50により逆量子化され、逆DCTデコーダ51によりデコードされる。この処理は、逆DCT51の出力で量子化／逆量子化された種類の動き補償された残りの下位レイヤのI、P及びBフレームMCRQ(k)を生成する。
【００１６】
上位レイヤのエンコーダ42は、第１のフレームフロー制御装置59を介して、量子化／逆量子化された動き補償された残りの下位レイヤのI、P及びBフレームを下位レイヤのエンコーダ41から受け取る第２の減算器53を有する。第２の減算器53は、量子化／逆量子化された動き補償された残りの下位レイヤのI、P及びBフレームMCRQ(i)を、対応する動き補償された残りの下位レイヤのI、P及びBフレームMCR(i)から減算し、差分のI、P及びBフレームの残差を生成する。第２の減算器53の出力は、FGSエンコーダ54又は細粒スケーラブル符号化が可能なその他のエンコーダにより、細粒スケーラブル符号化される。FGSエンコーダ54は、従来のDCT符号化と、それに続いて従来のビットプレーンのDCTスキャニングと、従来のエントロピー符号化とを使用し、I、P及びB上位レイヤのフレームの圧縮された上位レイヤのストリームを生成することがある。
【００１７】
マスキング装置55は、動き推定器43により生成された動き情報を再利用し、図４に示された方法を実行する。動きのレベルがMC-FGSモードの選択を指示すると、マスキング装置55は、第２のフレームフロー制御装置62を通じて選択的に受け入れられたスケーラブル符号化I及びP上位レイヤのフレームのうちの１つ以上の符号化ビットプレーンを受け取り、そのデータを第１の加算器56の第１の入力57に適用する。量子化／逆量子化された種類の動き補償された残りの下位レイヤのI及びPフレームMCRQ(i)は、第１のフレームフロー制御装置59により、第１の加算器56の第２の入力に経路選択される。第１の加算器56は、スケーラブル符号化I及びP上位レイヤのフレームの１つ以上の符号化ビットプレーンを、それぞれの量子化／逆量子化された動き補償された残りの下位レイヤのI及びPフレームMCRQ(i)と合計することにより、上位レイヤのI及びP参照フレームを生成する。第１の加算器56により出力された上位レイヤのI及びP参照フレームは、第２の加算器52に向けられる。第２の加算器52は、上位レイヤのI及びP参照フレームを、動き補償された参照フレームRef(i)と合計し、新しい動き補償された拡張下位レイヤのI及びP参照フレームを生成し、そのフレームがフレームメモリ60に保存され、前述の通り下位レイヤのP及びBフレームを予測するために使用される。
【００１８】
動きのレベルがFGSモードの選択を指示すると、スケーラブル符号化I及びP上位レイヤのフレームの符号化ビットプレーンが、マスキング装置55により、第１の加算器56の第１の入力57に適用されない。しかし、量子化／逆量子化された種類の動き補償された残りの下位レイヤのI及びPフレームMCRQ(i)は、第１のフレームフロー制御装置59により、第１の加算器56の第２の入力58に経路選択され、このデータを第２の加算器52に渡す。第２の加算器52は、動き補償された残りの下位レイヤのI及びPフレームMCRQ(i)を、動き補償された参照フレームRef(i)と合計し、新しい動き補償された下位レイヤのI及びP参照フレームを生成し、そのフレームがフレームメモリ60に保存され、下位レイヤのP及びBフレームを予測するために使用される。
【００１９】
図６は、本発明の予測ドリフトの減少の原理を使用したMC-FGS符号化機構の性能と、FGS符号化機構とをグラフで比較したものである。図示の通り、予測ドリフトを備えたMC-FGS映像符号化機構は、約200kbit/sより上のビットレートで、FGS映像符号化機構より高いPSNR値を有する。
【００２０】
図７は、本発明の原理を具体化したエンコーダを使用し得るシステム200の例示的な実施例を示したものである。前記システム200は、テレビ、セットトップボックス、デスクトップ、ラップトップ又はパームトップコンピュータ、個人情報端末（PDA）、ビデオカセットレコーダ（VCR）やデジタルビデオレコーダ（DVR）やTiVO装置等のような映像／画像ストレージ装置、並びに前記及び他の装置の一部又は組み合わせを表すことがある。前記システム200は、１つ以上の映像／画像情報源201と、１つ以上の入出力装置202と、プロセッサ203と、メモリ204とを有する。映像／画像情報源201は、例えばテレビ受信機、VCR、又はその他の映像／画像ストレージ装置を表すことがある。その他に、情報源201は、例えばインターネットのようなグローバルコンピュータ通信ネットワーク、高域ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク、又は電話ネットワーク、並びに前記及び他の形式のネットワークの一部又は組み合わせで、サーバから映像を受信するための１つ以上のネットワーク接続を表すことがある。
【００２１】
入出力装置202とプロセッサ203とメモリ204は、通信媒体205を通じて通信することがある。通信媒体205は、例えばバス、通信ネットワーク、回路の１つ以上の内部接続、回路カード、又はその他の装置、並びに前記及び他の通信媒体の一部及び組み合わせを表すことがある。情報源201からの入力映像データは、ディスプレイ装置206に供給される出力映像／画像を生成するために、メモリ204に保存された１つ以上のプログラムに従って処理され、プロセッサ203により実行される。
【００２２】
好ましい実施例において、本発明の符号化の原理は、前記システムにより実行されるコンピュータ読み取り可能コードに実装されることがある。前記コードは、メモリ104に保存されることがあり、又はCD-ROM若しくはフロッピー（登録商標）ディスクのようなメモリ媒体から読み取り／ダウンロードされることがある。他の実施例において、ハードウェア回路が、本発明を実施するソフトウェア命令の代わりに又はそれと組み合わせて使用されることがある。例えば、図５に示された要素はまた、別のハードウェア要素として実装されることがある。
【００２３】
本発明は特定の実施例に関して前述したが、当然ながら、本発明はここに開示された実施例に限定又は制限されることを意図しない。例えば、ウェーブレット（wavelet）又はマッチングパスーツ（matching-pursuit）を含むがそれに限定されないDCT以外の他の変換が使用され得る。前記及び全ての他のそのような変更と変形は、特許請求の範囲内でると考えられる。
【図面の簡単な説明】
【００２４】
【図１】FGS映像符号化機構を示したものである。
【図２】MC-FGS映像符号化機構を示したものである。
【図３】FGSとMC-FGSの映像符号化機構の性能を比較したグラフである。
【図４】本発明の切り替え方法を示したフローチャートである。
【図５】本発明の予測ドリフトの減少の原理を組み込んだ例示的なMC-FGSエンコーダ40のブロック図を示したものである。
【図６】本発明の予測ドリフトの減少の原理を使用したMC-FGS符号化機構の性能と、FGS符号化機構とを比較したグラフである。
【図７】本発明の原理を実装するために使用され得るシステムの例示的な実施例を示したものである。
【図１】
2005518731.tif 000003
【図２】
2005518731.tif 000004
【図３】
2005518731.tif 000005
【図４】
2005518731.tif 000006
【図５】
2005518731.tif 000007
【図６】
2005518731.tif 000008
【図７】
2005518731.tif 000009
【国際調査報告】
2005518731.tif 000010
2005518731.tif 000011
2005518731.tif 000012