(57)【要約】スケーラブル・コーデックで完全に符号化された双方向予測フレーム（Ｂフレーム）又は予測フレーム及び双方向予測フレーム（Ｐ及びＢフレーム）を生成する単一の動き補償ループを有するスケーラブル映像符号化の仕組みである。
2005500754.tif 000002
【特許請求の範囲】
【請求項１】
符号化されていない映像をエンコードして拡張基本レイヤの参照フレームを生成するステップであって、それぞれの拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するステップと、
前記符号化されていない映像と前記拡張基本レイヤの参照フレームからフレームの残差を予測するステップとを有する映像符号化方法。
【請求項２】
請求項１に記載の映像符号化方法であって、
DCTに基づくコーデック又はウエーブレット（wavelet）に基づくコーデックを有するグループから選択されたスケーラブル・コーデックで、前記フレームの残差を符号化し、上位レイヤのフレームを生成するステップを更に有する方法。
【請求項３】
請求項１に記載の映像符号化方法であって、
細粒スケーラブル（fine  granular  scalable）・コーデックで、前記フレームの残差を符号化し、細粒スケーラブル（fine  granular  scalable）上位レイヤのフレームを生成するステップを更に有する方法。
【請求項４】
請求項１に記載の映像符号化方法であって、
前記フレームの残差がＢフレームの残差を有する方法。
【請求項５】
請求項４に記載の映像符号化方法であって、
前記フレームの残差がＰフレームの残差を更に有する方法。
【請求項６】
請求項１に記載の映像符号化方法であって、
前記フレームの残差がＰフレームの残差を有する方法。
【請求項７】
基本レイヤのストリームと上位レイヤのストリームとを有する圧縮された映像をデコードする方法であって、
前記基本レイヤと上位レイヤのストリームをデコードして拡張基本レイヤの参照フレームを生成するステップであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するステップと、
前記拡張基本レイヤの参照フレームからフレームの残差を予測するステップと
を有する方法。
【請求項８】
請求項７に記載の映像符号化方法であって、
DCTに基づくデコード又はウエーブレット（wavelet）に基づくデコードを有するグループから選択されたスケーラブル・デコードで、前記フレームの残差をデコードするステップを更に有する方法。
【請求項９】
請求項８に記載の映像符号化方法であって、
前記フレームの残差から上位レイヤのフレームを生成するステップと、
前記基本レイヤのフレームと前記上位レイヤのフレームから拡張された映像を生成する生成するステップと
を更に有する方法。
【請求項１０】
請求項７に記載の映像符号化方法であって、
前記フレームの残差がＢフレームの残差を有する方法。
【請求項１１】
請求項１０に記載の映像符号化方法であって、
前記フレームの残差がＰフレームの残差を更に有する方法。
【請求項１２】
請求項７に記載の方法であって、
前記フレームの残差がＰフレームの残差を有する方法。
【請求項１３】
映像を符号化するメモリ媒体であって、
符号化されていない映像をエンコードして拡張基本レイヤの参照フレームを生成するコードであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するコードと、
前記符号化されていない映像と前記拡張基本レイヤの参照フレームからフレームの残差を予測するコードと
を有するメモリ媒体。
【請求項１４】
請求項１３に記載の映像を符号化するメモリ媒体であって、
前記フレームの残差をスケーラブル・エンコードするコードを更に有するメモリ媒体。
【請求項１５】
請求項１３に記載の映像を符号化するメモリ媒体であって、
前記フレームの残差を細粒スケーラブル（fine  granular  scalable）エンコードするコードを更に有するメモリ媒体。
【請求項１６】
請求項１３に記載の映像を符号化するメモリ媒体であって、
前記フレームの残差がＢフレームの残差を有するメモリ媒体。
【請求項１７】
請求項１３に記載の映像を符号化するメモリ媒体であって、
前記フレームの残差がＰフレームの残差を更に有するメモリ媒体。
【請求項１８】
請求項１３に記載の映像を符号化するメモリ媒体であって、
前記フレームの残差がＰフレームの残差を有するメモリ媒体。
【請求項１９】
基本レイヤのストリームと上位レイヤのストリームとを有する圧縮された映像をデコードするメモリ媒体であって、
前記基本レイヤと上位レイヤのストリームをデコードして拡張基本レイヤの参照フレームを生成するコードであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するコードと、
前記拡張基本レイヤの参照フレームからフレームの残差を予測するステップと
を有するメモリ媒体。
【請求項２０】
請求項１９に記載の圧縮された映像をデコードするメモリ媒体であって、
前記フレームの残差をスケーラブル・デコードするコードを更に有し、
前記スケーラブル・デコードするコードは、DCTに基づくコード又はウエーブレット（wavelet）に基づくコードを有するグループから選択されるメモリ媒体。
【請求項２１】
請求項２０に記載の圧縮された映像をデコードするメモリ媒体であって、
前記フレームの残差から上位レイヤのフレームを生成するコードと、
前記基本レイヤのフレームと前記上位レイヤのフレームから拡張された映像を生成する生成するコードと
を更に有するメモリ媒体。
【請求項２２】
請求項１９に記載の圧縮された映像をデコードするメモリ媒体であって、
前記フレームの残差がＢフレームの残差を有するメモリ媒体。
【請求項２３】
請求項２２に記載の圧縮された映像をデコードするメモリ媒体であって、
前記フレームの残差がＰフレームの残差を更に有するメモリ媒体。
【請求項２４】
請求項１９に記載の圧縮された映像をデコードするメモリ媒体であって、
前記フレームの残差がＰフレームの残差を有するメモリ媒体。
【請求項２５】
映像を符号化する装置であって、
符号化されていない映像をエンコードして拡張基本レイヤの参照フレームを生成する手段であって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有する手段と、
前記符号化されていない映像と前記拡張基本レイヤの参照フレームからフレームの残差を予測する手段と
を有する装置。
【請求項２６】
請求項２５に記載の映像を符号化する装置であって、
前記フレームの残差をスケーラブル・エンコードする手段を更に有する装置。
【請求項２７】
請求項２５に記載の映像を符号化する装置であって、
前記フレームの残差を細粒スケーラブル（fine  granular  scalable）エンコードするコードを更に有する装置。
【請求項２８】
請求項２５に記載の映像を符号化する装置であって、
前記フレームの残差がＢフレームの残差を有する装置。
【請求項２９】
請求項２８に記載の映像を符号化する装置であって、
前記フレームの残差がＰフレームの残差を更に有する装置。
【請求項３０】
請求項２５に記載の映像を符号化する装置であって、
前記フレームの残差がＰフレームの残差を有する装置。
【請求項３１】
基本レイヤのストリームと上位レイヤのストリームとを有する圧縮された映像をデコードする装置であって、
前記基本レイヤと上位レイヤのストリームをデコードして拡張基本レイヤの参照フレームを生成する手段であって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有する手段と、
前記拡張基本レイヤの参照フレームからフレームの残差を予測する手段と
を有する装置。
【請求項３２】
請求項３１に記載の圧縮された映像をデコードする装置であって、
前記フレームの残差をデコードするスケーラブル・デコード手段を更に有し、
前記スケーラブル・デコード手段は、DCTに基づくデコード手段又はウエーブレット（wavelet）に基づくデコード手段を有するグループから選択される装置。
【請求項３３】
請求項３２に記載の圧縮された映像をデコードする装置であって、
前記フレームの残差から上位レイヤのフレームを生成する手段と、
前記基本レイヤのフレームと前記上位レイヤのフレームから拡張された映像を生成する生成する手段と
を更に有する装置。
【請求項３４】
請求項３１に記載の圧縮された映像をデコードする装置であって、
前記フレームの残差がＢフレームの残差を有する装置。
【請求項３５】
請求項３４に記載の圧縮された映像をデコードする装置であって、
前記フレームの残差がＰフレームの残差を更に有する装置。
【請求項３６】
請求項３１に記載の圧縮された映像をデコードする装置であって、
前記フレームの残差がＰフレームの残差を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像符号化に関し、特に、細粒スケーラブル（FGS）符号化（fine  granular  scalable  coding）で完全に符号化された双方向予測フレーム（Ｂフレーム）又は予測フレーム及び双方向予測フレーム（Ｐ及びＢフレーム）を生成する単一の動き補償ループを用いるスケーラブル映像符号化の仕組みに関するものである。
【背景技術】
【０００２】
スケーラブル上位レイヤの映像符号化が、インターネットのような変化する帯域を有するコンピュータネットワーク上で送信される映像の圧縮に用いられてきた。（ISO  MPEG-4標準で採用されている）FGS符号化技術で用いる現在の上位レイヤの映像符号化の仕組みが図１に示されている。図示の通り、映像符号化の仕組み１０は、ビットレートＲＢＬで符号化された予測に基づく基本レイヤ１１と、ＲＥＬで符号化されたFGS上位レイヤを含む。
予測に基づく基本レイヤ１１は、フレーム内符号化Ｉフレームと、動き推定補償を用いて以前のＩ又はＰフレームから時間的に予測されたフレーム間符号化Ｐフレームと、動き推定補償を用いてＢフレームに隣接した以前と次のフレームの双方から時間的に予測されたフレーム間符号化双方向Ｂフレームとを含む。基本レイヤ１１における予測符号化及び／又は内挿的符号化、すなわち動き推定と対応する補償は、基本レイヤのフレームのみが予測に使われるため、ある程度のみ、その時間的な冗長を減少する。
【０００３】
上位レイヤ１２は、それぞれ再構成された基本レイヤのフレームをそれぞれの元のフレームから差し引くことによって導き出されたFGS上位レイヤのＩ及びＰ及びＢフレームを含む（前記の差し引くことは、動き補償領域でも行われる）。従って、上位レイヤにおけるFGS上位レイヤのＩ及びＰ及びＢフレームは、動き補償されない（FGS残差が同時にフレームから引き出される）。このことの主要な理由は、送信時に利用可能な帯域に応じて、個別に各FGS上位レイヤのフレームの切捨てを可能にする柔軟性を提供するためである。特に、上位レイヤ１２の細粒スケーラブル符号化（fine  granular  scalable  coding）は、FGS映像ストリームがＲｍｉｎ＝ＲＢＬからＲｍａｘ＝ＲＢＬ＋ＲＥＬまでの範囲の利用可能な帯域を備えた何らかのネットワーク上で送信されることを可能にする。例えば、送信機と受信機の間の利用可能な帯域がＢ＝Ｒである場合、送信機は、速度ＲＢＬで基本レイヤを送信し、速度ＲＥＬ＝Ｒ−ＲＢＬで上位レイヤのフレームの一部のみを送信する。図１からわかる通り、上位レイヤにおけるFGS上位レイヤの一部は、送信において細粒スケーラブル符号化（fine  granular  scalable  coding）方法で選択され得る。従って、単一の上位レイヤで広範囲の送信帯域に対応する柔軟性のために、全体の送信ビットレートはＲ＝ＲＢＬ＋ＲＥＬである。
【０００４】
図２は、図１の映像符号化の仕組みの基本レイヤ１１と上位レイヤ１２を符号化するための従来のFGSエンコーダのブロック図である。図に示すように、フレームｉの上位レイヤの残差（FGSR(i)）はMCR(i)−MCRQ(i)と等しく、MCR(i)はフレームｉの動き補償された残差であり、MCRQ(i)は量子化及び逆量子化処理の後のフレームｉの動き補償された残差である。
【０００５】
図１の現在のFGS上位レイヤの映像符号化の仕組み１０は非常に柔軟性があるが、同じ送信ビットレートで機能するスケーラブルではないコーダと比較して、映像の画像品質に関する性能が比較的低いという不利を有する。画像品質の減少は、上位レイヤ１２の細粒スケーラブル符号化（fine  granular  scalable  coding）のためではなく、主に上位レイヤ１２内のFGS残差フレーム間の時間的な冗長の減少された利用のためである。特に、上位レイヤ１２のFGS上位レイヤのフレームは、それぞれの基本レイヤのＩ及びＰ及びＢフレームの動き補償された残差からのみ導き出され、上位レイヤ１２の他のFGS上位レイヤのフレーム、又は基本レイヤ１１の他のフレームを予測するためにFGS上位レイヤのフレームは用いられない。
【０００６】
従って、改善された映像の画像品質を有するスケーラブル映像符号化の仕組みが必要とされる。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明は、細粒スケーラブル（FGS）符号化（fine  granular  scalable  coding）で完全に符号化された双方向予測フレーム（Ｂフレーム）又は予測フレーム及び双方向予測フレーム（Ｐ及びＢフレーム）を生成する単一の動き補償ループを用いるスケーラブル映像符号化の仕組みを対象とする。本発明の一形態は、符号化されていない映像をエンコードして拡張基本レイヤの参照フレームを生成するステップであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するステップと、前記符号化されていない映像と前記拡張基本レイヤの参照フレームからフレームの残差を予測するステップとを有する映像符号化方法を有する。
【０００８】
本方法の他の形態は、基本レイヤのストリームと上位レイヤのストリームとを有する圧縮された映像をデコードする方法を有し、前記基本レイヤと上位レイヤのストリームをデコードして拡張基本レイヤの参照フレームを生成するステップであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するステップと、前記拡張基本レイヤの参照フレームからフレームの残差を予測するステップとを有する。
【０００９】
本発明の更なる他の形態は、映像を符号化するメモリ媒体を有し、符号化されていない映像をエンコードして拡張基本レイヤの参照フレームを生成するコードであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するコードと、前記符号化されていない映像と前記拡張基本レイヤの参照フレームからフレームの残差を予測するコードとを有する。
【００１０】
本発明の更なる他の形態は、基本レイヤのストリームと上位レイヤのストリームとを有する圧縮された映像をデコードするメモリ媒体を有し、前記基本レイヤと上位レイヤのストリームをデコードして拡張基本レイヤの参照フレームを生成するコードであって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有するコードと、前記拡張基本レイヤの参照フレームからフレームの残差を予測するコードとを有する。
【００１１】
本発明の更なる他の形態は、映像を符号化する装置を有し、符号化されていない映像をエンコードして拡張基本レイヤの参照フレームを生成する手段であって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有する手段と、前記符号化されていない映像と前記拡張基本レイヤの参照フレームからフレームの残差を予測する手段とを有する。
【００１２】
本発明の更なる他の形態は、基本レイヤのストリームと上位レイヤのストリームとを有する圧縮された映像をデコードする装置を有し、前記基本レイヤと上位レイヤのストリームをデコードして拡張基本レイヤの参照フレームを生成する手段であって、それぞれの前記拡張基本レイヤの参照フレームが基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部とを有する手段と、拡張基本レイヤの参照フレームからフレームの残差を予測する手段とを有する。
【発明を実施するための最良の形態】
【００１３】
本発明の利点と本質と多様な追加の特徴が、添付の図面と共に詳細に説明される例示的な実施例の検討で、更に完全に現れる。図面において同様の参照番号は、図面を通じて同様の要素を特定する。
【００１４】
図３Ａは、本発明の第１の例示的な実施例によるスケーラブル映像符号化の仕組み３０を示したものである。スケーラブル映像符号化の仕組み３０は、予測に基づく基本レイヤ３１と単一のループの予測に基づく上位レイヤ３２とを有する。
【００１５】
従来は基本レイヤの（スケーラブルではない）符号化の間に標準的な基本レイヤＩ及びＰ参照フレームから生成されたフレーム内符号化Ｉフレームとフレーム間符号化Ｐフレームを含むように、予測に基づく基本レイヤ３１が符号化される。フレーム間符号化双方向Ｂフレームは基本レイヤで符号化されない。
【００１６】
本発明の原理によると、基本レイヤの符号化の間に“向上した”又は“拡張された”基本レイヤのＩ及びＰ又はＰ及びＰ参照フレーム（以下、拡張基本レイヤのＩ及びＰ参照フレームと言う）から動き予測されたフレーム間符号化双方向Ｂフレームを含むように、予測に基づく上位レイヤ３２が符号化される。それぞれの拡張基本レイヤの参照フレームは、標準的な基本レイヤの参照フレームと、関連する上位レイヤの参照フレームの少なくとも一部からなる（関連する上位レイヤの参照フレームの１つ以上のビットプレーン又はわずかのビットプレーンが用いられ得る）。
【００１７】
従来はそれぞれの元の基本レイヤのフレームの残差からそれぞれの再構成された（デコードされた）基本レイヤのフレームの残差を差し引くことによって生成された上位レイヤのＩ及びＰフレームを含むように、上位レイヤ３２もまた符号化される。上位レイヤのＩ及びＢ及びＰフレームは、何らかの適切なスケーラブル・コーデックで符号化され得る。例えば、スケーラブル・コーデックは、DCTに基づくコーデック（FGS）や、ウエーブレット（wavelet）に基づくコーデックや、何らかの他の組み込まれたコーデックである場合がある。図３Ａに示された実施例において、スケーラブル・コーデックはFGSからなる。
【００１８】
その技術に通常熟練した人は、本発明の映像符号化の仕組み３０は、映像の画像品質を改善することがわかるだろう。このことは、映像符号化の仕組み３０が上位レイヤのＢフレームにおける時間的な冗長を減少するために拡張基本レイヤの参照フレームを用いているためである。
【００１９】
図４は、図３Ａのスケーラブル映像符号化の仕組みを作るために用いられ得る、本発明の例示的な実施例によるエンコーダ４０のブロック図である。図に示すように、エンコーダ４０は、基本レイヤのエンコーダ４１と上位レイヤのエンコーダ４２とを含む。基本レイヤのエンコーダ４１は、元の映像シーケンスと、フレームメモリ６０に保存された基本レイヤ及び拡張基本レイヤの参照フレームとから動き情報（動きベクトル及び予測モード）を生成する動き推定手段４３を含む。動き情報と従来の参照フレームとフレームメモリ６０に保存された拡張基本レイヤのＩ及びＰ参照フレームとを用いて、前記動き情報は、従来の動き補償された基本レイヤの参照フレームと、本発明の拡張基本レイヤのＩ及びＰ参照フレームの動き補償されたバージョン（全てRef(i)で示される）とを生成する動き補償手段４４に適用される。第１の減算手段４５は、元の映像シーケンスから従来の動き補償された参照フレームを差し引き、基本レイヤのＩ及びＰフレームの動き補償された残差を生成する。第１のフレームフロー制御装置６２は、離散コサイン変換(DCT)エンコーダ４６と、量子化手段４７と、エントロピーエンコーダ４８によって処理する基本レイヤのＩ及びＰフレームの動き補償された残差MCR(i)の経路を定め、圧縮された基本レイヤのストリームの一部を形成する基本レイヤのＩ及びＰフレームを生成する。動き推定手段４３によって生成された動き情報もまた、マルチプレクサ４９に適用され、基本レイヤのＩ及びＰフレームと動き情報とを組み合わせ、圧縮された基本レイヤのストリームを完成する。量子化手段４７の出力で生成された、量子化された基本レイヤのＩ及びＰフレームの動き補償された残差MCR(i)は、逆量子化手段５０で逆量子化され、逆DCTデコーダ５１でデコードされる。この処理が、逆DCT５１の出力で、基本レイヤのＩ及びＰフレームの動き補償された残差の量子化／逆量子化されたバージョンMCRQ(i)を生成する。逆DCT５１の出力における量子化された／逆量子化された基本レイヤのＩ及びＰフレームの動き補償された残差は、第１の加算手段６１に適用され、前記第１の加算手段は対応する動き補償された基本レイヤの参照フレームRef(i)とそれを合計し、それ故に、前述の通りフレームメモリ６０に保存された従来の基本レイヤの参照フレームを生成する。
【００２０】
量子化された／逆量子化された基本レイヤのＩ及びＰフレームの動き補償された残差もまた、上位レイヤのエンコーダ４２の第２の減算手段５３に適用される。第２の減算手段５３は、量子化された／逆量子化された基本レイヤのＩ及びＰフレームの動き補償された残差を、対応する基本レイヤのＩ及びＰフレームの動き補償された残差を差し引き、差分のＩ及びＰフレームの残差を生成する。第２の減算手段５３の出力は、FGSエンコーダ５４又は同様のスケーラブル・エンコーダによってスケーラブル符号化が行われる。FGSエンコーダ５４は、圧縮された上位レイヤのストリームの一部を形成するスケーラブル（FGS）エンコードされたＩ及びＰフレームを生成するために、従来のビットプレーンのDCTスキャニングと従来のエントロピーエンコードに続いて、従来のDCTエンコードを用いる。マスキング装置５５が、スケーラブル・エンコードされたＩ及びＰフレームの１つ以上の符号化ビットプレーンを受け取り、第３のフロー制御装置６５を通じて選択的に経路を定められ、前記データを第２の加算手段５６の第１の入力５７に適用する。基本レイヤのエンコーダ４１で生成された、Ｉ及びＰフレームの動き補償された残差の量子化された／逆量子化されたバージョンMCRQ(i)は、第２の加算手段５６の第２の入力５８に更に適用される。上位レイヤのエンコードされたＩ及びＰフレームの１つ以上の符号化ビットプレーンと、それぞれのＩ及びＰフレームの残差MCRQ(i)とを合計することにより、第２の加算手段５６は上位レイヤのＩ及びＰ参照フレームを生成する。第２の加算手段５６によって計算された上位レイヤのＩ及びＰ参照フレームは、基本レイヤのエンコーダ４１の第３の加算手段５２に適用される。第３の加算手段５２は、上位レイヤのＩ及びＰ参照フレームと、対応する動き補償された基本レイヤのＩ及びＰ参照フレームRef(i)と、対応する量子化された／逆量子化された動き補償された基本レイヤのＩ及びＰフレームの残差とを合計し、拡張基本レイヤのＩ及びＰ参照フレームを生成し、それらはフレームメモリ６０に保存される。
【００２１】
動き補償手段４４は、動き情報とフレームメモリ６０に保存された拡張基本レイヤのＩ及びＰ参照フレームを用いて、拡張基本レイヤのＩ及びＰ参照フレームの動き補償されたバージョンを生成する。第１の減算手段４５は、元の映像シーケンスから動き補償された上位レイヤの参照フレームを差し引き、動き補償されたＢフレームの残差を生成する。第１のフレーム制御装置６２は、スケーラブル・エンコードを行うために、動き補償されたＢフレームの残差を上位レイヤのエンコーダ４２のスケーラブル（FGS）エンコーダ５４に経路を定める。スケーラブル（FGS）エンコードされたＢフレームは、圧縮された上位レイヤのストリームの残りの部分を形成する。動き推定手段４３により生成されたＢフレームに関する動き情報はまた、第３のフレーム制御装置６３を介して、上位レイヤのエンコーダ４２の第２のマルチプレクサ６４に適用される。第２のマルチプレクサ６４は、Ｂフレームの動き情報と上位レイヤのフレームを組み合わせ、圧縮された上位レイヤのストリームを完成する。
【００２２】
図６は、図４のエンコーダ４０で生成された圧縮された基本レイヤと上位レイヤのストリームをデコードするために用いられ得る、本発明の例示的な実施例によるデコーダのブロック図を示したものである。図に示す通り、デコーダ７０は基本レイヤのデコーダ７１と上位レイヤのデコーダ７２を含む。基本レイヤのデコーダ７１は、エンコードされた基本レイヤのストリームを受信し、前記ストリームを動き情報を含む第１のデータストリーム７５ａと、テクスチャ情報を含む第２のデータストリーム７５ｂに逆多重化するデマルチプレクサ７３を含む。上位レイヤのデコーダ７２は、エンコードされた上位レイヤのストリームを受信し、前記ストリームを、テクスチャ情報を含む第３のデータストリーム７４ａと、動き情報を含む第４のデータストリーム７４ｂに逆多重化するデマルチプレクサ９２を含む。動き補償手段７６は第４のデータストリーム７４ｂの動き情報と、関連する基本レイヤのフレームメモリ７７に保存された拡張基本レイヤの参照フレームを用いて、動き補償された拡張基本レイヤの参照（Ｉ及びＰ）フレームを再構成する。動き補償手段７６は第１のデータストリーム７５ａのＩ及びＰ動き情報と、基本レイヤのフレームメモリ７７に保存された従来の基本レイヤの参照フレームを用いて、従来の動き補償された基本レイヤの（Ｉ及びＰ）参照フレームを再構成する。動き補償された拡張基本レイヤの参照フレームと従来の動き補償された基本レイヤの参照フレームは、以下に説明される通り、第２のフレームのフロー制御装置９３によって処理される。
【００２３】
第２のデータストリーム７５ｂのテクスチャ情報は、デコードするために基本レイヤの可変長デコーダ８１に適用され、逆量子化するために逆量子化手段８２に適用される。逆量子化係数は、逆離散コサイン変換デコーダ８３に適用され、そこで逆量子化されたコードが第１の加算手段７８の第１の入力８０に適用される基本レイヤのフレームの残差に変換される。第１の加算手段７８は、基本レイヤのＰフレームの残差と、第２のフレームのフロー制御装置９３によって第１の加算手段の第２の入力７９に選択的に経路を定められたそれぞれの動き補償された基本レイヤの参照フレームとを合計し、動き予測されたＰフレームを出力する。（基本レイヤのＩフレームの残差は、第１の加算手段７８によって基本レイヤのＩフレームとして出力される。）第１の加算手段７８によって出力されたＩ及びＰ基本レイヤフレームは、基本レイヤのフレームメモリ７７に保存され、従来の基本レイヤの参照フレームを形成する。更に、第１の加算手段７８によって出力されたＩ及びＰフレームは、基本レイヤの映像としてオプションで出力され得る。
【００２４】
上位レイヤのデコーダ７２は、FGSビットプレーンのデコーダ８４、又は圧縮された上位レイヤのストリームをデコードし、差分のＩ及びＰフレームの残差とＢフレームの残差を再構成する同様のスケーラブル・デコーダを含み、前記差分のＩ及びＰフレームの残差とＢフレームの残差は第２の加算手段９０に適用される。Ｉ及びＰ差分のフレームの残差は、第１のフレームのフロー制御装置８５によって差分のＩ及びＰフレームの残差の１つ以上の再構成された上位レイヤのビットフレーム（又はその一部分）を受け取るマスキング装置８６に選択的に経路を定められ、それを第３の加算手段８７の第１の入力８８に適用する。第３の加算手段８７は、Ｉ及びＰフレームの残差と、基本レイヤのデコーダ７１によって第２の入力８９に適用される対応する基本レイヤのＩ及びＰフレームとを合計し、拡張基本レイヤのＩ及びＰ参照フレームを再構成し、それらはフレームメモリ７７に保存される。
【００２５】
動き補償された拡張基本レイヤのＩ及びＰ参照フレームは、第２のフレームのフロー制御装置８３によって第２の加算手段９０に選択的に経路を定められ、前記第２の加算手段は、動き補償された拡張基本レイヤのＩ及びＰ参照フレームと、対応するＢフレームの残差とＢフレームの動き情報（圧縮された上位レイヤのストリームにおいて送信される）とを合計し、上位レイヤのＢフレームを再構成する。
【００２６】
基本レイヤのデコーダ７１の第１の加算手段７８によって出力された基本レイヤのＩ及びＰフレームは、第３のフレームのフロー制御装置９１によって第２の加算手段９０に選択的に経路を定められ、前記第２の加算手段は、上位レイヤのＩ及びＰフレームとそれぞれの基本レイヤのＩ及びＰフレームとを合計し、拡張Ｉ及びＰフレームを生成する。拡張Ｉ及びＰフレームと上位レイヤＢは、拡張された映像として第２の加算手段９０によって出力される。
【００２７】
図３Ｂは本発明の第２の例示的な実施例によるスケーラブル映像符号化の仕組みを示したものである。第２の実施例のスケーラブル映像符号化の仕組み１００は、フレーム内符号化Ｉフレームと、フレーム間符号化動き予測Ｐフレームと、フレーム間符号化動き双方向予測Ｂフレームを有する単一のループの予測に基づくスケーラブル・レイヤ１３２のみを有する。この実施例において、全てのフレーム（Ｉ及びＰ及びＢフレーム）は、スケーラブル・コーデックで完全に符号化される。スケーラブル・コーデックは、DCTに基づくもの (FGS)や、ウエーブレット（wavelet）に基づくものや、何らかの他の組み込まれたコーデックである場合がある。Ｐ及びＢフレームは、エンコードの間に、拡張基本レイヤＩ及びＰ又はＰ及びＰ参照フレームから完全に動き予測される。
【００２８】
その技術に通常熟練した人は、基本レイヤの削除は、上位レイヤのＰ及びＢフレームの双方の時間的な冗長を減少させるため、前記の符号化の仕組みを効率的にし、更に映像の画像品質を改善することがわかるだろう。
【００２９】
図５は、図３Ｂのスケーラブル映像符号化の仕組みを作るために用いられ得る、本発明の例示的な実施例によるエンコーダ１４０のブロック図を示したものである。図に示す通り、図５のエンコーダ１４０は、動き補償及び推定ユニット１４１とスケーラブル・テクスチャ・エンコーダ１４２とを含む。動き補償及び推定ユニット１４１は、拡張基本レイヤのＩ及びＰ参照フレームを含むフレームメモリ６０を有する。動き推定手段４３は、元の映像シーケンスと、フレームメモリ６０に保存された拡張基本レイヤのＩ及びＰ参照フレームから動き情報（動きベクトルと予測モード）を生成する。前記動き情報は、動き補償手段４４とマルチプレクサ４９に適用される。動き補償手段４４は、動き情報とフレームメモリ６０に保存された拡張基本レイヤのＩ及びＰ参照フレームを用いて、拡張基本レイヤのＩ及びＰ参照フレームRef(i)の動き補償されたバージョンを生成する。減算手段４５は、拡張基本レイヤの参照フレームRef(i)の動き補償されたバージョンから元の映像シーケンスを差し引き、動き補償されたフレームの残差MCR(i)を生成する。
【００３０】
スケーラブル・テクスチャ・エンコーダ１４２は、従来のFGSエンコーダ５４又は同様のスケーラブル・エンコーダを含む。FGSエンコーダ５４の場合、基本レイヤのエンコーダ４１の減算手段４５によって出力された動き補償されたフレームの残差が、DCTエンコードが行われ、ビットプレーンのDCTスキャンが行われ、エントロピーエンコードが行われ、圧縮された上位レイヤの（FGS符号化）フレームを生成する。マルチプレクサ４９は、圧縮された上位レイヤのフレームと動き推定手段４３によって生成された動き情報とを組み合わせることにより、圧縮された出力ストリームを生成する。マスキング装置５５は、上位レイヤの符号化Ｉ及びＰフレームの１つ以上の符号化ビットプレーンを受け取り、それを加算手段５２に適用する。加算手段５２は、前記データと、対応する動き補償された上位レイヤのＩ及びＰ参照フレームRef(i)とを合計し、フレームメモリ６０に保存される新しい拡張基本レイヤのＩ及びＰ参照フレームを生成する。
【００３１】
本発明のスケーラブル映像符号化の仕組みは、映像シーケンスの多様な部分又は多様な映像シーケンスについて、図１の現在の映像符号化の仕組みと交換する又は切り替えることができる。更に、図３Ａと、３Ｂと、図１の現在の映像符号化の仕組み、及び／又は前述の関連する同時係属の米国特許出願において説明された映像符号化の仕組み、及び／又は他の映像符号化の仕組みとの間で切り替えが実行され得る。前記の映像符号化の切り替えは、チャネル特性に基づいて行うことができ、エンコード時又は送信時に実行されることができる。更に、本発明の映像符号化の仕組みは、複雑性のわずかな増加のみ（図３Ａ）又は減少（図３Ｂ）で、符号化効率における大幅な利益を達する。
【００３２】
図７は、図５のエンコーダ１４０で生成された出力ストリームをデコードするために用いられ得る、本発明の例示的な実施例によるデコーダ１７０のブロック図を示したものである。図に示す通り、デコーダ１７０は、エンコードされたスケーラブル・ストリームを受信し、前記ストリームを第１と第２のデータストリーム１７４と１７５に逆多重化するデマルチプレクサ１７３を含む。動き情報（動きベクトルと動き予測モード）を含む第１のデータストリーム１７４は、動き補償手段１７６に適用される。動き補償手段１７６は、前記動き情報と、基本レイヤのフレームメモリ１７７に保存された拡張基本レイヤのＩ及びＰ参照フレームとを用いて、動き補償された拡張基本レイヤのＩ及びＰ参照フレームを再構成する。
【００３３】
デマルチプレクサ１７３によって逆多重化された第２のデータストリーム１７５は、テクスチャ・デコーダ１７２に適用され、前記テクスチャ・デコーダは、FGSのビットプレーンのデコーダ１８４、又は第２のデータストリーム１７５をデコードする同様のスケーラブル・デコーダを含み、第１の加算手段１９０に適用されるＩ及びＰ及びＢフレームの残差を再構成する。Ｉ及びＰフレームの残差はまた、Ｉ及びＰフレームの残差の１つ以上の符号化ビットプレーン（又はその一部分）を受け取り、それを第２の加算手段１８７の第１の入力１８８に適用するフレームのフロー制御装置１８５を介して、マスキング装置１８６に適用する。第２の加算手段１８７は、Ｉ及びＰフレームの残差データと、動き補償手段１７６によって第２の入力１８９に適用された、対応する再攻勢された動き補償された拡張基本レイヤのＩ及びＰフレームとを合計し、新しい拡張基本レイヤのＩ及びＰ参照フレームを再構成し、それらはフレームメモリ１７７に保存される。
【００３４】
動き補償された拡張基本レイヤのＩ及びＰ参照フレームはまた、第１の加算手段１９０に経路を定められ、前記第１の加算手段は、それと、（FGSデコーダ１８４からの）対応する再構成されたフレームの残差とを合計し、拡張されたＩ及びＰ及びＢフレームを生成し、それらは拡張された映像として第１の加算手段１９０によって出力される。
【００３５】
図８は、本発明の原理を実現するために用いられ得るシステム２００の例示的な実施例を示したものである。システム２００は、テレビや、セットトップボックスや、デスクトップ又はラップトップ又はパームトップのコンピュータや、個人情報端末（PDA）や、ビデオカセットレコーダ（VCR）のような映像／画像保存装置や、デジタルビデオレコーダ（DVR）や、TiVO装置等や、それに加えてこれらや他の装置の一部又は組み合わせを表し得る。本システム２００は、１つ以上の映像／画像のソース２０１と、１つ以上の入出力装置２０２と、プロセッサ２０３と、メモリ２０４とを含む。映像／画像のソース（群）２０１は、例えばテレビ受信機又はVCR又は他の映像／画像保存装置を表し得る。ソース（群）２０１は、例えば、インターネットや、広域ネットワークや、メトロポリタンエリアネットワークや、ローカルエリアネットワークや、地上波放送システムや、ケーブルネットワークや、衛星ネットワークや、無線ネットワークや、電話ネットワークや、それに加えてこれらや他の形式のネットワークの一部又は組み合わせのようなグローバルなコンピュータ通信ネットワーク上で、サーバ又はサーバ群から映像を受信するための１つ以上のネットワーク接続を択一的に表し得る。
【００３６】
入出力装置２０２と、プロセッサ２０３とメモリ２０４は、通信媒体２０５上で通信し得る。通信媒体２０５は、例えば、バスや、通信ネットワークや、回路又は回路カード又は他の装置の１つ以上の内部接続や、それに加えてこれらや他の通信媒体の一部及び組み合わせを表し得る。ソース（群）２１０からの入力映像データは、ディスプレイ装置２０６に供給される出力映像／画像を生成するために、メモリ２０４に保存された１つ以上のソフトウェアプログラムに従って処理され、プロセッサ２０３によって実行される。
【００３７】
好ましい実施例において、本発明の原理を使用する符号化とデコードは、システムによって実行されるコンピュータ読み取り可能なコードによって実現され得る。前記コードは、メモリ２０４に保存され得る、又はCD-ROMやフロッピー（Ｒ）ディスクのようなメモリ媒体から読み取られる／ダウンロードされ得る。他の実施例において、本発明を実現するために、ソフトウェアの命令の代わりに又はそれと組み合わせてハードウェアの回路構成が用いられ得る。例えば、図４−７に示される要素はまた、分離したハードウェア要素として実現され得る。
【００３８】
本発明は特定の実施例について前述したが、本発明はここで開示される実施例に制限又は限定されることを意図されるのではないことがわかる。例えば、DCTの他に、ウエーブレット（wavelet）又は他のマッチングパスーツ（matching-pursuits）を含むが、それに限定されない他の変換が用いられ得る。前記の及び他の全ての改良と変更が特許請求の範囲内であると考えられる。
【図面の簡単な説明】
【００３９】
【図１】現在の上位レイヤの映像符号化の仕組みを示したものである。
【図２】図１の映像符号化の仕組みの基本レイヤと上位レイヤを符号化するための従来のエンコーダのブロック図を示したものである。
【図３Ａ】本発明の第１の例示的な実施例によるスケーラブル映像符号化の仕組みを示したものである。
【図３Ｂ】本発明の第２の例示的な実施例によるスケーラブル映像符号化の仕組みを示したものである。
【図４】図３Ａのスケーラブル映像符号化の仕組みを作るために用いられ得る、本発明の例示的な実施例によるエンコーダのブロック図を示したものである。
【図５】図３Ｂのスケーラブル映像符号化の仕組みを作るために用いられ得る、本発明の例示的な実施例によるエンコーダのブロック図を示したものである。
【図６】図４のエンコーダで生成された圧縮された基本レイヤと上位レイヤのストリームをデコードするために用いられ得る、本発明の例示的な実施例によるデコーダのブロック図を示したものである。
【図７】図５のエンコーダで生成された圧縮された基本レイヤと上位レイヤのストリームをデコードするために用いられ得る、本発明の例示的な実施例によるデコーダのブロック図を示したものである。
【図８】本発明の原理を実現するために用いられ得るシステムの例示的な実施例を示したものである。
【図１】
2005500754.tif 000003
【図２】
2005500754.tif 000004
【図３Ａ】
2005500754.tif 000005
【図３Ｂ】
2005500754.tif 000006
【図４】
2005500754.tif 000007
【図５】
2005500754.tif 000008
【図６】
2005500754.tif 000009
【図７】
2005500754.tif 000010
【図８】
2005500754.tif 000011
【国際公開パンフレット】
2005500754.tif 000012
2005500754.tif 000013
2005500754.tif 000014
2005500754.tif 000015
2005500754.tif 000016
2005500754.tif 000017
2005500754.tif 000018
2005500754.tif 000019
2005500754.tif 000020
2005500754.tif 000021
2005500754.tif 000022
2005500754.tif 000023
2005500754.tif 000024
2005500754.tif 000025
2005500754.tif 000026
2005500754.tif 000027
2005500754.tif 000028
2005500754.tif 000029
2005500754.tif 000030
2005500754.tif 000031
2005500754.tif 000032
2005500754.tif 000033
2005500754.tif 000034
2005500754.tif 000035
2005500754.tif 000036
2005500754.tif 000037
【国際公開パンフレット（コレクトバージョン）】
2005500754.tif 000038
【国際調査報告】
2005500754.tif 000039
2005500754.tif 000040
2005500754.tif 000041