(57)【要約】双方向予測されたフレーム（Ｂフレーム）及び予測されたフレーム（Ｐフレーム）のための動き補償を有するビデオ符号化技術。ビデオ符号化技術は、基本レイヤの符号化の間、“拡張された”又は“増強された（ｅｎｈａｎｃｅｄ）”基本レイヤ参照フレームから生成される基本レイヤのＢフレーム及び／又はＰフレームを含む単一ループの予測に基づく基本レイヤを含む。
2004511977.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを符号化する方法であって、前記方法が、
各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するステップ、
前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するステップ、及び
前記符号化されていないビデオと前記基本レイヤフレームとからフレーム残差を生成するステップ、
を有するビデオを符号化する方法。
【請求項２】
高位レイヤフレームを生成するために前記フレーム残差をスケーラブルコーデックで符号化するステップを更に有する請求項１に記載のビデオを符号化する方法。
【請求項３】
ファイングラニュラースケーラブル高位レイヤフレームを生成するために前記フレーム残差をファイングラニュラースケーラブルコーデックで符号化するステップを更に有する請求項１に記載のビデオを符号化する方法。
【請求項４】
前記基本レイヤフレームは、基本レイヤＢフレームを含む請求項１に記載のビデオを符号化する方法。
【請求項５】
前記基本レイヤフレームはＰフレームを更に含む請求項４に記載のビデオを符号化する方法。
【請求項６】
前記基本レイヤフレームはＰフレームを含む請求項１に記載のビデオを符号化する方法。
【請求項７】
基本レイヤストリーム及び高位レイヤストリームを有する圧縮されたビデオを復号化する方法であって、前記方法が、
各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために前記基本レイヤストリーム及び前記高位レイヤストリームを復号化するステップ、及び
前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するステップ、
を有する圧縮されたビデオを復号化する方法。
【請求項８】
前記復号化するステップが更に高位レイヤフレームを生成し、前記基本レイヤフレーム及び前記高位レイヤフレームからエンハンストビデオを生成するステップを更に有する請求項７に記載の圧縮されたビデオを復号化する方法。
【請求項９】
前記基本レイヤフレームはＢフレームを含む請求項７に記載の圧縮されたビデオを復号化する方法。
【請求項１０】
前記基本レイヤフレームはＰフレームを更に含む請求項９に記載の圧縮されたビデオを復号化する方法。
【請求項１１】
前記基本レイヤフレームはＰフレームを含む請求項７に記載の圧縮されたビデオを復号化する方法。
【請求項１２】
前記基本レイヤフレームからビデオを生成するステップを更に有する請求項７に記載の圧縮されたビデオを復号化する方法。
【請求項１３】
ビデオを符号化するための記憶媒体であって、前記記憶媒体が、
各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するためのコード、
前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するためのコード、及び
前記符号化されていないビデオと前記基本レイヤフレームとからフレーム残差を生成するコード、
を有するビデオを符号化するための記憶媒体。
【請求項１４】
前記フレーム残差をスケーラブルに符号化するためのコードを更に有する請求項１３に記載のビデオを符号化するための記憶媒体。
【請求項１５】
前記フレーム残差をファイングラニュラースケーラブルに符号化するためのコードを更に有する請求項１３に記載のビデオを符号化するための記憶媒体。
【請求項１６】
前記基本レイヤフレームはＢフレームを含む請求項１３に記載のビデオを符号化するための記憶媒体。
【請求項１７】
前記基本レイヤフレームはＰフレームを更に含む請求項１６に記載のビデオを符号化するための記憶媒体。
【請求項１８】
前記基本レイヤフレームはＰフレームを含む請求項１３に記載のビデオを符号化するための記憶媒体。
【請求項１９】
基本レイヤストリーム及び高位レイヤストリームを有する圧縮されたビデオを復号化するための記憶媒体であって、前記記憶媒体が、
前記基本レイヤストリーム及び前記高位レイヤストリームから、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを復号化するためのコード、及び
前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するコード、
を有する圧縮されたビデオを復号化するための記憶媒体。
【請求項２０】
前記拡張された基本レイヤ参照フレームを復号化するためのコードは更に高位レイヤフレームを生成し、前記基本レイヤフレーム及び前記高位レイヤフレームからエンハンストビデオを生成するためのコードを更に有する請求項１９に記載の圧縮されたビデオを復号化するための記憶媒体。
【請求項２１】
前記基本レイヤフレームはＢフレームを含む請求項１９に記載の圧縮されたビデオを復号化するための記憶媒体。
【請求項２２】
前記基本レイヤフレームはＰフレームを更に含む請求項２１に記載の圧縮されたビデオを復号化するための記憶媒体。
【請求項２３】
前記基本レイヤフレームはＰフレームを含む請求項１９に記載の圧縮されたビデオを復号化するための記憶媒体。
【請求項２４】
前記基本レイヤフレームからビデオを生成するためのコードを更に有する請求項１９に記載の圧縮されたビデオを復号化するための記憶媒体。
【請求項２５】
ビデオを符号化するための装置であって、前記装置は、
各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するための手段、
前記拡張された基本レイヤ参照フレームとから基本レイヤフレームを予測するための手段、及び
前記符号化されていないビデオと前記基本レイヤフレームとからフレーム残差を生成するための手段、
を有するビデオを符号化するための装置。
【請求項２６】
前記フレーム残差をスケーラブルに符号化するための手段を更に有する請求項２５に記載のビデオを符号化するための装置。
【請求項２７】
前記フレーム残差をファイングラニュラースケーラブルに符号化するための手段を更に有する請求項２５に記載のビデオを符号化するための装置。
【請求項２８】
前記基本レイヤフレームはＢフレームを含む請求項２５に記載のビデオを符号化するための装置。
【請求項２９】
前記基本レイヤフレームはＰフレームを更に含む請求項２８に記載のビデオを符号化するための装置。
【請求項３０】
前記基本レイヤフレームはＰフレームを含む請求項２５に記載のビデオを符号化するための装置。
【請求項３１】
基本レイヤストリーム及び高位レイヤストリームを有する圧縮されたビデオを復号化するための装置であって、前記装置は、
前記基本レイヤストリーム及び前記高位レイヤストリームから、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを復号化するための手段、及び
前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、
を有する圧縮されたビデオを復号化するための装置。
【請求項３２】
前記拡張された基本レイヤ参照フレームを復号化するための手段は更に高位レイヤフレームを生成し、前記基本レイヤフレーム及び前記高位レイヤフレームからエンハンストビデオを生成するための手段を更に有する請求項３１に記載の圧縮されたビデオを復号化するための装置。
【請求項３３】
前記基本レイヤフレームはＢフレームを含む請求項３１に記載の圧縮されたビデオを復号化するための装置。
【請求項３４】
前記基本レイヤフレームはＰフレームを更に含む請求項３３に記載の圧縮されたビデオを復号化するための装置。
【請求項３５】
前記基本レイヤフレームはＰフレームを含む請求項３１に記載の圧縮されたビデオを復号化するための装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ符号化、特に、高位レイヤフレームの一部を用いて、双方向予測されたフレーム（Ｂフレーム）及び予測されたフレーム及び双方向予測されたフレーム及び（Ｐフレーム及びＢフレーム）に対して単一ループの動き補償プロセスを使用するスケーラブルビデオ符号化方式に関する。
【０００２】
【従来の技術】
インターネットのような可変の帯域幅を有するコンピュータネットワークに送信された映像を圧縮するため、スケーラブル高位レイヤビデオ符号化が用いられている。図１には、（ＩＳＯ　ＭＰＥＧ−４標準によって採用されている）ファイングラニュラースケーラブル（ｆｉｎｅ ｇｒａｎｕｌａｒ ｓｃａｌａｂｌｅ；ＦＧＳ）符号化技術を使用している現行の高位レイヤビデオ符号化方式が示されている。見てわかるように、ビデオ符号化方式１０は、ビットレートＲＢＬで符号化される予測による基本レイヤ１１と、ビットレートＲＥＬで符号化されるＦＧＳ高位レイヤ１２とを含む。
【０００３】
予測による基本レイヤ１１は、フレーム内符号化されたＩフレームと、動き推定−補償を用いて先行するＩフレーム又はＰフレームから時間的に予測されるフレーム間符号化されたＰフレームと、フレーム間符号化された双方向Ｂフレームとを含む。このＢフレームは、動き推定−補償を用いて、当該Ｂフレームに隣接する先行フレームと後続フレームとの両方から時間的に予測される。基本レイヤ１１において、予測符号化及び／又は内挿符号化、即ち動き推定及び対応する動き補償を用いることにより、基本レイヤ１１での時間冗長度が減少するが、基本レイヤフレームのみが予測に用いられるため、その時間冗長度の減少は、わずかに限られてしまう。
【０００４】
高位レイヤ１２は、復元された基本レイヤフレームを元のフレームから減算することにより得られるＦＳＧ高位レイヤのＩフレーム，Ｐフレーム及びＢフレームを含む（この減算は動き補償された領域で行うことができる）。このため、高位レイヤにおいて高位レイヤのＩフレーム，Ｐフレーム及びＢフレームは動き補償されない。（同時にＦＧＳ残差がフレームから取得される。）この主な理由は、伝送時間に利用可能な帯域幅に依存してＦＧＳ高位レイヤの各フレームの切り捨てを個別に可能とする柔軟性を提供するためである。より具体的には、高位レイヤ１２のファイングラニュラースケーラブル符号化により、Ｒｍｉｎ＝ＲＢＬからＲｍａｘ＝ＲＢＬ＋ＲＥＬまでの範囲の利用可能な帯域幅を伴う任意のネットワークセッション上にわたって、ＦＧＳビデオストリームを送信することが可能である。例えば、送信器と受信器との間の利用可能な帯域幅がＢ＝Ｒである場合、送信器はレートＲＢＬで基本レイヤフレームを送信し、レートＲＥＬ＝Ｒ−ＲＢＬで高位レイヤフレームの一部のみを送信する。図１から理解できるように、高位レイヤにおけるＦＧＳ高位レイヤフレームの一部分を、送信のためにファイングラニュラースケーラブル（ＦＧＳ）の方法で選択することができる。従って、全伝送ビットレートは、Ｒ＝ＲＢＬ＋ＲＥＬである。単一高位レイヤを伴う広範囲の伝送帯域幅を支持する柔軟性のためである。
【０００５】
図２は、図１のビデオ符号化方式の基本レイヤ１１及び高位レイヤ１２を符号化するための従来のＦＧＳ符号器のブロック図を示す。見てわかるように、フレームｉの高位レイヤ残差（ＦＧＳＲ（ｉ））は、ＭＣＲ（ｉ）−ＭＣＲＱ（ｉ）に等しい。ここで、ＭＣＲ（ｉ）はフレームｉの動き補償された残差であり、ＭＣＲＱ（ｉ）は量子化プロセス及び逆量子化プロセスの後のフレームｉの動き補償された残差である。
【０００６】
図１の現行のＦＧＳ高位レイヤビデオ符号化方式１０は非常に柔軟性が高いけれども、ビデオ画質に関する性能は、同じ伝送ビットレートにおける非スケーラブル符号器のビデオ画質に関する性能と比較して、低いという不利な点を有する。画質の低下は、高位レイヤ１２のファイングラニュラースケーラブル符号化が原因ではなく、高位レイヤ１２内のＦＧＳ残差フレームの間での時間冗長度の利用の減少が主な原因である。特に、高位レイヤ１２におけるＦＧＳ高位レイヤフレームは、動き補償された基本レイヤのＩフレーム，Ｐフレーム及びＢフレームそれぞれの残差のみから得られ、ＦＧＳ高位レイヤフレームは、高位レイヤ１２の他のＦＧＳ高位レイヤフレーム又は基本レイヤ１１の他のフレームを予測するためには使用されない。
【０００７】
従って、現行のＦＧＳビデオ符号化方式の柔軟性及び魅力的な特性の大部分を保持しながら、画質を向上するために動き補償に対して高位レイヤフレームの一部を使用するスケーラブルビデオ符号化方式が必要とされる。
【０００８】
【発明が解決しようとする課題】
本発明は、Ｂフレーム及びＰフレームを予測するために、高位レイヤフレームの一部、典型的にはＦＧＳ高位レイヤフレームを使用するビデオ符号化方式を目的とする。
【０００９】
【課題を解決するための手段】
本発明の一態様は、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するステップ、前記拡張された基本レイヤ参照フレームから前記基本レイヤフレームを予測するステップ、及び前記符号化されていないビデオと基本レイヤフレームからフレーム残差を生成するステップを有するビデオを符号化する方法を含む。
【００１０】
本発明の別の態様は、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために前記基本レイヤストリーム及び前記高位レイヤストリームを復号化するステップ、及び前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するステップを有するビデオを復号化する方法を含む。
【００１１】
本発明の更なる別の態様は、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するためのコード、前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するためのコード、及び前記符号化されていないビデオと前記基本レイヤフレームからフレーム残差を生成するコード、を有するビデオを符号化するための記憶媒体を含む。
【００１２】
本発明の他の態様は、基本レイヤストリーム及び高位レイヤストリームを有する圧縮されたビデオを復号化するための記憶媒体であって、前記基本レイヤストリーム及び前記高位レイヤストリームから、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを復号化するためのコード、及び前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するコード、を有する圧縮されたビデオを復号化するための記憶媒体を含む。
【００１３】
本発明の更なる他の態様は、ビデオを符号化するための装置であって、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するための手段、前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、及び前記符号化されていないビデオと前記基本レイヤフレームからフレーム残差を生成するための手段、を有するビデオを符号化するための装置を含む。
【００１４】
本発明の更なる別の態様は、基本レイヤストリーム及び高位レイヤストリームを有する圧縮されたビデオを復号化するための装置であって、前記基本レイヤストリーム及び前記高位レイヤストリームから、各々が基本レイヤ参照フレームと関連する高位レイヤ参照フレームの少なくとも一部とを含む拡張された基本レイヤ参照フレームを復号化するための手段、及び前記拡張された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、を有する圧縮されたビデオを復号化するための装置を含む。
【００１５】
本発明の利点、本質及び種々の付加的な特徴は、全体を通じて同じ符号は同じ構成要素を表す添付図面に関して詳細に記載された例示の実施例により十分に明らかになるだろう。
【００１６】
【発明の実施の形態】
図３Ａは、本発明の第１の具体的実施例による高位レイヤビデオ符号化方式３０を示す。見てわかるように、この高位レイヤビデオ符号化方式３０は、予測による（単一ループの動き補償）基本レイヤ３１と高位レイヤ３２とを含む。
【００１７】
予測による基本レイヤ３１はフレーム内符号化されたＩフレームとフレーム間符号化されたＰフレームとを含む。これらフレームは、通常通り、基本レイヤの（非スケーラブル）符号化の間に、標準基本レイヤのＩ参照フレーム及びＰ参照フレームから生成される。本発明の原理に従えば、予測による基本レイヤ３１はフレーム間符号化された双方向Ｂフレームも含む。このＢフレームは、基本レイヤの符号化の間に、“拡張された”又は“増強された（ｅｎｈａｎｃｅｄ）”基本レイヤの、Ｉ参照フレーム及びＰ参照フレーム又はＰ参照フレーム及びＰ参照フレーム（以下、拡張された基本レイヤのＩ参照フレーム及びＰ参照フレームと呼ぶ）から生成される。拡張された各基本レイヤ参照フレームは、標準基本レイヤ参照フレームと、関連する高位レイヤ参照フレームの少なくとも一部（関連する高位レイヤフレームの一つ以上のビットプレーン又は断片ビットプレーンを用いることができる）とを有する。
【００１８】
高位レイヤ３２はＩフレーム，Ｐフレーム及びＢフレームを含む。これらフレームは、通常通り、それらの元の基本レイヤのＩフレーム残差，Ｐフレーム残差及びＢフレーム残差の各々から、その復元された（復号化された）基本レイヤのＩフレーム残差，Ｐフレーム残差及びＢフレーム残差の各々を引くことにより生成される。高位レイヤＢフレームは通常通りに符号化されるが、そのＢフレームの残差フレームは、その基本レイヤフレームが高位レイヤ参照フレームから部分的に予測されるため、含んでいる情報は少なく、一方、Ｐフレーム（及びＩフレーム）はそうではない。高位レイヤのＩフレーム，Ｐフレーム及びＢフレームは、任意の適切なスケーラブルコーデック（好ましくは、図３Ａに示されているようなファイングラニュラースケーラブル（ＦＧＳ）コーデック）を用いて符号化することができる。
【００１９】
当業者が認識するように、ビデオ符号化方式３０はビデオの画質を向上させる。これは、ビデオ符号化方式３０が高位レイヤフレームを使用して基本レイヤＢフレームにおける時間冗長度を減少するからである。
【００２０】
更に、本発明のビデオ符号化方式によって良好な性能を達成するためにはレート制御が重要な役割を果たすことに注意することが大事である。しかしながら、全ビットバジット（ｔｏｔａｌ ｂｉｔ−ｂｕｄｇｅｔ） Ｂｔｏｔ ＝ ｂＩ＊Ｎｏ．＿Ｉ＿ｆｒａｍｅｓ ＋ ｂＰ＊ Ｎｏ．＿Ｐ＿ｆｒａｍｅｓ ＋ ｂＢ＊Ｎｏ．＿Ｂ＿ｆｒａｍｅｓ　（ここで、ｂＩ＞ｂＰ＞ｂＢ）に従ってＧＯＰ用のＢｔｏｔを割り当てる非常に単純なアプローチでさえも、非常に良好な結果が提供される。更に、動き補償ループで使用される各高位レイヤ参照フレームに対して、異なる数の高位レイヤのビット／ビットプレーン（整数のビット／ビットプレーンである必要はない）を考えることができることに注意されたい。さらに、要求されるのであれば、高位レイヤ参照フレーム内の或る部分又は或る周波数のみが、基本レイヤの動き補償ループのための参照（レファレンス）として使用される必要がある。
【００２１】
明らかなように、図３Ａのビデオ符号化方式は基本レイヤの性能を修正する。たとえ、基本レイヤの動き補償ループにおいて動き補償予測が高位レイヤ情報を使用しても、結果として生じるＢフレームは通常の基本レイヤ符号化に用いられる標準量子化及び標準エントロピー符号化により依然として部分的に符号化されるため、基本レイヤの概念は存在する。標準量子化及び標準エントロピー符号化でＢフレームの一部を符号化する利点は、得られるビデオ符号化方式がＭＰＥＧ４に準拠して基本レイヤが残ることである。Ｂフレームの残る部分（Ｂフレーム残差）は、ＦＧＳのようなスケーラブルコーデックで符号化される。
【００２２】
高位レイヤのＩフレーム及びＰフレームの動き予測された全ての部分を“拡張された”基本レイヤとして符号化しない理由は、基本レイヤフレームに対して使用される符号化方式はスケーラブルではなく、伝送帯域幅がこの“拡張された”基本レイヤを伝送するために必要なレート以下に低くなる場合そのストリームを切り捨てることはできず、従って次のＩフレームが損失するまでは完全なデータだからである。本発明のビデオ符号化方式では、高位レイヤビットの非常に限られた部分のみが受け取られる場合に予測ドリフトが生じたとしても、依然として、ＲＢＬとＲｍａｘとの間の全てのビットレートにおいて復号化可能なストリームを受け取ることができる。
【００２３】
図４は、図３Ａの高位レイヤビデオ符号化方式を行うために使用することができる、本発明の具体的実施例による符号器４０のブロック図を示す。見てわかるように、符号器４０は基本レイヤ符号器４１と高位レイヤ符号器４２とを含む。基本レイヤ符号器４１は通常のものであり、元のビデオシーケンスとフレームメモリ６０に記憶されたフレームから動き情報（動きベクトル及び予測モード）を生成する動き推定器４３とを含む。この動き情報は動き補償器４４に供給される。この動き補償器４４は、フレームメモリ６０に記憶された通常の参照フレーム及び拡張された基本レイヤのＩ参照フレーム及びＰ参照フレームと動き情報とを使用して、通常の動き補償された基本レイヤ参照フレームと本発明の拡張された基本レイヤのＩ参照フレーム及びＰ参照フレームの動き補償されたバージョンを生成する。第１の減算器４５は元のビデオシーケンスから動き補償された参照フレームＲｅｆ（ｉ）を引き、基本レイヤフレームの動き補償された残差ＭＣＲ（ｉ）を生成する。基本レイヤフレームの動き補償された残差ＭＣＲ（ｉ）は離散コサイン変換（ＤＣＴ）符号器４６，量子化器４７及びエントロピー符号器４８により処理され、圧縮された基本レイヤストリームの一部を形成する基本レイヤのＩフレーム，Ｐフレーム及びＢフレームが生成する。動き推定器４３によって生成される動き情報は多重化装置４９にも供給される。この多重化装置４９は、動き情報を基本レイヤのＩフレーム，Ｐフレーム及びＢフレームと合成し、圧縮された基本レイヤストリームを完成させる。量子化装置４７の出力部に生成され、量子化された基本レイヤフレームの動き補償された残差ＭＣＲ（ｉ）は、逆量子化器５０によって逆量子化され、次に逆ＤＣＴ復号器５１によって復号化される。このプロセスは、逆ＤＣＴ５１の出力部に、動き補償された基本レイヤフレームの残差の量子化／逆量子化されたバージョンＭＣＲＱ（ｉ）を生成する。第１のフレームフロー制御装置６１は、逆ＤＣＴ５１の出力部における、動き補償され量子化／逆量子化された基本レイヤのＩフレーム及びＰフレームの残差を、第１の加算器５２にルーティングする。この加算器５２はその残差を、それに対応する動き補償された基本レイヤ参照フレームＲｅｆ（ｉ）に加算し、これにより、上記のようにフレームメモリ６０に記憶される通常の基本レイヤ参照フレームを生成する。
【００２４】
高位レイヤ符号器４１は、動き補償され量子化／逆量子化された基本レイヤのＩフレーム，Ｐフレーム及びＢフレームの残差を、第２のフレームフロー制御装置５９を通じて第２の減算器５３に供給する。第２の減算器５３は、動き補償され量子化／逆量子化された基本レイヤフレームの残差を、対応する動き補償された基本レイヤフレームの残差から引き、差分Ｉフレーム残差，差分Ｐフレーム残差，Ｂフレーム残差ＦＧＳＲ（ｉ）を生成する。第２の減算器５３の出力は、ＦＧＳ符号器５４又は同様のスケーラブル符号器により符号化される高位レイヤである。ＦＧＳ符号器５４は、通常のＤＣＴ符号化に続く通常のビットプレーンＤＣＴスキャン及び通常のエントロピー符号化を用いて、圧縮された高位レイヤストリームを生成する。マスキング装置５５は、第３のフレームフロー制御装置６２を通じて選択的にルーティングされる高位レイヤの符号化されたＩフレーム及びＰフレームの１つ以上の符号化されたビットプレーンを取り出し、このデータを第２の加算器５６の第１の入力部５７に供給する。動き補償されたＩフレーム及びＰフレームの残差の量子化／逆量子化されたバージョンＭＣＲＱ（ｉ）は、第２のフレームフロー制御装置５９によって第２の加算器５６の第２の入力部５８にルーティングされる。第２の加算器５６は、高位レイヤの符号化されたＩフレーム及びＰフレームの１つ以上の符号化されたビットプレーンと、それぞれのＩフレーム残差及びＰフレーム残差ＭＣＲＱ（ｉ）とを加算することにより、高位レイヤのＩ参照フレーム及びＰ参照フレームを生成する。第２の加算器５６から出力される高位レイヤのＩ参照フレーム及びＰ参照フレームは、これら参照フレームを選択的に第１の加算器５２にルーティングする第１のフロー制御装置６１に伝送される。第１の加算器５２は、高位レイヤのＩ参照フレーム及びＰ参照フレームとこれらに対応する動き補償された基本レイヤのＩ参照フレーム及びＰ参照フレームＲｅｆ（ｉ）とを加算し、フレームメモリ６０に記憶され且つ先に記載したように基本レイヤＢフレームを予測するために使用される拡張された基本レイヤのＩ参照フレーム及びＰ参照フレームを生成する。
【００２５】
図３Ｂは、本発明の第２の具体的実施例による高位レイヤビデオ符号化方式１００を示す。見てわかるように、第２の実施例のビデオ符号化方式１００は、基本レイヤの符号化の間に、予測されフレーム間符号化された基本レイヤ１３１のＰフレームも拡張された基本レイヤのＩ参照フレーム又はＰ参照フレームから生成するという点を除いて、図３Ａの第１の実施例のビデオ符号化方式とほぼ同一である。
【００２６】
図３Ｂのビデオ符号化方式１００により、ビデオ画質が更に向上する。これは、動き補償ループにおいて高位レイヤフレームが使用されるので、ビデオ符号化方式１００が、基本レイヤのＰフレームとＢフレームとの両方で時間冗長度を減少させるためである。
【００２７】
本発明のビデオ符号化方式は、ビデオシーケンスの種々の一部分又は種々のビデオシーケンスに対して、図１の現行のビデオ符号化方式と交番させる又は切り換えることができる。さらに、切換えは、図３Ａ，３Ｂのビデオ符号化方式、図１の現行のビデオ符号化方式、及び／又は先に記載した出願中の米国特許出願、及び／又は他のビデオ符号化方式の間で行うことができる。ビデオ符号化方式のこのような切換えは、チャネル特性に基づいて行うことができ、符号化において又は伝送時間において実行することができる。さらに、本発明のビデオ符号化方式では、複雑さの増加をほんのわずかに抑えて効率よく符号化するときに大きなゲインが達成される。
【００２８】
図５は、図３Ｂの高位レイヤビデオ符号化方式を行うために使用することができる本発明の具体的実施例による符号器１４０のブロック図を示す。見てわかるように、図５の符号器１４０は、符号器４０で使用されているフレームフロー制御装置６１が省略されていることを除いて、図４の符号器４０（図３Ａの高位レイヤビデオ符号化方式を行うために使用される）とほぼ同一である。基本レイヤＰフレームと基本レイヤＢフレームとの両方の動き補償は、高位レイヤの符号化の少なくとも一部を含む拡張された基本レイヤのＩ参照フレーム及びＰ参照フレームに基づいているため、フレームフロー制御装置６１はこの符号器１４０には必ずしも必要ではない。それ故に、第１の加算器５２は、拡張された基本レイヤのＩ参照フレーム及びＰ参照フレームのみを生成し、これらフレームはフレームメモリ６０に記憶される（通常の基本レイヤ参照フレームは生成されず又はフレームメモリ６０に記憶されない）。
【００２９】
図６は、図４の符号器４０によって生成される圧縮された基本レイヤ及び高位レイヤのストリームを復号するために使用することができる本発明の具体的実施例による復号器７０のブロック図を示す。見てわかるように、復号器７０は基本レイヤ復号器７１と高位レイヤ復号器７２とを含む。基本レイヤ復号器７１は、符号化された基本レイヤストリームを受け取りこのストリームを第１及び第２のデータストリーム７４，７５に多重分離する多重分離器７３を含む。第１のデータストリーム７４は動き情報（動きベクトル及び動き予測モード）を含んでおり、この第１のデータストリーム７４は動き補償器７６に供給される。動き補償器７６は、関連する基本レイヤのフレームメモリ７７に記憶されたビデオフレームと動き情報とを使用して、第１の加算器７８の第１の入力部７９に供給される通常の基本レイヤ（Ｉ及びＰ）参照フレームと拡張された基本レイヤ参照（Ｉ及びＰ）フレームとを復元する。第２のデータストリーム７５は、復号化する基本レイヤ可変長コード復号器８１に供給され、逆量子化する逆量子化器８２に供給される。逆量子化された係数は逆離散コサイン変換復号器８３に供給される。この逆離散コサイン変換復号器８３は、逆量子化されたコードを第１の加算器７８の第２の入力部８０に供給される基本レイヤフレーム残差に変換する。第１の加算器７８は、基本レイヤＰフレーム残差とその基本レイヤ参照フレームとを加算し、動き予測されたＰフレームを出力する。（基本レイヤＩフレーム残差は基本レイヤＩフレームとして第１の加算器７８により出力される。）第１の加算器７８は、基本レイヤＢフレーム残差とそれらの拡張された基本レイヤの（Ｉ及びＰ）各参照フレームとの加算も行い、動き予測されたＢフレームを生成する。第１の加算器７８により出力されるＩ基本レイヤフレームとＰ基本レイヤフレームは、基本レイヤのフレームメモリ７７に記憶される。さらに、第１の加算器７８により出力されるＩフレーム，Ｐフレーム及びＢフレームを基本レイヤのビデオとして任意に出力することができる。
【００３０】
高位レイヤ復号器７２は、ＦＧＳビットプレーン復号器８４、又は圧縮された高位レイヤストリームを復号化して第２の加算器９０に供給される差分Ｉフレーム残差，差分Ｐフレーム残差及び差分Ｂフレーム残差（高位レイヤフレーム）を生成する同様のスケーラブル復号器を含む。Ｉフレーム残差及びＰフレーム残差は、第１のフレームフロー制御装置８５により、一つ以上の復元された高位レイヤフレーム残差のビットプレーン（又はビットプレーンの断片）を取り出して第３の加算器８７の第１の入力部８８に供給するマスキング装置８６に選択的にルーティングされる。基本レイヤ復号器７１の第１の加算器７８により出力された基本レイヤ（Ｉ及びＰ）フレームは、第２のフレームフロー制御装置９１により第３の加算器８７の第２の入力部８９にルーティングされる。第３の加算器８７は（Ｉ及びＰ）高位レイヤビットプレーンと基本レイヤ（Ｉ及びＰ）フレームとを加算し、拡張された基本レイヤ参照（Ｉ及びＰ）フレームを生成し、このフレームはフレームメモリ７７に記憶され上記のように基本レイヤＢフレームを予測するために基本レイヤ復号器７１で使用される。第２の加算器９０は、高位レイヤのＩフレーム，Ｐフレーム及びＢフレームと、それらの基本レイヤの各Ｉフレーム，Ｐフレーム及びＢフレームとを加算し、エンハンストビデオ（ｅｎｈａｎｃｅｄ ｖｉｄｅｏ）を生成する。
【００３１】
図７は、図５の符号器１４０によって生成される圧縮された基本レイヤ及び高位レイヤのストリームを復号化するために使用することができる本発明の具体的実施例による復号器１７０のブロック図を示す。見てわかるように、図７の復号器１７０は、第１の加算器７８で生成される基本レイヤフレームが基本レイヤのフレームメモリ７７に記憶されないことを除いて、図６の復号器７０とほぼ同一である。これは、ＰフレームとＢフレームとの両方がフレームメモリ７７に記憶される拡張された基本レイヤ参照（Ｉ及びＰ）フレームのみを使用して予測されるので、必要とは限らない。従って、基本レイヤ参照フレームは、フレームメモリ７７に記憶されない。
【００３２】
図８は、本発明の原理を実現するために使用することができるシステム２００の具体的実施例を示す。システム２００は、テレビ、セットトップボックス、デスクトップ、ラップトップ又はパームトップのコンピュータ、パーソナル携帯情報機器（ＰＤＡ）、ビデオ／画像記憶装置（ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダー（ＤＶＲ）、ＴｉＶＯ装置等）、並びにこれらの装置及び他の装置の一部分又は組合せを表すことができる。システム２００は、一つ以上のビデオ／画像源２０１、一つ以上の入力／出力装置２０２、プロセッサ２０３及びメモリ２０４を含む。ビデオ／画像源２０１は、例えば、テレビ受信機、ＶＣＲ又は他のビデオ／画像記憶装置を表すことができる。代わりに，このビデオ／画像源２０１は、例えば、インターネット、広域エリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク又は電話ネットワーク、並びにこれらのネットワーク及び他の型式のネットワークの一部分又は組合せのようなグローバルコンピュータ通信ネットワーク上において１つ又は複数のサーバから映像を受け取るための１つ以上のネットワーク接続を表すことができる。
【００３３】
入力／出力装置２０２、プロセッサ２０３及びメモリ２０４は、通信媒体２０５上で通信することができる。通信媒体２０５は、例えば、回路、回路カード又は他の装置の一つ以上の内部接続体、バス、通信ネットワーク、並びにこれらの通新媒体及び他の通信媒体の一部分及び組合せを表すことができる。ビデオ／画像源２０１からの入力ビデオデータは、表示装置２０６に供給される出力ビデオ／出力画像を生成するために、メモリ２０４に記憶された一つ以上のソフトウェアプログラムに従って処理され、プロセッサ２０３により実行される。
【００３４】
好適実施例では、本発明の原理を使用する符号化及び復号化は、このシステムにより実行されるコンピュータが読取可能なコードにより実行することができる。このコードはメモリ２０４に記憶することができ、又はＣＤ−ＲＯＭ若しくはフロッピー（Ｒ）ディスクのような記録媒体から読み出し／ダウンロードすることができる。他の実施例では、本発明を実施するためにソフトウェア手段の代わりに又はソフトウェア手段と組み合わせてハードウェア回路を使用することができる。例えば、図４−図６に示される構成要素は、個別のハードウェア要素として実現することもできる。
【００３５】
本発明は特定実施例に関して記載されているが、本発明はこの明細書に限定又は制限されるべきであるようなものではないことが理解されるべきである。例えば、ＤＣＴの他に、ウエーブレット又はマッチング追跡及びその他を含む他の変換を使用することができる。別の例では、本発明の他の実施例は、Ｐフレームに対して基本レイヤにおいて動き補償のみを使用することができる。これら及び他の斯かる修正及び変形は、添付請求項の範囲内で考えられる。
【図面の簡単な説明】
【図１】現行の高位レイヤビデオ符号化方式を示す。
【図２】図１のビデオ符号化方式の基本レイヤ及び高位レイヤを符号化するための従来の符号器のブロック図を示す。
【図３Ａ】本発明の第１の具体的実施例による高位レイヤビデオ符号化方式を示す。
【図３Ｂ】本発明の第２の具体的実施例による高位レイヤビデオ符号化方式を示す。
【図４】図３Ａの高位レイヤビデオ符号化方式を行うために使用することができる、本発明の具体的実施例による符号器のブロック図を示す。
【図５】図３Ｂの高位レイヤビデオ符号化方式を行うために使用することができる本発明の具体的実施例による符号器のブロック図を示す。
【図６】図４の符号器によって生成される圧縮された基本レイヤ及び高位レイヤのストリームを復号するために使用することができる本発明の具体的実施例による復号器のブロック図を示す。
【図７】図５の符号器によって生成される圧縮された基本レイヤ及び高位レイヤのストリームを復号化するために使用することができる本発明の具体的実施例による復号器のブロック図を示す。
【図８】本発明の原理を実現するために使用することができるシステムの具体的実施例を示す。
【図１】
2004511977.tif 000003
【図２】
2004511977.tif 000004
【図３Ａ】
2004511977.tif 000005
【図３Ｂ】
2004511977.tif 000006
【図４】
2004511977.tif 000007
【図５】
2004511977.tif 000008
【図６】
2004511977.tif 000009
【図７】
2004511977.tif 000010
【図８】
2004511977.tif 000011
【国際公開パンフレット】
2004511977.tif 000012
2004511977.tif 000013
2004511977.tif 000014
2004511977.tif 000015
2004511977.tif 000016
2004511977.tif 000017
2004511977.tif 000018
2004511977.tif 000019
2004511977.tif 000020
2004511977.tif 000021
2004511977.tif 000022
2004511977.tif 000023
2004511977.tif 000024
2004511977.tif 000025
2004511977.tif 000026
2004511977.tif 000027
2004511977.tif 000028
2004511977.tif 000029
2004511977.tif 000030
2004511977.tif 000031
2004511977.tif 000032
2004511977.tif 000033
2004511977.tif 000034
2004511977.tif 000035
2004511977.tif 000036
【国際公開パンフレット（コレクトバージョン）】
2004511977.tif 000037
【国際公開パンフレット（コレクトバージョン）】
2004511977.tif 000038
【国際調査報告】
2004511977.tif 000039
2004511977.tif 000040
2004511977.tif 000041
2004511977.tif 000042
2004511977.tif 000043
2004511977.tif 000044