【誤訳訂正書】
【提出日】平成16年10月1日(2004.10.1)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【書類名】  明細書
【発明の名称】  単一ループ動き補償ファイングラニュラースケーラビリティ
【特許請求の範囲】
【請求項１】  ビデオを符号化する方法であって、前記方法が、
基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するステップ、
前記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するステップ、及び
前記符号化されていないビデオと前記基本レイヤフレームとからフレーム残差を生成するステップ、
を有するビデオを符号化する方法。
【請求項２】  拡張レイヤフレームを生成するために前記フレーム残差をスケーラブルコーデックで符号化するステップを更に有する請求項１によるビデオを符号化する方法。
【請求項３】  ファイングラニュラースケーラブル拡張レイヤフレームを生成するために前記フレーム残差をファイングラニュラースケーラブルコーデックで符号化するステップを更に有する請求項１によるビデオを符号化する方法。
【請求項４】  前記基本レイヤフレームは、基本レイヤＢフレームを含む請求項１によるビデオを符号化する方法。
【請求項５】  前記基本レイヤフレームはＰフレームを更に含む請求項４によるビデオを符号化する方法。
【請求項６】  前記基本レイヤフレームはＰフレームを含む請求項１によるビデオを符号化する方法。
【請求項７】  基本レイヤストリーム及び拡張レイヤストリームを有する圧縮されたビデオを復号化する方法であって、前記方法が、
基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために前記基本レイヤストリーム及び前記拡張レイヤストリームを復号化するステップ、及び
前記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するステップ、
を有する圧縮されたビデオを復号化する方法。
【請求項８】  前記復号化するステップが更に拡張レイヤフレームを生成し、前記基本レイヤフレーム及び前記拡張レイヤフレームからエンハンストビデオを生成するステップを更に有する請求項７による圧縮されたビデオを復号化する方法。
【請求項９】  前記基本レイヤフレームはＢフレームを含む請求項７による圧縮されたビデオを復号化する方法。
【請求項１０】  前記基本レイヤフレームはＰフレームを更に含む請求項９による圧縮されたビデオを復号化する方法。
【請求項１１】  前記基本レイヤフレームはＰフレームを含む請求項７による圧縮されたビデオを復号化する方法。
【請求項１２】  前記基本レイヤフレームからビデオを生成するステップを更に有する請求項７による圧縮されたビデオを復号化する方法。
【請求項１３】  ビデオを符号化するための記憶媒体であって、前記記憶媒体が、
基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するためのコード、
前記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するためのコード、及び
前記符号化されていないビデオと前記基本レイヤフレームとからフレーム残差を生成するためのコード、
を有するビデオを符号化するための記憶媒体。
【請求項１４】  前記フレーム残差をスケーラブル符号化するためのコードを更に有する請求項１３によるビデオを符号化するための記憶媒体。
【請求項１５】  前記フレーム残差をファイングラニュラースケーラブル符号化するためのコードを更に有する請求項１３によるビデオを符号化するための記憶媒体。
【請求項１６】  前記基本レイヤフレームはＢフレームを含む請求項１３によるビデオを符号化するための記憶媒体。
【請求項１７】  前記基本レイヤフレームはＰフレームを更に含む請求項１６によるビデオを符号化するための記憶媒体。
【請求項１８】  前記基本レイヤフレームはＰフレームを含む請求項１３によるビデオを符号化するための記憶媒体。
【請求項１９】  基本レイヤストリーム及び拡張レイヤストリームを有する圧縮されたビデオを復号化するための記憶媒体であって、前記記憶媒体が、
前記基本レイヤストリーム及び前記拡張レイヤストリームから、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを復号化するためのコード、及び
前記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するためのコード、
を有する圧縮されたビデオを復号化するための記憶媒体。
【請求項２０】  前記拡大された基本レイヤ参照フレームを復号化するためのコードは更に拡張レイヤフレームを生成し、前記基本レイヤフレーム及び前記拡張レイヤフレームからエンハンストビデオを生成するためのコードを更に有する請求項１９による圧縮されたビデオを復号化するための記憶媒体。
【請求項２１】  前記基本レイヤフレームはＢフレームを含む請求項１９による圧縮されたビデオを復号化するための記憶媒体。
【請求項２２】  前記基本レイヤフレームはＰフレームを更に含む請求項２１による圧縮されたビデオを復号化するための記憶媒体。
【請求項２３】  前記基本レイヤフレームはＰフレームを含む請求項１９による圧縮されたビデオを復号化するための記憶媒体。
【請求項２４】  前記基本レイヤフレームからビデオを生成するためのコードを更に有する請求項１９による圧縮されたビデオを復号化するための記憶媒体。
【請求項２５】  ビデオを符号化するための装置であって、前記装置は、
基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するための手段、
前記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、及び
前記符号化されていないビデオと前記基本レイヤフレームからフレーム残差を生成するための手段、
を有するビデオを符号化するための装置。
【請求項２６】  前記フレーム残差をスケーラブルに符号化するための手段を更に有する請求項２５によるビデオを符号化するための装置。
【請求項２７】  前記フレーム残差をファイングラニュラースケーラブル符号化するための手段を更に有する請求項２５によるビデオを符号化するための装置。
【請求項２８】  前記基本レイヤフレームはＢフレームを含む請求項２５によるビデオを符号化するための装置。
【請求項２９】  前記基本レイヤフレームはＰフレームを更に含む請求項２８によるビデオを符号化するための装置。
【請求項３０】  前記基本レイヤフレームはＰフレームを含む請求項２５によるビデオを符号化するための装置。
【請求項３１】  基本レイヤストリーム及び拡張レイヤストリームを有する圧縮されたビデオを復号化するための装置であって、前記装置は、
前記基本レイヤストリーム及び前記拡張レイヤストリームから、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを復号化するための手段、及び
前記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、
を有する圧縮されたビデオを復号化するための装置。
【請求項３２】  前記拡大された基本レイヤ参照フレームを復号化するための手段は更に拡張レイヤフレームを生成し、前記基本レイヤフレーム及び前記拡張レイヤフレームからエンハンストビデオを生成するための手段を更に有する請求項３１による圧縮されたビデオを復号化するための装置。
【請求項３３】  前記基本レイヤフレームはＢフレームを含む請求項３１による圧縮されたビデオを復号化するための装置。
【請求項３４】  前記基本レイヤフレームはＰフレームを更に含む請求項３３による圧縮されたビデオを復号化するための装置。
【請求項３５】  前記基本レイヤフレームはＰフレームを含む請求項３１による圧縮されたビデオを復号化するための装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ符号化、特に、拡張レイヤフレームの一部を用いて、双方向予測されたフレーム（Ｂフレーム）及び予測されたフレーム及び双方向予測されたフレーム及び（Ｐ及びＢフレーム）に対して単一ループの動き補償プロセスを使用するスケーラブルビデオ符号化方式に関する。
【０００２】
【従来の技術】
スケーラブル拡張レイヤビデオ符号化は、インターネットのような可変の帯域幅を有するコンピュータネットワークで伝送されるビデオを圧縮するため使用されてきている。図１には、（ＩＳＯ  ＭＰＥＧ−４規格によって採用されている）ファイングラニュラースケーラブル（fine granular scalable；FGS）符号化技術を使用している現行の拡張レイヤビデオ符号化方式が示されている。見てわかるように、ビデオ符号化方式１０は、ビットレートＲＢＬで符号化される予測に基づく基本レイヤ１１、及びＲＥＬで符号化されるＦＧＳ拡張レイヤ１２を含む。
【０００３】
予測に基づく基本レイヤ１１は、フレーム内符号化されたＩフレームと、前のＩ又はＰフレームから動き推定−補償を用いて時間的に予測されるフレーム間符号化されたＰフレームと、Ｂフレームに隣接する前と後のフレームの両方から動き推定−補償を用いて時間的に予測されるフレーム間符号化された双方向Ｂフレームを含む。基本レイヤ１１において、予測符号化及び／又は内挿符号化、即ち動き推定及び対応する補償を用いることにより、その中の時間冗長度が減少するが、基本レイヤフレームのみが予測に用いられるため、その減少はわずかに限られる。
【０００４】
拡張レイヤ１２は、それぞれのオリジナルのフレームからそれぞれの復元された基本レイヤフレームを減算することにより得られるＦＳＧ拡張レイヤＩ，Ｐ及びＢフレームを含む（この減算は動き補償されたドメインで行うこともできる）。結果として、拡張レイヤのＦＧＳ拡張レイヤＩ，Ｐ及びＢフレームは動き補償されない。（ＦＧＳ残差は同じタイムインスタンスでフレームから取得される。）この主な理由は、伝送時に利用可能な帯域幅に個々に依存する各ＦＧＳ拡張レイヤフレームの切捨てを可能とするフレキシビリティが提供されるからである。より具体的には、拡張レイヤ１２のファイングラニュラースケーラブル符号化は、Ｒｍｉｎ＝ＲＢＬからＲｍａｘ＝ＲＢＬ＋ＲＥＬまでの範囲の利用可能な帯域幅を用いて、任意のネットワークセッションにＦＧＳビデオストリームを伝送することが可能である。例えば、送信器と受信器との間の利用可能な帯域幅がＢ＝Ｒである場合、送信器はレートＲＢＬで基本レイヤフレームを送信し、レートＲＥＬ＝Ｒ−ＲＢＬで拡張レイヤフレームの一部のみを送信する。図１から理解できるように、拡張レイヤにおけるＦＧＳ拡張レイヤフレームの一部を、伝送に対してファイングラニュラースケーラブル（ＦＧＳ）の方法で選択することができる。従って、トータルの伝送されるビットレートは、Ｒ＝ＲＢＬ＋ＲＥＬである。このフレキシビリティのため、単一拡張レイヤで広範囲の伝送帯域幅がサポートされる。
【０００５】
図２は、図１のビデオ符号化方式の基本レイヤ１１及び拡張レイヤ１２を符号化するための従来のＦＧＳ符号器のブロック図を示す。見てわかるように、フレームｉの拡張レイヤ残差（ＦＧＳＲ（ｉ））は、ＭＣＲ（ｉ）−ＭＣＲＱ（ｉ）に等しい。ここで、ＭＣＲ（ｉ）はフレームｉの動き補償された残差であり、ＭＣＲＱ（ｉ）は量子化プロセス及び逆量子化プロセスの後のフレームｉの動き補償された残差である。
【０００６】
図１の現行のＦＧＳ拡張レイヤビデオ符号化方式１０は非常にフレキシビリティが高いけれども、ビデオ画質に関するその性能は、同じ伝送ビットレートで機能する非スケーラブル符号器のビデオ画質に関する性能と比較して、相対的に低いという不利な点を有する。画質の低下は、拡張レイヤ１２のファイングラニュラースケーラブル符号化が原因ではなく、拡張レイヤ１２内のＦＧＳ残差フレームの間での時間冗長度の利用の減少が主な原因である。特に、拡張レイヤ１２のＦＧＳ拡張レイヤフレームは、基本レイヤＩ，Ｐ及びＢフレームそれぞれの動き補償された残差のみから得られ、ＦＧＳ拡張レイヤフレームは、拡張レイヤ１２の他のＦＧＳ拡張レイヤフレーム又は基本レイヤ１１の他のフレームを予測するためには使用されない。
【０００７】
従って、現行のＦＧＳビデオ符号化方式に典型的なフレキシビリティ及び魅力的な特性の大部分を保持しながら、画質を向上するために動き補償に対して拡張レイヤフレームの一部を使用するスケーラブルビデオ符号化方式が必要とされる。
【０００８】
【発明が解決しようとする課題】
本発明は、Ｂ及びＰフレームを予測するために、拡張レイヤフレーム（典型的にはＦＧＳ拡張レイヤフレーム）の一部を使用するビデオ符号化方式を目的とする。
【０００９】
【課題を解決するための手段】
本発明の一態様は、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するステップ、上記拡大された基本レイヤ参照フレームから上記基本レイヤフレームを予測するステップ、及び上記符号化されていないビデオと基本レイヤフレームからフレーム残差を生成するステップを有するビデオを符号化する方法を含む。
【００１０】
本発明の別の態様は、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために上記基本レイヤストリーム及び上記拡張レイヤストリームを復号化するステップ、及び上記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するステップ、を有する圧縮されたビデオを復号化する方法を含む。
【００１１】
本発明の更なる別の態様は、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するためのコード、上記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するためのコード、及び上記符号化されていないビデオと上記基本レイヤフレームとからフレーム残差を生成するためのコード、を有するビデオを符号化するための記憶媒体を含む。
【００１２】
本発明の他の態様は、基本レイヤストリーム及び拡張レイヤストリームを有する圧縮されたビデオを復号化するための記憶媒体であって、上記基本レイヤストリーム及び上記拡張レイヤストリームから、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを復号化するためのコード、及び上記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するためのコード、を有する圧縮されたビデオを復号化するための記憶媒体を含む。
【００１３】
本発明の更なる他の態様は、ビデオを符号化するための装置であって、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを生成するために符号化されていないビデオを符号化するための手段、上記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、及び上記符号化されていないビデオと上記基本レイヤフレームからフレーム残差を生成するための手段、を有するビデオを符号化するための装置を含む。
【００１４】
本発明の更なる別の態様は、基本レイヤストリーム及び拡張レイヤストリームを有する圧縮されたビデオを復号化するための装置であって、上記基本レイヤストリーム及び上記拡張レイヤストリームから、基本レイヤ参照フレームと関連する拡張レイヤ参照フレームの少なくとも一部とを含む拡大された基本レイヤ参照フレームを復号化するための手段、及び上記拡大された基本レイヤ参照フレームから基本レイヤフレームを予測するための手段、を有する圧縮されたビデオを復号化するための装置を含む。
【００１５】
本発明の利点、本質及び種々の付加的な特徴は、全体を通じて同じ符号は同等の構成要素を表す添付図面に関して詳細に記載される例示的実施例を考慮して、より十分に明らかになるだろう。
【００１６】
【発明の実施の形態】
図３Ａは、本発明の第１の例示的実施例による拡張レイヤビデオ符号化方式３０を示す。見てわかるように、この拡張レイヤビデオ符号化方式３０は、予測に基づく（単一ループの動き補償）基本レイヤ３１と拡張レイヤ３２とを含む。
【００１７】
予測に基づく基本レイヤ３１はフレーム内符号化されたＩフレームとフレーム間符号化されたＰフレームとを含む。これらフレームは、通常通り、基本レイヤ（非スケーラブル）符号化の間に、標準基本レイヤＩ及びＰ参照フレームから生成される。本発明の原理に従えば、予測に基づく基本レイヤ３１はフレーム間符号化された双方向Ｂフレームも含む。このＢフレームは、基本レイヤの符号化の間に、"拡大された（extended）"又は"拡張された（enhanced）"基本レイヤＩ及びＰ参照フレーム又はＰ及びＰ参照フレーム（以下、拡大された基本レイヤＩ及びＰ参照フレームと呼ぶ）から生成される。各拡大された基本レイヤ参照フレームは、標準基本レイヤ参照フレームと、関連する拡張レイヤ参照フレームの少なくとも一部（関連する拡張レイヤ参照フレームの一つ以上のビットプレーン又は断片ビットプレーンを用いることができる）とを有する。
【００１８】
拡張レイヤ３２はＩ，Ｐ及びＢフレームを含む。これらは、通常通り、それらの元の基本レイヤＩ，Ｐ及びＢフレーム残差から、その復元された（復号化された）基本レイヤＩ，Ｐ及びＢフレーム残差を引くことにより生成される。拡張レイヤＢフレームは通常通りに符号化されるが、その残差フレームは、その基本レイヤフレームが拡張レイヤ参照フレームから部分的に予測されるため、含んでいる情報は少なく、一方、Ｐフレーム（及び、もちろんＩフレーム）はそうではない。拡張レイヤＩ，Ｐ及びＢフレームは、任意の適切なスケーラブルコーデック（好ましくは、図３Ａに示されているようなファイングラニュラースケーラブル（ＦＧＳ）コーデック）を用いて符号化することができる。
【００１９】
当業者が認識するように、本発明のビデオ符号化方式３０はビデオの画質を向上させる。これは、ビデオ符号化方式３０が基本レイヤＢフレームにおける時間冗長度を減少するために拡張レイヤフレームを使用するからである。
【００２０】
更に、本発明のビデオ符号化方式によって良好な性能を達成するためにはレート制御が重要な役割を果たすことに注意することが大事である。しかしながら、全ビットバジット（total bit-budget） Btot = bI*No._I_frames + bP* No._P_frames + bB*No._B_frames  (ここで、bI>bP>bB)にってGOPに全ビットバジットBtotを割り当てる非常に単純なアプローチでさえも、非常に良好な結果が提供される。更に、動き補償ループで使用される各拡張レイヤ参照フレームに対して、異なる数の拡張レイヤのビット／ビットプレーン（整数のビット／ビットプレーンである必要はない）を考えることができることに注意されたい。さらに、必要であれば、拡張レイヤ参照フレーム内の或る部分又は周波数のみが、基本レイヤの動き補償ループのためのレファレンスとして使用される。
【００２１】
明らかなように、図３Ａのビデオ符号化方式は基本レイヤの性能を修正する。たとえ、動き補償予測が基本レイヤの動き補償ループにおいて拡張レイヤ情報を使用しても、結果として生じるＢフレームは通常の基本レイヤ符号化に用いられる標準量子化及びエントロピー符号化により依然として部分的に符号化されるため、基本レイヤの概念は存在する。標準量子化及びエントロピー符号化でＢフレームの一部を符号化する利点は、もたらされるビデオ符号化方式がＭＰＥＧ４に準拠して基本レイヤが残ることである。Ｂフレームの残る部分（Ｂフレーム残差）は、ＦＧＳのようなスケーラブルコーデックで符号化される。
【００２２】
拡張レイヤＩ及びＰフレームの動き予測された部分全体を"拡大された"基本レイヤとして符号化しない理由は、基本レイヤフレームに対して使用される符号化方式はスケーラブルではなく、伝送帯域幅がこの"拡大された"基本レイヤを伝送するために必要なレート以下に下がる場合、そのストリームを切り捨てることはできず、従って次のＩフレームまでデータ全体が損失するからである。本発明のビデオ符号化方式では、拡張レイヤビットの非常に限られた部分のみが受け取られる場合に予測ドリフトが生じたとしても、依然として、ＲＢＬとＲｍａｘとの間の全てのビットレートにおいて復号化可能なストリームを受け取ることができる。
【００２３】
図４は、図３Ａの拡張レイヤビデオ符号化方式を行うために使用することができる、本発明の例示的実施例による符号器４０のブロック図を示す。見てわかるように、符号器４０は基本レイヤ符号器４１と拡張レイヤ符号器４２とを含む。基本レイヤ符号器４１は通常のものであり、元のビデオシーケンスとフレームメモリ６０に記憶されたフレームから動き情報（動きベクトル及び予測モード）を生成する動き推定器４３を含む。この動き情報は動き補償器４４に供給される。この動き補償器４４は、動き情報とフレームメモリ６０に記憶された通常の参照フレーム並びに拡大された基本レイヤＩ及びＰ参照フレームとを使用して、通常の動き補償された基本レイヤ参照フレーム並びに本発明の拡大された基本レイヤＩ及びＰ参照フレームの動き補償されたバージョン（全てＲｅｆ（i）で示されている）を生成する。第１の減算器４５は元のビデオシーケンスから動き補償された参照フレームＲｅｆ（ｉ）を減算し、基本レイヤフレームの動き補償された残差ＭＣＲ（ｉ）を生成する。基本レイヤフレームの動き補償された残差ＭＣＲ（ｉ）は離散コサイン変換（ＤＣＴ）符号器４６、量子化器４７及びエントロピー符号器４８により処理され、圧縮された基本レイヤストリームの一部を形成する基本レイヤＩ、Ｐ及びＢフレームが生成される。動き推定器４３によって生成される動き情報は多重化装置４９にも供給される。この多重化装置４９は、動き情報を基本レイヤＩ、Ｐ及びＢフレームと合成し、圧縮された基本レイヤストリームを完成させる。量子化装置４７の出力部に生成され、基本レイヤフレームの動き補償され量子化された残差ＭＣＲ（ｉ）は、逆量子化器５０によって逆量子化され、次に逆ＤＣＴ復号器５１によって復号化される。このプロセスは、逆ＤＣＴ５１の出力部に、基本レイヤフレームの動き補償された残差の量子化／逆量子化されたバージョンＭＣＲＱ（ｉ）を生成する。第１のフレームフロー制御装置６１は、逆ＤＣＴ５１の出力部における、基本レイヤＩ及びＰフレームの動き補償され量子化／逆量子化された残差を、第１の加算器５２にルーティングする。この加算器５２はその残差を、それに対応する動き補償された基本レイヤ参照フレームＲｅｆ（ｉ）に加算し、これにより、上記のようにフレームメモリ６０に記憶される通常の基本レイヤ参照フレームを生成する。
【００２４】
拡張レイヤ符号器４１は、基本レイヤＩ，Ｐ及びＢフレームの動き補償され量子化／逆量子化された残差を、第２のフレームフロー制御装置５９を通じて第２の減算器５３に供給する。第２の減算器５３は、基本レイヤフレームの動き補償され量子化／逆量子化された残差を、基本レイヤフレームの対応する動き補償された残差から減算し、差分Ｉ，Ｐ，Ｂフレーム残差ＦＧＳＲ（ｉ）を生成する。第２の減算器５３の出力は、ＦＧＳ符号器５４又は同様のスケーラブル符号器により符号化される拡張レイヤである。ＦＧＳ符号器５４は、通常のＤＣＴ符号化に続く通常のビットプレーンＤＣＴスキャン及び通常のエントロピー符号化を用いて、圧縮された拡張レイヤストリームを生成する。マスキング装置５５は、第３のフレームフロー制御装置６２を通じて選択的にルーティングされる拡張レイヤの符号化されたＩ及びＰフレームの１つ以上の符号化されたビットプレーンを取り出し、このデータを第２の加算器５６の第１の入力部５７に供給する。Ｉ及びＰフレームの動き補償された残差の量子化／逆量子化されたバージョンＭＣＲＱ（ｉ）は、第２のフレームフロー制御装置５９によって第２の加算器５６の第２の入力部５８にルーティングされる。第２の加算器５６は、拡張レイヤの符号化されたＩ及びＰフレームの１つ以上の符号化されたビットプレーンと、それぞれのＩ及びＰフレーム残差ＭＣＲＱ（ｉ）とを加算することにより、拡張レイヤＩ及びＰ参照フレームを生成する。第２の加算器５６により出力される拡張レイヤＩ及びＰ参照フレームは、これら参照フレームを選択的に第１の加算器５２にルーティングする第１のフロー制御装置６１に伝送される。第１の加算器５２は、拡張レイヤＩ及びＰ参照フレームとこれらに対応する動き補償された基本レイヤＩ及びＰ参照フレームＲｅｆ（ｉ）とを加算し、フレームメモリ６０に記憶され且つ先に記載したように基本レイヤＢフレームを予測するために使用される拡大された基本レイヤＩ及びＰ参照フレームを生成する。
【００２５】
図３Ｂは、本発明の第２の例示的実施例による拡張レイヤビデオ符号化方式１００を示す。見てわかるように、第２の実施例のビデオ符号化方式１００は、基本レイヤの符号化の間に、フレーム間予測符号化された基本レイヤ１３１のＰフレームも拡大された基本レイヤＩ又はＰ参照フレームから生成されるという点を除いて、図３Ａの第１の実施例のビデオ符号化方式とほぼ同一である。
【００２６】
図３Ｂのビデオ符号化方式１００は、ビデオ画質の更なる向上を提供する。これは、拡張レイヤフレームが動き補償ループにおいて使用されるので、ビデオ符号化方式１００が、基本レイヤ１３１のＰフレームとＢフレームとの両方で時間冗長度を減少させるためである。
【００２７】
本発明のビデオ符号化方式は、ビデオシーケンスの種々の一部分又は種々のビデオシーケンスに対して、図１の現行のビデオ符号化方式と交番させる又は切り換えることができる。さらに、切換えは、図３Ａ，３Ｂのビデオ符号化方式並びに図１の現行のビデオ符号化方式、及び／又は先に記載した出願中の米国特許出願、及び／又は他のビデオ符号化方式の間で行うことができる。ビデオ符号化方式の斯かる切換えは、チャネル特性に基づいて行うことができ、符号化において又は伝送時間において実行することができる。さらに、本発明のビデオ符号化方式は、複雑さの増加をほんのわずかに抑えて、符号化効率の大きな向上を達成する。
【００２８】
図５は、図３Ｂの拡張レイヤビデオ符号化方式を行うために使用することができる本発明の例示的実施例による符号器１４０のブロック図を示す。見てわかるように、図５の符号器１４０は、符号器４０で使用されているフレームフロー制御装置６１が省略されていることを除いて、図４の符号器４０（図３Ａの拡張レイヤビデオ符号化方式を行うために使用される）とほぼ同一である。基本レイヤＰフレームと基本レイヤＢフレームとの両方の動き補償は、拡張レイヤの符号化の少なくとも一部を含む拡大された基本レイヤＩ及びＰ参照フレームに基づいているため、フレームフロー制御装置６１はこの符号器１４０には必ずしも必要ではない。それ故に、第１の加算器５２は、拡大された基本レイヤＩ及びＰ参照フレームのみを生成し、これらフレームはフレームメモリ６０に記憶される（通常の基本レイヤ参照フレームは生成されず又はフレームメモリ６０に記憶されない）。
【００２９】
図６は、図４の符号器４０によって生成される圧縮された基本レイヤ及び拡張レイヤのストリームを復号するために使用することができる本発明の例示的実施例による復号器７０のブロック図を示す。見てわかるように、復号器７０は基本レイヤ復号器７１及び拡張レイヤ復号器７２を含む。基本レイヤ復号器７１は、符号化された基本レイヤストリームを受け取りこのストリームを第１及び第２のデータストリーム７４，７５に多重分離する多重分離器７３を含む。第１のデータストリーム７４は動き情報（動きベクトル及び動き予測モード）を含んでおり、この第１のデータストリーム７４は動き補償器７６に供給される。動き補償器７６は、動き情報及び関連する基本レイヤフレームメモリ７７に記憶されたビデオフレームを使用して、第１の加算器７８の第１の入力部７９に供給される通常の基本レイヤ（Ｉ及びＰ）参照フレーム及び拡大された基本レイヤ参照（Ｉ及びＰ）フレームを復元する。第２のデータストリーム７５は、復号化するための基本レイヤ可変長コード復号器８１に供給され、逆量子化するための逆量子化器８２に供給される。逆量子化された係数は逆離散コサイン変換復号器８３に供給される。この逆離散コサイン変換復号器８３は、逆量子化されたコードを第１の加算器７８の第２の入力部８０に供給される基本レイヤフレーム残差に変換する。第１の加算器７８は、基本レイヤＰフレーム残差と対応する基本レイヤ参照フレームとを加算し、動き予測されたＰフレームを出力する。（基本レイヤＩフレーム残差は基本レイヤＩフレームとして第１の加算器７８により出力される。）第１の加算器７８は、基本レイヤＢフレーム残差と、対応する拡大された基本レイヤ（Ｉ及びＰ）参照フレームとの加算も行い、動き予測されたＢフレームを生成する。第１の加算器７８により出力されるＩ及びＰ基本レイヤフレームは、基本レイヤフレームメモリ７７に記憶される。さらに、第１の加算器７８により出力されるＩ，Ｐ及びＢフレームは、基本レイヤのビデオとして任意に出力することができる。
【００３０】
拡張レイヤ復号器７２は、圧縮された拡張レイヤストリームを復号化して第２の加算器９０に供給される差分Ｉ，Ｐ及びＢフレーム残差（拡張レイヤフレーム）を生成するＦＧＳビットプレーン復号器８４又は同様のスケーラブル復号器を含む。Ｉ及びＰフレーム残差は、第１のフレームフロー制御装置８５により、復元された拡張レイヤフレーム残差のビットプレーン（又はビットプレーンの断片）の１つ以上を取り出して第３の加算器８７の第１の入力部８８に供給するマスキング装置８６にも選択的にルーティングされる。基本レイヤ復号器７１の第１の加算器７８により出力された基本レイヤ（Ｉ及びＰ）フレームは、第２のフレームフロー制御装置９１により第３の加算器８７の第２の入力部８９に選択的にルーティングされる。第３の加算器８７は（Ｉ及びＰ）拡張レイヤビットプレーンと基本レイヤ（Ｉ及びＰ）フレームとを加算し、拡大された基本レイヤ参照（Ｉ及びＰ）フレームを生成し、それらはフレームメモリ７７に記憶され上記のように基本レイヤＢフレームを予測するために基本レイヤ復号器７１で使用される。第２の加算器９０は、拡張レイヤＩ，Ｐ及びＢフレームと、対応する基本レイヤＩ，Ｐ及びＢフレームとを加算し、エンハンストビデオ（enhanced video）を生成する。
【００３１】
図７は、図５の符号器１４０によって生成される圧縮された基本レイヤ及び拡張レイヤのストリームを復号化するために使用することができる本発明の例示的実施例による復号器１７０のブロック図を示す。見てわかるように、図７の復号器１７０は、第１の加算器７８で生成される基本レイヤフレームが基本レイヤのフレームメモリ７７に記憶されないことを除いて、図６の復号器７０とほぼ同一である。これは、ＰフレームとＢフレームとの両方が、フレームメモリ７７に記憶される拡大された基本レイヤ参照（Ｉ及びＰ）フレームのみを使用して予測されるので、必要ではない。従って、基本レイヤ参照フレームは、フレームメモリ７７に記憶されない。
【００３２】
図８は、本発明の原理を実現するために使用することができるシステム２００の例示的実施例を示す。システム２００は、テレビ、セットトップボックス、デスクトップ、ラップトップ又はパームトップのコンピュータ、パーソナル携帯情報機器（ＰＤＡ）、ビデオ／画像記憶装置（例えば、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等）、並びにこれら及び他の装置の一部分又は組合せを表すことができる。システム２００は、一つ以上のビデオ／画像ソース２０１、一つ以上の入力／出力装置２０２、プロセッサ２０３及びメモリ２０４を含む。ビデオ／画像ソース２０１は、例えば、テレビ受信機、ＶＣＲ又は他のビデオ／画像記憶装置を表すことができる。あるいは、このビデオ／画像ソース２０１は、例えば、グローバルコンピュータ通信ネットワーク（例えば、インターネット、広域エリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク又は電話ネットワーク）、並びにこれら及び他の型式のネットワークの一部分又は組合せ上の１つ又は複数のサーバから映像を受け取るための１つ以上のネットワーク接続とすることができる。
【００３３】
入力／出力装置２０２、プロセッサ２０３及びメモリ２０４は、通信媒体２０５により通信することができる。通信媒体２０５は、例えば、バス、通信ネットワーク、回路の一つ以上の内部接続、回路カード又は他の装置、並びにこれら及び他の通信媒体の一部分及び組合せとすることができる。そのソース２０１からの入力ビデオデータは、表示装置２０６に供給される出力ビデオ／画像を生成するために、メモリ２０４に記憶されプロセッサ２０３により実行される一つ以上のソフトウェアプログラムに従って処理される。
【００３４】
好適実施例では、本発明の原理を使用する符号化及び復号化は、このシステムにより実行されるコンピュータが読取可能なコードにより実行することができる。このコードはメモリ２０４に記憶することができ、又はＣＤ−ＲＯＭ若しくはフロッピー（Ｒ）ディスクのようなメモリ媒体から読み出し／ダウンロードすることができる。他の実施例では、本発明を実施するためにソフトウェア命令の代わりに又はソフトウェア手段と組み合わせてハードウェア回路を使用することができる。例えば、図４−図６に示される構成要素は、個別のハードウェア要素として実現することもできる。
【００３５】
本発明は特定実施例に関して上に記載されたが、本発明はこの明細書に限定又は制限されるべきであるようなものではないことが理解されるべきである。例えば、ＤＣＴ以外に他の変換を使用することができ、ウエーブレット又はマッチング追跡及びその他を含む。別の例では、本発明の他の実施例は、Ｐフレームに対して基本レイヤにおいて動き補償のみを使用することができる。これら及び他の斯かる修正及び変形は、添付請求項の範囲内で考えられる。
【図面の簡単な説明】
【図１】  現行の拡張レイヤビデオ符号化方式を示す。
【図２】  図１のビデオ符号化方式の基本レイヤ及び拡張レイヤを符号化するための従来の符号器のブロック図を示す。
【図３Ａ】  本発明の第１の例示的実施例による拡張レイヤビデオ符号化方式を示す。
【図３Ｂ】  本発明の第２の例示的実施例による拡張レイヤビデオ符号化方式を示す。
【図４】  図３Ａの拡張レイヤビデオ符号化方式を行うために使用することができる本発明の例示的実施例による符号器のブロック図を示す。
【図５】  図３Ｂの拡張レイヤビデオ符号化方式を行うために使用することができる本発明の例示的実施例による符号器のブロック図を示す。
【図６】  図４の符号器によって生成される圧縮された基本レイヤ及び拡張レイヤのストリームを復号化するために使用することができる本発明の例示的実施例による復号器のブロック図を示す。
【図７】  図５の符号器によって生成される圧縮された基本レイヤ及び拡張レイヤのストリームを復号化するために使用することができる本発明の例示的実施例による復号器のブロック図を示す。
【図８】  本発明の原理を実現するために使用することができるシステムの例示的実施例を示す。
【誤訳訂正２】
【訂正対象書類名】図面
【訂正対象項目名】全図
【訂正方法】変更
【訂正の内容】
【図１】
2004511977.tif 000001
【図２】
2004511977.tif 000002
【図３Ａ】
2004511977.tif 000003
【図３Ｂ】
2004511977.tif 000004
【図４】
2004511977.tif 000005
【図５】
2004511977.tif 000006
【図６】
2004511977.tif 000007
【図７】
2004511977.tif 000008
【図８】
2004511977.tif 000009