(57)【要約】映像符号化方法及び装置は、ベースレイヤフレームとベースレイヤ残差画像フレームの少なくとも一部から、動き補償拡張ベースレイヤ基準フレームを構成する。動き補償拡張ベースレイヤ基準フレームは、双方向あるいは一方向のＦＧＳ動き補償残差画像または時間フレームの予測に利用される。
2005519542.tif 000002
【特許請求の範囲】
【請求項１】
映像をベースレイヤフレームのデータストリームに符号化するステップと、
前記ベースレイヤフレームから変換領域の残差画像フレームを計算するステップと、
前記ベースレイヤフレームと前記残差画像フレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成するステップと、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償するステップと、
前記動き補償拡張ベースレイヤ基準フレームと前記映像から動き補償残差画像フレームを予測するステップと、
前記動き補償残差画像フレームを時間フレームのデータストリームにＦＧＳ符号化するステップとを有することを特徴とする映像符号化方法。
【請求項２】
請求項１記載の映像符号化方法であって、さらに、
前記残差画像フレームをＳＮＲクオリティフレームのデータストリームにＦＧＳ符号化するステップを有することを特徴とする方法。
【請求項３】
請求項２記載の映像符号化方法であって、さらに、
前記時間フレームと前記ＳＮＲクオリティフレームの単一のデータストリームを構成するため、前記時間フレームのデータストリームと前記ＳＮＲクオリティフレームのデータストリームを合成するステップを有することを特徴とする方法。
【請求項４】
映像信号をベースレイヤフレームのデータストリームに符号化するステップと、
前記ベースレイヤフレームから変換領域の残差画像フレームを計算するステップと、
前記ベースレイヤフレームと前記残差画像フレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成するステップと、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償するステップと、
前記動き補償拡張ベースレイヤ基準フレームと前記映像信号から動き補償残差画像フレームを予測するステップと、
前記動き補償残差画像フレームを時間フレームのデータストリームにＦＧＳ符号化するステップとを有することを特徴とする映像信号符号化方法。
【請求項５】
請求項４記載の映像信号符号化方法であって、さらに、
前記残差画像フレームをＳＮＲクオリティフレームのデータストリームにＦＧＳ符号化するステップを有することを特徴とする方法。
【請求項６】
請求項５記載の映像信号符号化方法であって、さらに、
前記時間フレームと前記ＳＮＲクオリティフレームの単一のデータストリームを構成するため、前記時間フレームのデータストリームと前記ＳＮＲクオリティフレームのデータストリームを合成するステップを有することを特徴とする方法。
【請求項７】
映像をベースレイヤフレームのデータストリームに符号化する手段と、
前記ベースレイヤフレームから変換領域の残差画像フレームを計算する手段と、
前記ベースレイヤフレームと前記残差画像フレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成する手段と、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償する手段と、
前記動き補償拡張ベースレイヤ基準フレームと前記映像から動き補償残差画像フレームを予測する手段と、
前記動き補償残差画像フレームを時間フレームのデータストリームにＦＧＳ符号化する手段とを有することを特徴とする映像符号化装置。
【請求項８】
請求項７記載の映像符号化装置であって、さらに、
前記残差画像フレームをＳＮＲクオリティフレームのデータストリームにＦＧＳ符号化する手段を有することを特徴とする装置。
【請求項９】
請求項８記載の映像符号化装置であって、さらに、
前記時間フレームと前記ＳＮＲクオリティフレームの単一のデータストリームを構成するため、前記時間フレームのデータストリームと前記ＳＮＲクオリティフレームのデータストリームを合成する手段を有することを特徴とする装置。
【請求項１０】
映像をベースレイヤフレームのデータストリームに符号化するコードと、
前記ベースレイヤフレームから変換領域の残差画像フレームを計算するコードと、
前記ベースレイヤフレームと前記残差画像フレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成するコードと、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償するコードと、
前記動き補償拡張ベースレイヤ基準フレームと前記映像から動き補償残差画像フレームを予測するコードと、
前記動き補償残差画像フレームを時間フレームのデータストリームにＦＧＳ符号化するコードとを有することを特徴とする映像を符号化するための記憶媒体。
【請求項１１】
請求項１０記載の記憶媒体であって、さらに、
前記残差画像フレームをＳＮＲクオリティフレームのデータストリームにＦＧＳ符号化するコードを有することを特徴とする媒体。
【請求項１２】
請求項１１記載の記憶媒体であって、さらに、
前記時間フレームと前記ＳＮＲクオリティフレームの単一のデータストリームを構成するため、前記時間フレームのデータストリームと前記ＳＮＲクオリティフレームのデータストリームを合成するコードを有することを特徴とする媒体。
【請求項１３】
共同で映像を表すベースレイヤデータストリームとエンハンスメントレイヤデータストリームの復号化方法であって、
ベースレイヤフレームを構成するため、前記ベースレイヤデータストリームを復号するステップと、
ＳＮＲクオリティフレームを構成するため、前記エンハンスメントレイヤデータストリームのＳＮＲクオリティフレーム部分をＦＧＳ復号するステップと、
前記ベースレイヤフレームと前記ＳＮＲクオリティフレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成するステップと、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償するステップと、
動き補償残差フレームを構成するため、前記エンハンスメントレイヤデータストリームの時間フレーム部分をＦＧＳ復号するステップと、
時間フレームを構成するため、前記動き補償拡張ベースレイヤ基準フレームと前記動き補償残差フレームを合成するステップとを有することを特徴とする方法。
【請求項１４】
請求項１３記載の復号化方法であって、さらに、
前記ベースレイヤフレームと前記ＳＮＲクオリティフレームをエンハンス映像に合成するステップを有することを特徴とする方法。
【請求項１５】
請求項１３記載の復号化方法であって、さらに、
前記ベースレイヤフレーム、前記ＳＮＲクオリティフレーム及び前記時間フレームをエンハンス映像に合成するステップを有することを特徴とする方法。
【請求項１６】
共同で映像を表すベースレイヤデータストリームとエンハンスメントレイヤデータストリームの復号化装置であって、
ベースレイヤフレームを構成するため、前記ベースレイヤデータストリームを復号する手段と、
ＳＮＲクオリティフレームを構成するため、前記エンハンスメントレイヤデータストリームのＳＮＲクオリティフレーム部分をＦＧＳ復号する手段と、
前記ベースレイヤフレームと前記ＳＮＲクオリティフレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成する手段と、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償する手段と、
動き補償残差フレームを構成するため、前記エンハンスメントレイヤデータストリームの時間フレーム部分をＦＧＳ復号する手段と、
時間フレームを構成するため、前記動き補償拡張ベースレイヤ基準フレームと前記動き補償残差フレームを合成する手段とを有することを特徴とする装置。
【請求項１７】
請求項１６記載の復号化装置であって、さらに、
前記ベースレイヤフレームと前記ＳＮＲクオリティフレームをエンハンス映像に合成する手段を有することを特徴とする装置。
【請求項１８】
請求項１６記載の復号化装置であって、さらに、
前記ベースレイヤフレーム、前記ＳＮＲクオリティフレーム及び前記時間フレームをエンハンス映像に合成する手段を有することを特徴とする装置。
【請求項１９】
共同で映像を表すベースレイヤデータストリームとエンハンスメントレイヤデータストリームの復号化するための記憶媒体であって、
ベースレイヤフレームを構成するため、前記ベースレイヤデータストリームを復号するコードと、
ＳＮＲクオリティフレームを構成するため、前記エンハンスメントレイヤデータストリームのＳＮＲクオリティフレーム部分をＦＧＳ復号するコードと、
前記ベースレイヤフレームと前記ＳＮＲクオリティフレームの少なくとも一部から拡張ベースレイヤ基準フレームを構成するコードと、
動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームを動き補償するコードと、
動き補償残差フレームを構成するため、前記エンハンスメントレイヤデータストリームの時間フレーム部分をＦＧＳ復号するコードと、
時間フレームを構成するため、前記動き補償拡張ベースレイヤ基準フレームと前記動き補償残差フレームを合成するコードとを有することを特徴とする媒体。
【請求項２０】
請求項１９記載の記憶媒体であって、さらに、
前記ベースレイヤフレームと前記ＳＮＲクオリティフレームをエンハンス映像に合成するコードを有することを特徴とする媒体。
【請求項２１】
請求項１９記載の記憶媒体であって、さらに、
前記ベースレイヤフレーム、前記ＳＮＲクオリティフレーム及び前記時間フレームをエンハンス映像に合成するコードを有することを特徴とする媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ）映像符号化に関し、より詳細には、多層双方向及び/または一方向予測ＦＧＳ時間（ＦＧＳＴ）フレームが、ベースレイヤ情報と拡張レイヤ情報の少なくとも一部を有するより高品質な基準フレームから予測されるＦＧＳ符号化方式に関する。
【背景技術】
【０００２】
インターネットプロトコル（ＩＰ）ネットワークを介した映像ストリーミングは、広範なマルチメディアアプリケーションを可能にしてきた。インターネット映像ストリーミングは、インターネット上でのＱｏＳ（Ｑｕａｌｉｔｙ−ｏｆ−Ｓｅｒｖｉｃｅ）保証の欠如を補償しながら、リアルタイムでの配信と連続的なメディアコンテンツの表示を提供する。ＩＰネットワークを介した帯域幅及び他の性能パラメータ（例えば、パケット損失率）の変動及び予測不可能性により、一般に、提案されてきたストリーミングソリューションの大部分は、あるタイプの階層化（またはスケーラブル）映像符号化方式に基づいている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
図１Ａ及び１Ｂは、前述の共通に譲渡された同時係属中の米国特許出願第09/590,825号に詳細に説明されるように、ハイブリッド時間ＳＮＲ  ＦＧＳ（ＦＧＳ  ＨＳ）として知られる１タイプのスケーラブル映像符号化方式の一例となるスケーラビリティ構造１０Ａと１０Ｂを示す。ＦＧＳ  ＨＳ構造１０Ａ及び１０Ｂのそれぞれは、ベースレイヤ１１Ａと１１Ｂ（ＢＬ）と拡張レイヤ１２Ａと１２Ｂ（ＥＬ）とを有する。スケーラブル映像ストリームのＢＬ部分は、一般に、当該ストリームの復号化に必要な最低限のデータを表す。ストリームのＥＬ部分は、受信機により復号されたとき映像信号表現を向上させる付加情報、すなわち、ＦＧＳ  ＳＮＲフレームあるいは画像、及びＦＧＳ時間フレームあるいは画像（ＦＧＳＴと記す）を表す。特に、付加的時間フレームは、より高いフレームレートを実現するため導入される。ＭＰＥＧ−４  ＦＧＳ規格は、図１Ａの双方向予測ＦＧＳＴ画像タイプと、図１Ｂの順方向予測ＦＧＳＴ画像タイプの両方をサポートする。
【０００４】
図２は、米国特許出願第09/590,825号に説明されるような一例となるＦＧＳ  ＨＳビデオエンコーダ１００の機能構成を示す。符号化処理は、他の変換方式（例えば、ウェーブレット）が利用可能であるが、ＤＣＴ変換に基づいている。このビデオエンコーダ１００は、図１Ａ及び１ＢのＦＧＳ  ＨＳ構成１０Ａ及び１０Ｂを生成することができる。ビデオエンコーダ１００は、ＢＬエンコーダ１１０とＥＬエンコーダ１３０とを有する。ビデオエンコーダ１００は、ＢＬエンコーダ１１０によりＩフレームとＰフレームからなるＢＬビットストリームに、ＥＬエンコーダ１３０によりＦＧＳ  ＳＮＲ  ＩフレームとＦＧＳ  ＳＮＲ  Ｐフレーム及び/またはＰ  ＦＧＳＴフレームとＢ  ＦＧＳＴフレームからなるＥＬビットストリームに処理されるオリジナルの映像信号を受信する。
【０００５】
図１Ａと１ＢのＦＧＳ  ＨＳ構成では、フレームメモリブロックに記憶される低品質ベースレイヤ参照フレームから、ＦＧＳＴフレームは予測される。このため、結果として得られる動き補償残差エラーは高くなり、これらのフレームの圧縮に多くのビットが必要となる。従って、より高いフレームレートへの移行が、低ビットレートまたは高ビットレートで実行される。
【０００６】
以上より、ＦＧＳ  ＨＳ映像符号化方式でのＦＧＳＴフレームの導入に要する帯域幅を狭めるテクニックが必要とされる。
【課題を解決するための手段】
【０００７】
本発明の第１の特徴は、映像符号化に関する。本発明は、映像または映像信号をベースレイヤフレームのデータストリームに符号化する処理に関する。前記ベースレイヤフレームから、変換領域において残差画像フレームが計算される。前記ベースレイヤフレームと前記残差画像フレームの少なくとも一部から、拡張ベースレイヤ基準フレームが構成され、動き補償拡張ベースレイヤ基準フレームを生成するため動き補償される。前記動き補償拡張ベースレイヤ基準フレームと前記映像から、動き補償残差画像フレームが予測される。前期動き補償残差画像フレームは、時間フレームのデータストリームにＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｌｅ）変換される。
【０００８】
本発明の第２の特徴は、映像復号化に関する。本発明は、ベースレイヤフレームを構成するため、ベースレイヤデータストリームを復号化する処理に関する。ＳＮＲクオリティフレームを構成するため、エンハンスメントレイヤデータストリームのＳＮＲクオリティフレーム部分がＦＧＳ復号化される。前記ベースレイヤフレームと前記ＳＮＲクオリティフレームの少なくとも一部から、拡張ベースレイヤ基準フレームが構成される。動き補償拡張ベースレイヤ基準フレームを生成するため、前記拡張ベースレイヤ基準フレームは動き補償される。動き補償残差フレームを構成するため、前記エンハンスメントレイヤデータストリームの時間フレーム部分がＦＧＳ復号される。前記動き補償残差フレームは、時間フレームを構成するため、前記動き補償拡張ベースレイヤ基準フレームと合成される。
【０００９】
本発明の効果、性質及び様々な付加的特徴は、添付された図面と共に詳細に説明される例示的な実施例を考慮することにより、より十分に明らかとなるであろう。これら図面では、同一の参照番号は同一の要素を特定する。
【発明を実施するための最良の形態】
【００１０】
図３Ａは、本発明の第１実施例によるＦＧＳベースハイブリッド時間ＳＮＲスケーラビリティ構成（ＦＧＳ  ＨＳ構成２０Ａ）を示す。ＦＧＳ  ＨＳ構成２０Ａは、ＩとＰフレームにより符号化されたＢＬ２１Ａと、残差ＳＮＲ  ＩとＰフレーム及び動き補償残差または時間（ＦＧＳＴ）双方向予測（Ｂ）フレームとによりＦＧＳ符号化された単一のＥＬ２２Ａとを有する。本発明の他の実施例では、ＦＧＳＴフレームはそれ自身「時間」レイヤであってもよいということは理解されるであろう。
【００１１】
図３Ｂは、本発明の第２実施例によるＦＧＳハイブリッド時間ＳＮＲスケーラビリティ構成（ＦＧＳ  ＨＳ構成２０Ｂ）を示す。ＦＧＳ  ＨＳ構成２０Ｂは、ＩとＰフレームにより符号化されるＢＬ２１Ｂと、残差ＳＮＲ  ＩとＰフレーム及び動き補償または時間順方向予測（Ｐ）フレームによりＦＧＳ符号化される単一のＥＬ２２Ｂとを有する。上述のように、本発明の他の実施例では、ＦＧＳＴフレームはそれ自身「時間」レイヤであってもよい。
【００１２】
ＢＬデータのみで基準フレームから予測される図１Ａ及び１ＢのＦＧＳ  ＨＳ構成のＦＧＳＴフレームと異なり、本発明のＦＧＳ  ＨＳ構成におけるＦＧＳＴフレームは、各自がＢＬフレーム全体とＥＬフレームの少なくとも一部、すなわち、ＥＬフレームの１以上のビットプレーンまたはビットプレーンの一部とから構成されるより高い品質の「拡張された」基準フレームから予測される。この拡張基準フレームははるかに高い品質を有するため、ＦＧＳＴフレーム内で符号化された残差動き補償エラーは、図１Ａ及び１ＢのＦＧＳ  ＨＳ構成のＦＧＳＴフレームよりはるかに低いものとなる。従って、本発明のＦＧＳＴフレームは、より少ないビットでより効率的に送信することができる。本発明の高い符号化効率は、高符号化効率ゲインが必要となる無線への応用に特に有益である。
【００１３】
図４は、本発明の一実施例によるＦＧＳ  ＨＳビデオエンコーダ２００の機能構成を示す。このビデオエンコーダ２００は、図３Ａ及び３ＢのＦＧＳ  ＨＳ構成２０Ａ及び２０Ｂに従って映像信号を符号化することができる。ビデオエンコーダ２００は、ＢＬエンコーダ２１０とＥＬエンコーダ２３０とを有する。ビデオエンコーダ２００は、ＢＬエンコーダ２１０によりＩとＰフレームからなるＢＬビットストリームと、ＥＬエンコーダ２３０によりＦＧＳ  ＳＮＲ  ＩとＰフレーム及び/またはＰとＢ  ＦＧＳＴフレームからなるＥＬビットストリームに処理されるオリジナルの映像信号を受信する。図４のエンコーダ２００は離散コサイン変換に基づくが、ウェーブレットのような他の変換が利用されてもよい。
【００１４】
ＢＬエンコーダ２１０は、動き推定装置２１１、動き補償装置２１２、離散コサイン変換（ＤＣＴ）２１３、量子化装置２１４及びＢＬビットストリームを生成するエントロピーエンコーダ２１５を有する第１映像信号処理分岐を有する。さらに、ＢＬエンコーダ２１０は、逆量子化装置２１６、逆離散コサイン変換（ＩＤＣＴ）２１７及びフレームメモリ２１８を有する第２映像信号処理分岐を有する。
【００１５】
フレームメモリ２１８は、標準ＢＬ基準フレームと拡張ＢＬ基準フレームの両方を格納するのに利用される。動き推定装置２１１は、オリジナルの映像信号を受信し、フレームメモリ２１８に格納されている基準フレームとオリジナルの映像信号の映像フレームとの間の画素特徴の変化により表される動き量を推定し、ＢＬ動きベクトル及び予測モード（ＢＬ基準フレーム）、あるいはＥＬ動きベクトル及び予測モード（拡張ＢＬ基準フレーム）を有する動き情報信号を生成する。動き情報信号は、動き補償装置２１２と第１データフローコントローラ２１９に印加される。
【００１６】
標準ＢＬ基準フレーム信号と、ＢＬ動きベクトル及び予測モード信号が動き補償装置２１２により利用され、標準ＢＬ  Ｐフレームの予測に利用される動き補償基準フレーム信号が生成される。動き補償装置２１２は、ＦＧＳＴフレームの拡張ＢＬ基準フレーム信号とＥＬ動き情報信号を利用して、本発明のＦＧＳＴフレームの予測に利用される動き補償拡張ＢＬ基準フレーム信号を生成する。
【００１７】
動き補償残差ＢＬ  Ｐフレーム信号が、第１減算装置２２０においてオリジナルの映像信号から標準動き補償ＢＬ基準フレーム信号を差し引くことにより生成される。同様に、動き補償残差ＦＧＳＴフレーム信号が、第１減算装置においてオリジナルの映像信号から尾誤記補償拡張ＢＬ基準フレーム信号を差し引くことにより生成される。
【００１８】
従来、ＤＣＴ２１３は、動き補償残差ＦＧＳＴ及びＢＬ  Ｐフレーム信号の空間情報を周波数領域に変換することにより圧縮を行ってきた。オリジナルの映像信号のＢＬ  ＩフレームもまたこのようにしてＤＣＴ２１３により圧縮される。適当な時点で、第２データフローコントローラ２２１は、さらなる圧縮のため、ＤＣＴ２１３の出力で生成されるＢＬ  Ｉ及びＰフレームＤＣＴビットプレーン信号を量子化装置２１４に向ける。
【００１９】
エントロピーエンコーダ２１５は、量子化装置２１４の出力での量子化されたＤＣＴビットプレーン信号をさらに圧縮するため、既存の可変長符号化または同様のテクニックを利用する。第１マルチプレクサ２２２は、エントロピーエンコーダ２１５の出力における信号を、Ｉ及びＰフレームのＢＬビットストリームを生成するため、動き推定装置２１１から第１データフローコントローラ２１９を介し第１マルチプレクサ２２２に送られるＢＬ動き情報信号により多重化する。
【００２０】
逆量子化装置２１６は、量子化装置２１４に入力される変換を表す信号を生成するため、量子化装置２１４の出力を逆量子化する。この信号は、再構成されたＢＬ  ＤＣＴ係数を表す。ＩＤＣＴ２１７は、変換及び量子化プロセスにより変更されるように、オリジナルの映像信号のＢＬ  Ｉ及びＰフレーム表現を提供する信号を生成するため、再構成されたＢＬ  ＤＣＴ係数を復号する。第１加算装置２２３が、ＩＤＣＴ２１７の出力における信号と動き補償装置２１２の出力における適切な基準フレーム信号から、ＢＬ  Ｉ及びＰフレームを再構成する。これらの再構成されたＢＬ  Ｉ及びＰフレームは、フレームメモリ２１８に格納され、他のＢＬ  ＰフレームとＦＧＳＴフレームを予測するため、標準ＢＬ基準フレームとして利用される。
【００２１】
ＥＬエンコーダ２３０は、ＤＣＴ残差画像メモリ２３１、適応型量子化装置２３２及びＦＧＳエンコーダ２３５を有する第１映像信号処理分岐を有する。ＥＬエンコーダ２３０はさらに、ビットプレーンセレクタ２３６及び第２ＩＤＣＴ２３７を有する第２映像信号処理分岐を有する。
【００２２】
ＥＬエンコーダ２３０の第２減算装置２３８は、ＳＮＲ  ＤＣＴビットプレーン残差画像を生成するため、量子化装置２１４の出力における量子化ＢＬ  ＤＣＴビットプレーン信号から、ＤＣＴ２１３の出力におけるＢＬ  ＤＣＴビットプレーン信号を差し引く。適当な時点で、第３データフローコントローラ２３９が、第２減算装置２３８の出力において利用可能なＳＮＲ  ＤＣＴビットプレーン残差画像信号（ＳＮＲ残差信号）、または第２データフローコントローラ２２１により送られた動き補償ＦＧＳＴ  ＤＣＴビットプレーン残差信号（ＦＧＳＴ残差信号）を、格納のためＤＣＴ残差画像メモリ２３１に印加する。
【００２３】
適応型量子化装置２３２は、変換符号化映像の画質を向上させる既知の符号化ツールである。適応型量子化装置２３２は、残差画像フレーム内の選択されたマクロブロックをビットシフトさせることにより、ＳＮＲ及びＦＧＳＴ残差信号に選択的画質向上処理を実行する既知の選択的エンハンスツール２３３と、ビットシフト選択係数の任意的な既知の周波数加重ツール２３４を有する。
【００２４】
適応型量子化装置２３２の出力におけるＳＮＲ残差信号は、ビットプレーンＤＣＴ走査及びエントロピー符号化を利用して、ＦＧＳ符号化装置２３５により圧縮され、これによりＦＧＳ  ＳＮＲビットストリームが生成される。第４データフローコントローラ２４０は、適当な時点において、ＦＧＳ  ＳＮＲビットストリームを第３マルチプレクサ２４３に送信する。適応型量子化装置２３２の出力におけるＦＧＳＴ残差信号はまた、ビットプレーンＤＣＴ走査及びエントロピー符号化を利用して、ＦＧＳ符号化装置２３５により圧縮される。ＦＧＳ符号化装置２３５の出力における圧縮されたＦＧＳＴ残差信号は、適当な時点において、第４データフローコントローラ２４０により第２マルチプレクサ２４１に送信される。第２マルチプレクサ２４１は、第１データフローコントローラ２１９を介し送られたＥＬ動き情報信号を圧縮ＦＧＳＴ残差信号により多重化し、これによりＦＧＳＴビットストリームが生成される。ＳＮＲ  ＦＧＳ  ＥＬビットストリームと時間ＦＧＳビットストリームは、単一のＥＬビットストリーム（ＳＮＲ及び時間ＦＧＳフレームの両方から構成される）を生成するため第３マルチプレクサ２４３を介し多重化されるか、あるいは異なる２つのストリームで格納/送信される。
【００２５】
ビットプレーンセレクタまたはマスキング装置２３６は、ＳＮＲ残差画像信号のビットプレーンの少なくとも一部、すなわち、部分的なビットプレーン、１以上の完全なビットプレーン、完全及び部分ビットプレーンの任意の組み合わせを選択する。このデータ信号は、第２加算装置２４２におけるＢＬエンコーダ２１０のＩＤＣＴ２１６の出力でのそれの対応するＢＬフレーム信号と合成され、拡張ＢＬ基準フレームが構成される。第２ＩＤＣＴ２３７は、拡張ＢＬ基準フレームのＤＣＴ係数を復号する。第３加算装置２２４は、第２ＩＤＣＴ２３７の出力における拡張ＢＬフレーム信号と、動き補償装置２１２の出力における適当な基準フレーム信号とを合成する。第３加算装置２２４において構成された拡張ＢＬフレームは、フレームメモリ２１８に格納され、ＦＧＳＴフレームの予測のため拡張ＢＬ基準フレームとして利用される。
【００２６】
図５は、本発明の一実施例によるＦＧＳ  ＨＳビデオデコーダ３００の機能構成を示す。このビデオデコーダ３００は、図４のビデオデコーダ２００により生成されたＢＬ及びＥＬビットストリームを復号することができる。
【００２７】
ビデオデコーダ３００は、ＢＬデコーダ３１０とＥＬデコーダ３３０を有する。ＢＬデコーダ３１０は、ＢＬ可変長デコーダ（ＶＬＤ）３１１、逆量子化装置３１２、ＩＤＣＴ３１３、ＢＬフレームメモリ３１４及び動き補償装置３１５を有する。
【００２８】
ＥＬデコーダ３３０は、ＦＧＳビットプレーンデコーダ３３１、ビットプレーンセレクタ３３２、第２ＩＤＣＴ３３３及びＥＬフレームメモリ３３４を有する。ＥＬデコーダ３３０は、動き補償装置３１５をＢＬデコーダ３１０と共有する。
【００２９】
ＢＬビットストリームは、ＢＬデコーダ３１０により受信され、ＢＬ動き情報信号から符号化されたＢＬ情報信号を分離するため、第１デマルチプレクサ３１６を介し逆多重化される。ＢＬ  ＶＬＤ３１１は、ＢＬ情報信号を受信し、量子化ＢＬ  ＤＣＴ係数信号を生成するため、ＢＬエンコーダ２１０からのエントロピー符号化プロセスを逆転させる。ＢＬ  ＤＣＴ係数信号を生成するため、量子化ＢＬ情報信号は、逆量子化装置３１２により逆量子化される。ＩＤＣＴ３１３は、このＢＬ  ＤＣＴ係数信号を逆コサイン変換する。
【００３０】
動き補償装置３１５は、第１データフローコントローラ３１７により制御されるように、適当な時点において、ＢＬ動き情報信号を受信する。その後、動き補償装置３１５は、ＢＬフレームメモリ３１４に格納されているＢＬ動き情報とＢＬ基準フレームを利用して、ＢＬ  Ｐフレームの予測に利用される動き補償ＢＬ基準フレームを再構成する。
【００３１】
動き補償装置３１５の出力における動き補償ＢＬ基準フレーム信号は、第２データフローコントローラ３１８により、適当な時点において第１加算装置３１９に印加される。第１加算装置３１９は、この信号をＩＤＣＴ３１３の出力における信号と合成し、ＢＬ  Ｉ及びＰフレームを再構成する。これら再構成されたフレームはＢＬフレームメモリ３１４に格納される。第１加算装置３１９の出力において生成されたＢＬフレーム信号は、ＢＬ映像として任意的に出力されてもよい。
【００３２】
ＥＬビットストリームは、ＥＬデコーダ３３０により受信され、符号化ＦＧＳＴ信号から符号化ＦＧＳ  ＳＮＲ信号を分離するため、第２デマルチプレクサ３３５により逆多重化される。符号化ＦＧＳ  ＳＮＲ信号は、適当な時点において、第３データフローコントローラ３３７を介してＦＧＳビットプレーンデコーダ３３１に入力され、そこで、可変長復号化、逆シフト処理及び逆離散コサイン変換を実行することにより、符号化ＦＧＳ  ＳＮＲ信号のビットプレーンが復号される。第２加算装置３４０は、適当な時点において、第４データフローコントローラ３３８を介して、ＦＧＳビットプレーンデコーダ３３１の出力における復号化されたＦＧＳ  Ｉ及びＰフレーム信号と、第１加算装置３１９の出力における復号化されたＢＬ  Ｉ及びＰフレーム信号とを合成する。第５データフローコントローラ３４１は、エンハンス映像として第２加算装置３４０の出力において利用可能な合成されたＢＬ及びＳＮＲフレーム信号を出力する適当な時点を選択する。
【００３３】
ビットプレーンセレクタ３３２は、ＦＧＳビットプレーンデコーダの出力における部分的に復号されたＳＮＲ残差画像フレーム信号の以前に選ばれたビットプレーン数、部分ビットプレーンなどを選択する。第２ＩＤＣＴ３３３は、拡張ＢＬ基準フレームのＳＮＲ部分のＳＮＲ残差画像またはフレーム部分（あるいは場合によってはフレーム全体）を復号するため、当該選択されたＳＮＲ残差ビットプレーン信号に逆コサイン変換を行う。第３加算装置３４２は、第２ＩＤＣＴ３３３の出力におけるＳＮＲフレーム部分と、ＢＬフレームメモリに格納されているそれの対応するＢＬフレームとを合成し、ＥＬフレームメモリ３３４に格納されている拡張ＢＬ基準フレームを再構成する。
【００３４】
第３デマルチプレクサ３３６は、ＥＬ動き情報信号から符号化されたＦＧＳＴフレーム信号を分離するため、ＦＧＳＴ情報信号を逆多重化する。符号化ＦＧＳＴフレーム信号は、第３データフローコントローラ３３７を介して適当な時点においてＦＧＳビットプレーンデコーダにより受信され、復号される。ＥＬ動き情報信号は、適当な時点において、第１データフローコントローラ３１７を介し動き補償装置３１５により受信される。動き補償装置は、ＥＬフレームメモリに格納されているＥＬ動き情報と拡張ＢＬ基準フレームを利用して、動き補償拡張ＢＬ基準フレーム信号を再構成する。第４加算装置３３９は、動き補償装置３１５の出力における動き補償拡張ＢＬ基準フレーム信号と、ＦＧＳデコーダ３３１の出力における復号されたＦＧＳＴフレーム信号を合成する。この機能のタイミングは、第４データフローコントローラ３３８により制御される。適当な時点において、第５データフローコントローラ３４１は、エンハンス映像として第４加算装置３３９の出力における再構成されたＦＧＳＴフレーム信号を出力する。
【００３５】
図６は、本発明の原理を実現するため利用されるシステム４００の一実施例を示す。システム４００は、テレビ、セットトップボックス、デスクトップ、ラップトップまたはパームトップ（ｐａｌｍｔｏｐ）コンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯデバイスなどのビデオ/画像記憶装置、及び上記及び他の装置の一部またはそれらを組み合わせたものを表すかもしれない。システム４００は、１以上のビデオ/画像ソース４０１、１以上の入出力装置４０２、プロセッサ４０３及びメモリ４０４を有する。ビデオ/画像ソース４０１は、例えば、テレビ受信機、ＶＣＲまたは他のビデオ/画像記憶装置を表すかもしれない。あるいは、ソース４０１は、１以上のサーバから慰安ターネット、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、衛星ネットワーク、無線ネットワーク、電話ネットワーク、あるいは上記及び他のタイプのネットワークの一部またはそれらを組み合わせたものなどのグローバルコンピュータ通信ネットワークを介して、映像を受信する１以上のネットワーク接続を表すものであってもよい。
【００３６】
入出力装置４０２、プロセッサ４０３及びメモリ４０４は、通信媒体４０５を介して通信する。通信媒体４０５は、例えば、バス、通信ネットワーク、回路の１以上の内部接続、回路カード、他の装置、または上記及び他の通信媒体の一部及びそれらの組み合わせを表すかもしれない。ソース４０１からの入力映像データは、表示装置４０６に供給される出力映像/画像を生成するため、メモリ４０４に格納され、プロセッサ４０３により実行される１以上のソフトウェアプログラムに従って処理される。
【００３７】
好適な実施例では、本発明の原理を利用する符号化及び復号化は、システムにより実行されるコンピュータ読み込み可能コードにより実現されてもよい。このコードは、メモリ４０４に格納されていてもよいし、あるいはＣＤ−ＲＯＭやフロッピー（登録商標）ディスクのようなメモリ媒体から読み出し/ダウンロードされてもよい。他の実施例では、ハードウェア回路が、本発明を実現するソフトウェア命令の代わりに、あるいはそれと共に利用されてもよい。例えば、図４及び５に示される機能要素もまた、個別のハードウェア要素として実現されてもよい。
【００３８】
以上、本発明は特定の実施例に関して説明されたが、本発明はここで開示された実施例に限定されることを意図したものでないということは理解されるであろう。例えば、以下に限定されるものではないが、ウェーブレットやｍａｔｃｈｉｎｇ−ｐｕｒｓｕｉｔを含むＤＣＴ以外の他の変換方法が利用可能である。上記及び他のすべてのそのような修正及び変更は、添付されたクレームの範囲内にあるとみなされる。
【図面の簡単な説明】
【００３９】
【図１Ａ】図１Ａは、ハイブリッド時間ＳＮＲ  ＦＧＳとして知られるスケーラブル映像符号化方式の一例となるスケーラビリティ構造を示す図である。
【図１Ｂ】図１Ｂは、ハイブリッド時間ＳＮＲ  ＦＧＳとして知られるスケーラブル映像符号化方式の一例となるスケーラビリティ構造を示す図である。
【図２】図２は、図１Ａ及び１Ｂのスケーラビリティ構造を生成することが可能な一例となるＦＧＳハイブリッド時間ＳＮＲビデオエンコーダの機能構成を示す図である。
【図３Ａ】図３Ａは、本発明の第１実施例によるＦＧＳベースハイブリッド時間ＳＮＲスケーラビリティ構造を示す図である。
【図３Ｂ】図３Ｂは、本発明の第２実施例によるＦＧＳベースハイブリッド時間ＳＮＲスケーラビリティ構造を示す図である。
【図４】図４は、本発明の一実施例によるＦＧＳハイブリッド時間ＳＮＲビデオエンコーダの機能構成を示す図である。
【図５】図５は、本発明の一実施例によるＦＧＳハイブリッド時間ＳＮＲビデオデコーダの機能構成を示す図である。
【図６】図６は、本発明の原理を実現するために利用されるシステムの一実施例を示す。
【図１Ａ】
2005519542.tif 000003
【図１Ｂ】
2005519542.tif 000004
【図２】
2005519542.tif 000005
【図３Ａ】
2005519542.tif 000006
【図３Ｂ】
2005519542.tif 000007
【図４】
2005519542.tif 000008
【図５】
2005519542.tif 000009
【図６】
2005519542.tif 000010
【国際調査報告】
2005519542.tif 000011
2005519542.tif 000012
2005519542.tif 000013