(57)【要約】  低解像度の空間的スケーラブルＦＧＳ符合化ベースレイヤと少なくとも１つのエンハンスメントレイヤが存在するとき、送信される高解像度画像の送信の復号化を生成するための方法およびシステム。低解像度受信ベースレイヤはオリジナルの画像のダウンスケール画像を表す。このように、最小解像度ベースレイヤは送信され、利用可能な帯域と受信システム解像度能力に依存して、高解像度を得ることが可能である。本発明の一特徴においては、ベースレイヤは復号化され、クオリティエンハンスメントは、次いで、ベースレイヤに適用される。結合されたベースレイヤ映像フレームとクオリティレイヤフレームは、次いで、アップスケールされ、アップスケールされた画像は復号化空間エンハンスメントレイヤ情報と結合される。空間エンハンスメントレイヤ情報は、アップスケールされたベースレイヤ／クオリティレイヤ画像において不足している解像度を満たす。従って、高解像度画像が生成される。本発明の他の特徴に従って、画像の動きに関する情報を有する時間レイヤは、空間エンハンス／時間エンハンス高解像度画像を生成するために、アップスケールされたベースレイヤ画像にさらに適用される。
2005510978.tif 000002
【特許請求の範囲】
【請求項１】
ベースレイヤと複数のエンハンスメントレイヤとを有する映像信号を復号化する方法であって：
映像フレームを生成するために前記ベースレイヤを復号化する段階；
クオリティエンハンス映像フレームを生成するために少なくとも１つの前記エンハンスメントレイヤを復号化する段階；
第１出力を生成するために前記ベースレイヤ映像フレームと前記クオリティエンハンス映像フレームとを結合する段階；
前記ベースレイヤ映像フレームとクオリティエンハンス映像フレームの選択番号とをアップスケールする段階；
空間エンハンス映像フレームを生成するために少なくとも第２の１つの前記エンハンスメントレイヤを復号化する段階；並びに
第２出力を生成するために前記空間エンハンス映像フレームと前記アップスケール映像フレームとを結合する段階；
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって：
時間エンハンス映像フレームを生成するために少なくとも第３の１つの前記エンハンスメントレイヤを復号化する段階；並びに
第３出力を生成するために前記復号化第３エンハンスメントレイヤのフレームと前記空間エンハンス映像フレームとを結合する段階；
をさらに有する、ことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって：
動き補償映像フレームを生成するために前記ベースレイヤを復号化する段階；並びに
前記ベースレイヤ映像フレームを前記動き補償映像フレームと結合する段階；
をさらに有する、ことを特徴とする方法。
【請求項４】
請求項３に記載の方法であって：
動き補償時間レイヤフレームを生成するために前記時間レイヤを復号化する段階；並びに
第４出力を生成するために時間レイヤフレームを前記動き補償時間レイヤフレームと結合する段階；
をさらに有する、ことを特徴とする方法。
【請求項５】
ベースレイヤと複数のエンハンスメントレイヤとを有する映像信号を復号化するための復号化装置であって：
映像フレームを生成するために前記ベースレイヤを復号化するための手段；
クオリティエンハンス映像フレームを生成するために少なくとも１つの前記エンハンスメントレイヤを復号化するための手段；
第１出力を生成するために前記ベースレイヤ映像フレームと前記クオリティエンハンス映像フレームとを結合するための手段；
前記ベースレイヤ映像フレームとクオリティエンハンス映像フレームの選択番号とをアップスケールするための手段；
空間エンハンス映像フレームを生成するために前記エンハンスメントレイヤの少なくとも第２レイヤを復号化するための手段；並びに
第２出力を生成するために前記空間エンハンス映像フレームと前記アップスケール映像フレームとを結合するための手段；
を有することを特徴とする復号化装置。
【請求項６】
請求項５に記載の装置であって：
時間エンハンス映像フレームを生成するために前記エンハンスメントレイヤの第３の１つを復号化するための手段；並びに
第３出力を生成するために前記復号化第３のエンハンスメントレイヤのフレームと前記空間エンハンス映像フレームとを結合するための手段；
をさらに有する、ことを特徴とする装置。
【請求項７】
請求項５に記載の装置であって：
動き補償映像フレームを生成するために前記ベースレイヤを復号化するための手段；並びに
前記ベースレイヤ映像フレームを前記動き補償映像フレームと結合するための手段；
をさらに有する、ことを特徴とする装置。
【請求項８】
請求項７に記載の方法であって：
動き補償時間レイヤフレームを生成するために前記時間レイヤを復号化するための手段；並びに
第４出力を生成するために時間レイヤフレームを前記動き補償時間レイヤフレームと結合するための手段；
をさらに有する、ことを特徴とする装置。
【請求項９】
請求項５に記載の方法であって：
前記エンハンスメントレイヤが多重化されて送信されるとき、前記複数のエンハンスメントレイヤを分離するための手段；
をさらに有する、ことを特徴とする装置。
【請求項１０】
請求項５に記載の方法であって：
前記ベースレイヤが多重化されて送信されるとき、前記ベースレイヤを分離するための手段；
をさらに有する、ことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、映像符合化に関し、さらに詳細には、映像信号を符合化された、空間的にスケーリングされたＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ）の符合化に関する。
【背景技術】
【０００２】
ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ）映像符合化のフレキシビリティは、同一出願人による、１９９９年７月６日に出願された、発明の名称が“Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｉｍｐｒｏｖｅｄ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｂｌｅ  Ｖｕｄｅｏ  Ｕｓｉｎｇ  Ｂａｓｅ  Ｌａｑｙｅｒ  Ｃｏｄｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ”である米国特許出願公開０９／３４７，８８１号明細書に説明されているような送信帯域幅の広い領域をサポートすることを可能にする。ＦＧＳ映像符合化方法は、同一出願人により２０００年６月９日に出願された、発明の名称が“Ｈｙｂｒｉｄ  Ｔｅｍｐｏｒａｌ−ＳＮＲ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”である米国特許出願公開０９／５８９０，８２５号明細書に開示されている。時間ハイブリッド−ＳＮＲ  ＦＧＳのアプリケーションにおいて、エンハンスされたハイブリッド（ＳＮＲ）ＦＧＳ符合化方式、エンハンスされた時間的（ＦＧＳＴ）方式および結合されたハイブリッドＦＧＳＴ−ＳＮＲ  ＦＧＳ方式を用いて映像画像を符合化して送信するために動作可能である、映像符合化方法および対応する符号化器が開示されている。同一出願人による同時係属出願であって、２００１年１０月１１日に出願された、発明の名称が“Ｓｐｅｔｉａｌ  Ｓｃａｌａｂｉｌｉｔｙ  ｆｏｒ  Ｆｉｎｅ  Ｇｒａｎｕｌａ  Ｖｉｄｅｏ  Ｅｎｃｏｄｅｉｎｇ”である明細書において、空間的にスケーリングされたＦＧＳ映像画像を符合化する方法および対応する符号化器が開示されているが、この文献の援用によって発明の説明を一部代替する。この方法においては、映像画像は、ベースレイヤのために改善された品質を提供することが可能であるエンハンスメントレイヤと、エンハンス画像解像度を提供することが可能である第１エンハンスメントレイヤと、エンハンス画像解像度レイヤのためにエンハンス時間フォームを提供することが可能である第２エンハンスメントレイヤとを用いて、続いてエンハンスされることができる最小解像度ベースレイヤ画像を生成するためにダウンスケールされる。
【０００３】
しかしながら、空間符合化技術の利益を得るためには、適切な復号化が必要である。従って、開示されるＦＧＳ空間スケーラビリティ符合化フォーマットおよび構造において受信される画像を復号化する復号化システムに対する要求が存在する。
【発明の開示】
【課題を解決するための手段】
【０００４】
低解像度ベースレイヤおよび少なくとも１つのエンハンスメントレイヤを有する映像信号が空間的に送信されるスケーラブルＦＧＳ符合化映像信号を復号化するための方法およびシステムを開示している。受信されるベースレイヤ信号は、オリジナル画像のダウンスケール化画像を表し、最小解像度ベースレイヤ画像を提供するために用いられる。ベースレイヤは復号化され、クオリティエンハンスメントが、次いで、ベースレイヤに適用される。結合されたベースレイヤ映像フレームとクオリティレイヤ映像フレームは、それ故、ベースレイヤとクオリティレイヤとをオリジナルの画像解像度に戻すためにアップスケールされる。アップスケールされた画像は、それから、復号化された空間エンハンスメントレイヤ情報と結合される。空間エンハンスメントレイヤ情報は、アップスケールされたベースレイヤ／クオリティレイヤ画像において十分ではない解像度を満たす。それ故、高解像度画像が生成される。本発明の他の特徴においては、空間的にエンハンスメントされ且つ時間的にエンハンスメントされた高解像度画像を提供するために、アップスケールされたベースレイヤ画像に画像の動きに関する情報を有する時間レイヤが適用される。
【０００５】
本発明における図面は、本発明の概念を例示することを目的とし、本発明を制限する水準を意図するものではないことを理解されたい。適切な場合には、参照文字で補った同じ参照番号が対応する構成要素を同一に扱うために全体を通して用いられることを理解されたい。
【発明を実施するための最良の形態】
【０００６】
図１は、ＦＧＳ符合化信号の構造表示を示している。この表示においては、オリジナル画像５は低解像度ベースレイヤ信号１０にダウンスケースされる。クオリティまたはＳＮＲエンハンスメントレイヤ画像２０は、オリジナル信号５および低解像度ベースレイヤ画像１０のダウンスケール表示（図示せず）の残留または差分として組み込まれる。低解像度の時間エンハンスレイヤ１３５が、低解像度ベースレイヤ１０、１０´間の差分高解像度画像５´およびダウンスケールバージョンしてとしてこの例示の例に組み込まれる。空間解像度エンハンスレイヤ画像３０は、オリジナルの高解像度画像の残留、および結合されたベースレイヤ画像１０とＳＮＲエンハンスレイヤ画像２０のアップスケールバージョンとして組み込まれる。この場合、ＳＮＲエンハンスレイヤ画像２０の一部のみが、空間解像度レイヤ画像３０を決定するために割り当てられる。オプションとしては、この例示の例に示すように、高解像度空間エンハンスレイヤ画像３０、３０´間の差分として、高解像度時間レイヤ画像４０が組み込まれることが可能である。理解されるであろうように、ここで用いる用語、画像は、援用によって発明の説明を一部代替する上記の特許および出願特許において説明されている用語に対応している。
【０００７】
図２は、空間的に受信された符合化ＦＧＳ信号が復号化される本発明の原理に従って、例示としてのＦＧＳスケーラブル復号化システム１００を示している。この例示としての例においては、画像１０５は、復号化システム１００により、インターネット、電話等のようなネットワーク１１０に亘って受信される。受信される画像１０５は、例えば、クオリティ／空間／時間エンハンスメントレイヤ画像情報または複数の信号データストリームであって、送信されるベースレイヤおよび／またはエンハンスメントレイヤ画像の各々のための１つのデータストリーム等の、少なくとも１つのエンハンスメントレイヤにおける且つベースレイヤ画像のパケットを有する１つのデータストリームであることが可能である。図２は、複数の個々のデータストリームがネットワーク１１０に亘って送信される場合について示している。この場合、ベースレイヤデータストリーム１１６と、関連するエンハンスメントレイヤ、すなわち、クオリティ（ＳＮＲ）エンハンスメントレイヤ１１７および空間エンハンスメントレイヤ１１８のデータストリームは、復号化ストリーム１００の適切な入力に適用され、すなわち、ベースレイヤ１１６は、ベースレイヤ復号化ユニット１２０に適用され、エンハンスメントレイヤデータストリーム、すなわち、ＳＮＲレイヤ１１７および空間レイヤ１１８は、エンハンスメントレイヤ復号化ユニット１５０に適用される。
【０００８】
また、開示された復号化器の原理は、共に多重化された、個々のデータストリームレイヤ、すなわち、ベースレイヤ、クオリティエンハンスメントレイヤ、空間エンハンスメントレイヤおよび時間エンハンスメントレイヤを有する１つのデータストリームは送信される、ことを理解されたい。この場合、当業者に周知であるように、受信されたデータストリームは成分レイヤ画像に記憶され、すなわち、分離され、復号化システム１００の適切な要素に適用される。
【０００９】
ベースレイヤ復号化器１２０およびＦＧＳ符合化ベースレイヤを復号化する方法は、当該技術分野において周知であるように、工業規格ＭＰＥＧ−２およびＭＰＥＧ−４についての復号化器および方法に類似している。ＳＮＲまたはクオリティエンハンスメントレイヤ復号化およびエンハンスメントレイヤ復号化器１５０の原理は、同一出願人により、２０００年６月９日に出願された、発明の名称が“Ｈｙｂｒｉｄ  Ｔｅｍｐｏｒａｌ−ＳＮＲ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”である米国特許出願公開第０９／５９０，８２５に開示されており、これの援用によって発明の説明を一部代替する
図２に示す復号化器１００をここで再び参照するに、ベースレイヤ復号化器１２０の出力、すなわち、復号化ベースレイヤ信号１２５は、加算ユニット１２７および加算ユニット１７０に同時に供給される。ベースレイヤ信号１２５は最小解像度を用いて映像信号を表す。
【００１０】
加算ユニット１２７は、信号１２５の要素を合計し、または信号の要素１２５に復号化信号１３０´の要素を加算する。信号１３０´は、ＦＧＳ復号化器１５５および逆ＤＣＴ１６０により復号化されたクオリティエンハンスメントレイヤ画像１１７を表す信号１３０の既知の部分を表す。加算ユニット１２７の出力は、ＳＮＲまたはクオリティエンハンスベースレイヤ信号１２８を表す。示しているこの復号化システムの実施形態においては、ＳＮＲエンハンスメントレイヤの一部はプロセッサ１３２により処理するために選択されることが可能である。プロセッサ１３２は、信号１３０´を生成するためにＳＮＲエンハンスメントレイヤビットプレーンの選択番号を割り当てるために使用可能である。しかしながら、信号１３０は加算ユニット１２７に適用され、それ故、プロセッ差３２を必要としない。
【００１１】
次いで、オリジナルの解像度にクオリティエンハンス画像をアップスケールするために信号１２８がアップスケーラ１２９に適用される。次いで、信号１２８のアップスケールバージョンが加算器１５７に適用される。
【００１２】
加算器１５７は、信号１２８のアップスケールバージョンを空間エンハンスメントレイヤ信号１５８と結合する。この場合、信号１５８は、復号化器１５５および逆ＤＣＴ復号化器１５６により復号化された空間エンハンスメントレイヤ信号１１８を表す。加算器１５７の出力は、映像信号１５９を空間的に符合化される。
【００１３】
加算器１７０は、ベースレイヤ信号１２５を復号化されたＳＮＲエンハンスメントレイヤ映像信号１４２と結合する。信号１４２は、ＦＧＳ復号化器１５５と逆ＤＣＴ復号化器１５６により復号化されるクオリティエンハンスメントレイヤ画像１１７を表す。加算器１５７の出力は映像信号１５９を空間的にエンハンスする。
【００１４】
加算器１７０は、ベースレイヤ信号１２５を復号化ＳＮＲエンハンスメントレイヤ映像信号１４２と結合する。信号１４２は、ＦＧＳ復号化器１５５および逆ＤＣＴ復号化器１５６により復号化されるクオリティエンハンスメントレイヤ画像１１７を表す。加算器１７０の出力はベースレイヤ信号１７２を品質的にエンハンスする。
【００１５】
従って、復号化器１００の出力は、最小解像度ベースレイヤ信号１２５、クオリティエンハンスベースレイヤ信号１７２および空間エンハンス信号１５９を表す。図示および説明を行わないが、復号化器１００は、送信されるベースレイヤの動きベクトル情報を処理することにより、動き補償器８０によって送信される時間エンハンスメントレイヤ画像を複合化して処理するためにさらに動作可能であることが理解されるであろう。
【００１６】
図３は、本発明の原理に従った、第２の例示的な復号化システムを示している。このような本発明の例示的形態において、ベースレイヤデータストリーム１１６は、ベースレイヤ復号化器１２０に供給され、空間エンハンスメントレイヤデータストリーム１１３および多重化ＳＮＲエンハンスメントレイヤ１１７と、データストリーム１１３に含まれる時間エンハンスメントレイヤ１１９とは、空間復号化器２２０に適用される。図示しているように、データストリーム１１３は、成分エンハンスメントレイヤ、低解像度ＳＮＲ信号１３０、高解像度空間信号２１５、および、この場合、高解像度時間信号２２０に分解または分離される。
【００１７】
図３に示す復号化器２００の動作は、ベースレイヤ信号１２５、ＳＮＲエンハンスメントレイヤ信号１７２および空間エンハンスメントレイヤ信号１５９を復号化し、決定することに関して、図２において開示している復号化器１００の動作と同様であり、再び説明する必要はない。
【００１８】
加算器２７０は、復号化された時間映像画像２７４を動き補償された時間信号２７２と結合し、合計し、または加算することにより、エンハンス時間レイヤ信号２５０を組み込む。この場合、信号２７２は、空間／時間エンハンスメントレイヤの動きベクトルの情報を受信する動き補償器１８０により供給される。このような図示された実施形態においては、動き補償器１８０は、選択器２８４により、時間エンハンスメントレイヤの動きベクトルの情報２８２または空間／時間エンハンスメントレイヤの動きベクトルの情報のどちらかを選択的に受信する。選択器８４の出力は、１つの入力または他の入力を選択することが可能である。同様に、逆選択器２８６は、合計器２７０または合計器１３６に動き補償器１８０の出力を供給することが可能である。オプションとして、エンハンス時間レイヤ２５０は、空間的にエンハンスされたレイヤ１５９とエンハンス時間レイヤ２５０を時間的に結合する多重化器２６０に適用する。多重化器２６０の出力２６２は、時間的／空間的にエンハンスされたレイヤを表す。さらに、信号１５９は、動き補償器１８０に高解像度フレームメモリ２９０により適用される。図示していないが、時間エンハンスメントレイヤの動きベクトルの情報および空間／時間エンハンスメントレイヤの動きベクトルの情報を複合化して決定する独立した動作を可能にする、分離された動き補償ユニットを復号化ユニット１２０および復号化ユニット２２０が有することが可能であることが理解される。この場合、選択器２８４と逆選択器２８６は必要でない。
【００１９】
図４は、本発明の原理を実施するために用いることが可能であるシステム３００の例示としての実施形態を示している。システム３００は、テレビ、セットトップボックス、デスクトップコンピュータ、ラップトップコンピュータまたは小型コンピュータ、携帯情報端末（ＰＤＡ）、例えば、映像カセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等の映像／画像記憶装置、およびこれらのおよび他の装置の一部または組み合わせを表すことが可能である。システム３００は、１つまたはそれ以上の映像／画像受信器３０１と、１つまたはそれ以上の入力／出力装置３０２と、プロセッサ３０３と、メモリ３０４とを有する。映像／画像受信器３０１は、例えば、インターネット、広域ネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上波放送システム、ケーブルネットワーク、衛星放送ネットワーク、無線ネットワーク、電話回線、またはこれらのおよび他の種類のネットワークの一部または組み合わせ等の全世界的なコンピュータ通信ネットワークにおけるサーバから映像を受信するための１つまたはそれ以上のネットワーク接続をまた、表すことが可能である。
【００２０】
入力／出力装置３０２と、プロセッサ３０３と、メモリとは通信媒体３０６に亘って通信することが可能である。通信媒体３０６は、例えば、バス、通信ネットワーク、回路の１つまたはそれ以上の内部接続、回路カード、他の装置、またはこれらの及び他の通信媒体の一部または組み合わせを表すことが可能である。受信器３０１からの入力映像データは、メモリ３０４に記憶された１つまたはそれ以上のソフトウェアプログラムに従って、処理され、表示装置３０８に供給される出力映像／画像を生成するように、プロセッサ３０３により実行される。
【００２１】
好適な実施形態においては、本発明の復号化原理は、システム３００により実行されるコンピュータ読み取り可能符号により実施されることが可能である。この符号は、ＣＤ−ＲＯＭまたはフロッピー（登録商標）ディスクのようなメモリ媒体から読取られ／ダウンロードされ、またはメモリ３０４に記憶されることが可能である。他の実施形態においては、ハードウェア回路が、本発明を実施するために、ソフトウェアと置き換えて、または組み合わせて用いられることが可能である。例えば、ここで例示した要素はまた、個別のハードウェア要素として実施されることが可能であり、または、１つのユニットに統合されることが可能である。
【００２２】
本発明は、ある程度の特殊性を備えた好適な形態において説明されたが、好適な形態についての本発明の開示は単に例としてなされたものであり、本発明の、同時提出の請求の範囲および主旨から逸脱することなく、本発明の構成の詳細における多くの変化および構成要素の組み合わせおよび配置を実施することが可能であることが理解できる。本発明は、同時提出の請求の範囲の適切な記載によりカバーされ、特許を受けることができる新規性の特徴はいずれにしても開示された本発明に存在する。
【図面の簡単な説明】
【００２３】
【図１】例示としての空間的にスケーリングされたＦＧＳ符合化信号の構造表示を示    す図である。
【図２】本発明の原理に従った例示としての復号化システムを示す図である。
【図３】本発明の原理に従った第２の例示としての復号化システムを示す図である。
【図４】本発明の原理に従った例示としての送信／受信システムを示す図である。
【図１】
2005510978.tif 000003
【図２】
2005510978.tif 000004
【図３】
2005510978.tif 000005
【図４】
2005510978.tif 000006
【国際調査報告】
2005510978.tif 000007
2005510978.tif 000008
2005510978.tif 000009