(57)【要約】ＦＧＳ（Ｆｉｎｅ−Ｇｒａｎｕｌａｒｉｔｙ−Ｓｃａｌａｂｉｌｉｔｙ）映像符号化システムにおける利用のため、周波数加重（ＦＷ）行列を生成するシステム及び方法。本システムは、所定のベースレイヤビットレート及び該ベースレイヤビットレートの約３倍のビットレートの両方で符号化されたサンプル映像フレームのジグザグＤＣＴ走査線位置に対する平均離散コサイン変換（ＤＣＴ）残差をプロットするシステムと、前記所定のベースレイヤビットレート及び該ベースレイヤビットレートの約３倍のビットレートの両方で符号化された前記映像フレームの前記ジグザグＤＣＴ走査線位置に対するＤＣＴ残差の差分プロットを生成するシステムと、前記平均差分プロットに階段状曲線を一致及び正規化するシステムを有し、前記階段状曲線の値がさらに前記ＦＷ行列の重みにマッピングされることを特徴とする。
2005507621.tif 000002
【特許請求の範囲】
【請求項１】
ＦＧＳ映像符号化システムにおける利用のため周波数加重（ＦＷ）行列を生成するシステムであって、
所定のベースレイヤビットレート及び該ベースレイヤビットレートの約３倍のビットレートの両方で符号化されたサンプル映像フレームに対する平均離散コサイン変換（ＤＣＴ）残差を生成するシステムと、
ＤＣＴジグザグ走査線に対応するＤＣＴ係数位置によりプロットされた前記生成された平均ＤＣＴ残差の差分曲線をプロットするシステムと、
階段状曲線を前記差分曲線に一致させるシステムとを有することを特徴とするシステム。
【請求項２】
請求項１記載のシステムであって、各ＤＣＴ係数位置における前記階段状曲線に関する値が、前記ＤＣＴジグザグ走査線に対応する位置における前記ＦＷ行列にマッピングされることを特徴とするシステム。
【請求項３】
請求項２記載のシステムであって、さらに、
前記階段状曲線から決定された重みが前記ＦＧＳ映像符号化システムのビットプレーン数の上限より大きい場合、前記階段状曲線を変更する重み調整システムを有することを特徴とするシステム。
【請求項４】
請求項１記載のシステムであって、前記サンプル映像フレームは所定のシーン特性を有するサンプル映像シーケンスから選ばれることを特徴とするシステム。
【請求項５】
請求項４記載のシステムであって、前記所定のシーン特性は、輝度レベル、動きレベル及びアクティブ性レベルからなるグループから選ばれた基準を有することを特徴とするシステム。
【請求項６】
請求項１記載のシステムであって、前記所定のベースレイヤビットレートは、アプリケーション、解像度及びフレームレート依存的であることを特徴とするシステム。
【請求項７】
ＦＧＳ映像符号化システムにおける利用のため周波数加重（ＦＷ）行列を生成する方法であって、
第１ビットレートで符号化されたサンプル映像フレームのジグザグＤＣＴ走査線位置に対する平均離散コサイン変換（ＤＣＴ）残差の第１プロットを生成するステップと、
前記第１ビットレートの倍数ビットレートで符号化された前記サンプル映像フレームの前記ジグザグＤＣＴ走査線位置に対する平均離散コサイン変換（ＤＣＴ）残差の第２プロットを生成するステップと、
前記第１及び第２プロットの差分曲線を生成するステップと、
前記差分曲線に階段状曲線を一致させるステップと、
前記ＦＷ行列を構成するため前記階段状曲線から重みをマッピングするステップとを有することを特徴とする方法。
【請求項８】
請求項７記載の方法であって、前記第１ビットレートはベースレイヤビットレートを有することを特徴とする方法。
【請求項９】
請求項８記載の方法であって、前記倍数は前記ベースレイヤビットレートの３倍を有することを特徴とする方法。
【請求項１０】
請求項７記載の方法であって、さらに、
前記階段状曲線から決定された前記マッピングされた重みが前記ＦＧＳ映像符号化システムにおけるビットプレーン数の上限より大きい場合、前記階段状曲線を正規化するステップを有することを特徴とする方法。
【請求項１１】
請求項７記載の方法であって、前記映像フレームは所定のシーン特性を有するサンプル映像シーケンスから選ばれることを特徴とする方法。
【請求項１２】
周波数加重（ＦＷ）行列を利用して映像データを符号化するＦＧＳ映像符号化システムであって、
前記映像データのシーン特性を決定するシステムと、
前記決定されたシーン特性に基づき複数のＦＷ行列からＦＷ行列を選択するシステムとを有することを特徴とするＦＧＳ映像符号化システム。
【請求項１３】
請求項１２記載のＦＧＳ映像符号化システムであって、前記複数のＦＷ行列のそれぞれは複数の所定のシーン特性の一つと関連付けされることを特徴とするＦＧＳ映像符号化システム。
【請求項１４】
請求項１３記載のＦＧＳ映像符号化システムであって、サンプル映像フレームに対する第１及び第２重要クオリティビットレートで計算される平均離散コサイン変換（ＤＣＴ）残差に一致する階段状曲線から、各行列の重みが決定されることを特徴とするＦＧＳ映像符号化システム。
【請求項１５】
請求項１４記載のＦＧＳ映像符号化システムであって、前記第１及び第２重要クオリティビットレートは、ベースレイヤビットレートと該ベースレイヤビットレートの３倍のビットレートを有することを特徴とするＦＧＳ映像符号化システム。
【請求項１６】
請求項１４記載のＦＧＳ映像符号化システムであって、前記サンプル映像フレームは前記複数の所定のシーン特性の１つを有する映像シーケンスから導出されたものであることを特徴とするＦＧＳ映像符号化システム。
【請求項１７】
請求項１２記載のＦＧＳ映像符号化システムであって、前記決定されたシーン特性は、輝度レベル、動きレベル及びアクティブ性レベルからなるグループから選ばれた基準を有することを特徴とするＦＧＳ映像符号化システム。
【請求項１８】
記録可能媒体に格納され、ＦＧＳ映像符号化システムにおける利用のため周波数加重（ＦＷ）行列を生成するプログラムプロダクツであって、
第１ビットレートで符号化されたサンプル映像フレームのジグザグＤＣＴ走査線位置に対する平均離散コサイン変換（ＤＣＴ）残差の第１プロットを生成する手段と、
前記第１ビットレートの倍数ビットレートで符号化された前記サンプル映像フレームの前記ジグザグＤＣＴ走査線位置に対する平均離散コサイン変換（ＤＣＴ）残差の第２プロットを生成する手段と、
前記第１及び第２プロットの差分曲線を生成する手段と、
前記差分曲線に階段状曲線を一致させる手段と、
前記階段状曲線からマッピングされた重みにより前記ＦＷ行列を構成する手段とを有することを特徴とするプログラムプロダクツ。
【請求項１９】
請求項１８記載のプログラムプロダクツであって、前記第１ビットレートはベースレイヤビットレートを有し、前記倍数は前記ベースレイヤビットレートの３倍を有することを特徴とするプログラムプロダクツ。
【請求項２０】
請求項１８記載のプログラムプロダクツであって、さらに、
前記階段状曲線から決定された前記重みが前記ＦＧＳ映像符号化システムにおけるビットプレーン数の上限より大きい場合、前記階段状曲線を正規化する手段を有することを特徴とするプログラムプロダクツ。
【請求項２１】
周波数加重（ＦＷ）行列を利用して符号化された映像データを復号化するＦＧＳ映像復号化システムであって、前記ＦＷ行列の重みが、サンプル映像フレームに対しベースレイヤビットレート及び該ベースレイヤビットレートのほぼ３倍のビットレートで計算された平均離散コサイン変換（ＤＣＴ）残差の差分に一致した階段状曲線から決定されるＦＧＳ映像復号化システム。
【請求項２２】
請求項２１記載のＦＧＳ映像復号化システムであって、さらに、
シーン特性が変化するとき、前記ＦＷ行列を適応的に変更するシステムを有することを特徴とするＦＧＳ映像復号化システム。
【発明の詳細な説明】
【０００１】
本発明は、一般に符号化された映像のスケーリングに関し、より詳細にはＦＧＳ（Ｆｉｎｅ−Ｇｒａｎｕｌａｒｉｔｙ−Ｓｃａｌａｂｉｌｉｔｙ）技術を実現するシステムのための周波数加重（ＦＷ）行列の選択システム及び方法に関する。
【０００２】
ＦＧＳ符号化プロファイルは、２００１年３月にＭＰＥＧ−４規格の一部として採用された。ＭＰＥＧ−４ＦＧＳプロファイルは、映像シーケンスを広範囲のビットレートを許容する異なる送信プロパティを有する２つのビットストリーム、ベースレイヤ（ＢＬ）映像ストリームと拡張レイヤ（ＥＬ）映像ストリームに符号化する。ＢＬは、動き補償とブロックベースのＤＣＴ（ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ）符号化を利用するＭＰＥＧ−４ノンスケーラブル符号化スキームを利用して符号化される。ＢＬは、時間可変ネットワークを介した利用可能な帯域幅がベースレイヤビットレートより大きくなるよう許容可能な最小ビットレート（ベースレイヤビットレート）に符号化される。ＥＬは、ビットプレーン符号化を利用したＤＣＴドメインにおけるもとの信号とＢＬ信号との差を符号化する。
【０００３】
拡張レイヤエンコーダサイドでは、これらＤＣＴ残差ビットプレーンが、最上位ビットプレーン（ＭＳＢ）から最下位ビットプレーン（ＬＳＢ）にプログレッシブな（ファイン＝グラニュラ）方法により圧縮される。その後、送信時に、ネットワークを介し利用可能な帯域幅あるいはデコーダ能力に依存して、ＥＬ部分のみが送信される。インターネット映像ストリーミング処理、インターネット配信処理、携帯及びホームネットワークの無線映像通信のような、可変帯域幅を有するネットワークを介した映像ストリーミング処理にとって、ＦＧＳ技術は特に有益である。
【０００４】
ＦＧＳは、さまざまなスケーラビリティ構成をサポートし、出力された視覚的な画質を高める多くの映像符号化ツールから構成される。周波数加重化（ＦＷ）は、低ビットレート符号化のための視覚的画質を向上させるのに特に有益なツールである。例えば、一般的に、ベースレイヤＤＣＴ係数はＤＣＴブロックの左上から右下へのジグザグの走査線に沿ってそのエネルギーを分布させるということがよく知られている。従って、低帯域幅の制約に対し良好な符号化を確実にするため、より高いエネルギー残差が優先化された方法により送信される必要がある。ＦＷ法は、選ばれたＥＬＤＣＴ残差のビットプレーンシフトを可能にする。従って、ＤＣＴ残差ブロックと同じサイズの「周波数加重」行列Ｍfwが定義される。ただし、行列の各要素Mｆｗ（ｉ）は、ｉ番目のＤＣＴ係数がシフトされるべきビットプレーン数を示す。
【０００５】
図３は、低ビットレートでのＦＷの効果を示す。図の左側では、ＦＷが利用されない場合におけるＥＬブロックのＤＣＴ残差（垂直方向の直線として示される）が示され、右側では、ＦＷが利用される場合におけるＥＬブロックのＤＣＴ残差が示される。そこからわかるように、各ＥＬブロックは、最上位にＭＳＢを有する複数のビットプレーンを含んでいる。これらプレーン内部で、ＤＣＴ係数残差がＭＳＢに向かって上方に拡張している。左側のケースでは、低ビットレートで、ＭＳＢから下のすべてのビットプレーンがサーバで丸め処理されれば、デコーダはＥＬブロックの第１象限においてＤＣＴ係数残差を受け取らないであろう。大部分の映像シーケンスにおいて、ＤＣ及び最初のＡＣのＥＬ残差のより低い精度は、デコーダ側での画質低下となって現れる。あるいは、ＤＣＴブロックの第１象限がＭｆｗ（ｉ）＝２となるＦＷ行列が利用される場合、右側に示されるように、ＤＣ及び最初のＡＣのＥＬ残差はＭＳＢに良好に符号化され、これにより低ビットプレーンにおいてでさえ（少なくとも部分的な）送信が保証される。
【０００６】
他の映像符号化規格と同様に、ＭＰＥＧ−４はＦＷシンタックス及びそれに関連するデコーダに対する意味のみを標準化している。従って、ＦＧＳコーデックの画質が大きく向上するよう、ＦＷシンタックスを利用する革新的なアルゴリズムを定義することがシステム設計者の仕事となる。ＦＧＳ符号化に対してＦＷを実現するため、重要なステップの中の一つはＦＷ行列の選択である。低周波数係数に高い重みを与えることにより、あるいは逆に高周波数係数に低い重みを与えることにより、ジグザグのエネルギー分布特性に基づく汎用的なＦＷ行列の選択が可能である。しかしながら、この汎用的なエネルギー消費の指針は、ＦＷ行列の正確な量的値を決定するための手がかりを提供することができない。従って、効果的にＦＷ行列を選択する必要性が存在する。
【０００７】
本発明は、重要画質ビットレートにおけるＢＬＤＣＴ残差を利用した新規なＦＷ行列選択方法を提供することによって、上記問題点及びその他の問題点を解決するものである。第１に、本発明は、ＦＧＳ映像符号化システムでの利用のため、周波数加重行列を生成するシステムであって、所定のベースレイヤビットレート及び該ビットレートのほぼ３倍のビットレートで符号化されたサンプル映像フレームに対して平均的な離散コサイン変換（ＤＣＴ）残差を生成するシステムと、ＤＣＴジグザグ走査線に対応したＤＣＴ係数位置によりプロットされる生成された平均ＤＣＴ残差の差分曲線をプロットするシステムと、階段状曲線を該差分曲線に一致させるシステムとを有するシステムを提供する。
【０００８】
第２に、本発明は、ＦＧＳ映像符号化システムでの利用のため、周波数加重（ＦＷ）行列の生成方法であって、第１ビットレートで符号化されたサンプル映像フレームのジグザグＤＣＴ走査線位置に対して、平均離散コサイン変換（ＤＣＴ）残差の第１プロットを生成するステップと、前記第１ビットレートの倍数で符号化された前記サンプル映像フレームの前記ジグザグＤＣＴ走査線位置に対して、平均離散コサイン変換（ＤＣＴ）残差の第２プロットを生成するステップと、前記第１及び第２プロットから差分曲線を生成するステップと、階段状曲線を前記差分曲線に一致させるステップと、前記ＦＷ行列を実現するため前記階段状曲線の重みをマッピングするステップとを有する生成方法を提供する。
【０００９】
第３に、本発明は、周波数加重（ＦＷ）行列を利用して映像データを符号化するＦＧＳ映像符号化システムであって、前記映像データのシーン特性を判断するシステムと、前記判断されたシーン特性に基づき複数のＦＷ行列からＦＷ行列を選択するシステムを有するシステムを提供する。
【００１０】
第４に、本発明は、記録可能媒体に格納され、ＦＧＳ映像符号化システムでの利用のため周波数加重（ＦＷ）行列を生成するプログラムプロダクツであって、第１ビットレートで符号化されたサンプル映像フレームのジグザグＤＣＴ走査線位置に対して、平均離散コサイン変換（ＤＣＴ）残差の第１プロットを生成する手段と、前記第１ビットレートの倍数で符号化された前記サンプル映像フレームの前記ジグザグＤＣＴ走査線位置に対して、平均離散コサイン変換（ＤＣＴ）残差の第２プロットを生成する手段と、前記第１及び第２プロットから差分曲線を生成する手段と、階段状曲線を前記差分曲線に一致させる手段と、前記階段状曲線からマッピングされた重みを有する前記ＦＷ行列を実現する手段とを有するプログラムプロダクツを提供する。
【００１１】
第５に、本発明は、周波数加重（ＦＷ）行列を利用して符号化された映像データを復号化するＦＧＳ映像復号化システムであって、前記ＦＷ行列の重みが、サンプル映像フレームに対しベースレイヤビットレート及び該ベースレイヤビットレートのほぼ３倍のビットレートで計算された平均離散コサイン変換（ＤＣＴ）残差の差分の階段状曲線の一致から決定されるシステムを提供する。
【００１２】
本発明の実施例が添付された図面と関連して以下で説明される。ここで同一の記号は同一の要素を示す。
【００１３】
図面を参照するに、図１は、１以上のサンプル映像シーケンス１２とベースレイヤ（ＢＬ）ビットレート１４を受け取り、ＦＷ行列群２２を出力する周波数加重（ＦＷ）行列生成システム１０を示す。各サンプル映像シーケンス１２は、図２に示されるような、ＦＧＳシステムにより典型的には処理される一意的なシーンタイプあるいは特徴を含む。従って、例えば、「サンプル映像シーケンスＡ」は高いアクティブ性を有するシーンを有するかもしれないし、「サンプル映像シーケンスＢ」は中程度のアクティブ性を有するシーンを有するかもしれないし、「サンプル映像シーケンスＣ」は低いアクティブ性を有するシーンを有するかもしれない。
【００１４】
ＦＷ行列生成システム１０は、各入力サンプル映像シーケンスに対して、各自が所定のシーンタイプと関連付けされた一意的なＦＷ行列を生成する。従って、例えば、ＦＷ行列Ａは高いアクティブ性を有するシーンに対応し、ＦＷ行列Ｂは中程度のアクティブ性を有するシーンに対応し、ＦＷ行列Ｃは低いアクティブ性を有するシーンに対応するものとなるであろう。生成されるＦＷ行列２２の個数は、想定されるＦＧＳの適用例に依存して可変とされうる。テレビ電話のようなシンプルな適用例では、低アクティブ性の少ない動きのサンプル映像シーケンスから導出される１つのみの行列で済むかもしれない。他のより複雑な適用例では、多数の異なるシーンタイプに対処するため、行列のデータベースが必要とされるかもしれない。さらに、シーン内の任意の基準（例えば、アクティブ性、動き、明るさなど）が、あるサンプル映像シーケンス（及びＦＷ行列）を他のサンプル映像シーケンスと区別するために利用可能である。
【００１５】
図１の実施例では、ＦＷ行列生成システム１０は、ＤＣＴ残差生成システム１６、残差差分プロットシステム１８、階段状曲線フィッティングシステム２０、及びＦＷ行列２２を生成する重み調整システム２１を利用する。これらシステムの動作が以下で詳細に説明される。
【００１６】
ＦＷ行列生成システム１０は、一般的に、（１）選択されたビットレート、及び（２）この選択されたビットレートの倍数ビットレートを含む重要ビットレートで計算されたサンプル映像フレームの平均離散コサイン変換（ＤＣＴ）残差の差分に一致した階段状曲線からの各行列に対する重みを決定する。重要ビットレートは、例えば、特定のアプリケーション、解像度/サイズ、フレームレートなどに依存した任意の値として選ぶことができる。
【００１７】
一例となる実施例では、重要ビットレートは、ベースレイヤ符号化ビットレート（ＲＢＬ）１４と、このベースレイヤ符号化ビットレートの３倍のビットレート（すなわち、３＊ＲＢＬ）を有する。さまざまな実験において、ＳＬＳとＦＧＳとの間の最大となる画質の差がＦＧＳＢＬビットレートのほぼ３倍のビットレートにおいて出現するということがわかっている。例えば、「Ｆｏｒｅｍａｎ」に関する以下の解析は、ＲＢＬと３＊ＲＢＬが重要ビットレートであるということを示している。図４は、ノンスケーラブルコーダ（すなわち、ＳＬＳシングルレイヤスイッチング）と１００ｋｂｐｓのベースレイヤビットレートを有するＦＧＳエンコーダにより符号化された「Ｆｏｒｅｍａｎ」映像シーケンスのピーク信号対ノイズ比（ＰＳＮＲ）を示す。これより、１００ｋｂｐｓから１Ｍｂｐｓのビットレート範囲では、ＦＧＳとノンスケーラブルコーダとの最大となるＰＳＮＲクオリティペナルティギャップは、約３００ｋｂｐｓである。従って、ＦＧＳとＳＬＳは３＊ＲＢＬで重要なクオリティギャップを有する。従って、本実施例では、ＦＷ行列の選択は、重要クオリティビットレートである３＊ＲＢＬとＲＢＬでの平均ＤＣＴ残差に基づき、これらのビットレートでのＤＣＴ残差を利用することにより選択されたＦＷ行列は、他のビットレートで選ばれたものよりより高いインパクトを有する。ここで、他の重要クオリティビットレート及び/またはＲＢＬ（例えば、２．５、３．５、４、４．５など）の倍数ビットレートが、本発明の範囲を逸脱することなく重要クオリティギャップの定義に利用することができるということが理解されるべきである。
【００１８】
図５は、１００ｋｂｐｓと３００ｋｂｐｓのビットレートでの「Ｆｏｒｅｍａｎ」シーケンスの平均残差のフレームベースの差分の３Ｄメッシュを示す。この場合、「Ｆｏｒｅｍａｎ」シーケンスには２つのシーンタイプがある。特定のシーン特性に対し、その残差特性は当該シーン内のすべてのフレームに対して類似したものになるということは明らかである。従って、サンプル映像シーケンスからの１つのシーケンスが、その類似シーン特性を有するすべてのフレームに対してＦＷ行列を生成するために利用可能である。
【００１９】
図１を参照するに、ＦＷ行列生成システム１０の動作が以下のように説明される。ＤＣＴ残差生成システム１６は、重要クオリティビットレート、この場合、ＲＢＬと３＊ＲＢＬで入力された映像シーケンスの選択されたフレームに対し、平均ＤＣＴ残差を生成（及びプロット）する。それぞれに対して、平均ＤＣＴ残差は、ＤＣＴデータのブロックにおけるそれらの位置の関数としてプロットされる。好ましくは、エネルギー配分トレンドに従うように、左上から右下へのジグザグのライン（すなわち、「ＤＣＴジグザグ走査線」）で残差は抽出される。ここで示された例では、係数番号１−６４が、８×８ＤＣＴブロック内の各残差に対するジグザグ位置を提供する。
【００２０】
【表１】
2005507621.tif 000003
その後、図６に示されるように６４個の残差がプロットされる。図６は、ＭＰＥＧ−４ノンスケーラブルコーダによりコード化された１００ｋｂｐｓ及び３００ｋｂｐｓのＳＬＳ符号化ビットレートでの図５の「Ｆｏｒｅｍａｎ」シーケンスの５０番目のフレームの一例となるプロットを示す。図６から、２つのビットレートでのＤＣＴ係数残差のプロファイルは低周波数残差に対して特に異なっているということがわかる。１００ｋｂｐｓでのＳＬＳの残差がＦＧＳ拡張レイヤで符号化される場合、３００ｋｂｐｓでのＦＧＳとＳＬＳを比較して、ＦＧＳとＳＬＳ符号化とのクオリティギャップは送信側でのＦＧＳ残差のピットプレーンカットオフにより生ずるということは明らかである。しかしながら、低周波数残差がＦＷを通じたビットプレーン符号化において高い優先度を有する場合、送信側での同様のビットプレーンカットオフにより、受信側において低周波数残差の損失が少なくない、これによりＦＧＳレイヤでのより良好な出力クオリティが導かれる。これら２つのビットレート間の残差の差だけＦＷ量は支配される。低周波数残差がより補償されるほど、３００ｋｂｐｓでのＦＧＳとＳＬＳとの間のクオリティギャップはより小さくなる。
【００２１】
次に、差分プロットシステム１８（図１）は、２つのＤＣＴ残差プロットの平均残差の差をプロットする。図７は、図６の２つのプロット（すなわち、１００ｋｂｐｓでのプロットから３００ｋｂｐｓでのプロットの差）に対する平均残差の差分曲線６０を示す一例となるプロットを示す。差分曲線６０は、上に示されるように、ＤＣＴジグザグ走査線に対応するＤＣＴ係数位置によりプロットされる。その後、階段状曲線フィッティングシステム２０が階段状曲線６２を差分曲線６０に一致させる。
【００２２】
指針として２つの異なるビットレート（例えば、１００ｋｂｐｓと３００ｋｂｐｓのビットレート）に基づく平均ＤＣＴ残差の残差差分を利用して、ＦＷ行列の重みが、残差差分の形状に一致した階段状曲線６２を使って選ばれる。その後、各ＤＣＴ係数に対する一致させられた階段状の値が、上述のように、同一のジグザグ構成においてＦＷ行列にマッピングされる。例えば、エネルギー消費に従うように、左上から右下へのジグザグ直線上に配置された６４個の要素からなる４象限行列において、階段状曲線からのＤＣＴ係数の重みは、ＦＷ行列において以下のように配置される。
【００２３】
【表２】
2005507621.tif 000004
実際の係数を含む一例となるＦＷ行列は以下のようになる。
【００２４】
【表３】
2005507621.tif 000005
ここで、実現されたシステムにおいて採用されるビットプレーンの合計は、ＦＷ行列の重みを限定するかもしれない。特に、階段との一致により選ばれた重みの１以上がビットプレーンの合計の上限より大きい場合、重みは重み調整システム２１により正規化される。例えば、図６において、第１のＤＣＴ係数は７の重みを有する。しかしながら、ビットプレーン数が６に制限されている場合、第１係数の重みはその上限を超えることになるであろう。この場合、重み調整システム２１は、第１係数の重みが利用可能なビットプレーンの合計の上限に等しくなるまで、生成された階段状曲線を実質的に左にシフトすることによりこの階段状曲線を修正する。このようにして、正規化された階段状曲線はもとの階段状曲線と平行に保たれる。他の調整アルゴリズムが本発明の範囲を逸脱することなく同様に利用可能であるということが認識されるべきである。
【００２５】
「Ｆｏｒｅｍａｎ」シーケンス（すなわち、屋外シーンと顔シーン）の２つの異なるシーンに対する２つの一例となる階段に一致したＦＷ行列が図８に示される。
【００２６】
図２を参照するに、（１）映像データ３０を符号化するＦＧＳエンコーダ３２と、（２）符号化された拡張レイヤ映像データ３８を復号し、復号化された映像データ４６を生成するＦＧＳ拡張レイヤデコーダ４０を有するＦＧＳ拡張レイヤ符号化システム５０が示される。ＦＧＳエンコーダ３２は、シーケンス解析システム３４、行列選択システム３６、及び、上述のようにＦＷ行列生成システム１０から生成されたＦＷ行列群２２を有する。シーケンス解析システム３４は、１以上のシーン特性（例えば、高アクティブ性、低輝度など）を判断するため、入力された映像データ３０を調べる。その後、行列選択システム３６が当該シーン特性に対応するＦＷ行列群２２から行列４４を選択する。その後、選択されたＦＷ行列４４は、映像データ３０の符号化に利用され、ＦＷ行列４４はまた、符号化された拡張レイヤ映像データ３８の出力されたシーケンスヘッダに含まれる。シーン特性の変化に従い、新しいＦＷ行列４４が更新及び再送される。
【００２７】
一つのシーンタイプに対して各ＦＷ行列が選ばれる。従って、シーンの変更が検出されなければ、ＦＷ行列選択は一度実行されるだけである。シーンが変わると（あるいは残差特性が変わると）、ＦＷ行列が再選択及び送信される必要がある。
【００２８】
シーンの変更は、ＥＬデータにおける輝度、動き、アクティブ性などのシーン特性を解析することにより特定されるかもしれない。ロウバストなシーン変化検出アルゴリズムを、例えば、動きベクトル、複雑性測度Ｘｉ、一時的相関計算、またはこれらの組み合わせを利用することにより、シーケンス特性に関するＦＷ行列の適応に利用することができる。これらシーン特性パラメータは、ベースレイヤ符号化/レート制御ですでに計算されたパラメータの再利用が可能であるので、大きな複雑さを加えることはない。
【００２９】
図２を再び参照するに、符号化された拡張レイヤ映像データ３８の受信及び復号化のためのＦＧＳ拡張レイヤデコーダ４０が示される。上記のように、選択されたＦＷ行列４４は、符号化された拡張レイヤ映像データ３８と共にシーケンスヘッダにおいて送信され、符号化された拡張レイヤ映像データ３８の処理及び復号化のため、ＦＧＳデコーダ４０により利用される。新しいＦＷ行列が受信及び復号化されると、適応システム４１が古いＦＷ行列を取り替え、新しいＦＷ行列が以降の映像ビットストリームの復号化に利用される。
【００３０】
上述のシステム、機能、機構、方法及びモジュールは、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせにより実現可能であるということが理解される。それらは、任意のタイプのコンピュータシステムまたは上述の方法を実行するよう適応された他の装置により実現されてもよい。ハードウェアとソフトウェアの典型的な組み合わせは、ロード及び実行されると、上記方法を実行するようコンピュータシステムを制御するコンピュータプログラムを有する汎用コンピュータシステムであってもよい。あるいは、本発明の機能タスクの１以上を実行する特化したハードウェアを含む特定用途向けコンピュータの利用が可能である。本発明はまた、上述の方法及び機能の実現を可能にするあらゆる特徴を有し、コンピュータシステムへのロードにより、これらの方法及び機能を実行することが可能なコンピュータプログラムプロダクツに埋め込み可能である。ここで、コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクツあるいはソフトウェアは、情報処理能力を有するシステムに、（a）他の言語、コードあるいは記号への変換、及び/または（ｂ）異なる材料形態での再生のうちの一方または両方に直接あるいは後に特定の機能を実行させることを意図したインストラクションセットの任意の言語、コードまたは記号での任意の表現を意味する。
【００３１】
本発明の好適な実施例の前述の説明は、例示及び説明のため与えられたものである。それらは、網羅的であることを意図したものではないし、また本発明を開示された形態に限定することを意図したものでもない。明らかに、多くの変更及び変形が上記教示により可能である。当業者には明らかなそのような変更及び変形は、添付されたクレームにより定義された本発明の範囲内に含まれる。
【図面の簡単な説明】
【００３２】
【図１】図１は、本発明の一実施例によるＦＷ行列生成システムのブロック図を示す。
【図２】図２は、本発明の一実施例によるＦＧＳエンコーダとＦＧＳデコーダのブロック図を示す。
【図３】図３は、一例となる周波数加重ビットプレーンを示す。
【図４】図４は、ＦＧＳ＋ＢＬ及びシングルレイヤスイッチング（ＳＬＳ）を利用して符号化されたＦｏｒｅｍａｎ映像シーケンスの対象画質を比較するグラフを示す。
【図５】図５は、Ｆｏｒｅｍａｎ映像シーケンスに対する１００ｋｂｐｓ及び３００ｋｂｐｓでのＢＬ符号化のＤＣＴ残差差分を示すグラフを示す。
【図６】図６は、Ｆｏｒｅｍａｎ映像シーケンスの１００ｋｂｐｓ及び３００ｋｂｐｓで符号化された１つの映像フレームに対するＤＣＴ残差振幅のプロットを示す。
【図７】図７は、一致した階段状曲線と共に図６のプロットの平均残差差分を示す。
【図８】図８は、異なる２つの映像シーケンスに対する平均残差差分と一致した階段を示す。
【図１】
2005507621.tif 000006
【図２】
2005507621.tif 000007
【図３】
2005507621.tif 000008
【図４】
2005507621.tif 000009
【図５】
2005507621.tif 000010
【図６】
2005507621.tif 000011
【図７】
2005507621.tif 000012
【図８】
2005507621.tif 000013
【国際公開パンフレット】
2005507621.tif 000014
2005507621.tif 000015
2005507621.tif 000016
2005507621.tif 000017
2005507621.tif 000018
2005507621.tif 000019
2005507621.tif 000020
2005507621.tif 000021
2005507621.tif 000022
2005507621.tif 000023
2005507621.tif 000024
2005507621.tif 000025
2005507621.tif 000026
2005507621.tif 000027
2005507621.tif 000028
2005507621.tif 000029
2005507621.tif 000030
2005507621.tif 000031
2005507621.tif 000032
2005507621.tif 000033
2005507621.tif 000034
【国際公開パンフレット（コレクトバージョン）】
2005507621.tif 000035
【国際調査報告】
2005507621.tif 000036
2005507621.tif 000037
2005507621.tif 000038