(57)【要約】本発明は、フレームの逐次的群に分割されたオリジナルの映像シーケンスに対応する符合化ビットストリームの圧縮のための映像符合化方法に関する。シーケンスの各々のＧＯＦに適用されるこの方法は、次の段階であって：（ａ）低周波数及び高周波数時間サブバンドに現在のＧＯＦの時空間多重解像度分解に導く時空間分析段階であって、該段階自体は、動き推定副段階と、動き補償時間フィルタリング副段階と、空間分析副段階とを有する、時空間分析段階；（ｂ）前記動き推定段階により得られた動きベクトルにおいて及び前記低周波数及び高周波数時間サブバンドにおいて実行された符合化段階；を有する。本発明に従って、前記時空間分析段階は又、入力ＧＯＦサイズを動的に選択するための判定副段階を有し、前記判定副段階自体は、ＭＰＥＧ−７動きアクティビティ記述子に基づく動きアクティビティ前分析動作を有し、動き補償され及び時間的にフィルタリングされる第１時間分解レベルの入力フレームにおいて実行される。
2005538637.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ＝２ｎ（ｎ＝０、１又は２、，，，、）であるサイズのフレームの逐次的群に分割されたオリジナルの映像シーケンスに対応するビットストリームの圧縮のための映像符合化方法であって、前記符合化方法は、シーケンスの各々の逐次的ＧＯＦに適用される、次の段階であって：
２ｎの低周波数及び高周波数時間サブバンドに現在のＧＯＦの時空間多重解像度分解に導く時空間分析段階であって、該段階自体は、次の副段階であって、
動き推定副段階と、
前記動き推定に基づいて、現在のＧＯＦのフレームの２ｎ−１個の結合の各々において実行される動き補償時間フィルタリング副段階と、
前記フィルタリング副段階から結果として得られるサブバンドにおいて実行される空間分析副段階と、
を有する、時空間分析段階；
前記動き推定段階により得られた動きベクトルにおいて、及び時空間分析段階から結果として得られた前記低周波数及び高周波数時間サブバンドにおいて実行される符合化段階；
を有する符合化方法であり、
前記符合化方法は、前記時空間分析段階が又、入力ＧＯＦサイズを動的に選択するための判定副段階を有し、前記判定副段階自体は、ＭＰＥＧ−７動きアクティビティ記述子に基づく動きアクティビティ前分析動作を有し、動き補償され及び時間的にフィルタリングされる第１時間分解レベルのオリジナルの入力フレームにおいて実行される；
ことを更に特徴とする符合化方法。
【請求項２】
請求項１に記載の符合化方法であって、前記判定副段階は、前記第１時間分解レベルのフレーム全てに対してＭＰＥＧ−７動きアクティビティ記述子のアクティビティ属性の強度に基づいており、Ｎ個のオリジナルフレームに等しいＧＯＦサイズを有する前記第１時間分解レベルに対して、次の動作であって：
前記第１レベルを有するフレームの各々の対の間でＭＥを実行する動作であって、各々の対に対して、
動きベクトルの大きさの標準偏差を計算し、
アクティビティ値を計算する、
動作と；
平均アクティビティ強度Ｉ（ａｖ）を計算する動作であって、
Ｉ（ａｖ）は、厳密には、ユーザ指定値（例えば、中間強度に対応する）より大きい場合、入力ＧＯＦのサイズを半分Ｎまで減少させること、及び、それ故、得られた新しいＧＯＦに関する分析を再び行うことが決定されることが決定され、
Ｉ（ａｖ）は、前記ユーザ指定値に等しい場合、現在のＧＯＦサイズの値を保つこと、及びこのＧＯＦにおいてＭＣＴＦを実行することが決定され、
Ｉ（ａｖ）は、厳密には、前記ユーザ指定値より小さい場合、Ｎを２倍にすることによりＧＯＦの入力サイズを増加させること、及び、再び、このようにして得られた新しいＧＯＦに関する分析を行うことが決定される、
動作と；
を有する、ことを特徴とする符合化方法。
【請求項３】
Ｎ＝２ｎ（ｎ＝０、１又は２、，，，、）であるサイズのフレームの逐次的群に分割されたオリジナルの映像シーケンスに対応するビットストリームの圧縮のための映像符合化装置であって、前記符合化装置は、次の要素であって：
２ｎの低周波数及び高周波数時間サブバンドに現在のＧＯＦの時空間多重解像度分解に導く時空間分析手段であって、該分析手段自体は、
動き推定回路と、
前記動き推定の結果に基づいて、現在のＧＯＦのフレームの２ｎ−１個の結合の各々に適用される動き補償時間フィルタリング回路と、
前記時間フィルタリング回路により提供されるサブバンドに適用される空間分析回路と、
を有する、時空間分析手段；
前記動き推定回路により供給された動きベクトルに対して、及び前記時空間分析手段により供給された低周波数及び高周波数時間サブバンドに適用される符合化手段であって、組み込まれた符合化ビットストリームを供給する、符合化手段；
を有する、符合化装置であり、
前記符合化装置は、前記時空間分析手段が又、入力ＧＯＦサイズを選択するための判定回路を有することを更に特徴とし、前記符合化回路自体は、動きアクティビティ前分析段階を有志、ＭＰＥＧ−７動きアクティビティ記述子を用い、動き補償され及び時間的にフィルタリングされるように第１時間分解レベルの入力フレームに適用される；
ことを更に特徴とする符合化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームの逐次的群に分割されたオリジナルの映像シーケンスに対応するビットストリームの圧縮のための映像符合化法に関する。シーケンスの各々のＧＯＦに適用される、この符合化法は、（ａ）低周波数及び高周波数時間サブバンドに現在のＧＯＦの時空間多重解像度分解に導く時空間分析段階であって、該段階自体は、動き推定副段階と、現在のＧＯＦのフレームの２ｎ−１個の結合の各々において実行される動き補償時間フィルタリング副段階と、空間分析副段階と、を有する、時空間分析段階；並びに、（ｂ）前記動き推定段階により得られた動きベクトルにおいて、及び前記の低周波数及び高周波数時間サブバンドにおいて実行される符合化段階；を有する。本発明に従って、前記時空間分析段階は又、入力ＧＯＦサイズを動的に選択するための判定副段階を有し、前記判定副段階は、ＭＰＥＧ−７動きアクティビティ記述子に基づく動きアクティビティ前分析動作を有し、動き補償され及び時間的にフィルタリングされる第１時間分解レベルの入力フレームにおいて実行される。
【０００２】
本発明は又、前記符合化方法を実行するための映像符合化装置に関する。
【背景技術】
【０００３】
異種ネットワークに対する映像ストリーミングは高スケーラビリティ能力を必要とする。そのことは、ビットストリームの部分が、シーケンスの完全な復号化を伴わないで復号化されることができ、低品質（ＰＳＮＲ又はビットレートスケーラビリティ）を伴い又は小さい空間解像度又は時間解像度において初期映像情報を再構築するために結合されることができる。３つのスケーラビリティ（スケーラブル、時間的、ＰＳＮＲ）全てを達成するための都合のよい方法は、前記シーケンスの動き補償の後に実行される、入力映像シーケンスの３次元（３Ｄ又は２Ｄ＋ｔ）サブバンド分解である。
【０００４】
ＮＰＥＧ−４のような現在の規格は、付加的な高コストレイヤによりＤＣＴベースの予測フレームワークにおいて限定されたスケーラビリティを実行している。Ｆｕｌｌｙ  Ｓｃａｌａｂｌｅ  Ｚｅｒｏｔｒｅｅ（ＦＳＺ）と命名された技術に基づく符合化モジュールにより実行される、時空間ツリーの階層的符合化により後継される３Ｄサブバンド分解に基づく更に効率的な解決方法は、映像のための静止画像符合化技術の拡張として、最近、提案されてきた。３Ｄ又は（２Ｄ＋ｔ）サブバンド分解方法は、自然な空間解像度とフレームレートスケーラビリティとを提供する一方、階層的ツリーにおける係数の深さ方向スケーリング及びプログラム可能ビットプレーン符合化技術は、所望の品質スケーラビリティに導く。より高いフレキシビリティが、それ故、符合化効率に関して、妥当なコストで得られる。
【０００５】
ＩＳＯ／ＩＥＣ  ＭＰＥＧｎｏｒｍａｒｉｚａｔｉｏｎ  ｃｏｍｉｔｔｅｅは、２００１年１２月３〜７日にタイのＰａｔｔａｙａにおける５８回目の会議で、特に、将来の最適化のための成長度、効率性及び可能性に関して分析し、インタフェース（例えば、動き補償）ウェーブレット符合化のための技術的方法を調査するために、専門の臨時グループ（映像符合化におけるインタフェースウェーブレット技術の調査に関する臨時グループ）を立ち上げた。欧州特許出願公開第０１／０４３６１号明細書において開示されたコーデックは、そのような方法に基づいており、動き補償を伴う時間サブバンド分解を示す図１に示されている。そのコーデックにおいて、動き補償を伴う３Ｄウェーブレット分解がフレーム（ＧＯＦ）の群に適用され、これらのフレームはＦ１乃至Ｆ８を参照し、フレームの連続する対を組織化する。各々のＧＯＦは、動き補償時間フィルタリング（ＭＣＴＦ）モジュールのために、動き補償（ＭＣ）及び時間的フィルタリング（ＴＦ）がなされる。各々の時間分解レベルにおいて、結果として得られた低周波数時間サブバンドは、同様に、更にフィルタリングされ、２つの低周波数時間サブバンドのみが残される（図１において、分解の３つの段階であって、Ｌ及びＨ＝第１段階、ＬＬ及びＬＨ＝第２段階、ＬＬＬ及びＬＬＨ＝第３段階、の３段階が示される場合、それは、ルート時間サブバンドであり、ＬＬＬと呼ばれる）とき、プロセスは停止し、そのことは、入力ＧＯＦの時間的近似を表す。又、各々の分解レベルにおいて、動きベクトルフィールドの群（図１における、第１レベルのＭＶ４、第２レベルのＭＶ３，第３レベルのＭＶ２）が生成される。これら２つの動作がＭＣＴＦモジュールにおいて実行された後、このようにして得られた時間サブバンドのフレームは、更に空間的に分解され、サブバンド係数の時空間ツリーを生成する。
【０００６】
時間フィルタリング動作のために用いられるＨａａｒフィルタを用いて、動き推定（ＭＥ）及び動き補正（ＭＣ）が入力シーケンスの２つのフレーム毎に実行され、全体的な時間ツリーのために必要とされるＭＥ／ＭＣ動作の全数は予測スキームと略同じである。これらの非常に単純なフィルタを用いると、低周波数時間サブバンドはフレームの入力対の時間平均を表し、高周波数サブバンドは、ＭＣＴＦ動作の後に残留エラーを有する。
【０００７】
いずれのＭＣ  ３Ｄサブバンド映像符合化スキームは、入力ＧＯＦの時間的エネルギーと相対的なＭＣＴＦの特定効率に依存する。前記効率自体は、動き情報と、そのような情報が処理される方法とに依存する。例えば、低動きアクティビティの映像シーケンスにおいては、強い時間的相関関係が入力フレーム間に存在し、その相関関係はこう動きアクティビティシーケンスにおいては、もはや確認されることはない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
それ故、本発明の目的は、動きアクティビティに関連する上記の観測を考慮することにより符合化効率の改善が得られる符合化方法を提供することである。
【課題を解決するための手段】
【０００９】
このために、本発明は、本明細書の冒頭で説明したような符合化方法に関し、その符合化方法は、前記時空間分解段階が又、入力ＧＯＦサイズを動的に選択するための判定副段階を有し、前記判定副段階自体は、ＭＰＥＧ−７動きアクティビティ記述子に基づく動きアクティビティ前分析動作を有し、動き補償がなされるように第１時間分解レベルの入力オリジナルフレームにおいて実行され、時間的にフィルタリングされる。
【００１０】
特に優位性のある実行に従うと、前記方法は、フレーム全てに対知るＭＰＥＧ−７動きアクティビティ記述子のアクティビティ属性の強度又は現在の時間分解レベルのサブバンドに基づいて、Ｎ個のオリジナルの入力フレームに等しいＧＯＦサイズを有する第１時間分解レベルに対して、次のような動作であって：
ａ）前記第１レベルを有する、各々のフレームの対の間でＭＥを実行する動作であって、各々の対に対して、
−動きベクトルの大きさの標準偏差を計算し、
−アクティビティ値を計算する、
動作と；
ｂ）平均アクティビティ強度Ｉ（ａｖ）を計算する動作であって、
−Ｉ（ａｖ）は、中間強度に対応する強度に対して、厳密には、指定値より大きい場合、入力ＧＯＦのサイズを半分Ｎまで減少させること、及び、それ故、得られた新しいＧＯＦに関する分析を再び行うことが決定されることが決定され、
−Ｉ（ａｖ）は、前記指定値に等しい場合、現在のＧＯＦサイズの値を保つこと、及びこのＧＯＦにおいてＭＣＴＦを実行することが決定され、
−Ｉ（ａｖ）は、厳密には、前記指定値より小さい場合、Ｎを２倍にすることによりＧＯＦの入力サイズを増加させること、及び、再び、このようにして得られた新しいＧＯＦに関する分析を行うことが決定される、
動作と、を有する。
【００１１】
第１時間分解レベルに対するＧＯＦサイズ選択（オリジナルの入力フレームに比べて）は、これらのフレームのＭＥに部分的に基づくため、このような技術的解決方法は、全体的なＭＣＴＦモジュールの小さい複雑性の増加に繋がり、このことは、しかしながら、結局、それ自体のプロセスに対してこの略同様な動き情報を再使用する。更に、互いに異なるＧＯＦサイズの変化は、多くの動き情報が既に利用可能であるため、オリジナルの入力フレームの完全な再分析を必要としないことに留意する必要がある。
【００１２】
本発明の他の目的は、そのような符合化方法を実行するための符合化装置を提供することである。
【００１３】
そのために、本発明は、Ｎ＝２ｎ（ｎ＝０、１又は２、，，，、）であるサイズのフレームの逐次的群に分割されたオリジナルの映像シーケンスに対応するビットストリームの圧縮のための映像符合化装置であって、前記符合化装置は、次の要素であって：
ａ）２ｎの低周波数及び高周波数時間サブバンドに現在のＧＯＦの時空間多重解像度分解に導く時空間分析手段であって、該分析手段自体は、
−動き推定回路と、
−前記動き推定の結果に基づいて、現在のＧＯＦのフレームの２ｎ−１個の結合の各々に適用される動き補償時間フィルタリング回路と、
−前記時間フィルタリング回路により提供されるサブバンドに適用される空間分析回路と、
を有する、時空間分析手段；
ｂ）前記動き推定回路により供給された動きベクトルに対して、及び前記時空間分析手段により供給された低周波数及び高周波数時間サブバンドに適用される符合化手段であって、組み込まれた符合化ビットストリームを供給する、符合化手段；
を有する、符合化装置であり、
前記符合化装置は、前記時空間分析手段が又、入力ＧＯＦサイズを選択するための判定回路を有することを更に特徴とし、前記符合化回路自体は、動きアクティビティ前分析段階を有志、ＭＰＥＧ−７動きアクティビティ記述子を用い、動き補償されかつ時間的にフィルタリングされるように第１時間分解レベルの入力フレームに適用される、
符合化装置である。
【００１４】
ここで、動き補償を用いて、入力映像シーケンスの時間サブバンド分解を示す図１を参照して、本発明について、説明する。
【発明を実施するための最良の形態】
【００１５】
上記のように、いずれのＭＣ  ３Ｄサブバンド映像符合化スキームの全体的な効率は、入力ＧＯＦの時間エネルギーに相対するＭＣＴＦモジュールの特定の効率に依存する。パラメータ“ＧＯＦサイズ”はＭＣＴＦの成功のための主パラメータであるため、本発明に従って、基準としての（ＭＰＥＧ−７）動き記述子（文献“Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ  ＭＰＥＧ−７  Ｓｔａｎｄａｒｄ，ｖｅｒｓｉｏｎ  ６．０”，ＩＳＯ／ＩＥＣ  ＪＴＣＩ／ＳＣ２９／ＷＧ１１  Ｎ４５０９，Ｐａｔｔａｙａ，Ｔｈａｉｒａｎｄ，Ｄｅｃｅｍｂｅｒ  ２００１，ｐｐ．１−９３参照）を用いて、動き補償され且つ時間的にフィルタリングされる、オリジナルの入力フレーム（第１時間レベルを筆禍ウするフレーム）の動的動きアクティビティ前分析からこのパラメータを導き出すことが提供される。以下の説明は、どの記述子画用いられるか、及び、それが上記の符合化パラメータの選択にどのように影響するかを規定する。
【００１６】
上記の３Ｄ映像符合化スキームにおいて、ＭＥ／ＭＣは、一般に、現在の時間分解レベルのフレーム（サブバンド）の各々の対において任意に実行される。本発明に従って、ＭＰＥＧ−７動きアクティビティ記述子の“アクティビティの強度”属性に従って入力ＧＯＦサイズを動的に選択することを、ここで、提案する。これは、第１時間分解レベルのフレーム全部に対するものである。本発明の実施形態の例においては、“アクティビティの強度”は［１，５］の範囲内の整数値をとる。例えば、１は“非常に小さい強度”を意味し、５は“非常に大きい強度”を意味する。このようなアクティビティ強度属性は、その選択が、とにかく、従来のＭＣＴＦスキームにおいて、そのようにして得られた動きベクトルの大きさの統計的特性を用いてなされるため、ＭＥを実行することにより得られる。動きベクトルの大きさの量子化された標準偏差は、動きアクティビティ強度に対する良好なメトリックであり、強度値は、閾値を用いて、標準偏差から導き出される。入力ＧＯＦサイズは、それ故、次のように説明するように、得られる。
“Ｎ個のオリジナルの入力フレームに等しいＧＯＦサイズを有する第１時間分解レベルに対して、次の動作であって：
ａ）前記第１レベルを有するフレームの各々の対の間でＭＥを実行する動作であって、各々の対に対して
−動きベクトルの大きさの標準偏差を計算し、
−アクティビティ値を計算する、
動作と；
ｂ）平均アクティビティ強度Ｉ（ａｖ）を計算する動作であって、
−Ｉ（ａｖ）は、（中間強度に対応する強度に対して）厳密には、指定値より大きい場合、入力ＧＯＦのサイズを半分Ｎまで減少させること、及び、それ故、得られた新しいＧＯＦに関する分析を再び行うことが決定されることが決定され、
−Ｉ（ａｖ）は、前記指定値に等しい場合、現在のＧＯＦサイズの値を保つこと、及びこのＧＯＦにおいてＭＣＴＦを実行することが決定され、
−Ｉ（ａｖ）は、厳密には、前記指定値より小さい場合、Ｎを２倍にすることによりＧＯＦの入力サイズを増加させること、及び、再び、このようにして得られた新しいＧＯＦに関する分析を行うことが決定される、
動作と；
を有する。
【００１７】
ＧＯＦが２倍にされる場合であって、それが、新しいＧＯＦの一の半分がすでにロードされたフレームを有し、他の半分は続くフレームを有することを意味する、場合、分析（ＭＥ及びＩ（ａｖ）計算）は新しくロードされたフレームのみにおいてなされる。そうでなければ、ＧＯＦが半分にされる場合、新しい分析のために必要な要求される情報全ては既に計算されており、Ｉ（ａｖ）のみが半分のＧＯＦに対して再計算される必要がある。それ故、本発明は、ＧＯＦサイズが全体のシーケンスに対して任意に選択され、固定された、従来のプロセスと比較して、全体的に小さい複雑性の増加を示す。
【図面の簡単な説明】
【００１８】
【図１】動き補償を伴う、入力映像シーケンスの時間サブバンド分解を示す図である。
【図１】
2005538637.tif 000003
【国際調査報告】
2005538637.tif 000004
2005538637.tif 000005