(57)【要約】本発明は、一連のグループ・オブ・フレーム（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームの圧縮のためのビデオ符号化方法に係る。この符号化方法は、シーケンスの各一連のＧＯＦに適用され、ａ）現在のＧＯＦの２ｎ個の低及び高周波時間サブバンドへの時空間多重解像度分解をもたらす時空間解析段階と、ｂ）符号化段階を有し、時空間解析段階は、動き推定下位段階と、動き補償された時間フィルタリング下位段階と、空間解析下位段階を有し、符号化段階は、低及び高周波時間サブバンドと、動き推定下位段階により得られる動きベクトルに行われる。本発明では、時空間解析段階は更に、動き推定下位段階をアクティブにする又はアクティブにしないための判断下位段階を有し、判断下位段階は、ＭＰＥＧ−７動き活動記述子に基づき、動き補償され且つ時間フィルタリングされるべき入力フレーム又はサブバンドに行われる動き活動事前解析演算を有する。
2005533431.tif 000002
【特許請求の範囲】
【請求項１】
一連のグループ・オブ・フレーム（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームの圧縮のためのビデオ符号化方法であって、
前記グループ・オブ・フレームのサイズは、Ｎ＝２ｎであり、ただし、ｎ＝０又は１又は２．．．であり、
前記符号化方法は、前記シーケンスの各一連のＧＯＦに適用される以下の段階：
ａ）現在のＧＯＦの２ｎ個の低及び高周波時間サブバンドへの時空間多重解像度分解をもたらす時空間解析段階と、
ｂ）符号化段階と、
を有し、
前記時空間解析段階は、
−動き推定下位段階と、
−前記動き推定に基づいて前記現在のＧＯＦの２ｎ−１個のフレーム対のそれぞれに行われる動き補償された時間フィルタリング下位段階と、
−前記時間フィルタリング下位段階の結果もたらされるサブバンドに行われる空間解析下位段階と、
を有し、
前記符号化段階は、前記時空間解析段階の結果もたらされる前記低及び高周波時間サブバンドと、前記動き推定下位段階により得られる動きベクトルに行われ、
前記符号化方法は更に、前記時空間解析段階は更に、
前記動き推定下位段階をアクティブにする又はアクティブにしないための判断下位段階を有し、
前記判断下位段階は、
ＭＰＥＧ−７動き活動記述子に基づき、動き補償され且つ時間フィルタリングされるべき入力フレーム又はサブバンドに行われる動き活動事前解析演算を有することを特徴とする方法。
【請求項２】
前記判断下位段階は、現在の時間分解レベルの全部のフレーム又はサブバンドについての前記ＭＰＥＧ−７動き活動記述子の活動の強度属性に基づき、また、以下の演算：
１）特定の時間分解レベルについて、
ａ）前記特定の時間分解レベルを構成する各フレーム（又はサブバンド）対間でＭＥを行い、
各対に対して、
−動きベクトル大きさの標準偏差を計算し、
−活動値を計算し、
ｂ）平均活動強度Ｉ（ａｖ）を計算し、
−Ｉ（ａｖ）が５（「非常に高い強度」に対応する値）である場合、現在の時間分解レベル及び後続のレベルのそれぞれについて、ＭＥを非アクティブにすると判断し、
−Ｉ（ａｖ）が厳密に５より下である場合、現在の時間分割レベルについて、ＭＥをアクティブにすると判断する演算と、
２）次の時間分解レベルに移動する演算と、
を有する請求項１記載の符号化方法。
【請求項３】
一連のグループ・オブ・フレーム（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームの圧縮のためのビデオ符号化装置であって、
前記グループ・オブ・フレームのサイズは、Ｎ＝２ｎであり、ただし、ｎ＝０又は１又は２．．．であり、
前記符号化装置は、以下の構成要素：
ａ）前記シーケンスの各一連のＧＯＦに適用され、現在のＧＯＦの２ｎ個の低及び高周波時間サブバンドへの時空間多重解像度分解をもたらす時空間解析手段と、
ｂ）符号化手段と、
を有し、
前記時空間解析手段は、
−動き推定回路と、
−前記動き推定の結果に基づき、前記現在のＧＯＦの２ｎ−１個のフレーム対のそれぞれに適用される動き補償された時間フィルタリング回路と、
−前記時間フィルタリング回路により供給されるサブバンドに適用される空間解析回路と、
を有し、
前記符号化手段は、前記時空間解析手段により供給される前記低及び高周波時間サブバンドと、前記動き推定回路により供給される動きベクトルに適用され、
前記符号化装置は更に、前記時空間解析手段は更に、
前記動き推定回路をアクティブにする又はアクティブにしないための判断回路を有し、
前記判断回路は、
ＭＰＥＧ−７動き活動記述子を用い、動き補償され且つ時間フィルタリングされるべき入力フレーム又はサブバンドに適用される動き活動事前解析段を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一連のグループ・オブ・フレーム（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームの圧縮のためのビデオ符号化方法に係り、グループ・オブ・フレームのサイズは、Ｎ＝２ｎであり、ただし、ｎ＝０又は１又は２．．．である。上述の符号化方法は、シーケンスの各一連のＧＯＦに適用される以下の段階：
ａ）現在のＧＯＦの２ｎ個の低及び高周波時間サブバンドへの時空間多重解像度分解をもたらす時空間解析段階と、
ｂ）符号化段階と、
を有し、上述の時空間解析段階は、
−動き推定下位段階と、
−上述の動き推定に基づいて現在のＧＯＦの２ｎ−１個のフレーム対のそれぞれに行われる動き補償された時間フィルタリング下位段階と、
−上述の時間フィルタリング下位段階の結果もたらされるサブバンドに行われる空間解析下位段階と、
を有し、
上述の符号化段階は、上述の時空間解析段階の結果もたらされる低及び高周波時間サブバンドと、上述の動き推定下位段階により得られる動きベクトルに行われる。
【０００２】
本発明は更に、上述の符号化方法を実行するビデオ符号化装置にも係る。
【背景技術】
【０００３】
異種ネットワークを介するビデオストリーミングは、高いスケーラビリティ能力を必要とする。これは、ビットストリームの一部が、そのシーケンスの完全な復号化無しに復号化可能であり、また、低い空間又は時間解像度（空間／時間スケーラビリティ）か、又は、低品質（ＰＳＮＲ又はビットレートスケーラビリティ）で最初のビデオ情報を再構成するよう組合わせ可能であることを意味する。これらの全て３タイプのスケーラビリティ（スケーラブル、時間的、ＰＳＮＲ）を達成する１つの好都合な方法は、入力ビデオシーケンスの動き補償後に行われる入力ビデオシーケンスの３次元（３Ｄ、又は、２Ｄ＋ｔ）サブバンド分解である。
【０００４】
ＭＰＥＧ−４といった現在の規格は、追加の高コストのレイヤによって予測ＤＣＴに基づいたフレームワークにおいて限られたスケーラビリティを実施している。フリー・スケーラブル・ゼロツリー（Fully  Scalable  Zerotree）（ＦＳＺ）と名付けられた技術に基づいて符号化モジュールにより行われる時空間ツリーの層符号化が後に続く３Ｄサブバンド分解に基づいたより効率の良い解決策が、ビデオ用の静止画像符号化技術の拡張として最近提案されており、この３Ｄ又は（２Ｄ＋ｔ）サブバンド分解は、自然な空間解像度とフレームレートスケーラビリティを与え、一方、階層ツリーにおける係数の徹底的な（in  depth）走査とプログレッシブビットプレーン符号化技術は、所望の品質スケーラビリティをもたらす。符号化効率という点において妥当なコストで高い柔軟性が得られる。
【０００５】
ＩＳＯ／ＩＥＣ  ＭＰＥＧ正規化委員会は、２００１年１２月３−７日、タイのパタヤで行われた第５８回会議において、特に、フレーム間（例えば、動き補償された）ウェーブレット符号化に対する技術的なアプローチを調査し、成熟度、効率、及び将来の最適化のための可能性という点で解析するために、専用特別グループ（ビデオ符号化におけるフレーム間ウェーブレット技術の調査の専用特別グループ（ＡＨＧ））を発足した。文書ＰＣＴ／ＥＰ０１／０４３６１（ＰＨＦＲ００００４４）に記載されるコーデックは、動き補償を用いた時間サブバンド分割を示す図１に説明されるそのようなアプローチに基づいている。そのコーデックにおいて、動き補償を用いた３Ｄウェーブレット分解は、グループ・オブ・フレーム（ＧＯＦ）に適用され、これらのフレームは、Ｆ１乃至Ｆ８の符号が付けられ、一連のフレーム対にまとめられる。各ＧＯＦは、動き補償時間フィルタリング（ＭＣＴＦ）モジュールにより、動き補償（ＭＣ）され、及び、時間フィルタリング（ＴＦ）されている。各時間分解レベルにおいて、結果として得られる低周波時間サブバンドは、同様に、更にフィルタリングされ、そして、処理は、入力ＧＯＦの時間的な近似を表す１つの時間低周波サブバンド（図１では、３つの分解段階、即ち、Ｌ及びＨ＝第１の段階、ＬＬ及びＬＨ＝第２の段階、ＬＬＬ及びＬＬＨ＝第３の段階を示し、これは、ＬＬＬと称する基礎の時間サブバンドである）だけが残ると停止する。更に、各分解レベルにおいて、動きベクトルフィールドのグループ（図１では、第１のレベルにおけるＭＶ４、第２のレベルにおけるＭＶ３、第３のレベルにおけるＭＶ２）が生成される。ＭＣＴＦモジュール内でこれらの２つの演算が行われた後、このように得られた時間サブバンドのフレームは、更に空間分解され、サブバンド係数の時空間ツリーが生成される。
【０００６】
時間フィルタリング演算に（Haar）フィルタが用いられると、動き推定（ＭＥ）、及び動き補償（ＭＣ）は、入力シーケンスの２フレーム毎にのみ行われ、時間ツリー全体に必要なＭＥ／ＭＣ演算の総数は、予測スキームにおけるのと略同じである。これらの非常に単純なフィルタを用いて、低周波時間サブバンドは、入力フレーム対の時間的な平均を表し、一方、高周波時間サブバンドは、ＭＣＴＦ演算後の残差を有する。
【０００７】
あるパラメータが、動き補償３Ｄサブバンドビデオ符号化スキームのＭＣＴＦモジュールに関連があると識別されている。即ち、それは、動き推定のアクティブ化、即ち、「ＭＥアクティブ化」と呼ばれるものであり、又は、つまり、入力フレーム対（第１の時間レベルについては）又はサブバンド（後のレベルについては）にＭＥを行うか否かの判断である。動き活動の多いシーケンスについて、ＭＥを用い、従って、動き軌跡に沿って時間フィルタリングを行うことは、全体の符号化効率を増加することが実際に観察されている。しかし、符号化効率におけるこの増加は、動きベクトルについてのあまりにも可能である高いオーバーヘッドによって、低ビットレートでの復号化の場合には損なわれる場合がある（尚、スケーラブル符号化のフレームワークでは、符号化ビットレートは事前には既知ではないことに留意しなければならない）。従って、ある状況においては、テクスチャ符号化（及び復号化）のために最大限のビットレートを維持するようＭＥをアクティブにしないと判断することがより効率的であり得る。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従って、本発明は、ＭＣＴＦモジュールにおけるＭＥアクティブ化が任意に選択されるか又は後天的に、即ち、実際にＭＣＴＦを行った後にのみ得られた特定の情報から得られる、現在のＭＣ３Ｄサブバンドビデオ符号化スキームにおいて見受けられる従来の解決策を回避する符号化方法を提供することを目的とする。
【０００９】
本発明は、このような符号化方法を実行する符号化装置を提案することをもう１つの目的とする。
【課題を解決するための手段】
【００１０】
このために、本発明は、この説明の導入段落に記載するような符号化方法に係り、この符号化方法は更に、時空間解析段階は更に、動き推定下位段階をアクティブにする又はアクティブにしないための判断下位段階を有し、この判断下位段階は、ＭＰＥＧ−７動き活動記述子に基づき、動き補償され且つ時間フィルタリングされるべき入力フレーム又はサブバンドに行われる動き活動事前解析演算を有することを特徴とする。
【００１１】
特に有利な実施では、本発明の方法は、上述の判断下位段階は、現在の時間分解レベルの全部のフレーム又はサブバンドについてのＭＰＥＧ−７動き活動記述子の活動の強度属性に基づき、また、以下の演算：１）特定の時間分解レベルについて、ａ）特定の時間分解レベルを構成する各フレーム（又はサブバンド）対間でＭＥを行い、各対に対して、動きベクトル大きさの標準偏差を計算し、活動値を計算し、ｂ）平均活動強度Ｉ（ａｖ）を計算し、Ｉ（ａｖ）が５（「非常に高い強度」に対応する値）である場合、現在の時間分解レベル及び後続のレベルのそれぞれについて、ＭＥを非アクティブにすると判断し、Ｉ（ａｖ）が厳密に５より下である場合、現在の時間分割レベルについて、ＭＥをアクティブにすると判断する演算と、２）次の時間分解レベルに移動する演算を有することを特徴とする。
【００１２】
特定のレベルについてのＭＥ非アクティブ化は、後続のレベルについてのＭＥ非アクティブ化を結果としてもたらすので、この技術的解決策は、ＭＣＴＦモジュール全体のかなりの複雑さ低減をもたらし、一方、依然として、良好な圧縮効率と、特に、動きベクトルオーバーヘッドと画質の良好な妥協点を提供する。
【発明を実施するための最良の形態】
【００１３】
本発明を、添付図面を参照しながら例示的に説明する。
【００１４】
上述したように、任意のＭＣ３Ｄサブバンドビデオ符号化スキームの効率全体は、入力ＧＯＦの時間的なエネルギーのコンパクト化におけるそのＭＣＴＦモジュールの特定の効率に依存する。「ＭＥアクティブ化」パラメータは、ＭＣＴＦの成功のためには重要なパラメータであると知られているので、本発明では、このパラメータを、規範的な（ＭＰＥＧ−７）動き記述子（「Overview  of  the  MPEG-7  Standard,  version  6.0」、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ４５０９、タイ、パタヤ、２００１年１２月、１乃至９３頁を参照されたい）を用いて、動き補償時間フィルタリングされるべき入力フレーム（又はサブバンド）の動的動き活動事前解析から得ることを提案する。以下の説明では、どの記述子が用いられ、その記述子がどのように上述した符号化パラメータの選択に影響を与えるのかを説明する。
【００１５】
上述した３Ｄビデオ符号化スキームにおいて、ＭＥ／ＭＣは、一般的に、現在の時間分解レベルの各フレーム対（又はサブバンド対）に任意に行われる。ＭＰＥＧ−７の動き活動（motion  Activity）記述子の「活動の強度（Intensity  of  activity）」属性に応じてＭＥをアクティブ化又は非アクティブ化し、また、このことを、現在の時間分解レベルの全部のフレーム又はサブバンドに対して行うことを提案する（活動の強度は、その整数値を［１，５］の範囲に取り、例えば、１は、「非常に低い強度」を意味し、５は、「非常に高い強度」を意味する）。この活動強度属性は、従来のＭＣＴＦスキームにおいて任意の方法で行われるようにＭＥを行い、それにより得られた動きベクトルの大きさの統計的特性を用いることによって得られる。動きベクトルの大きさの量子化された標準偏差は、動き活動強度の良好な測定基準であり、強度値は、閾値を用いた標準偏差から得ることができる。ＭＥアクティブ化は、従って、以下に説明するように得られる。
１）特定の時間分解レベルについて、
ａ）そのレベルを構成する各フレーム（又はサブバンド）対間でＭＥを行い、
各対に対して
−動きベクトル大きさの標準偏差を計算し、
−活動値を計算し、
ｂ）平均活動強度Ｉ（ａｖ）を計算し、
−Ｉ（ａｖ）が５（「非常に高い強度」に対応する値）である場合、現在の時間分解レベル及び後続のレベルのそれぞれについて、ＭＥを非アクティブにすると判断し、
−Ｉ（ａｖ）が厳密に５より下である場合、現在の時間分割レベルについて、ＭＥをアクティブにすると判断し、
２）次の時間分解レベルに移動する。
【００１６】
ＭＥが、そのような事前解析に基づいて、特定のレベルについてアクティブにされると、動きベクトルは既に計算され、そのレベルのＭＣＴＦにすぐに用いることが可能である。対照的に、ＭＥが非アクティブにされると、事前解析の必要性のために予め計算される動きベクトルは無用であり、捨て去ることが可能である。更に、特定のレベルに対するＭＥ非アクティブ化は、後続のレベルのＭＥ非アクティブ化を結果としてもたらし、これは、ＭＥが動きベクトルフィールドのグループＭＶ４に対応する第１の時間分解レベルについてのみアクティブにされ、後続のレベルについては非アクティブにされる場合に対応する図２に例として示すように、ＭＣＴＦモジュール全体の複雑さの減少をもたらす。
【図面の簡単な説明】
【００１７】
【図１】動き補償を用いた入力ビデオシーケンスの従来の時間サブバンド分解を示す図である。
【図２】ＭＥが、第１の時間分割レベルについてのみアクティブにされ、後続のレベルについては非アクティブにされる本発明の時間サブバンド分割を示す図である。
【図１】
2005533431.tif 000003
【図２】
2005533431.tif 000004
【国際調査報告】
2005533431.tif 000005
2005533431.tif 000006