(57)【要約】オーバーレイ領域においてスキップ可能領域を特定することにより、デコーダの計算複雑さを低減するシステム及び方法。本発明は、符号化された映像データを処理する、オーバーレイ領域を有する現在映像フレームが以降の映像フレームに対する基準となるか判断する解析システムと、当該オーバーレイ領域においてスキップ可能領域を特定するシステムとを有するシステムを提供する。本発明はまた、動きベクトルまたは動きベクトル範囲の解析に基づき、オーバーレイ領域の一部をスキップ可能として特定するシステムを有する。
2005506776.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像データを処理する最適化システムであって、
オーバーレイ領域を有する現在映像フレームが以降の映像フレームに対する基準となるか判断するフレーム解析システムと、
前記オーバーレイ領域においてスキップ可能領域を特定するシステムとを有することを特徴とする最適化システム。
【請求項２】
請求項１記載の最適化システムであって、前記フレーム解析システムは前記現在映像フレームの画像タイプをチェックし、前記特定するシステムは、前記現在映像フレームがB画像を有する場合、前記オーバーレイ領域全体を前記スキップ可能領域として特定することを特徴とする最適化システム。
【請求項３】
請求項１記載の最適化システムであって、前記フレーム解析システムは映像フレームシーケンスをチェックし、前記特定するシステムは、前記映像フレームシーケンスの何れもが基準フレームとならない場合、前記オーバーレイ領域全体を前記スキップ可能領域として特定することを特徴とする最適化システム。
【請求項４】
請求項１記載の最適化システムであって、さらに、
前記現在映像フレームに対する動きベクトル範囲を計算する動きベクトル解析システムを有することを特徴とする最適化システム。
【請求項５】
請求項４記載の最適化システムであって、前記スキップ可能領域は前記動きベクトル範囲により画成される領域より小なる前記オーバーレイ領域を有することを特徴とする最適化システム。
【請求項６】
請求項１記載の最適化システムであって、さらに、
前記現在映像フレームの前記オーバーレイ領域における予測マクロブロックを特定するため、前記現在映像フレームを参照する予測されたフレームにおける動きベクトルをチェックする動きベクトル解析システムを有することを特徴とする最適化システム。
【請求項７】
請求項６記載の最適化システムであって、前記スキップ可能領域は前記現在映像フレームの前記オーバーレイ領域において特定された前記予測マクロブロックより小なる前記オーバーレイ領域を有することを特徴とする最適化システム。
【請求項８】
請求項６記載の最適化システムであって、前記予測されたフレームは前記オーバーレイ領域を有し、前記動きベクトル解析システムは前記予測されたフレームの前記オーバーレイ領域における動きベクトルをチェックしないことを特徴とする最適化システム。
【請求項９】
請求項１記載の最適化システムであって、さらに、
前記符号化された映像データにおいてサイド情報をチェックするシステムを有することを特徴とする最適化システム。
【請求項１０】
請求項１記載の最適化システムであって、前記フレーム解析システムは前記現在映像フレームを参照する複数の予測されたフレームを決定し、前記特定するシステムは複数のスキップ可能領域を特定し、前記特定されたスキップ可能領域のそれぞれの交差セットとして最終スキップ可能領域が決定されることを特徴とする最適化システム。
【請求項１１】
請求項１記載の最適化システムであって、さらに、
前記符号化された映像データをデコードするデコーダを有することを特徴とする最適化システム。
【請求項１２】
請求項１１記載の最適化システムあって、前記スキップ可能領域は計算複雑さを低減するため前記デコーダの一構成要素により利用されることを特徴とする最適化システム。
【請求項１３】
請求項１２記載の最適化システムであって、前記構成要素は、逆走査/逆量子化システム、逆離散コサイン変換システム、動き補償システム及び残差合成システムからなるグループから選ばれることを特徴とする最適化システム。
【請求項１４】
記録可能媒体に格納され、実行時、符号化された映像データを処理するプログラムプロダクツであって、
オーバーレイ領域を有する現在映像フレームが以降の映像フレームに対する基準となるか判断する手段と、
前記オーバーレイ領域におけるスキップ可能領域を特定する手段とを有することを特徴とするプログラムプロダクツ。
【請求項１５】
請求項１４記載のプログラムプロダクツであって、さらに、
前記現在映像フレームを参照する予測されたフレームに対する動きベクトル範囲を計算する手段を有することを特徴とするプログラムプロダクツ。
【請求項１６】
請求項１５記載のプログラムプロダクツであって、前記スキップ可能領域は前記動きベクトル範囲により画成された領域より小なる前記オーバーレイ領域を有することを特徴とするプログラムプロダクツ。
【請求項１７】
請求項１４記載のプログラムプロダクツであって、さらに、
前記現在映像フレームにおける予測マクロブロックを特定するため、前記現在映像フレームを参照する予測されたフレームにおける動きベクトルをチェックする手段を有することを特徴とするプログラムプロダクツ。
【請求項１８】
請求項１７記載のプログラムプロダクツであって、前記スキップ可能領域は前記オーバーレイ領域において特定される前記特定された予測マクロブロックより小なる前記オーバーレイ領域を有することを特徴とするプログラムプロダクツ。
【請求項１９】
請求項１４記載のプログラムプロダクツであって、さらに、
前記符号化された映像データにおけるサイド情報をチェックする手段を有することを特徴とするプログラムプロダクツ。
【請求項２０】
符号化された映像データの処理方法であって、
オーバーレイ領域を有する現在映像フレームが以降の映像フレームに対する基準となるか判断するステップと、
前記オーバーレイ領域におけるスキップ可能領域を特定するステップとを有することを特徴とする処理方法。
【請求項２１】
請求項２０記載の処理方法であって、前記特定するステップは、
前記現在映像フレームを参照する予測フレームに対する動きベクトル範囲を計算するステップと、
前記動きベクトル範囲により画成された領域より小なる前記オーバーレイ領域を有するものとして前記スキップ可能領域を特定するステップとを有することを特徴とする処理方法。
【請求項２２】
請求項２０記載の処理方法であって、前記特定するステップは、
前記現在映像フレームにおける予測マクロブロックを特定するため、前記現在映像フレームを参照する予測されたフレームにおける動きベクトルをチェックするステップと、
前記オーバーレイ領域において特定された前記予測マクロブロックより小なる前記オーバーレイ領域を有するものとして前記スキップ可能領域を特定するステップとを有することを特徴とする処理方法。
【請求項２３】
請求項２０記載の処理方法であって、前記判断するステップは、
前記符号化された映像データにおけるサイド情報をチェックするステップを有することを特徴とする処理方法。
【請求項２４】
請求項２０記載の処理方法であって、前記特定するステップは、
前記符号化された映像データにおけるサイド情報をチェックするステップを有することを特徴とする処理方法。
【発明の詳細な説明】
【０００１】
本発明は、一般に映像処理に関し、より詳細には画質の低下を招くことなくオーバーレイ映像領域のデコード処理を効果的にスキップするシステム及び方法に関する。
【０００２】
新しい映像技術が市場にもたらされるに従い、ピクチャー・イン・ピクチャー（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）のような先進的なデジタル処理技術を有するシステムがより望まれるようになる。さらに、ウェブベース及び無線ベースの映像通信のような技術の登場により、符号化された映像データの効率的な処理能力が特に重要となってきている。
【０００３】
ＭＰＥＧ−２、ＭＰＥＧ−４，Ｈ．２６３、Ｈ．２６Ｌ及びＨ．２６３＋＋のような画像間符号化により符号化された映像を利用するシステムでは、映像データのデコード処理はかなりの計算量を要する処理として認識されている。ピクチャー・イン・ピクチャーのような先進的な処理技術が利用されるとき、システムの計算要求は、映像データの複数のストリームの逆符号化及び処理の必要性、あるいはウェブブラウザのようなアプリケーションの処理の必要性のため、さらに深刻なものとなる。典型的なデコード環境（例えば、テレビ電話）は最小の遅延により可能な限りリアルタイムに近いデコード処理が行われることを要求するため、デコーダの計算要求に関する取り組みは継続中の課題のままである。そのような先進的な能力を有する映像システムを実現するため、システムは、必要とされる高い計算処理能力を提供することができるプロセッサ、あるいは処理オーバーヘッドを低減させる手段を有することが求められる。
【０００４】
しなしながら、高い計算処理能力を有するプロセッサを備えることは、システムコストを大きく上昇させることになる。処理オーバーヘッドを低減させるための他の選択肢は、先進的な技術を実現するために、一般に画質の低下を要求するというものである。ある状況では、ある程度の画質の低下は許容されるかもしれないが、常に可能な限りで最も高い画質の映像画像を提供できることが好ましい。従って、画質の低下を引き起こすことなく、計算効率的な方法により先進的映像技術を提供することができるテクニックが求められる。
【０００５】
本発明は、オーバーレイ領域のスキップ可能な領域を特定することにより計算複雑さを低減させるシステム及び方法を提供することによって、上記問題点と他の問題点を解決するものである。第１に、本発明は、オーバーレイ領域を有する現在映像フレームが以降の映像フレームの基準となるか判断するフレーム解析システムと、前記オーバーレイ領域においてスキップ可能領域を特定するシステムとを有する符号化された映像データを処理する最適化システムを提供する。
【０００６】
第２に、本発明は、記録可能な媒体に格納され、実行時に符号化された映像データを処理し、オーバーレイ領域を有する現在映像フレームが将来映像フレームの基準となるか判断する手段と、前記オーバーレイ領域においてスキップ可能領域を特定する手段とを有するプログラムプロダクツを提供する。
【０００７】
第３に、本発明は、オーバーレイ領域を有する現在映像フレームが将来映像フレームの基準となるか判断するステップと、前記オーバーレイ領域においてスキップ可能領域を特定するステップとを有する符号化された映像データの処理方法を提供する。
【０００８】
本発明の実施例が、添付された図面とともに以下で説明される。その中で、同一の記号は同一の要素を示している。
【０００９】
本発明は、映像のオーバーレイまたは隠される領域の処理をスキップすることにより、圧縮された映像をデコードするのに要する処理量を効果的に減少させる方法及びシステムを説明する。本発明は、他の画像や当該画像の他の部分の通常の処理に影響を与えることなくこの処理を実行するため、当該画像または映像の画質を劣化させることなく所望の処理の軽量化を達成することができる。ここで説明される本方法及びシステムは、予測ベースのすべての映像圧縮方法（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４，Ｈ．２６３など）への適用が可能である。
【００１０】
画像間符号化（一つの画像の逆符号化が他の逆符号化された画像に依存する）により圧縮された映像に対して、オーバーレイ領域の逆符号化を単にスキップすると、予測エラーが生じる可能性がある。そのような予測エラーは、許容できない映像画質をもたらす。本発明では、依存性のない（すなわち、他の画像の正確な逆符号化がスキップされた領域に依存しない）オーバーレイ領域の特定された領域に対してのみ映像逆符号化がスキップされる。従って、本発明の一つの特徴は、映像画質に影響を与えることなくスキップできる映像におけるオーバーレイ領域部分を特定し、他の映像部分を正確にデコードすることからなる。
【００１１】
図面を参照するに、図１は、オーバーレイ領域３６を有する画像ストリーム３８の現在画像３４を処理するオーバーレイ領域処理システム（「処理システム」）１０を示す。特に、処理システム１０は、オーバーレイ領域３６の処理の必要のないスキップ可能領域４０を特定することによって、オーバーレイ領域を有する画像の処理（例えば、デコード処理）を最適化する。処理システム１０は、フレーム解析システム１２、動きベクトル解析システム２０、サイド情報解析システム２６及びスキップ可能領域特定システム１３を有するよう構成されてもよい。フレーム解析システム１２、動きベクトル解析システム２０、及び/またはサイド情報解析システム２６は、現在画像３４を参照する以降のフレームにおける依存性を判断するよう実現可能である。
【００１２】
依存性が認められるとき、スキップ可能領域特定システム１３は、オーバーレイ領域３６のスキップ可能部分４０を特定及び/または出力する。以下で説明されるように、いくつかのケースでは、現在画像３４のオーバーレイ領域３６の全体がスキップ可能であるかもしれないし、また他のケースでは、オーバーレイ領域３６の一部のみがスキップ可能であるかもしれない。
【００１３】
ＭＰＥＧ−２のような画像間符号化スキームは参照されない画像を含んでいるということが知られている。これらの画像は、画像タイプまたは画像シーケンスに基づきフレーム解析システムにより特定される。これらの画像の一つが特定されると、オーバーレイ領域全体がスキップされうる。スキップ可能なオーバーレイ領域を有する画像の例は、（１）ＭＰＥＧ−1、ＭＰＥＧ−２、Ｈ．２６３、Ｈ．２６Ｌ、Ｈ．２６３＋＋、ＭＰＥＧ−４及び他の予測に基づく映像圧縮方法でのB（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）画像；（２）スタンドアローンのI（ｉｎｔｒａ）画像；（３）同一のＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）に後続のＢ画像がない場合のＧＯＰの最後のP（ｐｒｅｄｉｃｔｉｖｅ）画像；及び（４）同一のGOPに逆方法予測のみを利用する後続するB画像がない場合のGOPの最後のP画像を含む。これらの画像を特定するため、フレーム解析システム１２は、B画像（ケース１）を特定するBフレーム特定モジュール１４と、ケース２から４の要求を満たす画像/画像シーケンスを特定する画像シーケンス特定モジュール１６を含む。
【００１４】
画像シーケンス特定モジュール１６は、画像が他の画像の基準フレームとして利用できるか判断するため、画像タイプと画像シーケンスの両方をチェックする。例えば、図２は、ある画像が基準フレームとしては利用されないということを決定しうる画像シーケンスを示す。具体的には、上記概説された基準に基づき、B画像、第１P画像及び最終I画像は基準としては使われない。従って、これらの画像のオーバーレイ領域は、他の画像の基準フレームとしては利用されず、これらの画像において起こるエラー及びひずみは含有され、他の画像に伝播することはない。従って、当該オーバーレイ領域の全体が、現在画像と以降の画像の両方の映像画質に影響を及ぼすことなくスキップすることができる。
【００１５】
本発明は、さらに、現在画像が他の画像のデコード処理の基準として利用されたとしても、オーバーレイ領域の一部の処理は、他の画像の正確なデコード処理に影響を与えることなくスキップすることができる。図３は、基準フレームRとこの基準フレームRから動き予測されたフレームPの相互依存性を示す。フレームPはフレームRに依存するため、Rのオーバーレイ領域は全くスキップすることができない。このとき、フレームRの中のフレームPのデコード処理に影響を与えることなくスキップすることができる部分を特定するという問題がある。動きベクトル解析システム２０は、現在画像が他の画像のデコード処理の基準として利用されたとしても、スキップ可能なオーバーレイ領域３６の領域４０を特定する２つの可能な機構を提供する。第１機構２２は、動きベクトル範囲データを利用してスキップ可能領域を特定し、第２機構２４は、実際の動きベクトルまたはマクロブロックデータを利用して、現在フレームの中のマクロブロックのどれがスキップ可能であるか決定する。
【００１６】
図３を参照するに、動きベクトル範囲を利用した第１機構２２の一実施形態が詳細に説明される。Rにおけるオーバーレイ領域が（ｘ１，ｙ１）と（ｘ２，ｙ２）の間の矩形領域であり、フレームPの動きベクトル範囲は（ｍｘ，ｍｙ）であると仮定され、このことは、動き予測がPにおける各マクロブロックから（ｍｘ，ｍｙ）だけ画成された領域を越えることができないということを意味する。フレームRのスキップ可能な領域は、（ｘ１＋ｍｘ，ｙ１＋ｍｙ）〜（ｘ２−ｍｘ，ｙ２−ｍｙ）として示される（ｘ１，ｙ１）〜（ｘ２，ｙ２）の部分領域である。動きベクトル範囲は、画像符号化拡張で送信されるｆ＿ｃｏｄｅを通じて取得されうる。チェックされたフレームのすべての動きベクトルが当該範囲に入らねばならない。従って、フレームの始めにある動きベクトル範囲は、画像符号化拡張に応じ利用可能である。フレームRから予測されるフレームが複数ある場合、これら複数のフレームから決定されるスキップ可能な領域の交差部分または重複部分のみがスキップ可能である。この交差部分を計算するプロセスが複数依存解析システム３３である。
【００１７】
実際の動きベクトルを使った第２機構２４の一実施形態が図４に説明される。図４は、それぞれオーバーレイ領域４２と４４を有する基準フレームRと予測フレームPを含む。この例では、Pはまたオーバーレイ領域４４を有するため、オーバーレイ領域４４の外部マクロブロック４５、フレームPのオーバーレイ領域４２の内部の基準データまたは予測マクロブロックに関心がある。従って、フレームPのオーバーレイ領域４４の各外部マクロブロック４５に対して、フレームRの対応する予測マクロブロックが、フレームPの実際の動きベクトルを使って検出することができる。図４に示された例では、マクロブロック領域４６が、フレームPに対する予測マクロブロックを含まない領域として特定される。従って、スキップ可能領域４８は、マクロブロック領域４６（予測マクロブロック含まない）とオーバーレイ領域４２の重複部分として計算される。スキップ可能領域４８は、現在映像フレームのオーバーレイ領域において特定される予測マクロブロックより小さいオーバーレイ領域から構成される。しかしながら、オーバーレイ領域（例えば、領域５０）内の任意の予測マクロブロックの処理がなされる必要がある。
【００１８】
ここで、動きベクトル解析システム２０により与えられる２つのシステムに対して、画像Pが他の画像の基準として後に利用される場合、スキップ可能であるそれ自身の領域が同様の手続きにより決定され、それは第１のケースのオーバーレイ領域、すなわち、（ｘ１，ｙ１）〜（ｘ２，ｙ２）よりおそらく小さくなる。
【００１９】
図５を参照するに、一例となるＭＰＥＧ−２デコーダ５２が示される。デコーダ５２は、計算複雑さを減らすため、オーバーレイ領域処理システム（ＯＡＰＳ）１０を含む様々な処理を有する。特に、ＯＡＰＳ１０は、逆走査、逆量子化、逆ＤＣＴ（あるいはウェーブレットのような他の変換）、動き補償及び残差合成の１以上に適用することができる。
【００２０】
本発明の実施形態の詳細は、入力される圧縮映像ビットストリーム３８で搬送される情報のタイプに依存する。３つのシナリオがある。
【００２１】
Ｉ  サイド情報なしの映像ビットストリーム及び遅延（ビットバッファリングによる標準的な遅延以外）なしのデコード処理
この場合、デコーダは、動きベクトル範囲またはフレームRのデコード処理中にフレームPで利用されるあるいは実際の動きベクトルに関する情報を持っていない。従って、デコーダはB画像のみのオーバーレイ領域のスキップデコード処理を行うことができる。
【００２２】
ＩＩ  サイド情報なしの映像ビットストリーム及び「シナリオI」で説明されるようなスキップ領域に加えて追加的な遅延を有するデコード処理
ここで、デコーダは以降のフレームに関する情報を「見越し」取得することができる。このタイプのスキップ領域は、以降のフレームで利用可能な情報のタイプに依存する。スキップ可能領域のタイプは、デコーダが取得する情報のタイプに依存する。
【００２３】
A  以降の画像の画像タイプ
デコーダは、この情報を利用して、現在画像が（Bでない場合）任意の将来フレームに対する基準である判断する。例えば、次の画像がIまたはPである場合、現在画像は基準画像でなく、オーバーレイ領域全体がスキップ可能である。しかしながら、もし次の画像がP画像であり、かつさらなる詳細な情報が利用可能でない場合、デコーダは現在フレーム全体をデコードしなければならない。
【００２４】
B  以降の画像の画像タイプ及び動きベクトル情報
サブシナリオＩＩAに加えて、現在画像が他のフレームに対する基準であったとしても、デコーダはいくつかの領域を選択的にスキップすることができる。現在フレームが予測するフレーム内の動きベクトル範囲または実際の動きベクトルに関する「見越すこと」からの情報は、現在フレームにおいてどの領域がスキップできるかを決定するため、「スキップ可能領域」ケースBにおいて説明されるように利用することができる。
【００２５】
ＩＩＩ  サイド情報を有する映像ビットストリーム
映像ビットストリームがシナリオＩＩの「見越し」により得られたものと同様のサイド情報を搬送する場合、デコーダは、追加的な遅延なく、また以降の画像をチェックすることなく、（サイド情報解析システム２６を使って）シナリオＩＩに説明されたような処理と同様な処理を実行することができる。
【００２６】
ここで説明されたシステム、機能、機構、方法及びモジュールは、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせによる実現が可能である。これらは、説明された方法を実行するよう調整された任意のタイプのコンピュータシステムまたは他の装置により実現されるかもしれない。ハードウェア及びソフトウェアの典型的な組み合わせは、ロード及び実行時に、上述の方法を実行するようコンピュータシステムを制御するコンピュータプログラムを有する汎用コンピュータシステムでありうる。あるいは、本発明の機能タスクの１以上を実行する特化したハードウェアを含む特定用途向けコンピュータが利用されてもよい。本発明はまた、上述の方法及び機能の実現を可能にするすべての特徴を有し、コンピュータシステムへのロード時に、これらの方法及び機能を実行することができるコンピュータプログラムプロダクツに埋め込まれてもよい。ここでのコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクツまたはソフトウェアは、情報処理能力を有するシステムに、（a）他の言語、コードあるいは記号への変換、及び/または（ｂ）異なる材料形態での再生のうちの一方または両方に直接あるいは後に特定の機能を実行させることを意図したインストラクションセットの任意の言語、コードまたは記号での任意の表現を意味する。
【００２７】
本発明の公的な実施例の前述の説明は、例示及び説明のため与えられたものである。それらは、網羅的であることを意図したものではないし、また本発明を開示された形態に限定することを意図したものでもない。明らかに、多くの変更及び変形が上記教示により可能である。当業者には明らかなそのような変更及び変形は、添付されたクレームにより定義された本発明の範囲内に含まれる。
【図面の簡単な説明】
【００２８】
【図１】図１は、本発明の一実施例による圧縮された映像画像におけるオーバーレイ領域の処理システムのブロック図である。
【図２】図２は、オーバーレイ領域を有する画像ストリームを示す。
【図３】図３は、予測画像と動きベクトル範囲データに基づき決定された基準画像のスキップされた領域を示す。
【図４】図４は、予測画像と予測されたフレームの実際の動きベクトルに基づき決定された基準画像のスキップされた領域を示す。
【図５】図５は、オーバーレイ領域スキップ能力を有するデコーダを示す。
【図１】
2005506776.tif 000003
【図２】
2005506776.tif 000004
【図３】
2005506776.tif 000005
【図５】
2005506776.tif 000006
【国際公開パンフレット】
2005506776.tif 000007
2005506776.tif 000008
2005506776.tif 000009
2005506776.tif 000010
2005506776.tif 000011
2005506776.tif 000012
2005506776.tif 000013
2005506776.tif 000014
2005506776.tif 000015
2005506776.tif 000016
2005506776.tif 000017
2005506776.tif 000018
2005506776.tif 000019
2005506776.tif 000020
2005506776.tif 000021
2005506776.tif 000022
【国際公開パンフレット（コレクトバージョン）】
2005506776.tif 000023
【国際調査報告】
2005506776.tif 000024
2005506776.tif 000025
2005506776.tif 000026