(57)【要約】  本発明は、オブジェクトに基づく符号化を用いてビデオ画像を符号化するためのシステム及び方法に関する。このシステムは、前景オブジェクトプレーンにおける前景形状を符号化するための前景符号化システムと、背景オブジェクトプレーンを符号化するための背景符号化システムとを有するシステムであって、該背景符号化システムが背景オブジェクトプレーンにおけるマスクされたエリアをパディングし、該マスクされたエリアが前景形状に関連するデータから決定されるシステムである。
2005513842.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像を符号化するためのオブジェクトに基づく符号化システムであって、
前景オブジェクトプレーンにおける前景形状を符号化するための前景符号化システムと、
背景オブジェクトプレーンにおける、前記前景形状に関連するデータから決定されるマスクされたエリアをパディングするパディングシステムと、
前記背景オブジェクトプレーンを符号化するための背景符号化システムと、を有するオブジェクトに基づく符号化システム。
【請求項２】
前記前景符号化システムが、形状に基づく符号化方式を利用する、請求項１に記載のオブジェクトに基づく符号化システム。
【請求項３】
前記背景符号化システムが、フレームに基づく符号化方式を利用する、請求項１に記載のオブジェクトに基づく符号化システム。
【請求項４】
前記マスクされたエリアは、前記ビデオ画像がＰフレーム又はＢフレームを有する場合、ゼロによりパディングされる、請求項１に記載のオブジェクトに基づく符号化システム。
【請求項５】
前記マスクされたエリアは、前記ビデオ画像がＩフレームを有する場合、前記マスクされたエリアの平均ピクセル値によりパディングされる、請求項１に記載のオブジェクトに基づく符号化システム。
【請求項６】
ＭＰＥＧ−４エンコーダを有する、請求項１に記載のオブジェクトに基づく符号化システム。
【請求項７】
オブジェクトに基づく符号化システムにおいてビデオ画像を符号化する方法であって、
前景オブジェクトプレーンにおける前景形状を符号化するステップと、
背景オブジェクトプレーンにおける、前記前景形状に関連するデータから決定されるマスクされたエリアをパディングするステップと、
前記背景オブジェクトプレーンを符号化するステップと、を含む方法。
【請求項８】
前記前景形状が、形状に基づく符号化方式により符号化される、請求項７に記載の方法。
【請求項９】
背景形状が、フレームに基づく符号化方式を利用して符号化される、請求項７に記載の方法。
【請求項１０】
前記マスクされたエリアは、前記ビデオ画像がＰフレーム又はＢフレームを有する場合、ゼロによりパディングされる、請求項７に記載の方法。
【請求項１１】
前記マスクされたエリアは、前記ビデオ画像がＩフレームを有する場合、前記マスクされたエリアの平均ピクセル値によりパディングされる、請求項７に記載の方法。
【請求項１２】
前記オブジェクトに基づく符号化システムが、ＭＰＥＧ−４エンコーダを有する、請求項７に記載の方法。
【請求項１３】
オブジェクトに基づく符号化システムにおいてビデオ画像を符号化するための記録可能な媒体に記憶されたプログラムであって、
前景オブジェクトプレーンにおける前景形状を符号化する手段と、
背景オブジェクトプレーンにおける、前記前景形状に関連するデータから決定されるマスクされたエリアをパディングする手段と、
前記背景オブジェクトプレーンを符号化する手段と、を有するプログラム。
【請求項１４】
前記前景形状が、形状に基づく符号化方式により符号化される、請求項１３に記載のプログラム。
【請求項１５】
背景形状が、フレームに基づく符号化方式を利用して符号化される、請求項１３に記載のプログラム。
【請求項１６】
前記マスクされたエリアは、前記ビデオ画像がＰフレーム又はＢフレームを有する場合、ゼロによりパディングされる、請求項１３に記載のプログラム。
【請求項１７】
前記マスクされたエリアは、前記ビデオ画像がＩフレームを有する場合、前記マスクされたエリアの平均ピクセル値によりパディングされる、請求項１３に記載のプログラム。
【請求項１８】
前記オブジェクトに基づく符号化システムが、ＭＰＥＧ−４エンコーダを有する、請求項１３に記載のプログラム。
【請求項１９】
前記背景オブジェクトプレーンが、テクスチャ符号化される、請求項１３に記載のプログラム。
【請求項２０】
前記背景オブジェクトプレーンが、形状符号化される、請求項１３に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトに基づく符号化システムに関し、より具体的には、背景オブジェクトプレーンにおけるオーバーレイされたエリアをパディングするためのシステム及び方法に関する。
【背景技術】
【０００２】
パーソナルコンピューティング及びインターネットの到来により、デジタルデータ、特にデジタルビデオデータの処理に関して大きな需要が創出されている。しかし、ビデオデータを効率的に処理し、符号化する能力は、依然として進行中の課題である。
【０００３】
この問題に対処するために、ビデオ信号の符号化された表現が、独立して符号化され操作されることができるビデオ要素又はビデオオブジェクトに分解されるシステムが開発されている。例えば、ＭＰＥＧ−４は、ムービングピクチャエキスパーツグループ（Moving
Picture Experts Group）によって開発された、ビデオオブジェクトについて働く圧縮規格である。各々のビデオオブジェクト（ＶＯ）は、別個に符号化される形状、動き及びテクスチャ情報の形式における時間的及び空間的な情報によって特徴づけられる。
【０００４】
ある時間のビデオオブジェクトのインスタンスは、ビデオオブジェクトプレーン（ＶＯＰ）と呼ばれる。このタイプの表現を用いることによって、強化されたオブジェクト操作、ビットストリームの編集、オブジェクトに基づくスケーラビリティなどが可能になる。各々のＶＯＰは、テクスチャ表現及び形状表現によって十分に記述され得る。形状情報は、バイナリ形状マスク、アルファプレーン、又は透明なオブジェクトについてはグレースケール形状として表現され得る。
【０００５】
ビデオコンテントのオブジェクトに基づく表現においては、一般に、ビデオオブジェクトが現れることが可能な２つのシナリオがある。第１のシナリオでは、１つのフレームは、空間的に分離される２つ以上のＶＯＰによって形成される。すなわち、各々のＶＯＰはフレーム全体をカバーしない。この場合、ＶＯＰの集まり(unit，ユニット)がフレーム全体をカバーする。このように、例えば、前景プレーン及び背景プレーンは互いを「補完する」。第２のシナリオでは、各々のＶＯＰが、各々のフレームにおいてそれ自体の完全な層を有する。この場合、ＶＯＰの何れにおいてもホール（hole）はなく、ＶＯＰのそれぞれが規定されたＺ値又は深度値において相互にオーバーレイする。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これらのシナリオを使用する現行のアプリケーションでは、背景プレーンにある、隠された又はオーバーレイされたエリアは、該エリアが最終的な画像において結局は見えないにもかかわらず、符号化される。従って、隠されたエリアの不必要な符号化を除去することによって、処理オーバーヘッドを減少させる好機が存在する。
【課題を解決するための手段】
【０００７】
本発明は、処理を減少させるために、ＶＯＰにおける隠されたエリアをパディングするオブジェクトに基づく符号化システム及び方法を提供することによって、上述した問題及び他の問題にも対処する。第１の態様において、本発明は、ビデオ画像を符号化するためのオブジェクトに基づく符号化システムであって、前景オブジェクトプレーンにおける前景形状を符号化するための前景符号化システムと、背景オブジェクトプレーンにおける、前景形状に関連するデータから決定されるマスクされたエリアをパディングするパディングシステムと、背景オブジェクトプレーンを符号化するための背景符号化システムと、を有するオブジェクトに基づく符号化システムを提供する。
【０００８】
第２の態様において、本発明は、オブジェクトに基づく符号化システムにおいてビデオ画像を符号化する方法であって、前景オブジェクトプレーンにおける前景形状を符号化するステップと、背景オブジェクトプレーンにおける、前景形状に関連したデータから決定されるマスクされたエリアをパディングするステップと、背景オブジェクトプレーンを符号化するステップと、を有する方法を提供する。
【０００９】
第３の態様において、本発明は、オブジェクトに基づく符号化システムにおいてビデオ画像を符号化するための記録可能な媒体に記憶されたプログラム（プロダクト）であって、前景オブジェクトプレーンにおける前景形状を符号化するための手段と、背景オブジェクトプレーンにおける、前景形状に関連するデータから決定されるマスクされたエリアをパディングするための手段と、背景オブジェクトプレーンを符号化するための手段と、を有するプログラム（プロダクト）を提供する。
【００１０】
本発明の例示的な実施形態は、類似の符号が類似の構成要素を示す添付の図面と共に以下説明されるであろう。
【発明を実施するための最良の形態】
【００１１】
各図面を参照すると、図１は、ビデオデータ３０を符号化するためのオブジェクトに基づく符号化システム１０を示す。オブジェクトに基づく符号化システム１０は、前景オブジェクトプレーンを符号化するための前景エンコーダ１２と、背景オブジェクトプレーンを符号化するための背景エンコーダ１４とを有している。この例示的な実施形態では、２つのＶＯＰ（前景及び背景）を処理するためのシステムが説明されるが、本発明は、２つを上回るＶＯＰを処理するいかなるシステムにも及ぶことが理解されるべきである。更に、本願明細書において、用語「前景(foreground，フォアグラウンド)」及び「背景(background，バックグラウンド)」は、処理される２つのＶＯＰの相対的な位置を説明するために用いられており、Ｚ軸に沿ったＶＯＰの実際の数又は位置を限定するものではない。
【００１２】
図１を再び参照すると、前景エンコーダ１２は、形状及びオブジェクトが前景オブジェクトプレーンに現れるとき、その形状又はオブジェクトを符号化するための形状に基づく符号化システム１６を有している。例えばＭＰＥＧ−４規格に準拠して動作するような形状に基づく符号化システムは、当技術分野において知られており、従って、本願明細書では詳細に説明しないものとする。前景オブジェクトプレーンにおけるオブジェクトを符号化することに加えて、形状に基づく符号化システム１６は、前景形状データ１８を生成する。前景形状データ１８は、例えば、符号化されるオブジェクトの座標を有し得る。前景形状データ１８によって規定される領域は、後述されるように、背景エンコーダ１４によって利用されるマスクを規定する。
【００１３】
背景エンコーダ１４は、パディングシステム２０及びフレームに基づく符号化システム２６を有している。処理の複雑さを低減させるために、個別のオブジェクトを符号化することとは対照的に、フレームに基づく符号化システム２６はフレーム全体として背景を符号化する 。例えばＭＰＥＧ−２規格及びＭＰＥＧ−４規格に準拠して動作するようなフレームに基づく符号化システムは、当技術分野において同様に知られており、本願明細書では詳細に説明しないものとする。パディングシステム２０は、前景形状データ１８を読み取り、背景フレームにおけるマスクされたエリアを計算する。このマスクされたエリアは、前景オブジェクトの「シャドウ」を本質的に有するであろう。パディングシステム２０は、フレームに基づく符号化システム２６に、マスクされたエリアにおいて任意の値によりフレームをパディングさせる。マスクされたエリアに任意の値をパディングすることによって、符号化オーバーヘッドが減少されるであろうが、隠されたエリアのみが影響を受けるので、画質は損なわれないであろう。
【００１４】
図示されるように、パディングシステム２０は、２つの例示的なパディング技法、平均化(averaging)２２及びゼロ化(zeroing，ゼロイング)２４を示す。例示的な一実施形態では、処理されるフレームがＰフレーム又はＢフレームを有する場合、マスクされたエリアはゼロによりパディングされる。この場合、ゼロの処理は実際のデータの処理より計算的に複雑さが少ないので、符号化オーバーヘッドが減少される。処理されるフレームがＩフレームを有する場合、背景のマスク領域における画像ピクセルからの平均値が、マスク領域をパディングするために利用され得る。同様に、均一な値の処理は、多様な値を処理することより計算的に複雑さが少ない。テクスチャ符号化に関連する他の例示的な実施形態では、マスクされたエリアが、より暗い値によりパディングされることが可能であり、そのようなより暗い値は、より少ないビットを有し、符号化するのにより少ない計算を必要とする。処理を減らすと共に画質を維持するあらゆる値又は技法がパディングとして利用されることが可能であり、本願明細書において説明される技法は例示的な目的でのみ使用されていることが理解されるべきである。
【００１５】
図２及び図３は、本発明を実現するための２つの例示的なシナリオを示す。図２は、前景プレーン４０及び背景プレーン４２が空間的に分離される、第１のシナリオを示す。観察され得るように、前景プレーン４０は、オーバーラップが無いように、背景プレーンにおけるオブジェクト４６を補完するオブジェクト４４を含む。しかし、両方のプレーン４０及び４２は、両方のプレーンについて符号化されなければならない、共通の輪郭又は形状４８を共有する。本発明によれば、背景プレーンが符号化される場合、マスクされたエリア４９は、形状符号化オーバーヘッドを減少させるために、何らかの任意の値によりパディングされる。それゆえ、画像がＰフレームを有しているならば、エリア４９はゼロによりパディングされ得る。
【００１６】
図３は、互いにオーバーレイする前景プレーン５０及び背景プレーン５２をもつ第２のシナリオを示す。この場合、前景プレーン５０は、背景プレーン５２のある領域（すなわちマスクされたエリア）５８をオーバーレイするオブジェクト５４を有する。例えば、システムがシーンからオブジェクト５４を検出し、セグメント化するのに必要とされた状況では、テクスチャは、オブジェクト５４及び背景プレーン５２の両方について同じままである。このように、領域５４及び領域５８のテクスチャ符号化は、本質的には同じものである。従って、本発明は、計算のオーバーヘッドを減少させるために、領域５８が何らかの任意の値によりパディングされるようにする。  
【００１７】
本願明細書において説明されるシステム、機能、メカニズム、方法及びモジュールは、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの組み合わせにおいて実現され得ることを理解されたい。これらは、本願明細書に説明された方法を実施するように適応化されるいかなるタイプのコンピュータシステム又は他の装置によっても実現され得る。ハードウェア及びソフトウェアの通常の組み合わせは、コンピュータプログラムがロードされ且つ実行される場合、本願明細書に説明される方法を実施するようにコンピュータシステムを制御する上記コンピュータプログラムを含む汎用コンピュータシステムであり得る。代替例として、本発明の１つ又は複数の機能的なタスクを実施するための専用ハードウェアを内蔵する特定用途のコンピュータが利用され得る。本発明は、本願明細書に説明される方法及び機能のインプリメンテーションを可能にする全ての特徴を有すると共に、コンピュータシステムにロードされる場合、これらの方法及び機能を実施することが可能である、コンピュータプログラム（プロダクト）に組み込まれることもできる。本発明の文脈において、コンピュータプログラム、ソフトウェアプログラム、プログラム（プロダクト）又はソフトウェアとは、情報処理能力をもつシステムが、（ａ）別の言語、符号又は表記法への変換；及び／又は（ｂ）異なるマテリアル形式における再生の何れか若しくは（ａ）及び（ｂ）両方の後に特定の機能を果たすか、又は直ちに特定の機能を果たすか、の何れかをもたらすように意図された命令のセットのいかなる言語、符号又は表記法におけるあらゆる表現式を意味するものである。
【００１８】
本発明の実施形態の前述の説明は、例証及び説明のために示されたものである。上記の説明は、徹底的であること、又は開示される正確な形式に本発明を限定することを意図されるものではなく、多数の変更形態及び変形例が上記の教示を考慮して可能であることは明らかである。当業者にとって明瞭であるこのような変更形態及び変形例は、添付の請求項により記載される本発明の範囲内に含まれることが意図される。
【図面の簡単な説明】
【００１９】
【図１】本発明によるオブジェクトに基づくエンコーダを示すブロック図である。
【図２】空間的に分離された前景及び背景オブジェクトプレーンの実施例を示す図である。
【図３】オーバーレイされた前景及び背景オブジェクトプレーンの実施例を示す図である。
【図１】
2005513842.tif 000003
【図２】
2005513842.tif 000004
【図３】
2005513842.tif 000005
【国際調査報告】
2005513842.tif 000006
2005513842.tif 000007
2005513842.tif 000008