(57)【要約】  本発明は、コンテンツ信号処理に関し、特にビデオコンテンツ信号の処理に関する。コンテンツ信号処理装置（100）は、コンテンツ信号を符号化し、複数の圧縮レートに関連するデータを有するスケーラブル符号化データを生成するスケーラブルエンコーダ（101）を有する。圧縮プロセッサ（105）は、複数の圧縮レートに関連するデータを示す圧縮係数インジケータを決定する。このように、圧縮係数インジケータは、スケーラブル符号化データのうち何のデータが異なる圧縮レートに対応するかを示す。スケーラブル符号化データと圧縮係数インジケータとを有する結合データは、フレームメモリ（105）に格納される。所定の圧縮係数の要件を有する装置は、処理に必要なフレームメモリ（105）のスケーラブル符号化データにアクセスするために、圧縮係数インジケータを使用してもよい。複数のアプリケーションは、同じフレームメモリ（105）にアクセスしてもよく、それによって、異なる圧縮係数の要件を有する複数のアプリケーションで使用可能なスケーラブル符号化データが可能になる。
2007505545.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ信号を符号化し、複数の圧縮レートに関連するデータを有するスケーラブル符号化データを生成する符号化手段と；
前記複数の圧縮レートに関連するデータを示す圧縮係数インジケータを決定する手段と；
前記スケーラブル符号化データと前記圧縮係数インジケータとを有する結合データを生成する手段と；
を有するコンテンツ信号処理装置。
【請求項２】
請求項１に記載の装置であって：
第１のアプリケーションを処理する第１の処理手段を更に有し、
前記第１の処理手段は；
前記第１のアプリケーションに関連する第１の圧縮係数を少なくとも決定する手段と；
前記圧縮係数インジケータに応じて前記スケーラブル符号化データの前記第１の圧縮係数に関連する第１のデータセットを抽出する第１の抽出手段と；
前記第１のアプリケーションに従って前記スケーラブル符号化データを処理する手段と；
を有する装置。
【請求項３】
請求項２に記載の装置であって、
前記第１のアプリケーションは、セグメンテーションアプリケーションである装置。
【請求項４】
請求項３に記載の装置であって、
第１の抽出手段は、前記第１のアプリケーションにより決定されたセグメンテーションに応じて前記第１のデータセットを抽出するように動作可能である装置。
【請求項５】
請求項２に記載の装置であって、
第２のアプリケーションを処理する第２の処理手段を更に有し、
前記第２の処理手段は：
前記第２のアプリケーションに関連する第２の圧縮係数を決定し、前記第２の圧縮係数は前記第１の圧縮係数と異なる手段と；
前記圧縮係数インジケータに応じて前記スケーラブル符号化データの前記第２の圧縮係数に関連する第２のデータセットを抽出する第２の抽出手段と；
前記第２のアプリケーションに従って前記スケーラブル符号化データを処理する手段と；
を有する装置。
【請求項６】
請求項５に記載の装置であって、
前記第１の抽出手段は、前記第２の圧縮係数に関連する前記第１のデータセットのデータを前記第２の処理手段に送信するように動作可能であり、
前記第２の抽出手段は、前記第２の圧縮係数に関連する更なるデータを抽出するように動作可能である装置。
【請求項７】
請求項５に記載の装置であって、
前記第１の抽出手段は、前記第２の圧縮係数に関連する前記第１のデータセットのデータを前記第２の処理手段に送信するように動作可能であり、
前記第２の抽出手段は、前記第２の圧縮係数に関連しないデータを破棄するように動作可能である装置。
【請求項８】
請求項５に記載の装置であって、
前記第２のアプリケーションは、圧縮アプリケーションである装置。
【請求項９】
請求項５に記載の装置であって、
前記第２の処理手段は、前記第２のデータセットを格納するデータ格納装置を有し；
前記第２のアプリケーションは、前記データ格納装置に圧縮データを格納するように動作可能であり、前記格納された圧縮データに応じて圧縮を実行するように動作可能な圧縮アルゴリズムを有する装置。
【請求項１０】
請求項５に記載の装置であって、
前記第１のアプリケーションはセグメンテーションアプリケーションであり、
前記第１の処理手段は、前記セグメンテーションアプリケーションのセグメンテーションデータを前記第２の処理手段に提供するように動作可能であり、
前記圧縮アプリケーションは、前記セグメンテーションデータに応じて圧縮を実行するように動作可能である装置。
【請求項１１】
請求項２に記載の装置であって、
前記第１のデータセットは、前記スケーラブル符号化データのフレームに対応し、
前記第１の抽出手段は、前記フレームのセグメンテーションに応じて前記第１のデータセットを抽出するように動作可能である装置。
【請求項１２】
請求項１に記載の装置であって、
前記符号化手段は、シングルパス(single  pass)・スケーラブルエンコーダを有する装置。
【請求項１３】
請求項１に記載の装置であって、
前記圧縮係数インジケータは、所定の圧縮係数に関連するデータの終了点を示す少なくとも１つのポインタを有する装置。
【請求項１４】
請求項１に記載の装置であって、
前記圧縮係数インジケータは、所定の圧縮係数に関連するデータの開始点を示す少なくとも１つのポインタを有する装置。
【請求項１５】
複数の圧縮レートに関連するデータを有するスケーラブル符号化データと、前記複数の圧縮レートに関連するデータを示す圧縮係数インジケータとを有する結合コンテンツ信号データを受信する受信手段と；
第１のアプリケーションに関連する第１の圧縮係数を少なくとも決定する手段と；
前記圧縮係数インジケータに応じて前記スケーラブル符号化データの前記第１の圧縮係数に関連する第１のデータセットを抽出する抽出手段と；
前記第１のアプリケーションに従って前記第１のデータセットを処理する手段と；
を有するコンテンツ信号処理装置。
【請求項１６】
コンテンツ信号を符号化し、複数の圧縮レートに関連するデータを有するスケーラブル符号化データを生成するステップと；
前記複数の圧縮レートに関連するデータを示す圧縮係数インジケータを決定するステップと；
前記スケーラブル符号化データと前記圧縮係数インジケータとを有する結合データを生成するステップと；
を有するコンテンツ信号処理方法。
【請求項１７】
請求項１６に記載の方法であって：
前記第１のアプリケーションに関連する第１の圧縮係数を少なくとも決定するステップと；
前記圧縮係数インジケータに応じて前記スケーラブル符号化データの前記第１の圧縮係数に関連する第１のデータセットを抽出するステップと；
前記第１のアプリケーションに従って前記スケーラブル符号化データを処理するステップと；
を更に有する方法。
【請求項１８】
請求項１７に記載の方法を実行可能にするコンピュータプログラム。
【請求項１９】
請求項１８に記載のコンピュータプログラムを有する記録担体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ信号処理方法及び装置に関し、特にスケーラブル符号化信号を処理する方法及び装置に関する。
【背景技術】
【０００２】
近年、ビデオ信号のようなコンテンツ信号のデジタル記憶及び分配の使用は、ますます普及してきている。従って、異なるコンテンツ信号のための多数の異なる符号化技術が開発されてきている。例えば、多数の専門用及び消費者用アプリケーションにおけるデジタルビデオの導入を促進して、異なる製造者からの装置の互換性を確保するために、複数のビデオ符号化標準が設計されている。
【０００３】
ほとんどの有力な標準は、International  Telecommunications  Union（ITU-T）又はISO/IEC（the  International  Organization  for  Standardization／the  International  Electrotechnical  Committee）のMPEG（Motion  Pictures  Experts  Group）委員会によってもともと開発されている。勧告として知られているITU-T標準は、一般的にリアルタイム通信（例えばテレビ会議）を目的としているが、ほとんどのMPEG標準は、記憶（例えばDigital  Versatile  Disc（DVD））及び放送（例えばDigital  Video  Broadcast（DVB）標準）について最適化されている。現在、最も広く使用されているビデオ圧縮技術の１つは、MPEG-2（Motion  Picture  Expert  Group）標準として知られている。MPEG-2は、ブロック型圧縮機構であり、フレームは、それぞれ８の縦方向の画素と８の横方向の画素とを有する複数のブロックに分割される。輝度データの圧縮について、各ブロックは離散コサイン変換（DCT：Discrete  Cosine  Transform）を使用し、それに続いて、かなりの数の変換データ値をゼロに減少させる量子化を使用して個々に圧縮される。クロミナンスデータの圧縮について、通常では、クロミナンスデータ量は、まずダウンサンプリングによって低減され、それによって４つの輝度ブロック毎に２つのクロミナンスブロックが得られ（4:2:0フォーマット）、これらが同様にDCT及び量子化を使用して圧縮される。フレーム内圧縮のみに基づくフレームは、イントラフレーム（Iフレーム）として知られている。
【０００４】
ビデオ信号を伝送するために必要な帯域と、ビデオ信号の記憶に必要なメモリとを低減するために、できるだけ結果の符号化レートを低減することが望ましい。
【０００５】
近年、デジタルビデオの処理を目的とした多数の異なるビデオアプリケーション及び処理が開発されてきている。これらのアプリケーションは、例えば開発されたビデオ標準に従ったビデオ符号化及び圧縮用のアルゴズムを有するだけでなく、更なる情報を導き又は更なる効果を提供するために、ビデオ信号の処理のための多数のアルゴリズムにまで及んでいる。例えば、コンテンツ分析又は３次元情報抽出のためのアプリケーションが開発されている。
【０００６】
これらのアルゴリズム及びアプリケーションを効果的に実装するために、多数の専用又は半専用の集積回路が開発されている。開発されたアルゴリズムの多くは、ビデオ信号の１つ以上のフレームに基づくため、ビデオ処理回路は、１つ以上のフレームのデータを保持するフレームメモリを有する。フレームメモリは、処理機能と同じチップに組み込まれることが好ましい。その理由は、このことによって、より高速なデータ転送、帯域の増加及び電力消費の減少が可能になるからである。
【０００７】
しかし、集積回路のチップサイズは限られているため、一般的に組み込まれたフレームメモリは制限があり、更に異なる集積回路で変化することがある。更に、あるアプリケーションでは、フレームメモリは外部にあってもよく、それにより、組み込まれたフレームメモリよりかなり大きくなることが可能になる。
【０００８】
従って、ビデオ信号のフレームが所定のフレームメモリに適するようにスケール可能なフォーマットに符号化されることを可能にするスケーラブル埋込型圧縮技術が開発されてきている。このように、例えば非圧縮フレームは10Mbitを有することがある。フレームメモリが2Mbitのみである場合、スケーラブル圧縮アルゴリズムにより、10Mbitのデータが2Mbitに圧縮されることが可能になる。しかし、フレームメモリが1Mbitのデータのみを許容する場合、アルゴリズムは1Mbitにフレームを圧縮することがある。このように、フレームは利用可能なメモリ容量に適合するようにフレームメモリに符号化されることがある。
【０００９】
１つのこのような符号化アルゴリズムは、“DCT-domain  embedded  memory  compression  for  hybrid  video  coders”、R.  P.  Kleihorst及びR.  J.  van  der  Vleuten、Journal  of  VLSI  Signal  Processing  Systems、vol.24、pp1523-1543、2000、Institute  of  Electrical  and  Electronic  Engineersに記載されている。これにより、ビデオ信号のフレームデータの効率的な格納が可能になる。
【００１０】
Kleihorst他により記載されている技術は、所定のアプリケーションに適した効率的なスケーラブル埋込型符号化を提供する。このように、１つ以上のフレームが符号化されてフレームメモリに格納されてもよい。フレームは、アプリケーションに提供され、これによって処理されてもよい。しかし、現在、多数のビデオ信号処理技術が知られており、ビデオ信号に適用され得る。従って、ビデオ信号は複数の異なる処理及びアプリケーションに使用され得る。例えば、符号化信号は、２次元画像から３次元情報を生成するように処理され、低データレートに圧縮されてもよく、又はコンテンツ情報を得るように処理されてもよい。しかし、多数のこれらのアプリケーション又は処理は、異なる特性を有し、異なるパラメータの入力ビデオ信号を必要とする。例えば、セグメンテーション処理は、８の係数以下によって圧縮されるフレーム信号に基づくことがあるが、圧縮アルゴリズムは入力ビデオ信号が４以下の係数によって圧縮されることを必要とすることがある。このように、異なるアプリケーションは異なる要件を有するため、Kleihorst他により記載されている技術は、直接適用可能ではなく、異なる要件を有する異なるアプリケーションに適したフォーマットにフレームデータが変換されることを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従って、コンテンツ信号処理用の改善した方法及び装置が有利であり、特に、異なるアプリケーション又は処理でスケーラブル埋込型符号化信号の使用を促進するシステムが有利である。
【課題を解決するための手段】
【００１２】
従って、好ましくは、本発明は前述の欠点のうち１つ以上を個々に又は何らかの組み合わせで緩和、軽減又は除去しようとする。
【００１３】
本発明の第１の態様によれば、コンテンツ信号処理装置が提供され、コンテンツ信号を符号化し、複数の圧縮レートに関連するデータを有するスケーラブル符号化データを生成する符号化手段と、複数の圧縮レートに関連するデータを示す圧縮係数インジケータを決定する手段と、スケーラブル符号化データと圧縮係数インジケータとを有する結合データを生成する手段とを有する。コンテンツ信号はビデオ信号でもよい。
【００１４】
本発明により、異なる要件を有する複数の異なるアプリケーションで使用され得るスケーラブル符号化データが生成されることが可能になる。特に、所望又は所要の圧縮係数に対応するデータが抽出され得るスケーラブル符号化データが生成されてもよい。圧縮係数インジケータは、異なる圧縮レートに関連するデータを示す。本発明により、所定の圧縮係数に対応するデータが、圧縮係数インジケータを使用することにより直接抽出されることが可能になる。
【００１５】
圧縮係数インジケータは、様々なブロックの所定の圧縮係数に対応するデータを示す様々なインジケータを有し得ることが好ましい。例えば、スケーラブル符号化は、コンテンツデータをコンテンツデータのグループにグループ化して、各グループを個々に符号化することに基づいてもよい。圧縮係数インジケータのセットはグループ毎に生成されることが好ましい。ビデオコンテンツ信号では、各グループのデータは、例えば離散コサイン変換（DCT：Discrete  Cosine  Transform）ブロックに対応してもよい。圧縮係数インジケータは、圧縮係数インジケータを決定するために使用される基準に応じて、ブロック間で異なってもよい。例えば、圧縮係数インジケータを決定するアルゴリズムは、データのブロック又は個々のグループの特性に依存してもよい。
【００１６】
例えば、結合データは適切なデータストアに格納されてもよく、内部又は外部アプリケーションに通信されてもよい。複数の圧縮レートに関連するデータは、重複するセットのデータを有することが好ましい。従って、所定の圧縮係数に対応するデータ区分は、小さい圧縮係数に対応するデータ区分のサブセットであることが好ましい。例えば、符号化がDCTを使用する場合、各圧縮係数は、更なる切り捨てに対応する更なる圧縮係数での生成された空間周波数係数の所定の切り捨てに対応してもよい。
【００１７】
従って、本発明により、異なる圧縮係数を有する異なるアプリケーションに使用されるスケーラブル符号化データの使用を促進する結合データが生成されることが可能になる。
【００１８】
圧縮係数という用語は、結果のデータレート、フレームメモリサイズ、圧縮レート等のような圧縮係数への間接的な参照を含んでもよい。
【００１９】
本発明の特徴によれば、その装置は、第１のアプリケーションを処理する第１の処理手段を更に有し、第１の処理手段は、第１のアプリケーションに関連する第１の圧縮係数を少なくとも決定する手段と、圧縮係数インジケータに応じてスケーラブル符号化データの第１の圧縮係数に関連する第１のデータセットを抽出する第１の抽出手段と、第１のアプリケーションに従ってスケーラブル符号化データを処理する手段とを有する。
【００２０】
このように、本発明により、所定のアプリケーションがスケーラブル符号化信号から所要又は所望のデータを抽出することが可能になる。従って、本発明により、アプリケーションの要件に適するように個々のアプリケーションによってカスタマイズされ得るデータを分散する複雑性の低い及び／又は柔軟な方法が可能になる。更に、このことにより、コンテンツ信号の符号化に全く変更を必要とせずに、異なる圧縮係数を利用する処理又はアルゴリズムが導入され得るため、設計における高度の柔軟性及びアプリケーションの更新が可能になる。
【００２１】
少なくとも第１の圧縮係数の決定は、例えばコンテンツ信号、スケーラブル符号化データ又はアプリケーションの１つ以上の変化する特性の評価に応じた能動的な決定でもよい。代替として又は更に、第１のアプリケーションについて単に所定の値を使用するような受動的な決定でもよい。複数の圧縮係数が決定され、データがこれらの圧縮係数に応じて抽出されることが好ましい。例えば、異なる圧縮係数は、スケーラブル符号化データ又は基礎となるコンテンツ信号の異なる区分又はデータグループについて生成されてもよい。
【００２２】
本発明の異なる特徴によれば、第１のアプリケーションはセグメンテーションアプリケーションである。このことにより、符号化コンテンツ信号でセグメンテーション動作を実行する効率的且つ柔軟な方法が可能になる。
【００２３】
本発明の異なる特徴によれば、第１の抽出手段は、第１のアプリケーションにより決定されたセグメンテーションに応じて第１のデータセットを抽出するように動作可能である。このことにより、セグメンテーションアプリケーションにより決定された異なるセグメントの特性に特に適するデータが抽出されることが可能になる。このように、有利には、処理はフィードバックループを有してもよく、セグメンテーションはデータの抽出に基づき、データの抽出はセグメンテーションを考慮して洗練される。例えば、同種のセグメントで更なる圧縮係数が使用されてもよく、セグメント間又は異種のセクタで低い圧縮係数画使用されてもよい。このように、圧縮係数及び処理するデータは、スケーラブル符号化データ又はコンテンツ信号の特性で最適化又は改善されてもよく、それによって減少したリソース要件でのより効率的な処理が可能になる。このことは、前のデータのセグメンテーション情報が現データに適用される時間一致セグメンテーション（time  consistent  segmentation）で特に有利である。例えば、前のビデオフレームのセグメンテーションは、後のビデオフレームの第１のデータセットの抽出に使用されてもよい。
【００２４】
本発明の異なる特徴によれば、その装置は、第２のアプリケーションを処理する第２の処理手段を更に有し、第２の処理手段は、第２のアプリケーションに関連する第２の圧縮係数を決定し、第２の圧縮係数は第１の圧縮係数と異なる手段と、圧縮係数インジケータに応じてスケーラブル符号化データの第２の圧縮係数に関連する第２のデータセットを抽出する第２の抽出手段と、第２のアプリケーションに従ってスケーラブル符号化データを処理する手段とを有する。
【００２５】
このように、本発明により、単一のスケーラブル符号化データ信号が異なる要件を有する複数のアプリケーション、特に異なる関連の圧縮係数を有する複数のアプリケーションに使用されることが可能になる。関連の圧縮係数は、基礎となるコンテンツ信号又はスケーラブル符号化データの異なるグループ又は区分で異なってもよい。圧縮係数はある区分で同一でもよく、他のセクタで異なってもよい。例えば、異なる圧縮係数の範囲は、第１及び第２のアプリケーションで異なってもよい。従って、本発明により、非常に柔軟なスケーラブル符号化データと、柔軟且つ効率的なコンテンツ信号用の符号化及び処理システムとが可能になる。
【００２６】
データを抽出する手段は、第１又は第２のアプリケーションの圧縮係数に応じてデータを抽出する手段と異なる手段でもよく同じ手段でもよい。
【００２７】
本発明の異なる特徴によれば、第１の抽出手段は、第２の圧縮係数に関連する第１のデータセットのデータを第２の処理手段に送信するように動作可能であり、第２の抽出手段は、第２の圧縮係数に関連する更なるデータを抽出するように動作可能である。
【００２８】
このことは、複数のアプリケーションについてデータを抽出する効率的且つ実装容易な手段を提供する。特に、このことは、データの１つのセットが他方のサブセットになる場合に、２つのアプリケーションのデータを抽出する高速且つ複雑性の低い方法を提供し得る。例えば、第２のアプリケーションが第１のアプリケーションより低い圧縮係数に従ったデータを要求する場合、これは、第２のアプリケーションが第１のアプリケーションに提供されたデータに加えて低い圧縮係数に関連する更なるデータを供給されることを要求してもよい。この手法では、双方のアプリケーションにより必要な場合でも、データ要素毎に１つのみの抽出動作が必要になる。
【００２９】
本発明の異なる特徴によれば、第２のアプリケーションは圧縮アプリケーションである。このことにより、符号化コンテンツ信号で圧縮動作を実行する効率的且つ柔軟な方法が可能になる。
【００３０】
本発明の異なる特徴によれば、第２の処理手段は、第２のデータセットを格納するデータ格納装置を有し、第２のアプリケーションは、データ格納装置に圧縮データを格納するように動作可能であり、格納された圧縮データに応じて圧縮を実行するように動作可能な圧縮アルゴリズムを有する。
【００３１】
このことにより、コンテンツ信号の効率的な圧縮が可能になり、この場合に、圧縮は過去の圧縮データに基づいてもよい。例えば、ビデオコンテンツ信号では、所定のフレームの圧縮は他の圧縮フレームに応じてもよい。
【００３２】
本発明の異なる特徴によれば、第１のアプリケーションはセグメンテーションアプリケーションであり、第１の処理手段は、セグメンテーションアプリケーションのセグメンテーションデータを第２の処理手段に提供するように動作可能であり、圧縮アプリケーションは、セグメンテーションデータに応じて圧縮を実行するように動作可能である。このことにより、圧縮がセグメンテーションに応じて行われ、それによって、改善した品質及び／又は圧縮レートでの効率的な圧縮が可能になる。例えば、同種データを有するセグメントは、セグメントの推移又は異種データを有するセグメントより高い圧縮係数で圧縮されてもよい。従って、本発明により、セグメンテーションアルゴリズムと圧縮アルゴリズムとを組み合わせる柔軟、効率的及び／又は高性能な方法が可能になる。
【００３３】
本発明の異なる特徴によれば、第１のデータセットは、スケーラブル符号化データのフレームに対応し、第１の抽出手段（201）はフレームのセグメンテーションに応じて第１のデータセットを抽出するように動作可能である。例えば、外部セグメンテーション処理は、データの抽出を最適化するために使用可能なセグメンテーション情報を提供してもよい。このことにより、空間情報及び分析のみに基づいて改善したデータ抽出が可能になり、時間情報を必要としない。
【００３４】
本発明の異なる特徴によれば、符号化手段は、シングルパス(single  pass)・スケーラブルエンコーダを有する。本発明により、シングルパス・エンコーダが異なる圧縮係数の要件を有する複数のアプリケーションにより直接使用可能なスケーラブル符号化データを生成することが可能になる。このように、マルチパス（multiple  pass）符号化の要件が本発明によって除去又は軽減され得る。従って、符号化の複雑性、計算リソース、コスト及び／又は速度がかなり減少し得る。
【００３５】
本発明の異なる特徴によれば、圧縮係数インジケータは、所定の圧縮係数に関連するデータの終了点及び／又は開始点を示す少なくとも１つのポインタを有する。これは、所定の圧縮係数に関連するデータを示す特に有利な方法を提供する。これにより、データの簡単な実装及び簡単な抽出が可能になる。
【００３６】
本発明の異なる特徴によれば、コンテンツ信号はビデオ信号である。本発明により、スケーラブル符号化データの異なる要件を有する複数のビデオ処理アプリケーションにより直接使用され得るビデオ信号用のスケーラブル符号化データを生成する有利な方法が可能になる。
【００３７】
本発明の第２の態様によれば、コンテンツ信号処理装置が提供され、複数の圧縮レートに関連するデータを有するスケーラブル符号化データと、複数の圧縮レートに関連するデータを示す圧縮係数インジケータとを有する結合コンテンツ信号データを受信する受信手段と、第１のアプリケーションに関連する第１の圧縮係数を少なくとも決定する手段と、圧縮係数インジケータに応じてスケーラブル符号化データの第１の圧縮係数に関連する第１のデータセットを抽出する抽出手段と、第１のアプリケーションに従って第１のデータセットを処理する手段とを有する。
【００３８】
本発明の第３の態様によれば、コンテンツ信号処理方法が提供され、コンテンツ信号を符号化し、複数の圧縮レートに関連するデータを有するスケーラブル符号化データを生成するステップと、複数の圧縮レートに関連するデータを示す圧縮係数インジケータを決定するステップと、スケーラブル符号化データと圧縮係数インジケータとを有する結合データを生成するステップとを有する。
【発明を実施するための最良の形態】
【００３９】
本発明の前記及び他の態様、特徴及び利点は、以下に記載する実施例を参照して明らかになり、それを参照して説明する。
【００４０】
本発明の実施例について、図面を参照して一例のみとして説明する。
【００４１】
以下の説明は、ビデオ信号の処理に適用可能な本発明の実施例に焦点を当てるが、本発明はこの用途に限定されず、例えばオーディオ又はマルチメディアコンテンツ信号を含む他の多数のコンテンツ信号に適用され得る。
【００４２】
図１は、本発明の好ましい実施例によるコンテンツ信号処理装置100を示している。
【００４３】
装置100は、内部ソース又は外部ソースでもよい適切なソース（図示せず）からビデオ信号を受信するスケーラブルエンコーダ101を有する。好ましい実施例では、受信ビデオ信号は、符号化又は圧縮されていない生のデジタルビデオ信号である。他の実施例では、ビデオ信号は、適切なフォーマットに既に符号化及び／又は圧縮されていてもよい。
【００４４】
スケーラブルエンコーダ101は、所定のフレームメモリサイズに適合し得るように、受信ビデオ信号を符号化するように動作可能である。好ましい実施例のスケーラブルエンコーダ101は、“DCT-domain  embedded  memory  compression  for  hybrid  video  coders”、R.  P.  Kleihorst及びR.  J.  van  der  Vleuten、Journal  of  VLSI  Signal  Processing  Systems、vol.24、pp1523-1543、2000、Institute  of  Electrical  and  Electronic  Engineersに記載のアルゴリズムを使用する。
【００４５】
このように、スケーラブルエンコーダ101は、所定のメモリ割り当てに適合するようにスケール可能な信号を作る。特に、スケーラブルエンコーダ101は、受信ビデオ信号のフレームを複数の８×８の画素ブロックに分割する。各ブロックで離散フーリエ変換（DCT：Dsicrete  Fourier  Transform）が実行され、空間周波数係数を生成する。多数の周波数係数が選択され、ビットプレーン毎に符号化される（すなわち、最初に全ての選択された係数のうち全ての最上位ビットが含まれ、全ての選択された係数のうち次の最上位ビットが含まれ、以下同様である）。
【００４６】
好ましい実施例では、ビデオ信号は、スケーラブルエンコーダ101に結合されたフレームメモリ103に格納される。好ましい実施例では、フレームメモリは、DCTドメインに１つ以上のフレームを格納する。すなわち、各DCTブロックの選択された係数がビットプレーン順に格納される。更に、好ましい実施例では、スケーラブルエンコーダ101は、部分的に適切な数の係数を選択することにより、また、部分的に異なる係数のワードサイズを切り捨てることにより、フレームメモリ103に適合するようにDCT符号化信号をスケールするように動作可能である。
【００４７】
このように、スケーラブルエンコーダ101は、DCTブロック毎に複数の低周波数係数を選択し、複数の高周波数係数を排除することが好ましい。排除される高周波数係数の数は、フレームメモリの利用可能なメモリ容量に依存する。更に又は代替として、スケーラブルエンコーダ101は、利用可能なメモリ容量に応じて係数の一部又は全てから最下位ビットのうちいくつかを切り捨ててもよい。このことにより、フレームメモリに適合する圧縮ビデオ信号が可能になる。好ましい実施例では、スケーラブルエンコーダ101は、目的のアプリケーションの要件にかかわらず、フレームメモリ103の全利用可能な容量を使用する。このように、アプリケーションが４の圧縮係数に基づいていたとしても、スケーラブルエンコーダ101は、フレームメモリが十分な容量を有していれば２の圧縮係数に対応するデータを格納する。
【００４８】
好ましい実施例では、フレームメモリ105に格納されているデータは、複数の圧縮レートに対応する。特に、DCT係数及びワードサイズの選択は、第１の圧縮レートに対応する。しかし、より小さいDCT係数及び／又は減少したワードサイズが選択される場合には、より高い圧縮レートが実現され得る。このように、フレームメモリ105に格納されているデータは、より高い圧縮係数に対応するデータのサブセットを有する。従って、何のデータがフレームメモリ105から抽出されるかに応じて、異なる圧縮係数又はレートを備えた信号が得られ得る。
【００４９】
スケーラブルエンコーダ101は、圧縮プロセッサ105に更に結合される。圧縮プロセッサ105は、複数の圧縮レートに関連するデータを示す圧縮係数インジケータを決定するように動作可能である。
【００５０】
好ましい実施例では、圧縮プロセッサ105は、複数の固定の圧縮係数に対応する又は複数の同等なフレームサイズ若しくはデータレートに等しい複数の圧縮係数インジケータを決定する。例えば、圧縮プロセッサ105は、２、４、６及び８の圧縮係数について圧縮係数インジケータを決定してもよい。これらの圧縮係数毎に、所望の圧縮係数を有するビデオ信号を生成するために抽出されるべきフレームメモリ105のデータを特定する圧縮係数インジケータが決定される。
【００５１】
圧縮係数という用語は、結果のデータレート、フレームメモリサイズ、圧縮レート等のような圧縮係数への間接的な参照を含んでもよいことがわかる。
【００５２】
好ましい実施例では、圧縮係数インジケータは、各圧縮係数のデータの開始点及び終了点を示すポインタを有する。このように、特に、スケーラブルエンコーダ101のスケーラブル符号化データは、フレームメモリ105の全データを含めることにより実現される最小の圧縮係数に対応する。より高い圧縮係数のそれぞれについて、圧縮プロセッサ105は、この圧縮係数を実現するために何のデータが含まれるかを決定する。特に、何のDCT係数が含められるか、及び選択された係数のワードサイズを決定する。次に、このデータの開始点及び終了点を示すブロック毎のポインタを生成する。フレームメモリ105の構成及びデータ構造に応じて、複数の開始ポインタ及び終了ポインタがDCTブロック毎に生成されてもよい。１つの圧縮係数について全ての圧縮係数インジケータが決定されると、圧縮プロセッサ105は、次に高い圧縮係数のポインタを決定するように進行する。
【００５３】
好ましい実施例では、高周波数係数及び最下位ビットの更なる切り捨てにより、より高い圧縮係数が実現されるため、より低い圧縮係数により選択されたスケーラブル符号化データのサブセットを特定することにより、より高い圧縮係数が実現される。このように、データは、より高い圧縮係数がより低い圧縮係数のサブセットになるように、相互にネストされたデータセットを有する。より高い圧縮係数のデータを示す圧縮係数インジケータがより低い圧縮係数にも使用され得るため、このことは必要な圧縮係数インジケータの数を低減する際に使用されてもよい。
【００５４】
圧縮プロセッサ105はフレームメモリ105に結合され、圧縮係数インジケータをそれに格納するように動作可能である。従って、フレームメモリ105は、スケーラブルエンコーダ101からのスケーラブル符号化データと圧縮プロセッサ105からの圧縮係数インジケータとを有する結合データを有する。
【００５５】
ある実施例では、フレームメモリ105は使用されず、例えば他の機能ユニットに分配され得る信号に含まれることにより、スケーラブル符号化データ及び圧縮係数インジケータは結合される。
【００５６】
従って、装置100により、所定の制限（所定のメモリ割り当て等）に適合するようにスケール可能であり、異なる圧縮レートを有するデータ信号を導くために使用可能である結合データが生成されることが可能になる。例えば、アプリケーションは、４の圧縮係数に従ってフレームメモリ105からデータを抽出してもよく、他のアプリケーションは、例えば８の圧縮係数に従ってフレームメモリからデータを抽出してもよい。スケーラブルエンコーダ101若しくは圧縮プロセッサ105又はこれが実現される格納されたスケーラブル符号化データに変更は必要ない。むしろ、アプリケーションは単に必要なデータを抽出しさえすればよい。実際に、２つのアプリケーションは、実質的に同時に異なる圧縮係数（従ってデータレート等）に対応するデータを抽出してもよい。従って、本実施例により、異なる要件を備えた異なるアプリケーションが同じシングルパス（single  pass）符号化及びそのデコードによって生成された同じスケーラブル符号化データを使用することを可能にする非常に柔軟且つ効率的なシステムが可能になる。
【００５７】
図２は、本発明の好ましい実施例に従って複数のアプリケーションを処理する装置200を示している。その装置は図１の装置100を組み込み、同一の機能モジュールは同一の参照符号で示されている。
【００５８】
装置200は、第１のアプリケーションに関連する第１の圧縮係数を決定するように動作可能な第１の抽出プロセッサ201を有する。好ましい実施例では、第１の圧縮係数は、単に所定のアプリケーションについて予め格納されている値として決定されるが、他の実施例では、第１の抽出プロセッサ201は、アプリケーション又はコンテンツ信号の特性を分析することにより、第１のアプリケーションを決定するように動作可能である。例えば、第１の抽出プロセッサ201は、この情報をアプリケーションと交換することができる通信回路を有してもよい。
【００５９】
第１の抽出プロセッサ201は、スケーラブル符号化データから、決定された第１の圧縮係数に対応する第１のデータセットを抽出するように更に動作可能である。好ましい実施例では、第１の抽出プロセッサ201は、第１のデータセットが一時的に格納され得る第１のキャッシュメモリ203に結合される。このように、好ましい実施例では、第１の抽出プロセッサ201は、フレームメモリ105の格納されたフレームについて、第１のアプリケーションに適した圧縮係数を決定する。第１の抽出プロセッサ201は、第１の圧縮係数に対応する圧縮係数インジケータを抽出し、その後、第１の圧縮係数に対応する圧縮係数インジケータにより示される全データをフレームメモリ105から抽出する。この動作に続いて、第１のキャッシュメモリ203は、第１の圧縮係数に対応するデータサイズを有するビデオ信号のフレームを有する。
【００６０】
第１のキャッシュメモリ203は、第１のキャッシュメモリ203に格納されているフレームのデータを、アプリケーションによる後の処理に適したフレームフォーマットに変換するように動作可能な第１のデコーダ205に結合される。特に、第１のデコーダ205は、逆離散コサイン変換（IDCT：Inverse  Discrete  Cosine  Transform）を実行し、DCTブロックデータを空間ドメインに逆変換してもよい。しかし、デコードの抽出特性は、第１のアプリケーションによる後の処理の要件に依存する。特に、ある実施例では、フレームメモリ105からのフレームデータは、変換を介入せずに直接使用されてもよい。
【００６１】
第１のデコーダ205は、第２のキャッシュメモリ207に結合され、変換されたデータは一時的にそれに格納される。
【００６２】
第２のキャッシュメモリ207は、第１のアプリケーションに従って変換されたデータセットを処理するように動作可能な第１のアプリケーションプロセッサ209に結合される。第１のアプリケーションは如何なる適切なアプリケーションでもよいことがわかる。しかし、好ましい実施例では、第１のアプリケーションは、所定の基準に従ってフレームを複数の異なる画像セグメントに分割するセグメンテーションアプリケーションである。
【００６３】
特に、セグメンテーションアプリケーションは、類似の色又はテクスチャのような同種の視覚特性を有する画像セグメントにフレームを分割することができる時間一致画素精度セグメンテーションアルゴリズム（time  consistent  pixel  precise  segmentation  algorithm）であることが好ましい。フレームのセグメンテーションは、例えば物体認識又はビデオ圧縮アプリケーションを含む他のアプリケーションに有用なデータを提供し得る複雑な処理である。
【００６４】
好ましい実施例では、セグメンテーション出力は、第１のデータセットを抽出する際に、第１の抽出プロセッサ201により更に使用される。このように、好ましい実施例では、第１のアプリケーションプロセッサ209は第１の抽出プロセッサ201に結合され、それにより、第１のアプリケーションプロセッサ209により生成されたセグメンテーションデータが第１の抽出プロセッサ201にフィードバックされる。第１の抽出プロセッサ201は、セグメンテーションデータに応じてフレームを通じて変化する圧縮係数を決定してもよい。このことは、所定のフレームのセグメンテーションが後のフレームに適用可能でもよい時間一致セグメンテーション（time  consistent  segmentation）で特に有用である。例えば、後のフレームのセグメンテーション情報を決定するために、セグメントの動き推定が使用されてもよい。従って、抽出において時間一致の過去の情報が使用されてもよい。
【００６５】
例えば、高い圧縮係数は、有意なテクスチャのない実質的に同じ色のような同種の特性を有する画像セグメント内に全体的に含まれるデータブロックで決定される。低い圧縮係数は、高いレベルのテクスチャを有する画像セグメントのブロック又は異なる画像セグメント間でエッジが重なる画像セグメントのブロックで決定される。従って、圧縮係数は、圧縮を増加する視覚効果に対応するように動的に調整されてもよく、それに従って改善した処理結果が実現されてもよい。
【００６６】
他の実施例では、外部セグメンテーション処理が使用されてもよい。例えば、フレームメモリに保持されている所定のフレームは独立して分析されてもよく、得られたセグメンテーション情報は第１のデータセットを抽出するために使用されてもよい。このことにより、空間セグメンテーションのみに基づく改善したデータ抽出が可能になり、時間一致セグメンテーション又は時間相関を必要としない。
【００６７】
好ましい実施例の装置は、更に第２のアプリケーションを処理することが可能であり、特に第１のアプリケーションと同時に第２のアプリケーションを処理することが可能である。
【００６８】
好ましい実施例では、その装置は、第２のアプリケーションに関連する第２の圧縮係数を決定するように動作可能な第２の抽出プロセッサ211を更に有する。好ましい実施例では、第２の圧縮係数は第１の圧縮係数と異なる。
【００６９】
明瞭及び簡潔にするため、説明は第１及び第２の圧縮係数について述べるが、これは複数の圧縮係数又は圧縮係数の範囲若しくは間隔を含んでもよいことがわかる。更に、第１及び第２の圧縮係数は圧縮係数の重複範囲を有してもよいが、これらは重複しないことが好ましい。例えば、第１のアプリケーションは、４、６及び８の圧縮係数に基づいてもよく、第１の抽出プロセッサ201は、例えば個々のDCTブロックの特性に応じて、これらの圧縮係数のうち１つに対応するデータを抽出してもよい。同様に、第２のアプリケーションは、２、４、６及び８の圧縮係数に基づいてもよく、データは、例えば個々のDCTブロックの特性に応じて、これらの圧縮係数のうち１つに対応して抽出されてもよい。従って、第１及び第２のアプリケーションの圧縮係数は、何らかのDCTブロックで類似又は同一でもよく、他のDCTブロックで異なってもよい。
【００７０】
第２の抽出プロセッサ211は、第２の圧縮係数に応じてフレームメモリ105から第２のデータセットを抽出するように更に動作可能である。
【００７１】
好ましい実施例では、第２の抽出プロセッサ211は、第１の抽出プロセッサ201に結合され、これから直接データを取り出すように動作可能である。この実施例では、第２の抽出プロセッサ211は、第１の抽出プロセッサ201から直接に第１及び第２のデータセットの共通データを受信する。特に、第２のアプリケーションの圧縮係数は、第１の圧縮係数より低い圧縮係数に対応してもよく、第１のデータセットは第２のデータセットのサブセットでもよい。従って、第２の抽出プロセッサ211は、第１の抽出プロセッサ201から直接に第１のデータセットを受信する。更に、第２の抽出プロセッサ211は、フレームメモリ105に直接結合され、そこから更なるデータを抽出する。このように、この実施例では、第２の抽出プロセッサ211は、第１の抽出プロセッサ201から受信されていない第２のデータセットのデータをフレームメモリ105から直接抽出する。
【００７２】
同様に、第２のデータセットが第１のデータセットのサブセットである場合、第２の抽出プロセッサ211は、単に第１の抽出プロセッサ201からデータのサブセットを受信してもよく、第１のデータセット全体を受信して必要のないデータを破棄してもよい。
【００７３】
このように、第２の抽出プロセッサ211は、第１の抽出プロセッサ201を通じてフレームメモリ105からデータを抽出してもよい。特に、第１の抽出プロセッサ201及び第２の抽出プロセッサ211は、同じ機能モジュール又はユニットでもよい。
【００７４】
第１の抽出プロセッサ201を通じて第２の抽出プロセッサ211にデータを提供することは、図１の装置100が外部ユニットで実装されているが、残りの機能モジュールが単一の集積回路に実装されている場合に、特に有利である。従って、大きいフレームメモリを使用する実施例では、これはオフチップ外部メモリによって実装されてもよく、外部メモリのアクセスが最小化されてもよい。従って、外部メモリへのアクセスに関連する帯域制限及び遅延の重要性が低減され得る。
【００７５】
装置200は、第１のキャッシュメモリ203と同等の第３のキャッシュメモリ213を更に有し、第２のデータセットの一時的な格納が可能になる。第２のキャッシュメモリ213は、第３のキャッシュメモリ213に格納されているフレームのデータを、第２のアプリケーションに適したフレームフォーマットに変換するように動作可能な第２のデコーダ215に結合される。好ましい実施例では、第２のデコーダ215の性能は、第１のデコーダ205の性能と同等であるため、更に詳細に説明しない。第２のデコーダ215は、第４のキャッシュメモリ217に結合され、変換されたデータがそこに一時的に格納される。
【００７６】
第４のキャッシュメモリ217は、第２のアプリケーションに従って変換されたデータセットを処理するように動作可能な第２のアプリケーションプロセッサ219に結合される。第２のアプリケーションは如何なる適切なアプリケーションでもよいことがわかる。しかし、好ましい実施例では、第２のアプリケーションは、MPEG2のような規定の標準に従ってビデオ信号をデジタルビデオ信号に符号化するように動作可能なビデオ符号化／圧縮アプリケーションである。
【００７７】
例えばMPEG2標準に従ってビデオ信号を符号化する方法及びアルゴリズムは当該技術分野において周知であり、更に詳細に説明しない。
【００７８】
ある実施例では、第１及び第２のアプリケーションは、インタラクションすることが可能であり、特に第１のアプリケーションのセグメンテーションデータは第２のアプリケーションに供給され、ビデオ圧縮アルゴリズムで使用されてもよい。このことにより、特定された異なる画像セグメントについて圧縮が動的に最適化される。このように、小さいテクスチャを有する同種セグメントについて高い圧縮が使用されてもよく、高いテクスチャレベル及び／又はセグメント間の境界に関連する領域を有するセグメントについて低い圧縮が使用される。更に、セグメンテーションデータは、物体検出及び動き推定に使用されてもよい。
【００７９】
好ましい実施例では、第２のアプリケーションプロセッサ219は、第４のキャッシュメモリ217に更に結合され、それに圧縮ビデオデータを格納するように動作可能である。このように、圧縮データフレームが格納され、後のフレームの圧縮に使用されてもよい。それによって、動き推定、物体トラッキング及び他のビデオ圧縮技術が促される。
【００８０】
好ましい実施例では、ほとんど又は全ての機能要素は、単一の集積回路に実装される。このように、好ましい実施例では、フレームメモリ並びにスケーラブルエンコーダ101及び圧縮プロセッサ105ですら、残りの処理機能と同じ集積回路に組み込まれる。しかし、他の実施例では、他の分配も可能であり、特に、オンチップ機能とオフチップ機能との間のインタフェースは、フレームメモリへの入力又はフレーメモリからの出力に存在してもよい。
【００８１】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの如何なる組み合わせを含み、如何なる適切な形式で実装されてもよい。しかし、本発明は、１つ以上のデータプロセッサ及び／又はデジタルシグナルプロセッサで動作する専用集積回路又はコンピュータソフトウェアとして少なくとも部分的に実装される。本発明の実施例の要素及び構成要素は、物理的、機能的及び論理的に、如何なる適切な方法で実装されてもよい。実際に、機能は単一のユニットで実装されてもよく、複数のユニットで実装されてもよく、又は他の機能ユニットの一部として実装されてもよい。従って、本発明は単一のユニットに実装されてもよく、又は異なるユニットとプロセッサとの間に物理的及び機能的に分配されてもよい。
【００８２】
好ましい実施例に関して本発明を説明したが、ここに示した特有の形式に限定することを意図するのではない。むしろ、本発明の範囲は特許請求の範囲のみによって限定される。請求項において、有するという用語は、他の要素又はステップの存在を除外するものではない。更に、個別に記載されていても、複数の手段、要素又は方法のステップは、例えば単一のユニット又はプロセッサにより実装されてもよい。更に、個々の特徴が異なる請求項に含まれ得るが、これらは場合によっては有利に結合されてもよく、異なる請求項での包含は、特徴の組み合わせが実現可能及び／又は有利でないことを意味するのではない。更に、単一の言及は複数を除外しない。従って、“１つ”、“第１の”、“第２の”等への言及は複数を除外しない。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施例によるコンテンツ信号処理装置である。
【図２】本発明の実施例による複数のアプリケーションを処理する装置である。
【図１】
2007505545.tif 000003
【図２】
2007505545.tif 000004
【国際調査報告】
2007505545.tif 000005
2007505545.tif 000006
2007505545.tif 000007