(57)【要約】ビデオエンコーダ１００は、圧縮されていないビデオ信号を受信する受信機１０１を有する。符号化エレメント１０３は、ＭＰＥＧ−２符号化アルゴリズムのような、圧縮アルゴリズムに従って圧縮されたビデオ信号を生成する。さらに、特徴点プロセッサ１０５は、圧縮されていない信号に応答して特徴点データ１０５を生成し、出力プロセッサ１０７は、圧縮されたビデオ信号及び特徴点データを含む出力ビデオ信号を生成する。出力信号は、ビデオ信号プロセッサ２００の受信機２０１により受信される。抽出プロセッサ２０３は、特徴点データを抽出し、これをビデオプロセッサユニット２０７に供給する。このビデオプロセッサユニットは、特徴点データに応答して圧縮されたビデオ信号を処理する。圧縮されていない（オリジナルの）ビデオ信号を使用して特徴点の動きデータ又はトラックのような、特徴点データの個別かつ独立の生成は、圧縮された信号を使用して検出されたとき、特徴点の位置及び軌道での圧縮のアーチファクト、不正確さ及びエラーのインパクトを除去又は低減する。
2007525920.tif 000002
【特許請求の範囲】
【請求項１】
圧縮されていないビデオ信号を受信する手段と、
前記圧縮されていない信号に応答して特徴点のデータを生成する手段と、
圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って、前記圧縮されていないビデオ信号を圧縮する手段と、
前記圧縮されたビデオ信号及び前記特徴点データを含む出力ビデオ信号を生成する手段と、
を有することを特徴とするビデオ信号エンコーダ。
【請求項２】
前記特徴点データは、特徴点の移動データを含む、
請求項１記載のビデオ信号エンコーダ。
【請求項３】
前記特徴点データは、１以上の特徴点の動きモデルに関連したパラメトリックデータを含む、
請求項１記載のビデオ信号エンコーダ。
【請求項４】
前記特徴点データは、少なくとも１つの圧縮されていない信号のフレームに関連した特徴点のグルーピングに関連するグループ情報を含む、
請求項１記載のビデオ信号エンコーダ。
【請求項５】
前記特徴点データは、少なくとも１つの圧縮されていない信号のフレームに関連された特徴点のグループについて共通の動きデータを含む、
請求項１記載のビデオ信号エンコーダ。
【請求項６】
前記特徴点データは、特徴点の絶対位置のデータを含まない、
請求項１記載のビデオ信号エンコーダ。
【請求項７】
前記特徴点データを生成する手段は、前記圧縮されていないビデオ信号の第一のフレームにおいて少なくとも１つの特徴点を検出し、前記圧縮されていないビデオ信号の少なくとも第二のフレームにおいて前記少なくとも１つの特徴点を追跡するために作用する、
請求項１記載のビデオ信号エンコーダ。
【請求項８】
前記特徴点データを生成する手段は、特徴点をグループ化し、特徴点のそれぞれのグループについて共通の特徴点データを生成するために作用する、
請求項１記載のビデオ信号エンコーダ。
【請求項９】
伸張された信号を生成するための伸張アルゴリズムに従って、前記圧縮されたビデオ信号を伸張する復号化手段を更に有し、前記特徴点データを生成する手段は、前記伸張された信号に応答して特徴点データを生成するために更に作用する、
請求項１記載のビデオ信号エンコーダ。
【請求項１０】
前記特徴点データを生成する手段は、前記圧縮されてないビデオ信号のフレームのサブセットのみに関連する特徴点データを生成するために作用する、
請求項１記載のビデオ信号エンコーダ。
【請求項１１】
圧縮されたビデオ信号と該圧縮されたビデオ信号の圧縮されていないバージョンに関連する特徴点データとを含むビデオ信号を受信する手段と、
前記特徴点データを抽出する手段と、
前記特徴点データに応答して前記圧縮されたビデオ信号を処理する手段と、
を有することを特徴とするビデオ信号プロセッサ。
【請求項１２】
前記処理手段は、前記特徴点データに応答して前記圧縮されたビデオ信号のフレームにおいて画像オブジェクトのトラッキングを実行するために作用する、
請求項１１記載のビデオ信号プロセッサ。
【請求項１３】
前記処理手段は、前記特徴点データに応答して前記圧縮されたビデオ信号の３次元情報処理を実行するために作用する、
請求項１１記載のビデオ信号プロセッサ。
【請求項１４】
圧縮されていないビデオ信号を受信する手段、前記圧縮されていない信号に応答して特徴点データを生成する手段、圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って、前記圧縮されていないビデオ信号を圧縮する手段、及び前記圧縮されたビデオ信号及び前記特徴点データを含む出力ビデオ信号を生成する手段を有するビデオエンコーダと、
前記出力ビデオ信号を受信する手段、前記特徴点を抽出する手段及び前記特徴点データに応答して前記圧縮されたビデオ信号を処理する手段を有するビデオ信号プロセッサと、を有することを特徴とするビデオ信号配信システム。
【請求項１５】
ビデオ信号を符号化する方法であって、
当該方法は、
圧縮されていないビデオ信号を受信するステップと、
前記圧縮されていないビデオ信号に応答して特徴点のデータを生成するステップと、
圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って前記圧縮されていないビデオ信号を圧縮するステップと、
前記圧縮されたビデオ信号及び前記特徴点データを含む出力ビデオ信号を生成するステップと、
を含むことを特徴とする方法。
【請求項１６】
ビデオ信号を復号化する方法であって、
当該方法は、
圧縮されたビデオ信号と該圧縮されたビデオ信号の圧縮されていないバージョンに関連する及び特徴点データを含むビデオ信号を受信するステップと、
前記特徴点データを抽出するステップと、
前記特徴点データに応答して前記圧縮されたビデオ信号を処理するステップと、
を含むことを特徴とする方法。
【請求項１７】
ビデオ信号を配信する方法であって、
当該方法は、
ビデオエンコーダで、圧縮されていないビデオ信号を受信するステップ、前記圧縮されていない信号に応答して特徴点データを生成するステップ、圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って、前記圧縮されていないビデオ信号を圧縮するステップ、及び前記圧縮されたビデオ信号及び前記特徴点データを含む出力ビデオ信号を生成するステップを実行するステップと、
ビデオ信号プロセッサで、前記出力ビデオ信号を受信するステップ、前記特徴点データを抽出するステップ、及び前記特徴点データに応答して前記圧縮されたビデオ信号を処理するステップを実行するステップと、
を含むことを特徴とする方法。
【請求項１８】
請求項１５乃至１７のいずれか記載の方法を実行するのを可能にするコンピュータプログラム。
【請求項１９】
請求項１８記載のコンピュータプログラムを含む記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号エンコーダ、ビデオ信号プロセッサ、ビデオ信号配信システム及びビデオ信号配信システムの動作方法、並びに、特に排他するものではないがビデオ信号における特徴点のトラッキングに関する。
【背景技術】
【０００２】
近年、デビデオ信号のようなコンテンツ信号のデジタル記憶及び配信の使用は、益々普及している。これに応じて、異なるコンテンツ信号の多数の異なるエンコード技術が開発されている。たとえば、多数のビデオ符号化規格は、多くのプロフェッショナル及びコンシューマアプリケーションにおけるデジタルビデオの適合を容易にし、異なる製造業者からの機器の互換性を保証するために設計されている。
【０００３】
最も影響力のある規格は、ＩＴＵ−Ｔ（International  Telecommunications  Union）、又はＩＳＯ／ＩＥＣ（the  international  Organization  for  Standardization/the  international  Electrotechnical  Committee）のＭＰＥＧ（Motion  Pictures  Experts  Group）委員会のいずかにより従来は開発されている。ＩＴＵ−Ｔ規格は、勧告としても知られており、リアルタイム通信（たとえばビデオ会議）を典型的に狙いとしており、大部分のＭＰＥＧ規格は、（たとえばＤＶＤ（Digital  Versatile  Disc）用の）記憶のために、（たとえばＤＶＢ（Digital  Video  Broadcast）用の）ブロードキャストのために最適化される。
【０００４】
現在、最も広く使用されているビデオ符号化及び圧縮技術の１つは、ＭＰＥＧ（Motion  Pictures  Experts  Group）規格として知られている。ＭＰＥＧ−２は、ブロックベースの圧縮スキームであり、フレームは、８つの垂直画素及び８つの水平画素からそれぞれなる複数のブロックに分割される。ルミナンスデータの圧縮について、それぞれのブロックは、離散コサイン変換（ＤＣＴ）を使用し、続いて大幅数の変換されたデータ値をゼロに低減してこれにより効率的な符号化を提供する量子化を使用して個別に圧縮される。クロミナンスデータの圧縮について、クロミナンスデータの量は、通常、ダウンサンプリングによりはじめに低減され、ＤＣＴ及び量子化を使用した圧縮がこれに続く。イントラフレーム圧縮にのみ基づいたフレームは、イントラフレーム（Ｉフレーム）として知られる。さらに、動き予測は、時間的な冗長度を利用するために使用される。画像セグメントの差分の動きベクトルは、送信され、画像を再構成するためにデコーダにより使用される。
【０００５】
将来的なビデオアプリケーションは、複雑な信号処理機能を有し、進展された特徴及び機能を提供することが期待される。たとえば、画像オブジェクト検出及びトラッキングが現在調査されている。オブジェクトトラッキングを使用したビデオアプリケーションの例は、フットボールオブジェクト及びプレーヤオブジェクトがビデオ信号で検出され、異なる仮想的なカメラ角又はゲーム統計量を生成するためにたとえば使用されるアプリケーションである。
【０００６】
現在著しい注目を受けている別のアプリケーションの例は、２次元（２Ｄ）ビデオに基づいた３次元（３Ｄ）処理である。たとえば、従来のビデオ及びＴＶシステムは、実際に本質的に２次元であるビデオ信号を配信する。しかし、多くのアプリケーションでは、３次元情報を更に提供することが望まれる。
【０００７】
特に、３次元ビデオ又はテレビジョン（３ＤＴＶ）は、ビジュアルコンテンツの表示のユーザ体験をエンハンスするための手段として請け負うものであり、３次元ＴＶは、潜在的に、カラーＴＶの導入と同様に著しい。２次元から３次元への変換プロセスは、２次元ビデオに（奥行き）構造を追加し、ビデオ圧縮用に使用される場合もある。しかし、３次元情報を含むビデオに２次元ビデオを変換することは、主要な画像処理の挑戦である。結果的に、著しい研究がこの分野で行われてきており、多数のアルゴリズム及びアプローチが２次元画像から３次元情報を抽出するために指摘されている。
【０００８】
オブジェクトトラッキング及び３次元処理向けにアルゴリズムが提案されており、これは、エンコードされたビデオ信号のパラメータに基づいている。しかし、これらのパラメータは、記載されるオブジェクトの軌道の精度について最適化されないが、視覚的な品質について最適化される。たとえば、ビデオ圧縮アルゴリズムの現在の実現は、画像の動きベクトルの予測及び記憶のために固定された方形の形状の画像領域（ブロック）と関連付けされる動きベクトルを典型的に使用する。しかし、ブロックベースの動きベクトルは、ブロック当たりの動きが典型的に５０フレームを通した長いトラックを形成するために十分に正確ではないため、正確なトラッキングについて非常に良好に適しない。
【０００９】
さらに、エンコードされたビデオ信号から再生されたフレームに基づいたオブジェクトトラッキング及び３次元処理は、符号化／圧縮により導入されたアーチファクト、エラー及び不正確さのために正確さを低減する傾向にある。  
また、エンコードされたビデオ信号を処理するための公知のアルゴリズムは、複雑であり、高い計算上のリソースを必要とする傾向にある。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、改善されたビデオエンコーダ、ビデオデコーダ及びビデオ配信システムが有利であり、特に、オブジェクト検出、トラッキング及び／又は３次元処理のような用途のためにビデオ信号の処理を容易及び／又は改善するシステムが有利である。
【課題を解決するための手段】
【００１１】
したがって、本発明は、好ましくは、上述された１以上の問題を単独又は組み合わせて軽減、緩和又は除去するものである。
【００１２】
本発明の第一の態様によれば、圧縮されていないビデオ信号を受信する手段、圧縮されていない信号に応答して特徴点のデータを生成する手段、圧縮されたビデオ信号を生成するため、圧縮アルゴリズムに従って圧縮されていないビデオ信号を圧縮する手段、及び圧縮されたビデオ信号及び特徴点データを含む出力ビデオ信号を生成する手段を有するビデオ信号エンコーダが提供される。
【００１３】
本発明は、容易にされた処理及び／又は改善された処理に適した出力ビデオ信号を供給するビデオ信号エンコーダ提供する。出力ビデオ信号は、圧縮されていないビデオ信号に関連する特徴点データを含む。この特徴点データは、符号化又は圧縮のアーチファクトの影響として増加された精度からなる場合があり、不正確さ及びエラーが低減又は除去される。本発明は、特徴点の情報を生成する処理が低減又は除去される場合があるように、低い複雑さで処理される場合がある出力信号を更に可能にする場合がある。
【００１４】
さらに、更なる特徴点データは、圧縮されていないビデオ信号から生成されており、圧縮されたビデオ信号に加えて提供される場合があり、これにより、その後の処理に適した付加的な及び／又は改善された情報を可能にする。特に、（２次元画像からの３次元情報の構築を含む）改善及び／又は容易にされた３次元処理、及び／又はオブジェクト検出及び／又はトラッキングを可能にする正確な特徴点の情報が含まれる場合がある。
【００１５】
特徴点データの個別又は独立な生成は、生成及び結果的に得られるデータが、圧縮アルゴリズムに関連した制約、要件又は問題点のいずれかに独立になるのを可能にする。圧縮アルゴリズムは、符号化アルゴリズムの一部であるか、符号化アルゴリズムを含む場合がある。圧縮されていない信号は、何れかの適切な形式である場合があり、更なる圧縮又は再符号化及び圧縮を可能にする所与の符号化規格に従って既に符号化されている場合がある。したがって、ビデオ信号エンコーダは、たとえばビデオトランスコーダの一部である場合がある。
【００１６】
付加的な情報は、出力ビデオ信号の増加されたデータレートとなる場合がある。しかし、この増加されたデータレートは、大部分の用途で問題にならないか、及び／又は許容可能である場合がある。さらに、特徴点のデータは画像のセグメント又はオブジェクトよりもシンプルな特徴点にのみ関連した情報を特に含む場合があるので、特徴点データは、圧縮されたビデオ信号のデータレートよりも典型的に非常に低いデータレートと効果的に伝達される場合がある。
【００１７】
本発明の特徴によれば、特徴点データは、特徴点の移動データを含む。  
特徴点の移動データは、たとえば１以上の識別された特徴点に関連する特徴点の軌道データ及び／又は相対的な移動データである場合がある。これは、オブジェクトトラッキング及び３次元再構成処理に特に適した情報を提供する。
【００１８】
本発明の別の特徴によれば、特徴点データは、１以上の特徴点の動きモデルに関連したパラメトリックデータを含む。  
これは、たとえば複雑な動きを実行するオブジェクトのオブジェクトトラッキングに適した低いデータレートの特徴点の動き情報を提供する。
【００１９】
本発明の別の特徴によれば、特徴点データは、少なくとも１つの圧縮されていない信号のフレームに関連した特徴点のグルーピングに関連するグループ情報を含む。  
これは、特徴点データに関連する低減されたデータレートを提供し、出力ビデオ信号の処理、特に特徴点データの処理を容易にする場合がある。たとえば、グループが画像オブジェクトに対応する場合、オブジェクトトラッキング処理は大幅に容易にされる場合がある。
【００２０】
本発明の別の特徴によれば、特徴点データは、少なくとも１つの圧縮されていない信号のフレームに関連された特徴点のグループについて共通の（共有にされた）動きデータを含む。この情報は、オブジェクトトラッキング及び３次元再構成を含む多くの用途及び処理について特に有効である。
【００２１】
本発明の別の特徴によれば、特徴点データは、特徴点の絶対位置のデータを含まない。これは、特徴点データを伝達するために必要とされるデータレートを低減する場合がある。例として、それぞれのフレームにおけるそれぞれのデータポイントについて絶対位置の値を提供するよりはむしろ、あるフレームから次のフレームへの特徴点の動きを示す相対的な位置の値が提供される場合がある。相対的な動きの値は典型的に比較的小さいので、データ値の更に有効な符号化／圧縮を達成することができる。
【００２２】
本発明の別の特徴によれば、特徴点データを生成する手段は、圧縮されていないビデオ信号の第一のフレームにおける少なくとも１つの特徴点を検出し、圧縮されていないビデオ信号の少なくとも第二のフレームにおける少なくとも１つの特徴点を追跡するために作用する。これは、たとえばオブジェクトトラッキング及び３次元再構成の用途に適している特徴点データを生成する低い複雑度のやり方を提供する。
【００２３】
本発明の別の特徴によれば、特徴点データを生成する手段は、特徴点をグループ化し、特徴点のそれぞれのグループについて共有される特徴点データを生成するために作用する。これは、効率的に伝達され、及び／又は出力ビデオ信号の処理を容易にする特徴点データを生成する実用的かつ有効なやり方を提供する。
【００２４】
本発明の別の特徴によれば、ビデオ信号エンコーダは、伸張された信号を生成するための伸張アルゴリズムに従って、圧縮されたビデオ信号を伸張するデコード手段を更に有し、特徴点データを生成する手段は、伸張された信号に応答して特徴点データを生成するために更に作用する。
【００２５】
伸張アルゴリズムは、デコーダで圧縮されたビデオ信号を伸張するために使用される伸張アルゴリズムに実質的に同一である場合がある。たとえば、圧縮されたビデオ信号がＭＰＥＧ−２符号化規格に従ってエンコードされる場合、伸張アルゴリズムは、適切なＭＰＥＧ２アルゴリズムである場合がある。ビデオエンコーダは、たとえば、伸張された信号を生成し、所与のデコーダで使用されるべきことが更に知られる、特定のアルゴリズムに従ってこの信号における特徴点を検出する場合がある。どの特徴点がデコーダで識別されるかに関する情報は、次いで、エンコーダで同じ特徴点を選択し、これらの特徴点を特徴点データに含むために使用される場合がある。これは、特徴点データのデータレート及び出力ビデオ信号のデータレートを全体として低減する場合がある。
【００２６】
本発明の別の特徴によれば、特徴点データを生成する手段は、圧縮されてないビデオ信号のフレームのサブセットのみに関連する特徴点データを生成するために作用する。これは、特徴点データを伝達するために必要とされるデータレートを実質的に低減する場合がある。フレームのサブセットは、適切な選択基準に従って選択される場合がある。たとえば、各Ｎ番目のフレームが使用される場合がある。ビデオエンコーダからの信号を受信するビデオ信号プロセッサは、出力ビデオ信号の特徴点データ間の補間により他のフレームに関連する適切な特徴点データを生成する場合がある。
【００２７】
本発明の第二の態様によれば、圧縮されたビデオ信号及び圧縮されたビデオ信号の圧縮されていないバージョンに関連する特徴点データを含むビデオ信号を受信する手段、特徴点データを抽出する手段、特徴点データに応答して圧縮されたビデオ信号を処理する手段を有するビデオ信号プロセッサが提供される。
【００２８】
圧縮されたビデオ信号を処理する手段は、圧縮されたビデオ信号を直接処理するために作用するか、アルゴリズムが適用される第二の信号への変換を含む場合がある。たとえば、圧縮されたビデオ信号は、信号に印加される所与のアルゴリズム又はプロセスの前にデコードされる場合がある。したがって、圧縮されたビデオ信号の処理は、導出された信号の生成、続いて特徴点データに応答して導出された信号の処理を含む複数ステップの処理である場合がある。
【００２９】
本発明は、対応する圧縮された信号の容易及び／又は改善された処理を提供するため、圧縮されない信号に関連される特徴点を利用する場合があるビデオ信号プロセッサを提供する。この特徴点は、符号化又は圧縮アーチファクトの結果として精度が増加し、不正確さ及びエラーを低減又は除去することができる。圧縮されたビデオ信号は、特徴点の情報を生成する処理が低減又は除去されるように低い複雑さで処理される場合がある。
【００３０】
ビデオエンコーダの利点及び／又は特徴は、適切なように、ビデオ信号プロセッサに容易に変換、対応付けされ、更に適用される場合があることが理解される。  
本発明の特徴によれば、処理手段は、特徴点データに応答して圧縮されたビデオ信号のフレームにおける画像オブジェクトのトラッキングを実行するために作用する。したがって、本発明は、容易及び／又は改善された画像オブジェクトのトラッキングを提供する。
【００３１】
本発明の特徴によれば、処理手段は、特徴点データに応答して圧縮されたビデオ信号の３次元（３Ｄ）情報処理を実行するために作用する。３Ｄ情報処理は、特に、２Ｄ画像から３Ｄ情報を導出する３Ｄ再構成プロセスである場合がある。したがって、本発明は、容易及び／又は改善された３Ｄ情報処理を提供する場合がある。
【００３２】
本発明の第三の態様によれば、圧縮されていないビデオ信号を受信する手段、圧縮されていない信号に応答して特徴点データを生成する手段、圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って圧縮されていないビデオ信号を圧縮する手段、及び圧縮されたビデオ信号及び特徴点データを含む出力ビデオ信号を生成する手段を有するビデオエンコーダと、出力ビデオ信号を受信する手段、特徴点を抽出する手段及び特徴点データに応答して圧縮されたビデオ信号を処理する手段を有するビデオ信号プロセッサと、を有するビデオ信号配信システムが提供される。
【００３３】
本発明の第四の態様によれば、ビデオ信号を符号化する方法が提供される。本方法は、圧縮されていないビデオ信号を受信するステップ、圧縮されていない信号に応答して特徴点のデータを生成するステップ、圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って圧縮されていないビデオ信号を圧縮するステップ、及び、圧縮されたビデオ信号及び特徴点データを含む出力ビデオ信号を生成するステップを含む。
【００３４】
本発明の第五の態様によれば、ビデオ信号を復号化する方法が提供される。本方法は、圧縮されたビデオ信号と該圧縮されたビデオ信号の圧縮されていないバージョンに関連する及び特徴点データを含むビデオ信号を受信するステップ、特徴点データを抽出するステップ、及び特徴点データに応答して圧縮されたビデオ信号を処理するステップを含む。
【００３５】
本発明の第六の態様によれば、ビデオ信号を配信する方法が提供される。本方法は、ビデオエンコーダで、圧縮されていないビデオ信号を受信するステップ、圧縮されていない信号に応答して特徴点データを生成するステップ、圧縮されたビデオ信号を生成するための圧縮アルゴリズムに従って圧縮されていないビデオ信号を圧縮するステップ、及び圧縮されたビデオ信号及び特徴点データを含む出力ビデオ信号を生成するステップを実行するステップと、ビデオ信号プロセッサで、出力ビデオ信号を受信するステップ、特徴点データを抽出するステップ、及び特徴点データに応答して圧縮されたビデオ信号を処理するステップとを含む。
【００３６】
本発明のこれらの態様及び他の態様、並びに特徴及び利点は、以下に記載される実施の形態を参照して明らかにされる。本発明の実施の形態は、添付図面を参照して例示を通して記載される。
【発明を実施するための最良の形態】
【００３７】
以下の説明は、ビデオ信号エンコーダ及びビデオ信号プロセッサ、特にＭＰＥＧ−２ビデオ信号の符号化及び処理に適用可能な本発明の実施の形態に焦点を当てている。しかし、本発明はこの用途に限定されるものではない。
【００３８】
図１は、本発明の実施の形態に係るビデオ信号エンコーダ１００のブロック図を例示している。ビデオ信号エンコーダ１００は、内部ソース又は外部ソース（図示せず）から圧縮されていないビデオ信号を受信する受信機１０１を有する。
【００３９】
受信機１０１は、受信機１０１から圧縮されていない信号が供給される符号化エレメント１０３に結合される。符号化エレメント１０３は、符号化及び圧縮された信号を生成するために圧縮されていない信号を符号化する。したがって、圧縮されていないビデオ信号の符号化は、ビデオ信号データの圧縮を含む所与の符号化プロトコルに従う。
【００４０】
特定の実施の形態では、符号化エレメント１０３は、ＭＰＥＧ−２規格に従って圧縮されていない信号を符号化する。
【００４１】
ビデオ信号エンコーダ１００は、受信機１０１に結合され、特徴点データを生成するために圧縮されていない信号を処理するために作用する特徴点プロセッサ１０５を更に有する。特に、特徴点プロセッサ１０５は、圧縮された信号のフレームにおける多数の特徴点を検出し、これら特徴点の位置を決定する場合がある。特徴点プロセッサ１０５は、異なるフレームにおける対応する特徴点を関連付けするため、特徴の対応関係の推定プロセスを実行し、特徴点の軌道又はトラック情報を生成する。
【００４２】
符号化エレメント１０３及び特徴点プロセッサ１０５は、圧縮されたビデオ信号データ及び特徴点データの両者を含む出力データストリームを生成することで出力信号を生成する出力プロセッサ１０７に更に結合される。特に、出力プロセッサ１０７は、特徴点プロセッサ１０５を符号化エレメント１０３から圧縮されたＭＰＥＧ−２データの補助的（又は予備又はユーザ）データセクションに挿入する場合がある。
【００４３】
したがって、ビデオ信号エンコーダ１００は、圧縮された符号化されたビデオ信号及び個別かつ独立に生成された特徴点データを含む出力信号を生成する。特徴点データは、圧縮されていない信号に基づいて生成され、符号化エレメント１０３により導入される符号化アーチファクト、不正確さ及びエラーにより影響されない。これは、圧縮されたビデオ信号に基づいてビデオ信号プロセッサ又はエンコーダにより生成された特徴点情報よりも高い精度からなる特徴点データを提供する。出力ビデオ信号における特徴点データの包含に関連するデータレートの増加は、典型的に問題とはならないか又は少なくとも許容可能である。したがって、ビデオ信号プロセッサにおける処理を改善及び／又は容易にする場合がある出力ビデオ信号が生成される。特に、特徴点データは、特徴点を使用するアルゴリズム又はアプリケーションの改善された精度を提供する場合がある。
【００４４】
図２は、本発明の実施の形態に係るビデオ信号プロセッサ２００のブロック図を例示している。例では、ビデオ信号プロセッサ２００は、次いで処理される伸張された信号を生成するビデオデコーダを特に有する。しかし、本発明はこの用途に限定されないこと、ビデオ信号プロセッサ２００がたとえばこれをはじめにデコードすることなしに、圧縮されたビデオ信号を処理する場合があることを理解されたい。
【００４５】
ビデオ信号プロセッサ２００は、図１のビデオ信号エンコーダ１００から出力ビデオ信号を受信する受信エレメント２０１を有する。ビデオ信号プロセッサ２００は、受信エレメント２０１に結合される抽出プロセッサ２０３を更に有する。抽出プロセッサ２０３は、特徴点データ及び圧縮されたビデオ信号データを分離する。特に、抽出プロセッサ２０３は、ＭＰＥＧ−２データストリームの補助的なデータセクションから特徴点データを抽出することで、到来するデータを分離する場合がある。
【００４６】
例示される実施の形態では、ビデオ信号プロセッサ２００は、抽出プロセッサ２０３に結合され、特徴点データが抽出された後に圧縮されたビデオ信号を受信するビデオデコードエレメント２０５を更に有する。ビデオ信号プロセッサ２００は、圧縮されたビデオ信号をデコードし、デコードされたビデオ信号を生成する。
【００４７】
ビデオ信号プロセッサ２００は、抽出プロセッサ２０３及びビデオ復号化エレメント２０５に結合されるビデオプロセッサユニット２０７を更に有する。ビデオプロセッサユニット２０７は、抽出プロセッサ２０３から特徴点データを受信し、ビデオ復号化エレメント２０５から復号化されたビデオ信号を受信する。ビデオプロセッサユニット２０７は、特徴点データに応答して復号化されたビデオ信号を処理する。この処理は、たとえば、特徴点データに依存して復号化されたビデオ信号の特性又はデータを変更すること、又は、特徴点データに応答して復号化されたビデオ信号に関連されるパラメータ又は統計量を決定することを含む場合がある。特に、ビデオプロセッサユニット２０７の処理は、復号化されたビデオ信号の画像オブジェクトのオブジェクトトラッキングを含むか、又は、復号化されたビデオ信号及び特徴点データの両者に応答して復号化されたビデオ信号の３Ｄ情報を導出するステップを含む場合がある。
【００４８】
以下では、１以上のビデオプロセッサでオブジェクトトラッキング機能を含む配信システムに適した実施の形態の更なる詳細が説明される。実施の形態は、図１及び図２のそれぞれのビデオ信号エンコーダ１００及びビデオ信号プロセッサ２００を参照して記載される。
【００４９】
特定の実施の形態では、特徴点プロセッサ１０５は、圧縮されていないビデオ信号のフレームにおける多数の特徴点をはじめに検出する。特徴点は、適切な特徴点検出アルゴリズムに従って検出された画像における点に対応する。典型的に、特徴点は、たとえば画像オブジェクトのコーナー、画像オブジェクト間の交差又は交点に潜在的に対応することを示す所与の特性を有する点である。  
特徴点の検出に適したアルゴリズムは本発明から逸脱することなしに使用される場合があることを理解されたい。
【００５０】
特定の実施の形態では、特徴点プロセッサ１０５は、特徴の応答の計算をはじめに実行し、特に、特徴点プロセッサ１０５は、ハリスレスポンスを決定する。ハリスのコーナー検出アルゴリズムの更なる詳細は、C.  Harris及びM.  Stephensによる“A  combined  corner  and  edge  detector”Proceedings  of  the  fourth  Alvey  Vision  Conference,  31  August-2  September,  1988で発見される場合がある。適切な特徴検出器は、本発明を逸脱することなしに使用される場合があることを理解されたい。
【００５１】
ハリスレスポンスがひとたび決定されると、適切なアルゴリズムに従って特徴点を決定するために結果が使用される。たとえば、特徴点は、固定された半径（たとえば２０画素）の円形窓におけるハリスレスポンスの最大値を達成するポイントのみを選択することで決定される場合がある。これは、画像プレーンにわたり点が一様に分布されるという利点を提供する。さらに、所与の最小値よりも大きなハリスレスポンスをもつ点のみが選択されることが好ましい。
【００５２】
特徴点が複数のフレームで検出された後、特徴点プロセッサ１０５は、特徴の対応関係の推定を実行する。このアルゴリズムは、異なるフレームで検出された特徴点間の対応関係を決定しようとし、たとえば異なるフレームにおけるどのオブジェクトコーナーの特徴点が同じオブジェクトコーナーに対応するかを判定しようとする。したがって、第一のフレームにおけるそれぞれの特徴点について、アルゴリズムは、適切な整合基準に基づいて第二の画像における最良の対応する特徴点をサーチする。このサーチは、誤った整合を回避するため、固定された半径（たとえば２０画素）の円形窓で行われる。
【００５３】
整合の基準の例は、両方の画像の画素値間の絶対差の総和を使用することである。総和は、たとえば特徴点に集中されるローカルの方形領域にわたる。時間フィルタリング又は予測は、対応する特徴点を識別するために使用されるサーチ窓の位置を改善するために使用される場合がある。
【００５４】
特定の実施の形態では、特徴点プロセッサ１０５は、次いで、異なるフレームにおける対応する特徴点について特徴点の動きデータを生成することに移る。特に、特徴点のトラックデータは、それぞれの特徴点のトラックの最初の空間的な位置、続いて他のフレームにおける対応する特徴点の相対的な空間位置を示すことで生成される。
【００５５】
特定の実施の形態では、特徴点データは、それぞれの特徴点について空間位置（ｘ及びｙ）、識別子（ＩＤ）及びトラック開始のインジケータ変数（ＳＯＴ）を含むために生成される。ＳＯＴ変数は、所与の特徴点のデータが新たなトラック（又は軌道）において最初であるか否か、又はその特定のＩＤを有する前のトラックの連続であるか否かを示すために使用される。これは、同じＩＤが新たなトラックを識別するために明白に再使用されるのを可能にする。
【００５６】
特徴点の空間的な位置（ｘ，ｙ）を符号化する代わりに、前のフレームの対応する特徴点からの変位ベクトル（Δｘ，Δｙ）が符号化されるのが好ましい。これは、絶対的な空間位置が与えられた最初の特徴点を除いて、トラックにおける全ての特徴点について行われる。絶対の位置座標（ｘ，ｙ）よりはむしろ相対的な位置座標（Δｘ，Δｙ）を符号化することで、相対的な位置座標は低い振幅を有し、したがって少ないビットにより表すことができるので、増加された圧縮が達成される場合がある。トラック開始のインジケータは、所与のデータが相対的な位置座標であるか、又は絶対の位置座標であるかを示す情報をビデオ信号プロセッサ２００に供給する。
【００５７】
したがって、この実施の形態では、ビデオ信号エンコーダ１００は、特徴点の動きデータ及び特に解く頂点のトラックデータを含む特徴点データを生成する。ビデオ信号プロセッサ２００は、複数のフレームに渡り異なる特徴点の動きの正確な情報が提供される。特徴点を類似の動きのクラスタにクラスタリングすることで、動いているオブジェクトの観点でビデオの分析がイネーブルにされるか、又は容易にされる場合がある。
【００５８】
ある実施の形態では、特徴点は、特徴点プロセッサ１０５によりグループ化される場合がある。特に、特徴点は、対応する動きパラメータを有する特徴点のグループに互いにグループ化される場合があり、共通又は共有される動きデータは、それぞれ個々の特徴点についてよりはむしろ解く頂点のグループについて提供される場合がある。これは、特徴点データを伝達するために必要とされる大幅に低減されたデータレートが提供される場合がある。
【００５９】
特徴点データは、特徴点がどの特徴点のグループ及びそれぞれの特徴点のグループの共通の動きデータの１つのセットに対応するかを示すグループ情報を含むことが好ましい。たとえば、それぞれ個々の特徴点に絶対又は相対的な空間位置のデータを含むよりはむしろ、１つの座標セットは、所与の特徴点のグループにおける全ての特徴点について提供される。
【００６０】
特徴点をグループ化するための適切な基準又はアルゴリズムが適用される場合があることが理解される。たとえば、複数の特徴点は、同じ厳格に動くオブジェクトに対応する場合があり、たとえば、特徴点は、運転中の自動車の画像オブジェクトで検出される場合がある。これらの特徴点は、類似の動き特性を有する傾向がある。かかる特徴点は、たとえば、グラフベースにクラスタリングアルゴリズムにより検出される場合がある。例として、それぞれの特徴点がその最も隣接したｋ個の隣接する点に接続される隣接グラフは、画像における全ての特徴点を使用して生成される。したがって、それぞれのポイントについて、グラフは、そのｋ個の空間的に最も近い点とのコネクションを有する。グラフにおけるエッジは、点の間の動きの差が所与の閾値よりも大きい場合に切断される。結果は、サブグラフのセットであり、それぞれのサブグラフは、特徴点グループに対応する。
【００６１】
ある実施の形態では、特徴点データは、特徴点、好ましくは特徴点グループの動きモデルに関連するパラメトリックデータを有する場合がある。  
典型的に、特徴点のトラックのグループは、少数のパラメータをもつ１つのモデルにより正確に記載することができる。したがって、モデルは、グループにおける特徴点の動きにフィットされる場合がある。
【００６２】
このフィッティングにより決定されるパラメータは、次いで、特徴点データに含まれる場合がある。したがって、それぞれの特徴点のグループについて、モデルパラメータは、符号化され、ビデオ信号プロセッサ２００に送信される場合がある。好ましくは、ビデオ信号プロセッサ２００は、使用されるモデルの情報を有し（代替的に、この情報は特徴点データに含まれる場合がある）、受信されたパラメータを単に適用して、グループにおける特徴の動きデータを生成する。結果的に得られる特徴点のデータのデータレートは、モデルパラメータを表すために使用される特徴点のグループの数及びビット数に依存する。符号化は、損失があるか又は損失がない。典型的に、圧縮されたビデオ信号のデータレートに比較して、比較的低いデータレートが達成される場合がある。さらに、ビデオ信号プロセッサ２００におけるオブジェクトトラッキング処理の複雑さ及び計算のリソースは、単にシンプルなモデル評価が必要とされるので大幅に低減される場合がある。
【００６３】
ある実施の形態では、特徴点が検出され、動きデータはビデオ信号の全てのフレームについて生成される。しかし、他の実施の形態では、フレームのサブセットのみが処理され、特徴点データは、このサブセットについて生成される。したがって、特徴点データは、それぞれの特徴点のフレームのサブセットの情報を含む場合がある。シンプルなかかる実施の形態では、特徴点データは、フレーム１つおきに（又はＮ番目のフレーム毎に）生成される。これは、特徴点データに関連するデータレートを大幅に低減し、ビデオ信号エンコーダの複雑さ及び計算上のリソースの消費を大幅に低減する場合がある。
【００６４】
この実施の形態では、ビデオ信号プロセッサは、フレームのサブセットに関連する特徴点データを受信する。しかし、他のフレームに関連する特徴点の情報は、受信された特徴点のデータに応答して導出される。たとえば、所与のフレームの特徴点の位置は、過去及び将来のフレームにおける対応する位置の間を補間することで導出される場合がある。
【００６５】
ある実施の形態では、特徴点データが導出されるフレームのサブセットは、圧縮されていないビデオ信号及び／又は圧縮されたビデオ信号の特性に応答する場合がある。たとえば、特徴点データは、ＭＰＥＧ−２で符号化された圧縮された信号のＩフレームについてのみ生成される場合がある。
【００６６】
ビデオ信号プロセッサ２００は、ある実施の形態では、特徴点データに応答して圧縮されたビデオ信号の３Ｄ情報処理を実行する機能を有する場合がある。たとえば、３Ｄ情報は、当該技術分野で知られているように、動きアルゴリズム及びカメラパラメータの情報からの構造を使用して静的なシーンから抽出される場合がある。
【００６７】
ある実施の形態では、ビデオ信号エンコーダは、伸張アルゴリズムに従って圧縮されたビデオ信号を伸張することができるデコードエレメントを有する場合がある。特に、デコードエレメントは、ビデオ信号プロセッサで実行されるために復号化をエミュレートし、ビデオ信号プロセッサで使用されるような、同じ又は類似の伸張（又は復号化）アルゴリズムを使用する場合がある。したがって、デコードエレメントは、ビデオ信号プロセッサにより生成されることになるビデオ信号に同一又は非常に類似のビデオ信号を生成する場合がある。
【００６８】
かかる実施の形態では、特徴点プロセッサは、デコードエレメントにより生成されたビデオ信号に応答して特徴点データを生成することが好ましい。たとえば、ビデオ信号エンコーダは、ビデオ信号プロセッサにより独立に検出される場合がある特徴点に直接的に対応する復号化された信号における特徴点を検出する場合がある。圧縮されていない信号で検出された対応する特徴点が決定される場合があり、これら特徴点の動きデータは、復号化された信号特徴点に関連付けされる場合がある。特徴点データは、特徴点の特定の示唆なしに動きデータを結果的に含む場合がある。
【００６９】
したがって、ある実施の形態では、ビデオ信号プロセッサの幾つかのデコーダ機能は、ビデオ信号エンコーダで繰り返され、これにより、両方の端で独立に生成された情報が出力ビデオ信号のデータレートを低減するために使用することが可能な場合がある。したがって、複雑さ、計算のリソース及び出力ビデオ信号のデータレート間の柔軟なトレードが達成される。
【００７０】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む何れか適切な形式で実現することができる。しかし、好ましくは、本発明は、１以上のデータプロセッサ及び／又はデジタルシグナルプロセッサを実行させるコンピュータソフトウェアとして実現される。本発明の実施の形態のエレメント及びコンポーネントは、物理的、機能的及び論理的に何れか適切なやり方で実現される場合がある。確かに、機能は、単一のユニット、複数のユニット、又は他の機能ユニットの一部として実現される場合がある。かかるように、本発明は、単一のユニットで実現されるか、異なるユニットとプロセッサ間で物理的及び機能的に分散される場合がある。
【００７１】
本発明は、好適な実施の形態と共に記載されたが、本明細書で述べた特定の構成に制限されることが意図されていない。むしろ、本発明の範囲は、特許請求の範囲によってのみ制限される。請求項では、用語「有する“comprising”」は、他のエレメント又はステップの存在を排除しない。さらに、個々に列挙されたが、複数の手段、エレメント又は方法ステップは、たとえば単一のユニット又はプロセッサにより実現される場合がある。さらに、個々の機能は異なる請求項で含まれるが、これらは効率的に結合される場合があり、異なる請求項での包含は、機能の組み合わせが実施可能及び／又は有効ではないことを意味するものではない。さらに、単数の参照符号は、複数を排除するものではない。したがって、“ａ”、“ａｎ”、“ｆｉｒｓｔ”、“ｓｅｃｏｎｄ”等への参照は、複数を排除するものではない。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施の形態に係るビデオ信号エンコーダのブロック図である。
【図２】本発明の実施の形態に係るビデオ信号プロセッサのブロック図である。
【図１】
2007525920.tif 000003
【図２】
2007525920.tif 000004
【国際調査報告】
2007525920.tif 000005
2007525920.tif 000006
2007525920.tif 000007