(57)【要約】【課題】データとデータの特定のパラメータ化のための近似モデルとの間の一致を評価するために使用できる、ビデオデータ表現を供給する、ビデオデータ処理装置およびその方法を提供する。【解決手段】様々なパラメータ化技法の比較および特定データの連続的ビデオ処理の最適技法の選択を可能にする。この表現は膨大な処理の隙間を埋めるものとして、またはビデオデータを処理するフィードバック機構として、中間形式で利用できる。中間形式において利用される場合、ビデオデータの記憶、強調、絞込み、特徴抽出、圧縮、コード化および伝送の処理において使用される。頑健で有効な方法で顕著な情報を抽出するのに役立つと同時に、ビデオデータソースに一般的に関係する問題に対処する。【選択図】図２
2009540675.tif 000002
【特許請求の範囲】
【請求項１】
複数のビデオフレームからビデオ信号データを処理する、コンピュータ実装される方法であって、
２以上の所与のビデオフレームにおけるオブジェクトを検出する工程であって、各ビデオフレームは画素データから構成されている、検出工程と、
前記２以上のビデオフレームを通して前記検出オブジェクトを追跡する、追跡工程と、
前記ビデオ信号データの第１中間形式を生成するように、前記２以上のビデオフレームにおける前記検出オブジェクトに対応する画素データを他の画素データからセグメント化する工程であって、このセグメント化は画素データの空間セグメント化を利用する、セグメント化工程と、
前記検出オブジェクトの要素の相関関係モデルを生成する工程であって、各相関関係モデルは、あるビデオフレームにおける前記検出オブジェクトの要素をその他のビデオフレームにおける前記検出オブジェクトの要素と関連付ける、生成工程と、
前記相関関係モデルを用いて前記セグメント化画素データを正規化する工程であって、この正規化は前記検出オブジェクトの全体動きのモデル化を行って、前記２以上のビデオフレームにおける前記検出オブジェクトに対応する再サンプル化画素データを生じさせ、この再サンプル化画素データは、出力として正規化された、ビデオ信号データのオブジェクトを基礎とするコード化形式を示す、正規化工程と、
(i)前記相関関係モデルを利用して再サンプル化画素データの空間位置を復元することにより、前記検出オブジェクトに対応する復元画素を生成し、(ii)元のビデオフレームを作成するように、前記復元画素データを、前記ビデオ信号データの前記第１中間形式における他の画素データと共に再結合することによって、前記オブジェクトを基礎とするコード化形式がデコード化されることができる、復元および再結合工程とを備え、
前記相関関係モデルの生成では、多次元射影動きモデルを推定する、ビデオ信号データ処理方法。
【請求項２】
請求項１において、前記相関関係モデル生成工程は、
前記所与の２以上のビデオフレームにおける前記検出オブジェクトの対応する要素を識別する、識別工程と、
前記対応する要素間の関係を生成するように対応する要素を解析する、解析工程と、
前記対応する要素間の前記生成された関係を用いて相関関係モデルを構成する、構成工程とを備え、
前記対応する要素の解析では、前記２以上のビデオフレーム間の外観を基礎とした動き検出を用いる、ビデオ信号データ処理方法。
【請求項３】
請求項２において、前記全体動きのモデル化では、生成された対応する要素間の関係を全体動きのモデルに統合する、ビデオ信号データ処理方法。
【請求項４】
請求項１において、前記検出および前記追跡では、顔検出アルゴリズムを用いる、ビデオ信号データ処理方法。
【請求項５】
請求項１において、さらに、
前記再サンプル化画素データを圧縮する圧縮工程を備え、この圧縮工程は、
前記再サンプル化画素データをコード化表現に分解し、このコード化表現のゼロまたはそれよりも大きいバイトを切り捨てる工程と、
前記切り捨てられたコード化表現から前記再サンプル化画素データを再構成する工程を有し、
前記分解および前記再構成では、それぞれ主成分分析を用いる、ビデオ信号データ処理方法。
【請求項６】
請求項１において、さらに、
前記相関関係モデルを全体変形モデルに組み込む組込み工程を備え、この組込み工程は、
前記対応する要素間の関係を全体動きのモデルに統合する工程と、
前記再サンプル化画素データをコード化表現に分解する工程と、
前記コード化表現のゼロまたはそれよりも大きいバイトを切り捨てる工程と、
前記切り捨てられたコード化表現から前記再サンプル化画素データを再構成する工程とを有し、
前記分解および前記再構成では、それぞれ主成分分析を用い、
前記相関関係モデルの生成では、２以上のビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づくサンプル化母集団を用いて、前記対応する要素を解析する、ビデオ信号データ処理方法。
【請求項７】
請求項６において、前記２以上のビデオフレームのそれぞれは、オブジェクト画素および非オブジェクト画素を有し、さらに、
前記２以上のビデオフレームにおいて非オブジェクト画素の対応する要素を識別する、識別工程と、
前記非オブジェクト画素の前記対応する要素を解析して、前記非オブジェクト画素の対応する要素間の関係を生成する、解析工程と、
前記非オブジェクト画素の前記対応する要素間の前記生成された関係を用いて、第２相関関係モデルを構成する、構成工程とを備え、
前記非オブジェクト画素の前記対応する要素を解析する前記解析工程が、時間を基礎とした遮蔽フィルタを採用する、ビデオ信号データ処理方法。
【請求項８】
請求項１において、さらに、
前記相関関係モデルを全体変形モデルに組み込む、組込み工程と、
前記対応する要素間の関係を全体動きのモデルに統合する、統合工程と、
前記再サンプル化画素データをコード化表現に分解する、分解工程と、
前記コード化表現のゼロまたはそれよりも大きいバイトを切り捨てる、切捨て工程と、
前記切り捨てられたコード化表現から前記再サンプル化画素データを再構成する、再構成工程とを備え、
前記分解および前記再構成では、それぞれ従来のビデオ圧縮／解凍処理を用い、
前記相関関係モデルの生成では、２以上のビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づくサンプル化母集団を用いて、前記対応する要素を解析する、ビデオ信号データ処理方法。
【請求項９】
請求項１において、前記正規化工程は、
前記検出オブジェクトに対応する画素データを覆う２次元メッシュを画定する工程であって、このメッシュは頂点およびエッジの規則的なグリッドに基づいている工程と、
前記対応する要素間の関係から局所動きのモデルを作成する工程であって、前記関係が２以上のビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づく頂点変位を含む工程とによって、
前記相関関係モデルを局所変形モデルに組み込む、ビデオ信号データ処理方法。
【請求項１０】
請求項９において、前記頂点は離散画像特徴に相当し、２次元メッシュを画定する前記工程は、さらに、前記ビデオフレームにおける前記オブジェクトの画像輝度勾配に基づいて前記検出オブジェクトに相当する顕著な画像特徴を特定する、ビデオ信号データ処理方法。
【請求項１１】
請求項９において、前記作成された局所動きのモデルは、全体動きモデルによって近似されない残差動きに基づいている、ビデオ信号データ処理方法。
【請求項１２】
複数のビデオフレームからビデオ信号データのコード化形式を生成する、コンピュータ実装される方法であって、
複数のビデオフレームのうちの２以上のビデオフレームにおけるオブジェクトを検出する工程であって、各ビデオフレームは画素データから構成されている、検出工程と、
前記２以上のビデオフレームを通して前記検出オブジェクトを追跡する工程であって、前記検出オブジェクトは１以上の要素を有する、追跡工程と、
あるビデオフレームにおける前記検出オブジェクトの要素について、他のビデオフレームにおける前記検出オブジェクトの対応する要素を識別する、識別工程と、
前記対応する要素間の関係を生成するように対応する要素を解析する、解析工程と、
前記対応する要素間の前記生成された関係を用いて、前記検出オブジェクトについての相関関係モデルを構成する、構成工程と、
前記構成された相関関係モデルと変形可能なメッシュを用いて、前記２以上のビデオフレームにおける前記検出オブジェクトに対応する画素データを正規化する工程であって、この正規化では、ビデオ信号データのオブジェクトを基礎としてコード化された形式を表現する再サンプル化画素を生成する、正規化工程と、
前記ビデオ信号データのオブジェクトを基礎としたコード化形式を連続使用とする工程であって、前記オブジェクトを基礎としたコード化形式は、相関関係モデルを利用して再サンプル化画素データの空間位置を復元して、前記検出オブジェクトの復元された画素データを生成することができる、工程とを備え、
前記検出および前記追跡では、Ｖｉｏｌａ／Ｊｏｎｅｓ顔検出アルゴリズムと主成分分析のいずれか一方または組合せを用いる、ビデオ信号データのコード化形式生成方法。
【請求項１３】
請求項１２において、さらに、
前記２以上のビデオフレームにおいて前記検出画素に対応する画素データを他の画素データからセグメント化して、前記ビデオ信号データの第１中間形式を生じさせる工程であって、このセグメント化は時間統合を利用する、セグメント化工程と、
前記オブジェクトを基礎としたコード化形式が、さらに、元のビデオフレームを作成するように、前記復元画素データを、前記ビデオ信号データの前記第１中間形式の一部と共に再結合できるようにする、再結合可能工程とを備えた、ビデオ信号データのコード化形式生成方法。
【請求項１４】
請求項１２において、さらに、
前記相関関係モデルを全体モデルに組み込む組込み工程を備え、この組込みは、
前記対応する要素間の前記生成された関係を全体動きのモデルに統合することによって実行され、
相関関係モデルを構成する前記構成工程は、２次元アフィン型の動きモデルの解を求めるために、頑健なサンプル化コンセンサスを用い、
前記対応する要素を解析する前記解析工程は、２以上の前記ビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づくサンプル化母集団を用いる、ビデオ信号データのコード化形式生成方法。
【請求項１５】
請求項１２において、さらに、
前記再サンプル化画素データを圧縮する圧縮工程を備え、この圧縮は、
前記再サンプル化画素データをコード化表現に分解する工程と、
このコード化表現のゼロまたはそれよりも大きいバイトを切り捨てる工程と、
前記切り捨てられたコード化表現から前記再サンプル化画素データを再構成する工程とによって実行され、
前記分解および前記再構成では、それぞれ主成分分析を用いる、ビデオ信号データのコード化形式生成方法。
【請求項１６】
請求項１２において、さらに、前記相関関係モデルを全体変形モデルに組み込む組込み工程を備え、この組込みは、
前記対応する要素間の関係を全体動きのモデルに統合する工程と、
前記再サンプル化画素データをコード化表現に分解する工程と、
前記コード化表現のゼロまたはそれよりも大きいバイトを切り捨てる工程と、
前記切り捨てられたコード化表現から前記再サンプル化画素データを再構成する工程とによって実行され、
前記分解および前記再構成では、それぞれ主成分分析を用い、
相関関係モデルを構成する前記構成工程では、２次元アフィン型の動きモデルの解を求めるために、頑健なサンプル化コンセンサスを用い、
前記対応する要素を解析する前記解析工程は、２以上の前記ビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づくサンプル化母集団を用いる、ビデオ信号データのコード化形式生成方法。
【請求項１７】
請求項１６において、前記２以上のビデオフレームのそれぞれは、オブジェクト画素データおよび非オブジェクト画素データを有し、さらに、
２以上の前記ビデオフレームにおいて非オブジェクト画素データの対応する要素を識別する、識別工程と、
前記非オブジェクト画素データの前記対応する要素を解析して、前記非オブジェクト画素データの前記対応する要素間の関係を生成する、解析工程と、
前記非オブジェクト画素データの前記対応する要素間の前記関係を用いて、第２相関関係モデルを生成する、生成工程とを備え、
前記非オブジェクト画素の前記対応する要素の解析では、時間を基礎とした遮蔽フィルタを用いる、ビデオ信号データのコード化形式生成方法。
【請求項１８】
請求項１２において、さらに、
前記相関関係モデルを全体変形モデルに組み込む、組込み工程と、
前記対応する要素間の関係を全体動きのモデルに統合する、統合工程と、
前記再サンプル化画素データをコード化表現に分解する、分解工程と、
前記コード化表現のゼロまたはそれよりも大きいバイトを切り捨てる、切捨て工程と、
前記切り捨てられたコード化表現から前記再サンプル化画素データを再構成する、再構成工程とを備え、
前記分解および前記再構成では、それぞれ従来のビデオ圧縮／解凍処理を用い、
前記相関関係モデルの構成では、２次元アフィン型の動きモデルの解を求めるために、頑健なサンプル化コンセンサスを用い、
前記対応する要素の解析では、２以上の前記ビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づくサンプル化母集団を用いる、ビデオ信号データのコード化形式生成方法。
【請求項１９】
請求項１２において、さらに、
前記相関関係モデルを局所変形モデルに組み込む、組込み工程を備え、この組込み工程は、
前記検出オブジェクトに対応する画素を覆う２次元メッシュを画定する工程であって、このメッシュは頂点およびエッジの規則的なグリッドに基づいている工程と、
前記対応する要素間の関係から局所動きのモデルを生成する工程であって、前記関係が２以上の前記ビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づく頂点変位を含む工程とを有する、ビデオ信号データのコード化形式生成方法。
【請求項２０】
請求項１９において、前記頂点は離散画像特徴に相当し、
画像勾配Ｈａｒｒｉｓ応答の解析を用いて、前記検出オブジェクトに相当する顕著な画像特徴を特定する、ビデオ信号データのコード化形式生成方法。
【請求項２１】
請求項１９において、前記生成された局所動きモデルは、全体動きモデルによって近似されない残差動きに基づいている、ビデオ信号データのコード化形式生成方法。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、2006年6月8日出願の米国仮特許出願第60/811,890号の利益を主張する。上記出願の全内容は参照により本明細書に引用したものとする。
【技術分野】
【０００２】
本発明は一般にディジタル信号処理の分野、さらに詳細には、信号または画像データ、最も詳細には、ビデオデータの効果的な表現および処理のためのコンピュータ装置およびコンピュータによって実現される方法に関する。
【背景技術】
【０００３】
本発明が属する従来技術の一般的なシステムの説明が図１に示されている。ここで、ブロックダイヤグラムは典型的な従来技術のビデオ処理システムを示している。このようなシステムは一般に、以下のステージ、すなわち入力ステージ１０２、処理ステージ１０４、出力ステージ１０６、および１つまたは複数のデータ記憶機構１０８を有する。
【０００４】
入力ステージ１０２は、カメラセンサ、カメラセンサアレイ、距離計測（range finding）センサといった構成要素、または記憶機構からデータを読み出す手段を有する。入力ステージは、人工および／または自然発生の現象の時間相関のあるシーケンスを表すビデオデータを提供する。データの顕著な要素はノイズまたは他の望ましくない信号によってマスクまたは汚染されている可能性がある。
【０００５】
データのストリーム、アレイまたはパケットの形式のビデオデータが、予め定義された転送プロトコルに従い、入力ステージ１０２から直接に、または中間記憶要素１０８を介して処理ステージ１０４に提供される。処理ステージ１０４は、専用のアナログもしくはディジタルデバイス、または中央処理装置（ＣＰＵ）、ディジタル信号プロセッサ（ＤＳＰ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブル装置の形式をとり、所望の一連のビデオデータ処理操作を実行する。処理ステージ１０４は通常１つまたは複数のＣＯＤＥＣ（符号器／復号器）を有する。
【０００６】
出力ステージ１０６は、信号、表示、またはユーザもしくは外部装置に影響を与えることが可能な他の応答を生成する。一般に、出力装置が、インジケータ信号（表示信号）、表示、ハードコピー、記憶装置において処理される処理データ表現を生成するために、または遠隔地にデータ伝送を開始するために用いられる。さらに、後続の処理操作における使用のために、中間信号または制御パラメータを提供するように用いられてもよい。
【０００７】
記憶装置はこのシステムにおいて随意の要素として提示されている。用いられる場合、記憶要素１０８は、読取専用記憶媒体のような不揮発性、または動的ランダムアクセスメモリ（ＲＡＭ）のような揮発性であってもよい。単一のビデオ処理システムが、入力ステージ、処理ステージおよび出力ステージに対して様々な関係を有する、複数タイプの記憶要素を有することは珍しいことではない。このような記憶要素の例は、入力バッファ、出力バッファおよび処理キャッシュである。
【０００８】
図１のビデオ処理システムの主な目的は、入力データを処理して特定の用途に対して有意義な出力を生成することである。この目的を達成するために、ノイズ低減もしくは除去、特徴抽出、オブジェクトのセグメント化および／もしくは正規化、データのカテゴリー分類、イベントの検出、編集、データの選択、データの再コード化、ならびにトランスコード化などの処理操作が利用されてもよい。
【０００９】
ほとんど制約されていないデータを生成する多くのデータソースは、人々、特に音響および視覚映像にとって重要な問題である。ほとんどの場合、これらのソース信号の基本的特性が、効率的なデータ処理目的に悪影響を与える。技術的仮定を導く際に用いられる単純な経験的および発見的方法から生じる誤りを持ち込むことなく信頼性の高い効率的な方法でデータを処理するには、ソースデータの本質的な多様性が障害となる。入力データが、狭く定義された特性セット（例えば、限定された記号値のセットまたは狭い帯域幅）に自然または故意に制限される場合、この多様性は用途に応じて軽減される。これらの全ての制約は、ほとんどの場合、商業的価値の低い処理技術をもたらす。
【００１０】
信号処理システムの設計は、システムの意図する用途および入力として使用されるソース信号の期待される特性によって影響される。ほとんどの場合、要求される性能効率もまた重要な設計因子である。すなわち、性能効率は、利用可能なデータ記憶と比較した処理データ量、ならびに利用可能な計算能力と比較したアプリケーションの計算の複雑性によって影響される。
【００１１】
従来のビデオ処理方法では、遅いデータ通信速度、大きな記憶容量条件、および妨害となる知覚アーチファクト（知覚を刺激するもの（perceptual artifact））の形態で現れる、多くの非効率に苦しんでいる。ユーザが所望するビデオデータの使用および操作の方法は様々であり、また、特定の形式の知覚情報に対してユーザが生得的感受性を有するため、これらは重大な問題となる可能性がある。
【００１２】
「最適な」ビデオ処理システムは、所望の一連の処理操作の実行において、効率的であり、信頼性が高く、頑健である。このような操作には、データの記憶、伝送、表示、圧縮、編集、暗号化、強調、カテゴリー分類、特徴検出および認識が含まれる。２次的操作は、他の情報源とこのように処理されたデータの統合を含む。このような処理システムの場合において同様に重要なのは、知覚アーチファクトの混入を回避することによって、出力が人間の視覚に対応していなければならない。
【００１３】
ビデオ処理システムの速度、効率および品質が入力データのいずれかの特定の特性の特異性に強く依存しない場合、ビデオ処理は「頑健である（robust）」と説明される。頑健性はまた、入力のいくつかにエラーがあるときに操作を実行する能力に関係する。多くのビデオ処理システムは、アプリケーションの汎用的な集合への適用を可能にするだけの十分な頑健性を有しない。これらシステムは、システムの開発に使用された同一の狭く制約されたデータへの適用のみを提供する。
【００１４】
入力要素のサンプリングレートが検出現象の信号特性に適合しないことによって、顕著な情報が、連続値のデータソースの離散化において失われる可能性がある。また、信号強度がセンサの限界を超える場合も損失が発生し、飽和を生じさせる。同様に、入力データの全範囲の値が一連の離散値によって表現される場合、任意の量子化プロセスが実行されて入力データの精度が低下すると情報が失われ、これによりデータの表現の精度が低下する。
【００１５】
集合体多様性は、データまたは情報ソースの集合におけるあらゆる不確定要素を意味する。視覚情報は一般に制限がないため、視覚情報のデータ表現は極めて大きい集合体多様性を有する。視覚データは、センサアレイ上に入射する光によって形成される、空間アレイシーケンスまたは時空間シーケンスを表現する。
【００１６】
視覚現象のモデル化において、ビデオプロセッサは、一般に、データの表現または読取りに、いくつかの一連の制限および／または構造を課す。この結果、このような方法は、出力の品質、出力に関する信頼性、およびデータに確実に実行される後続の処理タスクの種類に影響を与える、系統的誤りを発生させる可能性がある。
【００１７】
量子化方法は、そのデータの統計的変動を保持することを試みる一方、ビデオフレーム内のデータ精度を低下させる。一般に、ビデオデータは、データ値の分布が確率分布に収集されるように解析される。また、データを空間周波数の混合データとして特徴付けるためにデータを位相空間に射影する方法もあり、これにより、精度の低下が拡散され、好ましい状態になる。これら量子化が集中的に利用されると、しばしば、知覚的に信じがたい色を発生させ、ビデオフレームの元々は滑らかであった領域に急峻な画像データを発生させる。
【００１８】
また、一般に、データの局所的な空間類似性を利用するために、差分コード化が用いられる。フレームの一部分におけるデータが、このフレームにおいて類似データの周辺で塊となっている傾向がある。また、後続のフレームにおいて同様の位置で塊となっている傾向がある。したがって、空間的に近接するデータに関するデータ表現は、量子化と組み合わせることができ、最終結果は、所定の精度に対して、差分表現がデータの絶対値を使用するよりも正確になる。例えば、白黒ビデオまたは低水準のカラービデオなどのように元のビデオデータのスペクトル分解能が制限される場合、この仮定はよく当てはまる。ビデオのスペクトル分解能が高くなると、同様の仮定が成り立たなくなる。これは、ビデオデータの精度を選択的に保護できないことに起因する。
【００１９】
残差のコード化は、表現誤差をさらに差分コード化して、元のデータの精度を所望のレベルの正確度に復元する点で、差分コード化に類似する。
【００２０】
これらの方法の多様性は、空間位相および空間スケールにおけるデータの相関関係を明らかにする別の表現にビデオデータを変換することを試みる。ビデオデータがこれらの方法で変換されると、量子化および差分コード化の方法が変換データに適用されて、顕著な画像特徴の保持性の増加をもたらす。これら変換ビデオ圧縮技法のもっとも普及している２つの方法は、離散コサイン変換（ＤＣＴ）および離散ウェーブレット変換（ＤＷＴ）である。ＤＣＴにおける誤差はビデオデータ値の広範な変動として現れ、したがって、これらの誤った相関を局所化するために、ＤＣＴは一般にビデオデータのブロックにおいて使用される。この局所化によるアーチファクトはブロックの境界に沿って現れることが多い。ＤＷＴについては、基底関数と特定のテクスチャの間に不一致が存在すると、より複雑なアーチファクトが発生し、これにより「ぼけ」が引き起こされる。ＤＣＴおよびＤＷＴの悪影響を打ち消すために、表現の精度を上げて、貴重な帯域幅を犠牲にして歪みを低減している。
【発明の概要】
【００２１】
本発明は、コンピュータに実装されるビデオ処理方法であって、既存の最新のビデオ処理方法に、計算および解析の両方における利点を提供するビデオ処理方法である。本発明の方法の原理は、線形分解法、空間セグメント化方法および空間正規化の方法の統合である。ビデオデータを空間的に制約することによって、線形分解法の頑健性および適用性を大幅に向上する。これに加えて、空間正規化に相当するデータの空間セグメント化は、空間正規化のみから誘引される利点を増大するように作用することができる。
【００２２】
詳細には、本発明は、信号データを効率的に処理して１つまたは複数の有益な表現を得る手段を提供する。本発明は、多くの一般に発生するデータセットの処理において有効であり、特に、ビデオおよび画像データの処理において有効である。本発明の方法は、データを解析し、このデータの１つまたは複数のコンパクトな表現を提供することによって、この処理およびコード化を容易にする。新しい、よりコンパクトなデータ表現のそれぞれは、ビデオデータのコード化、圧縮、伝送、解析、記憶および表示（これらに限定されない）を含む、多数の用途に対する、計算処理、伝送帯域幅および記憶容量の要件の低減を可能にする。
【００２３】
本発明は、ビデオデータの顕著なコンポーネントを識別および抽出する方法を含み、データの処理および表現における優先順位付けを可能にする。信号のノイズおよび他の望ましくない部分は優先順位がより低いと識別され、したがって、さらなる処理を、より高い優先順位のビデオ信号の部分の解析および表現に集中させることができる。その結果、ビデオ信号は、以前に可能であったのよりも、よりコンパクトに表現される。正確度における損失は、知覚的に重要でないビデオ信号の部分に集中する。
【００２４】
一実施形態では、ＰＣＡ（主成分分析）または同様の線形分解が、特定のオブジェクト（例えば、顔）検出およびオブジェクトの局所変形に用いられる。ＰＣＡは、さらに、オブジェクト外観を表現する正規化されたビデオデータの経験的変換としての機能を果たす。顕著なオブジェクトのセグメント化の後、正規化方法が２次元メッシュを追跡してメッシュの変形を許容する。異なるフレームからのオブジェクト外観が一平面に沿って正規化される。
【００２５】
一実施形態では、プロキシ・ウェーブレット・コンプレッサ（Proxy Wavelet Compressor）が、対象のビデオデータの段階的なコード化に用いられる。本発明の方法は、対象のビデオデータの訓練フレームおよび正規化されたフレームを圧縮する。
【００２６】
上記の内容は、添付図面に示される本発明の例の実施形態のより詳細な説明から明らかになるであろう。図面では、同一参照符号はそれぞれの図全体を通して同一部分を指す。図面は必ずしも縮尺どおりでなく、本発明の実施形態を説明することに重点が置かれている。
【図面の簡単な説明】
【００２７】
【図１】従来技術のビデオ処理システムを示したブロック図である。
【図２】ビデオ処理の主要なモジュールを示す、本発明の全体を示すブロック図である。
【図３】本発明の動き検出方法を示すブロック図である。
【図４】本発明の全体の位置合わせ方法を示すブロック図である。
【図５】本発明の正規化方法を示すブロック図である。
【図６】ハイブリッド空間正規化圧縮方法を示すブロック図である。
【図７】局所正規化に用いられる本発明のメッシュ生成方法を示すブロック図である。
【図８】局所正規化に用いられる本発明の正規化方法に基づくメッシュを示すブロック図である。
【図９】本発明の全体正規化および局所正規化の方法の組合せを示すブロック図である。
【図１０】本発明の実施形態が動作するコンピュータ環境の概略図である。
【図１１】図１０のネットワークのコンピュータのブロック図である。
【図１２】背景解決方法を示すブロック図である。
【図１３】本発明のオブジェクトセグメント化方法を示すブロック図である。
【図１４】本発明のオブジェクトオブジェクト補間方法を示すブロック図である。
【図１５】本発明の適応増分モデラのブロック図である。
【発明を実施するための形態】
【００２８】
本発明の例示的な実施形態を以下に記述する。
【００２９】
ビデオ信号データでは、通常３次元シーンを２次元画像表面への射影および画像化として描く画像シーケンスに、ビデオフレームが組み立てられる。各フレームすなわち画像は、サンプル信号に対する画像センサ応答を表現する画素（pel）から構成されている。多くの場合、サンプル信号は、２次元センサアレイによってサンプル化される特定の反射、屈折または放射された電磁エネルギ（例えば、電磁エネルギ、音響エネルギなど）に相当する。連続的な時系列サンプリングによって、フレーム当たりの空間２次元と、ビデオシーケンスにおけるフレーム順序に対応する時間次元とを備える、時空間データストリームを得ることができる。
【００３０】
本発明は、図２に示されているとおり、信号データを解析して顕著なコンポーネントを識別する。信号がビデオデータで構成されている場合、時空間ストリームの解析により、顔のような特定のオブジェクトであることが多い、顕著なコンポーネントを明らかにする。識別処理は、顕著なコンポーネントの存在および重要度を特定して、特定された顕著なコンポーネントのうちの最も重要な１つ以上を選択する。これは、ここで説明されている処理後または処理と同時に行われる、顕著性がより小さい他の顕著なコンポーネントの識別および処理を制限するわけではない。上述の顕著なコンポーネントはその後さらに解析され、変化するサブコンポーネントおよび不変のサブコンポーネントが識別される。不変サブコンポーネントの識別は、コンポーネントの特定の外観のモデル化処理である。これにより、コンポーネントを所望の正確度に合成できるモデルのパラメータ化が明らかになる。
【００３１】
本発明の一実施形態では、前景のオブジェクトが検出され追跡される。オブジェクトの画素はビデオの各フレームから識別されてセグメント化される。ブロックに基づく動き検出（動きベクトル探索）が、複数フレーム中のセグメント化されたオブジェクトに適用される。次に、これらの動き検出が高次の動きモデルに統合される。動きモデルを利用して、オブジェクトのインスタンスを共通の空間構成に包み込む。この構成において、特定のデータに対しては、オブジェクトのより多くの特徴が一つにまとめられる。この正規化によって、複数フレームにわたってオブジェクトの画素値の線形分解が可能になり、コンパクトに表現される。オブジェクトの外観（アピアランス）に関係する顕著な情報が、このコンパクトな表現に包含されている。
【００３２】
本発明の好ましい実施形態は、前景のビデオオブジェクトの線形分解を詳述する。オブジェクトは空間的に正規化され、これによりコンパクトな線形外観モデルを生成する。別の好ましい実施形態はさらに、空間的正規化の前に、ビデオフレームの背景から前景のオブジェクトをセグメント化する。
【００３３】
本発明の好ましい実施形態は、少しだけ動いてカメラに向かって話す人物のビデオに本発明を適用する。
【００３４】
本発明の好ましい実施形態は、空間的変換によって、鮮明に表現されるビデオ内の任意のオブジェクトに本発明を適用する。
【００３５】
本発明の好ましい実施形態は、特に、ブロックを基礎とした動き検出を用いて、ビデオの２または３以上のフレーム間での有限差分を求める。高次の動きモデルが、より効率的な線形分解を提供するために、有限差分から取り除かれる。
【００３６】
＜検出および追跡（Ｃ１）＞
フレームのオブジェクトを検出すること、およびそのあとに続く所定数のフレームを通じてこのオブジェクトを追跡することは、当技術分野では公知である。アルゴリズムおよびプログラムのうち、オブジェクト検出機能を実行するのに使用されるのは、Viola/Jones（P. ViolaとM. Jones）の「頑健なリアルタイムのオブジェクト検出（Robust Real-time Object Detection）」（モデル化、学習、計算およびサンプル化の統計理論および計算理論ビジョン第２回国際ワークショップ・プロシーディングス（2001年7月にカナダのバンクーバにて））である。同様に、連続するフレームを通じて検出オブジェクトを追跡するのに使用される、多数のアルゴリズムおよびプログラムが存在する。例として、C. Edwards，C. TaylorおよびT. Cootesの「画像シーケンスにおける顔を識別して追跡するための学習（Learning to identify and track faces in animage sequence）」（自動の顔およびジェスチャ認識の国際会議プロシーディングス、1998年、第260〜265頁）がある。
【００３７】
オブジェクト検出の結果は、フレームにおけるオブジェクトの概略的な中心位置およびオブジェクトのスケール（サイズ）に関する表示を特定するデータセットである。追跡処理の結果は、オブジェクトの時間ラベルを表現し、特定の確率レベルに対して、連続するフレームにおける検出オブジェクトが同一オブジェクトであることを保証する。
【００３８】
オブジェクト検出および追跡アルゴリズムは、フレーム内の単一オブジェクトまたは２つ以上のオブジェクトに適用されてもよい。
【００３９】
時系列フレームのグループにおいて検出されたオブジェクトの１つ以上の特徴を追跡することは公知である。例えば、オブジェクトが人物の顔の場合、特徴は目または耳であり得る。一つの技法においては、特徴は、「コーナー」として大まかに記載できる「線」の交点によって表現される。好ましくは、２つの「コーナー」が、強くかつ空間的に分離している場合に、特徴として選択される。特徴は、空間強度勾配解析を通して識別されてもよい。オプティカルフロー推定の階層的な多重解像度を用いて、連続フレームにおける特徴の時間的な並進変位の判別ができる。M. J. BlackとY. Yacoobの「画像動きの局所的なパラメータ化されたモデルを用いた固定されたおよび固定されない顔動きの追跡および認識（Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions）」（コンピュータビジョン国際会議プロシーディングス、1995年6月にマサチューセッツ州のボストンにて）が、この特徴追跡技法を用いるアルゴリズムの例である。
【００４０】
信号の構成要素の顕著なコンポーネントが決定されると、これらのコンポーネントは保持され、他のすべての信号コンポーネントは減少または除去される。顕著なコンポーネントの検出処理が図２に示されている。ビデオフレーム（２０２）が１つまたは複数のオブジェクト検出（２０６，２０８）処理によって処理され、１つまたは複数のオブジェクトが識別され、続いて追跡される。保持されるコンポーネント（識別されたオブジェクト）はビデオデータの１つの中間的な形式を表現している。この中間データは、通常は既存のビデオ処理方法には利用されない方法を用いて、コード化される。中間データが複数の形式で存在するので、これらの中間的形式のいくつかをコード化するのに、標準のビデオコード化技術が用いられる。それぞれの例について、本発明は、最も効率的なコード化技法を決定して採用する。
【００４１】
一実施形態においては、顕著性の解析処理が、顕著な信号モードを検出して分類する。この処理の一実施形態は、強度がビデオフレーム内のオブジェクトの検出された顕著性に関係している応答信号を生成するように特に設計された空間フィルタの組み合わせを用いる。識別器が、ビデオフレームの異なる空間スケールで、異なる位置に、適用される。識別器からの応答強度が、顕著な信号モードの存在の可能性を示す。顕著性が強いオブジェクトが集中している場合、処理はそれを強い応答と識別する。顕著な信号モードの検出が、ビデオシーケンス内の顕著な情報に関する後続の処理および分析を可能にすることによって、本発明を特徴付ける。
【００４２】
１つまたは複数のビデオフレーム内の顕著な信号モードの検出位置が与えられると、本発明は、顕著な信号モードの不変の特徴を分析する。さらに、本発明は、不変の特徴について、残差信号、すなわち「突出性の小さい」信号モードを解析する。不変の特徴の識別が、冗長な情報の低減および信号モードのセグメント化（すなわち分離）の基礎となる。
【００４３】
＜特徴点の追跡（Ｃ７）＞
本発明の一実施形態では、１つまたは複数のフレーム内の空間位置が、空間強度場勾配解析を通して決定される。これらの特徴は、「コーナー」として大まかに記載できる「線」の交点に対応する。このような実施形態はさらに、両方とも強いコーナーで相互に空間的に分離したコーナー（ここでは特徴点と称する）の組を選択する。さらに、オプティカルフロー推定の階層的な多重解像度を用いて、特徴点の時間的な並進変位を求めることができる。
【００４４】
図２において、オブジェクト追跡（２２０）処理が、オブジェクト検出処理（２０６，２０８）からの検出インスタンスを集め、さらに複数のビデオフレーム（２０２，２０４）にわたって検出された１つまたは複数のオブジェクトの特徴点の相関関係を識別する（２２２）。
【００４５】
特徴追跡の限定されない実施形態を利用することによって、ブロックを基礎とした動き検出などのより一般的な勾配解析を限定するために、特徴点を用いることができる。
【００４６】
別の実施形態は、特徴点追跡を基礎とする動き検出の予測を前もって処理する。
【００４７】
＜オブジェクトを基礎とする検出および追跡（Ｃ１）＞
本発明の限定されない一実施形態では、頑健なオブジェクト識別器を用いてビデオフレーム内の顔を追跡する。このような識別器は顔に向けられた方位エッジに対するカスケード応答を基礎とする。この識別器では、エッジは一連の基本的なＨａａｒ特徴として定義され、これら特徴の回転は４５°ごとである。カスケード識別器はＡｄａＢｏｏｓｔアルゴリズムの変形形態である。さらに、応答計算は、エリア総和テーブルを使用して最適化される。
【００４８】
＜局所的位置合わせ＞
位置合わせは、２つまたはこれ以上のビデオフレーム内で識別されたオブジェクトの要素間の相関関係の指定を伴う。これらの相関関係は、ビデオデータ内の時間的に別個の点におけるビデオデータ間の空間関係のモデル化の基礎となる。
【００４９】
特定の実施形態を説明し、これら実施形態に関連する、公知のアルゴリズムおよびこれらのアルゴリズムの発明派生物に関して、実行作業の低減を説明するために、本発明では、位置合わせの様々な限定されない手段が記述される。
【００５０】
時空シーケンス内の明白なオプティカルフローのモデル化の１つの手段は、２またはそれ以上のビデオデータのフレームから有限の場の生成を通して達成される。相関関係が空間および強度感知の両方において特定の一定の制約条件に適合する場合、オプティカルフロー場をわずかに予測できる。図３に示すように、フレーム（３０２または３０４）が、おそらくは分解処理（３０６）または他の何らかのサブサンプル化処理（例えば、低域通過フィルタ）によって空間的にサブサンプル化される。空間的に低減された画像フレーム３１０，３１２が得られる。これらの空間的に低減された画像（３１０，３１２）は、同様にさらにサブサンプル化されることができ、たとえばフレーム３１４，３１６となる。
【００５１】
フレームのサンプル化／サブサンプル化された各レベル３０２，３０４，３１０，３１２，３１４，３１６が処理されて、フレームに渡って検出オブジェクトの特徴の相関関係を判定する。これは、後述する図３の動き検出３５０，３５４，３６２，３７２および予測３５２，３６０，３７０の各ステップによって達成される。
【００５２】
＜ダイアモンド探索＞
ビデオフレームを重複しないようにブロックに分割すると仮定して、各ブロックに対する一致について前のビデオフレームを動き検出プロセスが探索する。全域探索ブロックベース（ＦＳＢＢ）の動き検出によって、現在のフレーム内のブロックと比較する際、前のビデオフレーム内の最小誤差を有する位置を見出す。ＦＳＢＢの実行は計算的に極めて負荷が大きく、多くの場合、局所的動きの仮定に基づいた他の動き検出方式に比べて優れた一致を得るとは限らない。ダイアモンド探索ブロックベース（ＤＳＢＢ）の勾配降下動き検出は、各種サイズのダイアモンド形状の探索パターンを用いて、ブロックの最高一致の方向に誤差勾配を反復的に移動するものであって、ＦＳＢＢに対する一般的な代替方法である。
【００５３】
本発明の一実施形態では、ＤＳＢＢは、１つまたは複数のビデオフレームの間の画像勾配場の解析に用いられ、その値が後に高次動きモデルに組み込まれる有限差分を生成する。
【００５４】
ブロックに基づく動き検出は、規則的メッシュの頂点の解析の同等物と捉えられることができることを、当業者は認識するであろう。
【００５５】
＜メッシュを基礎とする動き検出＞
メッシュに基づく予測には、エッジによって連結される頂点のメッシュを用いる。これは、ビデオフレームの離散領域の境界を明確に線引きして、メッシュ頂点の位置によって制御される変形モデルを通じて、後続のフレームにおける離散領域の変形および移動を予測するためである。頂点が動くと、この頂点によって画定される領域内の画素も動き、現在のフレームを予測することができる。相対移動およびそれによる元の画素値の近似は、補間法で実行される。この補間法は、画素位置を、この画素近辺における頂点の位置に結びつけるものである。単なる並進に比べて、拡大縮小および回転の追加モデル化は、このような動きがビデオ信号に現れる際に、フレームの画素のより正確な予測を可能にする。
【００５６】
一般に、メッシュモデルは、規則的または適応できるものとして定義される。規則的メッシュモデルは、内在する信号特性を考慮することなく展開されるが、適応法は、内在するビデオ信号の特徴に対して空間的に頂点およびエッジを配置しよう。
【００５７】
メッシュにおけるエッジに、より一致する空間不連続を、ビデオの画像化されたオブジェクトが有する場合、規則的メッシュ表現によって、動き、または動きに付随する変形が予測もしくはモデル化される。
【００５８】
適応メッシュは、規則的メッシュよりも、内在するビデオ信号特性を十分考慮して形成されている。さらに、このようなメッシュの適応性質によって、経時的なメッシュの絞込みが可能となる。
【００５９】
本発明は、メッシュおよび同等の画素の位置合わせを実行するために、均質基準を用いて頂点検索順序を調整する。空間的に不均質強度勾配の頂点は、これら頂点がより均質な勾配を有する前に、動き検出される。
【００６０】
一実施形態においては、メッシュの頂点動き検出は、同等もしくは同等に近い均質性の頂点に対する動き検出の空間塗りつぶし（flood-filling）を通じて、さらに優先順位が決定される。
【００６１】
好ましい実施形態においては、元のメッシュ空間構成と最終メッシュ構成は、一ファセットレベルに互いにマッピングされる。これは、標準の図形充填ルーチンを用いてマッピング画像をファセット識別子で充填することによって行われる。各三角形に対応するアフィン変換が、変換テーブルを迅速に検索して、あるメッシュにおけるファセットの画素位置（およびサブ画素位置）が、他のメッシュにおける位置に迅速に変換される。
【００６２】
好ましい実施形態においては、各動き検出一致に関連する残差誤差を算定するために、事前の動き検出が各頂点に対して行われる。この事前の検出は、さらに、頂点の動き検出順序の優先順位を決定するために用いられる。このような残差誤差解析の利点は、変形の小さい動き検出が、より曖昧なメッシュトポロジを維持することにある。
【００６３】
好ましい実施形態においては、メッシュ頂点動き検出は限界範囲にまで縮小され、より全体的に最適でトポロジカルな正解法にメッシュが近づくことを可能とするために、何回かの繰り返しを通じて、多数の動き検出が行われる。
【００６４】
好ましい実施形態においては、各頂点が中心となる矩形状のタイル近傍を用いたブロックに基づく動き検出が、補間された多角形近傍を配慮して、頂点変位を判別するのに使用される。誤差の傾斜下降（勾配下降）に対する画素の空間補間およびワーピングの回避に加えて、本技法は、さらに、動き検出の並列処理を可能にする。
【００６５】
＜位相を基礎とする動き検出＞
従来技術では、ブロックを基礎とする動き検出は一般に、１つまたは複数の空間一致をもたらす空間探索として実現されている。位相を基礎とする正規化相互相関（ＰＮＣＣ）は、図３に示されているとおり、現在のフレーム３０４，３１２，３１６および前のフレーム３０２，３１０，３１４からのブロックを「位相空間」に変換し、これらの２つのブロックの相互相関を見出す。相互相関は、値の位置が２つのブロック間のエッジの「位相シフト」に対応する、値の場として表される。これらの位置はしきい値化によって分離され、その後、空間座標に変換して戻される。空間座標は別個のエッジ変位であり、動きベクトルに対応する。ＰＮＣＣの利点は、ビデオストリームにおける利得／露出調整の許容差を可能にするコントラストマスキングを含むことである。また、ＰＮＣＣは、空間を基礎とした動き検出量から多くの反復値を取得する単一ステップからの結果を可能にする。さらに、動き検出３５０，３５４，３６２，３７２はサブピクセル精度である。
【００６６】
本発明の一実施形態では、１つまたは複数のビデオフレーム間の画像勾配場の解析にＰＮＣＣを利用することにより、その値が後に高次の動きモデルに（３５２，３６０，３７０において）組み込まれる有限差分を生成する。オブジェクト特徴の相関関係が識別されると（２２２）、次に述べるように相関関係のモデルが作成される（２２４）。
【００６７】
＜全体位置合わせ＞
好ましい実施形態では、本発明は、２またはそれ以上のビデオフレームの検出オブジェクトの対応する要素間の関係を用いることによって、相関関係モデル（図２の２２４）を生成する。有限差分予測値の場から１つまたはそれ以上の線形モデルを取り除くことによって、これら対応する要素間の関係が解析される。用語「場」は、空間位置を有する各有限差分を指す。これら有限差分は、＜検出および追跡＞の章で述べた、別々のビデオフレームにおける対応のオブジェクト特徴の並進変位であってもよい。サンプリングが発生する場は、ここでは、有限差分の母集団のことを指す。ここで記載される方法は、ＲＡＮＳＡＣアルゴリズムの予測値と同様に頑健な予測値を用いる。ＲＡＮＳＡＣアルゴリズムは、M. A. FischlerとR. C. Bollesの「ランダム・サンプル・コンセンサス：画像解析および自動化された地図作成に応用するモデルの当てはめについてのパラダイム（Random Sample Consensus: A paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography）」（ＡＣＭの通信部会、Vol24，第381〜395頁，1981年）に記載されている。
【００６８】
図４に示すように、全体の動きモデル化の場合においては、有限差分は母集団プール（４０４）に集められる並進動き検出（４０２）である。この母集団プールは、これら動き検出のランダムサンプリング（４１０）および線形モデルのこれらサンプルからの取り除き（４２０）によって、反復的に処理される。次いで、この結果（４３０）を用いて、ランダム処理を通じて見出されたとおり、モデルに対する異常値を除外して、線形モデルをよりよく明確化するために母集団（４０４）を調節する。
【００６９】
本発明は、１またはそれ以上の頑健な推定量を利用することができる。頑健な推定量の１つが、ＲＡＮＳＡＣの頑健な推定処理であってもよい。頑健な推定量は、先行技術に十分に記載されている。
【００７０】
線形モデル予測アルゴリズムの一実施形態では、動きモデルの推定量は線形の最小２乗解に基づいている。この依存性により、推定量は異常値データによって狂わされてしまう。ＲＡＮＳＡＣに基づいて、ここで開示されている方法は、データの部分集合の反復的な予測によって異常値の影響に対抗し、データの重要な部分集合を記述する動きモデルを探求する、頑健な方法である。各探求によって生成されるモデルは、モデルを表すデータのパーセンテージについて試験される。十分な数の反復が行われている場合、モデルはデータの最大の部分集合に適合すると見なされる。このような頑健な線形最小２乗回帰をいかに実行するかについては、R. DutterとP. J. Huberの「非線形頑健回帰問題に対する数値法（Numerical methods for the nonlinear robust regression problem）」（統計および計算機によるシミュレーションのジャーナル、13:第79〜113頁，1981年）に記載されている。
【００７１】
図４において考察され示されているとおり、本発明は有限差分の初期サンプリング（サンプル）および線形モデルの最小２乗予測を含む代替アルゴリズムの形態で、ＲＡＮＳＡＣアルゴリズムを超える革新的方法を開示する。総合誤差が、解明された線形モデルを用いて母集団内の全サンプルに対して査定される。サンプルの残差が事前設定のしきい値に一致するサンプル数に基づいて、線形モデルにランク（順位）が割り当てられ、このランクは「候補コンセンサス」とみなされる。
【００７２】
最終基準が満たされるまで、初期サンプリング、解明およびランク付けが反復的に実行される。基準が満たされると、最大ランクの線形モデルが母集団の最終コンセンサスとみなされる。
【００７３】
随意の改良工程では、候補モデルに最適適合する順に、サンプルの部分集合を反復的に解析し、１つまたは複数のサンプルの追加が部分集合全体に対する残差誤差のしきい値を超えるまで部分集合サイズを増加する。
【００７４】
図４に示すように、全体のモデル予測処理（４５０）が、コンセンサスランク許容テスト（４５２）が満足されるまで繰り返される。ランクが達成されていない場合、線形モデルを明らかにするように努めて、有限差分の母集団が、発見されたモデルに対して選別される（４５４）。最適（最高ランク）の動きモデルが、処理４６０において解セットに加えられる。次いで、処理４７０においてモデルが再予測される。完了すると、母集団（４０４）が、新しいモデル／再予測モデルに基づいて選別される（４８０）。
【００７５】
本発明の開示された限定されない実施形態はさらに、有限差分ベクトルの場として上述したベクトル空間のサンプリングの一般方法として一般化され、これにより、特定の線形モデルに対応する別のパラメータベクトル空間における部分空間の多様体を求めることができる。
【００７６】
全体位置合わせ処理の別の結果は、この処理と局所的位置合わせ処理との間の差が局所的位置合わせの残差を生じる。この残差は局所モデルへの近似における全体モデルの誤差である。
【００７７】
先の記述に従って、前の発明の実施形態は、好ましくは、多次元射影動きモデルの解決に頑健な推定量を用いて、相関関係モデルを生成する。
【００７８】
＜正規化（Ｃ１）＞
正規化は、標準または共通の空間構成のために空間強度場を再サンプリングすることを意味する。これら相対的な空間構成がこのような構成の間の可逆空間変換である場合、画素の再サンプリングおよびこれに伴う補間もまた位相限界まで可逆性を有する。本発明の正規化方法は図５に示され、画素レベルで動作する（すなわち、画素およびサブ画素を再サンプル化する）。
【００７９】
図５において、動き検出モデル５１０を前提として、正規化処理が、動きモデル５１０の相対空間構成間で空間変形を反転する（５２０）。反転された動きモデル５２２が生じる。反転された動きモデル５２２を用いて、動きモデル５１０からのオブジェクト画素５３０が５３２において再サンプル化され、随伴する画素の補間となる。好ましい実施形態では、再サンプリングフィルタまたはその他の方法が、ビデオデータの多数のフレームに渡る空間領域の構造、変形、姿勢および明るさの任意の変化を取り除く。残りの変化は、画像化されたオブジェクトの「外観」と見なされる。
【００８０】
３つ以上の空間強度場が正規化されるとき、中間の正規化の計算を保存することによって、計算効率が向上する。
【００８１】
位置合わせの目的、すなわち正規化のために画像を再サンプリングするのに使用される空間変換モデルは、全体モデルおよび局所モデルを含む。全体モデルは、並進から射影への増加する整列（increasing order）である。局所モデルは、基本的にはブロックによって、またはより複雑には区分（piece-wise）線形メッシュによって決定される、隣接画素の補間を意味する有限差分である。元の強度場の正規化強度場への補間によって、強度場の部分集合に基づいたＰＣＡ外観モデルの線形性が向上する。
【００８２】
図２に示すように、モデルの相関関係（２２４）に従って画像データ／フレームからオブジェクトの画素がセグメント化された（２３０）後（後述する）、オブジェクトの画素およびサブ画素（２３２，２３４）が再サンプリングされる（２４０）。画素およびサブ画素の再サンプリング２４０は、オブジェクトの画素およびサブ画素の正規化されたバージョンの（２４２，２４４）をもたらす。
【００８３】
＜メッシュを基礎とする正規化＞
本発明の好ましい実施形態は、特徴点を三角形状メッシュにテセレーション(tesselate(モザイク模様にする)し、メッシュの頂点が追跡され、各三角形の頂点の相対位置が、これら３つの頂点に一致する平面に対する３次元の表面法線の予測に使用される。表面法線がカメラの射影軸に一致する場合、画像化された画素が、三角形に対応するオブジェクトのひずみが最も少ないレンダリングをもたらすことができる。表面法線に直交する傾向の正規化画像を生成することで、後続の外観を基礎とするＰＣＡ（主成分分析）モデルの線形性を向上させる中間データタイプを保存する画素を生成することができる。ＰＣＡとは他の線形分解が適切である。
【００８４】
他の実施の形態は、全体の動きモデルを暗示的（陰関数表現的）にモデル化するために、従来からのブロックを基礎とした動き検出を使用する。限定されない一実施形態では、この方法が、従来のブロックを基礎とする動き検出／予測によって記述される動きベクトルから全体のアフィン動きモデルを取り除く。
【００８５】
本発明の新規な方法は、１またはそれ以上の全体動き検出技法を利用する。この技法は、アフィン射影方程式の１セットに対する線形解法を含む。他の射影モデルおよび解決方法は、従来技術に記載されている。
【００８６】
図９において、ビデオシーケンスの第１フレーム９０２および第２フレーム９０４が、全体正規化処理９０６に入力される。全体正規化処理９０６は、全体動きモデル（例えば、図４の上部分）を形成する工程と、メッシュの輪郭および頂点の変形または動きを追跡する工程とを備える。メッシュの頂点は、フレームＡおよびＢに現れる画像化されたオブジェクトの全体幾何を表現する。全体正規化処理９０６の結果は、図９の９０８に示された、全体に正規化されたフレームＢを含む。次に、フレームＡ ９０４および全体に正規化されたフレームＢ ９０８は、局所正規化処理９１０に供給される。ここで、全体に正規化されたフレームＢは、局所的に正規化される。この結果、フレームＢは、全体的かつ局所的に正規化されている（９２０）。
【００８７】
全体正規化９０６および局所正規化９１０の工程における様々な正規化技法が、それぞれ後述される。
【００８８】
＜段階的な幾何正規化＞
メッシュのエッジに不連続が位置したときに、暗示的に不連続をモデル化するために、テセレーションされたメッシュを整列させるように空間不連続の分類が使用される。
【００８９】
均質な領域の境界が、多角形輪郭によって近似される。輪郭は、元の頂点のそれぞれの顕著な優先度を求めるために、連続的に低い精度で近似される。共有される頂点に対する頂点優先度を保存するために、頂点の優先度が領域に渡って伝播される。
【００９０】
本発明の一実施形態において、多角形分解法によって、均質な領域分類に付随した境界の優先順位付けが可能になる。スペクトル類似性のような均質性基準に従って画素が分類され、分類ラベルは空間的に領域に連結される。さらに好ましい限定されない実施形態においては、空間連結性を判別するために、４または８の連結性基準が適用される。
【００９１】
別の実施形態においては、次に、これら空間領域の境界は多角形に離散化される。全ての均質領域の全ての多角形の空間オーバレイは、次にテセレーションされて、仮のメッシュに結合される。元のメッシュの知覚の顕著性（perceptive saliency）の多くを保持する、単純なメッシュ表現を示すために、仮のメッシュの頂点は、いくつかの基準を用いて分解される。
【００９２】
好ましい実施形態においては、上述した画像の位置合わせ方法が、強力な画像勾配で、高い優先度の頂点に偏る。得られる変形モデルは、画像化されたオブジェクトの形状に関連して空間不連続を保持する傾向にある。
【００９３】
一実施形態においては、領域境界を絞り込むのに、動的輪郭が用いられる。多角形領域の動的輪郭は、１回の繰り返しを伝播してもよい。異なる領域の各動的輪郭頂点の「変形」または動きは平均化操作に組み合わされて、暗示されたメッシュの制約された伝播が可能になる。この暗示されたメッシュに対しては、これら動的輪郭頂点が全て属している。
【００９４】
別の実施形態においては、頂点には、異なる領域の輪郭の一部である隣接頂点に対するメッシュ内の隣接頂点数が割り当てられる。これら別の頂点は対向していると定義される。頂点が１の数を有する場合、対向頂点を有さず、そのまま保持される。２つの隣接する対向頂点が両方とも１の数を有する場合（これら２つの頂点が異なる多角形内にあり、互いに隣接することを意味する）、一方の頂点は他方の頂点に帰着する。１の数の頂点が、２の数を有する近隣の多角形頂点と対向する場合、１の数の頂点は２の数の頂点に帰着し、この２の数である頂点の数が１になる。したがって、もう一つ別の近隣の対向頂点が存在する場合、この頂点は再度帰着される。この場合、元の頂点の数を保存しておくことが重要である。これは、頂点が帰着された場合、元の頂点の数に基づいて帰着の方向をとることができるからである。つまり、頂点ａが頂点ｂに帰着した後には頂点ｂは頂点ｃに帰着しない。代わりに、頂点ｃが頂点ｂに帰着する必要がある。これは、頂点ｂが既に１つの帰着に使用されているからである。
【００９５】
別の実施形態においては、Ｔ分岐ポイントが特に処理される。これらＴ分岐ポイントは、隣接する多角形にポイントを有しない一多角形のポイントである。この場合、各多角形頂点は画像ポイントマップに最初にプロットされる。このマップは頂点の空間位置および多角形識別子を特定する。次に、各多角形の周縁がトラバースされ、他の多角形からの隣接頂点があるか否かがチェックされる。他の領域から近接する頂点が存在する場合、それら頂点はそれぞれ現多角形からの近接する頂点を既に有するか否かがチェックされる。有しない場合、現多角形の頂点として現ポイントが追加される。この追加のチェックによって、他の多角形の孤立した頂点がＴ分岐ポイントを生成するのに用いられることが保証される。これに対して、有する場合、この領域が既に一致頂点を有する箇所に、新たな頂点を追加するのみである。したがって、近接する頂点がこの現領域によって対向しない場合にのみ、対向するベクトルが追加される。さらなる実施形態においては、マスク画像を利用することで、Ｔ分岐検出の効率が良くなる。多角形頂点が順次対象となり、頂点の画素が多角形頂点に属すると特定されるように、マスクが更新される。次に、多角形の周縁の画素がトラバースされ、多角形頂点と空間的に一致する場合は、これら画素は現多角形内の頂点として記録される。
【００９６】
一実施形態では、１つまたは複数の重複する均質な画像勾配領域によって、スペクトル領域が再配置されて別の均質なスペクトル領域も重複すると、先に再配置された全ての領域に、現在再配置されている領域と同一のラベルが付与される。したがって、要するに、スペクトル領域が２つの均質領域によって重複されると、これら２つの均質領域によって重複される全てのスペクトル領域は、同一ラベルを取得する。これより、１つのスペクトル領域は２つの均質領域の代わりに１つの均質領域によって実際に覆われているかのようである。
【００９７】
本発明の一実施形態においては、隣接マージ基準を見出すために、領域リストよりも領域マップを処理するのが有利である。さらなる実施形態では、不均質領域を用いる識別器を訓練するためにスペクトルセグメント化識別器が改良されてもよい。さらに、cannyエッジ検出のようなエッジの使用に基づく別のセグメント化を付加して、次に最初の多角形セットを特定するために有効な輪郭を供給することによって、均質領域を大幅に区別化できる。
【００９８】
＜局所正規化＞
本発明は、時空間ストリームにおける画素が「局所的な」方式で位置合わせされる方法を提供する。
【００９９】
このような局所化された方法は、幾何学的なメッシュ７２２（図７）の空間適用を採用する。この方法は、これにより、画像化された事象の局所変形と関連付けて明らかな画像明るさの恒常性の曖昧さを解決する際に、画像化された事象（特に、画像化されたオブジェクト）における局所化されたコヒーレンシが組み入れられるように画素を解析する方法を提供する。
【０１００】
このようなメッシュは、画像平面における表面変形の区分線形モデルを提供するために、局所正規化の手段として採用される。画像化された事象は、多くの場合、ビデオストリームの時間解像度がビデオの動きに比べて高い場合、区分線形モデルに相当する。モデル仮定（model assumption）の例外が、様々な技法で取り扱われる。これら技法としては、トポロジカルな制約、隣接頂点条件、ならびに画素の均質性および画像勾配領域の解析である。
【０１０１】
一実施形態においては、ビデオフレーム（７０２）を前提として（図７）、画素の均質な領域が、画像オブジェクトの位置およびスケール（７０６）として検出される（７０４）。画素の均質な領域内において、ステップ７０８で、多角形輪郭を定義する。ステップ７１０は、画素オブジェクトの特徴点を検出して特定する。特に、三角形輪郭が採用されて、頂点が特徴点に相当する三角形要素から構成される輪郭メッシュを生成するために（７２２）、特徴点が用いられる（７２０）。他のフレームにおける相当する特徴点は、三角形の補間「ワーピング」（輪郭メッシュのテセレーション）（７２４）と、これにより画素の補間「ワーピング」とを示す。これによって、局所変形モデル（オブジェクトメッシュ）が生成される（７２６）。図７は、このようなオブジェクトメッシュの生成（７２６）を示す。図８は、このようなオブジェクトメッシュ（８０６）を１つ用いて局所的にフレーム（８０２，８０４）を正規化することを示す。
【０１０２】
図８の局所正規化処理において、オブジェクトメッシュ８０６（これは、例えば、図７の処理によって生成されている）は、ビデオまたは画像のフレーム８０２，８０４（フレームＡおよびフレームＢ）に適用される。メッシュの各頂点には、これら頂点がそれぞれ中心となるタイルが存在する（８１０）。フレームＡおよびＢ（８０２，８０４）の間の頂点位置の相関関係が、さらに後述する動き検出によって判定される。なお、動き検出は全体動きについて前述したものと同様である。
【０１０３】
近傍ポイントの動き検出が、頂点動きベクトル（８１２）を形成するのに用いられる。動きベクトル（８１２）は、次に各タイルのアフィンモデルを生成するのに用いられる（８１４）。三角形状のタイルおよびこれら三角形の対応する動きベクトルおよびアフィンモデルについて後述する。
【０１０４】
さらに図８を参照して、各タイルは、そのタイルに対して推定されたアフィン変換を有する。ステップ８１６において、フレームＢは、逆アフィン（inverse affine）に基づいて再サンプル化される。この逆アフィンは、フレーム（８０２，８０４）に渡る局所の構造、変形、姿勢および明るさの局所的な変化が取り除かれた対応画素をもたらす。すなわち、ステップ８２０において、正規化されたフレームＢがもたらされる。
【０１０５】
好ましい実施形態においては、三角形マップが生成され、これにより、マップの各画素の元となる三角形を特定する。さらに、各三角形に対応するアフィン変換（図８の８１４）が、最適化ステップとして予め計算される。さらに、局所変形モデルを作成すると、元の画素の座標を決定してサンプル化するために、固定画像（前回の画像）が空間座標を用いてトラバースされる。
【０１０６】
別の実施形態においては、全体変形の後に局所変形が実行される。上述の先に開示された明細書においては、２またはそれ以上のビデオデータのフレームにおいて画素の空間的な正規化に全体位置合わせ方法が用いられる処理として、全体正規化が記載されていた。全体正規化されたビデオフレームの結果は、さらに局所正規化される。これら２つの方法の組合せによって、局所正規化が解決を導く全体の絞込みとなる。これにより、局所方法の解決されなければならない曖昧さを大幅に削減できる。
【０１０７】
別の限定されない実施形態においては、特徴点、すなわち「規則的メッシュ」の場合には頂点が、これら特徴点の近傍における画像勾配の解析を通して限定される。この画像勾配は、直接、またはＨａｒｒｉｓ応答のような間接的な計算を通して計算される。さらに、これらポイント（点）は、空間制約および画像勾配の低下に関連する動き予測エラーによってフィルタリングされる。限定されたポイントが、多くのテセレーション技法の１つによってメッシュの基礎として用いられ、要素が三角形であるメッシュをもたらす。三角形ごとに、ポイントおよびその残差動きベクトルに基づいてアフィンモデルが生成される。
【０１０８】
本発明の新規な方法は、１またはそれ以上の画像強度勾配解析方法を利用する。この画像強度勾配解析方法は、Ｈａｒｒｉｓ応答を含む。他の画像強度勾配解析方法は、先行技術に記載されている。
【０１０９】
好ましい実施形態においては、三角形アフィンパラメータのリストが維持される。このリストは繰り返され、すなわち変更が逐次追加されて、現在／前回のポイントリストが構築される（頂点探索マップを用いて）。現在／前回のポイントリストは変換を予測するのに用いられるルーチンに渡される。この変換は、その三角形についてのアフィンパラメータを計算する。アフィンパラメータ、すなわちモデル８１４は、三角形アフィンパラメータリストに保存される。
【０１１０】
さらなる実施形態においては、本方法が三角形識別子画像マップをトラバースする。ここで、マップの各画素は、画素が要素であるメッシュにおける三角形についての識別子を含む。三角形に属する各画素に対して、その画素ついての相当する全体変形座標および局所変形座標が計算される。次に、相当する画素をサンプル化してその値を相当する「正規化」位置に適用するために、これら座標が用いられる（例えば、図８の８１６）。
【０１１１】
さらなる実施形態においては、画像勾配の検索に起因する密度および画像強度対応強さに基づいて、空間制約がポイントに適用される。動き検出が画像強度の残差のノルムに基づいて行われた後に、ポイントが分類される。次に、ポイントは空間制約に基づいてフィルタリングされる。
【０１１２】
さらなる実施形態においては、スペクトル空間セグメント化が採用されて、小さい均質空間領域が、強度および／または色と類似する空間アフィニティ（関連性）に基づいて、近傍の領域と合併される（マージされる）。均質テクスチャ（画像勾配）の領域との重ね合わせに基づいて、スペクトル領域を共に組み合わせるために、均質マージングが用いられる。さらなる実施形態は、次に中心周辺（center-surround）ポイントを用いる。これらポイントは、メッシュの頂点をサポートするための限定された対象ポイントのように、小さい領域が大きい領域に囲まれているかのようである。さらに限定されない実施形態においては、中心周辺ポイントは、３×３，５×５または７×７画素内に境界ボックスが存在する領域として画定される。また、この境界ボックスについての空間画像はコーナー形状である。この領域の中心はコーナーとして分類され、さらに、この位置を有利な頂点位置としてみなす。
【０１１３】
さらなる実施形態においては、水平方向および垂直方向の画素有限差分画像が、各メッシュエッジの強さを分類するために用いられる。空間位置と一致する有限差分をエッジが多数有する場合、このエッジは画像化現象の局所変形に極めて重要であるとみなされる。エッジの有限差分の合計の平均間に大きい導関数差分（derivative difference）を有する場合、領域エッジが量子化ステップではなくテクスチャ変更エッジに相当する可能性が高い。
【０１１４】
さらなる実施形態においては、空間密度モデル終了条件が、メッシュ頂点（８１０）の処理を最適化するために採用される。検出矩形が発生する空間エリアのほとんどを包含する十分な数のポイントが検査されると、処理は終了する。終了はスコアを生成する。この処理に入る頂点および特徴点は、このスコアによって分類される。存在しているポイントにポイントが空間的に極めて近い場合、またはポイントが画像勾配におけるエッジに一致しない場合、このポイントは廃棄される。これらに該当しない場合、ポイントの近傍における画像勾配は下降し、勾配の残差が限界を超えると、このポイントも廃棄される。
【０１１５】
好ましい実施形態においては、局所変形モデル化が反復的に実行される。反復が減少することによって頂点が変位する際に解に収束する。
【０１１６】
別の実施形態においては、局所変形モデル化が実行され、全体変形が既に同一の正規化の利点をもたらしている場合、モデルパラメータが廃棄される。
【０１１７】
＜規則的メッシュ正規化＞
本発明は、前述の規則的メッシュを利用する局所正規化方法を拡張する。このメッシュは、検出オブジェクトに一致した位置およびサイズを有している根本の画素に関係なく構築される。
【０１１８】
検出オブジェクト（例えば、顔）の領域を前提として、空間フレーム位置およびオブジェクトである顔のサイズを示すスケールが、顔の発生領域にわたって規則的メッシュを生成する。好ましい実施形態においては、長方形メッシュの輪郭を描くために、重ならないタイルセットが用いられ、三角形メッシュ要素を有する規則的メッシュを生じさせるためにタイルの対角線区分化が実行される（ステップ８１０において）。さらに好ましい実施形態においては、タイルは従来のビデオ圧縮アルゴリズム（例えば、ＭＰＥＧ−４  ＡＶＣ）におけるタイルに相当している。
【０１１９】
好ましい実施形態においては、前述のメッシュの頂点（８１０）は、訓練に用いられる特定のビデオフレームにおけるこれら頂点を取り囲む画素領域の解析を介して優先順位付けされる。このような領域の勾配の解析が、局所画像勾配（例えば、ブロックを基礎とした動き検出）に依存する各頂点の処理に関して正確さを提供する。
【０１２０】
多数のフレームにおける頂点位置の一致は、画像勾配の単純な下降によって見つけられる。好ましい実施形態においては、これは、ブロックを基礎とした動き検出によって達成される（８１０）。本実施形態においては、極めて正確な頂点によって、極めて正確な一致が可能となる。極めて正確な頂点一致から推定される曖昧な画像勾配を解決することによって、正確さの低い頂点一致に帰着する。
【０１２１】
好ましい実施形態においては、規則的メッシュが矩形追跡の発生を大きく変える。タイルは１６×１６に生成され、対角線上に切られて三角形状のメッシュ（８１０）を生成する。これら三角形の頂点は動き検出される。動き検出はそれぞれポイントを有するテクスチャの型によって決まる。テクスチャは、コーナー、エッジおよび均質の３つのクラスに分割され、テクスチャはまた頂点の処理順序を定義する。コーナー頂点は、近傍の頂点検出を用いる。すなわち、近傍ポイント（利用可能な場合）の動き検出が、予測動きベクトル（８１２）に用いられ、動き検出がそれぞれに適用される。重大誤差が最小（lowest mad error）である動きベクトルが、この頂点動きベクトル（８１２）として用いられる。コーナーに用いられる探索方法は全て（幅広い、小さい、および原点）である。エッジに対しては、再び最短の近傍動きベクトルが予測動きベクトルとして用いられ、最も誤差量の少ないものが用いられる。エッジについての探索方法は、小さいおよび原点である。均質については、近傍ベクトルが探索され、最も誤差の少ない動き検出が用いられる。
【０１２２】
好ましい実施形態においては、各三角形頂点に対する画像勾配が計算され、クラスおよび大きさに基づいて保存される。したがって、コーナーはエッジの前であり、このエッジは均質の前である。コーナーについて、強いコーナーは弱いコーナーよりも前であり、エッジについて、強いエッジは弱いエッジよりも前である。
【０１２３】
好ましい実施形態においては、各三角形についての局所変形は、その三角形に関する動き検出に基づいている。各三角形はその三角形に対して推定されたアフィン（８１４）を有する。三角形がトポロジー的に反転しない場合、つまり縮退しない場合、推定三角形の一部である画素が、得られた推定アフィン（８１４）に基づいて、現画像をサンプル化するのに用いられる。
【０１２４】
＜セグメント化＞
詳述するセグメント化処理によって識別される空間不連続性は、不連続のそれぞれの境界の幾何パラメータ化によって効率的にコード化され、これらを空間不連続モデルと称する。これらの空間不連続モデルは段階的方法でコード化され、コード化の部分集合に対応するより簡潔な境界記述を可能にする。段階的なコード化は、空間不連続の顕著な様相の大部分を保持しながら、空間形状の優先順位付けの頑健な方法を提供する。
【０１２５】
本発明の好ましい実施形態は、多重解像度のセグメント化解析と空間強度場の勾配解析とを組み合わせて、頑健なセグメント化を達成するためにさらに時間安定性の制約を用いる。
【０１２６】
図２において、オブジェクトの特徴の相関関係が経時的に追跡（２２０）されてモデル化（２２４）されると、この動き／変形モデルへの適合を、オブジェクトに対応する画素をセグメント化（２３０）するために使用することができる。この処理を、ビデオデータ／フレーム（２０２，２０４）において検出された多数のオブジェクト（２０６および２０８）について繰り返すことができる。この処理の結果は、セグメント化されたオブジェクト画素（２３２）である。
【０１２７】
本発明により利用される不変の特徴の解析の一形態は、空間不連続の識別に焦点が当てられる。これらの不連続は、エッジ、影、遮蔽、線、コーナー、または、１つもしくは複数のビデオの画像フレーム内の画素間の急激で識別可能な分離を発生させる、その他の可視特徴物として現れる。さらに、ビデオフレーム内のオブジェクトの画素が、互いに異なる動きではなく、オブジェクト自体に対してコヒーレントな動きを受ける場合にのみ、類似の色および／またはテクスチャのオブジェクト間の微細な空間不連続が現れる。本発明は、空間、テクスチャ（強度勾配）および動きのセグメント化の組み合わせを利用して、顕著な信号モードに関連する空間不連続を頑健に識別する。
【０１２８】
＜時間セグメント化＞
並進動きベクトルの時間積分、すなわち高次動きモデルへの、空間強度場における有限差分の測定は、従来技術で説明されている動きセグメント化の形式である。
【０１２９】
本発明の一実施形態では、動きベクトルの高密度場を生成して、ビデオ内のオブジェクト動きの有限差分を表現する。これらの導関数は、タイルの規則的分割によって、または空間セグメント化などの特定の初期化手順によって、空間的に一体にグループ化される。各グループの「導関数」は、線形の最小２乗推定量を使用して高次の動きモデルに統合される。次に、得られた動きモデルが、ｋ平均クラスタ化技法を用いて動きモデル空間内のベクトルとしてクラスタ化される。導関数は、いずれのクラスタがそれら導関数に最も適合するかに基づいて分類される。次に、クラスタラベルが、空間分割の発現として空間的にクラスタ化される。この処理は空間分割が安定するまで続けられる。
【０１３０】
本発明の別の実施形態では、所定の開口の動きベクトルが開口に対応する一連の画素位置に対して補間される。この補間によって定義されたブロックが、オブジェクト境界に対応する画素間を橋渡しする場合、得られる分類はブロックの特定の特異な対角領域分割（anomalous diagonal partitioning）である。
【０１３１】
従来技術では、導関数を統合するのに使用される最小２乗推定量は異常値に極めて敏感である。この敏感さによって、反復が広範囲に発散する点に動きモデルのクラスタ化方法を大きく偏らせる動きモデルが、生成される。
【０１３２】
本発明においては、動きセグメント化の方法は、２またはそれ以上のビデオフレーム全体にわたる明らかな(目に見える)画素動きの解析によって空間不連続を識別する。この明らかな動きは、ビデオフレーム全体にわたる一貫性に関して解析され、パラメータの動きモデルに組み込まれる。このような一貫した動きに関連する空間不連続が識別される。時間変化は動きによって発生するため、動きセグメント化はまた、時間セグメント化と称することできる。しかし、時間変化はまた、局所変形、明るさの変化などといった、いくつかの他の現象によって引き起こされる可能性もある。
【０１３３】
ここで説明された方法によって、正規化方法に対応する顕著な信号モードは、複数の背景差分法のうちの１つによって、周囲信号モード（背景または非オブジェクト）から識別され、かつ分離される。これらの方法は、各時刻において最小量の変化しか示さない画素として背景を統計的にモデル化する。変化は画素値の差として特徴付けられる。
【０１３４】
オブジェクトの周を作成して、周の頂点が不均質画像勾配と一致する位置になるまで、オブジェクトの検出した中心に向かって周を移動させていくことで、セグメント化の周に基づく全体変形モデル化が達成される。動き検出は、これら新しい頂点位置に集められ、全体変形モデルを見つけるために頑健なアフィン予測が用いられる。
【０１３５】
セグメント化されたメッシュの頂点画像勾配下降に基づく有限差分が、全体変形モデルに統合される。
【０１３６】
＜オブジェクトセグメント化＞
図１３のブロック図は、オブジェクトセグメント化の一好ましい実施形態を示す。図示した処理（１３００）は、正規化されたビデオフレーム／画像の集合体（１３０２）で開始し、次に、集合体間のペアワイズ差分（１３０４）が求められる。これら差分は、次に、蓄積バッファに要素ワイズで蓄積される（１３０６）。より重大な誤差領域を識別するために、この蓄積バッファはしきい値が定められる（１３１０）。次に、蓄積された誤差領域（１３１０）の空間支持を判別するために、このしきい値を超えた要素マスクが構造的に解析される（１３１２）。オブジェクトと一致する蓄積された誤差領域に後続の処理を集中させるために、構造的解析（１３１２）の抽出結果（１３１４）が検出されたオブジェクト位置と比較される（１３２０）。孤立した空間領域（１３２０）の境界が、次に、多角形に近似され（１３２２）、この多角形の凸包が生成される（１３２４）。動的な輪郭解析（１３３２）についての頂点位置をより初期化するために、包の輪郭が次に調整される（１３３０）。動的輪郭解析（１３３２）が、蓄積された誤差空間において低エネルギ解に集中すると、輪郭は最終輪郭（１３３４）として用いられ、輪郭に拘束された画素はほとんどがオブジェクト画素であると考えられる。最終輪郭（１３３４）の外側のこれら画素は、非オブジェクト画素であると考えられる。
【０１３７】
一実施形態では、動きセグメント化が、顕著な画像モードの検出された位置およびスケールを与えることによって達成される。距離変換を用いて、検出された位置からの各画素の距離を求めることができる。最大距離に対応する画素値が保持されている場合、背景の妥当なモデルを解明できる。言い換えれば、周囲信号は、信号差の測定を利用して時間的に再サンプル化される。
【０１３８】
さらなる実施形態は、各画素に距離を割り当てるために、現在の検出位置に対する距離変換を利用する。ある画素に対する距離が最大距離テーブルにおける距離よりも大きい場合、この画素値が記録される。適切な訓練期間の後に、この画素についての最大距離が大きければ、この画素は背景画素である可能性が高いと見なされる。
【０１３９】
周囲信号のモデルを前提として、各時刻における完全な顕著信号モードの差を計算できる。これらの差のそれぞれを再サンプル化して、空間的な正規化信号差（絶対差）を得ることができる。次に、これらの差は相互に整列されて蓄積される。これらの差は顕著信号モードに対して空間的に正規化されているため、差のピークが、顕著信号モードの画素の位置にほぼ対応する。
【０１４０】
本発明の一実施形態においては、訓練期間が定義され、ここではオブジェクト検出位置が判別され、これらオブジェクト検出位置の重心が用いられる。このように重心が用いられるのは、非オブジェクト画素である可能性が高い背景画素をもたらすためにフレーム差分を認める位置からは程遠い検出位置で最適なフレーム数を判別するためである。
【０１４１】
本発明の一実施形態においては、蓄積された誤差「画像」における輪郭頂点位置を判別することによって、非オブジェクト背景から前景オブジェクトをセグメント化するのに、動的な輪郭モデル化が用いられる。好ましい実施形態においては、動的な輪郭エッジが、より大きい自由度をもたらすために、検出されたオブジェクトの寸法に相当する大きさに細分化される。好ましい実施形態においては、規則的間隔の輪郭をもたらすために、最終輪郭位置が最短距離の規則的メッシュ頂点に合わせられる。
【０１４２】
オブジェクトセグメント化の限定されない一実施形態においては、時間的ペアワイズ画像に対する誤差画像フィルタ応答を生成するために、配列カーネル（oriented kernel）が利用される。背景の隠蔽および隔離によって背景に対する動きが生じたときに、全体的動き検出に配列直交するフィルタに対する応答は、誤差表面を強化する傾向にある。
【０１４３】
正規化された画像の集合体の正規化された画像フレーム強度ベクトルは、残差ベクトルを生成する１つ以上の参照フレームからの差分を有する。これら残差ベクトルは、蓄積された残差ベクトルを形成するために、蓄積された要素ワイズである。オブジェクトおよび非オブジェクトの画素の空間セグメント化用の空間オブジェクト境界を画定するために、これら蓄積された残差ベクトルは、次に、空間的に調べられる。
【０１４４】
好ましい実施形態において、蓄積された残差ベクトルのしきい値に用いられることができる統計的しきい値に達するように、蓄積された残差ベクトルの最初の統計的解析が実行される。モルフォロジ演算の「削る（erosion）」およびそれに続く「肉付けする（dilation）」を通して、事前のオブジェクト領域マスクが生成される。領域の輪郭多角形点が、次に、これら点の凸包を明確にするために解析される。凸包は、次に、動的輪郭解析法用の最初の輪郭として用いられる。動的輪郭は、オブジェクトの蓄積された残差の空間境界に集束するまで伝播される。さらなる好ましい実施形態においては、最短エッジ長が全てのエッジ長について達成されるまで、中間頂点を追加することによって、事前の輪郭のエッジがさらに細分化される。このさらなる実施形態は、オブジェクトの輪郭線に対してより正確に合致するように、動的輪郭モデルの自由度を増加させることを意図している。
【０１４５】
一実施形態において、絞り込まれた輪郭は、輪郭に包含された多角形を重ね合わせることによって、かつ正規化された画像における多角形を重ね合わせることによって、オブジェクトの画素を示す画素マスクを生成するのに使用される。
【０１４６】
＜非オブジェクトの解決（解明）＞
図１２に示すブロック図は、非オブジェクトセグメント化すなわち背景解決の一好ましい実施形態を開示する。背景バッファを初期化（１２０６）して、最大距離値（１２０４）バッファの初期値を設定してから、検出されたオブジェクト位置（１２０２）からの最大距離に「安定性」を関連付けることにより、最も安定した非オブジェクト画素を判別するために、本処理が機能する。新たに検出されたオブジェクト位置（１２０２）を前提として、本処理は各画素位置（１２１０）をチェックする。各画素位置（１２１０）について、検出されたオブジェクト位置からの距離（１２１２）が距離変換を用いて計算される。対象の画素についての距離が、最大距離バッファ（１２０４）に既に格納された位置よりも大きい場合（１２１６）、格納値は現在値によって上書きされ（１２１８）、画素バッファに画素値が記録される（１２２０）。画素距離の最大格納距離に対する比較（１２１６）が、各画素（１２１４）について繰り返される。
【０１４７】
解決された背景画像を前提として、この画像と現在のフレームとの間の誤差は、空間的に正規化されて時間的に蓄積される。このような解決された背景画像は、「背景の解決」の章で説明される。この方法を通しての背景解決は、時間を基礎とした遮蔽フィルタ処理とみなされる。
【０１４８】
次に、得られた蓄積誤差にしきい値による判別が適用され、初期の輪郭がもたらされる。輪郭は、その後、誤差の残差を輪郭変形に対してバランスさせるために空間的に伝播される。
【０１４９】
代わりの実施形態においては、現フレームと解明（解決）された背景フレームとの間の絶対差分が計算される。次に、要素ワイズ絶対差分が別個の空間領域にセグメント化される。ボックスとの境界を示すこれら領域の平均画素値が計算される。これにより、解決された背景が更新される際には、現フレームと解決された背景との間の差分の平均画素が、コントラストシフトを実行するのに用いられることができる。また、これにより、解決された背景に、より効果的に現領域が調和することができる。別の実施形態においては、正規化されたフレームマスク内の頂点が、動き検出されて、フレームごとに保存される。次に、これらは、フレームごとに局所変形予測を生成するために、ＳＶＤを用いて処理される。
【０１５０】
＜勾配セグメント化＞
テクスチャのセグメント化方法、すなわち強度勾配セグメント化は、１つまたは複数のビデオフレーム内の画素の局所勾配を解析する。勾配応答はビデオフレーム内の画素位置近傍の空間不連続を特徴付ける、統計的測定値である。次に、いくつかの空間的クラスタ化方法のうちの１つを用いて、勾配応答同士を組み合わせて空間領域を生成する。これらの領域の境界が、１つまたは複数のビデオフレームにおける空間不連続の識別に有効である。
【０１５１】
本発明の一実施形態では、コンピュータグラフィクスのテクスチャ生成からのエリア総和テーブルの概念が、強度場の勾配の計算を促進するために用いられる。連続的に合計された値の場が生成されて、４つの追加操作に組み合わせられる４つの参照を通して元の場の任意の長方形の加算を促進する。
【０１５２】
別の実施形態は、画像に対して生成されるＨａｒｒｉｓ応答を用いて、各画素の近辺が均質なエッジまたは均質なコーナーのいずれかとして識別される。応答値はこの情報から生成され、フレーム内の各要素についてエッジまたはコーナーの度合いを示す。
【０１５３】
＜多重スケール勾配解析＞
本発明の実施形態は、さらに、いくつかの空間スケールを通して画像勾配値を生成することによって、画像勾配サポートを制約する。この方法は画像勾配の修正に役立つことができる。例えば、異なるスケールにおける空間不連続が互いをサポートするために使用される。「エッジ」がいくつかの異なる空間スケールにおいて区別される限り、そのエッジは「顕著」である必要がある。より修正された画像勾配は、より顕著な特徴に対応する傾向にある。
【０１５４】
一実施形態においては、テクスチャの応答場が最初に生成されて、次にこの場の値が、ｋ平均ビニング／分割に基づいていくつかのビン（bin）に量子化される。次に、単一の繰り返しがwatershedセグメント化を適用できる値の間隔として各ビンを用いて、元の画像勾配値が段階的に処理される。このような手法の利点は、強力な空間バイアスで、均一性が相対的な意味で定義される点にある。
【０１５５】
＜スペクトルセグメント化＞
スペクトルセグメント化の方法は、ビデオ信号における白黒、グレースケールまたは色の画素の統計的確率分布を解析する。スペクトル識別器は、これらの画素の確率分布に対してクラスタ化操作を実行することにより構成される。次に、識別器を用いて、１つまたは複数の画素を確率クラスに属するとして分類する。次に、結果として得られた確率クラスおよびその画素はクラスラベルを与えられる。その後、これらのクラスラベルは明確な境界を有する画素の領域に空間的に関連付けられる。これらの境界は１つまたは複数のビデオフレーム内の空間的不連続を識別する。
【０１５６】
本発明は、空間分類に基づく空間セグメント化を利用して、ビデオフレーム内の画素をセグメント化する。さらに、領域間の対応は、空間領域と前のセグメント化における領域との重ね合わせに基づいて求められる。
【０１５７】
ビデオフレーム内のオブジェクトに対応するより大きな領域に空間的に結合される連続的な色領域からビデオフレームが大まかに構成される場合、色付けされた（またはスペクトルの）領域の識別および追跡によって、ビデオシーケンス内のオブジェクトの後続のセグメント化が容易になることが観測されている。
【０１５８】
＜背景セグメント化＞
ここで説明される発明はビデオフレーム背景のモデル化方法であって、検出されたオブジェクトと各ビデオフレーム内の各画素の間の空間距離測定の時間的最大に基づくモデル化方法を含む。上述した図１２の説明を参照すること。オブジェクトの検出された位置を前提として、距離変換が適用され、フレーム内の各画素についてスカラー距離が生成される。各画素についてビデオフレームのすべてにわたる最大距離のマップが保持される。最大値が最初に割り当てられるか、あるいはその後に新規かつ異なる値で更新されると、このビデオフレームの対応する画素が、「解決された背景」フレームに保持される。
【０１５９】
＜外観モデル化＞
ビデオ処理の共通の目的は、多くの場合、ビデオフレームのシーケンスの外観をモデル化して保存することである。本発明は、前処理を利用して、頑健で広範囲に利用可能な方法で適用される制限された外観のモデル化方法を実現することを目的としている。前述の位置合わせ、セグメント化および正規化は明らかにこの目的のためのものである。
【０１６０】
本発明は、外観変化（appearance variance）モデル化の手段を開示している。外観変化モデル化の主要な基本は、線形モデルの場合には、線形相関を利用するコンパクトな基準を示す特徴ベクトルの解析である。空間強度場の画素を表現する特徴ベクトルは外観変化モデルに組み込まれることができる。
【０１６１】
別の実施形態においては、外観変化モデルは画素のセグメント化された部分集合から計算される。さらに、特徴ベクトルは、空間的に重複しない特徴ベクトルに分離される。このような空間分解は空間的タイル法を用いて達成される。計算効率は、より全体的なＰＣＡ方法の次元数減少を犠牲にすることなく、これらの時間集合の処理によって達成される。
【０１６２】
外観分散モデルを生成すると、空間強度場の正規化を用いて、空間変換のＰＣＡモデル化を減少することができる。
【０１６３】
＜変形モデル化＞
局所変形は頂点変位としてモデル化されることができ、補間関数が画素の再サンプル化を判別するために用いられる。この判別は、これら画素に関連する頂点に従って行われる。これら頂点変位は、多くの頂点にわたる単一のパラメータセットとしてとらえられると、動きにおける極めて大きい変化を提供する。これらパラメータにおける相関が、これらパラメータ空間の次元を著しく減少させることができる。
【０１６４】
＜ＰＣＡ＞
外観変化モデルを生成する好ましい手段は、ビデオフレームをパターンベクトルと組み合わせて訓練マトリックスとするか、または訓練マトリックスに主成分分析（ＰＣＡ）を組み合わせるかもしくは適用することである。このような展開が打ち切られると、結果として得られるＰＣＡ変換マトリックスは、ビデオの後続のフレームの解析および合成に用いられる。打ち切りレベルに基づいて、画素の元の外観の品質レベルの変更が達成される。
【０１６５】
パターンベクトルの構成および分解の特定の手段は当業者に公知である。
【０１６６】
顕著信号モードの周囲信号からの空間セグメント化およびこのモードにおける空間正規化を前提として、画素自体、すなわち結果として得られる正規化信号の外観は、画素の外観の表現の近似誤差とビットレートとの間の直接トレードオフを可能にする低いランクのパラメータ化を用いて、線形相関性があるコンポーネントに組み込まれる。低いランクの近似を達成する方法の１つは、コード化されたデータのバイトおよび／またはビットの打ち切りである。この技法の特別な適用によって、判別される際に、低いランクの近似は元のデータの圧縮とみなされる。例えば、ビデオ圧縮において、データの打ち切りが知覚の質を極度に低下させない場合（すなわち目で感知されるほど画像の質が低下しない場合）、この特別な適用の目標は、圧縮と共に達成される。
【０１６７】
図２に示すように、正規化されたオブジェクトの画素（２４２および２４４）をベクトル空間に射影でき、データの次元的にコンパクトなバージョンを生成するために、ＰＣＡのような分解処理（２５０）を使用して、線形相関関係をモデル化することができる（２５２および２５４）。
【０１６８】
＜逐次（シーケンシャル）ＰＣＡ＞
ＰＣＡは、ＰＣＡ変換を用いて、パターンをＰＣＡ係数にコード化する。ＰＣＡ変換によって、より優れたパターンが表現されると、パターンをコード化するのに必要な係数がより少なくなる。訓練パターンの取得とコード化されるパターンとの間の時間の経過に伴ってパターンベクトルが劣化することを認識して、変換を更新することにより劣化に対抗する作用を助けることができる。新しい変換の生成に対する代わりとして、既存パターンの逐次更新が、特定の場合において計算的により有効である。
【０１６９】
多くの最先端のビデオ圧縮アルゴリズムは、１つまたは複数の他のフレームから１つのビデオフレームを予測する。予測モデルは一般的に、重ならないタイルへの各予測フレームの分割に基づいている。この重ならないタイルは、別のフレーム内の対応するパッチおよびオフセット動きベクトルによってパラメータ化される関連の並進運動に一致する。随意にフレームインデックスと結合されるこの空間的変位が、タイルの「動き予測」の変形を提供する。予測誤差が特定のしきい値を下回る場合、タイルの画素は残差のコード化に適し、圧縮効率における対応する利得が存在する。そうでなければ、タイルの画素は直接コード化される。この種類のタイルを基礎とする（代わりに、ブロックを基礎とする、と称される）動き予測方法は画素を含むタイルを並進させることによりビデオをモデル化する。ビデオの画像化現象がこの種類のモデル化に準拠する場合、対応するコード化の効率が向上する。このモデル化の制約は、ブロックを基礎とする予測に固有である並進運動に適合させるために、特定レベルの時間解像度すなわち１秒当たりのフレーム数が、動きのある画像化されるオブジェクトに持続すると仮定する。この並進モデルに関する別の必要条件は、特定の時間解像度に対する空間変位が制限されていることである。すなわち、予測が導き出されるフレームと予測されるフレームとの間の時間差が、比較的短い絶対時間量でなければならない。これらの時間解像度および動き制限は、ビデオストリーム内に存在する、ある一定の冗長ビデオ信号コンポーネントの識別およびモデル化を促進する。
【０１７０】
本発明の新規な方法において、ハイブリッド圧縮方法の有用性をさらに強化するために、逐次ＰＣＡが組込みゼロ・ツリー・ウェーブレットに組み合わされる。逐次ＰＣＡ技法は、時間的なコヒーレンシまたは時間的な局所平滑さを有する信号に対して従来のＰＣＡが強化されることができる手段を提供する。組込みゼロ・ツリー・ウェーブレットは、一定の処理の頑健さおよびアルゴリズムの計算効率を向上させるために、局所的に平滑な空間信号が空間スケール表現に分解されることができる手段を提供する。本発明に関しては、これら２つの技法が組み合わされて、不一致モデルの表現力を向上し、さらに、基礎の表現力の多くが基礎の打ち切りによって提供されるように、コンパクトで規則正しいこれらモデルの表現を提供する。
【０１７１】
別の実施形態においては、最初および最もエネルギの高いＰＣＡ要素に重みづけされたバイアスを増加させるために、逐次ＰＣＡが固定入力ブロックサイズおよび固定許容差で適用される。より長いデータシーケンスに対して、この最初のＰＣＡ要素が多くの場合に唯一のＰＣＡ要素となる。これは、復元の視覚的品質に影響を与えて、前述の方法の利用をある意味で制限することができる。本発明は、ＰＣＡ要素の選択に対して、従来用いられた最小２乗ノルムの使用よりも好ましい異なるノルムを用いる。このモデル選択の形式によって、最初のＰＣＡ要素による重複した近似を防止することができる。
【０１７２】
別に実施形態において、データブロックごとに、固定ブロックサイズおよび規定数のＰＣＡ要素をともなうブロックＰＣＡ処理が用いられて、比較的多くの要素を用いてしまうが、有利な均一の再構成（復元）を提供する。さらなる実施形態においては、ブロックＰＣＡが逐次ＰＣＡに組み合わされて用いられる。ここで、ブロックＰＣＡは、ブロックＰＣＡステップを含む設定ステップの後に逐次ＰＣＡを再初期化する。これにより、多数のＰＣＡ要素を減少させて、有利な均一近似を提供する。
【０１７３】
別の実施形態においては、符号化（コード化）および復号化（デコード化）の前後における画像シーケンス再構成の品質が視覚的にほぼ同一であり、用いられる量子化の程度にほとんど依存するという状況を、本発明は利用する。この新規な方法がＰＣＡ要素をデコードして、一群のノルムを有するように、これら要素を再正規化する。緩やかな量子化に対してデコードされたＰＣＡ要素は部分的に直交する。量子化の高いレベルでは、ＳＶＤのアプリケーションによって、デコードされたＰＣＡ要素が部分的に復元されて、直交バイアスおよび修正された再構成係数セットを取得する。
【０１７４】
別の実施形態においては、総合品質に対して改良結果を生成するために、可変で調節可能なブロックサイズがハイブリッド逐次ＰＣＡ方法で適用される。本発明は、ＰＣＡ要素の最大数におけるブロックサイズおよびこれらのブロックに対する所与の誤差許容を基礎とする。そして、本方法は、ＰＣＡ要素の最大数に到達するまで現ブロックサイズを拡張する。さらなる実施形態においては、ＰＣＡ要素のシーケンスは、データストリームとみなされる。このストリームは、次元をさらに減少させる。この方法は後処理ステップを実行し、このステップでは、可変データブロックが最初のＰＣＡ要素に各ブロックから集められて、ＳＶＤがさらに次元を低減させるために適用される。この後、同一の処理が第２要素、第３要素、…の収集に適用される。
【０１７５】
＜対称的な分解＞
本発明の一実施形態においては、対称的な組合せ（symmetric ensemble）に基づいて、分解が実行される。この組合せは、６つの直交要素の合計として、正方形画像が表現される。各要素は、正方形の異なる対称性に相当する。対称性によって、各直交要素は、完全な要素に対称性の作用によってマッピングされる「基本領域」で決まる。基本領域の合計は、入力画像自体が特別な対称性を有しないと仮定すれば、入力画像と同一の数（cardinality）を有する
【０１７６】
＜残差を基礎とする分解＞
ＭＰＥＧビデオ圧縮では、現在のフレームは動きベクトルを使用して前のフレームの動き補償によって形成され、次いで補償ブロックに対して残差の更新を適用し、最終的に十分な一致を有さないいずれかのブロックが新しいブロックとしてコード化される。
【０１７７】
残差のブロックに対応する画素は、動きベクトルによって前のフレーム内の画素にマッピングされる。この結果は、残差の値を連続して適用することによって合成できるビデオを通る画素の時間経路である。これらの画素はＰＣＡを用いて最適に表現される画素として特定される。
【０１７８】
＜遮蔽を基礎とする分解＞
本発明の別の改良は、ブロックに適用される動きベクトルが、画素を移動させることによって前のフレームからのいずれかの画素を遮蔽する（覆う）か否かを決定する。各遮蔽の発生に対して、遮蔽画素を新しい層に分割する。また、履歴なしに出現する画素も存在する。出現した画素は現在のフレーム内のそれら出現画素に適合するいずれかの層に配置され、履歴の適合はその層に対して実施される。
【０１７９】
画素の時間連続性は様々な層への画素の接続および接合によって維持される。安定した層モデルが得られると、各層内の画素はコヒーレント動きモデルとの帰属関係に基づいてグループ化される。
【０１８０】
＜サブバンドの時間量子化＞
本発明の別の実施形態は、離散コサイン変換（ＤＣＴ）または離散ウェブーレット変換（ＤＷＴ）を用いて、各フレームをサブバンド画像に分解する。次に、主成分分析（ＰＣＡ）がこれらの「サブバンド」ビデオのそれぞれに適用される。この概念は、ビデオフレームのサブバンド分解が元のビデオフレームと比較して、サブバンドのいずれか１つにおける空間変化を少なくするというものである。
【０１８１】
動きのあるオブジェクト（人物）のビデオについては、空間変化がＰＣＡによってモデル化される変化を左右する傾向にある。サブバンド分解は、いずれの分解ビデオにおける空間変化も減少させる。
【０１８２】
ＤＣＴについては、いずれのサブバンドに対する分解係数も、サブバンドのビデオに空間的に配置される。例えば、ＤＣ係数は各ブロックから取得され、元のビデオの郵便切手の変形のように見える、サブバンドのビデオに配置される。これは他のサブバンドのすべてに対して繰り返され、結果として得られるサブバンドビデオのそれぞれはＰＣＡを使用して処理される。
【０１８３】
ＤＷＴでは、サブバンドはすでにＤＣＴに対して説明されている方法で配置される。
【０１８４】
限定されない実施形態において、ＰＣＡ係数の打ち切りは変更される。
【０１８５】
＜ウェーブレット＞
データが離散ウェーブレット変換（ＤＷＴ）を用いて分解されると、多重帯域通過データセットが低い空間解像度になる。この変換処理は、単一のスカラー値を得るまで、導き出されたデータに再帰的に適用される。分解された構造におけるスカラー要素は一般に、階層的な親／子方式で関連付けられる。結果として得られるデータは多重解像度の階層的な構造および有限差分を含む。
【０１８６】
ＤＷＴが空間強度場に適用されると、自然発生する画像現象の多くは、低い空間周波数のために、第１または第２の低帯域通過生成データ構造によってほとんど知覚損失なく表現される。高い周波数の空間データが存在しないかノイズと見なされるかのいずれかである場合、階層構造の打ち切りがコンパクトな表現を提供する。
【０１８７】
ＰＣＡを用いることによって少数の係数で正確な復元を達成できるが、変換自体は極めて大きい。この「初期の」変換の大きさを低減するために、ウェーブレット分解の組込みゼロ・ツリー（ＥＺＴ）構成を用いて変換マトリックスのより正確な変形を連続的に形成することができる。
【０１８８】
＜部分空間分類＞
当業者には理解されるとおり、離散的にサンプル化された事象データおよび派生データは、代数的ベクトル空間に対応するデータベクトルのセットとして表現される。これらベクトルは、セグメント化されたオブジェクトの正規化された外観における画素、動きパラメータ、および２または３次元における特徴または頂点の構造的位置（これらに限定されない）を含む。これらベクトルのそれぞれはベクトル空間に存在し、この空間の形状の解析が用いられてもよく、サンプル化されたベクトル、つまりパラメータのベクトルのコンパクトな表現が取得される。有利な形状条件は、コンパクトな部分空間を形成するパラメータベクトルによって類型化されている。１つまたは複数の部分空間が混合されて複雑な部分空間を生成すると、個々の単純な部分空間の識別が難しくなる。元のベクトルの何らかの相互作用（例えば、内積）を通して生成される、より高次元のベクトル空間におけるデータを調べることによって、このような部分空間の分離を可能にするいくつかのセグメント化方法が存在する。
【０１８９】
＜特徴部分空間分類＞
特徴部分空間は、オブジェクトが関連する領域のＤＣＴ分解を用いて形成される。結果として得られる係数マトリックスが特徴ベクトルに変換される。これら特徴ベクトルは、次に、結果として得られるベクトル空間に、空間的にクラスタ化される。クラスタ化によって、参照オブジェクトインスタンスに向けて全体的もしくは局所的に正規化されることができる画像オブジェクトインスタンスのグループが与えられる。これら正規化されたオブジェクトインスタンスは、ＰＣＡについての集合体として用いられる。
【０１９０】
好ましい実施形態では、ＤＣＴマトリックス係数が、マトリックスの上側三角形（upper triangle）および下側三角形（lower triangle）として合計される。これら合計は、２次元ベクトルの要素として考えられる。
【０１９１】
好ましい実施形態では、最も密度の大きいクラスタが特定されて、このクラスタに最も密接に関係するベクトルが選択される。これら画素に対応するオブジェクトインスタンスの画素は、互いに最も類似すると考えられる。次に、選択されたベクトルは部分空間から削除されて、クラスタ化は、関係オブジェクトインスタンスに対応する関係ベクトルの別のセットをもたらす。
【０１９２】
さらなる実施形態では、特定されたクラスタのベクトルに関連する画像オブジェクトインスタンスが、クラスタ重心に向かって全体的に正規化される。結果として得られた正規化が歪みの要件を満足しているならば、オブジェクトインスタンスは重心に近いと考えられる。さらなる実施形態では、ベクトル空間に戻された不合格オブジェクトインスタンスが、さらなるクラスタ化の候補になることを許容する。
【０１９３】
別の実施形態では、クラスタは、他のクラスタ化されたオブジェクトインスタンスの重心に対する帰属関係をテストすることによって、絞り込まれる。結果は、クラスタの帰属関係は変更してもよいというものである。そのため、最も類似するオブジェクトインスタンス画像をもたらすようにクラスタを考慮する絞り込みとなる。
【０１９４】
＜集合体処理＞
本発明の新規な方法は、集合体の選択および処理を利用する。この方法は、プールの主な画像からの画像の変形距離に基づいて、候補訓練プールからの画像の小さいサブセットを選択する。
【０１９５】
好ましい実施形態では、ＤＣＴ内のクラスタ距離が、いずれの候補画像がクラスタの変化を表現するのに用いられるかを判別する手段として用いられる。
【０１９６】
さらなる実施形態は、残りの画像の集合体帰属関係を判別するために、異なるクラスタからの画像を異なるＰＣＡ空間に射影する。主な集合体画像または集合体平均に対する全体および局所の正規化によって、射影が始まる。
【０１９７】
＜オブジェクトのコード化＞
本発明の一実施形態は、オブジェクトインスタンスをコード化する１つまたはそれ以上の候補集合体を特定するために、検出されたオブジェクトのインスタンスに基づいてフーリエ部分空間の分類を実行する。次にさらに、主な集合体画像または集合体平均に対する画像の全体もしくは局所の正規化を通じて、最も近く一致する集合体が特定される。画像の集合体が識別されると、集合体基底ベクトルを用いて、正規化された画像は、次に、セグメント化されて分解される。結果として得られる係数は、このオブジェクトを含むフレームに対応する時間インスタンスでの元のオブジェクトに対応する分解された係数である。これら係数は、外観係数とも称される。
【０１９８】
＜シーケンス低減＞
本発明の新規な方法は、分解された係数の補間を用いて、画像のコード化をさらに低減する手段を有する。外観および／または変形のパラメータのシーケンスが線形な差異を有するか否かを判定するために、時間的ストリームが解析される。線形な差異を有する場合、最初と最後のパラメータのみが送信され、中間パラメータは線形的に補間されることが指示される。
【０１９９】
＜ツリー集合体＞
本発明は、好ましい実施形態を有し、この実施形態では、パターンベクトルの類似性に基づいて、集合体は依存ツリーに編成される。ツリーの「ルート」が、集合体の主なパターンとして確立される。追加の集合体パターンがツリーに加えられて、ツリーの「リーフ」となる。追加のパターンは、いずれのツリーノードがこのパターンに最も類似するかに応じて、配置される。このように集合パターンが編成されるため、依存構造は類似性に基づいて作成される。この構造は、「シーケンス低減」の代替として利用されて、同一方法において、パターンベクトルのシーケンスを補間する代わりに、ツリーのトラバースが時間的順序の代替として用いられる。
【０２００】
＜ハイブリッド空間正規化圧縮＞
本発明は、ビデオストリームを２またはそれ以上の「正規化」ストリームにセグメント化することの追加によって、ブロックを基礎とした動き予測コード化の仕組みの効率を拡張する。次に、従来のコーデック（ＣＯＤＥＣ）の並進動きの仮定を有効にできるように、これらのストリームが別個にコード化される。正規化ストリームをデコードすると、ストリームはこれらの適切な位置に非正規化され、一体に合成されて、元のビデオシーケンスが得られる。
【０２０１】
一実施形態においては、１つまたは複数のオブジェクトがビデオストリームにおいて検出され、その後、個々のオブジェクトのそれぞれに関係する画素が、非オブジェクトの画素を残してセグメント化される。次に、全体の空間動きモデルが、オブジェクトおよび非オブジェクトの画素に対して生成される。全体モデルが使用されて、オブジェクトおよび非オブジェクトの画素を空間的に正規化する。このような正規化は、ビデオストリームから非並進動きを効果的に取り除いており、遮蔽の相互作用が最小限にされている一式のビデオを提供している。これらは両方とも本発明の方法の有利な構成である。
【０２０２】
空間的に正規化された画素を有するオブジェクトおよび非オブジェクトの新しいビデオが、従来のブロックを基礎とした圧縮アルゴリズムへの入力として供給される。ビデオのデコードに関して、全体の動きモデルパラメータが用いられて、これらデコードされるフレームを非正規化し、オブジェクトの画素が非オブジェクトの画素に一体に合成されて、ほぼ元のビデオストリームが生成される。
【０２０３】
図６に示すように、１つまたは複数のオブジェクト（６３０，６５０）に対する先に検出されたオブジェクトインスタンス（２０６，２０８）（図２）が、従来のビデオ圧縮方法（６３２）の別個のインスタンスでそれぞれ処理される。さらに、オブジェクトのセグメント化（２３０）から生じた非オブジェクト（６０２）も、従来のビデオ圧縮（６３２）を用いて圧縮される。これら別個の圧縮コード化（６３２）のそれぞれの結果は、各ビデオストリームについての、従来方法でコード化された別個の画素データストリーム（６３４）である。おそらくは伝送の後である、ある時点で、これら中間コード化された画素データストリーム（６３４）が、正規化された非オブジェクト（６１０）および多数の正規化されたオブジェクト（６３８，６５８）の合成に解凍（６３６）される。画素が空間において相対的に正しく位置するように、これら合成された画素は、これらの各非正規化バージョン（６２２、６４２および６６２）に非正規化（６４０）されることができる。これにより、合成処理（６７０）が、オブジェクトおよび非オブジェクトの画素を組み合わせて完全なフレームの合成（６７２）とすることができる。
【０２０４】
好ましい実施形態においては、コード化モード間の切り替えは、統計的なひずみ距離に基づいて実行される。統計的なひずみ距離としてはＰＳＮＲがあり、これは、ビデオフレームをコード化する従来の対部分空間方法を許容する。
【０２０５】
本発明の別の実施形態においては、コード化される必要がない中間フレームを予測するために、コード化された外観パラメータ、全体変形および局所変形が補間される。補間方法として、線形、三次、スプラインなどの従来の補間方法のいずれでも採用することができる。
【０２０６】
図１４に示すように、オブジェクト補間方法は、外観および変形のパラメータによって表現されるように、一連の正規化オブジェクト（１４０２，１４０４，１４０６）の補間解析（１４０８）を通して達成されることができる。この解析（１４０８）は、補間機能（１４１２）が適用される時間範囲（１４１０）を判別する。この範囲指定（１４１０）は、中間の正規化されたオブジェクト（１４１６，１４１８）を近似させて最終的に合成するために、正規化されたオブジェクト指定（１４１４，１４２０）と組み合わされることができる。その他の実施形態も想定される。
【０２０７】
＜ハイブリッドコーデックの統合＞
［ｂｂｐ：データ構造および伝送］
本発明の記述のとおり、従来のブロックを基礎とした圧縮アルゴリズムと正規化−セグメント化の仕組みとの組み合わせにおいて、いくつかの進歩的な方法がもたらされる。第１に、特別なデータ構造および通信プロトコルが必要とされる。
【０２０８】
主たるデータ構造は、全体の空間変形パラメータおよびオブジェクトセグメント化仕様マスクを含む。主たる通信プロトコルは、全体の空間変形パラメータおよびオブジェクトセグメント化仕様マスクの伝送を含む層である。
【０２０９】
＜段階的な計算環境｛ＭＬＷ：フェーズ４？｝＞
先の記述によれば、オブジェクトを基礎とする、本発明のビデオデータのコード化および処理の特定の実施形態は、以下の通りである。ビデオフレーム２０２，２０４の複数のシーケンスから形成されたビデオストリームは、図２のシステムに入力として供給される。オブジェクト検出器（検出部）２０６，２０８は、２つまたはそれ以上のビデオフレーム２０２，２０８において、少なくとも１つのオブジェクトを検出する。追跡モジュール２２０が、多数のフレーム２０２，２０４における検出オブジェクトを特定して追跡する。
【０２１０】
ビデオストリームは、また、構造モデル生成器（生成部）によって解析される。構造モデル生成器は、ビデオストリームを、帯域幅消費、構造および動きの点において解析する。構造モデルがいくつか生成される。さらなる低減が可能な構造モデルは、動き、変形および明るさのモデル化を含むようにされる。
【０２１１】
ビデオフレーム２０２，２０４の空間領域を、あるモデルまたはその他のモデルに属するとして分類するのに、構造モデルが用いられる。モデル指定は、ビデオストリームの空間セグメント化を事実上意味する。これは、図２において、検出されたオブジェクトに対応する画素データを、２またはそれ以上のビデオフレーム２０２，２０４におけるその他の画素データからセグメント化（空間的および／または時間的にセグメント化）するセグメンタ（セグメント化部）として示されている。オブジェクト画素データ２３２，２３４が得られる。
【０２１２】
相関関係のモデラ（モデル化部）２２４が、第１のビデオフレーム２０２における検出オブジェクトの要素（特徴）を特定し、第２のビデオフレーム２０４における検出オブジェクトの対応する要素２２２を特定する。次に、相関関係のモデラ２２４は、特定した対応要素２２２を解析し、対応する要素間の関係を判定する。この解析は、好ましくは、ビデオフレーム２０２，２０４間の外観に基づく動き検出を採用する。判定された関係は、作用する相関関係モデル２２４を定義する。好ましくは、多次元射影動きモデル（図４に関して上述した全体動きおよび全体位置合わせについてのモデル）の頑健な推定量が、相関関係モデル２２４を生成するのに用いられる。
【０２１３】
さらに、本発明のシステムは、検出オブジェクトの全体動きのモデルを形成するために、対応する要素間の判定された関係を統合する。好ましくは、これは、正規化（再サンプリング）処理２４０の一部として実行される。正規化処理２４０は、全体構造、局所変形、全体動きならびに姿勢および明るさに関して何らかの変化を有するビデオフレーム２０２，２０４の空間領域を取り除く。残りの変化は、検出オブジェクトの「外観」とみなされる。なお、多数の正規化平面が、外観をモデル化するのに用いられる。
【０２１４】
検出オブジェクトの正規化外観は、最適線形技法を用いてモデル化される際に、高い線形特性を呈する。これらの外観モデルは、適応的、逐次的および「一般化された」ＰＣＡ（上述した）を用いて生成される。このようなＰＣＡは、オブジェクト外観の極めてコンパクトなコード化をもたらすものである。好ましくは、この処理は、ウェーブレット計算環境内において実行される。これにより、いかに複雑なオブジェクトモデル（例えば、検出オブジェクトの構造モデル、外観モデル、動きモデル）でも、従来のビデオ圧縮と同様の方法で処理される。
【０２１５】
構造部分（経時のビデオフレーム２０２，２０４の検出オブジェクト）の候補構造を判定するために、動きから構造を推定する既知の技法が用いられて、動き検出と組み合わされる。これにより、検出オブジェクトの空間における位置および方向が決定されて、構造モデルおよび動きモデルが提供される。
【０２１６】
外観モデルは、次に、構造モデルおよび動きモデルによって集合的ではなくモデル化される検出オブジェクトの特性および様相を表現する。一実施形態では、外観モデルは経時的な構造変化の線形分解であり、構造モデルから全体動きおよび局所変形を除去することによって決定される。出願人は、各ビデオフレームにおけるオブジェクト外観を取得し、構造モデルを用いて、「正規化された姿勢」に再射影する。「正規化された姿勢」は、また、１またはそれ以上の「基本的な（cardinal）」姿勢と称される。再射影は、オブジェクトの正規化されたバージョンを表現し、外観における任意の変化を生成する。所与のオブジェクトがビデオフレーム２０２，２０４間で回転していくかまたは空間的に変換されていくにつれて、外観は単一の基本的な姿勢（すなわち、平均の正規化された表現）に位置付けられる。外観モデルは、また、基本的な姿勢の基本的な変形（例えば、目が開く／閉じられる、口が開く／閉じられるなど）を明らかにする。したがって、外観モデルＡＭ（σ）は、基本的な姿勢Ｐｃおよび基本的な姿勢Ｐｃの基本的な変形Δｃによって表現される。
【０２１７】
【数１】
2009540675.tif 000003
【０２１８】
さらに、外観および明るさのモデル化に関して、画像処理における持続的な挑戦の１つは、変化する明暗条件のもとで、オブジェクトを追跡している。画像処理において、コントラストの正規化は、ピクセル輝度（pixel intensity）値の変化を、明暗／明るさにおける変化の属性として、その他の因子（例えば、動きの全体または局所）に対する属性ではなく、モデル化する処理である。好ましい実施形態では、ビデオが捕捉される際の検出オブジェクトの明るさ条件の任意の変化を推定する（例えば、オブジェクトに当たる明るさをモデル化する）。これは、ランベルト反射の線形部分空間（Lambertian Reflectance Linear Subspace (ＬＲＬＳ)）理論からの原理にオプティカルフローを組み合わせて達成される。ＬＲＬＳ理論によれば、オブジェクトが固定されているならば（好ましくは、明るさの変化が許容されるのみならば）、反射画像のセットは最初の９つの球面調和関数の線形な組合せによって近似される。これにより、画像は、周囲「画像」ベクトル空間における９Ｄ線形部分空間に近接する。さらに、画像ピクセル（ｘ，ｙ）の反射輝度Ｉは、次のように近似される。
【０２１９】
【数２】
2009540675.tif 000004
【０２２０】
ＬＲＬＳおよびオプティカルフローを用いて、いかに明暗がオブジェクトと相互作用するかを判定するために、期待値が計算される。これら期待値は、オプティカルフロー場における変化の釈明となるオブジェクト動きを拘束するのに役立つ。明るさモデル化を用いるオブジェクトの外観を記述するのにＬＲＬＳを用いると、さらに、明るさモデルの予測の範囲から外れる任意の外観変化を処理することを外観モデルに許可する必要がある。
【０２２１】
構造モデル、動き（変形）モデル、明るさモデルおよび外観モデルの組合せは、集合的に「オブジェクトモデル」と称される。ビデオフレームのシーケンスをデコードするのに必要なオブジェクトモデルが伝送の「受信者」側で利用できない場合、外観モデル化は、ビデオストリームのウェーブレットコード化を実行するように、処理を戻る。その一方、送信者および受信者は、ビデオストリームのウェーブレットコード化によって示唆されるオブジェクトモデルの有限状態モデルを構築する。これにより、ビデオストリームが進行する際に、ビデオストリームからのオブジェクトモデルの予測、およびオブジェクトに基づく圧縮の便乗した適用が可能となる。
【０２２２】
動き（変形）モデルに関して、動きの推定は、一般に、計算の非効率の原因であるとともに、導き出された計算（derived computation）の偏りである。ある実施形態では、動きの推定は、動き（変形）、構造および明るさのモデルに制約される。これによって、計算の効率性および正確さが向上する。ＬＲＬＳトラッカー（追跡部）が、２Ｄ（メッシュ）動き検出に対する予測として、各ビデオフレーム２０２，２０４についてのオブジェクトの姿勢／位置の変化を判定するために採用される。逆合成（inverse compositional）アルゴリズムが、ＬＲＬＳに適用されて、姿勢推定を通して全ての画素の動きを予測する。
【０２２３】
さらに、出願人は、ウェーブレット処理を、画像のシーケンスの解析から、その他の空間の場／ベクトルのシーケンスに拡張する。ウェーブレット表現によって、局部的な処理は計算効率が向上する。外観モデル化について、ウェーブレット処理は、外観モデル基底ベクトルの符号化を取り扱うように、本発明のエンコーダに拡張される。この処理は、光源カメラ射影軸に対する入射の距離および角度に基づいて、外観モデルにおける画素を偏らせる。次の動き検出は、ビデオフレーム２０２の一部について「構造」を判定するために用いられる。処理は経時にわたってこの構造を追跡し、これにより、姿勢、動きおよび変形の推定量からの示唆によって、全ての画素の動きの予測が可能となる。したがって、さらなる動き検出が初期化される。好ましくは、この構造は上述のＬＲＬＳトラッカーによって追跡される。
【０２２４】
好ましい実施形態では、変形（動き）モデル化および明るさモデル化が、ウェーブレット処理内で実行される。圧縮サンプル化が明るさモデル化に組み合わせられる。明るさモデル化は、密度の低いサンプル化空間を決定して、最適化しきい値に到達するとサンプル化処理を終了するのに、用いられる。現データサンプルが、より忠実度の高い画像を予測するのに用いられる。
【０２２５】
１つのビデオ、別々のビデオファイル、および受信者ノードのネットワークからのシーンにわたるオブジェクトモデルの持続性は、さらに、経験的に導出されたオブジェクトモデルの機能を強化する機会を呈示する。同類のモデルの統合、オブジェクトモデルの再照準化、複雑なトポロジー関係の特定、バージョン化、索引付け、およびモデルの記憶の点において、これらのオブジェクトモデルの管理は、圧縮および計算効率の両方がより向上した豊かな環境を提供する。
【０２２６】
例えば、ＰＣＡがビデオデータに適用されると、分析の経験的な性質によって、データのコード化は極めてコンパクトになる。この経験的な側面によって、データをデコードするのに用いられる「モデル」は極めて大きくなる。これにより、データ記憶は、コード化データから経験モデルに「移る」。これらモデルの逐次的な解決を通して、予測アルゴリズムは、明示的にモデルを伝送することなく、経験モデルを生成できる。
【０２２７】
さらに、ビデオストリームから経験的にオブジェクトモデルを生成するのは、ビデオフレームにおいて発生するオブジェクトの構造、変形、姿勢、動きおよび明るさの高度に正確なモデルを明示的に生成することが目標の場合には、難しいことである。一方、最終目標が元のビデオストリームの合成に制約されている限りは、これら同一の解析技法で暗示的なモデルを生成することによって、高効率のオブジェクトに基づく圧縮アルゴリズムがもたらされる。
【０２２８】
少数のオブジェクト（ほとんどが１つのオブジェクト）がビデオデータに存在し、オブジェクトの明示的なモデルおよび背景が利用可能な場合、オブジェクトに基づく圧縮は最適に機能すると予想される。ウェーブレット計算環境においてオブジェクトの暗示的なモデル化の確率論的定式化を用いることで、本発明は、従来の圧縮に拮抗するコード化レベルにまで「低下」できる。
【０２２９】
最後に、多くのビデオ処理システムは、捕捉したビデオデータを「解明」するために、捕捉するカメラの校正幾何学を活用しようとする。これに対して、ビデオストリーム自体に基づいた仮想カメラの幾何学の暗示的なモデル化は、圧縮アルゴリズムの「解釈的な」機能において、優れた利益をもたらす。本発明の圧縮システムおよび方法は、膨大な量の捕捉データをフィルタリングすることができ、また、「生の」カメラ捕捉機能では達成できない、空間的および時間的な分解能で、データのサンプリングを「予測」できる。
【０２３０】
＜特徴を基礎とする圧縮＞
さらに別の改良した実施形態では、「高密度」のオブジェクトモデルが確率論的定式化に組み合わされる。この組合せによって、忠実度が極めて高いモデルの使用（残差誤差はいずれにしろ伝送され、特定のポイントを越えて忠実度が向上したことに伴い残差の範囲は大幅には変化していない）、ならびに上述の相関関係およびオブジェクトモデル化（たいていは、雑音があり、不必要に大きい処理ビット数を要求する）から得られる推定量の使用（例えば、全体位置合わせおよび動き）の間における妥協点がもたらされる。
【０２３１】
要約すれば、上述のモデル化アルゴリズムから得られるオブジェクトモデルは、高い周波数雑音を取り除くためにフィルタリングされる。このフィルタリングは、データポイントを通して平面を合わせることによって、３次元（例えば、２次元のメッシュ空間平面および全体動き平面）において行われる。これは、オブジェクトモデルにおける不要な変化を低減するクラスタ化手法である。テクスチャがこれらの平面および計算された誤差にマッピングされる。新しいビデオフレームが入ってくると、新しいビデオを表現するには平面のモデルが十分な解像度ではないため、誤差が増加し始めるかもしれない。この段階で、平面の数が適応的に変更される。したがって、オブジェクトモデルは増加的に改良されるが、これは必要な場合に限られる。これによって、暗示的な方法で、ビデオ画像の再構成における伝送ビットレートと歪みのバランスが取られる。
【０２３２】
全体的な手法は、低解像度のオブジェクトモデル(例えば、相関関係および全体動きモデル)を生成して、これを逐次的に絞り込むものである。図１５にこの処理を示す。追跡および形状推定１５０１は、処理対象のビデオデータ（例えば、ビデオフレーム２０２，２０４）を受信する。対象の画像オブジェクトが上述のように特定される。検出されたオブジェクトの特徴点が２または３のフレームにわたって追跡され、粗いオブジェクトモデル（相関関係および全体動き）１５１０が構築される。一実施形態では、この３次元モデル１５１０は、固定されたオブジェクト（rigid object）の３Ｄ（空間および動き）モデル化の
上述の因子分解手法を用いて構築される。
【０２３３】
追跡および形状推定モジュール１５０１は、粗いオブジェクトモデル１５１０を平面近似器（平面近似部）１５０３に出力する。粗いモデル１５１０は通常あまり正確でないため、平面近似器１５０３は多数の平面を用いてオブジェクトモデルを近似する。平面数は、適応ユニット１５０７から得られる。平面近似のために、変形しうるメッシュモデルとして表現されるオブジェクトモデルのクラスタ化が、最初に行われる。３Ｄ平面が、各クラスタ中心を通して引き出される。これによって、対象のオブジェクトモデルの近似が生成される。
【０２３４】
これに応答して、誤差ユニット１５０５が、再射影誤差を計算する。最初に、誤差ユニット１５０５は、テクスチャを平面近似にマッピングする。テクスチャがマッピングされた平面の近似が、画像平面に射影されて、元の画像に対する誤差１５０８が計算される。再射影誤差１５０８に基づいて、オブジェクトモデルを表現するのに必要な平面の数が増加したか否かが判別される。平面数が増加したと判別される場合、適応ユニット１５０７によって、増加ルールが開始される（例えば、Ｎ増加）。
【０２３５】
最終出力は、所望の忠実度での改良されたオブジェクトモデルである。再射影誤差計算１５０５は、特定の用途の要件に基づくアプリケーション指定モジュールで置換されてもよい。例えば、通信アプリケーションでは、効率的にデータを表現するのに必要なビット数に基づく。
【０２３６】
したがって、本発明の改良された実施形態では、以下の点を提供する。
１．  アプリケーションまたはユーザの要求に基づいて、作用するオブジェクトモデルを異なる解像度で得ることができる３Ｄモデル化技法。
２．  ほとんどの方法は、最高のオブジェクトモデルをソースビデオデータから得ようとするが、出願人は、オブジェクトモデルを増加的かつ適応的に絞り込む。これは、正確なオブジェクトモデル化手続きに比べて、計算が集中化されない。
３．  本発明の方法は、画像オブジェクトの従来の知識を必要とせずに、全てのオブジェクト、マクロブロック、または全てのシーンに用いられる。
４．  再射影誤差の計算は、本発明のプロセス（図１５）のその他のステップに影響を与えることなく、アプリケーションに基づいて他の測定に置換されることができる。
５．  アプリケーション指定基準が、オブジェクトモデルの平面数を決定するために取り入られることができる。このアプリケーション指定基準は、停止基準でもある。
６．  処理は、クラスタ化処理を通じて、雑音回復を自動的に組み入れる。
【０２３７】
図１０は、本発明が実現される、コンピュータネットワークまたは同様のディジタル処理環境を示す。
【０２３８】
クライアントコンピュータ／装置５０およびサーバコンピュータ６０が、アプリケーションプログラムなどを実行する、処理装置、記憶装置、および入力／出力装置を設ける。クライアントコンピュータ／装置５０は、通信ネットワーク７０を介して、別のクライアント装置／プロセッサ５０およびサーバコンピュータ６０などのその他のコンピュータ装置にリンクされてもよい。通信ネットワーク７０は、リモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット）、コンピュータのワールドワイドの集合形態、ローカルエリアもしくはワイドエリアのネットワーク、およびプロトコル（ＴＣＰ／ＩＰ、Bluetoothなど）を用いるゲートウェイの一部であってもよい。その他の電子的装置／コンピュータネットワークアーキテクチャも適している。
【０２３９】
図１１は、図１０のコンピュータシステムにおけるコンピュータ（例えば、クライアントプロセッサ／装置５０またやサーバコンピュータ６０）の内部構造の図である。各コンピュータ５０，６０は、システムバス７９を含む。ここで、バスはコンピュータまたは処理システムの要素間のデータ転送に用いられるハードウェアラインのセットである。バス７９は、基本的には、コンピュータシステムの異なる要素を接続する共有の電線である。これら要素は、例えば、プロセッサ、ディスクストレージ、メモリ、入力／出力ポート、ネットワークポートなどである。このバスによって、要素間の情報の転送が可能となる。システムバス７０には、Ｉ／Ｏ装置インタフェース８２が取り付けられており、様々な入力および出力装置をコンピュータ５０，６０に接続する。これら入力および出力装置は、例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなどである。ネットワークインタフェース８６によって、コンピュータは、ネットワーク（例えば、図１０のネットワーク７０）に取り付けられた様々なその他の装置に接続される。メモリ９０は、本発明の実施形態を実装するのに用いられる、コンピュータソフトウェア命令９２およびデータ９４用の揮発性ストレージである。本発明の実施形態は、例えば、線形分解、空間セグメント化、空間／変形可能なメッシュ正規化およびその他のオブジェクトに基づく図２などの上述した図のエンコード化処理である。ディスクストレージ９５は、本発明の実施形態を実装するのに用いられるコンピュータソフトウェア命令９２およびデータ９４用の不揮発性ストレージである。中央処理装置ユニット８４もシステムバス７９に取り付けられており、コンピュータ命令を実行する。
【０２４０】
一実施形態では、プロセッサルーチン９２およびデータ９４は、コンピュータプログラム製品（総称して符号９２）であり、この製品はコンピュータ読み取り可能な媒体（例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープなどの交換可能ストレージ）を含む。コンピュータプログラム製品９２は、この分野で周知のように、適切なソフトウェアインストール手続きによってインストールされる。別の実施形態では、少なくとも一部のソフトウェア命令が、ケーブル通信および／または無線通信でダウンロードされてもよい。その他の実施形態では、本発明のプログラムが、伝播媒体（例えば、ラジオ電波、赤外線、レーザ光線、音波、またはインターネットなどのグローバルネットワークを伝播される電磁波）の伝播信号に埋め込まれるコンピュータプログラム伝播信号製品１０７である。このようなキャリア媒体または信号は、本発明のルーチン／プログラム９２に、ソフトウェア命令の少なくとも一部を提供する。
【０２４１】
別の実施形態では、伝播信号は、アナログキャリア波または伝播媒体で運ばれるディジタル信号である。例えば、伝播信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワークなどのネットワークを伝播されるディジタル信号であってもよい。一実施形態では、伝播信号は、ミリ秒、秒、分またはそれ以上の期間にわたってネットワークをパケットで送信されるソフトウェアアプリケーションの命令のような、所定期間に伝播媒体を転送される信号である。別の実施形態では、コンピュータプログラム製品９２のコンピュータ読み取り可能な媒体は、伝播媒体を受信して、上述のコンピュータプログラム伝播信号製品のような、伝播媒体に埋め込まれた伝播信号を特定することによって、受信および読み取りをコンピュータシステム５０が行う、伝播媒体であってもよい。
【０２４２】
一般的に言えば、用語「キャリア媒体」すなわち遷移キャリアは、前述の遷移信号、伝播信号、伝播媒体、ストレージ媒体などを包含する。
【０２４３】
本発明は、本発明の好ましい実施形態に関連して詳細に示され説明されているが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態および細部に様々な変更が可能であることは理解されるであろう。
【０２４４】
例えば、異なるコンピュータアーキテクチャも適している。前述のコンピュータネットワークおよびシステムの要素は、例示であり、これに限定されるものではない。
【図１】
2009540675.tif 000005
【図２】
2009540675.tif 000006
【図３】
2009540675.tif 000007
【図４】
2009540675.tif 000008
【図５】
2009540675.tif 000009
【図６】
2009540675.tif 000010
【図７】
2009540675.tif 000011
【図８】
2009540675.tif 000012
【図９】
2009540675.tif 000013
【図１０】
2009540675.tif 000014
【図１１】
2009540675.tif 000015
【図１２】
2009540675.tif 000016
【図１３】
2009540675.tif 000017
【図１４】
2009540675.tif 000018
【図１５】
2009540675.tif 000019
【国際調査報告】
2009540675.tif 000020
2009540675.tif 000021