(57)【要約】【課題】コンパクトにデータをコード化し、さらなる処理を実行せずに従来の圧縮よりも有利な圧縮率を十分に達成するビデオデータ圧縮方法を提供する。【解決手段】あるビデオ信号において、不均衡な量の帯域を使用する部分をその他の部分と比較して検出する工程であって、この検出される部分が判別される対象コンポーネントをもたらす、検出工程と、対象コンポーネントの中間形式を生成するように、特定の変動に対して判別される対象コンポーネントを正規化する工程であって、特定の変動による複雑さが低減され、判別された対象コンポーネントが顕著性を維持しているビデオ信号の圧縮形式を可能にしている対象コンポーネントを、中間形式は表現している、正規化工程とを備える。【選択図】図１０
2010526455.tif 000002
【特許請求の範囲】
【請求項１】
あるビデオ信号において、不均衡な量の帯域を使用する部分をその他の部分と比較して検出する工程であって、この検出される部分が判別される対象コンポーネントとなる、検出工程と、
前記対象コンポーネントの中間形式を生成するように、一定の変動に対して、前記判別される対象コンポーネントを正規化する工程であって、前記中間形式が、前記一定の変動による複雑さが低減された前記対象コンポーネントを表現し、前記判別された対象コンポーネントが顕著性を維持しているビデオ信号の圧縮形式を可能にしている、正規化工程とを備えた、ビデオデータ圧縮方法。
【請求項２】
請求項１において、前記ビデオ信号はフレームのシーケンスであり、
前記検出工程が、
(i)１つ以上のフレームに渡る画像勾配を解析する工程であって、画像勾配は一次微分モデルであり、勾配フローは二次微分である、画像勾配解析工程と、
(ii)微分モデルを構成するように、時間的または空間的に画素の有限差分を統合する統合工程と、
(iii)１つ以上のフレームに渡る明るさの場を解析する、明るさ場解析工程と、
(iv)帯域消費を判別するように解析を予測する工程であって、前記判別された帯域消費は前記対象コンポーネントを判別するのに用いられる、予測工程とを有する、ビデオデータ圧縮方法。
【請求項３】
請求項１において、空間特徴および空間特徴の相関関係（動き）の任意の組合せを含む構造情報を、前記判別された対象コンポーネントが有する、ビデオデータ圧縮方法。
【請求項４】
請求項３において、前記空間特徴は、さらに、エッジ、コーナー、ピクセル、空間パターンおよび導出されたパターン（ＳＩＦＴ）のいずれかを含む、ビデオデータ圧縮方法。
【請求項５】
請求項１において、前記正規化工程は、前記判別された対象コンポーネントの構造モデルおよび外観モデルを形成する、ビデオデータ圧縮方法。
【請求項６】
請求項５において、さらに、
少なくとも前記外観モデルに幾何学的データ解析技法を適用する工程であって、前記対象コンポーネントの複雑さの低減が、効率を十分に向上させながら幾何学的データ解析の適用を可能にする工程を備えた、ビデオデータ圧縮方法。
【請求項７】
請求項５において、さらに、
少なくとも前記構造モデルに幾何学的データ解析技法を適用する工程であって、前記対象コンポーネントの複雑さの低減が、効率を十分に向上させながら幾何学的データ解析の適用を可能にする工程を備えた、ビデオデータ圧縮方法。
【請求項８】
請求項１において、前記一定の変動が、全体構造、全体動きおよび姿勢、局所変形ならびに明るさの任意の組合せである、ビデオデータ圧縮方法。
【請求項９】
請求項８において、さらに
前記生成された中間形式に幾何学的データ解析技法を適用する工程であって、前記対象コンポーネントの複雑さの低減が、効率を十分に向上させながら幾何学的データ解析の適用を可能にする工程を備えた、ビデオデータ圧縮方法。
【請求項１０】
請求項９において、前記幾何学的データ解析技法は、線形分解および非線形分解のいずれかを含む、ビデオデータ圧縮方法。
【請求項１１】
請求項１０において、線形分解は、逐次ＰＣＡ、パワー因子分解、一般化されたＰＣＡおよび段階的なＰＣＡのいずれかを用いる、ビデオデータ圧縮方法。
【請求項１２】
請求項１１において、前記段階的なＰＣＡは、ＰＣＡと組み合わされたウェーブレット変換技法を含む、ビデオデータ圧縮方法。
【請求項１３】
対象コンポーネントを判別するために帯域消費を用いる検出器であって、あるビデオ信号において、不均衡な量の帯域を使用する部分をその他の部分と比較して検出し、この検出される部分が判別される対象コンポーネントとなる、検出器と、
前記対象コンポーネントの中間形式を生成するように、一定の変動に対して、前記判別される対象コンポーネントを正規化する正規化器であって、前記中間形式が、前記一定の変動による複雑さが低減された前記対象コンポーネントを表現し、前記判別された対象コンポーネントが顕著性を維持しているビデオ信号の圧縮形式を可能にしている、正規化器とを備えた、ビデオデータ圧縮装置。
【請求項１４】
請求項１３において、前記ビデオ信号はフレームのシーケンスであり、
前記検出器は、さらに、
(i)１つ以上のフレームに渡る画像勾配を解析する工程であって、画像勾配は一次微分モデルであり、勾配フローは二次微分である、画像勾配解析工程と、
(ii)微分モデルを構成するように、時間的または空間的な画素の有限差分を統合する統合工程と、
(iii)１つ以上のフレームに渡る明るさの場を解析する、明るさ場解析工程と、
(iv)帯域消費を判別するように解析を予測する工程であって、前記判別された帯域消費は前記対象コンポーネントを判別するのに用いられる、予測工程とのいずれかを実行する、ビデオデータ圧縮装置。
【請求項１５】
請求項１３において、前記正規化器は、前記判別された対象コンポーネントの構造モデルおよび外観モデルを形成する、ビデオデータ圧縮装置。
【請求項１６】
請求項１５において、さらに、前記外観モデルおよび前記構造モデルの少なくとも１つに幾何学的データ解析を適用するアナライザを備え、
前記対象コンポーネントの複雑さの低減が、効率を十分に向上させながら幾何学的データ解析の適用を可能にする、ビデオデータ圧縮装置。
【請求項１７】
請求項１３において、前記一定の変動が、全体構造、全体動きおよび姿勢、局所変形ならびに明るさの任意の組合せである、ビデオデータ圧縮装置。
【請求項１８】
請求項１３において、さらに、前記生成された中間形式に幾何学的データ解析技法を適用するアナライザを備え、
前記対象コンポーネントの複雑さの低減が、効率を向上させながら幾何学的データ解析の適用を可能にし、
前記幾何学的データ解析技法は、線形分解および非線形分解のいずれかを含み、
線形分解は、逐次ＰＣＡ、パワー因子分解、一般化されたＰＣＡおよび段階的なＰＣＡのいずれかを用いる、ビデオデータ圧縮装置。
【請求項１９】
請求項１８において、前記段階的なＰＣＡは、ＰＣＡと組み合わされたウェーブレット変換技法を含む、ビデオデータ圧縮装置。
【請求項２０】
複数のビデオフレームからビデオ信号データのエンコード化形式を生成する、コンピュータに実装される方法であって、
(a)帯域消費に基づいて、２つ以上の所与のビデオフレームにおける少なくとも１つのオブジェクトを検出する検出工程と、
(b)前記２つ以上のビデオフレームを通して前記少なくとも１つのオブジェクトを追跡する追跡工程と、
(c)前記データの第１中間形式を生成するように、前記２つ以上のビデオフレームにおける前記少なくとも１つのオブジェクトに対応する画素データを他の画素データからセグメント化する工程であって、このセグメント化は前記画素データの空間セグメンテーションを利用し、前記データの前記第１中間形式が、前記２つ以上のビデオフレームにおける前記少なくとも１つのオブジェクトのセグメント化された画素データおよび他の画素データを有する、セグメント化工程と、
(d)前記データの前記第１中間形式を正規化する工程であって、
前記所与の２つ以上のビデオフレームにおける前記少なくとも１つのオブジェクトの対応する要素を識別する識別工程、
前記対応する要素間の関係を生成するように対応する要素を解析する、対応する要素の解析工程、
前記対応する要素間の前記生成された関係を用いて相関関係モデルを生成する相関関係モデル生成工程、
前記対応する要素間の関係を全体動きのモデルに統合する統合工程、および、
前記データの第２中間形式を表現すると共に構造モデルおよび外観モデルを生成するように、前記相関関係モデルおよび全体動きのモデルを用いて、前記２つ以上のビデオフレームにおける前記少なくとも１つのオブジェクトに関連した画素データを再サンプル化する再サンプル化工程によって正規化する、正規化工程と、
(e)前記相関関係モデルを利用して再サンプル化画素データの空間位置を復元する工程であって、これにより、前記少なくとも１つのオブジェクトに対応する復元画素を生成する、復元工程と、
元のビデオフレームを作成するように、前記復元画素を前記データの前記第１中間形式における前記他の画素データと共に再結合する再結合工程とを備え、
前記少なくとも１つのオブジェクトの顕著性を維持しながら効率を向上させる方法で線形分解によってデータ圧縮が可能となるように、前記データの前記第２中間形式は複雑さが十分に低減されており、
前記検出工程および追跡工程は、顔検出アルゴリズムを用い、
相関関係モデル生成工程は、多次元射影動きモデルの解を求めるために、にロバストな推定器を用い、
前記対応する要素の解析工程は、前記ビデオフレームの２つ以上の間の外観を基礎とした動き検出を用いる、ビデオ信号データのエンコード化形式の生成方法。
【請求項２１】
請求項２０において、さらに、前記データの前記第２中間形式をエンコード化する工程であって、
再サンプル化画素データをエンコード化表現に分解する工程であって、前記エンコード化表現が前記データの第３中間形式を表現する、分解工程、
前記エンコード化表現のゼロまたはそれよりも大きいバイトを切り捨てる工程、および、
前記再サンプル化画素データを前記エンコード化表現から再構成する工程を有する、前記データの前記第２中間形式のエンコード化工程を備え、
前記分解工程および前記再構成工程のそれぞれが主成分分析を用いる、ビデオ信号データのエンコード化形式の生成方法。
【請求項２２】
請求項２０において、さらに、前記相関関係モデルを局所変形モデルに組み込む組込み工程を備え、この組込み工程は、
前記少なくとも１つのオブジェクトに対応する画素を覆う２次元メッシュを画定する工程であって、このメッシュは頂点およびエッジの規則的なグリッドに基づいている工程、および、
前記対応する要素間の関係から局所動きのモデルを生成する工程であって、前記関係が２つ以上のビデオフレーム間におけるブロックを基礎とする動き検出から生成された有限差分に基づく頂点変位を含む工程を有する、ビデオ信号データのエンコード化形式の生成方法。
【請求項２３】
請求項２２において、前記頂点は離散画像特徴に相当し、さらに、
前記画像輝度勾配の解析を用いて前記オブジェクトに対応する有意な画像特徴を識別する工程を備えたビデオ信号データのエンコード化形式の生成方法。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、2007年1月23日出願の米国仮特許出願第60/881,966号の優先権を主張する。本出願は、米国仮特許出願第60/811,890号に関連する。本出願は、また、2005年9月20日出願の米国特許出願第11/230,686号の部分継続出願である、2005年11月16日出願の米国特許出願第11/280,625号の部分継続出願である、2006年1月20日出願の米国特許出願第11/336,366号の部分継続出願である、2006年3月31日出願の米国特許出願第11/396,010号の部分係属出願である。上記各出願の全内容は参照により本明細書に引用したものとする。
【技術分野】
【０００２】
本発明は一般にディジタル信号処理の分野、さらに詳細には、信号または画像データ、さらに詳細には、ビデオデータの効果的な表現および処理のためのコンピュータ装置およびコンピュータによって実現される方法に関する。
【背景技術】
【０００３】
本発明が属する従来技術の一般的なシステムの説明が図１に示されている。ここで、ブロック図は典型的な従来技術のビデオ処理システムを示す。このようなシステムは一般に、以下のステージ、すなわち入力ステージ１０２、処理ステージ１０４、出力ステージ１０６、および１つ以上のデータ記憶機構１０８を有する。
【０００４】
入力ステージ１０２は、カメラセンサ、カメラセンサアレイ、距離計測（range finding）センサなどの構成要素、または記憶機構からデータを読み出す手段を有する。入力ステージは、人工および／または自然発生の現象の時間相関のあるシーケンスを表すビデオデータを提供する。データの顕著な要素はノイズまたは他の望ましくない信号によってマスクまたは汚染されている可能性がある。
【０００５】
データのストリーム、アレイまたはパケットの形式のビデオデータが、予め定義された転送プロトコルに従い、入力ステージ１０２から直接に、または中間記憶要素１０８を介して処理ステージ１０４に提供される。処理ステージ１０４は、専用のアナログもしくはディジタルデバイス、または中央処理装置（ＣＰＵ）、ディジタル信号プロセッサ（ＤＳＰ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブル装置の形式をとり、所望の一連のビデオデータ処理操作を実行する。処理ステージ１０４は通常１つまたは複数のＣＯＤＥＣ（符号器／復号器）を有する。
【０００６】
出力ステージ１０６は、信号、表示、またはユーザもしくは外部装置に影響を与えることが可能な他の応答を生成する。一般に、出力装置が、インジケータ信号（表示信号）、表示、ハードコピー、記憶装置において処理される処理データ表現を生成するために、または遠隔地にデータ伝送を開始するために用いられる。さらに、後続の処理操作における使用のために、中間信号または制御パラメータを提供するように用いられてもよい。
【０００７】
記憶装置はこのシステムにおいて随意の要素として提示されている。用いられる場合、記憶要素１０８は、読取専用記憶媒体のような不揮発性、または動的ランダムアクセスメモリ（ＲＡＭ）のような揮発性であってもよい。単一のビデオ処理システムが、入力ステージ、処理ステージおよび出力ステージに対して様々な関係を有する、複数タイプの記憶要素を有することは珍しいことではない。このような記憶要素の例は、入力バッファ、出力バッファおよび処理キャッシュである。
【０００８】
図１のビデオ処理システムの主な目的は、入力データを処理して特定の用途に対して有意義な出力を生成することである。この目的を達成するために、ノイズ低減もしくは除去、特徴抽出、オブジェクトのセグメント化および／もしくは正規化、データのカテゴリー分類、イベントの検出、編集、データの選択、データの再コード化、ならびにトランスコード化などの処理操作が利用されてもよい。
【０００９】
ほとんど制約されていないデータを生成する多くのデータソースは、人々、特に音響および視覚映像にとって重要な問題である。ほとんどの場合、これらのソース信号の基本的特性が、効率的なデータ処理目的に悪影響を与える。技術的仮定を導く際に用いられる単純な経験的および発見的方法から生じる誤りを持ち込むことなく信頼性の高い効率的な方法でデータを処理するには、ソースデータの本質的な多様性が障害となる。入力データが、狭く定義された特性セット（例えば、限定された記号値のセットまたは狭い帯域幅）に自然または故意に制限される場合、この多様性は用途に応じて軽減される。これらの全ての制約は、ほとんどの場合、商業的価値の低い処理技術をもたらす。
【００１０】
信号処理システムの設計は、システムの意図する用途および入力として使用されるソース信号の期待される特性によって影響される。ほとんどの場合、要求される性能効率もまた重要な設計因子である。すなわち、性能効率は、利用可能なデータ記憶と比較した処理データ量、ならびに利用可能な計算能力と比較したアプリケーションの計算の複雑性によって影響される。
【００１１】
従来のビデオ処理方法では、遅いデータ通信速度、大きな記憶容量条件、および妨害となる知覚アーチファクトの形態で現れる、多くの非効率に苦しんでいる。ビデオデータの品質を維持しながら容易かつ効率的に操作する必要がある様々なユーザにとって、これら障害は重大な問題となる可能性がある。特に、何らかの形式の視覚情報に対して人間が生得的感受性を有することに鑑みれば、特に重要である。
【００１２】
「最適な」ビデオ処理システムは、所望の一連の処理操作の実行において、効率的であり、信頼性が高く、ロバストである。このような操作には、データの記憶、伝送、表示、圧縮、編集、暗号化、強調、カテゴリー分類、特徴検出および認識が含まれる。２次的操作は、他の情報源とこのように処理されたデータの統合を含む。このような処理システムの場合において同様に重要なのは、知覚アーチファクトの混入を回避することによって、出力が人間の視覚に対応していなければならない。
【００１３】
ビデオ処理システムの速度、効率および品質が入力データのいずれかの特定の特性の特異性に強く依存しない場合、ビデオ処理は「ロバストである」と説明される。ロバスト性はまた、入力のいくつかにエラーがあるときに操作を実行する能力に関係する。多くのビデオ処理システムは、アプリケーションの汎用的な集合への適用を可能にするだけの十分なロバスト性を有しない。これらシステムは、システムの開発に使用された同一の狭く制約されたデータへの適用のみを提供する。
【００１４】
入力要素のサンプリングレートが検出現象の信号特性に適合しないことによって、顕著な情報が、連続値のデータソースの離散化において失われる可能性がある。また、信号強度がセンサの限界を超える場合も損失が発生し、飽和を生じさせる。同様に、入力データの全範囲の値が一連の離散値によって表現される場合、任意の量子化プロセスが実行されて入力データの精度が低下すると情報が失われ、これによりデータの表現の精度が低下する。
【００１５】
集合体多様性は、データまたは情報ソースの集合におけるあらゆる不確定要素を意味する。視覚情報は一般に制限がないため、視覚情報のデータ表現は極めて大きい集合体多様性を有する。視覚データは、センサアレイ上に入射する光によって形成される、空間アレイシーケンスまたは時空間シーケンスを表現する。
【００１６】
視覚現象のモデル化において、ビデオプロセッサは、一般に、データの表現または読取りに、いくつかの一連の制限および／または構造を課す。この結果、このような方法は、出力の品質、出力に関する信頼性、およびデータに確実に実行される後続の処理タスクの種類に影響を与える、系統的誤りを発生させる可能性がある。
【００１７】
量子化方法は、そのデータの統計的変動を保持することを試みる一方、ビデオフレーム内のデータ精度を低下させる。一般に、ビデオデータは、データ値の分布が確率分布に収集されるように解析される。また、データを空間周波数の混合データとして特徴付けるためにデータを位相空間に射影する方法もあり、これにより、精度の低下が拡散され、好ましい状態になる。これら量子化が集中的に利用されると、しばしば、知覚的に信じがたい色を発生させ、ビデオフレームの元々は滑らかであった領域に急峻な画像データを発生させる。
【００１８】
また、一般に、データの局所的な空間類似性を利用するために、差分コード化が用いられる。フレームの一部分におけるデータが、このフレームにおいて類似データの周辺で塊となっている傾向がある。また、後続のフレームにおいて同様の位置で塊となっている傾向がある。したがって、空間的に近接するデータに関するデータ表現は、量子化と組み合わせることができ、最終結果は、所定の精度に対して、差分表現がデータの絶対値を使用するよりも正確になる。例えば、白黒ビデオまたは低水準のカラービデオなどのように元のビデオデータのスペクトル分解能が制限される場合、この仮定はよく当てはまる。ビデオのスペクトル分解能が高くなると、同様の仮定が成り立たなくなる。これは、ビデオデータの精度を選択的に保護できないことに起因する。
【００１９】
残差のコード化は、表現誤差をさらに差分エンコード化して、元のデータの精度を所望のレベルの正確度に復元する点で、差分エンコード化に類似する。
【発明の概要】
【発明が解決しようとする課題】
【００２０】
これらの方法の多様性は、空間位相および空間スケールにおけるデータの相関関係を明らかにする別の表現にビデオデータを変換することを試みる。ビデオデータがこれらの方法で変換されると、量子化および差分コード化の方法が変換データに適用されて、顕著な画像特徴の保持性の増加をもたらす。これら変換ビデオ圧縮技法のもっとも普及している２つの方法は、離散コサイン変換（ＤＣＴ）および離散ウェーブレット変換（ＤＷＴ）である。ＤＣＴにおける誤差はビデオデータ値の広範な変動として現れ、したがって、これらの誤った相関を局所化するために、ＤＣＴは一般にビデオデータのブロックにおいて使用される。この局所化によるアーチファクトはブロックの境界に沿って現れることが多い。ＤＷＴについては、基底関数と特定のテクスチャの間に不一致が存在すると、より複雑なアーチファクトが発生し、これにより「ぼけ」が引き起こされる。ＤＣＴおよびＤＷＴの悪影響を打ち消すために、表現の精度を上げて、貴重な帯域幅を犠牲にして歪みを低減している。
【課題を解決するための手段】
【００２１】
本発明は、従来の出願に開示された主題を基礎とし、正規化された画素データの近似を判別するためにさらに統計的解析を付加する。この近似は正規化された画素データの「エンコード化された」形式である。統計的解析は、正規化された画素データの線形分解によって達成される。詳細には、特異値分解（ＳＶＤ）として実現されて、この場合一般に主成分分析（ＰＣＡ）と称される。正規化画素データのさらに正確な近似を段階的に記述するのに、これら基底ベクトルが用いられてもよい。そのため、最も有意でない基底ベクトルの１つ以上の切捨てが実行されて、正規化された画素データを求められる品質レベルに表現するのに十分なエンコード化を生成する。
【００２２】
一般的に、ＰＣＡは元のビデオフレームに効率的に適用されない。しかし、フレームがセグメント化されてさらに正規化されると、これらフレームにおける画素の外観の変動は、背景画素または全体動きからの空間変位の干渉を受けない。ビデオフレームデータにおけるこれらの２つの変動形態なしで、ＰＣＡは、これら変動形態がある場合に比べて、基底ベクトルをほとんど用いずに正規化された画素データの外観をより正確に近似できる。この結果、帯域幅に関して、ビデオのオブジェクトの元の外観の極めてコンパクトな表現が得られる。
【００２３】
基底ベクトルの切捨ては、いくつかの方法によって実行される。そして、各切捨ては、ＰＣＡ自体と組み合わされると、精度解析形式であるとみなされる。この切捨ては、単に、基底ベクトルのセットからの全体基底ベクトルの記述された除外である。代わりに、これらバイトのベクトル要素および／または要素バイトおよび／またはビットが、選択的に除外されて（切り捨てられて）もよい。さらに、基底ベクトル自体が別の形式に変換されてもよく、この場合切捨て方法のより多くの選択が許可される。組込みゼロ・ツリーを用いたウェーブレット変換は、このような形式の１つである。
【００２４】
正規化された画素データを生成してさらにエンコード化された画素データにまで低減することで、元のビデオフレームにおける画素データの外観のデータ表現を提供する。この表現は、それ自体に有用であり、または別の処理の入力として有用である。エンコード化されたデータはコンパクトであるため、さらなる処理を実行せずに従来の圧縮よりも有利な圧縮率を十分に提供できる。
【００２５】
エンコード化されたデータは、従来のビデオ圧縮アルゴリズムにおける「変換係数」の代わりに用いられる。従来のビデオ圧縮アルゴリズムでは、離散コサイン変換（ＤＣＴ）を用いて画素データが「変換エンコード化」される。得られた「変換係数」は、量子化およびエントロピーコード化を用いてさらに処理される。エントロピーコード化は、量子化係数の損失が少ない圧縮であり、ジッピング（zipping）と同様と考えられる。本発明は、ＤＣＴよりもさらにコンパクトなコード化ベクトルを生成すると考えられるため、従来のコーデックアルゴリズムにおいて用いられると、高い圧縮率となる。
【００２６】
好ましい実施形態では、対象コンポーネント（すなわち、ビデオ信号の対象部分）が、不均衡な帯域消費および画像勾配の時間関数として判定される。対象コンポーネント（判定されたビデオ信号部分）は、全体構造、全体動きおよび姿勢、局所変形ならびに／または明るさを基準として正規化される。このような正規化は、効率を向上させながら幾何学的データ解析技法を適用することができる方法で、対象コンポーネントの複雑さを低減させる。
【００２７】
詳細には、ビデオ信号はフレームのシーケンスであり、不均衡な帯域消費の検出は、
(i)１つ以上のフレームに渡る画像勾配を解析し、
(ii)微分モデルを構成するように、時間的または空間的に画素の有限差分を統合し、ここで、画像勾配は一次微分であり、勾配フローは二次微分であり、
(iii)１つ以上のフレームに渡る明るさの場を解析し、
(iv)帯域消費を判別するように解析を予測する。判別された帯域消費は対象コンポーネント（すなわち、ビデオ信号の対象部分）を判別するのに用いられる。判別された対象コンポーネントは、空間特徴および空間特徴の相関関係（動き）の任意の組合せを含む。
【００２８】
本発明の一構成によれば、正規化工程は、判別された対象コンポーネントの構造モデルおよび外観モデルを形成する。好ましい実施形態は、幾何学的データ解析技法を少なくとも外観モデルおよび／または構造モデルに適用する。対象コンポーネントの複雑さの低減によって、効率を向上させる方法で幾何学的データ解析の適用が可能となる。幾何学的データ解析技法は、線形分解および非線形分解のいずれかを含む。好ましくは、線形分解は、逐次ＰＣＡ、パワー因子分解、一般化されたＰＣＡおよび段階的なＰＣＡのいずれかを用いる。階的なＰＣＡは、ＰＣＡと組み合わされたウェーブレット変換技法を含む。
【００２９】
上記の内容は、添付図面に示される本発明の例の実施形態のより詳細な説明から明らかになるであろう。図面では、同一参照符号はそれぞれの図全体を通して同一部分を指す。図面は必ずしも縮尺どおりでなく、本発明の実施形態を説明することに重点が置かれている。
【図面の簡単な説明】
【００３０】
【図１】従来技術のビデオ処理システムを示したブロック図である。
【図２Ａ】本発明の原理に従ってビデオデータを処理するシステムのブロック図である。
【図２Ｂ】本発明の実施形態が動作するコンピュータ環境の概略図である。
【図２Ｃ】本発明の実施形態が動作するコンピュータ環境の概略図である。
【図３】本発明の動き検出方法を示すブロック図である。
【図４】本発明の全体の位置合わせ方法を示すブロック図である。
【図５】本発明の正規化方法を示すブロック図である。
【図６】ハイブリッド空間正規化圧縮方法を示すブロック図である。
【図７】局所正規化に用いられる本発明のメッシュ生成方法を示すブロック図である。
【図８】局所正規化に用いられる本発明の正規化方法に基づくメッシュを示すブロック図である。
【図９】本発明の全体正規化および局所正規化の方法の組合せを示すブロック図である。
【図１０】ビデオ圧縮（主に画像処理）システムの好ましい実施形態のブロック図である。
【図１１】本発明の仮想画像センサを示すブロック図である。
【図１２】背景解決方法を示すブロック図である。
【図１３】本発明のオブジェクトセグメント化方法を示すブロック図である。
【図１４】本発明のオブジェクトオブジェクト補間方法を示すブロック図である。
【発明を実施するための形態】
【００３１】
本発明の例示的な実施形態を以下に記述する。
【００３２】
ビデオ信号データでは、通常３次元シーンを２次元画像表面への射影および画像化として描く画像シーケンスに、ビデオフレームが組み立てられる。各フレームすなわち画像は、サンプル信号に対する画像センサ応答を表現する画素（pel）から構成されている。多くの場合、サンプル信号は、２次元センサアレイによってサンプル化される特定の反射、屈折または放射された電磁エネルギ（例えば、電磁エネルギ、音響エネルギなど）に相当する。連続的な時系列サンプリングによって、フレーム当たりの空間２次元と、ビデオシーケンスにおけるフレーム順序に対応する時間次元とを備える、時空間データストリームを得ることができる。
【００３３】
本発明は、図２Ａに示されているとおり、信号データを解析して顕著なコンポーネント（要素）を識別する。信号がビデオデータで構成されている場合、時空間ストリームの解析により、顔のような特定のオブジェクトであることが多い、顕著なコンポーネントを明らかにする。識別処理は、顕著なコンポーネントの存在および重要度を特定して、特定された顕著なコンポーネントのうちの最も重要な１つ以上を選択する。これは、ここで説明されている処理後または処理と同時に行われる、顕著性がより小さい他の顕著なコンポーネントの識別および処理を制限するわけではない。上述の顕著なコンポーネントはその後さらに解析され、変化するサブコンポーネントおよび不変のサブコンポーネントが識別される。不変サブコンポーネントの識別は、コンポーネントの特定の様相のモデル化処理である。これにより、コンポーネントを所望の正確度に合成できるモデルのパラメータ表現明らかになる。
【００３４】
本発明の一実施形態では、前景のオブジェクトが検出され追跡される。オブジェクトの画素はビデオの各フレームから識別されてセグメント化される。ブロックに基づく動き検出（動きベクトル探索）が、複数フレーム中のセグメント化されたオブジェクトに適用される。次に、これらの動き検出が高次の動きモデルに統合される。動きモデルを利用して、オブジェクトのインスタンスを共通の空間構成に包み込む。この構成において、特定のデータに対しては、オブジェクトのより多くの特徴が一つにまとめられる。この正規化によって、複数フレームにわたってオブジェクトの画素値の線形分解が可能になり、コンパクトに表現される。オブジェクトの外観（アピアランス）に関係する顕著な情報が、このコンパクトな表現に包含される。
【００３５】
本発明の好ましい実施形態は、前景のビデオオブジェクトの線形分解を詳述する。オブジェクトは空間的に正規化され、これによりコンパクトな線形外観モデルを生成する。別の好ましい実施形態はさらに、空間的正規化の前に、ビデオフレームの背景から前景のオブジェクトをセグメント化する。
【００３６】
本発明の好ましい実施形態は、少しだけ動いてカメラに向かって話す人物のビデオに本発明を適用する。
【００３７】
本発明の好ましい実施形態は、空間的変換によって、鮮明に表現されるビデオ内の任意のオブジェクトに本発明を適用する。
【００３８】
本発明の好ましい実施形態は、特に、ブロックを基礎とした動き検出を用いて、ビデオの２以上のフレーム間での有限差分を求める。高次の動きモデルが、より効率的な線形分解を提供するために、有限差分から取り除かれる。
【００３９】
＜検出および追跡（Ｃ１）＞
フレームのオブジェクトを検出すること、およびそのあとに続く所定数のフレームを通じてこのオブジェクトを追跡することは、当技術分野では公知である。アルゴリズムおよびプログラムのうち、オブジェクト検出機能を実行するのに使用されるのは、Viola/Jones（P. ViolaとM. Jones）の「ロバストなリアルタイムのオブジェクト検出（Robust Real-time Object Detection）」（モデル化、学習、計算およびサンプル化の統計理論および計算理論ビジョン第２回国際ワークショップ・プロシーディングス（2001年7月にカナダのバンクーバにて））である。同様に、連続するフレームを通じて検出オブジェクトを追跡するのに使用される、多数のアルゴリズムおよびプログラムが存在する。例として、C. Edwards，C. TaylorおよびT. Cootesの「画像シーケンスにおける顔を識別して追跡するための学習（Learning to identify and track faces in animage sequence）」（自動の顔およびジェスチャ認識の国際会議プロシーディングス、1998年、第260〜265頁）がある。
【００４０】
オブジェクト検出の結果は、フレームにおけるオブジェクトの概略的な中心位置およびオブジェクトのスケール（サイズ）に関する表示を特定するデータセットである。追跡処理の結果は、オブジェクトの時間ラベルを表現し、特定の確率レベルに対して、連続するフレームにおける検出オブジェクトが同一オブジェクトであることを保証する。
【００４１】
オブジェクト検出および追跡アルゴリズムは、フレーム内の単一オブジェクトまたは２つ以上のオブジェクトに適用されてもよい。
【００４２】
時系列フレームのグループにおいて検出されたオブジェクトの１つ以上の特徴を追跡することは公知である。例えば、オブジェクトが人物の顔の場合、特徴は目または耳であり得る。一つの技法においては、特徴は、「コーナー」として大まかに記載できる「線」の交点によって表現される。好ましくは、２つの「コーナー」が強く、かつこれらが空間的に分離している場合に、特徴として選択される。特徴は、空間強度勾配解析を通して識別されてもよい。オプティカルフロー推定の階層的な多重解像度を用いて、連続フレームにおける特徴の時間的な並進変位の判別ができる。M. J. BlackとY. Yacoobの「画像動きの局所的なパラメータ化されたモデルを用いた固定されたおよび固定されない顔動きの追跡および認識（Tracking and recognizing rigid and non-rigid facial motions using local parametric models of image motions）」（コンピュータビジョン国際会議プロシーディングス、1995年6月にマサチューセッツ州のボストンにて）が、この特徴追跡技法を用いるアルゴリズムの例である。
【００４３】
信号の構成要素の顕著なコンポーネントが決定されると、これらのコンポーネントは保持され、他のすべての信号コンポーネントは減少または除去される。顕著なコンポーネントの検出処理が図２Ａに示されている。ビデオフレーム２０２が１つまたは複数のオブジェクト検出２０６，２０８処理によって処理され、１つ以上のオブジェクトが識別され、続いて追跡される。保持されたコンポーネント（識別されたオブジェクト）はビデオデータの１つの中間的な形式を表現する。この中間データは、次に、通常は既存のビデオ処理方法には利用されない方法を用いて、エンコード化される。中間データが複数の形式で存在するので、これらの中間的形式のいくつかをエンコード化するのに、標準のビデオエンコード化技術が用いられる。それぞれの例について、本発明は、最も効率的なエンコード化技法を決定して採用する。
【００４４】
好ましい実施形態においては、顕著性の解析処理が、顕著な信号モードを検出して分類する。この処理の一実施形態は、強度がビデオフレーム内のオブジェクトの検出された顕著性に関係している応答信号を生成するように特に設計された空間フィルタの組み合わせを用いる。識別器（識別部）が、ビデオフレームの異なる空間スケールで、異なる位置に、適用される。識別器からの応答強度が、顕著な信号モードの存在の可能性を示す。顕著性が強いオブジェクトが集中している場合、処理はそれを強い応答と識別する。顕著な信号モードの検出が、ビデオシーケンス内の顕著な情報に関する後続の処理および分析を可能にすることによって、本発明を特徴付ける。
【００４５】
＜特徴点の追跡（Ｃ７）＞
１つまたは複数のビデオフレーム内の顕著な信号モードの検出位置が与えられると、本発明は、顕著な信号モードの不変の特徴を分析する。さらに、本発明は、不変の特徴について、残差信号、すなわち「顕著性の小さい」信号モードを解析する。不変の特徴の識別が、冗長な情報の低減および信号モードのセグメント化（すなわち分離）の基礎となる。
【００４６】
本発明の一実施形態では、１つまたは複数のフレーム内の空間位置が、空間強度場勾配解析を通して決定される。これらの特徴は、「コーナー」として大まかに記載できる「線」の交点に対応する。このような実施形態はさらに、両方とも強いコーナーで相互に空間的に分離したコーナー（ここでは特徴点と称する）の組を選択する。さらに、オプティカルフロー推定の階層的な多重解像度を用いて、特徴点の時間的な並進変位を求めることができる。
【００４７】
図２Ａにおいて、オブジェクト追跡２２０処理が、オブジェクト検出処理２０８からの検出インスタンスを集め、さらに複数のビデオフレーム２０２，２０４にわたって検出された１つまたは複数のオブジェクトの特徴点の相関関係を識別する２２２。
【００４８】
特徴追跡の限定されない実施形態を利用することによって、ブロックを基礎とした動き検出などのより一般的な勾配解析を限定するために、特徴点を用いることができる。
【００４９】
別の実施形態は、特徴点追跡を基礎とする動き検出の予測を前もって処理する。
【００５０】
＜オブジェクトを基礎とする検出および追跡（Ｃ１）＞
本発明の限定されない一実施形態では、ロバストなオブジェクト識別器を用いてビデオフレーム内の顔を追跡する。このような識別器は顔に向けられた方位エッジに対するカスケード応答を基礎とする。この識別器では、エッジは一連の基本的なＨａａｒ特徴として定義され、これら特徴の回転は４５°ごとである。カスケード識別器はＡｄａＢｏｏｓｔアルゴリズムの変形形態である。さらに、応答計算は、エリア総和テーブルを使用して最適化される。
【００５１】
＜局所的位置合わせ＞
位置合わせは、２つ以上のビデオフレーム内で識別されたオブジェクトの要素間の相関関係の指定を伴う。これらの相関関係は、ビデオデータ内の時間的に別個の点におけるビデオデータ間の空間関係のモデル化の基礎となる。
【００５２】
特定の実施形態を説明し、これら実施形態に関連する、公知のアルゴリズムおよびこれらのアルゴリズムの発明派生物に関して、実行作業の低減を説明するために、本発明では、位置合わせの様々な限定されない手段が記述される。
【００５３】
時空シーケンス内の明白なオプティカルフローのモデル化の１つの手段は、２以上のビデオデータのフレームから有限の場の生成を通して達成される。相関関係が空間および強度感知の両方において特定の一定の制約条件に適合する場合、オプティカルフロー場をわずかに予測できる。図３に示すように、フレーム（３０２または３０４）が、おそらくはデジメーション（間引き）処理（３０６）（サンプリングレートを低減）または他の何らかのサブサンプル化処理（例えば、低域通過フィルタ）によって空間的にサブサンプル化される。これらの空間的に低減された画像（３１０，３１２）は、同様にさらにサブサンプル化されることができる。
【００５４】
他の動き検出技法も適している。これらには、例えば、ブロックを基礎とする種々の動き検出、米国特許出願第11/396,010号に記載されたメッシュを基礎とする動き検出および位相を基礎とする動き検出が含まれる。
【００５５】
＜全体位置合わせ＞
好ましい実施形態では、本発明は、２以上のビデオフレームの検出オブジェクトの対応する要素間の関係を用いることによって、相関関係モデル（図２Ａの２２４）を生成する。有限差分予測値の場から１つ以上の線形モデルを取り除くことによって、これら対応する要素間の関係が解析される。用語「場」は、空間位置を有する各有限差分を指す。これら有限差分は、＜検出および追跡＞の章で述べた、別々のビデオフレームにおける対応のオブジェクト特徴の並進変位であってもよい。サンプリングが発生する場は、ここでは、有限差分の母集団のことを指す。ここで記載される方法は、ＲＡＮＳＡＣアルゴリズムの予測値と同様にロバストな予測値を用いる。ＲＡＮＳＡＣアルゴリズムは、M. A. FischlerとR. C. Bollesの「ランダム・サンプル・コンセンサス：画像解析および自動化された地図作成に応用するモデルの当てはめについてのパラダイム（Random Sample Consensus: A paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography）」（ＡＣＭの通信部会、Vol24，第381〜395頁，1981年）に記載されている。
【００５６】
図４に示すように、全体の動きモデル化の場合においては、有限差分は母集団プール（４０４）に集められる並進動き検出（４０２）である。この母集団プールは、これら動き検出のランダムサンプリング（４１０）によって反復的に処理される。そして、線形モデルがこれらサンプルからの取り除かれる（４２０）。次いで、この結果（４３０）を用いて、ランダム処理を通じて見出されたとおり、モデルに対する異常値を除外して、線形モデルをよりよく明確化するために母集団（４０４）を調節する。
【００５７】
本発明は、１以上のロバストな推定量を利用することができる。ロバストな推定量の１つが、ＲＡＮＳＡＣのロバストな推定処理であってもよい。ロバストな推定量は、先行技術に十分に記載されている。
【００５８】
線形モデル予測アルゴリズムの一実施形態では、動きモデルの推定量は線形の最小２乗解に基づいている。この依存性により、推定量は異常値データによって狂わされてしまう。ＲＡＮＳＡＣに基づいて、ここで開示されている方法は、データの部分集合の反復的な予測によって異常値の影響に対抗し、データの重要な部分集合を記述する動きモデルを探求する、ロバストな方法である。各探求によって生成されるモデルは、モデルを表すデータのパーセンテージについて試験される。十分な数の反復が行われている場合、モデルはデータの最大の部分集合に適合すると見なされる。このようなロバストな線形最小２乗回帰をいかに実行するかについては、R. DutterとP. J. Huberの「非線形ロバスト回帰問題に対する数値法（Numerical methods for the nonlinear robust regression problem）」（統計および計算機によるシミュレーションのジャーナル、13:第79〜113頁，1981年）に記載されている。
【００５９】
図４において考察され示されているとおり、本発明は有限差分の初期サンプリング（サンプル）および線形モデルの最小２乗予測を含む代替アルゴリズムの形態で、ＲＡＮＳＡＣアルゴリズムを超える革新的方法を開示する。総合誤差が、解明された線形モデルを用いて母集団内の全サンプルに対して査定される。サンプルの残差が事前設定のしきい値に一致するサンプル数に基づいて、線形モデルにランク（順位）が割り当てられ、このランクは「候補コンセンサス」とみなされる。
【００６０】
最終基準が満たされるまで、初期サンプリング、解明およびランク付けが反復的に実行される。基準が満たされると、最大ランクの線形モデルが母集団の最終コンセンサスとみなされる。
【００６１】
随意の絞込み工程では、候補モデルに最適適合する順に、サンプルの部分集合を反復的に解析し、１つ以上のサンプルの追加が部分集合全体に対する残差誤差のしきい値を超えるまで部分集合サイズを増加する。
【００６２】
図４に示すように、全体のモデル予測処理（４５０）が、コンセンサスランク許容テスト（４５２）が満足されるまで繰り返される。ランクが達成されていない場合、線形モデルを明らかにするように努めて、有限差分の母集団（４０４）が、発見されたモデルに対して選別される（４５４）。最適（最高ランク）の動きモデルが、処理４６０において解セットに加えられる。次いで、処理４７０においてモデルが再予測される。完了すると、母集団（４０４）が、再選別される。
【００６３】
本発明の開示された限定されない実施形態はさらに、有限差分ベクトルの場として上述したベクトル空間のサンプリングの一般方法として一般化され、これにより、特定の線形モデルに対応する別のパラメータベクトル空間における部分空間の多様体を求めることができる。
【００６４】
全体位置合わせ処理の別の結果は、この処理と局所的位置合わせ処理との間の差が局所的位置合わせの残差を生じる。この残差は局所モデルへの近似における全体モデルの誤差である。
【００６５】
＜正規化（Ｃ１）＞
正規化は、標準または共通の空間構成のために空間強度場を再サンプリングすることを意味する。これら相対的な空間構成がこのような構成の間の可逆空間変換である場合、画素の再サンプリングおよびこれに伴う補間もまた位相限界まで可逆性を有する。本発明の正規化方法は図５に示される。
【００６６】
３つ以上の空間強度場が正規化されるとき、中間の正規化の計算を保存することによって、計算効率が向上する。
【００６７】
位置合わせの目的、すなわち正規化のために画像を再サンプリングするのに使用される空間変換モデルは、全体モデルおよび局所モデルを含む。全体モデルは、並進から射影への増加する整列（increasing order）である。局所モデルは、基本的にはブロックによって、またはより複雑には区分（piece-wise）線形メッシュによって決定される、隣接画素の補間を意味する有限差分である。元の強度場の正規化強度場への補間によって、強度場の部分集合に基づいたＰＣＡ外観モデルの線形性が向上する。
【００６８】
図２Ａに示すように、オブジェクトの画素およびサブ画素２３２，２３４が再サンプリングされて（２４０）、オブジェクト画素の正規化されたバージョン２４２，２４４をもたらす。
【００６９】
＜メッシュを基礎とする正規化＞
本発明のさらに好ましい実施形態は、特徴点を三角形状メッシュにテセレーション(tesselate(モザイク模様にする)し、メッシュの頂点が追跡され、各三角形の頂点の相対位置が、これら３つの頂点に一致する平面に対する３次元の表面法線の予測に使用される。表面法線がカメラの射影軸に一致する場合、画像化された画素が、三角形に対応するオブジェクトのひずみが最も少ないレンダリングをもたらすことができる。表面法線に直交する傾向の正規化画像を生成することで、後続の外観を基礎とするＰＣＡモデルの線形性を向上させる中間データタイプを保存する画素を生成することができる。
【００７０】
別の実施形態は、全体の動きモデルを陰的にモデル化するために、従来からのブロックを基礎とした動き検出を使用する。限定されない一実施形態では、この方法が、従来のブロックを基礎とする動き検出／予測によって記述される動きベクトルから全体のアフィン動きモデルを取り除く。
【００７１】
本発明の新規な方法は、１以上の全体動き検出技法を利用する。この技法は、アフィン射影方程式の１セットに対する線形解法を含む。他の射影モデルおよび解決方法は、従来技術に記載されている。図９は、全体正規化及び局所正規化を組み合わせる方法を示す。
【００７２】
＜局所正規化＞
本発明は、時空間ストリームにおける画素が「局所的な」方式で位置合わせされる方法を提供する。
【００７３】
このような局所化された方法は、幾何学的なメッシュの空間適用を採用する。この方法は、これにより、画像化された事象の局所変形と関連付けて明らかな画像明るさの恒常性の曖昧さを解決する際に、画像化された事象（特に、画像化されたオブジェクト）における局所化されたコヒーレンシが組み入れられるように画素を解析する方法を提供する。
【００７４】
このようなメッシュは、画像平面における表面変形の区分線形モデルを提供するために、局所正規化の手段として採用される。画像化された事象は、多くの場合、ビデオストリームの時間解像度がビデオの動きに比べて高い場合、区分線形モデルに相当する。モデル仮定（model assumption）の例外が、様々な技法で取り扱われる。これら技法としては、トポロジカルな制約、隣接頂点条件、ならびに画素の均質性および画像勾配領域の解析である。
【００７５】
一実施形態においては、頂点が特徴点に相当する三角形要素から構成される輪郭メッシュを生成するために、特徴点が用いられる。他のフレームにおける相当する特徴点は、三角形の補間「ワーピング」と、これにより画素の補間「ワーピング」とを示す。そして、局所変形モデルを生成する。図７は、このようなオブジェクトメッシュの生成を示す。図８は、このようなオブジェクトメッシュを用いて局所的にフレームを正規化することを示す。
【００７６】
好ましい実施形態においては、三角形マップが生成され、これにより、マップの各画素の元となる三角形を特定する。さらに、各三角形に対応するアフィン変換が、最適化ステップとして予め計算される。さらに、局所変形モデルを作成すると、元の画素の座標を決定してサンプル化するために、固定画像（前回の画像）が空間座標を用いてトラバースされる。
【００７７】
別の実施形態においては、全体変形の後に局所変形が実行される。上述の先に開示された明細書においては、２以上のビデオフレームにおいて画素の空間的な正規化に全体位置合わせ方法が用いられる処理として、全体正規化が記載されていた。全体正規化されたビデオフレームの結果は、さらに局所正規化される。これら２つの方法の組合せによって、局所正規化が解決を導く全体の絞込みとなる。これにより、局所的な方法の解決されなければならない曖昧さを大幅に削減できる。
【００７８】
別の限定されない実施形態においては、特徴点、すなわち「規則的メッシュ」の場合には頂点が、これら特徴点の近傍における画像勾配の解析を通して限定される。この画像勾配は、直接、またはＨａｒｒｉｓ応答のような間接的な計算を通して計算される。さらに、これらポイント（点）は、空間制約および画像勾配の低下に関連する動き予測エラーによってフィルタリングされる。限定されたポイントが、多くのテセレーション技法の１つによってメッシュの基礎として用いられ、要素が三角形であるメッシュをもたらす。三角形ごとに、ポイントおよびその残差動きベクトルに基づいてアフィンモデルが生成される。
【００７９】
本発明の新規な方法は、１以上の画像強度勾配解析方法を利用する。この画像強度勾配解析方法は、Ｈａｒｒｉｓ応答を含む。他の画像強度勾配解析方法は、先行技術に記載されている。
【００８０】
好ましい実施形態においては、三角形アフィンパラメータのリストが維持される。このリストは繰り返され、すなわち変更が逐次追加されて、現在／前回のポイントリストが構築される（頂点探索マップを用いて）。現在／前回のポイントリストは変換を予測するのに用いられるルーチンに渡される。この変換は、その三角形についてのアフィンパラメータを計算する。アフィンパラメータ、すなわちモデルは、三角形アフィンパラメータリストに保存される。
【００８１】
さらなる実施形態においては、本方法が三角形識別子画像マップをトラバースする。ここで、マップの各画素は、画素が要素であるメッシュにおける三角形についての識別子を含む。三角形に属する各画素に対して、その画素ついての相当する全体変形座標および局所変形座標が計算される。次に、相当する画素をサンプル化してその値を相当する「正規化」位置に適用するために、これら座標が用いられる。
【００８２】
さらなる実施形態においては、画像勾配の検索に起因する密度および画像強度対応強さに基づいて、空間制約がポイントに適用される。動き検出が画像強度の残差のノルムに基づいて行われた後に、ポイントが分類される。次に、ポイントは空間制約に基づいてフィルタリングされる。
【００８３】
さらなる実施形態においては、スペクトル空間セグメント化が採用されて、小さい均質空間領域が、強度および／または色と類似する空間アフィニティ（関連性）に基づいて、近傍の領域と合併される（マージされる）。均質テクスチャ（画像勾配）の領域との重ね合わせに基づいて、スペクトル領域を共に組み合わせるために、均質マージングが用いられる。さらなる実施形態は、次に中心周辺（center-surround）ポイントを用いる。これらポイントは、メッシュの頂点をサポートするための限定された対象ポイントのように、小さい領域が大きい領域に囲まれているかのようである。さらに限定されない実施形態においては、中心周辺ポイントは、３×３，５×５または７×７画素内に境界ボックスが存在する領域として画定される。また、この境界ボックスについての空間画像はコーナー形状である。この領域の中心はコーナーとして分類され、さらに、この位置を有利な頂点位置としてみなす。
【００８４】
さらなる実施形態においては、水平方向および垂直方向の画素有限差分画像が、各メッシュエッジの強さを分類するために用いられる。空間位置と一致する有限差分をエッジが多数有する場合、このエッジは画像化現象の局所変形に極めて重要であるとみなされる。エッジの有限差分の合計の平均間に大きい微分差分を有する場合、領域エッジが量子化ステップではなくテクスチャ変更エッジに相当する可能性が高い。
【００８５】
さらなる実施形態においては、空間密度モデル終了条件が、メッシュ頂点の処理を最適化するために採用される。検出矩形が発生する空間エリアのほとんどを包含する十分な数のポイントが検査されると、処理は終了する。終了はスコアを生成する。この処理に入る頂点および特徴点は、このスコアによって分類される。存在しているポイントにポイントが空間的に極めて近い場合、またはポイントが画像勾配におけるエッジに一致しない場合、このポイントは廃棄される。これらに該当しない場合、ポイントの近傍における画像勾配は下降し、勾配の残差が限界を超えると、このポイントも廃棄される。
【００８６】
好ましい実施形態においては、局所変形モデル化が反復的に実行される。反復が減少することによって頂点が変位する際に解に収束する。
【００８７】
別の実施形態においては、局所変形モデル化が実行され、全体変形が既に同一の正規化の利点をもたらしている場合、モデルパラメータが廃棄される。
【００８８】
他の正規化技法も、単独または組合せ（例えば、米国特許出願第11/396,010号に記載されている）で適している。
【００８９】
詳述するセグメント化処理によって識別される空間不連続性は、不連続のそれぞれの境界の幾何パラメータ化によって効率的にエンコード化され、これらを空間不連続モデルと称する。これらの空間不連続モデルは段階的方法でエンコード化され、エンコード化の部分集合に対応するより簡潔な境界記述を可能にする。段階的なエンコード化は、空間不連続の顕著な様相の大部分を保持しながら、空間形状の優先順位付けのロバストな方法を提供する。
【００９０】
本発明の好ましい実施形態は、多重解像度のセグメント化解析と空間強度場の勾配解析とを組み合わせて、ロバストなセグメント化を達成するためにさらに時間安定性の制約を用いる。
【００９１】
図２Ａにおいて、オブジェクトの特徴の相関関係が経時的に追跡（２２０）されてモデル化（２２４）されると、この動き／変形モデルへの適合を、オブジェクトに対応する画素をセグメント化（２３０）するために使用することができる。この処理を、ビデオ（２０２，２０４）において検出された多数のオブジェクト（２０６および２０８）について繰り返すことができる。この処理の結果は、セグメント化されたオブジェクト画素（２３２）である。
【００９２】
本発明により利用される不変の特徴の解析の一形態は、空間不連続の識別に焦点が当てられる。これらの不連続は、エッジ、影、遮蔽、線、コーナー、または、１つもしくは複数のビデオの画像フレーム内の画素間の急激で識別可能な分離を発生させる、その他の可視特徴物として現れる。さらに、ビデオフレーム内のオブジェクトの画素が、互いに異なる動きではなく、オブジェクト自体に対してコヒーレントな動きを受ける場合にのみ、類似の色および／またはテクスチャのオブジェクト間の微細な空間不連続が現れる。本発明は、空間、テクスチャ（強度勾配）および動きのセグメント化の組み合わせを利用して、顕著な信号モードに関連する空間不連続をロバストに識別する。
【００９３】
＜時間セグメント化＞
並進動きベクトルの時間積分、すなわち高次動きモデルへの、空間強度場における有限差分の測定は、従来技術で説明されている動きセグメント化の形式である。
【００９４】
本発明の一実施形態では、動きベクトルの高密度場を生成して、ビデオ内のオブジェクト動きの有限差分を表現する。これらの導関数は、タイルの規則的分割によって、または空間セグメント化などの特定の初期化手順によって、空間的に一体にグループ化される。各グループの「導関数」は、線形の最小２乗推定量を使用して高次の動きモデルに統合される。次に、得られた動きモデルが、ｋ平均クラスタ化技法を用いて動きモデル空間内のベクトルとしてクラスタ化される。導関数は、いずれのクラスタがそれら導関数に最も適合するかに基づいて分類される。次に、クラスタラベルが、空間分割の発現として空間的にクラスタ化される。この処理は空間分割が安定するまで続けられる。
【００９５】
本発明の別の実施形態では、所定の開口の動きベクトルが開口に対応する一連の画素位置に対して補間される。この補間によって定義されたブロックが、オブジェクト境界に対応する画素間を橋渡しする場合、得られる分類はブロックの特定の特異な対角領域分割（anomalous diagonal partitioning）である。
【００９６】
従来技術では、導関数を統合するのに使用される最小２乗推定量は異常値に極めて敏感である。この敏感さによって、反復が広範囲に発散する点に動きモデルのクラスタ化方法を大きく偏らせる動きモデルが、生成される。
【００９７】
本発明においては、動きセグメント化の方法は、２以上のビデオフレーム全体にわたる明らかな(目に見える)画素動きの解析によって空間不連続を識別する。この明らかな動きは、ビデオフレーム全体にわたる一貫性に関して解析され、パラメータの動きモデルに組み込まれる。このような一貫した動きに関連する空間不連続が識別される。時間変化は動きによって発生するため、動きセグメント化はまた、時間セグメント化と称することができる。しかし、時間変化はまた、局所変形、明るさの変化などといった、いくつかの他の現象によって引き起こされる可能性もある。
【００９８】
ここで説明された方法によって、正規化方法に対応する顕著な信号モードは、複数の背景差分法のうちの１つによって、周囲信号モード（背景または非オブジェクト）から識別され、かつ分離される。これらの方法は、各時刻において最小量の変化しか示さない画素として背景を統計的にモデル化する。変化は画素値の差として特徴付けられる。
【００９９】
オブジェクトの周を作成して、周の頂点が不均質画像勾配と一致する位置になるまで、オブジェクトの検出した中心に向かって周を移動させていくことで、セグメント化の周に基づく全体変形モデル化が達成される。動き検出は、これら新しい頂点位置に集められ、全体変形モデルを見つけるためにロバストなアフィン予測が用いられる。
【０１００】
セグメント化されたメッシュの頂点画像勾配（特に、下降に基づく有限差分）が、全体変形モデルに統合される。
【０１０１】
＜オブジェクトセグメント化＞
図１３のブロック図は、オブジェクトセグメント化の一好ましい実施形態を示す。処理は、正規化された画像の集合体（１３０２）で開始し、次に、集合体間のペアワイズ差分（１３０４）が求められる。これら差分は、次に、蓄積バッファに要素ワイズで蓄積される（１３０６）。より重大な誤差領域を識別するために、この蓄積バッファはしきい値が定められる（１３１０）。次に、蓄積された誤差領域（１３１０）の空間支持を判別するために、このしきい値を超えた要素マスクが構造的に解析される（１３１２）。オブジェクトと一致する蓄積された誤差領域に後続の処理を集中させるために、構造的解析（１３１２）の抽出結果（１３１４）が検出されたオブジェクト位置と比較される（１３２０）。孤立した空間領域（１３２０）の境界が、次に、多角形に近似され（１３２２）、この多角形の凸包が生成される（１３２４）。動的な輪郭解析（１３３２）についての頂点位置をより初期化するために、包の輪郭が次に調整される（１３３０）。動的輪郭解析（１３３２）が、蓄積された誤差空間において低エネルギ解に集中すると、輪郭は最終輪郭（１３３４）として用いられ、輪郭に拘束された画素はほとんどがオブジェクト画素であると考えられる。最終輪郭（１３３４）の外側のこれら画素は、非オブジェクト画素であると考えられる。
【０１０２】
一実施形態では、動きセグメント化が、顕著な画像モードの検出された位置およびスケールを与えることによって達成される。距離変換を用いて、検出された位置からの各画素の距離を求めることができる。最大距離に対応する画素値が保持されている場合、背景の妥当なモデルを解明できる。言い換えれば、周囲信号は、信号差の測定を利用して時間的に再サンプル化される。
【０１０３】
さらなる実施形態は、各画素に距離を割り当てるために、現在の検出位置に対する距離変換を利用する。ある画素に対する距離が最大距離テーブルにおける距離よりも大きい場合、この画素値が記録される。適切な訓練期間の後に、この画素についての最大距離が大きければ、この画素は背景画素である可能性が高いと見なされる。
【０１０４】
周囲信号のモデルを前提として、各時刻における完全な顕著信号モードの差を計算できる。これらの差のそれぞれを再サンプル化して、空間的な正規化信号差（絶対差）を得ることができる。次に、これらの差は相互に整列されて蓄積される。これらの差は顕著信号モードに対して空間的に正規化されているため、差のピークが、顕著信号モードの画素の位置にほぼ対応する。
【０１０５】
本発明の一実施形態においては、訓練期間が定義され、ここではオブジェクト検出位置が判別され、これらオブジェクト検出位置の重心が用いられる。このように重心が用いられるのは、非オブジェクト画素である可能性が高い背景画素をもたらすためにフレーム差分を認める位置からは程遠い検出位置で最適なフレーム数を判別するためである。
【０１０６】
本発明の一実施形態においては、動的な輪郭モデル化が用いられて、蓄積された誤差「画像」における輪郭頂点位置を判別することによって、非オブジェクト背景から前景オブジェクトをセグメント化する。好ましい実施形態においては、動的な輪郭エッジが、より大きい自由度をもたらすために、検出されたオブジェクトの寸法に相当する大きさに細分化される。好ましい実施形態においては、規則的間隔の輪郭をもたらすために、最終輪郭位置が最短距離の規則的メッシュ頂点に合わせられる。
【０１０７】
オブジェクトセグメント化の限定されない一実施形態においては、時間的ペアワイズ画像に対する誤差画像フィルタ応答を生成するために、配列カーネル（oriented kernel）が利用される。背景の隠蔽および隔離によって背景に対する動きが生じたときに、全体的動き検出に配列直交するフィルタに対する応答は、誤差表面を強化する傾向にある。
【０１０８】
正規化された画像の集合体の正規化された画像フレーム強度ベクトルは、残差ベクトルを生成する１つ以上の参照フレームからの差分を有する。これら残差ベクトルは、蓄積された残差ベクトルを形成するために、蓄積された要素ワイズである。オブジェクトおよび非オブジェクトの画素の空間セグメント化用の空間オブジェクト境界を画定するために、これら蓄積された残差ベクトルは、次に、空間的に調べられる。
【０１０９】
一実施形態において、蓄積された残差ベクトルのしきい値に用いられることができる統計的しきい値に達するように、蓄積された残差ベクトルの最初の統計的解析が実行される。モルフォロジ演算の「削る（erosion）」およびそれに続く「肉付けする（dilation）」を通して、事前のオブジェクト領域マスクが生成される。領域の輪郭多角形点が、次に、これら点の凸包を明確にするために解析される。凸包は、次に、動的輪郭解析法用の最初の輪郭として用いられる。動的輪郭は、オブジェクトの蓄積された残差の空間境界に集束するまで伝播される。さらなる好ましい実施形態においては、最短エッジ長が全てのエッジ長について達成されるまで、中間頂点を追加することによって、事前の輪郭のエッジがさらに細分化される。このさらなる実施形態は、オブジェクトの輪郭線に対してより正確に合致するように、動的輪郭モデルの自由度を増加させることを意図している。
【０１１０】
少なくとも一実施形態において、絞り込まれた輪郭は、輪郭に包含された多角形を重ね合わせることによって、かつ正規化された画像における多角形を重ね合わせることによって、オブジェクトの画素を示す画素マスクを生成するのに使用される。
【０１１１】
＜非オブジェクトの解決（解明）＞
図１２に示すブロック図は、非オブジェクトセグメント化すなわち背景解決の一好ましい実施形態を開示する。背景バッファを初期化（１２０６）して、最大距離値（１２０４）バッファの初期値を設定してから、検出されたオブジェクト位置（１２０２）からの最大距離に「安定性」を関連付けることにより、最も安定した非オブジェクト画素を判別するために、本処理が機能する。新たに検出されたオブジェクト位置（１２０２）を前提として、本処理は各画素位置（１２１０）をチェックする。各画素位置（１２１０）について、検出されたオブジェクト位置からの距離（１２１２）が距離変換を用いて計算される。対象の画素についての距離が、最大距離バッファ（１２０４）に既に格納された位置よりも大きい場合（１２１６）、格納値は現在値によって上書きされ（１２１８）、画素バッファに画素値が記録される（１２２０）。
【０１１２】
解決された背景画像を前提として、この画像と現在のフレームとの間の誤差は、空間的に正規化されて時間的に蓄積される。このような解決された背景画像は、「背景の解決」の章で説明される。この方法を通しての背景解決は、時間を基礎とした遮蔽フィルタ処理とみなされる。
【０１１３】
次に、得られた蓄積誤差にしきい値による判別が適用され、初期の輪郭がもたらされる。輪郭は、その後、誤差の残差を輪郭変形に対してバランスさせるために空間的に伝播される。
【０１１４】
代わりの実施形態においては、現フレームと解明（解決）された背景フレームとの間の絶対差分が計算される。次に、要素ワイズ絶対差分が別個の空間領域にセグメント化される。ボックスとの境界を示すこれら領域の平均画素値が計算される。これにより、解決された背景が更新される際には、現フレームと解決された背景との間の差分の平均画素が、コントラストシフトを実行するのに用いられることができる。また、これにより、解決された背景に、より効果的に現領域が調和することができる。別の実施形態においては、正規化されたフレームマスク内の頂点が、動き検出されて、フレームごとに保存される。次に、これらは、フレームごとに局所変形予測を生成するために、ＳＶＤを用いて処理される。
【０１１５】
他のセグメント化方法および機構（例えば、テクスチャ、スペクトル（分光）および背景）が、米国特許出願第11/396,010号に記載された好ましい実施形態に採用されている。
【０１１６】
＜外観変化モデル化＞
ビデオ処理の共通の目的は、多くの場合、ビデオフレームのシーケンスの外観をモデル化して保存することである。本発明は、前処理を利用して、ロバストで広範囲に利用可能な方法で適用される制限された外観のモデル化方法を実現することを目的としている。前述の位置合わせ、セグメント化および正規化は明らかにこの目的のためのものである。
【０１１７】
本発明は、外観変化（appearance variance）モデル化の手段を開示している。外観変化モデル化の主要な基本は、線形モデルの場合には、線形相関を利用するコンパクトな基準を示す特徴ベクトルの解析である。空間強度場の画素を表現する特徴ベクトルは外観変化モデルに組み込まれることができる。
【０１１８】
別の実施形態においては、外観変化モデルは画素のセグメント化された部分集合から計算される。さらに、特徴ベクトルは、空間的に重複しない特徴ベクトルに分離される。このような空間分解は空間的タイル法を用いて達成される。計算効率は、より全体的なＰＣＡ方法の次元数減少を犠牲にすることなく、これらの時間集合の処理によって達成される。
【０１１９】
外観分散モデルを生成すると、空間強度場の正規化を用いて、空間変換のＰＣＡモデル化を減少することができる。
【０１２０】
＜変形モデル化＞
局所変形は頂点変位としてモデル化されることができ、補間関数が画素の再サンプル化を判別するために用いられる。この判別は、これら画素に関連する頂点に従って行われる。これら頂点変位は、多くの頂点にわたる単一のパラメータセットとしてとらえられると、動きにおける極めて大きい変化を提供する。これらパラメータにおける相関が、これらパラメータ空間の次元を著しく減少させることができる。
【０１２１】
＜ＰＣＡ＞
外観変化モデルを生成する好ましい手段は、ビデオフレームをパターンベクトルと組み合わせて訓練マトリックスとするか、または訓練マトリックスに主成分分析（ＰＣＡ）を組み合わせるかもしくは適用することである。このような展開が打ち切られると、結果として得られるＰＣＡ変換マトリックスは、ビデオの後続のフレームの解析および合成に用いられる。打ち切りレベルに基づいて、画素の元の外観の品質レベルの変更が達成される。
【０１２２】
パターンベクトルの構成および分解の特定の手段は当業者に公知である。
【０１２３】
顕著信号モードの周囲信号からの空間セグメント化およびこのモードにおける空間正規化を前提として、画素自体、すなわち結果として得られる正規化信号の外観は、画素の外観の表現の近似誤差とビットレートとの間の直接トレードオフを可能にする低いランクのパラメータ化を用いて、線形相関性があるコンポーネントに組み込まれる。低いランクの近似を達成する方法の１つは、エンコード化されたデータのバイトおよび／またはビットの打ち切りである。この技法の特別な適用によって、判別される際に、低いランクの近似は元のデータの圧縮とみなされる。例えば、ビデオ圧縮において、データの打ち切りが知覚の質を極度に低下させない場合（すなわち目で感知されるほど画像の質が低下しない場合）、この特別な適用の目標は、圧縮と共に達成される。
【０１２４】
図２Ａに示すように、正規化されたオブジェクトの画素２４２，２４４をベクトル空間に射影でき、データの次元的にコンパクトなバージョンを生成するために、ＰＣＡのような分解処理２５０を使用して、線形相関関係をモデル化することができる２５２，２５４。
【０１２５】
＜ＰＣＡおよび精度解析＞
本発明は、正規化された画素データの近似を判別するのに統計解析を採用する。この近似は、正規化された画素データの「エンコード化」形式である。統計解析は、この場合、正規化された画素データの線形分解によって達成され、詳細には、一般的に主成分分析（ＰＣＡ）と称される特異値分解（ＳＶＤ）として実現される。この動作の結果は、１つ以上の基底ベクトルのセットである。これら基底ベクトルは、正規化された画素データのこれまで以上に正確な近似を段階的に記載するのに用いられる。したがって、１つ以上の最も重要でない基底ベクトルの打ち切りが実行され、正規化された画素データを必要な品質レベルに表現するのに十分なエンコード化を生成する。
【０１２６】
一般的に、ＰＣＡは、元のビデオフレームに効率的に適用されることはない。しかし、フレームがセグメント化されてさらに正規化されると、これらフレームの画素の外観の変化は、もはや背景画素または全体動きから空間変位の干渉を受けない。これらの２つの変化形式なしで、ＰＣＡは、これら変化形式がある場合に比べて、基底ベクトルをほとんど用いずにこの正規化された画素データの外観をより正確に近似できる。この結果、帯域幅に関して、ビデオのオブジェクトの元の外観の極めてコンパクトな表現が得られる。
【０１２７】
基底ビクトルの打ち切りは、いくつかの方法によって実行される。そして、各打ち切りは、ＰＣＡと組み合わされると、精度解析形式であるとみなされる。この打ち切りは、単に、基底ベクトルのセットから全体基底ベクトルを上述したように除外することである。代わりに、これらバイトのベクトル要素および／または要素バイトおよび／またはビットが、選択的に除外されて（切り捨てられて）もよい。さらに、基底ベクトル自体が別の形式に変換されてもよく、この場合切り捨て方法のより多くの選択が許可される。組込みゼロ・ツリーを用いたウェーブレット変換は、このような形式の１つである。
【０１２８】
＜方法＞
図２Ａの２４２および２４４からの正規化された画素データは、ＰＣＡ（より詳細にはＳＶＤ）を用いて、基底ベクトルのセットに分解されるベクトルの集合体に組込まれるパターンベクトルに再編される。
【０１２９】
最も重要でない基底ベクトルは、基底ベクトルのセットから除外され（切り捨てられ）て、品質要求を達成する。
【０１３０】
各フレームの正規化された画素データのそれぞれは、切り捨てられた基底ベクトルに射影されると、エンコード化されたパターンベクトルを生成する。このエンコード化されたパターンベクトルは、正規化された画素データのエンコード化形式であり、エンコード化画素データと称される。なお、正規化された画素データも、基底に射影されるよりも前に「パターンベクトル」に再編される必要がある。
【０１３１】
エンコード化画素データは、基底ベクトルの逆ベクトルに射影されることによってデコード化される。この逆射影によって、元の正規化された画素データ２４２，２４５の近似（合成）を得る。
【０１３２】
＜使用＞
正規化された画素データの生成、さらにはこの画素データをエンコード化画素データに縮小することで、元のビデオフレームにおける画素データの外観のデータ表現を提供する。この表現は、それ自体に有用であり、または別の処理の入力として有用である。エンコード化データはコンパクトであるため、さらなる処理を実行せずに従来の圧縮よりも有利な圧縮率を十分に提供できる。
【０１３３】
エンコード化データは、従来のビデオ圧縮アルゴリズムにおける「変換係数」の代わりに用いられる。従来のビデオ圧縮アルゴリズムでは、離散コサイン変換（ＤＣＴ）を用いて画素データが「変換エンコード化」される。得られた「変換係数」は、量子化およびエントロピーエンコード化を用いてさらに処理される。エントロピーエンコード化は、量子化係数の損失が少ない圧縮であり、ジッピング（zipping）と同様であると考えられる。本発明は、ＤＣＴよりもさらにコンパクトなコード化ベクトルを生成すると考えられるため、従来のコーデックアルゴリズムにおいて用いられると、高い圧縮率となる。
【０１３４】
本発明の一実施形態は、米国特許出願第11/191,562号に記載されているビデオフレームのエンコード化と上述の近似コード化とを繰り返す。本システムは最小の使用帯域幅に応じて、交代する。
【０１３５】
＜逐次（シーケンシャル）ＰＣＡ＞
ＰＣＡは、ＰＣＡ変換を用いて、パターンをＰＣＡ係数にコード化する。ＰＣＡ変換によって、より優れたパターンが表現されると、パターンをコード化するのに必要な係数がより少なくなる。訓練パターンの取得とエンコード化されるパターンとの間の時間の経過に伴ってパターンベクトルが劣化することを認識して、変換を更新することにより劣化の影響を弱めるのを助けることができる。新しい変換の生成に対する代わりとして、既存パターンの逐次更新が、特定の場合において計算的により有効である。
【０１３６】
多くの最先端のビデオ圧縮アルゴリズムは、１つまたは複数の他のフレームから１つのビデオフレームを予測する。予測モデルは一般的に、重ならないタイルへの各予測フレームの分割に基づいている。この重ならないタイルは、別のフレーム内の対応するパッチおよびオフセット動きベクトルによってパラメータ化される関連の並進運動に一致する。随意にフレームインデックスと結合されるこの空間的変位が、タイルの「動き予測」の変形を提供する。予測誤差が特定のしきい値を下回る場合、タイルの画素は残差のコード化に適し、圧縮効率における対応する利得が存在する。そうでなければ、タイルの画素は直接コード化される。この種類のタイルを基礎とする（代わりに、ブロックを基礎とする、と称される）動き予測方法は画素を含むタイルを並進させることによりビデオをモデル化する。ビデオの画像化現象がこの種類のモデル化に準拠する場合、対応するコード化の効率が向上する。このモデル化の制約は、ブロックを基礎とする予測に固有である並進運動に適合させるために、特定レベルの時間解像度すなわち１秒当たりのフレーム数が、動きのある画像化されるオブジェクトに持続すると仮定する。この並進モデルに関する別の必要条件は、特定の時間解像度に対する空間変位が制限されていることである。すなわち、予測が導き出されるフレームと予測されるフレームとの間の時間差が、比較的短い絶対時間量でなければならない。これらの時間解像度および動き制限は、ビデオストリーム内に存在する、ある一定の冗長ビデオ信号コンポーネントの識別およびモデル化を促進する。
【０１３７】
本発明の方法において、ハイブリッド圧縮方法の有用性をさらに強化するために、逐次ＰＣＡが組込みゼロ・ツリー・ウェーブレットに組み合わされる。逐次ＰＣＡ技法は、時間的なコヒーレンシまたは時間的な局所平滑さを有する信号に対して従来のＰＣＡが強化されることができる手段を提供する。組込みゼロ・ツリー・ウェーブレットは、一定の処理のロバスト性およびアルゴリズムの計算効率を向上させるために、局所的に平滑な空間信号が空間スケール表現に分解されることができる手段を提供する。本発明に関しては、これら２つの技法が組み合わされて、不一致モデルの表現力を向上し、さらに、基礎の表現力の多くが基礎の打ち切りによって提供されるように、コンパクトで規則正しいこれらモデルの表現を提供する。
【０１３８】
別の実施形態においては、最初および最もエネルギの高いＰＣＡ要素に重みづけされたバイアスを増加させるために、逐次ＰＣＡが固定入力ブロックサイズおよび固定許容差で適用される。より長いデータシーケンスに対して、この最初のＰＣＡ要素が多くの場合に唯一のＰＣＡ要素となる。これは、復元の視覚的品質に影響を与えて、前述の方法の利用をある意味で制限することができる。本発明は、ＰＣＡ要素の選択に対して、従来用いられた最小２乗ノルムの使用よりも好ましい異なるノルムを用いる。このモデル選択の形式によって、最初のＰＣＡ要素による重複した近似を防止することができる。
【０１３９】
別の実施形態において、データブロックごとに、固定ブロックサイズおよび規定数のＰＣＡ要素をともなうブロックＰＣＡ処理が用いられて、比較的多くの要素を用いてしまうが、有利な均一の再構成（再現）を提供する。さらなる実施形態においては、ブロックＰＣＡが逐次ＰＣＡに組み合わされて用いられる。ここで、ブロックＰＣＡは、ブロックＰＣＡステップを含む設定ステップの後に逐次ＰＣＡを再初期化する。これにより、多数のＰＣＡ要素を減少させて、有利な均一近似を提供する。
【０１４０】
別の実施形態においては、符号化（エンコード化）および復号化（デコード化）の前後におけるＰＣＡ要素が視覚的に同一であるという状況を、本発明は利用する。符号化および復号化の前後の画像シーケンス再構成（再現）の品質も視覚的に同一であり、用いられる量子化の程度に依存することが多いという状況を、本発明は利用する。本発明の新規な方法がＰＣＡ要素をデコードして、一群のノルムを有するように、これら要素を再正規化する。緩やかな量子化に対してデコードされたＰＣＡ要素は部分的に直交する。量子化の高いレベルでは、ＳＶＤのアプリケーションによって、デコードされたＰＣＡ要素が部分的に再現されて、直交バイアスおよび修正された再構成係数セットを取得する。
【０１４１】
別の実施形態においては、総合品質に対して改良結果を生成するために、可変で調節可能なブロックサイズがハイブリッド逐次ＰＣＡ方法で適用される。本発明は、ＰＣＡ要素の最大数におけるブロックサイズおよびこれらのブロックに対する所与の誤差許容を基礎とする。そして、本方法は、ＰＣＡ要素の最大数に到達するまで現ブロックサイズを拡張する。さらなる実施形態においては、ＰＣＡ要素のシーケンスは、データストリームとみなされる。このストリームは、次元をさらに減少させる。この方法は後処理ステップを実行し、このステップでは、可変データブロックが最初のＰＣＡ要素に各ブロックから集められて、ＳＶＤがさらに次元を低減させるために適用される。この後、同一の処理が第２要素、第３要素、…の収集に適用される。
【０１４２】
種々の分解方法および機構が採用されてもよく、これに限定されるわけではないが、パワー因数分解、一般化ＰＣＡおよび段階的なＰＣＡならびにこれらの組合せが該当する。例は米国特許出願第11/396,010号に記載されている。
【０１４３】
＜サブバンドの時間量子化＞
本発明の別の実施形態は、離散コサイン変換（ＤＣＴ）または離散ウェーブレット変換（ＤＷＴ）を用いて、各フレームをサブバンド画像に分解する。次に、主成分分析（ＰＣＡ）がこれらの「サブバンド」ビデオ（画像）のそれぞれに適用される。この概念は、ビデオフレームのサブバンド分解が元のビデオフレームと比較して、サブバンドのいずれか１つにおける空間変化を少なくするというものである。
【０１４４】
動きのあるオブジェクト（人物）のビデオについては、空間変化がＰＣＡによってモデル化される変化を左右する傾向にある。サブバンド分解は、いずれの分解ビデオにおける空間変化も減少させる。
【０１４５】
ＤＣＴについては、いずれのサブバンドに対する分解係数も、サブバンドのビデオに空間的に配置される。例えば、ＤＣ係数は各ブロックから取得され、元のビデオの郵便切手の変形のように見える、サブバンドのビデオに配置される。これは他のサブバンドのすべてに対して繰り返され、結果として得られるサブバンドビデオのそれぞれはＰＣＡを使用して処理される。
【０１４６】
ＤＷＴでは、サブバンドはすでにＤＣＴに対して説明されている方法で配置される。
【０１４７】
限定されない実施形態において、ＰＣＡ係数の打ち切りは変更される。
【０１４８】
＜ウェーブレット＞
データが離散ウェーブレット変換（ＤＷＴ）を用いて分解されると、多重帯域通過データセットが低い空間解像度になる。この変換処理は、単一のスカラー値を得るまで、導き出されたデータに再帰的に適用される。分解された構造におけるスカラー要素は一般に、階層的な親／子方式で関連付けられる。結果として得られるデータは多重解像度の階層的な構造および有限差分を含む。
【０１４９】
ＤＷＴが空間強度場に適用されると、自然発生する画像現象の多くは、低い空間周波数のために、第１または第２の低帯域通過生成データ構造によってほとんど知覚損失なく表現される。高い周波数の空間データが存在しないかノイズと見なされるかのいずれかである場合、階層構造の打ち切りがコンパクトな表現を提供する。
【０１５０】
ＰＣＡを用いることによって少数の係数で正確な復元を達成できるが、変換自体は極めて大きい。この「初期の」変換の大きさを低減するために、ウェーブレット分解の組込みゼロ・ツリー（ＥＺＴ）構成を用いて変換マトリックスのより正確な変形を連続的に形成することができる。
【０１５１】
好ましい実施形態では、ＰＣＡは正規化されたビデオデータに適用され、その後ＤＷＴまたは他のウェーブレット変換が続く。これにより、ビデオ画像オブジェクトの顕著性を保持する圧縮ビデオデータが得られる。
【０１５２】
＜部分空間分類＞
当業者には理解されるとおり、離散的にサンプル化された事象データおよび派生データは、代数的ベクトル空間に対応するデータベクトルのセットとして表現される。これらベクトルは、セグメント化されたオブジェクトの正規化された外観における画素、動きパラメータ、および２次元または３次元における特徴または頂点の構造的位置（これらに限定されない）を含む。これらベクトルのそれぞれはベクトル空間に存在し、この空間の形状の解析が用いられてもよく、サンプル化されたベクトル、つまりパラメータのベクトルのコンパクトな表現が取得される。有利な形状条件は、コンパクトな部分空間を形成するパラメータベクトルによって類型化されている。１つ以上の部分空間が混合されて複雑な部分空間を生成すると、個々の単純な部分空間の識別が難しくなる。元のベクトルの何らかの相互作用（例えば、内積）を通して生成される、より高次元のベクトル空間におけるデータを調べることによって、このような部分空間の分離を可能にするいくつかのセグメント化方法が存在する。
【０１５３】
＜特徴部分空間分類＞
特徴部分空間は、オブジェクトが関連する領域のＤＣＴ分解を用いて形成される。結果として得られる係数マトリックスが特徴ベクトルに変換される。これら特徴ベクトルは、次に、結果として得られるベクトル空間に、空間的にクラスタ化される。クラスタ化によって、参照オブジェクトインスタンスに向けて全体的もしくは局所的に正規化されることができる画像オブジェクトインスタンスのグループが与えられる。これら正規化されたオブジェクトインスタンスは、ＰＣＡについての集合体として用いられる。
【０１５４】
好ましい実施形態では、ＤＣＴマトリックス係数が、マトリックスの上側三角形（upper triangle）および下側三角形（lower triangle）として合計される。これら合計は、２次元ベクトルの要素として考えられる。
【０１５５】
好ましい実施形態では、最も密度の大きいクラスタが特定されて、このクラスタに最も密接に関係するベクトルが選択される。これら画素に対応するオブジェクトインスタンスの画素は、互いに最も類似すると考えられる。次に、選択されたベクトルは部分空間から削除されて、クラスタ化は、関係オブジェクトインスタンスに対応する関係ベクトルの別のセットをもたらす。
【０１５６】
さらなる実施形態では、特定されたクラスタのベクトルに関連する画像オブジェクトインスタンスが、クラスタ重心に向かって全体的に正規化される。結果として得られた正規化が歪みの要件を満足しているならば、オブジェクトインスタンスは重心に近いと考えられる。さらなる実施形態では、ベクトル空間に戻された不合格オブジェクトインスタンスが、さらなるクラスタ化の候補になることを許容する。
【０１５７】
別の実施形態では、クラスタは、他のクラスタ化されたオブジェクトインスタンスの重心に対する帰属関係をテストすることによって、絞り込まれる。結果は、クラスタの帰属関係は変更してもよいというものである。そのため、最も類似するオブジェクトインスタンス画像をもたらすようにクラスタを考慮する絞り込みとなる。
【０１５８】
＜集合体処理＞
本発明の新規な方法は、集合体の選択および処理を利用する。この方法は、プールの主な画像からの画像の変形距離に基づいて、候補訓練プールからの画像の小さいサブセットを選択する。
【０１５９】
好ましい実施形態では、ＤＣＴ内のクラスタ距離が、いずれの候補画像がクラスタの変化を表現するのに用いられるかを判別する手段として用いられる。
【０１６０】
さらなる実施形態は、残りの画像の集合体帰属関係を判別するために、異なるクラスタからの画像を異なるＰＣＡ空間に射影する。射影の前には、主な集合体画像または集合体平均に対する全体および局所の正規化が行われる。
【０１６１】
＜オブジェクトのエンコード化＞
本発明の一実施形態は、オブジェクトインスタンスをエンコード化する１つ以上の候補集合体を特定するために、検出されたオブジェクトのインスタンスに基づいてフーリエ部分空間の分類を実行する。次にさらに、主な集合体画像または集合体平均に対する画像の全体もしくは局所の正規化を通じて、最も近く一致する集合体が特定される。画像の集合体が識別されると、集合体基底ベクトルを用いて、正規化された画像は、次に、セグメント化されて分解される。結果として得られる係数は、このオブジェクトを含むフレームに対応する時間インスタンスでの元のオブジェクトに対応する分解された係数である。これら係数は、外観係数とも称される。
【０１６２】
＜シーケンス低減＞
本発明の新規な方法は、分解された係数の補間を用いて、画像のコード化をさらに低減する手段を有する。外観および／または変形のパラメータのシーケンスが線形な差異を有するか否かを判定するために、時間的ストリームが解析される。線形な差異を有する場合、最初と最後のパラメータのみが送信され、中間パラメータは線形的に補間されることが指示される。
【０１６３】
＜ツリー集合体＞
本発明は、好ましい実施形態を有し、この実施形態では、パターンベクトルの類似性に基づいて、集合体は依存ツリーに編成される。ツリーの「ルート」が、集合体の主なパターンとして確立される。追加の集合体パターンがツリーに加えられて、ツリーの「リーフ」となる。追加のパターンは、いずれのツリーノードがこのパターンに最も類似するかに応じて、配置される。このように集合パターンが編成されるため、依存構造は類似性に基づいて作成される。この構造は、「シーケンス低減」の代替として利用されて、同一方法において、パターンベクトルのシーケンスを補間する代わりに、ツリーのトラバースが時間的順序の代替として用いられる。
【０１６４】
＜ハイブリッド空間正規化圧縮＞
本発明は、ビデオストリームを２以上の「正規化」ストリームにセグメント化することの追加によって、ブロックを基礎とした動き予測コード化の仕組みの効率を拡張する。次に、従来のコーデック（ＣＯＤＥＣ）の並進動きの仮定を有効にできるように、これらのストリームが別個にコード化される。正規化ストリームをデコードすると、ストリームはこれらの適切な位置に非正規化され、一体に合成されて、元のビデオシーケンスが得られる。
【０１６５】
一実施形態においては、１つまたは複数のオブジェクトがビデオストリームにおいて検出され、その後、個々のオブジェクトのそれぞれに関係する画素が、非オブジェクトの画素を残してセグメント化される。次に、全体の空間動きモデルが、オブジェクトおよび非オブジェクトの画素に対して生成される。全体モデルが使用されて、オブジェクトおよび非オブジェクトの画素を空間的に正規化する。このような正規化は、ビデオストリームから非並進動きを効果的に取り除いており、遮蔽の相互作用が最小限にされている一式のビデオを提供している。これらは両方とも本発明の方法の有利な構成である。
【０１６６】
空間的に正規化された画素を有するオブジェクトおよび非オブジェクトの新しいビデオが、従来のブロックを基礎とした圧縮アルゴリズムへの入力として供給される。ビデオのデコードに関して、全体の動きモデルパラメータが用いられて、これらデコードされるフレームを非正規化し、オブジェクトの画素が非オブジェクトの画素に一体に合成されて、ほぼ元のビデオストリームが生成される。
【０１６７】
図６に示すように、１つ以上のオブジェクト６３０，６５０に対する先に検出されたオブジェクトインスタンス２０６，２０８（図２Ａ）が、従来のビデオ圧縮方法（６３２）の別個のインスタンスでそれぞれ処理される。さらに、オブジェクトのセグメント化（２３０）から生じた非オブジェクト６０２も、従来のビデオ圧縮（６３２）を用いて圧縮される。これら別個の圧縮コード化（６３２）のそれぞれの結果は、各ビデオストリームに個別に対応するストリーム６３４についての、従来方法でコード化されたストリーム（６３４）である。おそらくは伝送の後である、ある時点で、これら中間コード化された画素データストリーム（６３４）が、正規化された非オブジェクト（６１０）および多数の正規化されたオブジェクト６３８，６５８の合成に解凍（６３６）される。画素が空間において相対的に正しく位置するように、これら合成された画素は、これらの各非正規化バージョン（６２２、６４２および６６２）に非正規化（６４０）されることができる。これにより、合成処理（６７０）が、オブジェクトおよび非オブジェクトの画素を組み合わせて完全なフレームの合成（６７２）とすることができる。
【０１６８】
最も普及している圧縮技法の２つは、離散コサイン変換（ＤＣＴ）と離散ウェーブレット変換（ＤＷＴ）である。ＤＣＴにおける誤差はビデオデータ値の広範な変動として現れ、したがって、これらの誤った相関を局所化するために、ＤＣＴは一般にビデオデータのブロックにおいて使用される。この局所化によるアーチファクトはブロックの境界に沿って現れることが多い。ＤＷＴについては、基底関数と特定のテクスチャの間に不一致が存在すると、より複雑なアーチファクトが発生し、これにより「ぼけ」が引き起こされる。ＤＣＴおよびＤＷＴの悪影響を打ち消すために、表現の精度を上げて、貴重な帯域幅を犠牲にして歪みを低減している。
【０１６９】
本発明によれば、ビデオ画像圧縮方法（一般的な画像処理方法）が提供され、この方法は主成分分析（ＰＣＡ）とウェーブレット圧縮とを組み合わせる。好ましい実施形態では、送信者と受信者の両方において同一基礎（parallel basis）が確立される。現在の技法で、この同一基礎は、エンコード化およびデコード化の処理６３２，６３６で使用される元のフレーム（アンカーフレーム（最終フレーム））となる。詳細には、基礎情報は受信者に送信されて追加フレームの基礎を再現するのに用いられる。基礎が転送されている間、エンコーダ６３４において、ＰＣＡが適用され、データセットは、ウェーブレット変換を適用することによって減じられる。特に、ＰＣＡからウェーブレット変換処理は、基礎が受信者に転送されている間に生じる中間工程である。
【０１７０】
別の実施形態においては、コード化モード間の切り替えは、統計的なひずみ距離に基づいて実行される。統計的なひずみ距離としてはＰＳＮＲ（ピーク信号対雑音比）があり、これは、ビデオフレームをコード化する従来の対部分空間方法を許容する。
【０１７１】
本発明の別の実施形態においては、コード化される必要がない中間フレームを予測するために、コード化された外観パラメータ、全体変形（構造、動き、姿勢）および局所変形が補間される。補間方法として、線形、三次、スプラインなどの従来の補間方法のいずれでも採用することができる。
【０１７２】
図１４に示すように、オブジェクト補間方法は、外観および変形のパラメータによって表現されるように、一連の正規化オブジェクト（１４０２，１４０４，１４０６）の補間解析（１４０８）を通して達成されることができる。この解析（１４０８）は、補間機能（１４１２）が適用される時間範囲（１４１０）を判別する。この範囲指定（１４１０）は、中間の正規化されたオブジェクト（１４１６，１４１８）を近似させて最終的に合成するために、正規化されたオブジェクト指定（１４１４，１４２０）と組み合わされることができる。その他の実施形態も想定される。
【０１７３】
＜ハイブリッドコーデックの統合＞
本発明の記述のとおり、従来のブロックを基礎とした圧縮アルゴリズムと正規化−セグメント化の仕組みとの組み合わせにおいて、いくつかの進歩的な方法がもたらされる。第１に、特別なデータ構造および通信プロトコルが必要とされる。
【０１７４】
主たるデータ構造は、全体の空間変形パラメータおよびオブジェクトセグメント化仕様マスクを含む。主たる通信プロトコルは、全体の空間変形（全体構造モデル）パラメータおよびオブジェクトセグメント化仕様マスクの伝送を含む層である。
【０１７５】
＜全体構造、全体動きおよび局所変形正規化圧縮＞
好ましい実施形態において、前述のＰＣＡ／ウェーブレットのコード化技法は、前処理されたビデオ信号に適用されて、所望の圧縮ビデオ信号を形成する。前処理によってビデオ信号の複雑さを減少させて、ＰＣＡ／ウェーブレットのコード化（圧縮）が向上した作用で適用されるようにする。図１０に画像処理システム１５００を示す。
【０１７６】
図１０において、ソースビデオ信号１５０１が入力されて前処理プロセッサ１５０２によって受信される。前処理プロセッサ１５０２は、ソースビデオ信号１５０１における対象コンポーネント（顕著なオブジェクト）を判別するために、帯域幅の消費（帯域消費）を用いる。特に、前処理プロセッサ１５０２は、不均衡な帯域幅を用いるビデオ信号部分のその他のビデオ信号部分に対する比を判別する。この判別を行う方法すなわちセグメンタ（セグメント部）は以下の通りである。
【０１７７】
セグメント化器（セグメンタ）１５０３が、上述の画素の微分における時間および／または空間の差分を用いて、時間および／空間に渡って画像勾配を分析する。コヒーレンスな監視では、ビデオ信号の逐次的なフレームに渡って、互いに対応するビデオ信号部分が追跡されて注目される。コヒーレントな（一貫した）信号コンポーネントの微分場の有限差分が統合されて、ビデオ信号の判別された部分を生成する。この判別された部分とは、他の部分に対して不均衡な帯域幅を用いる部分である。すなわち、対象コンポーネントを判別する。好ましい実施形態では、後続フレームにおける空間不連続に対応するように空間不連続が１つのフレームにおいて発見されると、画像勾配の急激さまたは平滑さが解析されて、一意の対応（時間コヒーレンシ（時間的な一貫性））を生じさせる。さらに、このような対応（相関関係）の集まりも、ビデオフレームの離散的なコンポーネントの時間コヒーレンシに一意に帰するように同一の方法で採用される。急峻な画像勾配についてはエッジが存在すると判別される。このような空間不連続を画定するエッジが２つ存在する場合、コーナーが決定される。これら識別された空間不連続は勾配フローと組み合わされて、ビデオデータの複数のフレームに渡る対応画素間の動きベクトルを生成する。動きベクトルが識別された空間不連続と一致する場合、本発明のセグメンタ１５０３は、対象のコンポーネント（顕著なオブジェクト）が存在すると判別する。
【０１７８】
これまでの章に記載した他のセグメント化技法がセグメンタ１５０３を実現するのに適している。例えば、顔／オブジェクト検出が用いられてもよい。
【０１７９】
図１０において、前処理プロセッサ１５０２（セグメンタ１５０３）が、対象のコンポーネント（顕著なオブジェクト）を判別すると（すなわち、ソースビデオ信号１５０１からのコンポーネントをセグメント化すると）、判別した対象のコンポーネントの複雑さを正
規化器（正規化部）１５０５が低減する。好ましくは、正規化器１５０５は、判別された対象のコンポーネントから、全体動き、ならびに姿勢、全体構造、局所変形、外観および明るさの変動（外観変動）を取り除く。前述の正規化技法がこのために利用される。これにより、正規化器１５０５は対象のコンポーネントの構造モデル１５０７および外観モデル１５０８を確立する。
【０１８０】
構造モデル１５０７は、数学的には以下のように表現される。
【０１８１】
【数１】
2010526455.tif 000003
【０１８２】
ここで、σは、顕著なオブジェクト（判別された対象のコンポーネント）であり、ＳＭ()はそのオブジェクトの構造モデルである。ｖx,yは、経時的に位置合せされたオブジェクトにおける、区分（piece-wise）線形正規化メッシュの２次元メッシュ頂点である。Δtは、頂点の変化であり、複数のビデオフレーム間のオブジェクトの拡大縮小（すなわち変形）、回転および並進を経時的に表現する、期間ｔにおける互いの変化である。Ｚは、全体動き（すなわち、全体メッシング（meshing）の移動およびメッシュの変形）である。いくつかの実施形態では、Ｚは、空間における２次元メッシュの位置および回転パラメータによって表現されるメッシュの姿勢を表現する。式１から、出願人は、全体の固定の構造モデル、全体動き、姿勢を引き出し、かつ、図４のモデルの変形を局所的に引き出す。固定の局所変形の様相が、空間の各メッシュ頂点の位置によって決定される。固定されない局所変形は、複数のビデオフレームに渡る頂点の相関で表現される。頂点の別個独立な動きも相関され、低（効率的）次元動きモデルをもたらす。経時のビデオフレームの対象のコンポーネントの構造部分の候補構造を判定するために、動きから構造を推定する既知の技法が用いられて、動き検出と組み合わされる。これにより、顕著なオブジェクトの空間における位置および方向が決定されて、構造モデル１５０７および動きモデル１５０６がもたらされる。
【０１８３】
一実施形態では、動き検出は、変形モデル、構造モデル１５０７および明るさ（外観変化）モデルによって拘束される。動き技法からの構造が、あるフレームと別のフレームの間のオブジェクトの姿勢／位置の変化を判別するのに用いられる。ＬＲＬＳ（後述）などの線形トラッカー（追跡部）が経時に候補オブジェクト構造を追跡する。このトラッカーが、２次元動き検出の予測として、各フレームについてのオブジェクトの姿勢／位置の変化（Δ）を判別する。
【０１８４】
外観モデル１５０８は、次に、構造モデル１５０７および動きモデル１５０６によって集合的ではなくモデル化される顕著なオブジェクトの特性および様相を表現する。一実施形態では、外観モデル１５０８は経時的な構造変化の線形分解であり、構造モデル１５０７から全体動きおよび局所変形を除去することによって決定される。出願人は、各ビデオフレームにおけるオブジェクト外観を取得し、構造モデル１５０７を用いて、「正規化された姿勢」に再射影する。「正規化された姿勢」は、また、１以上の「基本的な（cardinal）」姿勢と称される。再射影は、オブジェクトの正規化されたバージョンを表現し、外観における任意の変化を生成する。所与のオブジェクトが複数のビデオフレーム間で回転しているかまたは空間的に並進されているので、外観は単一の基本的な姿勢（すなわち、平均の正規化された表現）に位置付けられる。外観モデル１５０８は、また、基本的な姿勢の基本的な変形（例えば、目が開く／閉じられる、口が開く／閉じられるなど）を明らかにする。したがって、外観モデルＡＭ（σ）は、基本的な姿勢Ｐｃおよび基本的な姿勢Ｐｃの基本的な変形Δｃによって表現される。
【０１８５】
【数２】
2010526455.tif 000004
【０１８６】
外観モデル１５０８の画素は、好ましくは、カメラの投影軸に対する距離および入射角度に基づく。バイアスをかけることで、モデルの最終形式に対する各画素の寄与の相対加重を判別する。候補構造の（構造モデル１５０７からの）経時追跡は、姿勢、動きおよび変形の推定量からの示唆によって、全画素の動きの予測を構成して可能とする。これは、部分的には、構造モデル１５０７における３次元（Ｚ）による。この３次元によって、２次元メッシュはより多くのビデオフレームに渡って追跡され、同一の外観モデル１５０８によって表現される別のフレームのより多くのオブジェクトを組み合わせる。さらに、３次元によって、カメラのセンサアレーでの元の画素の方向に対するこれら元の画素の適格性が許可される。この情報は、次に、特定の画素がどれだけ外観モデル１５０８に貢献しているかを決定するのに用いられる。
【０１８７】
最後に、各次元に基づく別のフレームから、オブジェクトの外観は正規化される。すなわち、本発明は、３次元を解決し、好ましくは外観をモデル化するのに複数の正規化プレーンを用いる。例えば、正規化器１５０５は、全体動き（Ｚ）ならびに姿勢、全体構造、局所変形および明るさの変動（外観変化）を上述のように取り除く。
【０１８８】
さらに、外観変化（外観および明るさのモデル化）に関して、画像処理における持続的な挑戦の１つは、変化する明暗条件のもとで、オブジェクトを追跡している。画像処理において、コントラストの正規化は、ピクセル輝度（pixel intensity）値の変化を、明暗／明るさの変化以外の因子に起因するよりもむしろ、明暗／明るさの変化に起因するものとしてモデル化する処理である。好ましい実施形態では、ビデオが取り込まれる際の顕著なオブジェクトの明るさ条件の任意の変化を推定する（すなわち、オブジェクトに当たる明るさをモデル化する）。これは、ランベルト反射の線形部分空間（Lambertian Reflectance Linear Subspace (ＬＲＬＳ)）理論からの原理にオプティカルフローを組み合わせて達成される。ＬＲＬＳ理論によれば、オブジェクトが固定されて明るさの変化のみが許容されると、反射画像のセットは最初の９つの球面調和関数の線形な組合せによって近似される。これにより、画像は、周囲「画像」ベクトル空間における９Ｄ線形部分空間に近接する。さらに、画像ピクセル（ｘ，ｙ）の反射輝度Ｉは、次のように近似される。
【０１８９】
【数３】
2010526455.tif 000005
【０１９０】
本発明の構成によれば、ＬＲＬＳおよびオプティカルフローを用いて、いかに明暗がオブジェクトと相互作用するかについて、期待値が計算される。これら期待値は、オプティカルフロー場における変化を説明できるオブジェクトの動きを拘束するのに役立つ。明るさモデル化を用いるオブジェクトの外観を記述するのにＬＲＬＳを用いると、さらに、明るさモデルの予測の範囲から外れる任意の外観変化を処理することを外観モデルに許可する必要がある。
【０１９１】
現在の技法で、複数フレームのシーケンスにおける連続するビデオフレームが予測されて、次に主成分分析（ＰＣＡ）が実行される。このようにして、画像データの極めて一般的な形式が形成されてＰＣＡが残りのデータに実行される。
【０１９２】
対象のコンポーネントの複雑さが対応する元のビデオ信号から低減されるが対象のコンポーネントの顕著性は維持される限り、外観モデル１５０８および構造モデル１５０７の他の数学的表現も適切である。
【０１９３】
図１０を参照して、上述したＰＣＡ／ウェーブレットのエンコード化が、次にアナライザ（分析器）１５１０によって構造モデル１５０７および外観モデル１５０８に適用される。より詳細には、アナライザ１５１０は、対象のコンポーネントに対応する圧縮された（エンコード化された）ビデオデータを圧縮するために、幾何学的データ解析を採用する。得られる圧縮された（エンコード化された）ビデオデータは、上述の図６の画像処理システムにおいて用いられることができる。より詳細には、モデル１５０６，１５０７，１５０８は、好ましくは図６のエンコード化側６３２およびデコード化側６３６において蓄積される。構造モデル１５０７および外観モデル１５０８から、有限状態マシンが生成される。従来のエンコード化６３２およびデコード化６３６も、従来のウェーブレットビデオエンコード化−デコード化方法として実装されてもよい。このウェーブレット方法は、ビデオデータを合成するのに用いられることができ、この方法は対象のオブジェクト／コンポーネントの顕著性を維持する。一実施形態では、訓練の間、所与のビデオデータについて、有限状態マシンがウェーブレット変換技法を用いて線形的に外観を分解して、正規化された（ＭＰＥＧまたは同様の標準）ビデオ圧縮ストリームを出力する。画像処理時間の間、両側６３２，６３６の有限状態マシンは、上述のように画素データを補間し、ビデオデータの圧縮形式を生成する。このようにして、本発明の状態マシンは、対象のオブジェクト／コンポーネントの顕著性を維持しながらビデオデータを合成する。
【０１９４】
上述のように、ＰＣＡコード化（または他の線形分解）が両側６３２，６３６において正規化された画素データに適用される。これにより、各側６３２，６３６において同一の基底ベクトルセットを形成する。好ましい実施形態では、ＰＣＡウェーブレットが画像処理中に基底関数に適用されて、所望の圧縮ビデオデータを生成する。ウェーブレット技法（ＤＷＴ）は、全体画像および部分画像を変換し、外観モデル１５０８および構造モデル１５０７を線形分解する。そして、所望のしきい値目標（ＥＣＴ式またはＳＰＩＨＴ式）を満たすように、このモデルは正常に打ち切られる。これによって、拡大縮小可能なビデオデータ処理が容易になり、これは、ビデオデータの「正規化された」性質による従来のシステムや方法とは異なる。
【０１９５】
さらに、ビデオデータの一フレームの単一の画素を仮定すると、構造モデル１５０７および／または外観モデル１５０８にＰＣＡ／ウェーブレット圧縮を適用するため、本発明の画像処理システム１５００は、連続するフレーム（フレームのパラメータ）を予測できる。
【０１９６】
したがって、本発明は予測モデルと言い換えられてもよい。外観モデル１５０８および構造モデル１５０７が上述のように確立されると、幾何学的データ解析技法（例えば、逐次ＰＣＡ、パワー因子分解（power factorization）、一般化されたＰＣＡ、ＰＣＡ／ウェーブレット変換を組み合わせる段階的なＰＣＡなど）を少なくとも外観モデル１５０８に適用することで、対象のコンポーネントのコード化されたビデオデータ（フレームのシーケンス）をもたらす。
【０１９７】
さらなる実施形態では、本発明の画像処理システムは３次元メッシュ表現の代わりに球表現で表されてもよい。対象の各コンポーネントは、線形分解からのデータを含む各楕円体によって表現される。所与の対象のコンポーネントについて、楕円体の短軸は外観モデル１５０８の基底ベクトルを定義し、長軸は構造モデル１５０７の基底ベクトルを定義する。超楕円体のような他の楕円体も適切である。この楕円体表現における陰的表現は動き検出であり、変形モデルおよび明るさモデルがオブジェクトの顕著性を維持するのに十分である。その結果、陰的表現が、対象のコンポーネントに対応するビデオデータのよりコンパクトなコード化を提供する。
【０１９８】
＜仮想画像センサ＞
オブジェクトの「明るさ」はオブジェクトに入射する光の自然現象である。入射角θおよび（反射）光強度Ｉの関数に応じて明るさは変化する。カメラ（または一般的に画像センサ）は、オブジェクトの明るさを効率的にサンプリングして記憶する。結果は、オブジェクトの写真画像（例えば、依然としてビデオフレームのスナップショットまたはシーケンス）である。サンプル画像の画素は(入射角)の一定値θおよび（光反射強度）の一定値Ｉに起因する。画像の各画素について（または画像の少なくとも顕著なオブジェクトにおいて）、本発明はθおよびＩの種々の値に対して取り得る画素データ値をモデル化する。ある画素の明るさにおける変化（すなわち、現ビデオまたは画像データフレームと連続するビデオまたは画像データフレームとの間のその画素のデータ値の変化）を前提として、このモデルを用いて、連続ビデオまたは画像データフレームにおけるオブジェクトの動き、位置および姿勢を判別できる。
【０１９９】
したがって、本発明は、仮想画像センサ、好ましくは異なるデータに対して異なる仮想センサを提供する。仮想画像センサは、各データの様相（品質、表現制限など）に従って形成される。仮想画像センサは、各画像データからの情報を不連続に分離して（すなわち、分割して正規化し、または変動を取り除く）、その情報はデータの圧縮されていない（デコード化された）バージョンの顕著性または品質を保持するのに十分である。
【０２００】
本発明の仮想画像センサ１０１０の好ましい実施形態を図１１に示す。ソース画像１２のデータ（画像データフレーム）が、ステップ１００１で受信される。これに応答して、ステップ１００１では、画像データにおける顕著なオブジェクト（対象のコンポーネント）のモデル１５０７，１５０８を形成するように、前処理プロセッサ１５０２の上述のオブジェクト検出、セグメント化および正規化の技法を適用する。モデル１５０７，１５０８は、いかにファセット（画素）が明るくなるかについて、ならびに種々のθおよびＩについての対応する画素データ値のランベルトモデル化を含む。
【０２０１】
ソース画像１２の所与の画素に対して、ステップ１００２では、モデル１５０７，１５０８によって定義されたデータ値の範囲を解析して、ソースカメラ１１によって生成された現在のデータ値をモデルデータ値（特に、理論的に最高の解（帰着）すなわち解像度（resolution）のデータ値）と比較する。このステップ１００２は、画像データの他の画素について繰り返される。比較に基づいて、ステップ１００２では、ソースカメラ１１の解像度とモデル１５０７，１５０８によって定義された理論的超解像度との関係を決定する。ステップ１００２では、この関係を関数として表現する。
【０２０２】
ステップ１００４では、ステップ１００２で得られた関数をソース画像１２に適用し、向上した解像度の画像１０１１を外挿するか合成する。好ましくは、ステップ１００４において、ソース画像１２の超解像度の画像１０１１を生成する。
【０２０３】
このようにして、本発明は、仮想画像センサ１０１０を提供する。なお、モデル１５０７，１５０８の圧縮されたデータ（パラメータ化されたバージョンのデータ）によって、このような処理（外挿および合成）が可能になる。
【０２０４】
図２Ｂは、本発明が実現される、コンピュータネットワークまたは同様のディジタル処理環境を示す。
【０２０５】
クライアントコンピュータ／装置５０およびサーバコンピュータ６０が、アプリケーションプログラムなどを実行する、処理装置、記憶装置、および入力／出力装置を設ける。クライアントコンピュータ／装置５０は、通信ネットワーク７０を介して、別のクライアント装置／プロセッサ５０およびサーバコンピュータ６０などのその他のコンピュータ装置にリンクされてもよい。通信ネットワーク７０は、リモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット）、コンピュータのワールドワイドの集合形態、ローカルエリアもしくはワイドエリアのネットワーク、およびプロトコル（ＴＣＰ／ＩＰ、Bluetoothなど）を用いるゲートウェイの一部であってもよい。その他の電子的装置／コンピュータネットワークアーキテクチャも適している。
【０２０６】
図２Ｃは、図２Ｂのコンピュータシステムにおけるコンピュータ（例えば、クライアントプロセッサ／装置５０またやサーバコンピュータ６０）の内部構造の図である。各コンピュータ５０，６０は、システムバス７９を含む。ここで、バスはコンピュータまたは処理システムの要素間のデータ転送に用いられるハードウェアラインのセットである。バス７９は、基本的には、コンピュータシステムの異なる要素を接続する共有の電線である。これら要素は、例えば、プロセッサ、ディスクストレージ、メモリ、入力／出力ポート、ネットワークポートなどである。このバスによって、要素間の情報の転送が可能となる。システムバス７９には、Ｉ／Ｏ装置インタフェース８２が取り付けられており、様々な入力および出力装置をコンピュータ５０，６０に接続する。これら入力および出力装置は、例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカなどである。ネットワークインタフェース８６によって、コンピュータは、ネットワーク（例えば、図２Ｂのネットワーク７０）に取り付けられた様々なその他の装置に接続される。メモリ９０は、本発明の実施形態を実装するのに用いられる、コンピュータソフトウェア命令９２およびデータ９４用の揮発性ストレージである。本発明の実施形態は、例えば、線形分解、空間セグメント化、空間／変形可能なメッシュ正規化およびその他のオブジェクトに基づく図２Ａなどの上述した図のエンコード化処理である。ディスクストレージ９５は、本発明の実施形態を実装するのに用いられるコンピュータソフトウェア命令９２およびデータ９４用の不揮発性ストレージである。中央処理装置ユニット８４もシステムバス７９に取り付けられており、コンピュータ命令を実行する。
【０２０７】
一実施形態では、プロセッサルーチン９２およびデータ９４は、コンピュータプログラム製品（総称して符号９２）であり、この製品はコンピュータ読み取り可能な媒体（例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープなどの交換可能ストレージ）を含む。コンピュータプログラム製品９２は、この分野で周知のように、適切なソフトウェアインストール手続きによってインストールされる。別の実施形態では、少なくとも一部のソフトウェア命令が、ケーブル通信および／または無線通信でダウンロードされてもよい。その他の実施形態では、本発明のプログラムが、伝播媒体（例えば、ラジオ電波、赤外線、レーザ光線、音波、またはインターネットなどのグローバルネットワークを伝播される電磁波）の伝播信号に組み込まれるコンピュータプログラム伝播信号製品１０７である。このようなキャリア媒体または信号は、本発明のルーチン／プログラム９２に、ソフトウェア命令の少なくとも一部を提供する。
【０２０８】
別の実施形態では、伝播信号は、アナログキャリア波または伝播媒体で運ばれるディジタル信号である。例えば、伝播信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワークなどのネットワークを伝播されるディジタル信号であってもよい。一実施形態では、伝播信号は、ミリ秒、秒、分またはそれ以上の期間にわたってネットワークをパケットで送信されるソフトウェアアプリケーションの命令のような、所定期間に伝播媒体を転送される信号である。別の実施形態では、コンピュータプログラム製品９２のコンピュータ読み取り可能な媒体は、伝播媒体を受信して、上述のコンピュータプログラム伝播信号製品のような、伝播媒体に組み込まれた伝播信号を特定することによって、受信および読み取りをコンピュータシステム５０が行う、伝播媒体であってもよい。
【０２０９】
一般的に言えば、用語「キャリア媒体」すなわち遷移キャリアは、前述の遷移信号、伝播信号、伝播媒体、記憶媒体などを包含する。
【０２１０】
本発明は、本発明の好ましい実施形態に関連して詳細に示され説明されているが、当業者であれば、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態および細部に様々な変更が可能であることは理解されるであろう。
【図１】
2010526455.tif 000006
【図２Ａ】
2010526455.tif 000007
【図２Ｂ】
2010526455.tif 000008
【図２Ｃ】
2010526455.tif 000009
【図３】
2010526455.tif 000010
【図４】
2010526455.tif 000011
【図５】
2010526455.tif 000012
【図６】
2010526455.tif 000013
【図７】
2010526455.tif 000014
【図８】
2010526455.tif 000015
【図９】
2010526455.tif 000016
【図１０】
2010526455.tif 000017
【図１１】
2010526455.tif 000018
【図１２】
2010526455.tif 000019
【図１３】
2010526455.tif 000020
【図１４】
2010526455.tif 000021