(57)【要約】【課題】ビデオシーケンスの複数のフレームを通じて移動する顔を追跡するシステム及び方法を提供する。【解決手段】ビデオフレーム中の顔の予測位置が得られる。カラーモデル及びエッジモデルの両方の類似度マッチングが行われ、予測位置の周囲でそれぞれの相関値が導出される。次に、相関値が結合されて、ビデオ中の顔を追跡するための最良の位置及びスケール一致が求められる。【選択図】図５
2009026314.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータにより実施される、ビデオシーケンスの複数のフレームを通じて移動する顔の追跡方法（３００）であって、
ビデオフレーム中の顔の予測位置を得るステップ（３０５、３１０、５１０）と、
探索を行って、前記ビデオフレーム中の前記顔の前記予測位置の周囲のカラーモデル類似値を決定するステップ（５２５）と、
探索を行って、前記ビデオフレーム中の前記顔の前記予測位置の周囲のエッジモデル類似値を決定するステップ（５３０）と、
前記ビデオ中の顔を追跡するために、前記カラーモデル類似値を前記エッジモデル類似値と結合して最良一致を決定するステップ（５４０、５４５）とを含む方法。
【請求項２】
前記類似値（５２５、５３０）は２つのデータブロック間の相関を表す、請求項１に記載の方法。
【請求項３】
前記カラーモデル類似値を前記エッジモデル類似値と結合するステップ（５４０、５４５）は、前記カラーモデル類似値（５２５）に前記エッジモデル類似値（５３０）を乗算するステップを含む、請求項１又は２に記載の方法。
【請求項４】
前記相関値は前記乗算の前に正規化される、請求項３に記載の方法。
【請求項５】
前記正規化は、前記相関値についての所定の平均及び分散、計算された最小値及び最大値、又は計算された平均及び分散を用いて行われる、請求項３又は４に記載の方法。
【請求項６】
前記エッジモデルはガウス関数差分（ＤＯＧ）モデル又はガウス関数二次微分（ＬＯＧ）モデルを含み、該ＤＯＧモデル又は該ＬＯＧモデルは、画像のエッジ周辺で高い応答を有するＤＯＧフィルタ又はＬＯＧフィルタを含む、請求項１に記載の方法。
【請求項７】
コンピュータ上で実行される、ビデオの複数のフレームを通じて移動する顔の追跡方法を行う命令を有するコンピュータ読み取り可能な媒体であって、該方法は、
ビデオフレーム中の顔の予測位置を得るステップ（３０５、３１０、５１０）と、
探索を行って、前記ビデオフレーム中の前記顔の前記予測位置の周囲のカラーモデル類似値を決定するステップ（５２５）と、
探索を行って、前記ビデオフレーム中の前記顔の前記予測位置の周囲のエッジモデル類似値を決定するステップ（５３０）と、
前記ビデオ中の顔を追跡するために、前記カラーモデル類似値を前記エッジモデル類似値と結合して最良一致を決定するステップ（５４０、５４５）とを含む、コンピュータ読み取り可能な媒体。
【請求項８】
監視ビデオフレーム中の顔を追跡するトラッカ（５００）であって、
ビデオフレーム中の顔の予測位置を提供する位置予測器（３０５、３１０、５１０）と、
前記顔の前記予測位置の周囲のカラーモデル類似値（５２５）を与えるカラーモデルと、
前記顔の前記予測位置の周囲のエッジモデル類似値（５３０）を与えるエッジモデルと、
前記ビデオ中の顔を追跡するために、前記カラーモデル類似値を前記エッジモデル類似値と結合して前記予測位置の周囲の最良一致を決定する手段（５４０、５４５）とを備えるトラッカ。
【請求項９】
前記カラーモデル類似値を前記エッジモデル類似値と結合する前記手段は、前記カラーモデル類似値に前記エッジモデル類似値を乗算し、該類似値は該乗算の前に正規化される、請求項８に記載のトラッカ。
【請求項１０】
前記エッジモデルは、画像のエッジ周辺で高い応答を有するガウス関数差分（ＤＯＧ）フィルタを含むＤＯＧモデルを含む、請求項９に記載のトラッカ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の外見モデルを用いた多姿勢顔追跡に関する。
【背景技術】
【０００２】
ビデオシーケンス中の顔の追跡は自動化されたビデオ監視のための重要なモジュールである。顔追跡は、ビデオベースの顔認識、顔のタグ付け及び追跡、並びに複数のカメラによる索引付け等の多くの応用の前段階である。ビデオ中の顔追跡は、皮膚の色及びエッジベースの顔の造作特徴等の多くの特徴を用いて長く研究されている問題である。顔追跡は、人物、車両、又は他の関心のある物体等の他の物体の追跡と比べて、独特な一組の問題を呈する。
【０００３】
顔の色はほぼ一様であるため、色を外見モデルとして用いる追跡ソリューションが可能である。多くの研究者が、顔の皮膚の色から導出される特徴、例えばカラーヒストグラムを顔追跡に用いてきた。顔の色を追跡のための外見モデルとして使用すると、様々な頭部姿勢の変化に対して不変になる。しかし、色を用いる顔追跡の問題は、背景が同じような色である場合、又は周囲の照明に変化がある場合に困難であることである。顔のエッジ情報を顔追跡のための外見モデルとして使用すると、照明の変化に強いことが分かった。しかし、顔姿勢の面外（out-of-plane）変化は２Ｄエッジモデルのマッチングを悪化させる。ガウス混合（mixture of Gaussians）を用いて外見をモデル化する一般化された追跡アルゴリズムも用いられている。これは、姿勢変化、通常は面内の（in-plane）姿勢変化のある顔の追跡に用いることができる。他に、外見モデルを用いて、追跡をパーティクルフィルタの枠組みに組み込むこともできる。
【０００４】
ビデオ中の顔を追跡するために２つの主要な手法が用いられてきた。一つの手法では、顔の局所的な特徴が検出（又は手作業でマーキング）され、その特徴が経時的に追跡される。これは、（人間−コンピュータ間の対話用途で用いられるように）顔の位置と共に顔の向きを計算する必要がある場合に有用である。もう一つの手法は、顔を背景と区別する顔の大域特徴、例えばカラーヒストグラムを利用する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
監視ビデオでは、２４×２４ピクセルほどの小さなサイズで複数の顔を追跡する必要があり、局所的な特徴の識別及び追跡が難しくなっている。顔は（影及び屋内照明のために）照明変化を受ける可能性があり、部分的に遮蔽される可能性があり、姿勢が大きく変化する。背景も設定によっては雑多である場合がある。監視設定で顔追跡を効果的に行うには、これらの課題を克服しなければならない。
【課題を解決するための手段】
【０００６】
本発明の方法は、コンピュータにより実施される、ビデオシーケンスの複数のフレームを通じて移動する顔の追跡方法であって、ビデオフレーム中の顔の予測位置を得るステップと、探索を行って、ビデオフレーム中の顔の予測位置の周囲のカラーモデル類似値を決定するステップと、探索を行って、ビデオフレーム中の顔の予測位置の周囲のエッジモデル類似値を決定するステップと、ビデオ中の顔を追跡するために、カラーモデル類似値をエッジモデル類似値と結合して最良一致を決定するステップとを含む。
【発明を実施するための最良の形態】
【０００７】
以下の説明では、本明細書の一部を成し、実施され得る特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を実施できるよう十分に詳細に説明される。他の実施形態を利用してもよいこと、並びに本発明の範囲から逸脱することなく構造的変更、論理的変更及び電気的変更を行ってもよいことを理解されたい。したがって、以下に示す例示的な実施形態の説明は、限定的な意味で解釈されるものではなく、本発明の範囲は添付の特許請求の範囲により規定される。
【０００８】
本明細書中に記載する機能又はアルゴリズムは、一実施形態において、ソフトウェア、又はソフトウェア、ハードウェア及び人間により実施される手順の組み合わせで実装されてもよい。ソフトウェアは、メモリ又は他のタイプの記憶装置等のコンピュータ読み取り可能な媒体に記憶されるコンピュータにより実行可能な命令から成っていてもよい。「コンピュータ読み取り可能な媒体」という用語は、コンピュータ読み取り可能な命令を様々な形態の有線伝送又は無線伝送等によりコンピュータが受信できるようにするあらゆる手段を表すためにも使用される。さらに、そのような機能は、ソフトウェア、ハードウェア、ファームウェア又はその任意の組み合わせであるモジュールに対応する。所望により１つ又は複数のモジュールで複数の機能を実行することができ、記載される実施形態は例示に過ぎない。ソフトウェアは、デジタルシグナルプロセッサ、ＡＳＩＣ、マイクロプロセッサ、又はコンピュータシステム上で動作する他のタイプのプロセッサ、例えばパーソナルコンピュータ、サーバ又は他のコンピュータシステムで実行されてもよい。
【０００９】
ビデオの複数のフレームを通じて移動する顔を追跡するシステム及び方法を提供する。ビデオフレーム中の顔の予測位置が得られる。カラーモデル及びエッジモデルの両方に対する局所探索が行われ、予測位置の周囲に定義される探索領域中の位置毎に、相関値として表される類似値が導出される。次に、相関値が結合されて、ビデオ中の顔を追跡するために最良の位置一致が求められる。
【００１０】
説明では、顔表現に用いられる複数の別個の外見モデルを最初に説明し、次に、顔の位置を予測する方法を説明する。最後に、モデルの結果を結合して顔を追跡する方法を説明する。
【００１１】
一実施形態において、顔外見モデルのエッジ表現及びカラー表現からの表現を結合して顔を追跡する。一実施形態におけるカラー表現は、入力画像のＹＣｂＣｒ色空間である。一実施形態におけるエッジ表現は、グレースケール入力画像に対するガウス関数差分（ＤＯＧ）フィルタの出力である。これら２つのモデルは、一実施形態において独立しており、顔の外見を表現し、その顔をビデオの複数のフレームにわたって追跡するために用いられ得る。一実施形態において、各モデルは相関値を与え、これらの相関値を乗算により結合して、追跡に用いることができる最終的な相関行列を与えることができる。
【００１２】
ＤＯＧフィルタを図１Ａ及び図１Ｂに示す。図１Ａはオン中心・オフ周辺型フィルタの応答を示し、図１Ｂはオフ中心・オン周辺型フィルタの応答を示す。ＤＯＧフィルタは、画像のエッジ、すなわち強度に変化のある場所の周辺で高く、均一領域にわたって低い（又はゼロの）応答を有する。一実施形態において、ＤＯＧフィルタをエッジベースモデル又は顔スケッチと呼ぶ場合がある。ＤＯＧフィルタは、エッジに応答するものの、無指向フィルタであるため、向きには敏感でない。このような特性を有する細胞が、視覚処理の最初の段階である、人間の視覚系の外側膝状体（lateral Geniculate Nucleus，ＬＧＮ）層で見つかっている。このようなフィルタは、照明の変化への対応に役立つコントラスト正規化特性を有する。ＤＯＧフィルタは、顔認識に有用であることも示されている。ＤＯＧフィルタは、良好な認識率を与え、わずかな姿勢の変化には耐え得る。
【００１３】
エッジベースモデルの場合、グレースケール顔画像に対するガウス関数差分（ＤＯＧ）の出力を用いる。フィルタには２つのタイプ、すなわち、オン中心・オフ周辺型及びオフ中心・オン周辺型がある。一方のフィルタの出力で十分に他方のフィルタの出力が得られる（基本的にオフ中心型の出力はオン中心型の出力の反対である）が、外見モデルの表現が正（positive）になるように２つのフィルタを用いる。一実施形態では、正のカーネル（positive kernel）を定義し、閾値処理前のオン出力の反対（negative）により負の（negative）出力を得ることができる。ＤＯＧは次のように定義される。
【００１４】
【数１】
2009026314.tif 000003
【００１５】
ここで、σｃ（３）は中心ガウス関数の標準偏差であり、σｓ＝Ｋσｃは周辺ガウス関数の標準偏差であり、Ｋは定数である。ＤＯＧは、正の値の和が１となり、負の値の和が１となるように正規化される。これにより、均一領域では応答がゼロになる。中心・周辺型フィルタを用いることにより、次の２組の特徴が得られる。
【００１６】
【数２】
2009026314.tif 000004
【００１７】
図２Ａ、図２Ｂ及び図２ＣはＤＯＧフィルタの出力を示す。図２Ａは入力画像である。図２Ｂはオンフィルタ出力であり、図２Ｃはオフフィルタ出力である。
カラーテンプレート外見モデルは基本的に、適切な色空間における物体のスナップショットである。一実施形態では、ＹＣｂＣｒ色空間を用いて顔を表現する。ＹＣｂＣｒ色空間は他の色空間よりも、皮膚の画素と皮膚以外の画素との識別性が高い場合がある。ＹＣｂＣｒ空間は、様々な変換関数を用いてＲＧＢ空間をＹＣｂＣｒ空間に変換することによって作成してもよい。そのような空間で顔を表現すると、顔の画素と顔以外の画素とが最大限に分離され、よって顔の追跡により役立ち得る。一実施形態において、照明及び姿勢の変化は、ＤＯＧからの結果と、カラーテンプレート外見モデルからの結果とを結合することによって処理される。両モデルを使用して結合することにより、頭部姿勢及び周囲光照明が変化する場合の監視ビデオ中の顔追跡の信頼性が高まる。
【００１８】
コンピュータにより実施される顔追跡方法３００の概観を図３に擬似コードで示す。この顔追跡方法３００は、顔検出器からの検出を用いて経時的に顔を追跡する。方法３００の入力は、ビデオの特定のフレームに対する各モデルからの一組の検出である。
【００１９】
３０５に示すようにビデオのトラック毎に、３１０において顔の予測位置を得る。予測位置がフレーム外である場合、そのトラックは３１５において削除してもよい。３２０において、予測位置の周囲の最良一致を求める。
【００２０】
３２５において、最良一致の位置と検出位置との重なりに基づいて検出をトラックと関連付ける。３３０において、２つ以上のトラックが検出と関連付けられた場合、最良の重なりを有するもの以外の関連付けを除去する。
【００２１】
３３５において、トラックと関連付けられない検出毎に、その検出に関して新たなトラックを開始する。或るトラックが検出と関連付けられず、そのトラックの長さが２フレーム未満である場合、そのトラックは３４０において削除してもよい。
【００２２】
一実施形態におけるパーティクル（粒子）フィルタは、トラックの経時的な位置の予測を行うために用いられる。さらに別の実施形態では他のフィルタを用いてもよい。一実施形態では顔の４つの状態を追跡することができる。４つの状態とは、左上の位置（ｘ，ｙ）及び速度（ｖｘ，ｖｙ）である。各粒子の重みも保持される。トラック毎に、以下の変数を保持する。
【００２３】
１．ｐｘｉ（ｔ）−時刻ｔにおける粒子ｉの左上のｘ位置
２．ｐｙｉ（ｔ）−時刻ｔにおける粒子ｉの左上のｙ位置
３．ｐｘｖｉ（ｔ）−時刻ｔにおける粒子ｉのｘ方向における速度
４．ｐｙｖｉ（ｔ）−時刻ｔにおける粒子ｉのｙ方向における速度
５．ｗｔｉ（ｔ）−時刻ｔにおける粒子ｉの重み
検出器により顔が検出されると、新たなトラックが作成され、対応する粒子が初期化される。各トラックは、１０００個の粒子の組により初期の定速度を１とし、検出された顔の左上の位置の周囲に粒子の位置を分布させて初期化される。一実施形態では、検出された顔の左上の角の周囲を初期位置とし、初期の重みを以下の定数として１０００個の粒子を提供する。
【００２４】
【数３】
2009026314.tif 000005
【００２５】
ここで、ｏｂｓｘ（ｔ）、ｏｂｓｙ（ｔ）は、時刻ｔにおけるトラックの（顔検出器から）観測された（ｘ，ｙ）位置であり、ＸＶＥＬ、ＹＶＥＬは初期速度であり、Ｇ（ｉ）はガウス乱数であり、σは分散であり、Ｎは粒子数である。粒子は、σに応じて検出された位置の周囲に分布することになる。トラッカの一実施形態においてσは２に設定される。
【００２６】
任意の時刻ｔに関して、パーティクルフィルタからの位置の予測は次のように得られる。
【００２７】
【数４】
2009026314.tif 000006
【００２８】
図４の４００に示されるように、パーティクルフィルタも様々な時刻において更新される。（検出からの又は探索により得られる）観測位置をｏｂｓｘ（ｔ）、ｏｂｓｙ（ｔ）とする。速度推定値は４０５において次式により得ることができる。
【００２９】
【数５】
2009026314.tif 000007
【００３０】
以下のステップを用いてパーティクルフィルタを更新する。４１０において、粒子の重みを観測に基づいて再計算する。
【００３１】
【数６】
2009026314.tif 000008
【００３２】
ここで、σｄ及びσｄｖはそれぞれ位置及び速度の分散である。これにより、粒子間の重み値の分布が決まる。
４１５において粒子を重みに基づいてリサンプリングする。新たな粒子の約（５０＋Ｐ）％が、元の粒子集合をそれらの重みに基づいてリサンプリングすることによって生成される。ここで、Ｐの範囲は０〜５０である。置換アルゴリズムによるサンプリングを用いて粒子をリサンプリングしてもよい。
【００３３】
４４５において観測を用いて残りの（５０−Ｐ）％の粒子を埋めることができる。これらの粒子は、初期化と同様に、観測の周囲に状態が分配される。次に、４５０において粒子の状態を更新する。一実施形態において、粒子の状態は次式を用いて更新される。
【００３４】
【数７】
2009026314.tif 000009
【００３５】
ここで、σは定数である。
図５の５００に示すように探索を行って最良一致を求めることができる。現フレームにおけるトラックの位置を見つけるために、一実施形態では、予測位置の周囲で外見モデルを用いる探索を行って最良一致を求め、次にこの最良一致を用いて外見モデルを更新する。
【００３６】
５１０において、パーティクルフィルタ（ｘ，ｙ）から予測位置を得る。５１５において、探索領域を（ｘ１，ｙ１，ｘ２，ｙ２）に固定する。ここで、
【００３７】
【数８】
2009026314.tif 000010
【００３８】
である。
すなわち、探索領域は外見モデルのサイズの２倍である。探索領域のサイズは、顔の動きのダイナミクスによって、また追跡精度によって決まる。探索領域が大きい場合、顔は探索領域内にある可能性が高く、探索機構が顔を正確に見つける可能性が高まる。一方、探索領域が大きい場合、探索を行うのにかかる時間が増え、計算速度が低下する。したがって、探索領域はシーン及び顔のダイナミクスに基づいて決める。スケール＝１−ｐ，１，１＋ｑである場合（ｐ及びｑは顔の動きに基づいて最適化される定数である）、５２０において外見モデルをこのスケールに合わせてサイズ変更することができる。５２５において、
【００３９】
【数９】
2009026314.tif 000011
【００４０】
＝相関値は、カラーテンプレート外見モデルの探索領域内でのテンプレートマッチングにより得られる。
【００４１】
【数１０】
2009026314.tif 000012
【００４２】
＝相関値は、５３０において、ＤＯＧ外見モデルの探索領域内でのテンプレートマッチングにより得られる。これらの相関値を次に５４０において乗算する。
【００４３】
【数１１】
2009026314.tif 000013
【００４４】
ここで、
【００４５】
【数１２】
2009026314.tif 000014
【００４６】
は最終的な相関値行列である。また５４０において、スケールｓの最良位置は
【００４７】
【数１３】
2009026314.tif 000015
【００４８】
となり、相関値はＶＳとなる。３つの位置の中から、最大相関値に基づいて最良のものを選択する。
【００４９】
【数１４】
2009026314.tif 000016
【００５０】
５４５において最良一致を探索する。図６は、６００の最良一致の探索の図式表現である。６１０のｘ，ｙは予測位置を示す。実線６１５はフレームを示し、破線６２０は探索領域を示し、点線６２５は外見モデルのサイズを示す。
【００５１】
２つの外見モデルを用いた探索により得られた相関値を乗算して、５４０において上述したように最終的な相関行列を得る。次に５４５において、この最終的な相関行列を用いて最良一致位置を求める。乗算により、最終的な最良位置が確実に両方の外見モデルに対して高い相関値を有する位置となるようにする。この手法の興味深い一つの側面は、相関値の範囲が外見モデル毎に異なる点である。例えば、一実施形態におけるカラーテンプレート外見モデルの範囲は０．９６〜１であり、ＤＯＧ外見モデルの範囲は０．３〜１である。この範囲の違いにより、最終的な位置の推定値はＤＯＧ外見モデルに強く影響を受ける場合がある。一実施形態において、相関値は乗算の前に正規化される。さらに別の実施形態では、相関値を重み付けして、検出されたビデオ条件と一致するモデルの相関値の重み付けがより重くなるようにする。
【００５２】
パーティクルフィルタからの予測位置はトラックのおおよその位置を与える。顔の寸法（幅、高さ）が外見モデルから得られる。顔が検出されると、顔検出器により与えられる幅及び高さを用いて外見モデルを構築することができる。その後、スケール空間にわたって顔を探索し、適切な幅及び高さを求める。予測位置から探索領域を構築する。
【００５３】
トラッカが顔を見失った場合、（最新の観測が枠組みに組み込まれることから）推定位置が予測位置に大きく影響を与えるため、トラッカが顔を再び捕捉することは困難である場合がある。したがって、一実施形態におけるパーティクルフィルタの枠組みは複数の粒子分布を保持する。一実施形態において、ブースト（boosted）パーティクルフィルタは、ＡｄａＢｏｏｓｔ（適応ブースト−前の分類器により誤分類された事象に有利となるように分類器を変更）検出を用いて、分布案の一部を形成する。特に、パラメータに基づいて、ＡｄａＢｏｏｓｔ検出に基づく分布案から一部の粒子をサンプリングすることができ、一部を状態推定値に基づいてサンプリングする。これは、トラッカが状態推定値及びＡｄａＢｏｏｓｔ検出の両方に依存することにより互いを補償するのに役立つ。特に、一部の粒子が誤った推定値に基づいて分布していても、他の一部は依然として（正しいと思われる）検出に基づいて分布しているため、トラッカはトラックを再び捕捉することができる。
【００５４】
典型的な監視ビデオでは、シーンに初めて現れた顔は検出されない場合がある。これは、顔画像の品質、例えば顔のサイズ（検出することのできる最小サイズよりも小さい）又は照明条件のためである可能性がある。したがって、顔が検出されるのはシーンが数フレーム経ってからである場合がある。顔の完全な追跡を確立するために、トラッカは顔が検出されたフレームから時間を遡って、信頼できる追跡ができる時点まで顔を逆追跡する。トラックを辿るのが、顔がそれらのフレームを過ぎてしまってからであっても、その情報を後に用いて、その人物がいた場所をより良く説明する。
【００５５】
逆追跡は、フレームを逆行することを除き、通常の追跡（前述）と同様に達成される。したがって、この付加的なタスクは既存の枠組みの中で達成することができる。トラック跡をリアルタイムで見ることはできないが、裁判分析に用いられる。
【００５６】
歩いている複数の人物及び複雑な背景を有する現実の監視ビデオを用いた例を図７のビデオのいくつかのフレームに示す。最初に、ビデオ中の顔を顔検出器によりタグ付け（検出）し、次に、タグ付けした顔を追跡する。トラッカの出力を数フレームにわたって図７に示す。ビデオ画像シーケンス中で２人の顔を追跡する。顔は、その周囲に描いた正方形で識別する。他の属性、例えばハイライトを用いて顔を識別してもよい。こうして、フレーム１３の濃い色のシャツを着た人物をフレーム２０において彼のすぐ左側にいる人物と共に示す。以後のフレームに示すように、トラッカは、階段の一番下に着いて向きを変えた際、フレーム１００において濃い色のシャツを着た人物が横を向いた際の急速な経時変化を含む様々な姿勢の変化にも関わらず、両方の人物を一貫して追跡することができた。人物がカメラに歩いて近づくにつれてスケールも変化したことに留意されたい。
【００５７】
図８は、照明変化の処理を説明するいくつかのフレームを示す。照明は、フレーム１５及びフレーム１７の間に明から暗に劇的に変化する。カラーテンプレート外見モデルを単独で使用した場合、そのような照明変化があると追跡は失われるであろう。しかし、カラーテンプレートにＤＯＧ外見モデルを足した統合モデルは、より高い性能を発揮する。人物はタグ付けされ、フレーム５〜１８にわたって追跡される。光が変化しても追跡は維持される。
【００５８】
上記アルゴリズム及び上記方法を実施するためのプログラミングを実行するコンピュータシステムのブロック図を図９に示す。コンピュータ９１０の形態の一般的なコンピューティングデバイスは、処理装置９０２、メモリ９０４、取り外し可能な記憶装置９１２、及び取り外し不可能な記憶装置９１４を備え得る。メモリ９０４は、揮発性メモリ９０６及び不揮発性メモリ９０８を含み得る。コンピュータ９１０は、様々なコンピュータ読み取り可能な媒体、例えば揮発性メモリ９０６及び不揮発性メモリ９０８、取り外し可能な記憶装置９１２及び取り外し不可能な記憶装置９１４を備えるか、又はそれらを含むコンピューティング環境にアクセス可能であってもよい。コンピュータ記憶装置は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）及び電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ若しくは他の記憶技術、コンパクトディスク読み出し専用メモリ（ＣＤ  ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶装置、又はコンピュータ読み取り可能な命令、及びビデオフレームを含むデータを記憶することが可能な任意の他の媒体を含む。コンピュータ９１０は、入力９１６、出力９１８、及び通信接続９２０を備えるか、又はそれらを含むコンピューティング環境にアクセス可能であってもよい。コンピュータは、通信接続を用いて１つ又は複数の遠隔コンピュータに接続してネットワーク環境において動作してもよい。遠隔コンピュータは、パーソナルコンピュータ（ＰＣ）、サーバ、ルータ、ネットワークＰＣ、ピアデバイス又は他の共通ネットワークノード等を含み得る。通信接続は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）又は他のネットワークを含み得る。
【００５９】
コンピュータ読み取り可能な媒体に記憶されるコンピュータ読み取り可能な命令は、コンピュータ９１０の処理装置９０２によって実行可能である。ハードドライブ、ＣＤ−ＲＯＭ、及びＲＡＭが、コンピュータ読み取り可能な媒体を含む物品の数例である。
【００６０】
本発明は、様々な照明及び頭部姿勢の変化がある状態で顔を追跡するロバストな顔追跡システムを提供する。本システムは、複数の外見モデルを統合することにより照明の変化を処理することができる。本システムはまた、面内及び面外の姿勢変化の両方を高い信頼性で処理することができる。ＤＯＧフィルタを用いて顔の外見モデルを生成する。外見モデルをカラー外見モデルと結合して、照明、姿勢及びスケールの変化を通してロバストな顔追跡を得る。
【００６１】
米国特許法第１．７２条（ｂ）に従って、読者が技術的開示の性質及び要旨を素早く判断できるように要約書を提供する。要約書は、特許請求項の範囲又は意味を解釈又は限定するために用いられないという了解の下で提出される。
【図面の簡単な説明】
【００６２】
【図１Ａ】例示的な一実施形態によるガウス関数差分（ＤＯＧ）フィルタモデルを示すグラフである。
【図１Ｂ】例示的な一実施形態によるガウス関数差分（ＤＯＧ）フィルタモデルを示すグラフである。
【図２Ａ】例示的な一実施形態による、図１（ａ）及び図１（ｂ）のフィルタの入力を示す図である。
【図２Ｂ】例示的な一実施形態による、顔に対する図１（ａ）フィルタの出力を示す図である。
【図２Ｃ】例示的な一実施形態による、顔に対する図１（ｂ）のフィルタの出力を示す図である。
【図３】例示的な一実施形態によるトラック中の顔の位置予測の擬似コード表現である。
【図４】例示的な一実施形態によるパーティクルフィルタの更新方法を示す擬似コードによるフロー図である。
【図５】例示的な一実施形態による複数のモデルを用いる顔追跡方法のフロー図表現である。
【図６】例示的な一実施形態による予測位置のブロック表現である。
【図７】例示的な一実施形態によるフレーム間の顔追跡を示す監視ビデオからの一連のフレームである。
【図８】例示的な一実施形態による、照明変化のあるフレーム間の顔追跡を示す監視ビデオからの一連のフレームである。
【図９】例示的な一実施形態による方法の実施に用いられる典型的なコンピュータシステムのブロック図である。
【図１Ａ】
2009026314.tif 000017
【図１Ｂ】
2009026314.tif 000018
【図２Ａ】
2009026314.tif 000019
【図２Ｂ】
2009026314.tif 000020
【図２Ｃ】
2009026314.tif 000021
【図３】
2009026314.tif 000022
【図４】
2009026314.tif 000023
【図５】
2009026314.tif 000024
【図６】
2009026314.tif 000025
【図７】
2009026314.tif 000026
【図８】
2009026314.tif 000027
【図９】
2009026314.tif 000028
【外国語明細書】
2009026314000001.pdf