(57)【要約】  動画ビデオ内においてオブジェクトの適応型確率的追跡を行うためのシステムおよび方法（図２）を開示する。本方法では、時間によって変化する固有基底２１８と、動的モデル２２４と、観測モデル２３０と、推論モデル２３６とを利用する。固有基底２１８は、オブジェクトのモデルとして利用される。動的モデル２２４は、オブジェクトの動きを表現し、前の位置に基づいてオブジェクトの予想位置を定義する。観測モデル２３０は、現在の固有基底２１８とオブジェクトの観測結果との距離を測定する。推論モデル２３６は、過去と現在の観測結果に基づいて、オブジェクトの最も可能性の高い位置を予測する。
2007513408.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像セットの中の２つ以上のデジタル画像内におけるオブジェクトの位置を追跡するためのコンピュータによる方法であって、
前記デジタル画像セットの中で第一の画像を表現する第一の画像ベクトルを受け取るステップと、
前記第一の画像ベクトルから前記オブジェクトの位置を決定するステップと、
動的モデルを前記第一の画像ベクトルに適用して、前記第一の画像ベクトルと前記デジタル画像セットの中で次に続く第二の画像を表現する第二の画像ベクトルとの間の前記オブジェクトの予想の動きを決定するステップと、
観測モデルを前記第一の画像ベクトルに適用して、前記第二の画像ベクトル内における前記オブジェクトの予想位置セットから前記第二の画像ベクトル内における前記オブジェクトの最も可能性の高い位置を決定するステップと、
推論モデルを前記動的モデルと前記観測モデルとに適用して、前記オブジェクトの最も可能性の高い位置を予測するステップと、
前記２つ以上のデジタル画像の画像空間を表現する固有基底を更新するステップと、を備えることを特徴とする方法。
【請求項２】
前記動的モデルが、
アフィン変形による、線形の平行移動、回転、および拡大縮小を表現することを特徴とする請求項１に記載の方法。
【請求項３】
前記観測モデルが、
確率的主成分分布を備え、
観測結果と前記固有基底との間の距離の正規成分を表現することを特徴とする請求項１に記載の方法。
【請求項４】
前記推論モデルが、
前記デジタル画像セットの中の一対の連続する前記デジタル画像において作用する標本抽出法を備えることを特徴とする請求項１に記載の方法。
【請求項５】
前記固有基底を更新するステップは、
帰納的特異値分解と逐次的カルーネン‐ロエーブアルゴリズムの適用とを備えることを特徴とする請求項１に記載の方法。
【請求項６】
前記動的モデルが、
アフィン変形による、線形の平行移動、回転、拡大縮小、アスペクト比、および捩れを表現することを特徴とする請求項１に記載の方法。
【請求項７】
前記観測モデルが、
確率的主成分分布を備え、
観測結果と前記固有基底との間の距離の正規直交成分を表現することを特徴とする請求項１に記載の方法。
【請求項８】
前記推論モデルが、
前記デジタル画像セットの中の選択可能な数の連続する前記デジタル画像を備えるスライディングウィンドウにおいて作用することを特徴とする請求項１に記載の方法。
【請求項９】
前記固有基底を更新するステップは、
帰納的特異値分解と逐次的カルーネン‐ロエーブアルゴリズムの適用とを備え、
標本平均の変動に適応する
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記２つ以上のデジタル画像の画像空間を表現する初期固有基底を構築するステップをさらに備えることを特徴とする請求項１に記載の方法。
【請求項１１】
前記動的モデルが、
アフィン変形による、線形の平行移動、回転、および拡大縮小を表現することを特徴とする請求項１０に記載の方法。
【請求項１２】
前記観測モデルが、
確率的主成分分布を備え、
観測結果と前記固有基底との間の距離の正規成分を表現することを特徴とする請求項１０に記載の方法。
【請求項１３】
前記推論モデルが、
前記デジタル画像セットの中の一対の連続する前記デジタル画像において作用する単純標本抽出法を備えることを特徴とする請求項１０に記載の方法。
【請求項１４】
前記固有基底を更新するステップは、
帰納的特異値分解と逐次的カルーネン‐ロエーブアルゴリズムの適用とを備えることを特徴とする請求項１０に記載の方法。
【請求項１５】
前記動的モデルが、
アフィン変形による、線形の平行移動、回転、拡大縮小、アスペクト比、および捩れを表現することを特徴とする請求項１０に記載の方法。
【請求項１６】
前記観測モデルが、
確率的主成分分布を備え、
観測結果と前記固有基底との間の距離の正規直交成分を表現することを特徴とする請求項１０に記載の方法。
【請求項１７】
前記推論モデルが、
前記デジタル画像セットの中の選択可能な数の連続する前記デジタル画像を備えるスライディングウィンドウにおいて作用することを特徴とする請求項１０に記載の方法。
【請求項１８】
前記固有基底を更新するステップは、
帰納的特異値分解と逐次的カルーネン‐ロエーブアルゴリズムの適用とを備え、
標本平均の変動に適応する
ことを特徴とする請求項１０に記載の方法。
【請求項１９】
デジタル画像セットの中の２つ以上のデジタル画像内におけるオブジェクトの位置を追跡するためのコンピュータシステムであって、
前記デジタル画像セットの中で第一の画像を表現する第一の画像ベクトルを受け取る手段と、
前記第一の画像ベクトルから前記オブジェクトの位置を決定する手段と、
動的モデルを前記第一の画像ベクトルに適用して、前記第一の画像ベクトルと前記デジタル画像セットの中で次に続く第二の画像を表現する第二の画像ベクトルとの間の前記オブジェクトの予想の動きを決定する手段と、
観測モデルを前記第一の画像ベクトルに適用して、前記第二の画像ベクトル内における前記オブジェクトの予想位置セットから前記第二の画像ベクトル内における前記オブジェクトの最も可能性の高い位置を決定する手段と、
推論モデルを前記動的モデルと前記観測モデルとに適用して、前記オブジェクトの最も可能性の高い位置を予測する手段と、
前記２つ以上のデジタル画像の画像空間を表現する固有基底を更新する手段と、を備えることを特徴とするシステム。
【請求項２０】
前記２つ以上のデジタル画像の画像空間を表現する初期固有基底を構築する手段をさらに備えることを特徴とする請求項１９に記載のシステム。
【請求項２１】
デジタル画像セット内におけるオブジェクトの位置を追跡するための画像処理コンピュータシステムであって、
前記デジタル画像セットを表現するデータを受け取る入力部と、  
前記入力部に接続され、前記デジタル画像セットを表現するデータを記憶する記憶装置と、  
前記記憶装置に接続され、前記デジタル画像セットの２つ以上のデジタル画像を表現するデータを繰り返し取り出す処理部と、を備え、
前記処理部は、
動的モデルを前記２つ以上のデジタル画像の中の第一のデジタル画像に適用して、前記２つ以上のデジタル画像の中の第一のデジタル画像と前記２つ以上のデジタル画像の中の次に続く第二のデジタル画像との間の前記オブジェクトの予想の動きを決定し、
観測モデルを前記第一のデジタル画像に適用して、前記第二のデジタル画像内における前記オブジェクトの予想位置セットから前記第二のデジタル画像内における前記オブジェクトの最も可能性の高い位置を決定し、
推論モデルを前記動的モデルと前記観測モデルとに適用して、前記第二のデジタル画像内におけるオブジェクトの最も可能性の高い位置を予測し、
前記２つ以上のデジタル画像の画像空間を表現する固有基底を更新することを特徴とする画像処理コンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への参照
本出願は、合衆国法律集（ＵＳＣ）３５条§１１９（ｅ）の下、米国仮特許出願第６０／５２０，００５号、「部分空間の逐次更新を伴う適応型確率的画像追跡（Adaptive Probabilistic Visual Tracking With Incremental Subspace Update）」に基づいて優先権を主張するものであり、この内容をすべて参照することによって本明細書中に組み込むものとする。
【０００２】
本出願は、２００３年１１月６日に出願された米国特許出願第１０／７０３，２９４号、「多様な照明条件におけるオブジェクトの外観のクラスタリング（Clustering Appearances of Objects Under Varying Illumination Conditions）」に関し、この内容をすべて参照することによって本明細書中に組み込むものとする。
【０００３】
本出願は、２００４年６月１日に出願された米国特許出願第１０／８５８，８７８号、「オブジェクトを検出するための方法、装置、およびプログラム（Method, Apparatus and Program for Detecting an Object）」に関し、この内容をすべて参照することによって本明細書中に組み込むものとする。
【０００４】
本発明は、一般的には、コンピュータビジョンの分野に関し、より詳細には、動画ビデオ内におけるオブジェクトの画像追跡に関する。
【背景技術】
【０００５】
写真愛好家型のデジタルカメラから高性能コンピュータビジョンシステムに至るまで、デジタル画像は、日々の生活になくてはならない部分となっている高成長の技術である。最も基本的な定義によれば、デジタル画像とは、力メラやビデオ力メラなどのデジタル画像装置によって撮影した被写体の画像のコンピュータ読み取り可能な表現である。コンピュータ読み取り可能な表現、すなわちデジタル画像としては、数多くの利用可能なグラフィック形式のうちの１つに従って、多数の画素、すなわちピクセルを画像ファイルまたはドキュメント中に配列したものがある。例えば、グラフィックファイル形式には、ビットマップ、ＧＩＦ（Graphics Interchange Format）、ＪＰＥＧ（Joint Photographic Experts Group）形式などがあるが、これらに限定されるものではない。被写体は、画像化することができるものであれば何でもよく、例えば、写真として撮影されるものやビデオとして録画されるものなどがある。一般的に、被写体には、物体またはその物体の一部、人物またはその人物の一部、景色、動物などの場合がある。通常、被写体の画像は、その画像をある程度識別するための可視化条件を備える。画像化における可視化条件には、代表的なものとして、力メラとオブジェクトとの間の相対配向（すなわちポーズ）や、外光の下で画像を取得する場合の外光などがある。
【０００６】
動画ビデオは、一般的に、一連の静止画像、すなわちフレームとして取得される。この動画ビデオを構成する一連のフレーム内においてあるオブジェクトに注目して位置を追跡する機能は、特に関心を集めており有用であるが、この概念を一般的に画像追跡という。この応用例としては、時間の経過とともに変わるオブジェクトの位置や記述に注目して行う情報収集や、取得したオブジェクトの位置に基づいて特定の動作を実行するようマシンに指示することができるロボット技術などがあるが、これらに限定されるものでない。
【０００７】
全画像内においてオブジェクトや背景が動くため、画像追跡手法の設計は容易でない。従来のアルゴリズムでも、事前に観測したか否かに関わらず、短時間のスパンでしかも環境が適切に管理されていれば、オブジェクトを追跡することはできるかもしれない。しかしながら、オブジェクトの外観が大きく変化したり照明が多様に変化したりするため、これらのアルゴリズムでは、通常、オブジェクトの動きを観測し損ねたり、結局、深刻なドリフトが起きてしまったりする。このような状況は改善されたが、ほとんどの画像追跡アルゴリズムは、一般的に、オブジェクトは時間の経過とともに大きく変化しないことを前提として作用する。したがって、これらのアルゴリズムでは、例えばポーズや顔の表情の多様な変化などの外観の変化や、例えば照明の多様な変化などの環境の変化を考慮することなく、オブジェクトの静的モデルの初期化を行う。このような方法には、不安定になる傾向がある。
【０００８】
以上により、例えば、オブジェクト自体のポーズや形状が多様に変化する内因性変化だけでなく、例えば、力メラ方向、照明、または背景における外因性変化をも学習しこれらに適応するロバストな改良型画像追跡方法が必要である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明によって、オブジェクトの記述の逐次更新を伴う画像追跡方法および画像追跡装置が提供される。この反復追跡アルゴリズムによれば、固有基底によって追跡するオブジェクトを表現する。動的モデルによって、連続するフレームにおいて予測した位置の近くにオブジェクトの予想位置を仮定する。そして、観測モデルによって、事後確率が最大になるオブジェクトの位置を推定し、これによって、現在の固有基底から最適に近似することができる予想位置を選択する。推論モデルでは、動的モデルおよび観測モデルを過去の複数のフレームに適用することによって、オブジェクトの次の位置を予測する。最後に、固有基底を更新することによってオブジェクトの外観の変化に適応するようにする。
【課題を解決するための手段】
【００１０】
本発明の１つの実施形態によれば、動的モデルでは、アフィン変形モデルを使ってオブジェクトの逐次的な動きを表現する。このモデルでは、複数の正規分布に従って、線形の平行移動、回転、および拡大縮小を、観測したそれぞれのフレームとオブジェクトの現在位置との関数として表現する。観測モデルでは、確率的主成分分布を利用して、現在観測した画像が現在の固有基底によって生成された確率を評価する。これについては、Ｍ．Ｅ．ティッピング（M. E. Tipping）およびＣ．Ｍ．ビショップ（C. M. Bishop）著、「確率的主成分解析（Probabilistic principal component analysis）」王立統計学会ジャーナル（Journal of the Royal Statistical Society）、シリーズＢ、６１（１９９９年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。推論モデルでは、一対の連続するフレームにおいて作用する単純標本抽出法を利用することによって、オブジェクトが存在する可能性が最も高い位置を効果的かつ効率的に推定する。逐次的カルーネン‐ロエーブ（Karhunen-Loeve）アルゴリズムを適用することによって固有基底を更新し、さらに、トレーニング情報を利用することができる場合は、オプションとして固有基底を初期化してもよい。
【００１１】
第二の実施形態は、逐次推論モデルが選択可能な数の連続するフレームを含むスライディングウィンドウにおいて作用するよう前記第一の実施形態を拡張したものである。動的モデルでは、上記に加えアスペクト比および捩れ方向を含む６個のパラメータを表現する。観測モデルに関しては、観測結果と固有基底との間の距離の正規直交成分に適応するよう拡張されている。最後に、固有基底モデルおよび更新アルゴリズムに関しては、正確な解を導くと同時に標本平均の変動に適応するよう拡張されており、固有基底の初期化は不要である。
【００１２】
本発明の他の実施形態によれば、デジタル画像を受け取る入力装置と、このデジタル画像セットを記憶する格納部または記憶部と、アイデンティティによる画像追跡アルゴリズムを実施する処理部とを備えるコンピュータシステムを含むシステムを提供する。
【００１３】
上記の本発明の実施形態によって、効率的計算、ロバスト性、および安定性が促進される。さらに、これらによって、オブジェクトの追跡だけでなくオブジェクトの認識も行うことができる。実験によって、本発明の方法において、照明、ポーズ、および拡大縮小比率が大きく変動しても、オブジェクトをリアルタイムで適切に追跡することができることを示す。
【００１４】
本明細書に記載された特徴および優位点は、すべてを包括するものではなく、特に、当分野の通常の技術を有するものであれば、図面、明細書、および請求項を考察することによって、他にも多数の特徴および優位点があることを明確に理解するであろう。また、明細書で使用する用語は、主に読みやすくしたり理解しやすくしたりするために選ばれたものであり、本発明の主題を制限したり限定したりするために選ばれたものでないことに留意すべきである。
【００１５】
本発明には他にも優位点や特徴があるが、これらについては、下記の添付図面と共に、後述の本発明の詳細な説明およびその後の請求項によって、より容易に明白になるであろう。
【発明を実施するための最良の形態】
【００１６】
図面および以下の説明は、本発明の最良の実施形態に関する単なる例示にすぎない。以下の説明によって、本明細書で開示する構造と方法の代替の実施形態が、本発明の請求の範囲の趣旨を逸脱せずに利用することができる実行可能な代替手段として容易に認識されることに留意すべきである。
【００１７】
次に、本発明のいくつかの実施形態について詳細に説明し、それらの実施例に関して添付図面で図解する。これらの図面において、実際に同様または類似の参照番号が使用される場合は、同様または類似の機能を示しうることに留意されたい。これらの図面は、単なる例示の目的のみで本発明の実施形態を示すものである。当業者であれば、以下の説明より、本明細書に記載した本発明の趣旨を逸脱しない限り、本明細書で例示した構造と方法に対する代替の実施形態を利用することができることを容易に理解するであろう。
【００１８】
図１は、オブジェクトの追跡における問題を示す概略図である。各時間ステップｔにおいて、画像領域、すなわちフレームＦｔが順次観測されるが、オブジェクトの位置Ｌｔは、観測されない、すなわち隠れた状態変数として扱われる。１つのフレームから次のフレームまでのオブジェクトの動きは、単にＬｔ−１における確率から導いたオブジェクトが
Ｌｔに現れる確率に基づいてモデル化される。すなわち、このモデルでは、現在の画像フレームを観測する前に決定するのと同様に、時間ｔにおけるオブジェクトの予想位置を表現する。この場合、オブジェクトが特定の予想位置に存在する尤度は、確率分布によって決定される。本目的は、事後確率によって最も可能性の高いオブジェクトの位置を決定することである。
【００１９】
次に図２を参照すると、本発明の第一の実施形態が示される。ステップ２０６で、初期フレームベクトルを受け取る。このフレームベクトルは、１ピクセルにつき１つの要素を含む。各ピクセルは、明るさ、色などの記述を備える。ステップ２１２で、オブジェクトの初期位置を決定する。これは、手作業または自動的手段によって行うことができる。
【００２０】
オブジェクトの位置を自動的に決定する方法の一例として、顔検出がある。顔検出の一つの実施形態については、米国特許出願第１０／８５８，８７８号、「オブジェクトを検出する方法、装置、およびプログラム（Method, Apparatus and Program for Detecting an Object）」に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。この実施形態によって、１つの画像の中で注目するオブジェクトまたは領域を追跡する方法が分かる。
【００２１】
ステップ２１８では、初期固有基底をオプションとして構築する。固有基底とは、オブジェクトを含むオブジェクトのクラスを数学的にコンパクトに表現したものである。例えば、異なる照明条件の下で取得された特定の人物の顔の画像セットに対して、Ｓが各画像のピクセル数である場合、多次元空間ＲＳにおける１セットの線、すなわち固有ベクトルによって多面錐を定義することができる。そして、この多面錐によって、この１セットのベクトルをそれぞれ起こり得るまたは予想されるすべての照明条件下における人物の顔に対応付ける。また、多面錐を表現する固有基底は、Ｍ＜Ｓである場合、部分空間ＲＭにおいて定義することができる。人物の異なる対象部分に対応してこのような部分空間を複数個定義して、未確認の対象部分を含む画像への距離をそれぞれ計算することによって、この対象部分のアイデンティを効率よく決定することができる。一般的に、同様の概念が、例えば、動物、自動車、幾何学的形状などを含む注目するオブジェクトの他のクラスにも適用される。
【００２２】
図３に、注目するオブジェクトまたは同様のオブジェクトに関するトレーニング画像セットによって固有基底を初期化する処理を示す。初期化することによって固有基底が早く収束しうるが、簡略化のため、あるいはトレーニング画像を入手することができない場合、初期化を省略してもよい。ステップ３１２で、すべてのトレーニング画像についてヒストグラム補正を行う。ステップ３１８で、データから平均を引く。ステップ３２４で、所望の主成分を計算する。最後に、ステップ３３０で、固有基底を作成する。
【００２３】
図２に戻って、ステップ２２４では、動的モデルを適用することによって、分布
ｐ（Ｌｔ｜Ｌｔ−１）に従い、現在のフレーム内における位置Ｌｔに基づいて、次のフレームにおけるオブジェクトの予想位置Ｌｔ＋１を予測する。図４では、これについて、現在のフレーム４１０における位置および次のフレーム４２０（ｉ）における予想位置を示すことによって概念的に表している。すなわち、この動的モデルによって与えられる確率分布とは、それぞれのフレームおよび画像領域を観測する前に、時間ｔにおいてオブジェクトが存在する可能性のある位置についての予想をコード化したものである。
【００２４】
この動的モデル２２４によると、時間ｔにおけるオブジェクトの位置Ｌｔは、相似変換の４つのパラメータ、すなわちｘおよびｙにおける平行移動に関するｘｔおよびｙｔと、回転に関するｒｔと、拡大縮小に関するｓｔとを使って表現される。この変換によって画像は変形し、対象ウィンドウは、追跡するオブジェクトの境界に対応して、座標
（０，０）を中心とする適切な幅と高さの長方形に配置される。この変形は、画像領域Ｆおよびオブジェクトの位置Ｌの関数、すなわちｗ（Ｆ，Ｌ）として作用する。
【００２５】
動的モデル２２４の初期化では、各パラメータが所定の位置Ｌ０の周りで正規分布に従って独立して分布すると仮定する。すなわち、
【数１】
2007513408.tif 000003
ここで、Ｎ（ｚ；μ，σ２）は、平均をμ、分散をσ２とした場合のデータ点ｚに対する正規分布関数の評価を示す。
【００２６】
図２に戻って、ステップ２３０で、画像観測モデルを次に適用する。固有基底を使用してオブジェクトの外観をモデル化することから、観測モデルによって、現在観測した画像が現在の固有基底から生成される確率を評価する。確率的主成分分布（センシブルＰＣＡとしても知られる）を、このモデルのベースとして利用することもできる。これについては、Ｓ．ロウェイズ（S. Roweis）著、「ＰＣＡおよびＳＰＣＡのためのＥＭアルゴリズム（EM algorithms for PCA and SPCA）」ニューラル情報処理システムの進歩（Advances in Neural Information Processing Systems）、Ｍ．Ｉ．ジョーダン（M. I. Jordan）、（Ｍ．Ｊ．カーンズ（M. J. Kearns）、およびＳ．Ａ．ソラ（S. A. Solla）編集、１０、ＭＩＴ出版（MIT Press）（１９９７年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。このモデルでは、位置Ｌｔが与えられた場合、固有基底からオブジェクトの外観を抽出してＬｔに挿入することによって、観測した画像領域が生成されたと仮定する。ロウェイズ（Roweis）の著書によれば、図５で概念的に示すように、固有基底Ｂおよび平均μが与えられた場合、データｚを観測する確率は、Ｎ（ｚ；μ，ＢＢＴ＋εＩ）である。ここで、εＩの項は、観測の過程で現れる加法性ガウス雑音の共分散に対応する。このような雑音は、例えば、データの量子化、ビデオセンサーにおけるエラー、または熱の影響から生じる場合がある。εを限りなく０に近づけた場合、Ｎ（ｚ；μ，ＢＢＴ＋εＩ）は、ｚと線形部分空間Ｂとの間の平方距離
｜（ｚ−μ）−ＢＢＴ（ｚ−μ）｜２の負の指数関数に比例する。
【００２７】
図２を再び参照すると、推論モデル２３６を次に適用して、オブジェクトの位置を予測する。図１の確率モデルによると、Ｌｔは決して直接観測されることがないので、各時間ステップにおける分布Ｐ（Ｌｔ｜Ｆｔ，Ｆｔ−１，…，Ｆｔ，Ｌ０）を計算しなければ、完全なベイズの推論を行うことができない。残念ながら、この分布は閉じた形で計算することはできない。代わりに、等式１と同じ形式の正規分布を使用することによって、
ｐ（Ｌｔ｜Ｆｔ，ｌｔ−１＊）が最大になる位置ｌｔ＊の周りで近似する。ベイズの公式を使用して観測結果を事前予想と統合すると、事後確率で最も可能性の高いオブジェクトの位置は、
【数２】
2007513408.tif 000004
が最大になる位置ｌｔ＊であるという結論が導かれる。
【００２８】
単純抽出法を使用することによって、ｌｔ＊の近似値を効率的かつ効果的に計算することができる。具体的には、前のｐ（Ｌｔ｜ｌｔ−１＊）から多数の標本位置を抽出する。各標本ｌｓについて、事後確率ｐｓ＝ｐ（ｌｓ｜Ｆｔ，ｌｔ−１＊）を計算する。ｐｓは単純に確率的ＰＣＡ分布に基づくｌｓの尤度であり、ｌｓが抽出された確率で掛け、すべての標本にまたがって一定である正規化因子は考慮しない。最後に、事後確率が最大となる標本を近似値ｌｔ＊として選択する。すなわち、
【数３】
2007513408.tif 000005
この方法には、１個のパラメータ、すなわち標本の個数を使って、速度と追跡精度とのトレードオフを制御することができるという優位な特性がある。
【００２９】
オブジェクトのモデルを逐次更新するため、観測の確率分布は時間の経過に対して一定でない。ベイズの定理に反するが、むしろ、新しい観測を使用して分布を更新する。初期固有基底Βｔ−１と新しい外観ｗｔ−１＝ｗ（Ｆｔ−１，ｌｔ−１＊）が与えられた場合、新しい基底Βｔは、逐次的カルーネン‐ロエーブ（Ｋ−Ｌ）アルゴリズムを使用して下記のように計算される。これについては、Ａ．レヴィ（A. Levy）およびＭ．リンデンバウム（M. Lindenbaum）著、「逐次的カルーネン‐ロエーブ法による抽出とその画像への応用（Sequential Karhunen-Loeve basis extraction and its application to images）」ＩＥＥＥ、画像処理におけるトランザクション（Transactions on Image Processing）、９（２０００年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。ｐ（Ｆｔ｜Ｌｔ）を計算する時は、新しい基底を使用する。代わりに、下記のように、確率的ＰＣＡモデルの平均をオンラインで更新することができる。
【００３０】
手動による初期化や高度なオブジェクト検知アルゴリズムを適用することもできるが、こうして説明した標本抽出法には、柔軟性があり、最初のフレームにおけるオブジェクトの位置を自動的に特定するために利用することができる。画像全体にわたる広範囲の事前予想（例えば、より大きい共分散行列またはより大きい標準偏差を有するガウス分布）を指定し、十分な標本を抽出することによって、現在の分布および初期固有基底を使って最高の感度でオブジェクトの位置を特定することができる。
【００３１】
オブジェクトの外観や照明が時間と共に変化する場合があるため、さらに、オブジェクトを表現するのに固有基底を使用するため、時変共分散行列によって固有基底を絶えず更新することが重要である。これについて、図２のステップ２４２で示す。この問題に関しては、信号処理学会で研究され、帰納的アルゴリズム形式による効率的な計算技術がいくつか提案された。これについては、Ｂ．シャンペイン（B. Champagne）およびＱ．Ｇ．リュウ（Q. G. Liu）著、「部分空間を効率的に追跡するための平面回転に基づくＥＶＤ更新方式（Plane rotation-based EVD updating schemes for efficient subspace tracking）」ＩＥＥＥ、信号処理におけるトランザクション（Transactions on Signal Processing）４６（１９９８年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。本実施形態では、上で引用したレヴィ（Levy）およびリンデンバウム（Lindenbaum）の著書に記載されるように、効率的な改良型逐次的カルーネン‐ロエーブアルゴリズムを利用して固有基底を更新する。次に、これは、標準的なＲ−ＳＶＤ法に基づいている。これについては、Ｇ．Ｈ．ゴールブ（G. H. Golub）およびＣ．Ｆ．ヴァン  ローン（C. F. Van Loan）著、「行列計算（Matrix Computations）」ジョーンズホプキンス大学出版（The Johns Hopkins University Press）（１９９６年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。
【００３２】
各列ベクトルが観測結果（例えば、画像）であるデータＭ×Ｐ行列ＸのＳＶＤをＸ＝ＵΣＶＴとする。Ｒ−ＳＶＤアルゴリズムによって、より大きな行列Ｘ＊＝（Ｘ｜Ｅ）のＳＶＤを実行する以下のような効率的な方法が与えられる。ここで、Ｅは、Ｋ個の追加された観測結果（例えば、入ってくる画像）より構成されるＭ×Ｋ行列である。
【数４】
2007513408.tif 000006
【００３３】
正規直交特性およびブロック構造を利用することによって、より小さな行列Ｕ´、Ｖ´、Σ´とより小さな行列Σ´のＳＶＤとを使って、Ｘ＊のＳＶＤを効率的に計算することができる。
【００３４】
上で引用したレヴィ（Levy）の著書に記載されるように、新しいデータが到着したとき、Ｒ−ＳＶＤ法に基づき、さらに、逐次的カルーネン‐ロエーブアルゴリズムを使って低い次元の部分空間への近似を行い、少数の固有ベクトルのみ保持する。
【００３５】
図２を再び参照すると、最初の固有基底の更新後、ステップ２４８およびステップ２５６を含むループ制御によって、動的モデル２２４、観測モデル２３０、推論モデル２３６、および固有基底の更新２４２を次のフレームに適用し、最後のフレームの処理が完了するまで繰り返す。
【００３６】
この実施形態には、ステップ２１２で固有基底を初期化するか否かに関係なく実施することができるという柔軟性がある。オブジェクトのトレーニング画像を入手し適切に処理することができる場合、追跡の開始時に使用可能な固有基底を構築することができる。しかしながら、トレーニング画像を入手することができない場合もあるため、最初のフレームにおいてオブジェクトの位置を特定すれば、このアルゴリズムによって入って来る画像から固有基底を漸次構築し更新することができる。
【００３７】
本画像追跡アルゴリズムの第二の実施形態によれば、追跡を開始する前、オブジェクトのトレーニング画像を全く必要としない。すなわち、本方法では、対象領域を初期化した後、低い次元の固有空間表現をオンラインで学習し逐次更新する。さらに、本方法では、粒子フィルタを利用するため、時間の経過とともに標本分布が広がる。そして、更新を伴う固有空間モデルに基づいて、有効な尤度推定関数が導かれる。また、新しいデータが到着した時、Ｒ−ＳＶＤアルゴリズムによって標本平均および固有基底をともに更新する。最後に、本方法では、雑音データまたは部分的なオクルージョンが発生した場合、尤度推定法に関してロバスト誤差ノルムを利用するため、正確でロバストな追跡結果が得られる。
【００３８】
図２を再び参照すると、本方法によれば、ステップ２０６で初期フレームベクトルを受け取り、ステップ２１２でオブジェクトの初期位置を確定する。しかしながら、ステップ２１８で固有基底を初期化しないため、演繹的記述を利用することができないオブジェクトの追跡を有利に行うことができる。以下に述べるように、オブジェクトの追跡処理中、固有基底をオンラインで学習して更新する。
【００３９】
本実施形態では、動的モデル２２４は、２つの連続するフレーム間のオブジェクトの動きを近似するアフィン画像変形アルゴリズムとして実施する。
【数５】
2007513408.tif 000007
【００４０】
本実施形態によれば、観測モデル２３０において、主成分分析の確率的解釈が行われる。これについては、Ｍ．Ｅ．ティッピング（M. E. Tipping）およびＣ．Ｍ．ビショップ（C. M. Bishop）著、「確率的主成分解析（Probabilistic principal component analysis）」王立統計学会ジャーナル（Journal of the Royal Statistical Society）、シリーズＢ、６１（３）（１９９９年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。
【数６】
2007513408.tif 000008
オブジェクトの標本がこの部分空間から生成された確率は、標本から基準点、すなわち部分空間の中心μまでの距離ｄに反比例する。この距離は、部分空間までの距離ｄｔと、射影された標本から部分空間の中心までの部分空間内における距離ｄｗとに分解することができる。この距離の公式は、正規直交部分空間とその補空間とに基づいており、同様の趣旨が、Ｂ．モガダム（B. Moghaddam）およびＡ．ペントランド（A. Pentland）著、「オブジェクトを認識するための確率的画像学習（Probabilistic visual learning for object recognition）」ＩＥＥＥ、パターン解析および機械知能におけるトランザクション（Transactions on Pattern Analysis and Machine Intelligence）、１９（７）（１９９７年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。
【００４１】
標本が部分空間Ｕから生成された確率
【数７】
2007513408.tif 000009
によって規定される。ここで、Ｉは単位行列、μは平均であり、εＩは観測過程における加法性ガウス雑音に対応する。上で引用したロウェイズ（Roweis）の著書に記載されるように、
【数８】
2007513408.tif 000010
【００４２】
部分空間内では、次のように、平均からのマハラノビス距離（Mahalanobis distance）によって射影された標本の尤度をモデル化することができる。
【数９】
2007513408.tif 000011
ここで、μは部分空間の中心であり、ΣはＵの列に対応する特異値の行列である。
【００４３】
上記を組み合わせると、標本が部分空間から生成される尤度は、次のように規定することができる。
【数１０】
2007513408.tif 000012
【００４４】
【数１１】
2007513408.tif 000013
を使用することによって、「アウトライア」ピクセル、例えば、現在の固有空間が与えられた場合に対象領域中に現れる可能性の低いピクセルを無視することができる。これについては、Ｍ．Ｊ．ブラック（M. J. Black）およびＡ．Ｄ．ジェプソン（A.D.Jepson）著、「固有追跡：映像に基づく表現による連接するオブジェクトのロバストマッチングおよびロバスト追跡（Eigentracking: Robust matching and tracking of articulated objects using view-based representation）」コンピュータビジョンに関する欧州会議の議事録（Proceedings of European Conference on Computer Vision）（１９９６年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。ブラック（Black）およびジェプソン（Jepson）の著書で使用するのと同様の方法を適用することによって、ｄｔおよびｄｗを計算する。特に、オブジェクトを囲むために使用される長方形領域の中に「雑音」を含む背景ピクセルがいくつか不可避的に存在する場合、このロバスト誤差ノルムは有用である。
【００４５】
図２を再び参照すると、推論モデル２３６を次に適用する。
【数１２】
2007513408.tif 000014
【００４６】
【数１３】
2007513408.tif 000015
圧縮アルゴリズム（Condensation algorithm）では、係数サンプリング（factored sampling）に基づいて推計学的に生成した重み付きの標本セットを使って、観測結果の任意の分布を近似する。これについては、Ｍ．アイサード（M. Isard）およびＡ．ブレイク（A. Blake）著、「条件付密度の推計学的広がりによる輪郭追跡（Contour tracking by stochastic propagation of conditional density）」コンピュータビジョンに関する第４回欧州会議の議事録（Proceedings of European Conference on Computer Vision）、第２巻（１９９６年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。本実施形態によれば、推論モデルにおいては、圧縮アルゴリズムの改良型を使用することによって時間の経過とともに漸進的に変化するオブジェクトの位置に関する分布をモデル化する。すなわち、本実施形態は、時間の経過とともに情報を統合していくベイズ法である。
【００４７】
図２を再び参照すると、ステップ２４２で次に固有基底を更新する。本実施形態では、次のフレームが到着するに従って平均の変動に適応していく。従来の方法でもこれを遂行することができるかもしれないが、１回の更新につき１つのデータにしか適応しないため、近似結果しか得られない。本実施形態では、固有基底を更新する毎に複数のデータを処理するため正確な解が得られるという優位性がある。これについては、Ｐ．ホール（P. Hall）、Ｄ．マーシャル（D. Marshall）、およびＲ．マーティン（R. Martin）著、「クラス分類のための逐次固有解析（Incremental Eigenanalysis for classification）」英国マシンビジョン会議の議事録（Proceedings of British Machine Vision Conference）（１９９８年）に記載されており、これをすべて参照することによって本明細書中に組み込むものとする。
【数１４】
2007513408.tif 000016
【００４８】
【数１５】
2007513408.tif 000017
多数の画像追跡アプリケーションにおいて、より最新の観測により大きな重みを付けたり、あるいは、同様の意味で以前の観測の影響の重みを減らしたりすることによって、さらに、画像データを低い次元で近似することができる。例えば、オブジェクトの外観が漸次変化するとき、最新の観測結果の方がオブジェクトの現在の外観に類似する可能性が高いので、固有基底を更新する際に最新の観測結果により大きな重みを付けてもよい。上で引用したレヴィ（Levy）およびリンデンバウム（Lindenbaum）の著書で提唱されるように、この前提の下で忘却係数ｆを使用することができる。すなわち、Ａが元のデータ行列で、Ａ´が重み付きのデータ行列である場合、Ａ´＝（ｆＡ｜Ｅ）＝（Ｕ（ｆΣ）Ｖ｜Ｅ）である。
【００４９】
次に、図７を参照すると、本発明の１つの実施形態に係るシステムが示される。コンピュータシステム７００は、入力部７１０と、記憶装置７１４と、処理部７１６と、出力部７１８とを備える。１つの代替の実施形態では、画像処理部７１２は、主処理部７１６の一部であってもよいし、デジタル画像を好ましい画像形式へ事前にフォーマットする専用装置であってもよい。同様に、記憶装置７１４は、スタンドアロンの記憶装置（例えば、ランダムアクセスメモリチップやフラッシュメモリなど）であってもよいし、処理部７１６を伴うオンチップメモリ（例えば、キャッシュメモリ）であってもよい。同様に、コンピュータシステム７００は、サーバやパーソナルコンピュータなどのスタンドアロンシステムであってもよい。あるいは、コンピュータシステム７００は、例えば、視覚システムを持つロボット（例えば、日本の東京に所在する本田技研工業株式会社の最新ヒト型ロボットＡＳＩＭＯ（登録商標））やセキュリティシステム（例えば、空港セキュリティシステム）などのより大規模なシステムの一部であってもよい。
【００５０】
本実施形態によれば、コンピュータシステム７００は、デジタル画像Ｉを受け取る入力部７１０を備える。デジタル画像Ｉは、例えば、デジタルカメラ７０１ａ（例えば、ロボットの目）、ビデオシステム７０１ｂ（例えば、有線テレビ）、イメージスキャナなどの画像装置７０１から直接受け取ることができる。あるいは、この入力部は、例えば、画像データベース、他の視覚システム、インターネットサーバなどの他のネットワークシステムからデジタル画像を受け取るネットワークインタフェースであってもよい。ネットワークインタフェースは、ＵＳＢ、ＲＳ−２３２シリアルポート、イーサネット（登録商標）カードなどの有線インタフェースであってもよいし、例えば、ブルートゥース、ＷｉＦｉ（登録商標）、ＩＥＥＥ８０２．１１などの無線プロトコルを使用する無線インタフェースモジュールであってもよい。
【００５１】
画像処理部７１２はオプションであり、処理部７１６の一部であってもよいし、システム７００の専用構成部品であってもよい。画像処理部７１２を使用して、入力部７１０を介して受け取ったデジタル画像Ｉを前処理することによって、処理部７１６が処理するのに好ましい形式に変換することができる。例えば、入力部７１０を介して受け取るデジタル画像Ｉがデジタルカメラ７１０ａからＪＰＥＧ形式で入ってきて、処理部がラスタ画像データにおいて作用するよう構成されている場合、画像処理部７１２を使用してＪＰＥＧ形式からラスタ画像データに変換することができる。
【００５２】
デジタル画像Ｉは、画像処理部７１２を使用する場合は一旦好ましい画像形式にして、記憶装置７１４に記憶し、処理部７１６によって処理する。処理部７１６は、命令セットを利用するが、この命令セットが実行されると、例えば、動的モデルや固有基底の更新などの本発明に係る１つまたは複数の方法を実施する。処理部７１６は、命令セットを実行する間に、記憶装置７１４にアクセスし、そこに記憶された画像データに対して本発明の方法による処理を行う。
【００５３】
処理部７１６は、入力画像Ｉ内におけるオブジェクトの位置を追跡し、追跡したオブジェクトのアイデンティティおよび位置を出力部７１８を介して外部のデバイス７２５（例えば、データベース７２５ａ、ネットワーク構成要素、すなわちサーバ７２５ｂ、ディスプレイ７２５ｃなど）に出力する。入力部と同様、出力部７１８は、有線であってもよいし、無線であってもよい。出力部７１８は、格納装置インタフェース（例えば、ハードドライブまたは光学ドライブのドライバー）、ネットワークインタフェース装置（例えば、イーサネット（登録商標）インターフェースカードまたは無線ネットワークカードなど）、またはディスプレイドライバ（例えば、グラフィックスカードなど）でもよいし、あるいは、他の同様の装置でオブジェクトのアイデンティティおよび／または位置を出力する装置であればいかなる装置でもよい。
【００５４】
画像追跡アルゴリズムの性能を評価するため、屋内環境および屋外環境における異なる照明条件の下、オブジェクトのポーズを変えてビデオを記録した。各ビデオは、一連の３２０×２４０ピクセルのグレイスケール画像を備え、１５フレーム／秒で記録された。固有空間を表現するため、それぞれの対象画像領域を３２×３２パッチにリサイズし、全実験で使用する固有ベクトルの数を１６に設定したが、より少ない固有ベクトルでも十分に作用しうる。追跡アルゴリズムは、ＭＡＴＬＡＢでＭＥＸを利用して実施し、２００粒子位置まで可能な標準的コンピュータ上で４フレーム／秒で実行した。
【００５５】
図８では、異なるポーズ、拡大縮小比率、および照明条件の下で動く動物の人形を収録した一連の画像について、情報を抜粋して９個のパネルに示す。各パネル内において、一番上の画像が取得したフレームである。左上端にフレーム番号を示し、重なり合う長方形は、オブジェクトの予想位置を表す。各パネルの２列目の画像は、それぞれ、現在の標本平均、追跡画像領域、平均および固有基底に基づく再構築画像、および再構築誤差を示す。３列目および４列目には、大きい方から１０個の固有ベクトルを示す。固有基底はすべて、トレーニング画像を利用することなく自動的に構築され、オブジェクトの外観が変わるにつれて常時更新されそのオブジェクトをモデル化している。力メラの動きが大きく、フレーム率が低く、ポーズが著しく変化し、背景が乱雑で、しかも照明が多様に変動するにもかかわらず、追跡アルゴリズムは、安定してオブジェクトを捕らえている。また、長方形の標本ウィンドウ内に雑音の入った背景ピクセルが存在するにもかかわらず、固有基底および再構築画像で示されるように、本アルゴリズムによってオブジェクトの外観を忠実にモデル化している。
【００５６】
本発明の優位点としては、内因性の変化だけでなく外因性の変化に対しても学習したり順応したりする方法に基づいて、効率的で、ロバストで、しかも安定的に動画ビデオ内のオブジェクトを追跡することができるという点がある。この追跡法は、１つまたは複数の初期トレーニング画像を利用することもできるが、トレーニング画像を入手することができない場合でも実行することができる。また、本発明によって、オブジェクトの追跡だけでなくオブジェクトの認識も行うことができる。実験で検証することによって、本発明の方法を使って、照明、ポーズ、および拡大縮小比率が大きく変動してもリアルタイムで適切にオブジェクトを追跡することができることを示した。
【００５７】
当業者であれば、本開示を読むことによって、開示した本発明の原理を介してオブジェクトの画像追跡を行う方法および装置に関する他の代替の構成設計や機能設計を高く評価するであろう。以上、本発明の特定の実施例と適用例について図解し説明したが、本発明が本明細書で開示された厳密な構成および構成要素に限定されるものでなく、また、本明細書に記載された本発明の方法および装置の配置、処理、および詳細において、後述の請求の範囲において定義される本発明の趣旨と範囲を逸脱しない限り、当業者にとって明白な改変、変更、および変形を多様に行うことができることを理解するであろう。
【図面の簡単な説明】
【００５８】
【図１】画像追跡の概念の概略図である。
【図２】画像追跡のアルゴリズム全体を示す図である。
【図３】本発明の１つの実施形態に係る固有基底の初期化を行うためのアルゴリズムを示す図である。
【図４】本発明の１つの実施形態に係る動的モデルの概念図である。
【図５】本発明の１つの実施形態に係る部分空間までの距離の観測モデルの概念図である。
【図６】本発明の１つの実施形態に係る平均までの距離の観測モデルの概念図である。
【図７】本発明の１つの実施形態に係るコンピュータによるシステムを示す図である。
【図８】本発明の１つの実施形態を適用した実験の結果を示す図である。
【図１】
2007513408.tif 000018
【図２】
2007513408.tif 000019
【図３】
2007513408.tif 000020
【図４】
2007513408.tif 000021
【図５】
2007513408.tif 000022
【図６】
2007513408.tif 000023
【図７】
2007513408.tif 000024
【図８】
2007513408.tif 000025
【国際調査報告】
2007513408.tif 000026