(57)【特許請求の範囲】
【請求項１】
空間中に存在する追跡対象動体を該追跡対象動体が撮影された入力画像に基づいて該追跡対象動体の対象状態を取得し追跡する動体追跡装置であって、
各時刻における入力画像を取得する画像取得手段と、
その取得した入力画像から追跡対象を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、
前時刻の対象状態から現時刻における対象状態を予測する対象状態予測手段と、
追跡対象動体が存在する空間の三次元構造と、前記の画像取得手段の内部パラメータとして焦点距離並びに画像中心、及び前記の画像取得手段の外部パラメータとして三次元位置並びに姿勢情報を記述した三次元環境情報と、前時刻に予測された対象状態の仮説を表した三次元モデルと、を用いて、画像取得手段によって取得した入力画像から作成したシルエット画像をシミュレートしたシミュレーション画像を生成するシミュレーション画像作成手段と、
それらのシルエット画像とシミュレーション画像を比較することによって、対象状態の予測結果を評価する予測結果評価手段と、
その予測結果の評価から、現時刻における対象状態の期待値を計算する対象状態計算手段と、
を有することを特徴とする動体追跡装置。
【請求項２】
前記シミュレーション画像作成手段において、
追跡対象動体が存在する空間の三次元構造の中に、追跡対象動体の対象状態を示す三次元モデルを配置して仮想シーンを構築し、
その構築した仮想シーンを前記画像取得手段の前記外部パラメータと同じ外部パラメータ、及び前記画像取得手段の前記内部パラメータと同じ内部パラメータを有する仮想画像取得手段に投影する、
ことを特徴とする請求項１に記載の動体追跡装置。
【請求項３】
前記シミュレーション画像作成手段において、
追跡対象動体の対象状態を楕円体モデルと見做し、追跡対象動体の位置を任意の平面上の位置（ｘ，ｙ）、追跡対象動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、
それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを１以上記憶し、
その組み合わせを個別に扱う、
ことを特徴とする請求項１または２に記載の動体追跡装置。
【請求項４】
前記対象状態予測手段において、時系列フィルタにパーティクルフィルタを用いる、
ことを特徴とする請求項１乃至３のいずれかに記載の動体追跡装置。
【請求項５】
前記対象状態予測手段において、時系列フィルタにカルマンフィルタを用いる、
ことを特徴とする請求項１乃至３のいずれかに記載の動体追跡装置。
【請求項６】
空間中に存在する追跡対象動体を該追跡対象動体が撮影された入力画像に基づいて該追跡対象動体の対象状態を取得し追跡する動体追跡方法であって、
各時刻における入力画像を画像取得手段から取得する画像取得ステップと、
その取得した入力画像から追跡対象を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、
追跡対象動体が存在する空間の三次元構造と、前記の画像取得手段の内部パラメータとして焦点距離並びに画像中心、及び前記の画像取得手段の外部パラメータとして三次元位置並びに姿勢情報を記述した三次元環境情報と、前時刻に予測された対象状態の仮説を表した三次元モデルと、を用いて、画像取得手段によって取得した入力画像から作成したシルエット画像をシミュレートしたシミュレーション画像を生成するシミュレーション画像作成ステップと、
それらのシルエット画像とシミュレーション画像を比較することによって、対象状態の予測結果を評価する予測結果評価ステップと、
その予測結果の評価から、現時刻における対象状態の期待値を計算する対象状態計算ステップと、
前時刻の対象状態から現時刻における対象状態を予測する対象状態予測ステップと、
を有することを特徴とする動体追跡方法。
【請求項７】
前記シミュレーション画像作成ステップにおいて、
追跡対象動体が存在する空間の三次元構造の中に、追跡対象動体の対象状態を示す三次元モデルを配置して仮想シーンを構築し、
その構築した仮想シーンを前記画像取得手段の前記外部パラメータと同じ外部パラメータ、及び前記画像取得手段の前記内部パラメータと同じ内部パラメータを有する仮想画像取得手段に投影する、
ことを特徴とする請求項６に記載の動体追跡方法。
【請求項８】
前記シミュレーション画像作成ステップにおいて、
追跡対象動体の対象状態を楕円体モデルと見做し、追跡対象動体の位置を任意の平面上の位置（ｘ，ｙ）、追跡対象動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、
それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを１以上記憶し、
その組み合わせを個別に扱う、
ことを特徴とする請求項６または７に記載の動体追跡方法。
【請求項９】
前記対象状態予測ステップにおいて、時系列フィルタにパーティクルフィルタを用いる、
ことを特徴とする請求項６乃至８のいずれかに記載の動体追跡方法。
【請求項１０】
前記対象状態予測ステップにおいて、時系列フィルタにカルマンフィルタを用いる、
ことを特徴とする請求項６乃至８のいずれかに記載の動体追跡方法。
【請求項１１】
請求項６乃至１０のいずれかに記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体であって、例えば、１又は複数の画像入力装置（例えば、カメラ等）を用いて、物体、動物、人間の三次元位置や大きさなどの状態を追跡する方法および装置に関するものである。
【背景技術】
【０００２】
コンピュータビジョン分野では、複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。例えば、次のような研究成果が、実現されている。
【０００３】
複数の視点から対象を観測し、画像上における対象の領域（即ち、シルエット）を抽出したシルエット画像を用意する。さらに、予め追跡を行う空間の三次元構造（以下、三次元環境情報と呼ぶ）と、追跡に利用する全てのカメラの内部及び外部パラメータ（以下、カメラパラメータと呼ぶ）と、を予め計測して求めておく。
【０００４】
なお、シルエット画像とは、撮影した画像に対して背景差分法やフレーム間差分法を施し、撮影した画像の対象が写っている領域の輝度値を「１」、他の領域を「０」で表現した２値画像である（即ち、実差分画像である）。また、前記のカメラの内部パラメータの校正，三次元位置と姿勢を求めるためのカメラキャリブレーション方法も広く知られている（例えば、非特許文献１参照）。
【０００５】
そして、その三次元環境中に人物モデルを配置し、先に算出したカメラパラメータを有する仮想カメラ（例えば、ソフトウェアで構築された仮想的なカメラ）で、その人物モデルが配置されたシーンを撮影することによって、シルエット画像のシミュレーションを行うことができる。
【０００６】
また、人物モデルに楕円体を用いて、生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも人物の追跡を行う方法（以下、楕円体モデル追跡方法と呼ぶ）が提案されている（例えば、非特許文献２参照）。
【非特許文献１】Ｚ．Ｚｈａｎｇ，”Ａｆｌｅｘｉｂｌｅ  ｎｅｗ  ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ”，ＩＥＥＥ，Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０００（平成１２年），ｖｏｌ．２２，Ｎｏ．１１，ｐ．１３３０−１３３４．
【非特許文献２】加藤博一、中澤篤志、井口征史，「楕円体モデルを用いたリアルタイム人物追跡」，情報処理学会論文誌，１９９９（平成１１年），ｖｏｌ．４０，Ｎｏ１１，ｐ．４０８７−４０８８。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前述のように、カメラによって取得した情報に基づいて対象を追跡する方法において、複数の人物を追跡する場合、人物同士の接近などによって、カメラで撮影された画像上で人物同士が重なってしまう現象（即ち、オクルージョン）が問題にされている。
【０００８】
そのオクルージョン問題は、複数の視点から得られた情報を統合することによって、軽減できる。しかし、前記の楕円体モデル追跡方法では、複数のカメラが独立に追跡を行っているため、複数カメラの情報統合が行われておらず、人物同士が接近すると追跡が不可能となる問題を有している。
【０００９】
また、前記の楕円体モデル追跡方法では、シミュレーション画像生成に用いる楕円体モデルに固定の高さ，固定の半径を与えているため、人物の大きさの個人差に対応することが不可能である。即ち、この楕円体モデルの大きさと著しく異なる大きさの体を持つ人物を追跡する際には、測定値に大きな誤差を発生し、結果として追跡にも失敗してしまうという問題をも有している。
【００１０】
本発明は、上述のような従来技術の問題点を解決するためになされたものであって、複数のカメラ情報を統合し、対象同士が接近しても安定して追跡を行い、さらに、対象の位置と同時に対象の大きさも推定することによって、個体差に対応した追跡を行う動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、前記課題の解決を図るために、請求項１記載の発明は、空間中に存在する追跡対象動体を該追跡対象動体が撮影された入力画像に基づいて該追跡対象動体の対象状態を取得し追跡する動体追跡装置であって、各時刻における入力画像を取得する画像取得手段と、その取得した入力画像から追跡対象を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、前時刻の対象状態から現時刻における対象状態を予測する対象状態予測手段と、追跡対象動体が存在する空間の三次元構造と、前記の画像取得手段の内部パラメータとして焦点距離並びに画像中心、及び前記の画像取得手段の外部パラメータとして三次元位置並びに姿勢情報を記述した三次元環境情報と、前時刻に予測された対象状態の仮説を表した三次元モデルと、を用いて、画像取得手段によって取得した入力画像から作成したシルエット画像をシミュレートしたシミュレーション画像を生成するシミュレーション画像作成手段と、それらのシルエット画像とシミュレーション画像を比較することによって、対象状態の予測結果を評価する予測結果評価手段と、その予測結果の評価から、現時刻における対象状態の期待値を計算する対象状態計算手段と、を有することを特徴とする。
【００１２】
請求項２記載の発明は、請求項１記載の発明において、前記シミュレーション画像作成手段において、追跡対象動体が存在する空間の三次元構造の中に、追跡対象動体の対象状態を示す三次元モデルを配置して仮想シーンを構築し、その構築した仮想シーンを前記画像取得手段の前記外部パラメータと同じ外部パラメータ、及び前記画像取得手段の前記内部パラメータと同じ内部パラメータを有する仮想画像取得手段に投影する、ことを特徴とする。
【００１３】
請求項３記載の発明は、請求項１または２記載の発明において、前記シミュレーション画像作成手段において、追跡対象動体の対象状態を楕円体モデルと見做し、追跡対象動体の位置を任意の平面上の位置（ｘ，ｙ）、追跡対象動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを１以上記憶し、その組み合わせを個別に扱う、ことを特徴とする。
【００１４】
請求項４記載の発明は、請求項１乃至３のいずれかに記載の発明において、前記対象状態予測手段において、時系列フィルタにパーティクルフィルタを用いる、ことを特徴とする。
【００１５】
請求項５記載の発明は、請求項１乃至３のいずれかに記載の発明において、前記対象状態予測手段において、時系列フィルタにカルマンフィルタを用いる、ことを特徴とする。
【００１６】
請求項６記載の発明は、空間中に存在する追跡対象動体を該追跡対象動体が撮影された入力画像に基づいて該追跡対象動体の対象状態を取得し追跡する動体追跡方法であって、各時刻における入力画像を画像取得手段から取得する画像取得ステップと、その取得した入力画像から追跡対象を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、追跡対象動体が存在する空間の三次元構造と、前記の画像取得手段の内部パラメータとして焦点距離並びに画像中心、及び前記の画像取得手段の外部パラメータとして三次元位置並びに姿勢情報を記述した三次元環境情報と、前時刻に予測された対象状態の仮説を表した三次元モデルと、を用いて、画像取得手段によって取得した入力画像から作成したシルエット画像をシミュレートしたシミュレーション画像を生成するシミュレーション画像作成ステップと、それらのシルエット画像とシミュレーション画像を比較することによって、対象状態の予測結果を評価する予測結果評価ステップと、その予測結果の評価から、現時刻における対象状態の期待値を計算する対象状態計算ステップと、前記時刻の対象状態から現時刻における対象状態を予測する対象状態予測ステップと、を有することを特徴とする。
【００１７】
請求項７記載の発明は、請求項６に記載の発明において、前記シミュレーション画像作成ステップにおいて、追跡対象動体が存在する空間の三次元構造の中に、追跡対象動体の対象状態を示す三次元モデルを配置して仮想シーンを構築し、その構築した仮想シーンを前記画像取得手段の前記外部パラメータと同じ外部パラメータ、及び前記画像取得手段の前記内部パラメータと同じ内部パラメータを有する仮想画像取得手段に投影する、ことを特徴とする。
【００１８】
請求項８記載の発明は、請求項６または７記載の発明において、前記シミュレーション画像作成ステップにおいて、追跡対象動体の対象状態を楕円体モデルと見做し、追跡対象動体の位置を任意の平面上の位置（ｘ，ｙ）、追跡対象動体の大きさを該楕円体モデルの半径ｒと高さｈ、で表し、それらパラメータｘ，ｙ，ｒ，ｈの値の組み合わせを１以上記憶し、その組み合わせを個別に扱う、ことを特徴とする。
【００１９】
請求項９記載の発明は、請求項６乃至８のいずれかに記載の発明において、前記対象状態予測ステップにおいて、時系列フィルタにパーティクルフィルタを用いる、ことを特徴とする。
【００２０】
請求項１０記載の発明は、請求項６乃至８のいずれかに記載の発明において、前記対象状態予測ステップにおいて、時系列フィルタにカルマンフィルタを用いる、ことを特徴とする。
【００２１】
請求項１１記載の発明は、記録媒体であって、請求項６乃至１０のいずれかに記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。
【００２２】
前記の請求項１，６の発明によれば、画像取得手段から取得した映像（該動体が撮影された映像）を統合できる。
【００２３】
前記の請求項２，７の発明によれば、仮想シーンを構築できる。また、仮想画像取得手段を作成できる。
【００２４】
前記の請求項３，８の発明によれば、楕円体に係るパラメータを１以上記憶できる。
【００２５】
前記の請求項４，９の発明によれば、パーティクルの数を決めて、計算量が決めることができる。
【００２６】
前記の請求項５，１０の発明によれば、回帰的に計算を行うことができる。
【００２７】
前記の請求項１１の発明によれば、請求項６乃至１０のいずれかに記載の動体追跡方法をコンピュータプログラムとして記載できる。
【発明の効果】
【００２８】
以上示したように請求項１，６の発明によれば、従来困難とされていた、動体同士が非常に接近するような状況下においても、その動体の個々の動きを安定して追跡できる。
【００２９】
請求項２，７の発明によれば、仮想画像取得手段を介し、仮想シーンに基づいたシミュレーション画像を作成できる。
【００３０】
請求項３，８の発明によれば、大きさの異なる複数の動体に関して、その動体の個々の動きを安定して追跡できる。
【００３１】
請求項４，９の発明によれば、実時間で動体追跡を行うことができる。
【００３２】
請求項５，１０の発明によれば、現象追随性に優れた動体追跡を行うことができる。
【００３３】
請求項１１の発明によれば、動体追跡方法を実装したコンピュータプログラムを記録した記憶媒体を取得できる。
【００３４】
これらを以ってコンピュータビジョン分野に貢献できる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明の実施の形態における動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体を図面等に基づいて詳細に説明する。
【００３６】
本発明の目的は、三次元空間中に存在する複数の物体や人物について、各時刻ｔにおける位置、大きさを表す対象状態を逐次的に推定し、物体を追跡することである。
【００３７】
その目的のために、本実施の形態における動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体は、空間中に存在し追跡対象である動体（即ち、追跡対象動体）に関する対象状態を、該追跡対象動体が撮影された入力画像に基づいて追跡する動体追跡装置であって、各時刻における入力画像を取得する画像取得手段と、その取得した入力画像から追跡対象を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、前時刻の対象状態から現時刻における対象状態を予測する対象状態予測手段と、追跡する空間の三次元構造と、前記の画像取得手段の内部パラメータとして焦点距離並びに画像中心、及び前記の画像取得手段の外部パラメータとして三次元位置並びに姿勢情報を記述した三次元環境情報と、前時刻に予測された対象状態の仮説を表した三次元モデルと、を用いて、画像取得手段によって取得した入力画像から作成したシルエット画像をシミュレートしたシミュレーション画像を生成するシミュレーション画像作成手段と、前記のシルエット画像とシミュレーション画像を比較することによって、対象状態の予測結果を評価する予測結果評価手段と、予測結果の評価から、現時刻における対象状態の期待値を計算する対象状態計算手段と、を有する。
【００３８】
なお、時刻は、特定のサンプリング間隔Δｔでサンプリングした回数（または順序数）を示す。そして、初期時刻ｔ0は、動体追跡を開始した時刻（即ち、時刻ｔが「０」の時点）を示す。前時刻は、初期時刻ｔ0から現在時刻（即ち現時刻）間の時刻であって、現時刻（例えば、ｔ）の直前に動体追跡を行った時刻（即ち、ｔ−１）となる。
【００３９】
本実施の形態の装置構成を図１に基づいて以下に説明する。
【００４０】
本実施の形態の装置構成は、画像取得手段１１と、シルエット画像作成手段１２と、対象状態予測手段１３と、シミュレーション画像作成手段１４と、予測結果評価手段１５と、対象状態計算手段１６と、三次元環境情報管理手段（例えば、三次元環境情報を管理するデータベース）２１と、対象状態記憶手段２２と、から構成される。
【００４１】
画像取得手段１１は、各時刻に撮影された画像データを取得する手段であり、例えばデジタルカメラやビデオカメラ等の画像センサなどを備えている。
【００４２】
シルエット画像作成手段１２は、前記の取得された画像データから対象の写っている領域のみを抽出した画像（即ち、シルエット画像）を作成する。
【００４３】
対象状態予測手段１３は、前時刻に計算された対象状態から現時刻での対象状態の予測を行い、対象状態記憶手段２２に保存されている前時刻の予測結果を現時刻の予測結果に更新する。
【００４４】
シミュレーション画像作成手段１４は、前記の更新された対象状態記憶手段２２に保存されている対象の状態をシミュレートした対象の三次元モデルと、予め計測しておいた実世界の三次元構造と、実世界に配置された画像取得手段１１に備えられた画像センサの内部及び外部パラメータを記述した三次元環境情報管理手段２１と、を用いて前記の画像取得手段１１（例えば、カメラ）で取得した画像から作成したシルエット画像をシミュレートした画像（即ち、シミュレーション画像）を作成する。
【００４５】
予測結果評価手段１５は、前記の画像取得手段１１によって取得した画像から作成したシルエット画像と該シルエット画像をシミュレートしたシミュレーション画像を比較することによって、対象状態の予測結果を評価する。
【００４６】
対象状態計算手段１６は、まず、前記の対象状態の予測結果の評価を用いて、現時刻における対象状態の計算を行う。次に、前時刻に計算された対象状態を用いて対象状態の移動ベクトルを算出した後に対象状態記憶２２に保存されている前時刻に計算された対象状態の計算結果を現時刻の計算結果に更新する。そして、その更新に合わせて前時刻に計算された対象状態の移動ベクトルを更新する。
【００４７】
三次元環境情報管理手段２１は、予め計測しておいた実世界の三次元構造情報と、設置されている画像取得手段１１（例えば、カメラ）の内部パラメータ（カメラの内部パラメータであって、例えば、焦点距離，画像中心などのパラメータ）と、その画像取得手段１１の外部パラメータ（カメラの外部パラメータであって、例えば、カメラ自体の三次元位置及び姿勢情報）と、を保存する。
【００４８】
対象状態記憶手段２２は、対象状態計算手段１６によって計算された対象状態の計算結果と対象状態の移動ベクトルを記憶する。
【００４９】
次に、本実施の形態の方法を図２乃至図７に基づいて以下に説明する。なお、以下の説明で、図１中の符号と同じものの説明は省略する。
【００５０】
本実施の形態における動体追跡対象のモデルを図２に基づいて以下に説明する。
【００５１】
図２中では、平面上を歩行する二人の人物（人物Ｈ１および人物Ｈ２）を追跡対象とし、位置と姿勢を固定されたビデオカメラＣ１及びＣ２（画像取得手段１１）を用いて追跡を行うモデルである。なお、カメラＣ１及びカメラＣ２は、同じ撮影間隔で同期して画像の取得を行うものとする。
【００５２】
通常、空間中には、追跡の対象でない非対象物体（例えば、図２中の非対称物体Ｂ）が存在している。この非対象物体Ｂの三次元構造データは、手作業によって該非対象物体ＢのＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）データを作成する方法、レンジファインダまたはカメラ映像に対する三次元復元を行う方法、などを利用して、予め計測して取得しておくことができる。なお、前記の三次元構造データは、ＸＹ平面が床面と一致し、高さ方向がＺ軸と一致する座標系に変換されたものとする。
【００５３】
次に、配置されたカメラＣ１及びカメラＣ２のカメラ内部パラメータの校正及び三次元位置（ｘ，ｙ，ｚ）と姿勢（φ，θ，γ）を、その取得した三次元構造データと同じ座標系上で求める。例えば、前述のカメラキャリブレーション方法によって取得することが可能である。これら三次元構造データと、カメラＣ１およびカメラＣ２の三次元位置および姿勢、を三次元環境情報管理手段２１に予め記憶しておくことにする。
【００５４】
次に、本実施の形態における追跡対象に係る状態分布を図３に基づいて以下に説明する。なお、図３中で図１及び図２中の符号と同じものの説明は省略する。
【００５５】
図３中の楕円体ｅは、人物の形状を近似したモデルである。人物の位置を床平面上の二次元座標値（ｘ，ｙ）、人物の大きさを楕円体の半径ｒと高さｈで表す。また、以下の説明では、対象状態予測手段１３には時系列フィルタの一種であるパーティクルフィルタを用いるものとする。
【００５６】
人物Ｈ１及び人物Ｈ２の状態は、それぞれ複数の状態仮説の集合と各々の仮説の確からしさの集合から構成される状態分布Ｓ1およびＳ2によって表される。即ち、時刻ｔにおける人物ｎの状態分布は、以下の式１で表される。
【００５７】
【数１】
0004673241.tif 000002
【００５８】
ただし、Ｋは保持する仮説数である。
【００５９】
状態分布Ｓを構成する各々の仮説ｓiは、以下の式２で表される四次元ベクトルである。
【００６０】
【数２】
0004673241.tif 000003
【００６１】
ただし、ｘiおよびｙiは、床平面上における人物の位置を示す二次元座標値(ｘ，ｙ)の仮説である。また、ｒiおよびｈiは、人物を楕円体で近似した際の楕円体のパラメータ半径ｒおよび高さｈの仮説である。
【００６２】
状態分布Ｓを構成する各々の仮説ｓiの確からしさを表すπiは、以下の式３を満たすスカラー量とする。
【００６３】
【数３】
0004673241.tif 000004
【００６４】
以上のように、本実施の形態では、各時刻の状態分布Ｓ1およびＳ2を推定することによって、人物Ｈ１および人物Ｈ２の状態を逐次推定し、その追跡を行う。
【００６５】
次に、本実施の形態における動体追跡方法を図４に基づいて以下に説明する。なお、図４に係る説明で図１乃至図３中の符号と同じものの説明は省略する。
【００６６】
まず、処理が開始されると、画像取得手段１１により、カメラＣ１およびカメラＣ２により同期撮影された画像データ（Ｉｍ1，Ｉｍ2）を取得する（Ｓ３０１）。
【００６７】
次に、シルエット画像作成手段１２によって、前記カメラＣ１およびカメラＣ２から取得した画像データＩｍ1およびＩｍ2に対し、それぞれのシルエット画像（Ｓｉｌ1，Ｓｉｌ2）を作成する（Ｓ３０２）。なお、図５中の符号５０１は入力画像の一例、符号５０２が入力画像５０１から作成されたシルエット画像の一例、である。
【００６８】
次に、予測された対象状態から前記カメラＣ１およびカメラＣ２から取得した画像データＩｍ1およびＩｍ2から作成したシルエット画像Ｓｉｌ1およびＳｉｌ2のシミュレーション画像を作成する（Ｓ３０３）。
【００６９】
ここで、図６に基づいて符号Ｓ３０３におけるシミュレーション画像作成手順を以下に説明する。
【００７０】
まず、処理が開始されると、時刻が初期時刻ｔ0か否かのチェックが行われる（Ｓ４０１）。
【００７１】
次に、時刻が初期時刻ｔ0である場合には、対象状態記憶手段２２に全くデータが保存されていないため、人物Ｈ１および人物Ｈ２の状態分布Ｓ1およびＳ2に関して初期化を行う（Ｓ４０２）。
【００７２】
なお、初期時刻ｔ0では、人物Ｈ１および人物Ｈ２の状態について事前知識を持っていないため、例えば、初期状態は一様乱数を用いて決定する。また、人物の空間上で取り得る位置の範囲を三次元環境情報管理手段２１から取得できるものと見做す。即ち、ここでは、その人物の空間上で取り得る位置の範囲を、
【００７３】
【数４】
0004673241.tif 000005
【００７４】
とする。なお、人物を近似する楕円体の大きさを表すパラメータｒおよびｈは、人物の大きさに関する経験的な事前知識（例えば、３ｍを超える身長の人はいない、など）に基づいて、パラメータｒおよびｈの取り得る値の範囲を制限することができる。ここでは、パラメータｒおよびｈの取り得る値の範囲を、
【００７５】
【数５】
0004673241.tif 000006
【００７６】
とする。
【００７７】
以上のような条件下でｘ，ｙ，ｒ，ｈのそれぞれのパラメータに関して一様乱数を発生させることによって、対象状態の初期化を行う。
【００７８】
まず、人物Ｈ１の状態Ｓ1の初期化を行う。Ｓ1を構成するＫ個の状態仮説ｓiを独立に上記の条件下での一様乱数で決定する。
【００７９】
次に、人物Ｈ２の状態Ｓ2についても初期化を行うが、人物Ｈ１と人物Ｈ２同士が三次元空間上で重ならないようにするために、式４で表される条件、即ち、その人物Ｈ１と人物Ｈ２を表す楕円体の中心同士の距離が、二つの楕円体の半径の和より大きいこと（即ち、次式４）を満たすようにして決定を行う。
【００８０】
【数６】
0004673241.tif 000007
【００８１】
なお、ｘn，ｙn，ｒnは人物ｎの状態における位置（ｘ座標，ｙ座標および半径ｒ）を示す。
【００８２】
次に、人物Ｈ１および人物Ｈ２の状態に関する各仮説の持つ確からしさπiについても初期化を行う。ただし、初期時刻ｔ0では、対象状態に関する事前知識がないため、各々の仮説は等確率であると考え、式５のようにして一様な確からしさを持つようにする。
【００８３】
【数７】
0004673241.tif 000008
【００８４】
以上の手順によって、状態分布Ｓ1およびＳ2の初期化を実施できる。
【００８５】
次に、符号Ｓ４０２で初期化された、もしくは、前時刻に対象状態予測手段１３により予測された、状態分布Ｓ1およびＳ2と三次元環境情報管理手段２１を用いて実世界をシミュレートした仮想シーンを構築する（Ｓ４０３）。
【００８６】
なお、三次元環境情報管理手段２１には、実世界の三次元構造の情報が三次元の点群として、もしくはポリゴンデータとして保存されているものとする。さらに、その実世界の三次元構造の情報は、床面がＸＹ平面、高さ方向がＺ軸となるような座標系で保存されているものとする。即ち、この三次元構造の情報に対して、状態分布Ｓ1およびＳ2に基づいた楕円体の三次元モデルを配置できることになる。
【００８７】
また、本実施の形態では、人物の状態を表す状態分布ＳはＫ個の仮説を持っているものとする。このため、人物Ｈ１及び人物Ｈ２の各々取り得る状態に関して、全ての組み合わせの仮想シーンを構築するとＫ2個の仮想シーンが必要となってしまう。そこで、本実施の形態では、前時刻と現時刻の間には対象の変異は微小であることを考慮し、前時刻で計算された対象状態分布の期待値を用いて計算量を削減することにする。
【００８８】
例えば、図７中の人物Ｈ１の状態のみを推定する仮想シーンでは、人物Ｈ２の状態を前時刻に対象状態計算手段１６によって計算された対象状態分布の期待値で固定し、この人物Ｈ２の状態を表す楕円体を配置する。人物Ｈ１に関しては、状態分布Ｓ1を構成するＫ個の状態仮説の表す状態に基づいた楕円体を配置したシーンをＫ個構築することにする。
【００８９】
同様にして、人物Ｈ２の状態のみを推定する仮想シーンでは、人物Ｈ１の状態を前時刻に対象状態計算手段１６によって計算された対象状態分布の期待値で固定し、この人物Ｈ１の状態を表す楕円体を配置する。人物Ｈ２に関しては、状態分布Ｓ2を構成するＫ個の状態仮説の表す状態に基づいた楕円体を配置したシーンをＫ個構築することができる。
【００９０】
以上の手順によって、２×Ｋ個の仮想シーンの構築を行う。
【００９１】
ただし、初期時刻ｔ0においては前時刻の対象状態が存在しないため、人物ｎ（ｎ人の人物）の推定時には、人物ｎの楕円体だけを配置して、２×Ｋ個の仮想シーンを構築することとする。
【００９２】
次に、符号Ｓ４０３で構築された仮想シーンを、三次元環境情報管理手段２１に保存されている実世界上に配置されたカメラのパラメータ（即ち、内部パラメータ（焦点距離、画像中心など），外部パラメータ（カメラの三次元位置と姿勢））を有する仮想カメラ（即ち、仮想画像取得手段）へ投影し、シミュレーション画像を作成する（Ｓ４０４）。
【００９３】
なお、本実施の形態では、カメラＣ１およびカメラＣ２によって、人物の状態を推定するため、構築された仮想シーンを仮想カメラ１および仮想カメラ２に投影し、カメラＣ１で撮影された画像Ｉｍ1より作成されたシルエット画像Ｓｉｌ1とカメラＣ２で撮影された画像Ｉｍ2より作成されたシルエット画像Ｓｉｌ2のシミュレーション画像を作成する。即ち、符号Ｓ４０３にて構築された２×Ｋ個の仮想シーンを全て投影するため、シミュレーション画像は、シルエット画像Ｓｉｌ1に対し２×Ｋ個、シルエット画像Ｓｉｌ2に対しても同様に２×Ｋ個、生成されることが分かる。
【００９４】
前記の投影処理は、例えば、前述の楕円体モデル追跡方法における投影処理を用いて一意に行うことができる。その投影処理では、シミュレーション画像上の楕円体領域の値を「１」、それ以外の領域の値を「０」とする２値画像とすることができる。以下の説明では、カメラＮのシルエット画像ＳｉｌNをシミュレートし、かつ人物ｎを推定するためのｉ番目のシミュレーション画像をＶＩNniと呼ぶことにする。
【００９５】
以上が、符号Ｓ３０３のシミュレーション画像の作成手順である。
【００９６】
次に、シルエット画像作成手段１２によって作成されたシルエット画像Ｓｉｌ1およびＳｉｌ2とシミュレーション画像ＶＩ1niおよびＶＩ2niとを比較し、さらに、三次元環境情報管理手段２１を用いて、複数の予測結果を予測結果評価手段１５によって評価する（Ｓ３０４）。
【００９７】
例えば、人物ｎに関して、ｉ番目の状態仮説ｓiの評価を行うとする。即ち、以下の式６により評価値の計算を行うことができる。
【００９８】
【数８】
0004673241.tif 000009
【００９９】
ただし、（ｋ，ｌ）は、画像のｋ行ｌ列成分を示す。
【０１００】
式６では、カメラＣ１からの情報およびカメラＣ２からの情報に関する統合を行っている。即ち、複数の視点の情報を使って評価を行っているものである。なお、この評価を人物Ｈ１の状態および人物Ｈ２の状態が保持するＫ個の仮説全てに対し行う。また、この評価における各仮説ｓiの評価値Ｖａｌをπiに暫定的に代入する。さらに、三次元環境情報管理手段２１を用いて、人物状態の位置(ｘ，ｙ)に応じて、重みをつける。
【０１０１】
本実施の形態では、人物は床平面上に存在している、ことを仮定しているため、例えば、空間中で対象以外に存在している静止物体の上によじ昇ったりすることはない、と仮定している。
【０１０２】
例えば、人物の存在している位置(ｘ，ｙ)における三次元構造の高さに反比例する式７で表されるペナルティ関数Ｐ(ｘ，ｙ)を用意し、πiと掛け合わせたものを新たに確からしさπiとする。
【０１０３】
【数９】
0004673241.tif 000010
【０１０４】
ただし、Ｋは定数、ｈ(ｘ，ｙ)は位置(ｘ，ｙ)における三次元構造のＺ値である。なお、ｈ(ｘ，ｙ)＜Ｋの場合には、Ｐ(ｘ，ｙ)を「１．０」とする。
【０１０５】
次に、対象状態の計算（Ｓ３０５）では、対象状態計算手段１６によって、人物Ｈ１と人物Ｈ２の対象状態を計算し、それぞれの状態の期待値を求める。さらに、前時刻の対象状態の期待値との変位ベクトルを計算し、対象状態記憶２２に保存を行う。
【０１０６】
なお、符号Ｓ３０４で、既に、状態仮説ｓi，その確からしさπiが求められている。しかし、符号Ｓ３０４で求められたπiは、式３の条件を満たしていないため、正規化を行う必要がある。これは、式８によって表される係数Ｎｏｒｍを全てのπiに掛け合わせることで実現できる。
【０１０７】
【数１０】
0004673241.tif 000011
【０１０８】
前記の正規化を人物Ｈ１および人物Ｈ２の対象状態に関して行うことによって、現時刻の状態分布Ｓ1およびＳ2を計算できる。さらに、この状態分布の期待値を計算することによって、現時刻の人物Ｈ１と人物Ｈ２の状態を推定する。状態分布Ｓの期待値Ｅｘ（Ｓ）は、式９で計算できる。
【０１０９】
【数１１】
0004673241.tif 000012
【０１１０】
また、対象状態予測手段１３によって、次の時刻の対象状態を予測するために、状態変位ベクトルＶを前時刻の対象状態分布の期待値を用いて、式１０により求める。
【０１１１】
【数１２】
0004673241.tif 000013
【０１１２】
なお、初期時刻ｔ0においては上式を計算できないので、Ｖの全ての要素を「０」とする。このようにして計算したＶを対象状態記憶２２に保存する。
【０１１３】
次に、符号Ｓ３０６では、追跡を終了するか否かのチェックを行う。追跡を終了する場合、処理を終了とする。また、追跡を継続する場合、次の時刻の状態の予測（Ｓ３０７）の処理を行う。
【０１１４】
対象状態の予測（Ｓ３０７）では、現時刻ｔで計算された対象状態Ｓtから次の時刻ｔ＋１の対象状態Ｓt＋１を予測する。その予測は、次のような二段階の処理によって行われる。
【０１１５】
第一段階の処理は、現時刻ｔで計算された対象状態Ｓtの各仮説ｓiの確からしさを示すπiを用いて新たにＫ個の仮説を選択する。即ち、この選択は、Ｋ回独立に対象状態Ｓtを構成するＫ個の仮説ｓiの中から確からしさπiの大きさに従った選択である。
【０１１６】
そのため、確からしさπiが大きな仮説ｓiは、複数回選択されることもある。逆に、確からしさπiが小さな仮説は、Ｋ回の選択で一度も選択されない可能性もある。
【０１１７】
このようにして、新たにＫ個の仮説を選択することが、第一段階の処理である。
【０１１８】
第二段階の処理では、新たに選択されたＫ個の仮説の状態に変化を加える。例えば、式１１によって、その変化を加えることができる。
【０１１９】
【数１３】
0004673241.tif 000014
【０１２０】
ここで、Ｖtは、符号Ｓ３０５で計算した対象状態の変位ベクトル、δは四次元の白色雑音である。なお、各要素の取り得る範囲は、追跡する際の条件（画像取得の時間間隔など）によって決定することができる。
【０１２１】
そして、新たに選択されたＫ個の仮説に対し、上式を作用して予測を行う。
【０１２２】
以上の処理を人物Ｈ１および人物Ｈ２の対象状態Ｓ1，Ｓ2それぞれについて行う。
【０１２３】
以上、述べた処理を繰り返すことで人物Ｈ１および人物Ｈ２の各々の状態を逐次推定することが可能となる。
【０１２４】
なお、図１で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、図４、図６で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【０１２５】
次に、本実施の形態の実施例を図８乃至図１１に基づいて以下に説明する。なお、以下の説明で、図１乃至図７中の符号と同じものの説明は省略する。
【０１２６】
本実施の形態の一例は、上述の実施の形態を実装した動体追跡装置を用いて、２台のビデオカメラ（即ち、カメラＣ１およびカメラＣ２）から得られた映像を処理して、２人の人物（即ち、人物Ｈ１および人物Ｈ２）を追跡した結果を取得するものである。
【０１２７】
まず処理が開始されると、カメラ画像の取得を行う（Ｓ３０１）。図８は二台のカメラから取得した画像列の一部であり、上段がカメラＣ１からの画像、下段がカメラＣ２からの画像である。
【０１２８】
次に、得られたカメラ画像からシルエット画像を作成する（Ｓ３０２）。背景差分法を用いて作成したシルエット画像Ｓｉｌ11〜14，Ｓｉｌ21〜24を図９に示す。図８と同じように上段がカメラＣ１からの画像Ｉｍ11〜14、下段がカメラＣ２からの画像Ｉｍ21〜24であり、図９のシルエット画像Ｓｉｌ11〜14，シルエット画像Ｓｉｌ21〜24は、図８において同じ位置に示されている画像と対応している。
【０１２９】
次に、符号Ｓ３０３にて、シルエット画像を対象状態予測手段１３により得られた予測結果を利用してシミュレートしたシミュレーション画像の作成が行われる。図１０において上段はシルエット画像Ｓｉｌ12、下段は上段のシルエット画像Ｓｉｌ12をシミュレートしたシミュレーション画像の一部（即ち、シミュレーション画像ＶＩ1211〜1213）である。このように対象状態予測手段１３によって得られた複数の予測が表す状態を使って複数のシミュレーション画像を作成する。
【０１３０】
符号Ｓ３０４では、符号Ｓ３０３で作成された複数のシミュレーション画像（例えば、シミュレーション画像ＶＩ1211〜1213）とシルエット画像（Ｓｉｌ12）の類似度を計算し、各々の予測結果の評価を行う。
【０１３１】
符号Ｓ３０５では、符号Ｓ３０４で計算された複数の仮説の評価結果より、現在の対象状態の期待値を求め、これを現時刻での対象状態として出力する。前時刻と現時刻での対象状態の変化ベクトルを求める。図１１に計算された対象状態をシミュレートした画像ＶＩ11〜14、ＶＩｂ11〜14を示す。図１１は、それぞれ上段がカメラからの画像Ｉｍ11〜14、中段が対象の状態をシミュレートした画像ＶＩ11〜14、下段が俯瞰図として天井にカメラが設置されているとしてシミュレートした画像ＶＩｂ11〜14であり、人物Ｈ１と人物Ｈ２がすれ違う様子を明確に追跡できていることを示している。
【０１３２】
符号Ｓ３０６では、現時刻までで、追跡を終了とする場合には、処理を終了し、そうでない場合には、符号Ｓ３０７の対象状態の予測（Ｓ３０７）へ進む。
【０１３３】
符号Ｓ３０７では、符号Ｓ３０５で計算された対象状態の変化ベクトルを利用して、次時刻の対象状態について複数の仮説を立てる。
【０１３４】
以上述べた処理を繰り返すことによって、本実施形態の一例では、２人の人物（即ち、人物Ｈ１及びＨ２）が接近してすれ違うシーケンスにおいても安定した追跡を行うことができる。これは、複数のカメラの情報が統合されていることを示している。また、２人の体型の違う人物に対しても、予めパラメータを与えることなく、安定して追跡できる。即ち、これらの特徴は従来法と違い、複数のカメラの情報を統合し、体の大きさまで推定することができるからである。
【０１３５】
以上、本発明において、記載された具体例に対してのみ詳細に説明したが、本発明の技術思想の範囲で多彩な変形および修正が可能であることは、当業者にとって明白なことであり、このような変形および修正が特許請求の範囲に属することは当然のことである。
【０１３６】
例えば、本実施の形態の変形例としては、次のようなものがある。
【０１３７】
本実施の形態の予測手段１３には、一例として、パーティクルフィルタを用いたが、これに限定するものでなく、カルマンフィルタや拡張カルマンフィルタなどの時系列フィルタを用いても構わない。
【０１３８】
本実施形態では、一例として、追跡する人物を２人として説明したが、対象状態をＮ（Ｎは自然数）人分用意することで、Ｎ人の追跡も同様に実現できる。
【０１３９】
本実施形態では、一例として、利用するカメラ台数を２台と設定したが、カメラの台数は理論的拡張なしに任意の数Ｎ台で利用することができる。
【０１４０】
本実施形態の符号Ｓ３０４の処理において、一例として、シルエット画像とシミュレーション画像の比較に式６を用いたが、画像間の類似度を取る評価関数、例えば、単純な積演算を利用しても同様に実現できる。
【０１４１】
本実施形態では、符号Ｓ３０４の処理において、一例として、環境のペナルティ関数に高さ方向で重みを付けた式７を採用したが、人物の存在位置の重みを表現できる関数であれば、任意の関数を利用することができることは当然である。
【図面の簡単な説明】
【０１４２】
【図１】本実施の形態における構成図。
【図２】本実施の形態における動体追跡対象のモデル図。
【図３】本実施の形態における対象の三次元モデルである楕円体モデル図。
【図４】本実施の形態における動体追跡処理手順を示すフローチャート。
【図５】本実施の形態における入力画像に対応するシルエット画像の一例を示す図。
【図６】本実施の形態におけるシミュレーション画像作成の処理手順を示すフローチャート。
【図７】本実施の形態における複数の人物が存在する仮想シーンの構築方法を示すモデル図。
【図８】本実施の形態の一例におけるカメラからの画像列の一部を示す図。
【図９】本実施の形態の一例におけるカメラからの画像列の一部から作成したシルエット画像を示す図。
【図１０】本実施の形態の一例におけるシルエット画像および予測結果より、シルエット画像をシミュレートした画像を示す図。
【図１１】本実施の形態の一例における入力画像の一部および入力画像から計算した対象状態をシミュレートした画像とそれを俯瞰した画像を示す図。
【符号の説明】
【０１４３】
１１…画像取得手段
１２…シルエット画像作成手段
１３…対象状態予測手段
１４…シミュレーション画像作成手段
１５…予測結果評価手段
１６…対象状態計算手段
２１…三次元環境情報管理手段
２２…対象状態記憶
５０１…入力画像
５０２…シルエット画像
Ｂ…非対象物体
Ｃ１，Ｃ２…カメラ
Ｈ１，Ｈ２…人物
Ｉｍ11〜14…カメラＣ１からの画像
Ｉｍ21〜24…カメラＣ２からの画像
Ｓｉｌ11〜14…カメラＣ１からのシルエット画像
Ｓｉｌ21〜24…カメラＣ２からのシルエット画像
ＶＩ11〜14…対象状態をシミュレートした画像
ＶＩｂ11〜14…対象状態をシミュレートした画像（俯瞰図）
ＶＩ1211〜1213…Ｓｉｌ12のシミュレーション画像
ＶＳ１，ＶＳ２，ＶＳＫ…仮想シーン
ｅ…楕円体
【図１】
0004673241.tif 000015
【図２】
0004673241.tif 000016
【図３】
0004673241.tif 000017
【図４】
0004673241.tif 000018
【図５】
0004673241.tif 000019
【図６】
0004673241.tif 000020
【図７】
0004673241.tif 000021
【図８】
0004673241.tif 000022
【図９】
0004673241.tif 000023
【図１０】
0004673241.tif 000024
【図１１】
0004673241.tif 000025