(57)【特許請求の範囲】
【請求項１】
１又は複数の画像取得手段によって取得された画像を用いて動物体の三次元位置、大きさなどの状態を追跡する装置であって、
各時刻において画像取得手段によって取得された画像から追跡対象物体の写っている領域だけを抽出したシルエット画像を作成するシルエット画像作成手段と、
予め計測しておいた実世界の三次元構造と実世界に配置された前記画像取得手段の内部・外部パラメータおよび環境中での対象物体の移動ベクトルを成分とした確率分布で表現される行動履歴分布を記憶する三次元環境情報データベースと、
前記三次元環境情報データベースの情報と前記シルエット画像とを用いて、各時刻において対象状態の確率分布を推定する対象状態分布推定手段と、
各時刻において前記対象状態分布推定手段によって推定された対象状態の確率分布を記憶する対象状態分布記憶手段と、
前記対象状態分布記憶手段に保存された対象状態の確率分布より各時刻において最大の確率を持つ対象状態を計算して当該対象状態分布記憶手段に保存する対象状態計算手段と、
前記三次元環境情報データベースに保存された行動履歴分布を前記対象状態計算手段で計算された対象状態に基づき更新する行動履歴分布計算手段と、
を備え、
前記対象状態分布推定手段は、前記対象状態分布記憶手段に保存されている前時刻の対象状態分布を、現時刻の対象状態分布に更新し、
前記対象状態計算手段は、前記現時刻の対象状態分布が保存された対象状態分布記憶手段に含まれる対象状態分布から最大確率を持つ対象状態とこの対象状態での対象物体の移動ベクトルを計算して当該対象状態分布記憶手段に保存し、
前記行動履歴分布計算手段は、前記三次元環境情報データベースに保存されている行動履歴分布を前記対象状態計算手段で計算された最大確率を持つ対象状態での対象物体の移動ベクトルに基づき更新すること
を特徴とする動物体追跡装置。
【請求項２】
請求項１記載の動物体追跡装置において、
前記行動履歴分布計算手段は、
更新する行動履歴分布を決定する手段と、
混合正規分布で表された行動履歴分布の中から対応する正規分布を決定する手段と、
正規分布パラメータを更新する手段と、
混合正規分布の混合率を更新する手段と、
を有することを特徴とする動物体追跡装置。
【請求項３】
請求項１又は２記載の動物体追跡装置において、
前記対象状態は、
楕円体モデルの集合で表す手段と、
各対象の位置を任意の平面上の位置（ｘ，ｙ）で表す手段と、
各対象の大きさを楕円体モデルの半径ｒと高さｈで表す手段と、
したことを特徴とする動物体追跡装置。
【請求項４】
各時刻において画像取得手段によって取得された画像から追跡対象物体の写っている領域だけを抽出したシルエット画像を作成するシルエット画像作成手段と、
予め計測しておいた実世界の三次元構造と実世界に配置された前記画像取得手段の内部・外部パラメータおよび環境中での対象物体の移動ベクトルを成分とした確率分布で表現される行動履歴分布を記憶する三次元環境情報データベースと、
前記三次元環境情報データベースの情報と前記シルエット画像とを用いて、各時刻において対象状態の確率分布を推定する対象状態分布推定手段と、
各時刻において前記対象状態分布推定手段によって推定された対象状態の確率分布を記憶する対象状態分布記憶手段と、
前記対象状態分布記憶手段に保存された対象状態の確率分布より各時刻において最大の確率を持つ対象状態を計算して当該対象状態分布記憶手段に保存する対象状態計算手段と、
前記三次元環境情報データベースに保存された行動履歴分布を前記対象状態計算手段で計算された対象状態に基づき更新する行動履歴分布計算手段と、
を備えた動物体追跡装置が、
１又は複数の前記画像取得手段によって取得された画像を用いて動物体の三次元位置、大きさなどの状態を追跡する方法であって、
前記対象状態分布推定手段が、前記対象状態分布記憶手段に保存されている前時刻の対象状態分布を、現時刻の対象状態分布に更新するステップと、
前記対象状態計算手段が、前記現時刻の対象状態分布が保存された対象状態分布記憶手段に含まれる対象状態分布から最大確率を持つ対象状態とこの対象状態での対象物体の移動ベクトルを計算して当該対象状態分布記憶手段に保存するステップと、
前記行動履歴分布計算手段が、前記三次元環境情報データベースに保存されている行動履歴分布を前記対象状態計算手段で計算された最大確率を持つ対象状態での対象物体の移動ベクトルに基づき更新するステップと
を有すること
を特徴とする動物体追跡方法。
【請求項５】
請求項４記載の動物体追跡方法において、
前記行動履歴分布を更新するステップは、
更新する行動履歴分布を決定するステップと、
混合正規分布で表された行動履歴分布の中から対応する正規分布を決定するステップと、
正規分布パラメータを更新するステップと、
混合正規分布の混合率を更新するステップと、
を有することを特徴とする動物体追跡方法。
【請求項６】
請求項４又は５記載の動物体追跡方法において、
前記対象状態を、
楕円体モデルの集合で表すステップと、
各対象の位置を任意の平面上の位置（ｘ，ｙ）で表すステップと、
各対象の大きさを楕円体モデルの半径ｒと高さｈで表すステップと、
したことを特徴とする動物体追跡方法。
【請求項７】
コンピュータに請求項４から６のいずれか１項に記載の動物体追跡方法の各ステップを実行させることを特徴とする動物体追跡プログラム。
【請求項８】
請求項７に記載の動物体追跡プログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１又は複数の画像入力装置（例えば、カメラ等）を用いて、物体、動物、人物等の動物体対象の位置を追跡する動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
コンピュータビジョン分野では、複数のカメラの情報を利用して人物などの動く対象物体の追跡に関する研究が多く行われている（例えば、非特許文献１参照。）。
【０００３】
また、ＭＣＭＣ法に基づいた確率統計手法を用いて直接人物の３次元位置の予測を行って、予測結果を実際の監視カメラ映像と比較することにより複数人物を追跡する方法が提案されている（例えば、非特許文献２参照。）。この手法は３次元復元という逆問題を回避することで安定した追跡結果を得ることが可能である。
【非特許文献１】大澤  達哉、ウ  小軍、若林  佳織、小池  秀樹，      “映像モニタリングのための人物追跡技術”      ＮＴＴ技術ジャーナル  ８月号（特集  映像モニタリングサービスを支える画像処理技術）、Ａｕｇ．２００７
【非特許文献２】Ｔ．Ｏｓａｗａ，Ｘ．Ｗｕ，Ｋ．Ｓｕｄｏ，Ｋ．Ｗａｋａｂａｙａｓｈｉ，Ｈ．Ａｒａｉ  ａｎｄ  Ｔ．Ｙａｓｕｎｏ，“ＭＣＭＣ  ｂａｓｅｄ  Ｍｕｌｔｉ−ｂｏｄｙ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  Ｆｕｌｌ  ３Ｄ  Ｍｏｄｅｌ  ｏｆ  Ｂｏｔｈ  Ｔａｒｇｅｔ  ａｎｄ  Ｅｎｖｉｒｏｎｍｅｎｔ，”ｉｎ  Ｐｒｏｃ．ｏｆ  ＩＥＥＥ  Ｉｎｔ’ｌ  Ｃｏｎｆ．ｏｎ  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  ａｎｄ  Ｓｉｇｎａｌ  ｂａｓｅｄ  Ｓｕｒｖｅｉｌｌａｎｃｅ（ＡＶＳＳ’０７），Ｌｏｎｄｏｎ，ＵＫ，Ｓｅｐ．２００７．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記非特許文献２では、ＭＣＭＣ法に基づいた反復処理を用いることで、人物の３次元位置に関し、反復毎に予測を行い、最終的にこの複数の予測結果の期待値を計算することで追跡を実現している。しかしながら、反復処理の初期段階では予測精度が悪いことがよく知られており、予測結果が安定するまでの不安定の予測結果を捨てる「ｂｕｒｎ−ｉｎ」という処理を行った後に期待値の計算を行っている。
【０００５】
このため、高い追跡精度と低い計算コスト（すなわち少ない反復回数）を両立するためには、反復初期の予測精度を高め、予測結果が少ない反復回数で安定することが必要であるが、前記非特許文献２では、単純な線形予測にガウス雑音を加えることで予測を行っているため、実際の人物の動きとしては、生じる確率の少ない位置への移動についても多く予測を行ってしまうという問題を有している。
【０００６】
一般に人物の移動経路は、様々な環境要因によって、偏りが生じる。例えば、“通路”を例にとってみると通路方向に沿った移動経路が支配的になり、それ以外の移動経路をとることは、例外的になることが容易に考えられる。このような環境要因を人物の移動予測に取り入れることができれば、予測精度を向上させることが可能となり、上述の課題を解決することができるが、環境要因は、環境中の位置毎にばらばらであり、事前に設定することが困難である。また、何らかの要因により環境要因自体の意味が変質してしまう可能性があるため容易ではない。
【０００７】
本発明の目的は、上述のような従来技術の問題点を解決するためになされたものであり、動物体の移動予測を実際の環境で生じやすい予測をすることで、予測結果が安定するまでにかかる反復処理回数を抑え、高い追跡精度と低い計算コストを両立することできるとともに、三次元空間中に存在する複数の動物体の各時刻における位置、大きさを表す対象状態を逐次的に推定し、動物体を追跡するようにした動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体を提供することにある。
【０００８】
そこで、本発明では、追跡によって得られた動物体の行動履歴を用い、逐次的に環境中の任意の位置から次の時刻にどのように動物体が移動するかを、確率的に表す行動履歴分布を導入する。この場合、行動履歴を統計的に処理することで、環境要因に従った移動経路の予測を行うことが可能となり、予測精度の向上が実現できることはもちろん、環境要因の事前設定を必要とせず、逐次的に更新されるため、前記問題についても解決することができる。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１に係る発明は、１又は複数の画像取得手段によって取得された画像を用いて動物体の三次元位置、大きさなどの状態を追跡する装置であって、各時刻において画像取得手段によって取得された画像から追跡対象物体の写っている領域だけを抽出したシルエット画像を作成するシルエット画像作成手段と、予め計測しておいた実世界の三次元構造と実世界に配置された前記画像取得手段の内部・外部パラメータおよび環境中での対象物体の移動ベクトルを成分とした確率分布で表現される行動履歴分布を記憶する三次元環境情報データベースと、前記三次元環境情報データベースの情報と前記シルエット画像とを用いて、各時刻において対象状態の確率分布を推定する対象状態分布推定手段と、各時刻において前記対象状態分布推定手段によって推定された対象状態の確率分布を記憶する対象状態分布記憶手段と、前記対象状態分布記憶手段に保存された対象状態の確率分布より各時刻において最大の確率を持つ対象状態を計算して当該対象状態分布記憶手段に保存する対象状態計算手段と、前記三次元環境情報データベースに保存された行動履歴分布を前記対象状態計算手段で計算された対象状態に基づき更新する行動履歴分布計算手段と、を備え、前記対象状態分布推定手段は、前記対象状態分布記憶手段に保存されている前時刻の対象状態分布を、現時刻の対象状態分布に更新し、前記対象状態計算手段は、前記現時刻の対象状態分布が保存された対象状態分布記憶手段に含まれる対象状態分布から最大確率を持つ対象状態とこの対象状態での対象物体の移動ベクトルを計算して当該対象状態分布記憶手段に保存し、前記行動履歴分布計算手段は、前記三次元環境情報データベースに保存されている行動履歴分布を前記対象状態計算手段で計算された最大確率を持つ対象状態での対象物体の移動ベクトルに基づき更新する。
【００１０】
請求項２に係る発明は、請求項１において、前記行動履歴分布計算手段は、更新する行動履歴分布を決定する手段と、混合正規分布で表された行動履歴分布の中から対応する正規分布を決定する手段と、正規分布パラメータを更新する手段と、混合正規分布の混合率を更新する手段と、を有することを特徴とする。
【００１１】
また、請求項３に係る発明は、請求項１又は２において、前記対象状態を、楕円体モデルの集合で表す手段と、各対象の位置を任意の平面上の位置（ｘ，ｙ）で表す手段と、各対象の大きさを楕円体モデルの半径ｒと高さｈで表す手段と、したことを特徴とする。
【００１２】
請求項４に係る発明は、各時刻において画像取得手段によって取得された画像から追跡対象物体の写っている領域だけを抽出したシルエット画像を作成するシルエット画像作成手段と、予め計測しておいた実世界の三次元構造と実世界に配置された前記画像取得手段の内部・外部パラメータおよび環境中での対象物体の移動ベクトルを成分とした確率分布で表現される行動履歴分布を記憶する三次元環境情報データベースと、前記三次元環境情報データベースの情報と前記シルエット画像とを用いて、各時刻において対象状態の確率分布を推定する対象状態分布推定手段と、各時刻において前記対象状態分布推定手段によって推定された対象状態の確率分布を記憶する対象状態分布記憶手段と、前記対象状態分布記憶手段に保存された対象状態の確率分布より各時刻において最大の確率を持つ対象状態を計算して当該対象状態分布記憶手段に保存する対象状態計算手段と、前記三次元環境情報データベースに保存された行動履歴分布を前記対象状態計算手段で計算された対象状態に基づき更新する行動履歴分布計算手段と、を備えた動物体追跡装置が、１又は複数の前記画像取得手段によって取得された画像を用いて動物体の三次元位置、大きさなどの状態を追跡する方法であって、前記対象状態分布推定手段が、前記対象状態分布記憶手段に保存されている前時刻の対象状態分布を、現時刻の対象状態分布に更新するステップと、前記対象状態計算手段が、前記現時刻の対象状態分布が保存された対象状態分布記憶手段に含まれる対象状態分布から最大確率を持つ対象状態とこの対象状態での対象物体の移動ベクトルを計算して当該対象状態分布記憶手段に保存するステップと、前記行動履歴分布計算手段が、前記三次元環境情報データベースに保存されている行動履歴分布を前記対象状態計算手段で計算された最大確率を持つ対象状態での対象物体の移動ベクトルに基づき更新するステップを有する。
【００１３】
また、請求項５に係る発明は、請求項４において、前記行動履歴分布を計算するステップは、更新する行動履歴分布を決定するステップと、混合正規分布で表された行動履歴分布の中から対応する正規分布を決定するステップと、正規分布パラメータを更新するステップと、混合正規分布の混合率を更新するステップと、を有することを特徴とする。
【００１４】
また、請求項６に係る発明は、請求項４又は５において、前記対象状態を、楕円体モデルの集合で表すステップと、各対象の位置を任意の平面上の位置（ｘ，ｙ）で表すステップと、各対象の大きさを楕円体モデルの半径ｒと高さｈで表すステップと、したことを特徴とする。
【００１５】
請求項７に係る発明は、コンピュータに請求項４から６のいずれか１項に記載の動物体追跡方法の各ステップを実行させることを特徴とする動物体追跡プログラムである。
【００１６】
請求項８に係る発明は、請求項７に記載の動物体追跡プログラムを記録したコンピュータ読取り可能な記録媒体である。
【発明の効果】
【００１７】
本発明によれば、大きさの異なる複数の動物体に対し、複数のカメラからの映像を統合することにより、安定してその個々の動きを追跡することができる。また、行動履歴分布の活用により、予測の収束にかかる時間も速く、高速、高精度な追跡を可能とする。
【発明を実施するための最良の形態】
【００１８】
以下本発明の実施の形態を図面に基づいて説明する。図１は本発明の実施の形態を示す動物体追跡装置の構成説明図で、図１において、本発明は、画像の取得手段１１と、シルエット画像の作成手段１２と、対象状態分布の推定手段１３と、対象状態の計算手段１４と、行動履歴分布計算手段１５と、三次元環境情報データベース２１と、対象状態分布記憶手段２２とで構成される。
【００１９】
画像の取得手段１１は、各時刻に撮影された画像データを取得する手段であり、例えば、デジタルカメラやビデオカメラ等の画像センサなどで構成されている。
【００２０】
シルエット画像の作成手段１２は、前記取得された画像データから対象の写っている領域のみを抽出した画像、すなわちシルエット画像を作成する。
【００２１】
対象状態分布の推定手段１３は、前時刻に得られた対象状態分布を初期状態として、シルエット画像の作成手段１２により作成されたシルエット画像と三次元環境情報データベース２１を用いて対象状態の確率分布を推定し、対象状態分布記憶手段２２に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する。
【００２２】
対象状態の計算手段１４は、現時刻の対象状態分布が保存された対象状態分布記憶手段２２を用いて、最大確率を取る対象状態を計算し、対象状態分布記憶手段２２を更新する。
【００２３】
行動履歴分布計算手段１５は、三次元環境情報データベース２１に保存された行動履歴分布を対象状態の計算手段１４で計算された対象状態を用いて更新する。
【００２４】
三次元環境情報データベース２１は、予め計測しておいた実世界の三次元構造情報と設置されているカメラなどの画像の取得手段１１のカメラ内部パラメータ（焦点距離、画像中心などのパラメータ）、カメラ外部パラメータ（設置されているカメラの三次元位置および姿勢情報）および行動履歴分布計算手段１５によって計算された行動履歴分布を保存する。
【００２５】
対象状態分布記憶手段２２は、対象状態分布の推定手段１３によって推定された対象状態の確率的分布および対象状態の計算手段１４によって計算された最大確率を取る対象状態を記憶する。
【００２６】
次に本発明の実施形態の一例を詳細に説明する。本発明は、三次元空間中に存在する複数の物体や人物の各時刻における位置、大きさを表す対象状態を逐次的に推定し、物体や人物を追跡することである。
【００２７】
本実施形態では、例えば図２のように平面上を歩行する複数の人物Ｈ１，Ｈ２…ＨＫを追跡対象とし、ここでは、Ｃ台の位置と姿勢を固定されたビデオカメラ（カメラ（１，２…Ｃ））を用いて追跡を行う例について示す。カメラ（１，２…Ｃ）は、同じ撮影間隔で同期して画像の取得を行うものと仮定して以下説明する。
【００２８】
通常、空間中には追跡の対象でない非対象物体Ｂが存在しており、予めこの非対象物体Ｂの三次元構造データは、手作業によるＣＡＤデータの作成やレンジファインダの利用、カメラ映像からの三次元復元などを利用してこの構造情報を予め計測しておくことができる。
【００２９】
この三次元構造データは、ＸＹ平面が床面と一致し、高さ方向がＺ軸と一致する座標系に変換するものとする。また、配置されたＣ台、全てのカメラのカメラ内部のパラメータの校正、および三次元位置（ｘ，ｙ，ｚ）と姿勢（Φ、θ、γ）を取得した三次元構造データと同じ座標系で求める。これは、よく知られるカメラキャリブレーションと呼ばれる処理であり、様々な手法がすでに提案されており、簡単に実現できる。
【００３０】
これら三次元構造データとＣ台のカメラの三次元位置および姿勢を、三次元環境情報データベース２１に予め記憶しておく。また、取得した三次元構造データをＸＹ平面上で格子状に区切り、格子を構成する各々の枠に対して、行動履歴に基づき、次の時刻にどのように移動するかを予測する行動履歴分布を保存する。具体的には、移動ベクトルを成分とした確率分布を用いる。例えば、混合正規分布などである。
【００３１】
また、格子状の区切り方は、まったく任意であるが、一例を挙げれば図３のように実寸で、１０ｃｍ四方で格子状に区切るということが考えられる。
【００３２】
本実施形態では、一例として、図４のように楕円体を人物の形状を近似したモデルｅと考え、人物の位置を床面上の二次元座標値（ｘ，ｙ）、人物の大きさを楕円体の半径ｒと高さｈで表すこととする。
【００３３】
複数の人物の状態を表す状態Ｓは、各人物の位置、大きさを表すベクトルＭ（人物モデル）を並べたものによって表す。状態Ｓの次元数は、追跡人数に応じて変化する。すなわち、ベクトルＭが、四次元ベクトルであるので、Ｋ人追跡時には、４Ｋ次元ベクトルとなる。時刻ｔにおける状態Ｓtは以下の式１で表される。
【００３４】
【数１】
0004951490.tif 000002
【００３５】
状態Ｓを構成する人物ｉの位置、大きさ、形を表す時刻ｔにおけるモデルＭi,tは、以下の式２で表される四次元ベクトルである。
【００３６】
【数２】
0004951490.tif 000003
【００３７】
ただし、ここでｘiおよびｙiは、床平面状での人物ｉの位置を示す二次元座標値（ｘ，ｙ）であり、ｒiおよびｈiは、人物を楕円体で近似した際の楕円体のパラメータ半径ｒおよび高さｈを表す。
【００３８】
本実施形態は、以上説明した各時刻ｔにおける状態Ｓtを推定することで、複数人物の状態を逐次推定し、追跡を行うものである。
【００３９】
図５は本実施形態の動作を示すフローチャートの一例であり、図１、図２を参照して述べる。まず、画像の取得手段１１により、カメラ（１，２…Ｃ）で同期撮影された画像データ（Ｉｍ1，Ｉｍ2，…Ｉｍc）を取得する（Ｓ３０１）。
【００４０】
次にシルエット画像の作成手段１２により、前記カメラ（１，２…Ｃ）から取得した画像データ（Ｉｍ1，Ｉｍ2，…Ｉｍc）に対し、それぞれのシルエット画像（Ｓｉｌ1，Ｓｉｌ2，…Ｓｉｌc）を作成する（Ｓ３０２）。シルエット画像とは、図６のように撮影した画像の対象が写っている領域の輝度値が「１」、他の領域が「０」である２値画像のことで、５０１は入力画像、５０２が作成されたシルエット画像の一例である。このような画像は、背景差分法やフレーム間差分法などのよく知られた方法を利用することで簡単に生成することができる。
【００４１】
次に前時刻に計算された状態Ｓt-1から、反復処理を行うことで現時刻ｔの状態Ｓtの確率分布を推定する（Ｓ３０３）。以下図７を用いて説明する。
【００４２】
状態Ｓtの確率分布の推定は、複数回、（Ｂ＋Ｐ）回の状態生成処理によって行われる。最初のＢ回の反復処理によって得られた状態は捨て、最後のＰ回に得られた状態をＳtの状態分布として保存する。このＰ個の状態は全て等確率で起こりうると考える（ｂｕｒｎ−ｉｎ）。
【００４３】
ここでは、時刻ｔでｎ回目の反復処理で生成された状態をＳ’t,nと記述することにする。
【００４４】
まず、更新回数ｎ＝０（Ｓ’t,0＝Ｓt-1）として処理が開始される。Ｓ４０１では変化タイプの選択を行う。変化タイプとは、状態を変化させる処理のタイプを表すものであり、次の４種類から成る。
【００４５】
１：人物の追加、２：人物の消去、３：人物の位置変更、４：人物の大きさ変更。まず、現在の状態として誰も人物を追跡していない場合（Ｓが０ベクトル）には、必ず（１：人物の追加）が選択される。それ以外の場合には、各タイプが選ばれる確率を予め任意に設定しておき、確率的に４つのタイプから選択を行う。例えば、タイプ１：０．１、タイプ２：０．１、タイプ３：０．４、タイプ４：０．４というように各タイプが選ばれる確率を設定することが可能である。
【００４６】
次に、Ｓ４０２では、いま、反復回数がｎ回目だとすると「ｎ−１」回目に生成された状態Ｓ’t,n-1を用いて、暫定的な変化状態Ｓ*を計算する。以下タイプ別に処理を説明する。
【００４７】
１：人物の追加が選ばれた場合には、新たなモデルＭn,tを状態Ｓ’t,n-1に追加する。例えば、これは以下のようにして設定することができる。
【００４８】
三次元環境情報データベース２１により人物の空間上で取り得る位置の範囲が分かっているものと仮定し、ここでは、この範囲を
【００４９】
【数３】
0004951490.tif 000004
【００５０】
とする。また、人物を近似する楕円体の大きさを表すパラメータｒおよびｈに関しては、人物の大きさに関する経験的な事前知識（３ｍを超える身長の人はいないなど）から同様にして取り得る値の範囲を制限することができる。ここでは、この範囲を
【００５１】
【数４】
0004951490.tif 000005
【００５２】
とする。
【００５３】
以上のような条件下でｘ，ｙ，ｒ，ｈのそれぞれのパラメータに関して一様乱数を発生させることで、モデルＭn,tを生成することができる。これは、人物が新たに追跡範囲に入ってきたことを表す。
【００５４】
また、予め入退室する場所、例えば、ドアの場所などの情報が得られていれば、その近辺だけを入退室エリアにすることも同様に可能である。
【００５５】
２：人物の消去が選択された場合には、状態Ｓ’t,n-1を構成するモデルＭi,tからランダムに一つのモデルを選択し、選択されたモデルＭi,tを状態Ｓ’t,n-1から削除する。これは追跡していた人物が追跡範囲から消えたことを表す。
【００５６】
３：人物の位置変更が選択された場合には、状態Ｓ’t,n-1を構成するモデルＭi,tからランダムに一つのモデルを選択し、選択されたモデルＭi,tの要素の内、人物の二次元平面上での位置（ｘi,t，ｙi,t）から次の式４に従って変化させた暫定的な位置（ｘ’i,t，ｙ’i,t）を予測する。
【００５７】
【数５】
0004951490.tif 000006
【００５８】
ただし、ｄx，ｄyは位置（ｘi,t，ｙi,t）を含む格子区間に保存された行動履歴分布を用いて計算される値であり、行動履歴分布に従ったサンプリングによってｄx，ｄyの値を得る。これは、よく知られたメトロポリス・ヘイスティング法や棄却サンプリング法など任意の確率分布に従ったサンプリングを実現する手法を利用することで実現可能である。
【００５９】
以上のように決定した暫定的な位置を用いて式５によりモデルＭ’i,tを、
【００６０】
【数６】
0004951490.tif 000007
【００６１】
とする。
【００６２】
４：人物の大きさ変更が選択された場合には、状態Ｓ’t,n-1を構成するモデルＭiからランダムに一つのモデルを選択し、選択されたモデルＭiの要素の内、人物を近似する楕円体の半径ｒおよび高さｈを表す（ｒi,t，ｈi,t）から次の式６に従って変化させた暫定的な形、大きさパラメータ（ｒ’i,t，ｈ’i,t）を計算する。
【００６３】
【数７】
0004951490.tif 000008
【００６４】
ただし、δr、δhはそれぞれ一次元のガウスノイズであり、そのパラメータは実験的に任意の値に決めることができる。この暫定的な形、大きさパラメータを用いて式７によりモデルＭ’i,tを、
【００６５】
【数８】
0004951490.tif 000009
【００６６】
とする。
【００６７】
暫定状態Ｓ*は、現在時刻ｔで反復回数がｎ回目だとすれば、「ｎ−１」回目に生成された状態Ｓ’t,n-1を変化させたものになる。タイプ１であれば新たなモデルＭn,tを加えた状態、タイプ２であれば選択されたモデルＭi,tを消去した状態、タイプ３およびタイプ４であれば選択されたモデルＭi,tを変化させて生成したモデルＭ’i,tに置き換えたものになる。
【００６８】
次に暫定的に変化させた暫定状態Ｓ*を用いて、シルエット画像の作成（Ｓ３０２）で作成されたシルエット画像（Ｓｉｌ1，Ｓｉｌ2，…Ｓｉｌc）をシミュレートした画像、すなわち、シミュレーション画像（Ｓｉｍ1，Ｓｉｍ2，…Ｓｉｍc）を作成する（Ｓ４０３）。
【００６９】
まず、三次元環境情報データベース２１と対象状態を組み合わせることで実世界をシミューレートした仮想シーンを構築する。三次元環境情報データベース２１には、実世界の三次元構造の情報が三次元の点群として、もしくはポリゴンデータとして、床面がＸＹ平面、高さ方向がＺ軸となるような座標系で保存されているものとする。この三次元構造内にＳ４０３で計算された暫定的な対象状態Ｓ*に基づいた楕円体の三次元モデルを複数配置することができる。
【００７０】
次に三次元環境情報データベース２１に保存されている、実世界上に配置されたカメラの内部パラメータ（焦点距離、画像中心など）と外部パラメータ（カメラの三次元位置と姿勢）を用いて、仮想シーンを仮想カメラへ投影することで、シミュレーション画像を作成する。
【００７１】
この投影処理は一例として非特許文献２に記載の方法を用いて一意に行なうことができる。この際、画像上の楕円体領域の値を「１」、それ以外の領域の値を「０」とする２値画像とすることで、シルエット画像（Ｓｉｌ1，Ｓｉｌ2，…Ｓｉｌc）をシミュレートしたシミュレーション画像（Ｓｉｍ1，Ｓｉｍ2，…Ｓｉｍc）を作成することができる。
以上の処理がＳ４０３である。
【００７２】
次にこの暫定状態Ｓ*が尤もらしいか判断するために、尤度を計算する（Ｓ４０４）。これは事前知識による対象状態自体の確からしさの判定およびＳ３０２で作成されたシルエット画像（Ｓｉｌ1，Ｓｉｌ2，…Ｓｉｌc）とＳ４０３で生成されたシミュレーション画像（Ｓｉｍ1，Ｓｉｍ2，…Ｓｉｍc）の比較により行う。
【００７３】
事前知識による状態の確からしさの判定には２種類ある。
一つは、三次元環境による制限である。三次元環境情報データベース２１を用いて、人物状態の位置（ｘ，ｙ）に応じて、存在確率に重みをつけることができる。本実施形態では、人物は床平面上に存在していることを仮定しており、空間中で対象以外に存在している静止物体の上によじ昇ったりすることはない仮定している。そこで、例えば、人物の存在している位置（ｘ，ｙ）における三次元構造の高さに反比例する以下の式８で表されるペナルティ関数Ｐ（Ｓ*）を用意することで、存在確率に重みを付けることが可能である。
【００７４】
【数９】
0004951490.tif 000010
【００７５】
ただし、ｈ（Ｍi,t）はモデルＭi,tの要素中の位置（ｘi,t，ｙi,t）における三次元構造のＺ値、αは定数で、実験的に任意に設定可能であるが、例えば、床平面に傾斜があるなどして、人物が立つ位置によってＺ値が大きく変化する場合には、αを大きくする必要がある。
【００７６】
また、もう一つは、追跡している人物同士が三次元空間上で重なることがないという条件である。いま、この実施形態では、人物を楕円体で近似しているため、個々の楕円体が重ならない条件、すなわち異なる二つの楕円体の中心同士の距離が、二つの楕円体の半径の和より大きいことを満たす必要がある。
【００７７】
二人の人物同士が三次元空間上で重ならないようにするために、次の式９で表される距離Ｒ、すなわち二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数Ｅ（Ｓ*）を設定する。
【００７８】
【数１０】
0004951490.tif 000011
【００７９】
ただしｘn,t，ｙn,tは、人物ｎの位置ｘ座標、ｙ座標を示す。
楕円体の距離が近くなるとペナルティを与える関数Ｅは、例えば、以下の式１０のように設定できる。
【００８０】
【数１１】
0004951490.tif 000012
【００８１】
ただし、βは定数で、実験的に任意に設定可能であり、環境の混雑度によって最適なパラメータを選ぶ。例えば、混雑度が高く、人物同士の接触が頻繁に起こる場合、βを小さくするとこのような状態も尤度が極端に小さくならない。
【００８２】
次にシルエット画像の作成（Ｓ３０２）により、作成されたシルエット画像（Ｓｉｌ1，Ｓｉｌ2，…Ｓｉｌc）とシミュレーション画像（Ｓｉｍ1，Ｓｉｍ2，…Ｓｉｍc）の比較について説明する。これは例えば、以下の式１１の評価式によって計算を行うことができる。
【００８３】
【数１２】
0004951490.tif 000013
【００８４】
ただし、（ｋ，ｌ）は画像のｋ行ｌ列成分を示す。
式１１ではＣ台のカメラ全ての情報統合を行っており、複数の視点の情報を使って評価を行っている。
【００８５】
最終的に暫定状態Ｓ*の尤度Ｌは、式１２によって表され、積演算によって計算される。
【００８６】
【数１３】
0004951490.tif 000014
【００８７】
以上の処理がＳ４０４である。
【００８８】
次にＳ４０５では、Ｓ４０４で計算された尤度を用いて、暫定状態Ｓ*を受け入れて更新するか、もしくは拒否するかの演算を行う。これは受け入れ拒否判断確率Ａの計算によって決定する。受け入れ拒否判断確率Ａは、例えば以下の式１３により計算することが可能である。
【００８９】
【数１４】
0004951490.tif 000015
【００９０】
ここで、現在ｎ回目の反復処理だとすると、Ｌ’は「ｎ−１」回目に更新されたＳ’t,n-1の尤度を表す。つまり前回の状態よりも今回の状態のほうが、尤度が高ければ必ず受け入れ、そうでなければＬ／Ｌ’の確率で暫定状態Ｓ*を採用する。
【００９１】
ここで、暫定状態Ｓ*が採用されれば、Ｓ’t,n＝Ｓ*とし、採用が拒否されればＳ’t,n＝Ｓ’t,n-1として、Ｓ４０７の条件判断ステップへと進む。
【００９２】
Ｓ４０７では反復処理が規定の回数行われたかの判断が行われる。反復回数ｎが任意に決定できる定数ＢとＰの和で表されるＢ＋Ｐ回を超えていれば処理を終了する。
【００９３】
また、ｎがＢ回を超えていれば得られた状態Ｓ’t,nを状態分布記憶手段２２に保存しておく。すなわち、Ｐ個の状態が対象状態分布記憶手段２２に保存されることになり、このＰ個の状態全てが等確率に起こりうると考え、これを状態分布とする。
以上、述べた処理がＳ３０３である。
【００９４】
次にＳ３０４では、Ｓ３０３で得られた状態分布から最大確率を持つ状態の計算を行う。状態分布を構成するＰ個の状態は全て等確率で起こると仮定しているため、最大確率を持つ状態Ｓtは以下の式１４によって計算することができる。
【００９５】
【数１５】
0004951490.tif 000016
【００９６】
また、４Ｋ次元の変化ベクトルＶを以下の式１５により求める。
【００９７】
【数１６】
0004951490.tif 000017
【００９８】
ただし、初期時刻ｔ＝０，および追跡人数が増えた場合には、対応するモデルがないため、この要素を「０」とする。このようにして計算したＳtおよびＶを対象状態分布記憶手段２２に保存する。
【００９９】
次に、Ｓ３０５では、行動履歴分布の計算を行う。行動履歴分布は任意の確率分布モデルで表すことが可能であるが、ここでは、簡単のため混合正規分布の例で説明を行う。初期時刻ｔ＝０においては、環境要因が分からないため、全ての格子区間において事前分布を設定する必要がある。
【０１００】
一例として、全ての格子区間において一律に図８のような８方向＋滞留の９方向を表す９つの正規分布をすべて同じ混合率、すなわち全ての正規分布が１／９の混合率を持つように、初期状態を設定してもよい。このように設定すれば、現在の位置からほぼ等方的に移動する分布の良い近似となる。各正規分布の初期パラメータ（平均値および分散）は実現環境（場所、処理間隔など）に大きく依存するため実験的に定めることとする。
【０１０１】
Ｕ個の正規分布で表された行動履歴分布Ａを式で表すと以下のようになる。
【０１０２】
【数１７】
0004951490.tif 000018
【０１０３】
ここで、ｖi,tはモデルＭi,tの変化ベクトル、Ｕは混合分布の数、ｗu，μu，σuはそれぞれ混合分布を構成する分布ｕ（ｕ＝１〜Ｕ）の混合率、平均値、分散、Ｉは２×２の行列単位を表す。
【０１０４】
次の時刻からは移動履歴分布の更新を行っていくことで環境要因の学習を行っていく。以下、図９を用いて説明する。
【０１０５】
まず、ｉ＝１として開始され、更新行動履歴分布の決定（Ｓ５０１）を行う。これはどの格子区間の行動履歴分布を更新するかを決定する処理であり、モデルＭi,tに対応する前時刻のモデルＭi,t-1の（ｘi,t-1，ｙi,t-1）を含む格子区間の行動履歴分布を選ぶことにする。
【０１０６】
次に対応する正規分布の決定（Ｓ５０２）では、混合された正規分布の中から対応する正規分布を決定する。これはｖi,tのｘ，ｙ成分と最も近い平均値を持つ正規分布を対応正規分布として決定する。
【０１０７】
次に正規分布パラメータの更新（Ｓ５０３）では、前記Ｓ５０２で決定された正規分布のパラメータを以下の式１７、式１８により更新する。
【０１０８】
【数１８】
0004951490.tif 000019
【０１０９】
γは学習の速さを表す値で「０〜１」の間で経験的（画像のフレームレートや環境の変化の具合を考慮）に決定する。
【０１１０】
次に混合率の更新Ｓ５０４では以下の式１９により混合率の更新を行う。
【０１１１】
【数１９】
0004951490.tif 000020
【０１１２】
ここで、Ｂu,tはｕが選択された正規分布の場合は「１」で、そのほかの場合は「０」である。
【０１１３】
最後にＳ５０５では、処理が終了かどうかの確認を行う。ｉがＫすなわち追跡人数を超えていれば終了、そうでなければ、ｉ＝ｉ＋１として、Ｓ５０１に戻る。以上、述べたようにして行動履歴分布を更新していく。
【０１１４】
次にＳ３０６では、追跡を終了するかどうかのチェックを行う。追跡が終了なら処理を終了とし、まだ追跡を継続するのならば、画像の取得（Ｓ３０１）の処理を行う。
【０１１５】
以上、述べた処理を繰り返すことで動的に人数の変化する複数の人物の状態を効率的に逐次推定することが可能となる。
【０１１６】
さらに、本実施形態では、Ｓ４０５の処理において、一例としてシルエット画像とシミュレーション画像の比較に画像の取得手段１１を用いたが、画像間の類似度を取る評価関数、例えば単純な積演算を利用しても同様に実現できる。また、本実施形態では、Ｓ４０５の処理において、一例として環境のペナルティ関数として高さ方向で重みを付けた「式８」を用いたが、人物の存在位置の重みを表現できる関数であれば、任意の関数を利用することができることは当然である。
【０１１７】
また、本実施形態では、Ｓ４０５の処理において、一例として人物の接近に関するペナルティ関数として「式１０」を用いたが人物が重なった際にペナルティを与えることのできる、任意の関数を利用することができることは当然である。
【０１１８】
なお、図１に示した装置における各手段の一部若しくは全部の機能をコンピュータのプログラムで構成し、そのプログラムを、コンピュータを用いて実行して、本発明を実現することができること、あるいは、図５、図７、図９に示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【０１１９】
以下に、上述の動物体追跡装置を用いて、二台のビデオカメラ（カメラ１およびカメラ２）から得られた映像を処理して、追跡範囲に一人ずつ侵入してくる二人の人物を追跡した結果を、図５に示した処理フローを用いて述べる。
【０１２０】
まず、処理が開始されると、カメラ画像の取得を行う（Ｓ３０１）。図１０は二台のカメラ１，２から取得した画像列の一部であり、上段が、カメラ１からの画像（７０１〜７０６）、下段が、カメラ２からの画像（７０７〜７１２）である。
【０１２１】
次に得られたカメラ画像からシルエット画像を作成する（Ｓ３０２）。背景差分法を用いて作成したシルエット画像を図１１に示す。図１０と同じように上段が、カメラ１から作成したシルエット画像（８０１〜８０６）、下段が、カメラ２から作成したシルエット画像（８０７〜８１２）であり、図１１の各シルエット画像は、図１０において同じ位置に示されている画像と対応している。
【０１２２】
次にＳ３０３にて対象状態分布の推定を行う。ここでは、状態を、行動履歴分布を用いて逐次更新させながら、その状態をシミュレートしたシミュレーション画像の作成を行って、その評価を行う。
【０１２３】
図１２において、上段はシルエット画像、下段は上段のシルエット画像をシミュレートしたシミュレーション画像の一部である。このように様々な状態に変化させながらシミュレーション画像を作成し、尤度の計算、受け入れ拒否演算により状態分布を作成する。
【０１２４】
Ｓ３０４ではＳ３０３で推定された対象状態分布より対象状態の計算を行い、現在、最大確率を取る状態を求め、これを現時刻での状態として出力する。また同時に前時刻と現時刻での状態の変化ベクトルを求める。そして、Ｓ３０５では計算された対象状態より行動履歴分布を更新する。
【０１２５】
図１３に計算された最大確率を取る状態を表現した画像を示す。図１３は、それぞれ上段が、カメラ１からの画像（９０１〜９０６）、中段が、最大確率を取る状態をシミュレートした画像（９０７〜９１２）、下段が、俯瞰図として天井にカメラを設置されているとして最大確率を取る状態をシミュレートした画像（９１３〜９１８）であり、人物Ｈ１と人物Ｈ２が少し時間を置いて追跡範囲に侵入した後に、すれ違い、最後にまた追跡範囲から退出する様子を明確に追跡できていることを示している。また追跡する人数が０人→１人→２人→０人のように動的に変化しているが、人物の出現と消失を行いながら安定して追跡していることが確認できる。
【０１２６】
Ｓ３０６では現時刻までで、追跡を終了とする場合には、処理を終了し、そうでない場合には、Ｓ３０１の画像の取得へと戻る。
【０１２７】
以上述べた処理を繰り返すことで本実施形態では、２人の人物が接近してすれ違うシーケンスにおいても安定した追跡を行なうことができる。
【図面の簡単な説明】
【０１２８】
【図１】本発明の動物体追跡装置の一実施形態を示す構成図である。
【図２】本発明の動物体追跡装置の一実施形態における画像データ取得の様子を示す説明図である。
【図３】行動履歴分布の一例を示す説明図である。
【図４】本発明の動物体追跡装置の一実施形態で用いる対象の三次元モデルである楕円体モデルを示す説明図である。
【図５】本発明の動物体追跡方法の処理手順を示すフローチャートである。
【図６】入力画像に対応するシルエット画像を示す説明図である。
【図７】対象状態分布の推定（Ｓ３０３）の処理手順を示すフローチャートである。
【図８】行動履歴分布の初期状態の一例を示す説明図である。
【図９】行動履歴分布の計算（Ｓ３０５）の処理手順を示すフローチャートである。
【図１０】カメラから取得した画像列の一部を示す画像図である
【図１１】カメラから取得した画像列の一部から作成したシルエット画像図である。
【図１２】シルエット画像および予測結果より、シルエット画像をシミュレートした画像の一部を示す画像図である。
【図１３】入力画像の一部および入力画像から計算した対象状態をシミュレートした画像と俯瞰した画像を示す画像図である。
【符号の説明】
【０１２９】
１１…画像の取得手段
１２…シルエット画像の作成手段
１３…対象状態分布の推定手段
１４…対象状態の計算手段
１５…行動履歴分布計算手段
２１…三次元環境情報データベース
２２…対象状態分布記憶手段
Ｓ３０１〜Ｓ３０６，Ｓ４０１〜Ｓ４０７，Ｓ５０１〜Ｓ５０６…ステップ
７０１〜７１２、９０１〜９０６…カメラ画像
８０１〜８１２…シルエット画像
９０７〜９１８…計算した状態をシミュレートした画像
【図１】
0004951490.tif 000021
【図２】
0004951490.tif 000022
【図４】
0004951490.tif 000023
【図５】
0004951490.tif 000024
【図６】
0004951490.tif 000025
【図７】
0004951490.tif 000026
【図９】
0004951490.tif 000027
【図３】
0004951490.tif 000028
【図８】
0004951490.tif 000029
【図１０】
0004951490.tif 000030
【図１１】
0004951490.tif 000031
【図１２】
0004951490.tif 000032
【図１３】
0004951490.tif 000033