(57)【要約】【課題】複数の物体画像が重なるオクルージョンの発生にも、ロバストに複数の物体を追跡できるようにする。【解決手段】複数のセンサーにより物体を観測し（Ｓ１）、各時刻における視角を抽出し（Ｓ２）、現時刻の視角と前時刻の視角の対応づけを行い（Ｓ４）、現時刻の視角と物体状態の予測分布、前時刻から継承した視角の辺と、その辺に接する物体の組み合わせに基づいて、現時刻における視角の辺と接触する物体との組み合わせを求め（Ｓ５）、個々の対応関係の仮説のもとでの物体の状態分布を推定し（Ｓ６）、各物体に接触する視角の辺を物体の接線とみなしたときの、物体の状態の確率分布を計算し、その分布から代表値を計算することで、各時刻の個々の物体の位置や姿勢の推定値を出力し（Ｓ７）、物体状態の予測分布を計算し（Ｓ８）、この処理を毎時刻、繰り返し実行する。【選択図】  図２
2004220292.tif 000002
【特許請求の範囲】
【請求項１】
各時刻において、複数の視点から観測して得られる画像またはセンサー情報を利用して、各時刻における対象物体の位置、又は、位置と姿勢を含む情報を出力する物体追跡方法であって、
各時刻において入力された前記画像またはセンサー情報から対象物体のみを抽出し、該対象物体の集合を各視点から見たときに視点から物体の両端を結ぶ線がつくる視角を各視点毎に求める過程と、
前時刻において予測された対象物体の状態と、現時刻の視角に基づいて、現時刻の視角の各々の辺とその辺に接触する物体の組み合わせを推測する過程と、
各物体について、該推定された視角の辺と物体の組み合わせ、及び、前時刻において予測された対象物体の状態に基づき、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する過程と、
該推定された現時刻の物体の状態に基づいて、次の時刻の物体の状態を予測する過程と、
現時刻の視角と前時刻の視角の間の対応付けを行う過程と、
前時刻の物体の各々が現時刻で属する複数の視点の視角の交差領域を決定する過程と、
を有することを特徴とする物体追跡方法。
【請求項２】
前記、視角の各々の辺とその辺に接触する物体の組み合わせを推測する過程は、
現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる過程と、
該仮説について事後確率を計算する過程と、
該事後確率に基づき、該仮説の順位付けと選別を行う過程と、
を有することを特徴とする請求項１記載の物体追跡方法。
【請求項３】
前記、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する過程は、
前記過程により推測された各々の視角の辺と物体との対応付けの組み合わせの各々について、
物体に接触する視角を接線とみなしたときの、物体の状態の事後確率密度分布を計算する過程と、
該物体の状態の事後確率密度分布より、物体の状態の代表値を計算する過程と、
を有することを特徴とする請求項１記載の物体追跡方法。
【請求項４】
前時刻の物体の各々が現時刻で属する視角の交差領域を決定する過程は、
物体状態の予測分布に基づいて、物体が交差領域に含まれる確率を計算し、該確率の値が大きいセルを物体が所属するセルとして決定する過程、
を有することを特徴とする請求項１記載の物体追跡方法。
【請求項５】
前記、現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる過程は、
個々の物体の接触する視角の辺の集合の和集合が観測された全ての視角の辺の集合に等しくなるような、視角の辺と物体との組み合わせを仮説として探索する過程と、
該組み合わせの仮説の尤度を計算する過程と、
該仮説の尤度が大きい順番に複数の組み合わせを選択する過程と、
を有することを特徴とする請求項２記載の物体追跡方法。
【請求項６】
前記、視角の辺と物体の組み合わせの仮説の尤度を計算する過程は、
各物体の状態の予測分布と物体状態の尤度との畳み込み積分として計算する過程、
を有することを特徴とする請求項５記載の物体追跡方法。
【請求項７】
前記、視角の辺と物体との組み合わせの仮説についての事後確率を計算する過程は、
現時刻の該仮説が、前時刻の該仮説から遷移する確率と該仮説の尤度の積を計算する過程、
を有することを特徴とする請求項２記載の物体追跡方法。
【請求項８】
前記、物体の状態の事後分布より、物体の状態の代表値を計算する過程は、
各物体の状態の事後分布の重心として物体の状態の代表値を計算する過程、
を有することを特徴とする請求項３記載の物体追跡方法。
【請求項９】
前記、物体の状態の事後確率分布を計算する過程は、
前時刻において予測された物体の状態分布から、現時刻のある視角の辺と物体との組み合わせの仮説の元での物体状態分布を計算する過程と、
ある視角の辺と物体との組み合わせの仮説の元での物体状態の尤度値を計算する過程と、
該物体状態の確率密度の値と該尤度の値を乗じることで物体状態の事後確率分布を計算する過程、を有することを特徴とする請求項３記載の物体追跡方法。
【請求項１０】
前記、ある視角の辺と物体との組み合わせの仮説のもとでのある物体の状態の尤度値を計算する過程は、
視角の辺の角度と、ある物体の状態に対応する物体を、その視角と同じ視点からみたときの見込み角度との差を計算し、該角度差に基づいて、物体が視角の辺に接触している尤度の値を計算する過程、
を有することを特徴とする請求項３記載の物体追跡方法。
【請求項１１】
前記、物体の状態の確率分布を推定する過程、及び、物体の状態の予測分布を推定する過程、及び、視角の辺と接触する物体の組み合わせの仮説の尤度を計算する過程は、
物体状態の確率密度分布を複数のサンプル点の集合を用いて表し、計算に利用する過程、
を有することを特徴とする請求項３，４，５，６のいずれか１項に記載の物体追跡方法。
【請求項１２】
各時刻において、複数の視点から観測して得られる画像またはセンサー情報を利用して、各時刻における対象物体の位置、又は、位置と姿勢を含む情報を出力する物体追跡装置であって、
各時刻において入力された前記画像またはセンサー情報から対象物体のみを抽出し、該対象物体の集合を各視点から見たときに視点から物体の両端を結ぶ線がつくる視角を各視点毎に求める手段と、
前時刻において予測された対象物体の状態と、現時刻の視角に基づいて、現時刻の視角の各々の辺とその辺に接触する物体の組み合わせを推測する手段と、
各物体について、該推定された視角の辺と物体の組み合わせ、及び、前時刻において予測された対象物体の状態に基づき、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する手段と、
該推定された現時刻の物体の状態に基づいて、次の時刻の物体の状態を予測する手段と、
現時刻の視角と前時刻の視角の間の対応付けを行う手段と、
前時刻の物体の各々が現時刻で属する複数の視点の視角の交差領域を決定する手段と、
を有することを特徴とする物体追跡装置。
【請求項１３】
前記、視角の各々の辺とその辺に接触する物体の組み合わせを推測する手段は、
現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる手段と、
該仮説について事後確率を計算する手段と、
該事後確率に基づき、該仮説の順位付けと選別を行う手段と、
を有することを特徴とする請求項１２記載の物体追跡装置。
【請求項１４】
前記、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する手段は、
前記手段により推測された各々の視角の辺と物体との対応付けの組み合わせの各々について、
物体に接触する視角を接線とみなしたときの、物体の状態の事後確率密度分布を計算する手段と、
該物体の状態の事後確率密度分布より、物体の状態の代表値を計算する手段と、
を有することを特徴とする請求項１２記載の物体追跡装置。
【請求項１５】
前時刻の物体の各々が現時刻で属する視角の交差領域を決定する手段は、
物体状態の予測分布に基づいて、物体が交差領域に含まれる確率を計算し、該確率の値が大きいセルを物体が所属するセルとして決定する手段、
を有することを特徴とする請求項１２記載の物体追跡装置。
【請求項１６】
前記、現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる手段は、
個々の物体の接触する視角の辺の集合の和集合が観測された全ての視角の辺の集合に等しくなるような、視角の辺と物体との組み合わせを仮説として探索する手段と、
該組み合わせの仮説の尤度を計算する手段と、
該仮説の尤度が大きい順番に複数の組み合わせを選択する手段と、
を有することを特徴とする請求項１３記載の物体追跡装置。
【請求項１７】
前記、視角の辺と物体の組み合わせの仮説の尤度を計算する手段は、
各物体の状態の予測分布と物体状態の尤度との畳み込み積分として計算する手段、
を有することを特徴とする請求項１６記載の物体追跡装置。
【請求項１８】
前記、視角の辺と物体との組み合わせの仮説についての事後確率を計算する手段は、
現時刻の該仮説が、前時刻の該仮説から遷移する確率と該仮説の尤度の積を計算する手段、
を有することを特徴とする請求項１３記載の物体追跡装置。
【請求項１９】
前記、物体の状態の事後分布より、物体の状態の代表値を計算する手段は、
各物体の状態の事後分布の重心として物体の状態の代表値を計算する手段、
を有することを特徴とする請求項１４記載の物体追跡装置。
【請求項２０】
前記、物体の状態の事後確率分布を計算する手段は、
前時刻において予測された物体の状態分布から、現時刻のある視角の辺と物体との組み合わせの仮説の元での物体状態分布を計算する手段と、
ある視角の辺と物体との組み合わせの仮説の元での物体状態の尤度値を計算する手段と、
該物体状態の確率密度の値と該尤度の値を乗じることで物体状態の事後確率分布を計算する手段、を有することを特徴とする請求項１４記載の物体追跡装置。
【請求項２１】
前記、ある視角の辺と物体との組み合わせの仮説のもとでのある物体の状態の尤度値を計算する手段は、
視角の辺の角度と、ある物体の状態に対応する物体を、その視角と同じ視点からみたときの見込み角度との差を計算し、該角度差に基づいて、物体が視角の辺に接触している尤度の値を計算する手段、
を有することを特徴とする請求項１４記載の物体追跡装置。
【請求項２２】
前記、物体の状態の確率分布を推定する手段、及び、物体の状態の予測分布を推定する手段、及び、視角の辺と接触する物体の組み合わせの仮説の尤度を計算する手段は、
物体状態の確率密度分布を複数のサンプル点の集合を用いて表し、計算に利用する手段、
を有することを特徴とする請求項１４，１５，１６、１７のいずれか１項に記載の物体追跡装置。
【請求項２３】
請求項１〜１１のいずれか１項に記載の物体追跡方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項２４】
請求項１〜１１のいずれか１項に記載の物体追跡方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ、或いは、レーザセンサーを用いて、物体、或いは、人間の位置や姿勢などの状態を追跡する方法及び装置に関する。
【０００２】
【従来の技術】
従来、複数のカメラの情報を統合することで、人物などの対象を追跡する方法がある（例えば、非特許文献１参照）。この方法においては、複数の視点から対象を観測し、画像上における対象の領域を元の空間中へ逆投影したときにできる視体積の交差領域を抽出し、その領域の重心を対象として追跡を行う方法を提案している。物体数が少なく、かつ、空間中に疎に存在する場合には、個々の物体の追跡が頑健に実行できるといわれている。
【０００３】
【非特許文献１】
早坂光晴、富永英義、小宮一三「逆投影法とカルマンフィルタを用いた複数異動物体位置認識とその追跡」、電子情報通信学会信学技法ＰＲＭＵ２００１−１３２．２００１
【０００４】
【発明が解決しようとする課題】
カメラ情報から物体を追跡する方法において、追跡を行う空間中に複数の物体が存在する場合、カメラと物体との位置関係により、画像上では複数の物体が重なって観測されるというオクルージョンの状況が発生する。従来の物体追跡方法では、複数台のカメラを用いて異なる視点から撮影し、その情報を統合することで、オクルージョンの影響の軽減を図っていた。
【０００５】
しかしながら、空間中に物体が多く存在する場合や、複数の物体が密に存在し、運動する場合など、複数台のカメラを用いたとしても、オクルージョンの影響がない視点が少なく、また、時には無くなるなど重度のオクルージョンが発生し、追跡が失敗してしまうという問題があった。
【０００６】
前記非特許文献１の手法では、一つの視体積の交差領域には、１つの物体が存在するという前提に則っている。しかし、重度のオクルージョンが発生する場合、一つの交差領域に複数の物体が存在するという状況が生じるため、この手法では追跡が不可能となる。
【０００７】
本発明は、上記の点に鑑みてなされたもので、複数の物体間が画像上で重なって観測される状況、つまり、オクルージョンが発生するような場合にも、ロバストに複数の物体を追跡することができる物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにこのプログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記の課題を解決するための本発明は、以下の物体追跡方法、物体追跡装置、物体追跡方法のプログラム並びにこのプログラムを記録した記録媒体を特徴とする。
【０００９】
（物体追跡方法の発明）
（１）各時刻において、複数の視点から観測して得られる画像またはセンサー情報を利用して、各時刻における対象物体の位置、又は、位置と姿勢を含む情報を出力する物体追跡方法であって、
各時刻において入力された前記画像またはセンサー情報から対象物体のみを抽出し、該対象物体の集合を各視点から見たときに視点から物体の両端を結ぶ線がつくる視角を各視点毎に求める過程と、
前時刻において予測された対象物体の状態と、現時刻の視角に基づいて、現時刻の視角の各々の辺とその辺に接触する物体の組み合わせを推測する過程と、
各物体について、該推定された視角の辺と物体の組み合わせ、及び、前時刻において予測された対象物体の状態に基づき、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する過程と、
該推定された現時刻の物体の状態に基づいて、次の時刻の物体の状態を予測する過程と、
現時刻の視角と前時刻の視角の間の対応付けを行う過程と、
前時刻の物体の各々が現時刻で属する複数の視点の視角の交差領域を決定する過程と、
を有することを特徴とする。
【００１０】
（２）前記、視角の各々の辺とその辺に接触する物体の組み合わせを推測する過程は、
現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる過程と、
該仮説について事後確率を計算する過程と、
該事後確率に基づき、該仮説の順位付けと選別を行う過程と、
を有することを特徴とする。
【００１１】
（３）前記、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する過程は、
前記過程により推測された各々の視角の辺と物体との対応付けの組み合わせの各々について、
物体に接触する視角を接線とみなしたときの、物体の状態の事後確率密度分布を計算する過程と、
該物体の状態の事後確率密度分布より、物体の状態の代表値を計算する過程と、
を有することを特徴とする。
【００１２】
（４）前時刻の物体の各々が現時刻で属する視角の交差領域を決定する過程は、
物体状態の予測分布に基づいて、物体が交差領域に含まれる確率を計算し、該確率の値が大きいセルを物体が所属するセルとして決定する過程、
を有することを特徴とする。
【００１３】
（５）前記、現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる過程は、
個々の物体の接触する視角の辺の集合の和集合が観測された全ての視角の辺の集合に等しくなるような、視角の辺と物体との組み合わせを仮説として探索する過程と、
該組み合わせの仮説の尤度を計算する過程と、
該仮説の尤度が大きい順番に複数の組み合わせを選択する過程と、
を有することを特徴とする。
【００１４】
（６）前記、視角の辺と物体の組み合わせの仮説の尤度を計算する過程は、
各物体の状態の予測分布と物体状態の尤度との畳み込み積分として計算する過程、
を有することを特徴とする。
【００１５】
（７）前記、視角の辺と物体との組み合わせの仮説についての事後確率を計算する過程は、
現時刻の該仮説が、前時刻の該仮説から遷移する確率と該仮説の尤度の積を計算する過程、
を有することを特徴とする。
【００１６】
（８）前記、物体の状態の事後分布より、物体の状態の代表値を計算する過程は、
各物体の状態の事後分布の重心として物体の状態の代表値を計算する過程、
を有することを特徴とする。
【００１７】
（９）前記、物体の状態の事後確率分布を計算する過程は、
前時刻において予測された物体の状態分布から、現時刻のある視角の辺と物体との組み合わせの仮説の元での物体状態分布を計算する過程と、
ある視角の辺と物体との組み合わせの仮説の元での物体状態の尤度値を計算する過程と、
該物体状態の確率密度の値と該尤度の値を乗じることで物体状態の事後確率分布を計算する過程、を有することを特徴とする。
【００１８】
（１０）前記、ある視角の辺と物体との組み合わせの仮説のもとでのある物体の状態の尤度値を計算する過程は、
視角の辺の角度と、ある物体の状態に対応する物体を、その視角と同じ視点からみたときの見込み角度との差を計算し、該角度差に基づいて、物体が視角の辺に接触している尤度の値を計算する過程、
を有することを特徴とする。
【００１９】
（１１）前記、物体の状態の確率分布を推定する過程、及び、物体の状態の予測分布を推定する過程、及び、視角の辺と接触する物体の組み合わせの仮説の尤度を計算する過程は、
物体状態の確率密度分布を複数のサンプル点の集合を用いて表し、計算に利用する過程、
を有することを特徴とする。
【００２０】
（物体追跡装置の発明）
（１２）各時刻において、複数の視点から観測して得られる画像またはセンサー情報を利用して、各時刻における対象物体の位置、又は、位置と姿勢を含む情報を出力する物体追跡装置であって、
各時刻において入力された前記画像またはセンサー情報から対象物体のみを抽出し、該対象物体の集合を各視点から見たときに視点から物体の両端を結ぶ線がつくる視角を各視点毎に求める手段と、
前時刻において予測された対象物体の状態と、現時刻の視角に基づいて、現時刻の視角の各々の辺とその辺に接触する物体の組み合わせを推測する手段と、
各物体について、該推定された視角の辺と物体の組み合わせ、及び、前時刻において予測された対象物体の状態に基づき、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する手段と、
該推定された現時刻の物体の状態に基づいて、次の時刻の物体の状態を予測する手段と、
現時刻の視角と前時刻の視角の間の対応付けを行う手段と、
前時刻の物体の各々が現時刻で属する複数の視点の視角の交差領域を決定する手段と、
を有することを特徴とする。
【００２１】
（１３）前記、視角の各々の辺とその辺に接触する物体の組み合わせを推測する手段は、
現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる手段と、
該仮説について事後確率を計算する手段と、
該事後確率に基づき、該仮説の順位付けと選別を行う手段と、
を有することを特徴とする。
【００２２】
（１４）前記、現時刻における物体の位置、又は、位置と姿勢を含む状態を推定する手段は、
前記手段により推測された各々の視角の辺と物体との対応付けの組み合わせの各々について、
物体に接触する視角を接線とみなしたときの、物体の状態の事後確率密度分布を計算する手段と、
該物体の状態の事後確率密度分布より、物体の状態の代表値を計算する手段と、
を有することを特徴とする。
【００２３】
（１５）前時刻の物体の各々が現時刻で属する視角の交差領域を決定する手段は、
物体状態の予測分布に基づいて、物体が交差領域に含まれる確率を計算し、該確率の値が大きいセルを物体が所属するセルとして決定する手段、
を有することを特徴とする。
【００２４】
（１６）前記、現時刻に観測された視角に対して、接触が可能な視角の辺と物体との組み合わせを仮説として数え上げる手段は、
個々の物体の接触する視角の辺の集合の和集合が観測された全ての視角の辺の集合に等しくなるような、視角の辺と物体との組み合わせを仮説として探索する手段と、
該組み合わせの仮説の尤度を計算する手段と、
該仮説の尤度が大きい順番に複数の組み合わせを選択する手段と、
を有することを特徴とする。
【００２５】
（１７）前記、視角の辺と物体の組み合わせの仮説の尤度を計算する手段は、各物体の状態の予測分布と物体状態の尤度との畳み込み積分として計算する手段、
を有することを特徴とする。
【００２６】
（１８）前記、視角の辺と物体との組み合わせの仮説についての事後確率を計算する手段は、
現時刻の該仮説が、前時刻の該仮説から遷移する確率と該仮説の尤度の積を計算する手段、
を有することを特徴とする。
【００２７】
（１９）前記、物体の状態の事後分布より、物体の状態の代表値を計算する手段は、
各物体の状態の事後分布の重心として物体の状態の代表値を計算する手段、
を有することを特徴とする。
【００２８】
（２０）前記、物体の状態の事後確率分布を計算する手段は、
前時刻において予測された物体の状態分布から、現時刻のある視角の辺と物体との組み合わせの仮説の元での物体状態分布を計算する手段と、
ある視角の辺と物体との組み合わせの仮説の元での物体状態の尤度値を計算する手段と、
該物体状態の確率密度の値と該尤度の値を乗じることで物体状態の事後確率分布を計算する手段、を有することを特徴とする。
【００２９】
（２１）前記、ある視角の辺と物体との組み合わせの仮説のもとでのある物体の状態の尤度値を計算する手段は、
視角の辺の角度と、ある物体の状態に対応する物体を、その視角と同じ視点からみたときの見込み角度との差を計算し、該角度差に基づいて、物体が視角の辺に接触している尤度の値を計算する手段、
を有することを特徴とする。
【００３０】
（２２）前記、物体の状態の確率分布を推定する手段、及び、物体の状態の予測分布を推定する手段、及び、視角の辺と接触する物体の組み合わせの仮説の尤度を計算する手段は、
物体状態の確率密度分布を複数のサンプル点の集合を用いて表し、計算に利用する手段、
を有することを特徴とする。
【００３１】
（プログラムの発明）
（２３）上記の（１）〜（１１）のいずれか１項に記載の物体追跡方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００３２】
（記録媒体の発明）
（２４）上記の（１）〜（１１）のいずれか１項に記載の物体追跡方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
【００３３】
以上のことから、本発明は、上記の（１）等により、視角を観測情報として抽出しているため、物体間でオクルージョンが起きる場合にも、視角の辺が対応する物体を特定することで、個々の物体の位置を推定することができる。さらに、多視点で観測を行うために、重度のオクルージョンが起きる場合にも、多くの場合で、物体毎に観測可能な視角の辺がするので、オクルージョンの発生にもロバストに物体の追跡を継続可能とする。
【００３４】
また、本発明は、上記の（２）等により、観測情報が暖昧で一意に視角の辺と物体との対応関係が決まらない場合にも、それらを仮説として数え上げ、評価を行うことで、尤もらしい組み合わせを見つけることを可能とする。
【００３５】
また、本発明は、上記の（３）等により、物体の状態の推定における不確定性を表現することができ、推定結果の信頼性を推し量ることを可能とする。
【００３６】
また、本発明は、上記の（１１）等により、物体状態の分布は、対応する視角の辺の本数や位置関係によって多様に変化するが、このようなサンプル点の集合を用いることで、任意の形状の分布を効率よく表現可能とする。
【００３７】
【発明の実施の形態】
図１は、本発明の物体追跡装置または方法の実施形態を示す機能構成図であり、入力部１００、処理部２００、記憶部３００、出力部４００で構成される。
【００３８】
入力部１００は、センサー１０１により構成される。センサー１０１は、ビデオカメラやレーザレンジスキャナなどのセンサーが利用でき、追跡対象の物体を取り囲むように空間中に複数台、配置されている。
【００３９】
処理部２００は、センサー１０１により獲得された一定時刻毎のセンサーデータを入力とし、それを解析することで、対象物体の位置や姿勢などの状態を推定し、出力部４００に出力するものである。処理部２００は、視角抽出手段２０１、時刻間データ対応付け手段２０２、視角辺−物体組み合わせ仮説更新手段２０３、物体状態更新手段２０４、物体状態予測手段２０５、物体状態代表値計算手段２０６、初期化手段２０７からなる。
【００４０】
視角情報抽出手段２０１は、センシング手段１０１によって獲得されたセンサーデータから、各視点における視角情報を抽出する。時刻間データ対応付け手段２０２は、最新の時刻の視角と、前時刻の視角との対応付けを行う。視角辺−物体組み合わせ仮説更新手段２０３は、最新の視角情報に基づき、前時刻で決定された視角辺−物体組み合わせ仮説記憶手段３０１に記憶されている視角辺−物体組み合わせ仮説の更新を行う。
【００４１】
物体状態更新手段２０４は、前時刻で決定され物体状態記憶手段３０２に記憶されている物体の状態の更新を行う。物体状態代表値計算手段２０５は、物体状態更新手段２０４によって更新され、物体状態記憶手段３０２に記憶されている物体の状態に基づき、各物体の状態の代表値を計算し、その結果を出力手段４０１に送信する。
【００４２】
物体状態予測手段２０６は、物体状態更新手段２０４によって更新され、物体状態記憶手段３０２に記憶されている物体の状態に基づき、次時刻における物体状態の予測分布を計算し、その結果を物体状態記憶手段３０２に記憶する。
【００４３】
初期化手段２０７は、初期時刻で観測され視角情報抽出手段２０１によって抽出された視角情報を入力とし、視角辺−物体組み合わせ仮説の初期値、及び、物体状態分布の初期値を設定し、それぞれを視角辺−物体組み合わせ仮説記憶手段３０１、及び、物体状態記憶手段３０２に記憶する。
【００４４】
記憶部３００は、処理部２００の過程で更新される視角辺−物体組み合わせ仮説を記憶する視角辺−物体組み合わせ仮説記憶手段３０１と、物体状態の分布を記憶する物体状態記憶手段３０２からなる。
【００４５】
出力部４００は、処理部２００の物体状態代表値計算手段２０５によって得られる物体の位置や姿勢などの状態の情報を利用者に伝達するための表示装置や通信装置などからなる。
【００４６】
次に、上記の構成における物体追跡動作を、図２に示す処理手順Ｓ１〜Ｓ９で説明する。
【００４７】
まず、入力部１００より物体を観測し（Ｓ１）、そこで得たセンサー情報から視角情報の抽出を行い（Ｓ２）、時刻及び仮説数のチェックを行い（Ｓ３）、現時刻が観測の初期時刻ではなく、かつ、前時刻で更新した視角辺−物体組み合わせ仮説が存在している場合に、時刻間データ対応づけ手段２０２により視角情報の抽出を行い（Ｓ４）、視角辺−物体組み合わせ仮説手段２０３によって現時刻の視角情報を用いて視角辺−物体組み合わせ仮説の更新を行い（Ｓ５）、物体状態更新手段２０４によって、物体の状態分布の更新を行い（Ｓ６）、物体状態代表値計算手段２０５により、物体の状態の代表値を計算し（Ｓ７）、物体状態予測手段２０５により、次時刻の物体の状態分布を予測する（Ｓ８）。
【００４８】
また、Ｓ３において、現時刻が初期時刻または仮説教が０の場合には、初期化手段２０７によって視角辺−物体組み合わせ仮説、及び、物体状態分布の初期化を行う（Ｓ９）。
【００４９】
以下、図面とともに本発明の実施形態を詳細に説明する。本発明の目的は、空間中に存在する複数の物体や人物について、各時刻ｋにおける位置、姿勢等の状態を逐次的に推定し物体を追跡することである。ここでは、追跡対象として図３のような室内の床面を歩行する複数の人物を考え、センサー１０１として、図３のような壁面に設置された壁面に設置された複数台のビデオカメラを用いる例で説明する。ここでビデオカメラ１〜３は、人物を側面から観測できるように固定されている。
【００５０】
このような場合、センサー１０１により図４のような画像が得られる。撮影は一定時間間隔で、各カメラとも同じタイミングで行われる。なお、カメラの設置位置や姿勢は事前に校正により求めておくものとする。たとえば、床面上で直立する人物を対象として想定し、楕円形を人物の水平断面形状を近似するモデルと考え、物体ｉの状態を平面上における楕円の中心座標（ｘ，ｙ）と回転角φ、及び、楕円の中心座標の単位時間当たりの変化量（ｖｘ，ｖｙ）、および、回転角の単位時間当たりの変化量、
【００５１】
【数１】
2004220292.tif 000003
【００５２】
からなるベクトルｘｉ，ｋは、
【００５３】
【数２】
2004220292.tif 000004
【００５４】
として表すことができる。ただし、ｋは時刻を表す。また、楕円の回転角とは、楕円の長軸とｘ軸のなす角度を指す。ここでは楕円の長半径、短半径は既知とする。このベクトルを用いて、追跡対象である物体の状態の集合を、
【００５５】
【数３】
2004220292.tif 000005
【００５６】
のように表記する。ただし、Ｎは物体数であり、未知とする。
【００５７】
視角情報抽出手段２０１では、センサー１０１により毎時刻毎に撮影された画像を受信し、視角を抽出する。具体的には、まず、背景差分法などを用いて画像から人物領域の抽出を行う。次に、床面から一定の高さの平面に対応する画像上の領域を特定し、そこから人物領域の区間を得る。たとえば、カメラの光軸が床面と平行であり、かつ、カメラ設置位置がこの平面と同じ高さにある場合、図４中の横線のように画像の半分の高さに引いた水平線上について、人物領域の画素が連続する区間を得る。次に、図５のように、カメラの光学中心（視点）から出発し、画像平面上の物体Ｏ１，Ｏ２の区間の端点を通る直線を考え、ある人物領域の区間の左右の端点を通る直線で囲まれた角を「視角」と呼び、これを抽出する。この直線を視角の辺と呼ぶ。また、この方法以外にも、人物像を床面上に投影したデータを作成し、そこから視角を得る方法も利用できる。
【００５８】
ここでは、視点を記号ｖで記し、視点ｖのｗ番目の視角を記号Ωｖ，ｗと記す。また、その２つの視角の辺を
【００５９】
【数４】
2004220292.tif 000006
【００６０】
と記す。なお，視角の辺のことを視角辺と呼ぶことにする。
【００６１】
本実施形態では、各時刻ｋにおける視角辺の集合を観測情報Ｚｋ、
【００６２】
【数５】
2004220292.tif 000007
【００６３】
とする。なお、Ｗｖは視点ｖにおける視角の個数である。時刻ｋまでの観測情報の集合をＺｋ＝｛Ｚ１，Ｚ２，…，Ｚｋ｝と表す。また、物体をＯｉのように表記する。視角の交差領域をセルと呼び、記号Ｃで表すことにする。また、視角の辺のことを単に視角辺とも呼ぶことにする。
【００６４】
時刻間データ対応付け手段２０２では、現時刻ｋと前時刻ｋ−１で得られた視角を時刻間で対応づけを行う。ここでは、物体のサイズと比較して時刻間での移動距離が小さいものと仮定して、現時刻ｋと前時刻ｋ−１の視角の間において、重なりの面積を計算し、これが一定以上のものが対応していると判断する。図６の（ａ）のように、視角は一つの視角が複数に分裂したり、また、（ｂ）のように、複数の視角が一つに合併したり、または、それらの複合など様々な形態の変化が存在する。対応づけの結果として、前時刻の視角の各々の辺ｌについて、それが現時刻で対応している辺を得る。これを、
【００６５】
【数６】
2004220292.tif 000008
【００６６】
と表す。
【００６７】
視角辺−物体組み合わせ仮説更新手段２０３では、前時刻の処理の結果として、視角辺−物体組み合わせ仮説記憶手段３０１に記憶されている視角辺−物体組み合わせ仮説と、時刻間データ対応付け手段２０２の結果得られる情報を入力として、視角辺−物体組み合わせ仮説の更新を行う。その結果を、視角辺−物体組み合わせ仮説記憶手段３０１に記憶させる。
【００６８】
ある視角物体組み合わせ仮説Ｈｍ，ｋ∈Ｈｋは、物体毎の部分仮説、
【００６９】
【数７】
2004220292.tif 000009
【００７０】
の集合からなり、この部分仮説は，物体Ｏｉの接触する視角辺の集合（以後、視角辺集合と呼ぶ）、
【００７１】
【数８】
2004220292.tif 000010
【００７２】
と属するセル、
【００７３】
【数９】
2004220292.tif 000011
【００７４】
の対として、
【００７５】
【数１０】
2004220292.tif 000012
【００７６】
のように表される。なお、Ｎｍ，ｋは，仮説Ｈｍ，ｋにおいて存在が支持される物体の個数である。誤解のない場合には単にＮと表記する場合もある。
【００７７】
視角辺−物体組み合わせ仮説の更新は、３段階の構造をもつ。まず、視角の合併・分裂などに対応した時間変化を反映した更新を行い、さらに、視角内の物体の接触性の変化に対応した更新を行い、仮説の候補を求める。最後に、各仮説の候補について事後確率を計算して、閾値処理を行い最終的な視角辺−物体組み合わせ仮説を得る。
【００７８】
まず、視角辺−物体組み合わせ仮説記憶手段３０１に記憶されている視角辺−物体組み合わせ仮説の各々Ｈｎ，ｋ−１∈Ｈｋ−１について、視角の合併・分裂などの変化を反映した中間仮説、
【００７９】
【数１１】
2004220292.tif 000013
【００８０】
に変換する。
【００８１】
ここでは、各物体ｉの現時刻ｋにて属するセルを決定するため、各物体、各セル毎に、物体ｉがセルＣに含まれる確率、
【００８２】
【数１２】
2004220292.tif 000014
【００８３】
を計算し、この確率が最大となるセルＣを，物体ｉが属するセル、
【００８４】
【数１３】
2004220292.tif 000015
【００８５】
とする。なお、ｐ（ｘｉ，ｋ｜Ｚｋ−１，Ｈｎ，ｋ−１）は、物体状態記憶手段３０２に記憶されている仮説Ｈｎ，ｋ−１のもとでの物体状態の予測分布である。また、Ｏ（ｘ）は状態ｘを持つ物体の占める領域を表す。
【００８６】
なお、上記の方法以外にも、確率Ｐ（Ｏｉ⊂Ｃ｜Ｈｎ，ｋ−１）が一定値以上の複数のセルに物体が移動する可能性に対して、複数の中間仮説をつくることも考えられる。
【００８７】
また、各物体の接触辺集合、
【００８８】
【数１４】
2004220292.tif 000016
【００８９】
は，視角の合併、分裂に伴い消滅・出現する辺を除いて接触性が継承されると考え、次式のように決定する。
【００９０】
【数１５】
2004220292.tif 000017
【００９１】
次に、各々の中間仮説Ｈ’ｎ，ｋについて、視角内の物体の接触性の変化に対応した更新を行い、事後仮説の候補を求める。視角内の物体の接触性の変化とは、図７のように部分オクルージョンと完全オクルージョンの間の遷移が生じる場合に生じる、視角辺に接触する物体の入れ替わりのことを指す。この変化は前述の視角の合併・分裂のように明確に観測できないため、可能性のある全ての物体−視角辺の組み合わせの中から、尤もらしいものをいくつか選択し、事後仮説の候補とする。そのため、まず、各々の中間仮説Ｈ’ｎ，ｋについて個々の物体ｉを含むセルの辺のべき集合、
【００９２】
【数１６】
2004220292.tif 000018
【００９３】
から、尤度が高いものを順番に最大ＫＣ個取り出し、これを接触辺集合の候補、
【００９４】
【数１７】
2004220292.tif 000019
【００９５】
とする。続いて、各物体の接触辺集合の和集合が、観測される視角辺の集合と等しくなるような組み合わせ、
【００９６】
【数１８】
2004220292.tif 000020
【００９７】
を探索し、式（７）の尤度が高い順に最大ＫＳ個を選択し、事後仮説候補Ｈｎ，ｋとする。このような探索は集合被覆問題と呼ばれ、組み合わせ最適化問題の一種である。
【００９８】
ある時刻ｋにける観測値Ｚｋに対する仮説Ｈｍ，ｋの尤度Ｐ（Ｚｋ｜Ｈｍ，ｋ）を、各物体間の状態の独立性、及び、各視角辺の観測の独立性より、物体毎の部分仮説
【００９９】
【数１９】
2004220292.tif 000021
【０１００】
の尤度の積として、
【０１０１】
【数２０】
2004220292.tif 000022
【０１０２】
のように定義する。式（７−２）では物体状態の事前分布、
【０１０３】
【数２１】
2004220292.tif 000023
【０１０４】
に対して、観測データが合致する度合いを評価している。式（７−２）中の、
【０１０５】
【数２２】
2004220292.tif 000024
【０１０６】
は、ある物体状態ｘｉ，ｋの観測値に対する尤度であり、物体の接触込集合、
【０１０７】
【数２３】
2004220292.tif 000025
【０１０８】
を用いて、
【０１０９】
【数２４】
2004220292.tif 000026
【０１１０】
のように定義される。ただし、
【０１１１】
【数２５】
2004220292.tif 000027
【０１１２】
は、状態ｘｉを持つ物体が視角辺ｌに接触する尤度、及び、接触せずセル内に存在する尤度をそれぞれ表す関数である。その例として、本実施形態では、視角辺ｌの角度と物体の推定される見込み角度の差を変数として、ＴｕｋｅｙのＢｉｗｅｉｇｈｔ関数を用いて定義できる。たとえば、接触の尤度ｔは、角度差Δｚが０の時にピークを持つ単峰性の分布を持つような（９）式の関数を利用できる。
【０１１３】
【数２６】
2004220292.tif 000028
【０１１４】
ここでｈは、観測ノイズや物体モデルと現実の形状とのずれを吸収するためのスケールのパラメータである。
【０１１５】
非接触の尤度
【０１１６】
【数２７】
2004220292.tif 000029
【０１１７】
は、角度差の減少に従い値が減少する分布をもつ関数とした。なお、他の関数も利用可能である。
【０１１８】
さらに、個々の事前仮説Ｈｎ，ｋ−１∈Ｈｋ−１から得られた事後仮説候補Ｈｎ〓ｋの内で同一の仮説をまとめた仮説の集合をつくり、それらについて事後確率を計算し、閾値εを超えるものを大きい順番に最大ＫＰ個取り出し、時刻ｋにおける事後仮説集合Ｈｋとする。仮説Ｈｍ，ｋの事後確率は，ベイズ則を用いて事前確率と式（７）の尤度の積として、
【０１１９】
【数２８】
2004220292.tif 000030
【０１２０】
のように得られる。但し、αＨは正規化係数である。事前確率Ｐ（Ｈｍ，ｋ｜Ｚｋ−１）は、前時刻の仮説の事後仮説からの遷移確率Ｐ（Ｈｍ，ｋ｜Ｈｎ，ｋ−１）を用いて、
【０１２１】
【数２９】
2004220292.tif 000031
【０１２２】
のよう得られる。式（１１）中の遷移確率は、遷移モデルにより計算できる。遷移モデルの一例として、隣接時刻間において視角辺に同じ物体が接触し続ける停留確率ηに基づく遷移モデルを利用することができる。これによると遷移確率は、
【０１２３】
【数３０】
2004220292.tif 000032
【０１２４】
のように計算できる。ただし、Ｔ（ｌ，Ｈ）は、仮説Ｈの条件のもと、観測接線ｌが接する物体を指す。また、Ｎｌは、視角辺ｌに接することの可能な物体数を指す。この式は、各視角辺について、中間仮説で指定される物体と同一の物体が接触する場合と、そうでない場合とに分けて尤度を計算し、それらの積として、仮説全体での尤度を計算している。
【０１２５】
物体状態更新手段２０４では、視角辺−物体組み合わせ仮説更新手段２０３によって、視角辺−物体組み合わせ仮説記憶手段３０１に記憶された視角辺−物体組み合わせの事後仮説Ｈｍ，ｋ∈Ｈｋの各々のもとで、物体の状態の更新を行う。
【０１２６】
まず、前時刻より継承した物体状態の予測分布から、事後仮説Ｈｍ，ｋのもとでの事前分布を、
【０１２７】
【数３１】
2004220292.tif 000033
【０１２８】
のように得る。続いて、各物体の状態の相互依存関係を考慮するために、各物体の結合状態Ｘｋ＝（ｘ１，ｋ，…，ｘＮ，ｋ）の事後確率分布ｐ（Ｘｋ｜Ｈｍ，ｋ，Ｚｋ）をベイズ則より、
【０１２９】
【数３２】
2004220292.tif 000034
【０１３０】
のように得る。ただし、αＳは正規化係数である。式（１５）中の尤度ｐ（Ｚｋ｜Ｘｋ，Ｈｍ，ｋ，）は、
【０１３１】
【数３３】
2004220292.tif 000035
【０１３２】
のように定義される。式（１６）中のＣｏｎｄ１，Ｃｏｎｄ２は、物体状態の相互依存関係を表す条件であり、それぞれ「空間的排他性」、「稠密投影」と呼ぶ幾何的な拘束条件である。空間的排他性は、物体同士の重なりを禁じる条件であり、稠密投影の条件は、一つの視角内に複数の物体が存在するとき、それらの視点への投影像には隙間がないという条件である。この条件を適用の結果、事後確率分布が０となるような仮説Ｈｍ，ｋは棄却される。
【０１３３】
また、各物体の個別の状態の事後分布ｐ（ｘｉ，ｋ｜Ｈｍ，ｋ，Ｚｋ）は、結合分布ｐ（Ｘｋ｜Ｈｍ，ｋ，Ｚｋ）の周辺分布として計算し、これを、物体状態記憶手段３０２に記憶させる。
【０１３４】
物体状態代表値計算手段２０５では、物体状態記憶手段３０２に記憶された第一位の事後仮説のもとでの物体状態の事後分布ｐ（Ｘｋ｜Ｈ１，ｋ，Ｚｋ）から、各物体状態の代表値、
【０１３５】
【数３４】
2004220292.tif 000036
【０１３６】
を計算し、これを出力手段４０１に送信する。
【０１３７】
代表値の計算法の一例としては、分布の重心を、結合分布ｐ（Ｘｋ｜Ｈｍ，ｋ，Ｚｋ）の周辺分布ｐ（ｘｉ，ｋ｜Ｈ１，ｋ，Ｚｋ）を用いて、
【０１３８】
【数３５】
2004220292.tif 000037
【０１３９】
のように計算できる。なお、分布の重心以外にも、分布のモードなども代表値として選ぶことができる。
【０１４０】
物体状態予測手段２０６では、物体状態記憶手段３０２に記憶されている各仮説のもとでの物体状態の事後分布ｐ（ｘｉ，ｋ｜Ｈｍ，ｋ，Ｚｋ）より、次時刻の予測分布ｐ（ｘｉ，ｋ＋１｜Ｈｍ，ｋ，Ｚｋ）を求め、再び、物体状態記憶手段３０２に記憶させる。
【０１４１】
この予測の方法としては、物体状態のマルコフ性と、個々の物体間での状態の独立性を仮定して、
【０１４２】
【数３６】
2004220292.tif 000038
【０１４３】
のようなモデルを用いることができる。ここでＦは運動モデルであり、たとえば、線形のモデルとして、
【０１４４】
【数３７】
2004220292.tif 000039
【０１４５】
を用いることができる。ただし、Ａ，Ｂは、運動方程式を構成する定数要素のマトリクスである。このモデルの利用により、物体の等速運動と確率的な変動成分を反映した予測が可能となる。
【０１４６】
なお、上記で説明した予測手法以外の手法も利用可能である。
【０１４７】
初期化手段２０７では、ある時刻の観測情報のみから、視角辺−物体組み合わせ仮説の初期値と、物体状態分布の初期値を計算し、これらをそれぞれ視角辺−物体組み合わせ仮説記憶手段３０１、及び、物体状態記憶手段３０２に記憶する。先験知識として物体状態と視角辺−物体の組み合わせの出現の等確率性を仮定する。その上で１セル１物体の仮定のもと、初期時刻の観測情報Ｚ１に基づいて、視角辺−物体組み合わせ仮説更新手段２０３の接触性変化の反映の手順と同様の手順により、尤度が高い仮説を最大Ｋ１個取り出し、初期時刻における事後仮説集合Ｈ１とする。また、物体状態はセル内に等確率分布とする。
【０１４８】
以下では、本実施形態の具体的な例を説明する。この例では本実施形態の性能を評価するために人工的に作成したデータを用いる。図８には、８個の楕円形の物体が運動する様子を、周辺に設置した６台のカメラで観測した様子を示す。カメラは図８中の実線の円周の上に等間隔で配置されている。図８中の直線は視角の辺を表す。これらの物体は、図８中の確線の円の内部で、互いにぶつからないように運動し、各視点において重度のオクルージョンが発生し、かつ、その状況が刻一刻と変化している。
【０１４９】
図９には、本実施形態の装置または方法を適用して指定した結果より４つの時刻を抜き出して表示したものである。図９の実線の円が推定結果を示し、破線の円が真値を表す。また、図９中の直線は視角の辺を表す。図９の粒子の集合は、物体の状態分布を表し物体の中心点をプロットしたものである。密に分布しているところがより物体が存在している確率が高い場所である。分布が小さくまとまっている場合には、推定の信頼度が高く、逆に分布が広がっている場合、推定された物体状態の不確走性が大きいことを意味する。
【０１５０】
図９のシーンは、４つの物体が密集して存在し、オクルージョンが発生している状況であり、図９（ａ）における４物体について次第にオクルージョンの度合いが増し、図９（ｃ）では、物体Ｏ１がいずれの視点からも観測できない状態になる。しかし、その後の図９（ｄ）では、オクルージョンが多少緩和され、再び、物体Ｏ１に対しても視角の辺が接触するようになり、推定の確実性が向上する。このように、物体と接触している視角の辺が少なくなる状況において、一時的に、物体の状態推定の不確実性が増大するが、その後の観測により再び確実性の高い推定へ復帰することができる。そのため、本実施形態では、各物体が密集する場合などに生じる重度のオクルージョンの状況下でもロバストに物体を追跡することが可能である。
【０１５１】
なお、本発明は、上記の実施形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【０１５２】
また、本発明は、図１、図２に示した装置または方法の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現することができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【０１５３】
【発明の効果】
上述のように、本発明では、複数のセンサーにより物体を観測して、各時刻における視角を抽出し、現時刻の視角と前時刻の視角の対応づけを行い、現時刻の視角と物体状態の予測分布、前時刻から継承した視角の辺と、その辺に接する物体の組み合わせに基づいて、現時刻における視角の辺と接触する物体との組み合わせを求めて、個々の対応関係の仮説のもとでの物体の状態分布を推定し、各物体に接触する視角の辺を物体の接線とみなしたときの、物体の状態の確率分布を計算し、その分布から代表値を計算することで、各時刻の個々の物体の位置や姿勢の推定値を出力し、物体状態の予測分布を計算し、この処理を毎時刻、繰り返し実行している。
【０１５４】
そのため、物体間にオクルージョンが生じる場合にも、安定かつ正確な物体状態の推定値を提供することができる。
【図面の簡単な説明】
【図１】本発明の物体追跡装置または方法の実施形態を示す機能構成図。
【図２】実施形態における処理手順図。
【図３】実施形態における物体の観測の様子。
【図４】実施形態における撮影される画像の様子。
【図５】物体と視角、視角辺の様子。
【図６】時刻間における視角の対応付けと視角の時間変化の様子。
【図７】視角内の接触性の変化を説明する図。
【図８】実施形態における物体とその観測を説明する図。
【図９】実施形態における推定結果の例を示す図。
【符号の説明】
１０１…センサー
２０１…視角情報抽出手段
２０２…時刻間データ対応付け手段
２０３…視角辺−物体組み合わせ仮説更新手段
２０４…物体状態更新手段
２０５…物体状態代表値計算手段
２０６…物体状態予測手段
２０７…初期化手段
３０１…視角辺−物体組み合わせ仮説記憶手段
３０２…物体状態記憶手段
４０１…出力手段
【図１】
2004220292.tif 000040
【図２】
2004220292.tif 000041
【図３】
2004220292.tif 000042
【図４】
2004220292.tif 000043
【図５】
2004220292.tif 000044
【図６】
2004220292.tif 000045
【図７】
2004220292.tif 000046
【図８】
2004220292.tif 000047
【図９】
2004220292.tif 000048