(57)【要約】      （修正有）【課題】観測対象の内部状態を適切に推定する状態推定システムを実現する。【解決手段】状態推定システム１０００の観測取得部１は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。観測選択部２は、前時刻ｔ−１に取得した事後確率分布データに基づき、観測取得部１が取得した複数の観測データの中から、１つの観測データを選択する。尤度取得部３は、観測選択部２が選択した１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づき、尤度データを取得する。事後確率分布推定部４は、尤度取得部３が取得した予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。事前確率分布出力部５は、事後確率分布推定部４が推定した事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。【選択図】図１
2014206907.tif 000002
【特許請求の範囲】
【請求項１】
観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部と、
前時刻ｔ−１に取得された事後確率分布データに基づいて、前記観測取得部により取得された前記複数の観測データの中から、１つの観測データを選択する観測選択部と、
前記観測選択部により選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得部と、
前記尤度取得部により取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出部と、
を備える状態推定装置。
【請求項２】
観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部と、
前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する尤度算出部と、
前記尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得部と、
前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出部と、
を備える状態推定装置。
【請求項３】
前記尤度取得部は、前記複数の尤度データから選択した１つの尤度データを前記決定尤度データとして取得する、
請求項２に記載の状態推定装置。
【請求項４】
前記尤度取得部は、前記複数の尤度データの重み付け和により導出した尤度データを、前記決定尤度データとして取得する、
請求項２に記載の状態推定装置。
【請求項５】
前記尤度算出部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行し、
前記尤度データの重み付け係数は、パーティクルの内部状態を表す関数である、
請求項４に記載の状態推定装置。
【請求項６】
前記尤度算出部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行する、
請求項２から５のいずれかに記載の状態推定装置。
【請求項７】
前記観測選択部、前記尤度取得部、前記事後確率分布推定部、および、前記事前確率分布出力部は、パーティクルフィルタによる処理を実行する、
請求項１に記載の状態推定装置。
【請求項８】
観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得ステップと、
前時刻ｔ−１に取得された事後確率分布データに基づいて、前記観測取得ステップにより取得された前記複数の観測データの中から、１つの観測データを選択する観測選択ステップと、
前記観測選択ステップにより選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得ステップと、
前記尤度取得ステップにより取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出ステップと、
を備える状態推定方法をコンピュータに実行させるためのプログラム。
【請求項９】
観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得ステップと、
前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データごとに、尤度データを算出する尤度算出ステップと、
前記尤度算出ステップにより取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得ステップと、
前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定ステップと、
前記事後確率分布推定ステップにより推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出ステップと、
を備える状態推定方法をコンピュータに実行させるためのプログラム。
【請求項１０】
観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、
前時刻ｔ−１に取得された事後確率分布データに基づいて、前記観測取得部により取得された前記複数の観測データの中から、１つの観測データを選択する観測選択部と、
前記観測選択部により選択された１つの観測データと、前記事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する尤度取得部と、
前記尤度取得部により取得された前記予測後確率分布データと、前記尤度データとから、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出部と、
を備える集積回路。
【請求項１１】
観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、
前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する尤度算出部と、
前記尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した前記１つの尤度データを決定尤度データとして取得する尤度取得部と、
前記予測後確率分布データと前記決定尤度データとに基づいて、前記事象の状態の事後確率分布データを推定する事後確率分布推定部と、
前記事後確率分布推定部により推定された前記事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する事前確率分布出部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列フィルタを用いて観測可能な事象の状態推定を行う技術に関し、例えば、時系列フィルタを用いて動画像上の物体を追跡する技術に関する。
【背景技術】
【０００２】
時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術がある。時系列フィルタとは、時刻ｔにおける対象の内部状態を状態ベクトルｘｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙｔとしたとき、観測された観測ベクトルｙｔから、直接観測できない対象の内部状態ｘｔを推定する手法である。
【０００３】
つまり、時系列フィルタとは、以下の状態空間モデル、すなわち、
システムモデル：ｘｔ〜ｆ（ｘｔ｜ｘｔ−１）
観測モデル：ｙｔ〜ｈ（ｙｔ｜ｘｔ）
から、観測系列（時刻ｔまでの観測ベクトルの集合）ｙ１：ｔ＝｛ｙ１，ｙ２，・・・，ｙｔ｝が与えられたとき、状態系列ｘ０：ｔ＝｛ｘ０，ｘ１，・・・，ｘｔ｝の条件付確率分布ｐ（ｘｔ｜ｙ１：ｔ）を求める手法である。
【０００４】
システムノイズをｖｔとし、観測ノイズをｗｔとすると、対象の内部状態のシステムモデルおよび対象を観測した時の観測モデルは、以下のように表すことができる。
【０００５】
対象の内部状態のシステムモデル:ｘｔ＝ｆ（ｘｔ−１，ｖｔ）
対象を観測した時の観測モデル:ｙｔ＝ｈ（ｘｔ，ｗｔ）
ｆ（ｘｔ−１，ｖｔ）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｈ（ｘｔ，ｗｔ）：状態ｘｔのときに得られる観測ベクトルを表す関数
このとき、１期先予測は、
【０００６】
【数１】
2014206907.tif 000003
【０００７】
であり、ベイズ則により、時刻tにおける事後確率分布ｐ（ｘｔ｜ｙ１：ｔ）は、
【０００８】
【数２】
2014206907.tif 000004
【０００９】
となる。なお、ｈ（ｙｔ｜ｘｔ）は尤度（状態ｘｔのときに、観測ベクトルｙｔを得る確率）であり、ｐ（ｘｔ｜ｙ１：ｔ−１）は確率事前分布である。
【００１０】
時系列フィルタの実装の一手法としてパーティクルフィルタがある。パーティクルフィルタでは、観測対象の内部状態の確率分布をパーティクルの分布で表現し、現時刻における状態の事後確率分布を次時刻における状態の事前確率分布とする。そして、パーティクルフィルタでは、当該事前確率分布を表すパーティクル（当該事前確率分布に従って生成されたサンプル集合）の状態から推定されたテンプレートの観測（予測サンプル）と、次時刻における実際の画像（実際の観測）とを比較することで尤度を求める。
【００１１】
そして、パーティクルフィルタでは、求めた尤度と事前確率分布とからパーティクルの事後確率分布を推定する。
【００１２】
次時刻以降、前述の処理を繰り返すことで、パーティクルフィルタでは、動的に変化する観測対象（例えば、追跡対象）の状態が逐次的に推定される。
【００１３】
パーティクルフィルタでは、粒子数（パーティクルの数）をＭ（Ｍ：自然数）とし、１≦ｉ≦Ｍ（ｉ：整数）としたとき、以下の（１）〜（４）の処理を行う。
（１）粒子生成(１期先予測)
以下の数式に相当する処理により、各サンプル（各パーティクル）について、時刻ｔにおける予測サンプルを生成する。つまり、時刻ｔ−１の事後確率分布（時刻ｔ−１の観測対象の内部状態の確率分布）から、システムモデル（状態遷移関数）により予測した確率分布を取得する。具体的には、システムモデルｆに従って、時刻ｔ−１の各サンプル（各パーティクル）を遷移させて予測サンプルを生成する。
【００１４】
ｘａｔ（ｉ）〜ｆ（ｘｔ｜ｘｔ−１（ｉ））
ｘａｔ＝｛ｘａｔ（１），ｘａｔ（２），ｘａｔ（３），・・・，ｘａｔ（Ｍ）｝
ｘａｔ：状態遷移関数ｆ（）による状態ベクトルｘｔの予測（推定）ベクトル
（２）重みの計算（尤度計算）
以下の数式に相当する処理により、処理（１）で生成された各予測サンプルについて、重み（尤度）を算出する。つまり、観測モデルｈに従って、観測ベクトルｙｔを得る確率（尤度）を推定する。
【００１５】
ｗａｔ（ｉ）〜ｈ（ｙｔ｜ｘａｔ（ｉ））
ｗａｔ＝｛ｗａｔ（１），ｗａｔ（２），ｗａｔ（３），・・・，ｗａｔ（Ｍ）｝
ｗａｔ：関数ｈ（）による重み（尤度）ｗｔの予測（推定）ベクトル（尤度の予測値の集合）
（３）リサンプリング
重み（尤度）ｗａｔ（ｉ）に比例する割合でＭ個の粒子を復元抽出する（粒子ｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個の粒子の分布から、時刻ｔの事後確率分布（時刻ｔの観測対象の内部状態の確率分布）を取得する。
（４）時刻ｔを進めて（１）に戻る。このとき、処理（３）で取得した事後確率分布（時刻ｔでの事後確率分布）を、次の時刻（時刻ｔ＋１）の事前確率分布とする。
【００１６】
このように、パーティクルフィルタとは、観測対象の状態を表すパラメータの事前確率分布の予測と、事後確率分布の計算とを繰り返し行うことで、時々刻々変化する、観測対象の状態を表すパラメータを推定するものである。このようなパーティクルフィルタは、例えば、動画像上の物体（オブジェクト）の位置の追跡に利用される。パーティクルフィルタを用いて物体（オブジェクト）の位置追跡処理を行う場合、追跡対象（観測対象の一例）の状態を表すパラメータは、例えば、物体の位置を表すパラメータである。この場合、パーティクルフィルタでは、物体の位置を表すパラメータから推定される観測（予測サンプル）と、実際の観測（例えば、カメラ等により撮像される画像）とを比較することによって尤度を算出し、算出した尤度に基づいて、粒子のリサンプリングを行うことで、観測対象の状態を表すパラメータの事後確率分布を取得することができる（例えば、特許文献１）。
【００１７】
ところで、パーティクルフィルタにより物体の追跡処理を行う場合、実際の観測をカメラ等により撮像される画像（動画像）とすると、追跡対象とする物体の画像特徴量を抽出しながら、尤度を計算する必要がある。このため、尤度を計算するときの演算量が多くなる。
【００１８】
そこで、追跡対象とする物体の特徴を決定しておき、カメラ等により撮像される画像（動画像）から、物体の特徴量を検出した画像特徴量検出画像を取得し、取得した画像特徴量検出画像を用いて尤度を計算することが考えられる。例えば、追跡対象とする物体の特徴を、大きさがＷ×Ｈ（Ｗ：幅、Ｈ：高さ）である黄色の物体とすると、カメラ等により撮像される画像（動画像）から、大きさがＷ×Ｈ（Ｗ：幅、Ｈ：高さ）であり、かつ、黄色の度合いが高い画像領域である程、当該画像領域に含まれる画素の画素値が大きな画素値となるようにした画像特徴量検出画像を取得する。そして、当該画像特徴量検出画像を用いて尤度を計算することで、少ない演算量で尤度計算を行うことができる。これにより、演算量の増加を抑えつつ、適切に観測対象の内部状態を推定するパーティクルフィルタ処理（例えば、物体の追跡処理）を実現することができる。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０１２−２３４４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記パーティクルフィルタ処理では、単一の観測から取得された尤度を用いて、事後確率分布の計算を行っているので、状況によっては、観測対象の内部状態を適切に推定することができない場合がある。例えば、上記パーティクルフィルタ処理により、動画像上の物体を追跡する場合、単一の観測から取得された尤度を用いているので、例えば、大きさが変化する物体を追跡する場合や、大きさが異なる複数の物体を追跡する場合、これらの物体を正確に追跡することは困難である。
【００２１】
そこで、本発明は、上記問題点に鑑み、複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる状態推定装置、プログラムおよび集積回路を実現することを目的とする。
【課題を解決するための手段】
【００２２】
上記課題を解決するために、第１の発明は、観測取得部と、観測選択部と、尤度取得部と、事後確率分布推定部と、事前確率分布出部と、を備える状態推定装置である。
【００２３】
観測取得部は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
【００２４】
観測選択部は、前時刻ｔ−１に取得された事後確率分布データに基づいて、観測取得部により取得された複数の観測データの中から、１つの観測データを選択する。
【００２５】
尤度取得部は、観測選択部により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。
【００２６】
事後確率分布推定部は、尤度取得部により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。
【００２７】
事前確率分布出部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【００２８】
この状態推定装置では、観測取得部により、複数の観測（観測データ）が取得され、観測選択部より、観測対象（例えば、追跡対象）の内部状態に応じて、より適切な観測データが選択される。そして、この状態推定装置では、選択された観測データに基づいて、尤度データが算出され、算出された尤度データを用いて、事後確率分布データが取得される。したがって、この状態推定装置では、観測対象（例えば、追跡対象）の状態が変化した場合であっても、適切な事後確率分布データを取得することができる。その結果、この状態推定装置では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
【００２９】
なお、「時刻」とは、例えば、観測対象をサンプリングする時間間隔に基づく時刻を含む概念であり、時刻ｔ−１は、時刻ｔのサンプリングの１つ前のサンプリング時刻を示す。
【００３０】
また、「観測データ」は、観測対象の特徴を示す所定の特徴量を抽出（検出）したデータであってもよい。
【００３１】
第２の発明は、観測取得部と、尤度算出部と、尤度取得部と、事後確率分布推定部と、事前確率分布出部と、を備える状態推定装置である。
【００３２】
観測取得部は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
【００３３】
尤度算出部は、前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する。
【００３４】
尤度取得部は、尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。
【００３５】
事後確率分布推定部は、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。
【００３６】
事前確率分布出部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【００３７】
この状態推定装置では、観測取得部により、複数の観測（観測データ）が取得され、尤度算出部より、複数の観測のそれぞれに対して尤度データが算出される。そして、この状態推定装置では、尤度算出部により算出された複数の尤度データの中から、観測対象（例えば、追跡対象）の状態に応じて、より適切な尤度データが導出される。そして、この状態推定装置では、導出された尤度データを用いて、事後確率分布データが取得される。したがって、状態推定装置では、観測対象（例えば、追跡対象）の状態が変化した場合であっても、適切な事後確率分布データを取得することができる。その結果、この状態推定装置では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
【００３８】
第３の発明は、第２の発明であって、尤度取得部は、複数の尤度データから選択した１つの尤度データを決定尤度データとして取得する。
【００３９】
これにより、この状態推定装置では、複数の尤度データから選択した１つの尤度データを用いて、事後確率分布データを取得することができる。
【００４０】
第４の発明は、第２の発明であって、尤度取得部は、複数の尤度データの重み付け和により導出した尤度データを、決定尤度データとして取得する。
【００４１】
この状態推定装置では、複数の尤度データの重み付け和により導出した尤度データを用いて、事後確率分布データを取得する。したがって、この状態推定装置では、観測対象（例えば、追跡対象）の状態が急激に変化する場合であっても、適切な事後確率分布データを取得することができる。つまり、追跡対象の状態が急激に変化する場合、複数の観測のいずれかを選択して処理を行うと、選択対象が切り替わるときに、取得される事後確率分布データも急激に変化し、不自然な状態推定処理（例えば、追跡処理）になることがあるが、この状態推定装置では、複数の尤度データの重み付け和により導出した尤度データにより処理が実行されるので、観測対象に急激な変化があった場合であっても、取得される事後確率分布データが急激に変化することを適切に抑制できる。その結果、この状態推定装置では、自然な状態推定処理（例えば、追跡処理）を実現することができる。
【００４２】
第５の発明は、第４の発明であって、尤度算出部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。
【００４３】
尤度データの重み付け係数は、パーティクルの内部状態を表す関数である。
【００４４】
これにより、パーティクルの内部状態を表す関数により取得された重み付け係数を用いて、尤度データを取得することができる。
【００４５】
第６の発明は、第２から第５のいずれかの発明であって、尤度算出部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。
【００４６】
これにより、パーティクルフィルタにより処理が実行される状態推定装置を実現することができる。
【００４７】
第７の発明は、第１の発明であって、観測選択部、尤度取得部、事後確率分布推定部、および、事前確率分布出力部は、パーティクルフィルタによる処理を実行する。
【００４８】
これにより、パーティクルフィルタにより処理が実行される状態推定装置を実現することができる。
【００４９】
第８の発明は、観測取得ステップと、観測選択ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出ステップと、を備える状態推定方法をコンピュータに実行させるためのプログラムである。
【００５０】
観測取得ステップは、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
【００５１】
観測選択ステップは、前時刻ｔ−１に取得された事後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データの中から、１つの観測データを選択する。
【００５２】
尤度取得ステップは、観測選択ステップにより選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。
【００５３】
事後確率分布推定ステップは、尤度取得ステップにより取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。
【００５４】
事前確率分布出ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【００５５】
これにより、第１の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。
【００５６】
第９の発明は、観測取得ステップと、尤度算出ステップと、尤度取得ステップと、事後確率分布推定ステップと、事前確率分布出ステップと、を備える状態推定方法をコンピュータに実行させるためのプログラムである。
【００５７】
観測取得ステップは、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する。
【００５８】
尤度算出ステップは、前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得ステップにより取得された複数の観測データごとに、尤度データを算出する。
【００５９】
尤度取得ステップは、尤度算出ステップにより取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。
【００６０】
事後確率分布推定ステップは、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。
【００６１】
事前確率分布出ステップは、事後確率分布推定ステップにより推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【００６２】
これにより、第２の発明と同様の効果を奏する状態推定方法をコンピュータに実行させるためのプログラムを実現することができる。
【００６３】
第１０の発明は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、観測選択部と、尤度取得部と、事後確率分布推定部と、事前確率分布出部と、を備える。
【００６４】
観測選択部は、前時刻ｔ−１に取得された事後確率分布データに基づいて、観測取得部により取得された複数の観測データの中から、１つの観測データを選択する。
【００６５】
尤度取得部は、観測選択部により選択された１つの観測データと、事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データとに基づいて、尤度データを取得する。
【００６６】
事後確率分布推定部は、尤度取得部により取得された予測後確率分布データと、尤度データとから、事象の状態の事後確率分布データを推定する。
【００６７】
事前確率分布出部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【００６８】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【００６９】
第１１の発明は、観測可能な事象から得られる複数の観測データを、任意の時間間隔で取得する観測取得部を備える状態推定装置に用いられる集積回路であって、尤度算出部と、尤度取得部と、事後確率分布推定部と、事前確率分布出部と、を備える。
【００７０】
尤度算出部は、前時刻ｔ−１に取得された事後確率分布データに対して予測処理を行うことで取得した予測後確率分布データに基づいて、観測取得部により取得された複数の観測データごとに、尤度データを算出する。
【００７１】
尤度取得部は、尤度算出部により取得された、複数の観測データごとに算出された複数の尤度データに基づいて、１つの尤度データを導出し、導出した１つの尤度データを決定尤度データとして取得する。
【００７２】
事後確率分布推定部は、予測後確率分布データと決定尤度データとに基づいて、事象の状態の事後確率分布データを推定する。
【００７３】
事前確率分布出部は、事後確率分布推定部により推定された事後確率分布データに基づく事前確率分布データを、次時刻ｔ＋１において、事前確率分布データとして出力する。
【００７４】
これにより、第２の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００７５】
本発明によれば、複数の観測から尤度を求めることによって、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる状態推定装置、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【００７６】
【図１】第１実施形態に係る状態推定システム１０００の概略構成図。
【図２】第１実施形態の観測取得部１の概略構成図。
【図３】動画像上で移動する物体を模式的に示した図。
【図４】時刻ｔ０における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ０の状態とを模式的に示す図。
【図５】時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とを模式的に示す図。
【図６】時刻ｔ１における、尤度取得部３による予測処理および尤度計算と、事後確率分布推定部４による利サンプリングとを説明するための図。
【図７】時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図。
【図８】時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図。
【図９】第２実施形態に係る状態推定システム２０００の概略構成図。
【図１０】他の実施形態に係る観測取得部１Ａおよび観測選択部２Ａの概略構成図。
【図１１】他の実施形態に係る観測取得部１Ａ、尤度算出部７Ａ、および、尤度選択部３Ｂの概略構成図。
【図１２】他の実施形態に係る観測取得部１Ｂの概略構成図。
【発明を実施するための形態】
【００７７】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
【００７８】
＜１．１：状態推定システムの構成＞
図１は、第１実施形態に係る状態推定システム１０００の概略構成図である。
【００７９】
状態推定システム１０００は、図１に示すように、観測取得部１と、観測選択部２と、尤度取得部３と、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６と、を備える。
【００８０】
観測取得部１は、複数の観測（観測データ）を取得し、取得した複数の観測（観測データ）を観測選択部２に出力する。観測取得部１は、図１に示すように、第１観測取得部１１と、第２観測取得部１２とを備える。
【００８１】
第１観測取得部１１は、第１の観測（第１の観測データ）を取得し、取得した第１の観測（第１の観測データ）を観測選択部２に出力する。第１観測取得部１１は、例えば、図２に示すように、第１映像入力部１１１と、第１物体検出部１１２とを備える。
【００８２】
第１映像入力部１１１は、例えば、被写体を撮像することで映像信号（動画像信号）を取得する。そして、第１映像入力部１１１は、取得した映像信号（動画像信号）を第１物体検出部１１２に出力する。
【００８３】
第１物体検出部１１２は、第１映像入力部１１１から出力される映像信号（動画像信号）を入力する。第１物体検出部１１２は、入力された画像（動画像を形成する画像）から、物体検出画像を取得する。
【００８４】
物体を追跡する処理を行う場合、第１物体検出部１１２は、追跡対象とする物体の画像特徴量を抽出（検出）した物体検出画像（物体検出画像信号）を取得し、取得した物体検出画像（物体検出画像信号）を第１の観測（第１の観測データ）として観測選択部２に出力する。
【００８５】
第２観測取得部１２は、第２の観測（第２の観測データ）を取得し、取得した第２の観測（第２の観測データ）を観測選択部２に出力する。第２観測取得部１２は、例えば、図２に示すように、第２映像入力部１２１と、第２物体検出部１２２とを備える。
【００８６】
第２映像入力部１２１は、例えば、被写体を撮像することで映像信号（動画像信号）を取得する。そして、第２映像入力部１２１は、取得した映像信号（動画像信号）を第２物体検出部１２２に出力する。
【００８７】
第２物体検出部１２２は、第２映像入力部１２１から出力される映像信号（動画像信号）を入力する。第２物体検出部１２２は、入力された画像（動画像を形成する画像）から、物体検出画像を取得する。
【００８８】
物体を追跡する処理を行う場合、第２物体検出部１２２は、追跡対象とする物体の画像特徴量を抽出（検出）した物体検出画像（物体検出画像信号）を取得し、取得した物体検出画像（物体検出画像信号）を第２の観測（第２の観測データ）として観測選択部２に出力する。
【００８９】
なお、本実施形態では、説明便宜のため、観測取得部１が、２つの観測取得部（第１観測取得部１１および第２観測取得部１２）を備える場合について説明するが、観測取得部１が備える観測取得部の数は、２つに限定されることはなく、３以上であってもよい。観測取得部１が、Ｎ個（Ｎ：自然数）の観測取得部を備える場合、観測取得部１は、Ｎ個の観測（Ｎ個の観測データ）を観測選択部２に出力する。
【００９０】
観測選択部２は、観測取得部１から出力される複数の観測（観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。観測選択部２は、事前確率分布（事前確率分布データ）に基づいて、複数の観測（観測データ）の中から１つの観測（観測データ）を選択し、選択した観測（観測データ）を尤度取得部３に出力する。
【００９１】
尤度取得部３は、観測選択部２から出力される観測（観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。尤度取得部３は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、尤度取得部３は、観測（観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度を算出する。そして、尤度取得部３は、算出した尤度（尤度データ）と予測後確率分布（予測後確率分布データ）とを事後確率分布推定部４に出力する。
【００９２】
事後確率分布推定部４は、尤度取得部３から出力される尤度（尤度データ）と、予測後確率分布（予測後確率分布データ）とを入力する。事後確率分布推定部４は、尤度（尤度データ）と予測後確率分布（予測後確率分布データ）とに基づいて、事後確率分布（事後確率分布データ）を推定（取得）する。そして、事後確率分布推定部４は、取得した事後確率分布（事後確率分布データ）を、事前確率分布出力部５に出力する。
【００９３】
事前確率分布出力部５は、初期状態設定部６から出力される初期状態の設定データと、事後確率分布推定部４から出力される事後確率分布（事後確率分布データ）とを入力する。事前確率分布出力部５は、初期状態では、初期状態設定部６から出力される初期状態の設定データに基づいて、事前確率分布（事前確率分布データ）を生成し、生成した事前確率分布（事前確率分布データ）を観測選択部２と、尤度取得部３とに出力する。
【００９４】
また、事前確率分布出力部５は、初期状態以外の状態では、事後確率分布推定部４から出力される、時刻ｔにおける事後確率分布（事後確率分布データ）を、次の時刻ｔ＋１において、事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
【００９５】
初期状態設定部６は、初期状態における事前確率分布（事前確率分布）を生成するためのデータ（初期値）を保持しており、当該データ（初期値）を事前確率分布出力部５に出力する。
【００９６】
＜１．２：状態推定システムの動作＞
以上のように構成された状態推定システム１０００の動作について、以下、説明する。
【００９７】
なお、以下では、大きさが変化する黄色の物体を追跡する処理を例に説明する。具体的には、図３に示すように、大きさを変化させながら移動する黄色の物体を追跡する場合について、説明する。なお、図３は、動画像上で移動する物体を模式的に示した図であり、図３において、横軸がＸ軸であり、縦軸がＹ軸であるものとする。そして、物体は、時刻ｔ０〜ｔ３において、Ｂ０〜Ｂ３に大きさを変化させながら移動するものとする。各時刻における、物体Ｂ０〜Ｂ３の中心位置、幅（Ｘ軸方向の大きさ）、高さ（Ｙ軸方向の大きさ）は、以下の通りであるものとする。
【００９８】
≪時刻ｔ０≫  物体：Ｂ０、中心位置：（Ｘ０，Ｙ０）、幅：Ｗ０、高さ：Ｈ０
≪時刻ｔ１≫  物体：Ｂ１、中心位置：（Ｘ１，Ｙ１）、幅：Ｗ１、高さ：Ｈ１
≪時刻ｔ２≫  物体：Ｂ２、中心位置：（Ｘ２，Ｙ２）、幅：Ｗ２、高さ：Ｈ２
≪時刻ｔ３≫  物体：Ｂ３、中心位置：（Ｘ３，Ｙ３）、幅：Ｗ３、高さ：Ｈ３
また、以下の関係が成り立つものとする。
【００９９】
Ｗ０＜Ｗ１＜Ｗ２＜Ｗ３
Ｈ０＜Ｈ１＜Ｈ２＜Ｈ３
Ｗ３＝２×Ｗ０
Ｈ３＝２×Ｈ０
また、観測対象（追跡対象）の時刻ｔの内部状態を示す状態ベクトルをｘｔとし、時刻ｔにおいて観測された特徴を観測ベクトルｙｔとし、事前確率分布ｐ（ｘｔ｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ−１を
Ｓｔ｜ｔ−１＝｛ｓｔ｜ｔ−１（１），ｓｔ｜ｔ−１（２），・・・，ｓｔ｜ｔ−１（Ｍ）｝
とし、事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔを
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
とする。
【０１００】
また、サンプル集合（パーティクルの集合）Ｓｔ｜ｔのｉ番目のサンプル（パーティクル）ｓｔ｜ｔ（ｉ）は、ｉ番目のサンプル（パーティクル）の画像上の座標位置（Ｘｔ（ｉ），Ｙｔ（ｉ））と、当該座標位置を中心とする画像領域の幅Ｗｔ（ｉ）および高さＨｔ（ｉ）を内部変数とするベクトルデータであるものとする。つまり、サンプル（パーティクル）ｓｔ｜ｔ（ｉ）は、
ｓｔ｜ｔ（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるものとする。
【０１０１】
また、第１の観測（第１の観測データ）は、幅Ｗ０、高さＨ０である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第１物体検出部１１２は、第１映像入力部１１１が取得した画像において、幅Ｗ０、高さＨ０の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅Ｗ０、高さＨ０である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
【０１０２】
また、第２の観測（第２の観測データ）は、幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第２物体検出部１２２は、第２映像入力部１２１が取得した画像において、幅（２×Ｗ０）、高さ（２×Ｈ０）の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
（時刻ｔ０の処理）：
まず、時刻ｔ０の処理について、説明する。
【０１０３】
時刻ｔ０において、初期状態設定部６は、追跡対象の状態の初期状態を設定するための初期値を事前確率分布出力部５に出力する。
【０１０４】
事前確率分布出力部５は、初期状態設定部６から入力された初期値に基づいて、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ−１（ｔ＝ｔ０）を生成する。
【０１０５】
なお、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ−１（ｔ＝ｔ０）の生成処理は、例えば、可能性のある全ての状態を表すパーティクルの集合が、初期状態を示すパーティクルの集合として生成されるように実行すればよい。
【０１０６】
事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）は、観測選択部２、および、尤度取得部３に出力される。
【０１０７】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
【０１０８】
観測選択部２では、追跡対象を発見（特定）するまで、第１の観測データと第２の観測データの両方のデータを尤度取得部３に出力する、あるいは、物体検出結果が顕著である方の観測データ（例えば、物体検出結果画像の全画素の画素値の平均値が高い方の画像（観測データ））を尤度取得部３に出力するようにする。
【０１０９】
図４は、時刻ｔ０における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ０の状態とを模式的に示す図である。なお、図４の左側の第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）は、右側の物体Ｂ０の状態を示す図と同じ画像領域を縮小して示している（図５、図７、図８において同様）。
【０１１０】
図４に示すように、時刻ｔ０では、第１の観測（物体検出画像）のみに検出画像領域があるので、観測選択部２は、第１の観測データを尤度取得部３に出力するものとする。
【０１１１】
尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１１２】
そして、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、観測選択部２から出力された第１の観測データ（実際の観測）とに基づいて、尤度を算出する。
【０１１３】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０１１４】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ（ｉ）とする。
【０１１５】
そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、事後確率分布推定部４に出力される。
【０１１６】
事後確率分布推定部４では、尤度ｗａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０１１７】
なお、図４に、上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅを示す。
【０１１８】
また、図４に、上記処理により取得された、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
【０１１９】
なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ１の処理）：
次に、時刻ｔ１の処理について、説明する。
【０１２０】
図５は、時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とを模式的に示す図である。
【０１２１】
時刻ｔ１において、事前確率分布出力部５は、時刻ｔ０における事後確率分布（事後確率分布データ）を、時刻ｔ１における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
【０１２２】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
【０１２３】
観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
【０１２４】
つまり、観測選択部２は、時刻ｔ１の事前確率分布ｐ（ｘｔ−１｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
【０１２５】
具体的には、観測選択部２は、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさを、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）と、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）との間の所定の閾値Ｔｈと比較することで、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。なお、本実施形態では、Ｔｈ＝２×ＷＯ×Ｈ０とし、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさが閾値Ｔｈよりも小さい場合、第１の観測データを選択するものとする。
【０１２６】
パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、
Ｗｔ−１｜ｔ−１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈｔ−１｜ｔ−１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．４×Ｗ０×１．４×Ｈ０＝１．９６×Ｗ０×Ｈ０＜２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも小さいので、観測選択部２は、第１の観測データを選択する。
【０１２７】
そして、選択された第１の観測データは、尤度取得部３に出力される。
【０１２８】
尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１２９】
例えば、時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。つまり、ｖｔ（ｉ）がガウス分布に従うシステムノイズとし、
ｓｔ｜ｔ−１（ｉ）＝ｆ（ｓｔ−１｜ｔ−１（ｉ），ｖｔ（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖｔ（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１３０】
具体的には、時刻ｔ１における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘｔ−１｜ｔ−１（ｉ），Ｙｔ−１｜ｔ−１（ｉ），Ｗｔ−１｜ｔ−１（ｉ），Ｈｔ−１｜ｔ−１（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ−１（ｉ），Ｙｔ｜ｔ−１（ｉ），Ｗｔ｜ｔ−１（ｉ），Ｈｔ｜ｔ−１（ｉ））であるので、
Ｘｔ−１｜ｔ（ｉ）＝Ｘｔ−１｜ｔ−１（ｉ）＋ΔＸ（ｉ）
Ｙｔ−１｜ｔ（ｉ）＝Ｙｔ−１｜ｔ−１（ｉ）＋ΔＹ（ｉ）
Ｗｔ−１｜ｔ（ｉ）＝Ｗｔ−１｜ｔ−１（ｉ）＋ΔＷ（ｉ）
Ｈｔ−１｜ｔ（ｉ）＝Ｈｔ−１｜ｔ−１（ｉ）＋ΔＨ（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。なお、ΔＸ（ｉ）、ΔＹ（ｉ）、ΔＷ（ｉ）、ΔＨ（ｉ）は、それぞれ、ガウス分布に従う。
【０１３１】
このようにして取得した予測処理後のパーティクルの集合ｓｔ｜ｔ−１の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図５に示す。
【０１３２】
そして、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、観測選択部２から出力された第１の観測データ（実際の観測）とに基づいて、尤度を算出する。
【０１３３】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０１３４】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ（ｉ）とする。
【０１３５】
そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、事後確率分布推定部４に出力される。
【０１３６】
事後確率分布推定部４では、尤度ｗａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０１３７】
なお、図５に、（１）時刻ｔ１における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。
【０１３８】
また、図５に、上記処理により取得された、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
【０１３９】
なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
【０１４０】
図６は、時刻ｔ１における、尤度取得部３による予測処理および尤度計算と、事後確率分布推定部４による利サンプリングとを説明するための図であり、図５の物体Ｂ１の周辺の画像領域を抽出して示した図である。なお、図６では、Ｙ軸方向のパーティクルのみを模式的に示している。
【０１４１】
図６に示すように、時刻ｔ１の事前確率分布に従うパーティクル集合ｓｔ−１｜ｔ−１に対して予測処理を実行することで、予測後確率分布に従うパーティクル集合ｓｔ｜ｔ−１が取得される。そして、予測後確率分布に従うパーティクル集合ｓｔ｜ｔ−１の中で、その中心位置が、物体Ｂ１の画像領域内に含まれるパーティクルの尤度は、大きな値となる。図６では、尤度が大きなパーティクルを大きな円で示している。
【０１４２】
そして、事後確率分布推定部４では、尤度に比例する割合でＭ個のパーティクル（粒子）を復元抽出するので、図６に示すように、尤度の大きなパーティクルが複数個のパーティクルに復元されることで、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔが取得される。
【０１４３】
そして、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値を算出することで、Ｙ軸の平均位置が、図６のＹ＿ａｖｅとなり、高さの平均値が、図６のＨ＿ａｖｅとなる。
【０１４４】
Ｘ軸方向についても、同様に処理を実行し、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値を算出することで、Ｘ軸の平均位置が、図６のＸ＿ａｖｅとなり、幅の平均値が、図６のＷ＿ａｖｅとなる。
【０１４５】
これにより、時刻ｔ１の事後確率分布に従うサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値により決定される画像領域が、図６の領域Ｒ＿ａｆｔｅｒ＿ａｖｅとなる。
（時刻ｔ２の処理）：
次に、時刻ｔ２の処理について、説明する。
【０１４６】
図７は、時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図である。
【０１４７】
時刻ｔ２において、事前確率分布出力部５は、時刻ｔ１における事後確率分布（事後確率分布データ）を、時刻ｔ２における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
【０１４８】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
【０１４９】
観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
【０１５０】
つまり、観測選択部２は、時刻ｔ２の事前確率分布ｐ（ｘｔ−１｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
【０１５１】
パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、
Ｗｔ−１｜ｔ−１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈｔ−１｜ｔ−１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．６×Ｗ０×１．４×Ｈ０＝２．２４×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、観測選択部２は、第２の観測データを選択する。
【０１５２】
そして、選択された第２の観測データは、尤度取得部３に出力される。
【０１５３】
尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１５４】
例えば、時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。つまり、ｖｔ（ｉ）がガウス分布に従うシステムノイズとし、
ｓｔ｜ｔ−１（ｉ）＝ｆ（ｓｔ−１｜ｔ−１（ｉ），ｖｔ（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖｔ（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１５５】
具体的には、時刻ｔ２における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘｔ−１｜ｔ−１（ｉ），Ｙｔ−１｜ｔ−１（ｉ），Ｗｔ−１｜ｔ−１（ｉ），Ｈｔ−１｜ｔ−１（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ−１（ｉ），Ｙｔ｜ｔ−１（ｉ），Ｗｔ｜ｔ−１（ｉ），Ｈｔ｜ｔ−１（ｉ））であるので、
Ｘｔ−１｜ｔ（ｉ）＝Ｘｔ−１｜ｔ−１（ｉ）＋ΔＸ（ｉ）
Ｙｔ−１｜ｔ（ｉ）＝Ｙｔ−１｜ｔ−１（ｉ）＋ΔＹ（ｉ）
Ｗｔ−１｜ｔ（ｉ）＝Ｗｔ−１｜ｔ−１（ｉ）＋ΔＷ（ｉ）
Ｈｔ−１｜ｔ（ｉ）＝Ｈｔ−１｜ｔ−１（ｉ）＋ΔＨ（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。なお、ΔＸ（ｉ）、ΔＹ（ｉ）、ΔＷ（ｉ）、ΔＨ（ｉ）は、それぞれ、ガウス分布に従う。
【０１５６】
このようにして取得した予測処理後のパーティクルの集合ｓｔ｜ｔ−１の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図７に示す。
【０１５７】
そして、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、観測選択部２から出力された第２の観測データ（実際の観測）とに基づいて、尤度を算出する。
【０１５８】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０１５９】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ（ｉ）とする。
【０１６０】
ここで、図７に示すように、第２の観測データは、第１の観測データよりも、物体Ｂ２の領域の検出結果が良好である。このため、第１の観測データを用いて、尤度を計算することで、物体Ｂ２の画像領域に含まれるパーティクルの尤度を大きくすることができる。その結果、事後確率分布において、物体Ｂ２の画像領域に含まれるパーティクルの数を多くすることができる。したがって、時刻ｔ２において、観測選択部２により選択された第２の観測を用いて、尤度の算出を行うことで、より適切に物体の追跡処理が実行できる。
【０１６１】
そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、事後確率分布推定部４に出力される。
【０１６２】
事後確率分布推定部４では、尤度ｗａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０１６３】
なお、図７に、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。
【０１６４】
また、図７に、上記処理により取得された、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
【０１６５】
なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
として取得されたものとする。
（時刻ｔ３の処理）：
次に、時刻ｔ３の処理について、説明する。
【０１６６】
図８は、時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とを模式的に示す図である。
【０１６７】
時刻ｔ３において、事前確率分布出力部５は、時刻ｔ２における事後確率分布（事後確率分布データ）を、時刻ｔ３における事前確率分布（事前確率分布データ）として、観測選択部２と、尤度取得部３とに出力する。
【０１６８】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））と、観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））とが、観測選択部２に出力される。
【０１６９】
観測選択部２は、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
【０１７０】
つまり、観測選択部２は、時刻ｔ２の事前確率分布ｐ（ｘｔ−１｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）に基づいて、第１の観測データと第２の観測データのどちらのデータを選択するか決定する。
【０１７１】
パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、
Ｗｔ−１｜ｔ−１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈｔ−１｜ｔ−１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
であり、
２．３×Ｗ０×１．６×Ｈ０＝３．６８×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、観測選択部２は、第２の観測データを選択する。
【０１７２】
そして、選択された第２の観測データは、尤度取得部３に出力される。
【０１７３】
尤度取得部３では、事前確率分布出力部５により生成された時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１７４】
例えば、時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に含まれる各パーティクルの状態に対して、ランダムウォークのダイナミクスを仮定したガウシアンノイズを重畳させることで、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。つまり、ｖｔ（ｉ）がガウス分布に従うシステムノイズとし、
ｓｔ｜ｔ−１（ｉ）＝ｆ（ｓｔ−１｜ｔ−１（ｉ），ｖｔ（ｉ））
ｆ（）：時刻ｔ−１と時刻ｔとの状態変化を表す状態遷移関数
ｖｔ（ｉ）：システムノイズ
により、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０１７５】
具体的には、時刻ｔ３における事前確率分布（事前確率分布データ）に従う、ｉ番目のパーティクルの内部状態は、（Ｘｔ−１｜ｔ−１（ｉ），Ｙｔ−１｜ｔ−１（ｉ），Ｗｔ−１｜ｔ−１（ｉ），Ｈｔ−１｜ｔ−１（ｉ））であり、予測処理後のｉ番目のパーティクルの内部状態は、（Ｘｔ｜ｔ−１（ｉ），Ｙｔ｜ｔ−１（ｉ），Ｗｔ｜ｔ−１（ｉ），Ｈｔ｜ｔ−１（ｉ））であるので、
Ｘｔ−１｜ｔ（ｉ）＝Ｘｔ−１｜ｔ−１（ｉ）＋ΔＸ（ｉ）
Ｙｔ−１｜ｔ（ｉ）＝Ｙｔ−１｜ｔ−１（ｉ）＋ΔＹ（ｉ）
Ｗｔ−１｜ｔ（ｉ）＝Ｗｔ−１｜ｔ−１（ｉ）＋ΔＷ（ｉ）
Ｈｔ−１｜ｔ（ｉ）＝Ｈｔ−１｜ｔ−１（ｉ）＋ΔＨ（ｉ）
により、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。なお、ΔＸ（ｉ）、ΔＹ（ｉ）、ΔＷ（ｉ）、ΔＨ（ｉ）は、それぞれ、ガウス分布に従う。
【０１７６】
このようにして取得した予測処理後のパーティクルの集合ｓｔ｜ｔ−１の平均値による画像領域Ｒ＿ｐｒｅｄ＿ａｖｅを、図８に示す。
【０１７７】
そして、尤度取得部３は、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、観測選択部２から出力された第２の観測データ（実際の観測）とに基づいて、尤度を算出する。
【０１７８】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０１７９】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗａｔ（ｉ）とする。
【０１８０】
ここで、図８に示すように、第２の観測データは、第１の観測データよりも、物体Ｂ３の領域の検出結果が良好である。このため、第１の観測データを用いて、尤度を計算することで、物体Ｂ３の画像領域に含まれるパーティクルの尤度を大きくすることができる。その結果、事後確率分布において、物体Ｂ３の画像領域に含まれるパーティクルの数を多くすることができる。したがって、時刻ｔ３において、観測選択部２により選択された第２の観測を用いて、尤度の算出を行うことで、より適切に物体の追跡処理が実行できる。
【０１８１】
そして、尤度取得部３により算出された尤度ｗａｔは、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、事後確率分布推定部４に出力される。
【０１８２】
事後確率分布推定部４では、尤度ｗａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０１８３】
なお、図８に、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅと、を示す。
【０１８４】
また、図８に、上記処理により取得された、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅを示す。
【０１８５】
以上の処理を継続させることで、状態推定システム１０００により、物体の追跡処理を行うことができる。
【０１８６】
このように、状態推定システム１０００では、観測取得部１により、複数の観測（観測データ）が取得され、観測選択部２より、追跡対象の状態（本実施形態では、物体の大きさ）に応じて、より適切な観測データが選択される。そして、状態推定システム１０００では、選択された観測データに基づいて、尤度が算出され、算出された尤度を用いて、リサンプリングが実行される。したがって、状態推定システム１０００では、追跡対象の状態が変化した場合であっても（本実施形態では、物体の大きさが変化した場合であっても）、適切な事後確率分布データを取得することができる。その結果、状態推定システム１０００では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
【０１８７】
［第２実施形態］
次に、第２実施形態について、説明する。
【０１８８】
＜２．１：状態推定システムの構成＞
図９は、第２実施形態に係る状態推定システム２０００の概略構成図である。
【０１８９】
状態推定システム２０００は、図９に示すように、観測取得部１と、尤度算出部７と、尤度取得部３Ａと、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６と、を備える。
【０１９０】
状態推定システム２０００において、観測取得部１と、事後確率分布推定部４と、事前確率分布出力部５と、初期状態設定部６とは、第１実施形態の状態推定システム１０００のものと同様である。
【０１９１】
なお、事前確率分布出力部５は、第１実施形態とは出力先だけが異なる。つまり、状態推定システム２０００の事前確率分布出力部５は、生成した事前確率分布（事前確率分布データ）を尤度算出部７と、尤度取得部３とに出力する。
【０１９２】
本実施形態においって、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【０１９３】
尤度算出部７は、図９に示すように、第１尤度算出部７１と、第２尤度算出部７２とを備える。
【０１９４】
第１尤度算出部７１は、第１観測取得部１１から出力される第１の観測（第１の観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。第１尤度算出部７１は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、第１尤度算出部７１は、第１の観測（第１の観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度（第１尤度）を算出する。そして、第１尤度算出部７１は、第１の観測データを用いて算出した第１尤度（第１尤度データ）と予測後確率分布（予測後確率分布データ）とを尤度取得部３Ａに出力する。
【０１９５】
第２尤度算出部７２は、第２観測取得部１２から出力される第２の観測（第２の観測データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。第２尤度算出部７２は、事前確率分布（事前確率分布データ）に対して予測処理を行い、予測後確率分布（予測後確率分布データ）を取得する。そして、第２尤度算出部７２は、第２の観測（第２の観測データ）と、予測後確率分布（予測後確率分布データ）とに基づいて、尤度（第２尤度）を算出する。そして、第２尤度算出部７２は、第２の観測データを用いて算出した第２尤度（第１尤度データ）と予測後確率分布（予測後確率分布データ）とを尤度取得部３Ａに出力する。
【０１９６】
なお、事前確率分布（事前確率分布データ）に対する予測処理は、第１尤度算出部７１および第２尤度算出部７２のいずれか一方のみで実行されるものであってもよい。この場合、第１尤度算出部７１および第２尤度算出部７２のいずれか一方で取得された予測後確率分布（予測後確率分布データ）は、他方に出力される。また、第１尤度算出部７１および第２尤度算出部７２のいずれか一方で取得された予測後確率分布（予測後確率分布データ）は、尤度取得部３Ａに出力される。
【０１９７】
なお、図９では、尤度算出部が２つの構成を示しているが、これに限定されることはなく、尤度算出部は、３つ以上であってもよい。
【０１９８】
尤度取得部３Ａは、第１尤度算出部７１から出力される第１尤度と、第２尤度算出部７２から出力される第２尤度と、第１尤度算出部７１および第２尤度算出部７２の一方（または両方）から出力される予測後確率分布（予測後確率分布データ）と、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）とを入力する。尤度取得部３Ａは、事前確率分布（事前確率分布データ）に基づいて、複数の尤度（図９の場合、第１尤度と第２尤度）の中から１つの尤度（尤度データ）を選択し、選択した尤度（尤度データ）を事後確率分布推定部４に出力する。
【０１９９】
＜２．２：状態推定システムの動作＞
以上のように構成された状態推定システム２０００の動作について、以下、説明する。
【０２００】
なお、以下では、第１実施形態と同様に、大きさが変化する黄色の物体を追跡する処理を例に説明する。
【０２０１】
また、第１実施形態と同様に、第１の観測（第１の観測データ）は、幅Ｗ０、高さＨ０である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第１物体検出部１１２は、第１映像入力部１１１が取得した画像において、幅Ｗ０、高さＨ０の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅Ｗ０、高さＨ０である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
【０２０２】
また、第２の観測（第２の観測データ）は、幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の物体を検出した結果を示す画像信号（物体検出画像信号）であるものとする。つまり、第２物体検出部１２２は、第２映像入力部１２１が取得した画像において、幅（２×Ｗ０）、高さ（２×Ｈ０）の黄色の画像領域に近い画像領域である程、当該画像領域の画素の画素値を大きな値（幅（２×Ｗ０）、高さ（２×Ｈ０）である黄色の画像領域である度合いが高いことを示す値）とした画像（検出画像）を生成するものとする。
（時刻ｔ０の処理）：
まず、時刻ｔ０の処理について、説明する。
【０２０３】
時刻ｔ０において、初期状態設定部６は、追跡対象の状態の初期状態を設定するための初期値を事前確率分布出力部５に出力する。
【０２０４】
事前確率分布出力部５は、初期状態設定部６から入力された初期値に基づいて、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ−１（ｔ＝ｔ０）を生成する。
【０２０５】
なお、追跡対象の初期状態を示すサンプル（パーティクル）の集合Ｓｔ｜ｔ−１（ｔ＝ｔ０）の生成処理は、例えば、可能性のある全ての状態を表すパーティクルの集合が、初期状態を示すパーティクルの集合として生成されるように実行すればよい。
【０２０６】
事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）は、尤度算出部７、尤度取得部３Ａ、および、事後確率分布推定部４に出力される。
【０２０７】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
【０２０８】
尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ０における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０２０９】
そして、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
【０２１０】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２１１】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ（ｉ）とする。
【０２１２】
そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、尤度取得部３Ａに出力される。
【０２１３】
また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
【０２１４】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２１５】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ（ｉ）とする。
【０２１６】
そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
【０２１７】
尤度取得部３Ａでは、追跡対象が発見（特定）されるまで、第１の観測データと第２の観測データの両方のデータを参照し、第１尤度および第２尤度のどちらを出力するかを決定する。時刻ｔ０の場合、図４に示すように、第１の観測データ（物体検出画像）に検出結果が顕著に現れているので、尤度取得部３Ａは、第１尤度を選択し、選択した第１尤度を事後確率分布推定部４に出力する。
【０２１８】
事後確率分布推定部４では、第１尤度ｗ１ａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０２１９】
なお、上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅは、図４に示したものと同様のものとなる。
【０２２０】
また、上記処理により取得された、時刻ｔ０の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図４に示したものと同様のものとなる。
【０２２１】
なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ１の処理）：
次に、時刻ｔ１の処理について、説明する。
【０２２２】
時刻ｔ１における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ１の状態とは、図５と同様である。
【０２２３】
時刻ｔ１において、事前確率分布出力部５は、時刻ｔ０における事後確率分布（事後確率分布データ）を、時刻ｔ１における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。
【０２２４】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
【０２２５】
尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ１における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０２２６】
そして、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
【０２２７】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２２８】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ（ｉ）とする。
【０２２９】
そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、尤度取得部３Ａに出力される。
【０２３０】
また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
【０２３１】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２３２】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ（ｉ）とする。
【０２３３】
そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
【０２３４】
尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
【０２３５】
つまり、尤度取得部３Ａは、時刻ｔ１の事前確率分布ｐ（ｘｔ−１｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
【０２３６】
具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさを、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）と、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）との間の所定の閾値Ｔｈと比較することで、第１尤度と第２尤度のどちらの尤度を選択するか決定する。なお、本実施形態では、Ｔｈ＝２×ＷＯ×Ｈ０とし、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさが閾値Ｔｈよりも小さい場合、第１尤度を選択するものとする。
【０２３７】
パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、
Ｗｔ−１｜ｔ−１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．４×Ｗ０
Ｈｔ−１｜ｔ−１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．４×Ｗ０×１．４×Ｈ０＝１．９６×Ｗ０×Ｈ０＜２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも小さいので、尤度取得部３Ａは、第１尤度を選択する。
【０２３８】
そして、選択された第１尤度は、事後確率分布推定部４に出力される。
【０２３９】
事後確率分布推定部４では、第１尤度ｗ１ａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０２４０】
なお、（１）時刻ｔ１における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図５と同様である。
【０２４１】
また、上記処理により取得された、時刻ｔ１の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図５と同様である。
【０２４２】
なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
として取得されたものとする。
（時刻ｔ２の処理）：
次に、時刻ｔ２の処理について、説明する。
【０２４３】
時刻ｔ２における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とは、図７と同様である。
【０２４４】
時刻ｔ２において、事前確率分布出力部５は、時刻ｔ１における事後確率分布（事後確率分布データ）を、時刻ｔ２における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。
【０２４５】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
【０２４６】
尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ２における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０２４７】
そして、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
【０２４８】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２４９】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ（ｉ）とする。
【０２５０】
そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、尤度取得部３Ａに出力される。
【０２５１】
また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
【０２５２】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２５３】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ（ｉ）とする。
【０２５４】
そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
【０２５５】
尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
【０２５６】
つまり、尤度取得部３Ａは、時刻ｔ２の事前確率分布ｐ（ｘｔ−１｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
【０２５７】
具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、
Ｗｔ−１｜ｔ−１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝１．６×Ｗ０
Ｈｔ−１｜ｔ−１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．４×Ｈ０
であり、
１．６×Ｗ０×１．４×Ｈ０＝２．２４×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、尤度取得部３Ａは、第２尤度を選択する。
【０２５８】
そして、選択された第２尤度は、事後確率分布推定部４に出力される。
【０２５９】
事後確率分布推定部４では、第２尤度ｗ２ａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０２６０】
なお、（１）時刻ｔ２における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図７と同様である。
【０２６１】
また、上記処理により取得された、時刻ｔ２の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図７と同様である。
【０２６２】
なお、Ｗｔ｜ｔ＿ａｖｅ、および、Ｈｔ｜ｔ＿ａｖｅは、
Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
として取得されたものとする。
（時刻ｔ３の処理）：
次に、時刻ｔ３の処理について、説明する。
【０２６３】
時刻ｔ３における第１の観測データ（物体検出画像）と第２の観測データ（物体検出画像）と、画像上の物体Ｂ２の状態とは、図８と同様である。
【０２６４】
時刻ｔ３において、事前確率分布出力部５は、時刻ｔ２における事後確率分布（事後確率分布データ）を、時刻ｔ３における事前確率分布（事前確率分布データ）として、尤度算出部７と、尤度取得部３Ａとに出力する。
【０２６５】
また、観測取得部１の第１観測取得部１１により取得された第１の観測データ（幅Ｗ０、高さＨ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第１尤度算出部７１に出力される。観測取得部１の第２観測取得部１２により取得された第２の観測データ（幅２×Ｗ０、高さ２×Ｈ０の黄色の画像領域の検出結果（物体検出画像））は、尤度算出部７の第２尤度算出部７２に出力される。
【０２６６】
尤度算出部７の第１尤度算出部７１では、事前確率分布出力部５により生成された時刻ｔ３における事前確率分布（事前確率分布データ）に従うパーティクルの集合ｓｔ−１｜ｔ−１に基づいて、予測処理を行い、予測処理後のパーティクルの集合ｓｔ｜ｔ−１を取得する。
【０２６７】
そして、予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第１観測取得部１１から出力された第１の観測データ（実際の観測）とに基づいて、尤度（第１尤度）を算出する。
【０２６８】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２６９】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ１ａｔ（ｉ）とする。
【０２７０】
そして、第１尤度算出部７１により算出された尤度ｗ１ａｔ（第１尤度）は、予測後確率分布データ（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）とともに、尤度取得部３Ａに出力される。
【０２７１】
また、尤度算出部７の第２尤度算出部７２では、第１尤度算出部７１で取得された予測処理後のパーティクルの集合ｓｔ｜ｔ−１と、第２観測取得部１２から出力された第２の観測データ（実際の観測）とに基づいて、尤度（第２尤度）を算出する。
【０２７２】
なお、尤度は、各パーティクルの内部変数が示す画像領域内における、第２の観測データ、すなわち、物体検出画像の画素値の積算値とする。
【０２７３】
つまり、ｉ番目（１≦ｉ≦Ｍ）のパーティクルの場合、
ｓｔ｜ｔ−１（ｉ）＝（Ｘｔ（ｉ），Ｙｔ（ｉ），Ｗｔ（ｉ），Ｈｔ（ｉ））
であるので、画像上の位置（Ｘｔ（ｉ），Ｙｔ（ｉ））を中心とする、幅Ｗｔ（ｉ）、高さＨｔ（ｉ）である画像領域の物体検出画像の画素値の積算値を、ｉ番目のパーティクルの尤度ｗ２ａｔ（ｉ）とする。
【０２７４】
そして、第２尤度算出部７２により算出された尤度ｗ２ａｔ（第２尤度）は、尤度取得部３Ａに出力される。
【０２７５】
尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
【０２７６】
つまり、尤度取得部３Ａは、時刻ｔ３の事前確率分布ｐ（ｘｔ−１｜ｙｔ−１）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）に基づいて、第１尤度と第２尤度のどちらの尤度を選択するか決定する。
【０２７７】
具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、
Ｗｔ−１｜ｔ−１＿ａｖｅ＝Ｗｔ｜ｔ＿ａｖｅ＝２．３×Ｗ０
Ｈｔ−１｜ｔ−１＿ａｖｅ＝Ｈｔ｜ｔ＿ａｖｅ＝１．６×Ｈ０
であり、
２．３×Ｗ０×１．６×Ｈ０＝３．６８×Ｗ０×Ｈ０＞２×Ｗ０×Ｈ０
である。つまり、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさは、閾値Ｔｈ（＝２×ＷＯ×Ｈ０）よりも大きいので、尤度取得部３Ａは、第２尤度を選択する。
【０２７８】
そして、選択された第２尤度は、事後確率分布推定部４に出力される。
【０２７９】
事後確率分布推定部４では、第２尤度ｗ２ａｔ（ｉ）に比例する割合でＭ個のパーティクル（粒子）を復元抽出する（パーティクルｘａｔ（ｉ）を抽出する）。このようにして復元抽出されたＭ個のパーティクルの分布から、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔ、すなわち、
Ｓｔ｜ｔ＝｛ｓｔ｜ｔ（１），ｓｔ｜ｔ（２），・・・，ｓｔ｜ｔ（Ｍ）｝
を取得する。
【０２８０】
なお、（１）時刻ｔ３における事前確率分布に従うパーティクルの平均値が示す領域Ｒ＿ｂｅｆｏｒｅ＿ａｖｅと、（２）上記処理により取得された、予測後確率分布（予測処理後のパーティクルの集合ｓｔ｜ｔ−１に関するデータ）に従うパーティクルの平均値（Ｘｔ｜ｔ−１＿ａｖｅ，Ｙｔ｜ｔ−１＿ａｖｅ，Ｗｔ｜ｔ−１＿ａｖｅ，Ｈｔ｜ｔ−１＿ａｖｅ）を示す領域Ｒ＿ｐｒｅｄ＿ａｖｅとは、図８と同様である。
【０２８１】
また、上記処理により取得された、時刻ｔ３の事後確率分布ｐ（ｘｔ｜ｙｔ）に従って生成されたサンプル集合（パーティクルの集合）Ｓｔ｜ｔの平均値（Ｘｔ｜ｔ＿ａｖｅ，Ｙｔ｜ｔ＿ａｖｅ，Ｗｔ｜ｔ＿ａｖｅ，Ｈｔ｜ｔ＿ａｖｅ）を示す領域Ｒ＿ａｆｔｅｒ＿ａｖｅは、図８と同様である。
【０２８２】
以上の処理を継続させることで、状態推定システム２０００により、物体の追跡処理を行うことができる。
【０２８３】
このように、状態推定システム２０００では、観測取得部１により、複数の観測（観測データ）が取得され、尤度算出部７より、複数の観測のそれぞれに対して尤度が算出される。そして、状態推定システム２０００では、尤度算出部７により算出された複数の尤度の中から、追跡対象の状態（本実施形態では、物体の大きさ）に応じて、より適切な尤度が選択される。そして、状態推定システム２０００では、選択された尤度を用いて、リサンプリングが実行される。したがって、状態推定システム２０００では、追跡対象の状態が変化した場合であっても（本実施形態では、物体の大きさが変化した場合であっても）、適切な事後確率分布データを取得することができる。その結果、状態推定システム２０００では、観測対象の内部状態を適切に推定することができ、例えば、動画像上において、大きさが変化する物体や、大きさが異なる複数の物体を追跡する場合であっても、正確に物体を追跡することができる。
【０２８４】
≪変形例≫
次に、第２実施形態の変形例について、説明する。
【０２８５】
本変形例の状態推定システムは、第２実施形態の状態推定システム２０００と同様の構成を有している。
【０２８６】
第２実施形態の状態推定システム２０００では、尤度取得部３Ａが、第１尤度および第２尤度のいずれか一方を選択していたが、本変形例では、尤度取得部３Ａは、第１尤度および第２尤度を合成した合成尤度を取得し、取得した合成尤度を事後確率分布推定部４に出力する。本変形例において、この点のみが、第２実施形態と相違する。
【０２８７】
以下では、本変形例に特有の部分について、説明する。
【０２８８】
尤度取得部３Ａでは、事前確率分布出力部５から出力された事前確率分布データに基づいて、第１尤度と第２尤度とを合成する比率を決定する。
【０２８９】
具体的には、尤度取得部３Ａは、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の大きさをＡ１とし、第１観測取得部１１が検出対象としている画像領域の大きさ（幅Ｗ０×高さＨ０）をＤ１とし、第２観測取得部１２が検出対象としている画像領域の大きさ（２×幅Ｗ０×２×高さＨ０）Ｄ２とし、Ｄ１＜Ａ１＜Ｄ２であるとすると、
α＝（Ａ１―Ｄ１）／（Ｄ２−Ｄ１）
０≦α≦１
により、内分比αを取得する。そして、尤度取得部３Ａは、
（合成尤度）＝（第１尤度）×（１−α）＋（第２尤度）×α
により、合成尤度を算出し、算出した合成尤度を事後確率分布推定部４に出力する。
【０２９０】
このように、本変形例の状態推定システムでは、第１尤度と第２尤度とを重み付けして合成した合成尤度を用いて、リサンプリングが実行されるので、追跡対象の状態が急激に変化する場合であっても、適切な事後確率分布データを取得することができる。つまり、追跡対象の状態が急激に変化する場合、複数の観測のいずれかを選択して処理を行うと、選択対象が切り替わるときに、取得される事後確率分布データも急激に変化し、不自然な追跡処理になることがあるが、本変形例の状態推定システムでは、第１尤度と第２尤度とを重み付けして合成した合成尤度により処理が実行されるので、このような急激な変化があった場合であっても、取得される事後確率分布データが急激に変化することを適切に抑制できる。その結果、本変形例の状態推定システムでは、自然な追跡処理を実現することができる。
【０２９１】
なお、上記では、内分により合成尤度を算出する場合について説明したが、これに限定されることはなく、外分等の他の重み付けにより、合成尤度を取得するようにしてもよい。
【０２９２】
また、非線形な関数（例えば、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の幅および高さを変数とする非線形関数）により、合成尤度を取得するようにしてもよい。
【０２９３】
また、上記では、尤度算出部７で取得される尤度の数が２つである場合について、説明したが、これに限定されることはなく、尤度算出部７で取得される尤度の数は３以上であってもよい。
【０２９４】
［他の実施形態］
上記実施形態（変形例を含む）では、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理において、画像領域の面積に基づいて、閾値Ｔｈを設定する場合について、説明したがこれに限定されることはない。例えば、追跡対象の物体の高さＨと幅Ｗのアスペクト比が固定値である場合、閾値を幅または高さに基づいて、閾値を設定し、パーティクルの集合Ｓｔ−１｜ｔ−１の平均値（Ｘｔ−１｜ｔ−１＿ａｖｅ，Ｙｔ−１｜ｔ−１＿ａｖｅ，Ｗｔ−１｜ｔ−１＿ａｖｅ，Ｈｔ−１｜ｔ−１＿ａｖｅ）が示す画像領域の幅または高さを比較対象として、閾値処理することで、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理を実行するようにしてもよい。
【０２９５】
例えば、追跡対象の物体の高さＨと幅Ｗのアスペクト比がＨ：Ｗ＝１：２で固定である場合であって、第１観測データが幅１６画素である物体を最も顕著に検出する物体検出画像であり、第２観測データが幅３２画素である物体を最も顕著に検出する物体検出画像である場合、例えば、中間値の「２４」を閾値とする。そして、
（１）Ｗ≦２４のとき、第１観測データを選択し、
（２）Ｗ＞２４のとき、第２観測データを選択する
ことで、第１の観測データおよび第２観測データの選択処理を実行し、
（１）Ｗ≦２４のとき、第１尤度を選択し、
（２）Ｗ＞２４のとき、第２尤度を選択する
ことで、第１尤度および第２尤度の選択処理を実行するようにしてもよい。
【０２９６】
また、上記実施形態（変形例を含む）では、パーティクルの示す状態は、パーティクルの中心座標(Ｘ，Ｙ)と、座標（Ｘ，Ｙ）を中心とする幅Ｗ、高さＨとにより決定される矩形領域を示す状態ベクトル（Ｘ，Ｙ，Ｗ，Ｈ）を用いて処理を行う場合について説明したが、これに限定されることはない。例えば、パーティクルの示す状態は、例えば、パーティクルの中心座標(Ｘ，Ｙ)と、座標（Ｘ，Ｙ）を中心とする長軸２Ａ、短軸２Ｂとにより決定される楕円領域を示す状態ベクトル（Ｘ，Ｙ，Ａ，Ｂ）を用いて処理を行うようにしてもよい。
【０２９７】
また、上記実施形態（変形例を含む）では、尤度は、各パーティクルの内部変数が示す画像領域内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値としたが、これに限定されることはなく、例えば、各パーティクルの内部変数に基づいて、設定される画像領域（例えば、Ｗ×Ｈの画像領域より所定の割合だけ大きい画像領域等）内における、第１の観測データ、すなわち、物体検出画像の画素値の積算値、重み付け積算値（パーティクルの中心座標からの距離により重み付けした値の積算値）、平均値、重み付け平均値（パーティクルの中心座標からの距離により重み付けした値の平均値）等であってもよい。
【０２９８】
また、上記実施形態（変形例を含む）では、観測は、黄色物体に反応するような観測であったが、観測はこれによらず、例えば、ニューラルネットを用いた物体検出器で、異なる大きさの物体を検出するような複数の観測であってもよい。この場合、観測取得部１では、カメラから入力された画像がニューラルネットワークを用いた検出器に入力され、検出結果として検出信号がグレースケールの画像として出力され、この画像が、観測選択部２あるいは尤度算出部７の入力となる。そして、尤度を算出処理において、パーティクルの状態ベクトル(Ｘ，Ｙ，Ｗ，Ｈ)が示す領域を抽出し、抽出した領域内の上記グレー画像のすべての画素について画素値を加算することにより尤度を算出すればよい。
【０２９９】
また、上記実施形態（変形例を含む）では、大きさが変化する１つの物体を追跡する場合について説明したが、これに限定されることはなく、状態推定システムにおいて、大きさが変化する複数の物体を追跡する処理を実行するようにしてもよい。この場合、複数の追跡対象物体が占有する画像領域ごとに、第１の観測データおよび第２観測データの選択処理、あるいは、第１尤度および第２尤度の選択処理を実行し、上記と同様の処理を適用すればよい。
【０３００】
また、上記実施形態（変形例を含む）では、黄色の物体を追跡対象としたが、これに限定さされることはなく、追跡対象は、他の特徴を有するものであってもよい。
【０３０１】
黄色の物体を追跡対象とする場合、第１映像入力部１１１、第２映像入力部１２１で取得される画像（映像）の各画素のＲＧＢ値をＲ，Ｇ，Ｂ(各８ビット)とすると、たとえば、
Ｙｅ＝(２５５−Ｂ)×Ｒ×Ｇ／(１＋Ｒ＋Ｇ＋Ｂ)
により黄色度合いを検出し、検出した結果を物体検出画像とすればよい。
【０３０２】
また、他の色の物体を追跡対象とする場合、上記と同様に、当該他の色成分を抽出する処理を実行し、検出した結果を物体検出画像とすればよい。
【０３０３】
また、上記実施形態（変形例を含む）では、図３に示すように、第１観測取得部１１と第２観測取得部１２とが、それぞれ、映像入力部（第１映像入力部１１１と第２映像入力部１２１）を有する構成としたが、これに限定されることはなく、例えば、観測取得部１は、１つの映像入力部を有し、その映像入力部の出力が、第１物体検出部１１２および第２物体検出部１２２の入力となるように構成されるものであってもよい。
【０３０４】
また、第１実施形態の状態推定システムにおいて、観測取得部１を、図１０に示す観測取得部１Ａに置換し、観測選択部２を図１０に示す観測選択部２Ａに置換した構成としてもよい。
【０３０５】
この場合、図１０に示すように、観測取得部１Ａは、１つの映像入力とＮ個の物体検出部
とを備える。つまり、観測取得部１Ａは、映像入力部１１１Ａと、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎとを備える。
【０３０６】
そして、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎは、それぞれ、映像入力部１１１Ａが取得した動画像（動画像信号）を入力し、入力された動画像（動画像信号）から第１〜第Ｎの物体検出画像を取得し、取得した第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）を観測選択部２Ａに出力する。
【０３０７】
観測選択部２は、第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）の中から、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）に基づいて、複数の観測（観測データ）の中から１つの観測（観測データ）を選択する。
【０３０８】
以降の処理は、第１実施形態と同様である。このように、複数の観測データ（例えば、複数の物体検出結果画像）を用いて、第１実施形態と同様の処理を行うようにしてもよい。
【０３０９】
また、第２実施形態の状態推定システムにおいて、観測取得部１を、図１１に示す観測取得部１Ａに置換し、尤度算出部７を、図１１に示す尤度算出部７Ａに置換し、尤度取得部３Ａを、図１１に示す尤度取得部３Ｂに置換した構成としてもよい。
【０３１０】
この場合、図１１に示すように、観測取得部１Ａは、１つの映像入力とＮ個の物体検出部
とを備える。つまり、観測取得部１Ａは、映像入力部１１１Ａと、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎとを備える。
【０３１１】
そして、第１物体検出部１１２Ａ、第２物体検出部１１２Ｂ、・・・、第Ｎ物体検出部１１２Ｎは、それぞれ、映像入力部１１１Ａが取得した動画像（動画像信号）を入力し、入力された動画像（動画像信号）から第１〜第Ｎの物体検出画像を取得し、取得した第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）を尤度算出部７Ａに出力する。
【０３１２】
図１１に示すように、尤度算出部７Ａは、第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎを備える。
【０３１３】
尤度算出部７Ａの第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎは、それぞれ、第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）を入力し、第１〜第Ｎの物体検出画像（第１〜第Ｎの観測データ）に対して、上記実施形態で説明したのと同様の処理（上記実施形態で説明した第１尤度算出部７１等と同様の処理）を行い、第１〜第Ｎ尤度（第１〜第Ｎ尤度データ）を取得する。そして、第１尤度算出部７１Ａ、第２尤度算出部７１Ｂ、・・・、第Ｎ尤度算出部７１Ｎは、それぞれ、取得した第１〜第Ｎ尤度（第１〜第Ｎ尤度データ）を尤度取得部３Ｂに出力する。
【０３１４】
尤度取得部３Ｂは、事前確率分布出力部５から出力される事前確率分布（事前確率分布データ）に基づいて、複数の尤度（第１〜第Ｎ尤度）の中から１つの尤度（尤度データ）を選択する。
【０３１５】
以降の処理は、第２実施形態と同様である。このように、複数の観測データ（例えば、複数の物体検出画像）、複数の尤度（尤度データ）を用いて、第２実施形態と同様の処理を行うようにしてもよい。
【０３１６】
また、上記実施形態（変形例）および図１０、図１１に示した構成において、観測取得部（１、Ａ）を、図１２に示す観測取得部１Ｂに置換した構成にしてもよい。
【０３１７】
観測取得部１Ｂは、図１２に示すように、２つの映像入力部（第１映像入力部１１１Ａ、第２映像入力部１１１Ｂ）と、Ｎ個の物体検出部を備える。
【０３１８】
そして、図１２に示すように、第１映像入力部１１１Ａの出力は、第１〜第Ｋ物体検出部に入力され、第２映像入力部１１１Ｂの出力は、第Ｋ＋１〜第Ｎ物体検出部に入力される。
【０３１９】
このように、複数の映像入力部と、複数の物体検出部とを用いて、複数の観測データ（例えば、複数の物体検出画像）により、上記実施形態と同様の処理を適用するようにしてもよい。
【０３２０】
なお、映像入力部の数と、物体検出部の数とは、例えば、図１２に示すように、同じ数でなくてもよい。
【０３２１】
上記のように、複数の観測（複数の観測データ）、および／または、複数の尤度（複数の尤度データ）を用いて、上記実施形態（変形例も含む）と同様の処理を適用させることで、状態推定システムでは、より精度の高い状態推定（例えば、物体追跡処理）を実行することができる。例えば、状態推定システムにおいて、物体追跡処理を行う場合、第１〜第Ｎ物体検出部が、それぞれ、異なる大きさの物体の検出結果（物体検出画像）を取得し、その検出結果（物体検出画像）を用いて、処理を実行することで、より精度の高い物体追跡処理を実現することができる。
【０３２２】
また、状態推定システムにおいて、物体追跡処理を行う場合、第１〜第Ｎ物体検出部が、それぞれ、異なる大きさの物体の検出結果（物体検出画像）を取得し、その検出結果（物体検出画像）を用いて複数の尤度を取得し、取得した複数の尤度を用いて処理を実行することで、より精度の高い物体追跡処理を実現することができる。
【０３２３】
さらに、取得した複数の尤度を用いて、第２実施形態で説明したのと同様に、内分処理により、合成尤度を算出し、算出した合成尤度を用いて、第２実施形態と同様の処理を行うことで、より精度の高い物体追跡処理を実現することができる。
【０３２４】
また、上記実施形態で説明した状態推定システムにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【０３２５】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０３２６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０３２７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０３２８】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０３２９】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【０３３０】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０３３１】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０３３２】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０３３３】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【０３３４】
１０００、２０００  状態推定システム
１  観測取得部
１１  第１観測取得部
１２  第２観測取得部
２  観測選択部
３、３Ａ  尤度取得部
４  事後確率分布推定部
５  事前確率分布出力部
６  初期状態設定部
７  尤度算出部
７１  第１尤度算出部
７２  第２尤度算出部
【図１】
2014206907.tif 000005
【図２】
2014206907.tif 000006
【図９】
2014206907.tif 000007
【図１０】
2014206907.tif 000008
【図１１】
2014206907.tif 000009
【図１２】
2014206907.tif 000010
【図３】
2014206907.tif 000011
【図４】
2014206907.tif 000012
【図５】
2014206907.tif 000013
【図６】
2014206907.tif 000014
【図７】
2014206907.tif 000015
【図８】
2014206907.tif 000016