(57)【要約】【課題】追尾対象物の見かけ上の色が変化した場合にも精度の高い追尾処理を行えるようにする。【解決手段】時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、追尾対象の指定を受け付ける追尾対象物指定受付部と、指定された追尾対象の色を目標色として設定する目標色設定部と、パーティクルを用いて、パーティクル周辺の色と目標色との比較によって求められる色尤度の測定を行ない、色尤度が所定の基準を満たす場合には、その測定結果に基づいて画像データ中の追尾対象の領域を推定する一方、色尤度が所定の基準を満たさない場合には、パーティクルを用いて、時間差のある画像データ間の輝度差分によって求められる輝度尤度の測定を行ない、その測定結果に基づいて画像データ中の追尾対象の領域を推定し、推定された領域中の色で目標色を更新するパーティクルフィルタ処理部を備える。【選択図】図１
2010147560.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、前記測定された色尤度が所定の基準を満たす場合には、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定する一方、前記測定された色尤度が前記所定の基準を満たさない場合には、前記パーティクルを用いて、時間差のある画像データ間の輝度差分によって求められる輝度尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、推定された領域中の色で前記目標色を更新するパーティクルフィルタ処理手段と、
を備えたことを特徴とする目標追尾装置。
【請求項２】
請求項１に記載の目標追尾装置であって、
前記パーティクルフィルタ処理手段は、前記輝度尤度の測定を行う場合に、画像データ中のパーティクルの位置を固定して前記輝度尤度の測定を行なうことを特徴とする目標追尾装置。
【請求項３】
請求項１に記載の目標追尾装置であって、
前記パーティクルフィルタ処理手段は、前記輝度尤度の測定を行う場合に、パーティクルを画像データ内に分散再配置することを特徴とする目標追尾装置。
【請求項４】
時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
前記追尾対象に係る画像データ中の色の最新の色を追尾対象色として格納する追尾色格納手段と、
所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、前記測定された色尤度が所定の基準を満たす場合には、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定してその領域中の色を追尾対象色として前記追尾色格納手段に格納する一方、前記測定された色尤度が所定の基準を満たさない場合には、前記パーティクルを用いて、時間差のある画像データ間の輝度差分によって求められる輝度尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、推定された領域中に含まれる色について、その頻度に対して前記目標色と前記追尾色格納手段に格納された追尾対象色とを用いて評価を行ない、評価の最も高い色で前記目標色を更新するパーティクルフィルタ処理手段と、
を備えたことを特徴とする目標追尾装置。
【請求項５】
請求項４に記載の目標追尾装置であって、
前記パーティクルフィルタ処理手段が行なう評価は、前記目標色および前記追尾対象色との差が大きい色ほど前記頻度の評価が下がることを特徴とする目標追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置に関する。
【背景技術】
【０００２】
映像監視システムやテレビ会議システムに代表されるように、様々な状況下でカメラの撮影画像を利用するカメラシステムが実用化されている。このようなカメラシステムの中には、設定された目標物体を自動的に追尾して撮影領域を変更しながら撮影する追尾機能を備えたものがある。例えば、追尾機能を備えた映像監視システムでは、不審な人物が目標物体として設定されると、この人物を追尾して映像に収めながら撮影を続けることができる。また、追尾機能を備えたテレビ会議システムでは、設定された人物を追尾した会議画像を撮影することができる。
【０００３】
目標物体を追尾して画像を撮影する際には目標物体が撮影画角から外れないように、目標物体の移動に応じてカメラのパン、チルト、ズーム倍率等を制御する必要がある。これを実現するためには画像中の目標物体を認識して、その移動方向を検出しなければならない。
【０００４】
従来、画像中の目標物体を認識して、その移動方向を検出する方法として、輝度差分を利用する背景差分法やフレーム差分法が用いられてきたが、近年、特許文献１、非特許文献１等に記載されているようにパーティクルフィルタを適用した目標追尾技術が研究されている。
【０００５】
パーティクルフィルタは、事後確率を利用するベイズフィルタの近似計算法であり、有限個のパーティクルによって確率分布関数を表現し、それを用いて時系列の予測を行なうものである。すなわち、パーティクルフィルタはサンプリングに基づいた逐次モンテカルロ法といえ、時系列の分布をパーティクルの位置と重みによる集合表現で近似するため、ガウス分布で近似できないような分布でも追尾することが可能である。また、時系列の様々な特徴量を尤度として扱うことができるために応用範囲が広い。特に、特許文献１等にも記載されているように、目標物体の追尾に適用する場合には、目標物体の色を用いて尤度を測定することが行なわれている。この場合、目標物体の色に近い色の画素がパーティクルの近傍にどれだけ存在するかで尤度を測定し、測定結果に基づいて目標物体の位置を推定することができる。
【特許文献１】特開２００４−２８２５３５号公報
【非特許文献１】M.Isard, A.Blake : CONDENSATION ? Conditional Density Propagation for Visual Tracking, Int’ IJ. Computer Vision, vol. 28, No.1, pp.5-28(1998)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のように、パーティクルフィルタを用いた目標物体の追尾処理では、目標物体の色を設定し、その色に近い部分に配置されたパーティクルの尤度を高くすることで目標物体を追尾する。
【０００７】
しかしながら、カメラからの出力画像は目標物体の真の色ではなく、カメラによる調整、例えば、ホワイトバランス調整、露出調整等が施されることで見かけ上変化する。また、目標物体への光の当たり具合、影のかかり方等でも出力画像内の目標物体の見かけ上の色は変化する。特に屋外や、室内でも窓から日差しが入っているような光の変化が大きい環境の場合は、はじめに設定した目標物体の色で追尾を継続することが困難である。
【０００８】
特許文献１には、特定物体の色を再学習することで照明条件の変化等による物体色の変化に適応することが記載されているが、単に、フレームごとに特定物体の位置を予測しその領域の色を更新しているに過ぎず、見かけ上の色が変化した場合の追尾の精度を必ずしも高くするものではない。特に、見かけ上の色の急激な変化には対応することができない。
【０００９】
本発明は、このような状況を鑑みてなされたものであり、追尾対象物の見かけ上の色が変化した場合にも精度の高い追尾処理が行える目標追尾装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の第１の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、前記測定された色尤度が所定の基準を満たす場合には、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定する一方、前記測定された色尤度が前記所定の基準を満たさない場合には、前記パーティクルを用いて、時間差のある画像データ間の輝度差分によって求められる輝度尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、推定された領域中の色で前記目標色を更新するパーティクルフィルタ処理手段と、を備える。
【００１１】
このとき、前記パーティクルフィルタ処理手段は、前記輝度尤度の測定を行う場合に、画像データ中のパーティクルの位置を固定して前記輝度尤度の測定を行なうことができる。あるいは、前記パーティクルフィルタ処理手段は、前記輝度尤度の測定を行う場合に、パーティクルを画像データ内に分散再配置するようにしてもよい。
【００１２】
また、前記パーティクルフィルタ処理手段は、前記追尾対象の領域を推定すると、その領域中の色を追尾対象色として記憶し、前記輝度尤度の測定の際に、前記目標色と前記追尾対象色との差分を算出し、差分が所定の基準値以上であれば、パーティクルを画像データ内に分散再配置して前記輝度尤度の測定を行ない、差分が前記基準値未満であれば、画像データ中のパーティクルの位置を変更せずに前記輝度尤度の測定を行なうようにしてもよい。
【００１３】
上記課題を解決するため、本発明の第２の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、前記追尾対象に係る画像データ中の色の最新の色を追尾対象色として格納する追尾色格納手段と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、前記測定された色尤度が所定の基準を満たす場合には、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定してその領域中の色を追尾対象色として前記追尾色格納手段に格納する一方、前記測定された色尤度が所定の基準を満たさない場合には、前記パーティクルを用いて、時間差のある画像データ間の輝度差分によって求められる輝度尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、推定された領域中に含まれる色について、その頻度に対して前記目標色と前記追尾色格納手段に格納された追尾対象色とを用いて評価を行ない、評価の最も高い色で前記目標色を更新するパーティクルフィルタ処理手段と、を備える。
【００１４】
ここで、前記パーティクルフィルタ処理手段が行なう評価は、前記目標色および前記追尾対象色との差が大きい色ほど前記頻度の評価が下がるようにすることができる。
【発明を実施するための最良の形態】
【００１５】
［第１実施形態］
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１実施形態である目標追尾装置１００を含む目標追尾システム１０の構成を示すブロック図である。本図に示すように目標追尾システム１０は、目標追尾装置１００と、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００からの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０とを備えている。ただし、これらの装置を一体型として目標追尾システム１０を構成してもよい。
【００１６】
目標追尾装置１００は、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０と、追尾結果に基づいてカメラ２００を制御する制御信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の指定を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象物に応じた目標色を設定する目標色設定部１６０とを備えている。
【００１７】
パーティクルフィルタ処理部１３０は、パーティクルフィルタを用いた目標物の追尾処理を行なうために処理対象の画像データを３フレーム格納可能な画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、追尾対象物の見かけの色が変化して設定された目標色での追尾が困難になった場合に、時間差のある画像フレーム間の輝度差分により現在の追尾対象物の位置を推定し、その領域から取得される色に従って目標色を更新する目標色更新部１３３とを備えている。
【００１８】
なお、目標追尾装置１００は、ＣＰＵ、メモリ、入出力装置、通信処理装置等を備えた汎用的な情報処理装置を用いて構成することができる。パーソナルコンピュータ等の汎用的な情報処理装置は、上述の各機能部を構成するために開発されたプログラムを実行することで、目標追尾装置１００として機能することができる。もちろん目標追尾装置１００は専用装置として構成してもよい。
【００１９】
ここで、非特許文献１等に紹介されているパーティクルフィルタによる画像追尾アルゴリズムについて簡単に説明する。画像追尾アルゴリズムであるパーティクルフィルタは、時刻ｔにおける画像フレーム中の目標物体の位置の推定量である事後確率密度
【数１】
2010147560.tif 000003
を、状態χの重みπのＮ個の組から成るパーティクル群
【数２】
2010147560.tif 000004
により近似することで、目標物体を追尾する方法である。ここで、時刻ｔにおける画像フレーム中のｉ番目のパーティクルの状態量
【数３】
2010147560.tif 000005
は、その尤度である重みを示している。
【００２０】
時刻ｔにおいて画像フレームから尤度の観測値ztが得られると、追尾対象の状態xtを確率変数とする確率密度は、上記の事後確率密度［数１］として表わされる。この［数１］は、ベイズの法則を用いて以下のように表わすことができる。
【数４】
2010147560.tif 000006
ここで、αは正規化のための定数である。
【００２１】
非特許文献１に示されているCondensationアルゴリズムは、各フレームに対して対象物体を追跡する処理を、Select（選択）、Predict（予測）、Measure（測定）の３つのステップに分けて繰り返し実行している。
【００２２】
具体的には、選択ステップでは、対象物体の周辺にパーティクルを分散して配置し、各パーティクルで尤度を測定して、尤度が高い順番で尤度の高さに比例する確率でＮ個のパーティクルを選択する。予測ステップでは、選択ステップで選ばれた尤度の高いパーティクルをランダムに分散させて再配置する。測定ステップでは、各パーティクルについて近傍にどれだけ目標物体と近似した色の画素があるかを計算し、それをパーティクルの尤度とする。そして、すべてのパーティクルの尤度の重み付け平均により目標物体の位置を推定する。
【００２３】
本実施形態における目標追尾装置１００は、このようなアルゴリズムのパーティクルフィルタ処理の目標物追尾性能を向上するものであり、以下に説明する処理を行なう。ただし、本発明はパーティクルフィルタを用いた画像追尾処理であれば、上述のアルゴリズムには限定されず、種々の変形アルゴリズムに適用することができる。
【００２４】
図２は、目標追尾装置１００の処理の流れを説明するフローチャートである。目標追尾装置１００は、カメラ２００が出力する画像信号をフレーム単位で入力する（Ｓ１０１）。目標追尾装置１００は、入力された画像信号を表示部１２０に映像として逐次表示し、追尾対象物が指定されるのを待つ（Ｓ１０２）。この状態で、監視者は、画像中の追尾対象としたい目標物体を指定することができる。
【００２５】
追尾対象物の指定受け付けは、例えば、マウス、ポインタ等の入力装置を介して、表示部１２０に表示されている追尾対象物に対応する領域の指示を監視者から受け付けることで行なうことができる。また、表示部１２０をタッチパネル式の表示装置で構成し、監視者からのタッチを認識することで指定を受け付けるようにしてもよい。あるいは、その他の外部装置等を介して追尾対象物の指定を受け付けるようにしてもよい。
【００２６】
追尾対象の指定を受け付けると（Ｓ１０２：Ｙｅｓ）、目標色設定部１６０は、画像フレーム中の指定を受け付けた領域に対応する画素の色を取得し、目標色として設定する（Ｓ１０３）。目標色は、指定された領域の単一画素のＲＧＢ値に基づいて設定してもよいし、複数画素のＲＧＢ平均値等に基づいて設定してもよい。目標色を設定すると目標色格納部１３２に記録する。また、画像フレームを画像格納部１３１に１フレーム記録する。
【００２７】
本実施形態で、パーティクルフィルタ処理部１３０は、目標色とパーティクル位置の色の尤度の算出を色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）とで表現するＨＳＶ色空間上で処理を行なうため、目標色を設定する際に、ＲＧＢ色空間をＨＳＶ色空間に変換する。ただし、ＲＧＢ色空間のまま処理を行なったり、ＹＵＶ色空間等で処理を行なうようにしてもよい。そして、逐次入力される画像フレーム中の追尾対象物を認識してカメラ２００を制御する目標追尾処理を行なう（Ｓ１０４）。
【００２８】
ここで、本実施形態における目標追尾処理について詳細に説明する。本実施形態では、追尾対象物の見かけの色の変化により目標色での追尾が困難になった場合に、時間差のある画像フレーム間の輝度差分により動きを検出することで追尾対象物の位置を推定し、その領域から取得される色を新たな目標色として更新し、目標色を用いた目標追尾処理を再開継続する。
【００２９】
図３は、目標追尾処理について説明するためのフローチャートである。上述のように本発明は、図３のフローチャートに示したパーティクルフィルタアルゴリズムには限定されない。また、図４は、目標追尾処理における画像フレームとパーティクルの具体例を示す図である。図４の例では、追尾対象として人物の顔が指定され、顔の色が目標色として設定されているものとする。
【００３０】
図２における処理Ｓ１０２で追尾対象物の指定を受け付けた初期状態の画像フレームを対象に、パーティクルフィルタ処理部１３０は、追尾対象として指定された領域付近にパーティクルを生成する（Ｓ２０１）。生成するパーティクルの数による追尾の精度と処理速度とはトレードオフの関係となる。図４（ａ）は、追尾対象である人物の顔付近に生成された多数のパーティクルを示している。
【００３１】
次いで、生成された各パーティクルを、所定の規則にしたがって移動させる（Ｓ２０２）。ここで、追尾対象物の運動方向が予測可能な場合には、予測される移動方向に応じてパーティクルの移動方向を決めることができる。本実施形態では追尾対象物は主として監視画像中の不審人物を想定しており、運動ダイナミクスはランダムと仮定される。このため、各パーティクルは標準正規分布する乱数により距離を決められて移動する。この結果、図４（ｂ）に示すように、人物の顔を中心にパーティクルが分散することになる。
【００３２】
そして、次の画像フレームを入力する（Ｓ２０３）。この画像フレームが追尾対象物の移動等を検出する処理対象の画像フレームとなる。図４（ｃ）は、分散したパーティクルに対して次の画像フレームが入力された場合の様子を示している。入力された画像フレームでは、追尾対象物が右方向に移動している。各パーティクルは、処理対象の画像フレームにおいて、それぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう（Ｓ２０４）。このとき、例えば、矩形領域内のＨＳＶヒストグラムを作成して目標色との類似度を算出して尤度を測定することができる。図４（ｄ）の黒いパーティクルは尤度の高いパーティクルを示している。
【００３３】
ここで、追尾対象物が日陰に入ったり、光源や環境が変化したりした場合等に追尾対象の見かけの色が大きく変化することがある。このような場合、各パーティクルの尤度が低くなり、尤度の高いパーティクルが十分存在しなくなる可能性がある。尤度の高いパーティクルの数が少ないと、目標色を用いた目標追尾の精度が低下してしまうおそれがある。
【００３４】
そこで、本実施形態では、目標色を用いた目標追尾の精度を確保するために、尤度の高いパーティクルが十分存在しているかどうかを確認するようにしている（Ｓ２０５）。ここで、尤度の高いパーティクルが十分存在しているかどうかの確認は、例えば、所定の基準尤度以上のパーティクルの割合が２０%以上であれば、尤度の高いパーティクルが十分存在していると判定するようにすることができる。もちろん、基準尤度、基準割合は適宜設定することができる。
【００３５】
その結果、尤度の高いパーティクルが十分存在していると判定した場合（Ｓ２０５：Ｙｅｓ）には、精度の高い目標色を用いた目標追尾が可能であるため、各パーティクルの尤度の重み付け平均を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定する（Ｓ２０６）。本例では、図４（ｄ）の黒いパーティクルを含む領域が追尾対象物の領域として推定されることになる。
【００３６】
そして、追尾対象物の領域として推定された領域をカメラ２００の画角内に収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ２０７）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、追尾対象物を追尾することができる。なお、カメラ２００の画角等を変化させた場合は、画角の変化等に伴う画像中における追尾対象物の相対的移動量を考慮して以降の画像フレームの処理を行なう。具体的には、パーティクルと追尾対象物との相対位置関係が保持されるようにパーティクルの位置を調整する。この処理は従来の技術を用いることができる。
【００３７】
そして、測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる（Ｓ２０８）。この結果、図４（ｅ）に示すようにパーティクルは追尾対象物に集まってくることになる。
【００３８】
その後、次画像フレームに対する同様の処理を目標追尾処理が終了するまで（Ｓ２０９）、追尾対象物に集まったパーティクルを、再度分散させる処理（Ｓ２０２）以降の一連の処理を繰り返す。なお、目標追尾処理の終了判断基準は、例えば、追尾対象物がカメラ２００の追尾範囲から外れた場合、監視者からの終了指示があった場合等とすることができる。
【００３９】
一方、処理Ｓ２０５で、尤度の高いパーティクルが十分存在していないと判定した場合（Ｓ２０５：Ｎｏ）には、追尾対象物の見かけの色が大きく変化したこと等が考えられ、現在の目標色を用いた目標追尾を継続すると、目標追尾の精度が低下してしまうおそれがある。このため、目標色の更新を行なう（Ｓ２１０）。
【００４０】
ここで、本実施形態における特徴的な処理である目標色更新処理について説明する。まず、目標色更新処理の概要について説明する。目標色更新処理は、目標色格納部１３２に設定されている目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合に行なう。目標色更新処理では、各パーティクルの尤度の測定対象を前後のフレーム間の輝度差に切り替えることで、フレーム間で動きのあった領域を検出する。そして、動きのあった領域を追尾対象物の位置と推定して、その領域の色を新たな目標色として設定して、目標色格納部１３２を更新する。その後、新たに設定された目標色により目標色を対象とした目標追尾を再開する。
【００４１】
なお、本実施形態では、各パーティクルの位置は変更せずに、その位置のまま、輝度差を対象とした尤度を測定するものとする。これにより、連続的に移動する追尾対象物を認識しやすくすることができる。
【００４２】
次に、目標色更新処理の具体的な処理手順について図５のフローチャートを参照して説明する。本実施形態では、目標追尾処理において設定されている目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合（図３：Ｓ２０５：Ｎｏ）に目標色更新処理を行なう（Ｓ２１０）。目標色更新処理では、まず、カメラ制御信号出力部１４０が、カメラ２００のパン、チルト、ズーム等の制御を停止する（図５：Ｓ３０１）。すなわち、画角を一定に保つようにする。
【００４３】
そして、停止した後の第１画像フレームを入力し、画像格納部１３１に格納する（Ｓ３０２）。次いで、第２画像フレームを入力し、画像格納部１３１に格納する（Ｓ３０３）。さらに、第３画像フレームを入力し、画像格納部１３１に格納する（Ｓ３０４）。ここで、第１画像フレームと第２画像フレーム、また、第２画像フレームと第３画像フレームは、前後関係が保たれていれば足り、時間方向に連続した画像フレームでもよいし、数フレーム分空いた画像フレームであってもよい。これらは、追尾対象の動きの速さや、ＣＰＵなどの計算リソースに応じて適宜決めることができる。
【００４４】
ここでは、時間軸で連続した３つの画像フレームを使用するものとする。この時点で画像格納部１３１には、連続した第１画像フレームから第３画像フレームまでの３つの画像フレームが格納されていることになる。
【００４５】
図６（ａ）〜（ｃ）は、第１画像フレーム〜第３画像フレームの例を示す図である。この例では、人物の顔が左から右に動いている様子が示されている。また、本図に表示されているパーティクルは、目標色更新処理を行なう直前の標追尾処理において配置されたパーティクルであり、第１画像フレーム〜第３画像フレームで同じ位置を保つようにする。
【００４６】
次に、この３つの画像フレームを用いて、連続する画像フレーム同士の輝度差による尤度を測定する（Ｓ３０５）。輝度差による尤度の測定では、まず、図７（ａ）に示すように、第１画像フレームと第２画像フレームとにおいて、同じパーティクルの近傍の画素、例えば、パーティクルを中心とした所定矩形領域内の画素についてそれぞれ輝度を測定し、第１画像フレームと第２画像フレームとで輝度の差分が大きい画素の割合を算出し、その結果をそれぞれのパーティクルの尤度Ｙ１とする測定を行なう。このため、第１画像フレームと第２画像フレームとで変化のあった領域のパーティクルは尤度Ｙ１が高くなる。図７（ａ）において、色の濃いパーティクルは尤度の高いパーティクルを示している。
【００４７】
次に、図７（ｂ）に示すように、第２画像フレームと第３画像フレームとにおいて、同様に輝度差を用いた尤度Ｙ２の測定を行なう。図７（ｂ）において、色の濃いパーティクルは尤度Ｙ２の高いパーティクルを示している。
【００４８】
そして、図８に示すように、各パーティクルにおいて、尤度Ｙ１と尤度Ｙ２の値のＡＮＤをとることにより、最終的なパーティクルの尤度ＹＤを求める。この結果、第１画像フレーム〜第３画像フレームで動きがあった領域のパーティクルは、尤度ＹＤが高くなる。このため、尤度ＹＤの高いパーティクルが含まれる領域に追尾対象物が存在していると推定することができる。図８において、色の濃いパーティクルは尤度ＹDの高いパーティクルを示している。
【００４９】
ここで、画像フレーム間で動きの変化が少ない場合には、輝度差に基づく各パーティクルの尤度が低くなり、尤度の高いパーティクルが十分存在しなくなる。そこで、輝度差に基づく尤度の高いパーティクルが十分存在しているかどうかを確認する（Ｓ３０６）。ここで、尤度の高いパーティクルが十分存在しているかどうかの確認は、例えば、所定の基準尤度以上のパーティクルの割合が２０%以上であれば、尤度の高いパーティクルが十分存在していると判定するようにすることができる。もちろん、基準尤度、基準割合は適宜設定することができる。
【００５０】
輝度差分に基づく尤度が高いパーティクルが十分存在していれば（Ｓ３０６：Ｙｅｓ）、第２画像フレームを対象として、尤度ＹＤの高いパーティクルの色成分のヒストグラムを作成して、色の頻度の評価を行なう（Ｓ３０７）。そして、最も頻度の多い色を追尾対象物の現在の色と推定して目標色格納部１３２を更新する（Ｓ３０８）。その後は、更新された目標色を対象としてパーティクルの尤度を用いた目標追尾処理に戻る。
【００５１】
一方、輝度差分による尤度が高いパーティクルが十分存在していない場合には（Ｓ３０６：Ｎｏ）、第１画像フレームから第３画像フレームの間で追尾対象物が物陰に隠れていたり、動いていない状況が考えられる。そこで、以降の画像フレームを用いて動きを検出するために、以下の処理を行なう。
【００５２】
まず、比較的尤度が高いパーティクルの位置にパーティクルを移動させる（Ｓ３０９）。そして、格納されている第２画像フレームを第１画像フレームに、第３画像フレームを第２画像フレームにスライドさせ（Ｓ３１０）、新たな画像フレームを第３画像フレームとして入力する（Ｓ３０４）。
【００５３】
これらの画像フレームを用いて、輝度差を用いた尤度測定を再度行なう（Ｓ３０５）。尤度が高いパーティクルが十分多くなるまでこれらの処理を繰り返すことで、動きによって追尾対象物体を特定し、その色を新たな目標色に更新することができるようになる。
【００５４】
これにより、光源の変化によるホワイトバランスの変化、周囲の環境変化、露出の変化による明るさの変化等により追尾対象物の見かけ上の色が変化した場合でも、追尾処理の精度を高めることができるようになる。特に、撮影対象の明るさが急に変わる等で、現在設定されている目標色による追尾が困難になった場合に、追尾対象の現在の見かけの色で目標色を更新することができるため、追尾を継続することができる。
【００５５】
なお、上述した実施形態においては、目標追尾装置１００は、表示部１２０に表示された画像中の追尾対象物を追尾対象物指定受付部１５０により受け付ける構成としたが、不図示の制御部による動き検出処理や色検出処理等の結果に基づき、自動的に追尾対象物の位置を指定するようにしてもよい。このようにした場合は、表示部１２０及び追尾対象物指定受付部１５０を省くことができる。さらには、自動追尾の開始時に手動による追尾目標の指定に変えて、この目標色更新部１３３を利用して、追尾物体の動きにより目標色を設定することができるため、自動的に動く物体を追尾目標とする追尾処理を開始する構成とすることもできる。
【００５６】
［第２実施形態］
次に、第２実施形態について説明する。図９は、第２実施形態である目標追尾装置１００ａを含む目標追尾システム１０ａの構成を示すブロック図である。本図に示すように目標追尾システム１０ａは、目標追尾装置１００ａと、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００ａからの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０とを備えている。
【００５７】
カメラ２００および制御装置２１０は、第１実施形態と同じ構成とすることができる。また、目標追尾装置１００ａも、第１実施形態における目標追尾装置１００とほぼ同じ構成とすることができる。このため、同じ機能部、処理については同じ符号を付して説明を簡略化し、ここでは第１実施形態との相違点を中心に説明する。
【００５８】
第１実施形態と同様に目標追尾装置１００ａは、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０ａと、追尾結果に基づいてカメラ２００を制御する制御信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の指定を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象物に応じた目標色を設定する目標色設定部１６０とを備えている。
【００５９】
パーティクルフィルタ処理部１３０ａは、パーティクルフィルタを用いた目標物の追尾処理を行なうために処理対象の画像データを３フレーム格納可能な画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、追尾対象物の見かけの色変化によって設定された目標色での追尾が困難になった場合に、時間差のある画像フレーム間の輝度差分により現在の追尾対象物の位置を特定し、その領域から取得される色に従って目標色を更新する目標色更新部１３３ａとを備えている。
【００６０】
第２実施形態における目標追尾装置１００ａの処理の流れは、図２に示した第１実施形態における処理の流れと同様とすることができる。すなわち、カメラ２００が出力する画像信号をフレーム単位で入力し（Ｓ１０１）、画像信号を表示しながら追尾対象物が指定されるのを待つ（Ｓ１０２）。追尾対象の指定を受け付けると（Ｓ１０２：Ｙｅｓ）、目標色を設定する（Ｓ１０３）。そして、目標追尾処理を行なう（Ｓ１０４）。
【００６１】
第２実施形態における目標追尾処理は、図３に示した第１実施形態における目標追尾処理と同様とすることができる。すなわち、追尾対象として指定された領域付近にパーティクルを生成し（Ｓ２０１）、所定の規則にしたがって移動させる（Ｓ２０２）。そして、次の画像フレームを入力し（Ｓ２０３）、パーティクルの尤度の測定を行なう（Ｓ２０４）。次いで、目標色を用いた目標追尾の精度を確保するために、尤度の高いパーティクルが十分存在しているかどうかを確認する（Ｓ２０５）。尤度の高いパーティクルが十分存在している場合（Ｓ２０５：Ｙｅｓ）には、追尾対象物の領域を推定する（Ｓ２０６）。そして、追尾対象物をカメラ２００の画角内に収まらせるための制御信号を出力する（Ｓ２０７）。その後、パーティクルを集約させて（Ｓ２０８）、目標追尾処理を継続する。
【００６２】
一方、尤度の高いパーティクルが十分存在していない場合（Ｓ２０５：Ｎｏ）には、目標色の更新を行なう（Ｓ２１０）。
【００６３】
ここで、第２実施形態における特徴的な処理である目標色更新処理について説明する。第２実施形態においても、目標色更新処理は、目標色格納部１３２に設定されている目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合に行なう。目標色更新処理では、各パーティクルの尤度の測定対象を前後のフレーム間の輝度差に切り替えることで、フレーム間で動きのあった領域を検出する。そして、動きのあった領域を追尾対象物の位置と推定して、その領域の色を新たな目標色として設定して、目標色格納部１３２を更新する。その後、新たに設定された目標色により目標色を対象とした目標追尾を再開する。
【００６４】
なお、第２実施形態では、各パーティクルの位置を画面内に分散配置し、輝度差を対象とした尤度を測定するものとする。これにより、例えば、追尾対象物が物陰に隠れた後、別の場所から現れる場合等に、追尾対象物を認識しやすくすることができる。
【００６５】
図１０は、第２実施形態における目標色更新処理を説明するためのフローチャートである。本実施形態においても、目標追尾処理において設定されている目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合（図３：Ｓ２０５：Ｎｏ）に目標色更新処理を行なう（Ｓ２１０）。目標色更新処理では、まず、カメラ制御信号出力部１４０が、カメラ２００のパン、チルト、ズーム等の制御を停止する（図１０：Ｓ４０１）。すなわち、画角を一定に保つようにする。
【００６６】
第１実施形態では、各パーティクルの位置を変更せずに輝度差を対象とした尤度を測定したが、第２実施形態では、パーティクルを画面内に分散させる（Ｓ４０２）。パーティクルの分散は種々の形態を用いることができる。
【００６７】
例えば、図１１（ａ）に示すように、パーティクルを画面全体に均等に分散させるようにすることができる。なお、本図は、追尾対象物Ｏｂｊ１が、遮蔽物Ｏｂｊ２に隠れて目標色を用いた追尾が困難になっている状況を示している。また、図１１（ｂ）に示すように、元のパーティクル集合の重心、あるいは、画像フレームの中心から同心円上に分散させるようにしてもよい。さらには、図１１（ｃ）に示すように放射線状に規則的に分散させるようにしてもよい。また、処理Ｓ２０２で説明したパーティクル分散のアルゴリズムにおける分散量を拡大して、不規則的に分散させてもよい。この時、拡大率を１、すなわち元のままの位置で分散したとみなしてもよい。もしくは、追尾対象物Ｏｂｊ１が画面から外れるケースに対応するために、画面の辺上のみに均等に分散させてもよい。
【００６８】
その後は、第１実施形態と同様に、停止した後の第１画像フレームを入力し画像格納部１３１に格納する（Ｓ４０３）。次いで、第２画像フレームを入力し、画像格納部１３１に格納する（Ｓ４０４）。さらに、第３画像フレームを入力し、画像格納部１３１に格納する（Ｓ４０５）。
【００６９】
次に、この３つの画像フレームを用いて、連続する画像フレーム同士の輝度差による尤度を測定し（Ｓ４０６）、輝度差に基づく尤度の高いパーティクルが十分存在しているかどうかを確認する（Ｓ４０７）。
【００７０】
輝度差分に基づく尤度が高いパーティクルが十分存在していれば（Ｓ４０７：Ｙｅｓ）、第２画像フレームを対象として、尤度ＹＤの高いパーティクルの色成分のヒストグラムを作成して、色の頻度の評価を行なう（Ｓ４０８）。
【００７１】
図１２は、追尾対象物Ｏｂｊ１が遮蔽物Ｏｂｊ２の反対側から出てきたときの様子を示している。この場合、追尾対象物Ｏｂｊ１の領域で動きが検出されるため、輝度差分に基づく尤度が高くなる。ここで、尤度が高いパーティクルは黒塗りで表わしている。
【００７２】
そして、最も頻度の多い色を追尾対象物の現在の色と推定して目標色格納部１３２を更新する（Ｓ４０９）。その後は、更新された目標色を対象としてパーティクルの尤度を用いた目標追尾処理に戻る。
【００７３】
一方、輝度差分による尤度が高いパーティクルが十分存在していない場合には（Ｓ４０７：Ｎｏ）、比較的尤度が高いパーティクルの位置にパーティクルを移動させる（Ｓ４１０）。そして、格納されている第２画像フレームを第１画像フレームに、第３画像フレームを第２画像フレームにスライドさせ（Ｓ４１１）、新たな画像フレームを第３画像フレームとして入力する（Ｓ４０５）。
【００７４】
これらの画像フレームを用いて、輝度差を用いた尤度測定を再度行なう（Ｓ４０６）。尤度が高いパーティクルが十分多くなるまでこれらの処理を繰り返すことで、動きによって追尾対象物体を特定し、その色を新たな目標色に更新することができるようになる。
【００７５】
このように、第２実施形態によれば、追尾対象物が物陰に隠れ、また現れるような移動を行なうなどして現在設定されている目標色による追尾が困難になった場合にも、自動的に追尾対象の現在の見かけの色で目標色を更新することができるため、目標追尾を高精度で継続することができる。
【００７６】
［第３実施形態］
次に、第３実施形態について説明する。図１３は、第３実施形態である目標追尾装置１００ｂを含む目標追尾システム１０ｂの構成を示すブロック図である。本図に示すように目標追尾システム１０ｂは、目標追尾装置１００ｂと、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００ｂからの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０とを備えている。
【００７７】
カメラ２００および制御装置２１０は、第１実施形態と同じ構成とすることができる。また、目標追尾装置１００ｂも、第１実施形態における目標追尾装置１００とほぼ同じ構成とすることができる。このため、同じ機能部、処理については同じ符号を付して説明を簡略化し、ここでは第１実施形態との相違点を中心に説明する。
【００７８】
第１実施形態と同様に目標追尾装置１００ｂは、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０ｂと、追尾結果に基づいてカメラ２００を制御する制御信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の指定を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象物に応じた目標色を設定する目標色設定部１６０とを備えている。
【００７９】
パーティクルフィルタ処理部１３０ｂは、パーティクルフィルタを用いた目標物の追尾処理を行なうために処理対象の画像データを３フレーム格納可能な画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、追尾対象物の見かけの色変化によって設定された目標色での追尾が困難になった場合に、時間差のある画像フレーム間の輝度差分により現在の追尾対象物の位置を特定し、その領域から取得される色に従って目標色を更新する目標色更新部１３３ｂと、追尾対象物の最新の色情報を格納する追尾色格納部１３４とを備えている。
【００８０】
第３実施形態における目標追尾装置１００ｂの処理の流れは、図２に示した第１実施形態における処理の流れと同様とすることができる。すなわち、カメラ２００が出力する画像信号をフレーム単位で入力し（Ｓ１０１）、画像信号を表示しながら追尾対象物が指定されるのを待つ（Ｓ１０２）。追尾対象の指定を受け付けると（Ｓ１０２：Ｙｅｓ）、目標色を設定する（Ｓ１０３）。そして、目標追尾処理を行なう（Ｓ１０４）。
【００８１】
第３実施形態における目標追尾処理は、目標色での追尾中に、追尾対象物が遮蔽物に隠れるなどして目標色での追尾が困難になった場合に、第２実施形態と同様にパーティクルを画面全体に配置するのに加え、輝度差分だけでなく、目標色で追尾していたときの最新の色情報で重み付けした尤度を用いて得られた色を目標色として更新する。
【００８２】
図１４のフローチャートを参照して第３実施形態における目標追尾処理について説明する。まず、第１実施形態と同様に、追尾対象として指定された領域付近にパーティクルを生成し（Ｓ５０１）、所定の規則にしたがって移動させる（Ｓ５０２）。そして、次の画像フレームを入力し（Ｓ５０３）、パーティクルの尤度の測定を行なう（Ｓ５０４）。次いで、目標色を用いた目標追尾の精度を確保するために、尤度の高いパーティクルが十分存在しているかどうかを確認する（Ｓ５０５）。尤度の高いパーティクルが十分存在している場合（Ｓ５０５：Ｙｅｓ）には、追尾対象物の領域を推定する（Ｓ５０６）。
【００８３】
その後、第３実施形態では、色尤度の高いパーティクルの色成分のヒストグラムを作成し、最も頻度の多い色を追尾色格納部１３４に格納する（Ｓ５０７）。このため、追尾色格納部１３４は、パーティクルフィルタ処理が行われるたびに更新される。すなわち、追尾対象物の最新の色情報が格納されることになる。
【００８４】
そして、追尾対象物をカメラ２００の画角内に収まらせるための制御信号を出力する（Ｓ５０８）。その後、パーティクルを集約させて（Ｓ５０９）、目標追尾処理を継続する。
【００８５】
一方、尤度の高いパーティクルが十分存在していない場合（Ｓ５０５：Ｎｏ）には、目標色の更新を行なう（Ｓ５１１）。
【００８６】
ここで、第３実施形態における特徴的な処理である目標色更新処理について説明する。第３実施形態においても、目標色更新処理は、目標色格納部１３２に設定されている目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合に行なう。目標色更新処理では、各パーティクルの尤度の測定対象を前後のフレーム間の輝度差に切り替えることで、フレーム間で動きのあった領域を検出する。そして、動きのあった領域を追尾対象物の位置と推定して、その領域から取得される色を新たな目標色として設定して、目標色格納部１３２を更新する。この際に、目標色として設定されている色情報と、追尾対象物の最新の色情報とに基づいて新たな目標色を設定する。すなわち、動きのあった領域から取得される色のうち目標色および追尾対象物の最新の色情報により近い色が新たな目標色として設定されやすくなる。このため、目標追尾の精度をより高めることができる。その後、新たに設定された目標色により、目標色を対象とした目標追尾を再開する。
【００８７】
なお、第３実施形態でも第２実施形態と同様に、各パーティクルの位置を画面内に分散配置し、輝度差を対象とした尤度を測定するものとする。これにより、例えば、追尾対象物が物陰に隠れた後、別の場所から現れる場合等に、追尾対象物を認識しやすくすることができる。
【００８８】
図１５は、第３実施形態における目標色更新処理を説明するためのフローチャートである。本実施形態においても、目標追尾処理において設定されている目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合（図１４：Ｓ５０５：Ｎｏ）に目標色更新処理を行なう（Ｓ５５１）。目標色更新処理では、まず、カメラ制御信号出力部１４０が、カメラ２００のパン、チルト、ズーム等の制御を停止する（図１５：Ｓ６０１）。すなわち、画角を一定に保つようにする。
【００８９】
第３実施形態では、第２実施形態と同様に、パーティクルを画面内に分散させる（Ｓ６０２）。パーティクルの分散は種々の形態を用いることができる。そして、停止した後の第１画像フレームを入力し、画像格納部１３１に格納する（Ｓ６０３）。次いで、第２画像フレームを入力し、画像格納部１３１に格納する（Ｓ６０４）。さらに、第３画像フレームを入力し、画像格納部１３１に格納する（Ｓ６０５）。
【００９０】
次に、この３つの画像フレームを用いて、連続する画像フレーム同士の輝度差による尤度を測定し（Ｓ６０６）、輝度差に基づく尤度の高いパーティクルが十分存在しているかどうかを確認する（Ｓ６０７）。
【００９１】
輝度差分に基づく尤度が高いパーティクルが十分存在していれば（Ｓ６０７：Ｙｅｓ）、尤度が高いパーティクルについて、目標色格納部１３２に格納された目標色と、追尾色格納部１３４に格納された追尾対象物の最新の色と、パーティクルの色情報により尤度を測定する（Ｓ６０８）。
【００９２】
ここで、色情報により尤度を測定する方法について説明する。まず、尤度が高いパーティクルの色情報の色相（Ｈ）を用いて、図１６（ａ）に示すようなヒストグラムを作成する。横軸は色相（Ｈ）の値を示し、縦軸は頻度を示している。色相におけるＨ１は、追尾色格納部１３４に格納された追尾対象物の最新の色の色相を示し、Ｈ２は、目標色格納部１３２に格納された目標色の色相を示している。
【００９３】
そして、図１６（ｂ）に示すように、μ（平均）をＨ１およびＨ２とした正規分布曲線Ｎ１とＮ２とを描く。本図において、Ｎ１の頂点をＴ１とし、Ｎ２の頂点をＴ２とする。
【００９４】
なお、正規分布曲線は、μ（平均）およびσ2（標準偏差）の２つのパラメータを決定することで、形状が一意に定まる曲線である。Ｎ１、Ｎ２の正規分布曲線を決定する際、μ（平均）は、上述のようにＨ１とＨ２とで固定するが、σ2（標準偏差）は、種々の値を採用することができる。σ2（標準偏差）を大きくとれば水平方向の広がりが大きくなり、ピークの高さが低い形状となる。逆にσ2（標準偏差）を小さくすれば水平方向の広がりが小さくなり、ピークの高さが高い形状となる。
【００９５】
また、頻度方向の値を定数倍して、正規分布曲線の高さを演算によって変更してもよい。あるいは度数方向に定数値を加算して、正規分布曲線の高さにオフセットを設けてもよい。これらの演算による効果の違いは後述する。
【００９６】
次に、図１７（ａ）に示すように、正規分布曲線Ｎ１の頂点Ｔ１と、正規分布曲線Ｎ２の頂点Ｔ２とを結ぶ線分を描き、正規分布曲線Ｎ１と正規分布曲線Ｎ２と直線Ｔ１−Ｔ２とで形成されるアウトラインの曲線Ｎ３を生成する。そして、図１７（ｂ）に示すように、ヒストグラムの頻度が、このアウトライン曲線Ｎ３の範囲内に収まるようにアウトライン曲線Ｎ３を超えた頻度をカットする。このようにすることで、追尾対象の最新の色と目標色とから離れた色の評価を下げることができる。
【００９７】
そして、図１７（ｂ）に示したヒストグラム中で最も頻度の高い色相を追尾対象物の現在の色と推定して目標色格納部１３２を更新する（Ｓ６０９）。その後は、更新された目標色を対象としてパーティクルの尤度を用いた目標追尾処理に戻る。
【００９８】
一方、輝度差分による尤度が高いパーティクルが十分存在していない場合には（Ｓ６０７：Ｎｏ）、比較的尤度が高いパーティクルの位置にパーティクルを移動させる（Ｓ６１０）。そして、格納されている第２画像フレームを第１画像フレームに、第３画像フレームを第２画像フレームにスライドさせ（Ｓ６１１）、新たな画像フレームを第３画像フレームとして入力する（Ｓ６０５）。
【００９９】
これらの画像フレームを用いて、輝度差を用いた尤度測定を再度行なう（Ｓ６０６）。尤度が高いパーティクルが十分多くなるまでこれらの処理を繰り返すことで、動きによって追尾対象物体を特定し、その色を新たな目標色に更新することができるようになる。
【０１００】
以上説明したように、第３実施形態によれば、追尾対象物が物陰に隠れ、また現れるような移動をおこなうなどして現在設定されている目標色による追尾が困難になった場合にも、自動的に追尾対象の現在の見かけの色で目標色を更新することができるため、目標追尾を高精度で継続することができるようになる。
【０１０１】
ここで、正規分布曲線の形状による追尾性能の違いについて説明する。上述の通り、σ2（標準偏差）を小さくとれば、水平方向への広がりの狭い正規分布曲線が得られる。このことは、目標色もしくは追尾色との近似度の高い色を新たな目標色とする場合に有効である。逆にσ2（標準偏差）を大きくとれば、水平方向への広がりが広い正規分布曲線を得られる。この場合、目標色もしくは追尾色との近似度が比較的高い色であれば新たな目標色とすることができるため、追尾条件を緩和する効果が得られる。
【０１０２】
σ2（標準偏差）を大きくとった場合、正規分布曲線のピークが下がる影響がある。そのままでは、正規分布曲線のピーク位置であってもヒストグラムの値の方が高い場合、正規分布曲線の鉛直方向の値を定数倍して鉛直方向に伸張したり、定数を加算して上方向にオフセットを設けて、正規分布曲線をヒストグラムより高い位置に設定してもよい。
【０１０３】
［変形例］
最後に、本発明の変形例について説明する。本発明では、目標色を対象として尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合に、各パーティクルの尤度の測定対象を前後のフレーム間の輝度差に切り替えることで、フレーム間で動きのあった領域を検出するようにしている。この際に、第１実施形態では、各パーティクルの位置は変更せずに、その位置のまま輝度差を対象とした尤度を測定するようにし、第２実施形態および第３実施形態では、各パーティクルの位置を画面内に分散配置して輝度差を対象とした尤度を測定するようにしている。
【０１０４】
前者の場合は、特に追尾対象物がその場から動きを継続する場合等に追尾対象物を認識しやすく、後者の場合は、特に追尾対象物が物陰に隠れた後、別の場所から現れる場合等に追尾対象物を認識しやすいという特徴がある。
【０１０５】
そこで、変形例では、パーティクルの分散方法を状況に応じて切り替えられるようにする。図１８は、変形例におけるパーティクルフィルタ処理部の構成を示すブロック図である。本図に示すパーティクルフィルタ処理部１３０ｃは、実施形態１〜３のいずれにも適用することができる。
【０１０６】
パーティクルフィルタ処理部１３０ｃは、画像データを３フレーム格納可能な画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、目標色更新部１３３ｃと、追尾対象物の最新の色情報を格納する追尾色格納部１３４と、目標色格納部１３２に格納されている目標色と、追尾色格納部１３４に格納されている追尾対象物の最新の色情報との変化量を算出する色変化量算出部１３５と、色変化量に応じてパーティクルの分散方式を決定する分散方式決定部１３６とを備えている。
【０１０７】
すなわち、変形例では、追尾対象が柱の裏に隠れるなどして目標色での追尾が困難になったのか、徐々に目標色が変化し、追尾が困難になったのかを目標色と最新の色情報との変化量を算出することで判別し、前者の場合には、パーティクルを画面内に分散させて輝度尤度を測定し、後者の場合にはパーティクルの位置を変更せずに輝度尤度を測定するようにする。
【０１０８】
図１９は、パーティクル分散方法を決定する処理を示すフローチャートである。本処理は、各実施形態の目標色更新処理の際に行なうものであり、本フローチャートのカメラ制御停止処理（Ｓ７０１）が、各実施形態におけるカメラ制御停止処理（図５：Ｓ３０１、図１０：Ｓ４０１、図１５：６０１）に対応する。また、本フローチャートの輝度差分を用いた目標色更新処理（Ｓ７０６）が、各実施形態における第１画像フレーム入力処理（図５：Ｓ３０２、図１０：Ｓ４０２、図１５：６０２）以降の処理に対応する。
【０１０９】
変形例では、カメラ制御を停止すると（Ｓ７０１）、色変化量算出部１３５が、目標色格納部１３２に格納されている目標色と、追尾色格納部１３４に格納されている追尾対象物の最新の色情報とから色の変化量を算出する（Ｓ７０２）。
【０１１０】
色の変換量の算出は、例えば、２つの色情報から色相（H）の差分を算出することで行なうことができる。あるいは、明暗に注目して輝度の差分を算出するようにしてもよい。さらには、「暗くなったため、赤が茶色に変化した」のように複合的な事象を評価するため、色相の差分と輝度の差分の両方を算出するようにしてもよい。
【０１１１】
そして、算出された変化量が所定の基準値以上であるかどうかを判断する（Ｓ７０３）。所定の基準値は、色の変化量が基準値より小さければ「緩やかな変化」と判断し、色の変化量が基準値以上であれば「急激な変化」と判断できるように設定し、状況等に応じて適宜変更することができる。また、複数個設けるようにしてもよい。
【０１１２】
色の変化量が基準値以上（Ｓ７０３：Ｙｅｓ）、すなわち、「急激な変化」であれば、追尾対象が物陰に隠れるなどした結果、パーティクルの位置の色変化が大きくなったものと考えられる。このため、画面全体にパーティクルを分散し（Ｓ７０４）、輝度差分による尤度測定に切り替えて、目標色更新処理を行なう（Ｓ７０６）。
【０１１３】
一方、色の変化量が基準値未満（Ｓ７０３：Ｎｏ）、すなわち、「緩やかな変化」であれば、追尾対象は現在のパーティクルの位置付近に存在しているが、色の変化により尤度が下がったものと考えられる。このため、パーティクルの再分散は行なわず、その位置で固定したまま（Ｓ７０５）、輝度差分による尤度測定に切り替えて、目標色更新処理を行なう（Ｓ７０６）。
【０１１４】
以降の処理は、第１実施形態〜第３実施形態のいずれの目標色更新処理を行なうことができる。このように、変形例によれば、追尾対象の色が徐々に変化した場合、あるいは、追尾対象が物陰に隠れ、また現れるような移動をした場合等の状況を判別して、適切な目標色更新を行うことができるようになる。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。
【図２】目標追尾装置の処理の流れを説明するフローチャートである。
【図３】目標追尾処理について説明するフローチャートである。
【図４】目標追尾処理における画像フレームとパーティクルの具体例を示す図である。
【図５】第１実施形態における目標色更新処理の具体的な処理手順を説明するフローチャートである。
【図６】第１画像フレーム〜第３画像フレームの例を示す図である。
【図７】輝度差分を用いた尤度測定の例を示す図である。
【図８】輝度差分を用いた尤度測定の例を示す図である。
【図９】第２実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。
【図１０】第２実施形態における目標色更新処理を説明するフローチャートである。
【図１１】パーティクル分散の形態例を示す図である。
【図１２】追尾対象物が遮蔽物の反対側から出てきたときの様子を示す図である。
【図１３】第３実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。
【図１４】第３実施形態における目標追尾処理を説明するフローチャートである。
【図１５】第３実施形態における目標色更新処理を説明するフローチャートである。
【図１６】色情報により尤度を測定する方法について説明するための図である。
【図１７】色情報により尤度を測定する方法について説明するための図である。
【図１８】変形例におけるパーティクルフィルタ処理部の構成を示すブロック図である。
【図１９】変形例の処理を説明するフローチャートである。
【符号の説明】
【０１１６】
１０・１０ａ・１０ｂ…目標追尾システム、１００・１００ａ・１００ｂ…目標追尾装置、１１０…画像入力部、１２０…表示部、１３０・１３０ａ・１３０ｂ・１３０ｃ…パーティクルフィルタ処理部、１３１…画像格納部、１３２…目標色格納部、１３３・１３３ａ・１３３ｂ・１３３ｃ…目標色更新部、１３４…追尾色格納部、１３５…色変化量算出部、１３６…分散方式決定部、１４０…カメラ制御信号出力部、１５０…追尾対象物指定受付部、１６０…目標色設定部、２００…カメラ、２１０…制御装置
【図１】
2010147560.tif 000007
【図２】
2010147560.tif 000008
【図３】
2010147560.tif 000009
【図４】
2010147560.tif 000010
【図５】
2010147560.tif 000011
【図６】
2010147560.tif 000012
【図７】
2010147560.tif 000013
【図８】
2010147560.tif 000014
【図９】
2010147560.tif 000015
【図１０】
2010147560.tif 000016
【図１１】
2010147560.tif 000017
【図１２】
2010147560.tif 000018
【図１３】
2010147560.tif 000019
【図１４】
2010147560.tif 000020
【図１５】
2010147560.tif 000021
【図１６】
2010147560.tif 000022
【図１７】
2010147560.tif 000023
【図１８】
2010147560.tif 000024
【図１９】
2010147560.tif 000025