(57)【要約】【課題】追尾対象物の色に近い色の物体が複数個存在している場合にも精度の高い追尾処理が行える目標追尾装置を提供する。【解決手段】連続して取り込まれる画像データ中の目標物体を追尾する目標追尾装置１００であって、画像データ中における追尾対象の指定を受け付ける追尾対象指定受付部１５０と、指定に係る画像データ中の色を目標色として設定する目標色設定部１６０と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と、目標色との比較によって求められる尤度を測定し、測定された尤度をパーティクルごとに前記指定された補助領域に基づいて定められる領域における色と補助目標色との比較によって求められる尤度によって補正し、補正された尤度に基づいて画像データ中の目標物体の領域を推定するパーティクルフィルタ処理部１３０とを備える。【選択図】図１
2009182624.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
前記画像データ中における追尾対象に付随する補助領域の指定を受け付ける補助領域指定受付手段と、
指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
指定された前記補助領域に係る色を補助目標色として設定する補助目標色設定手段と、
所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記設定された目標色との比較によって求められる尤度を測定し、測定された尤度を、パーティクルごとに前記指定された補助領域に基づいて定められる領域における色と前記補助目標色との比較によって求められる尤度によって補正し、補正された尤度に基づいて画像データ中の前記追尾対象の領域を推定するパーティクルフィルタ処理手段と、
を備えたことを特徴とする目標追尾装置。
【請求項２】
時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
前記画像データ中における追尾対象に付随する補助領域の指定を受け付ける補助領域指定受付手段と、
指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
指定された前記補助領域に係る色を補助目標色として設定する補助目標色設定手段と、
所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記設定された目標色との比較によって求められる尤度を測定し、測定された尤度を、測定された尤度の分布状況と前記指定された補助領域とに基づいて定められる領域における色と、前記補助目標色との近似の度合いによって補正し、補正された尤度に基づいて画像データ中の前記追尾対象の領域を推定するパーティクルフィルタ処理手段と、
を備えたことを特徴とする目標追尾装置。
【請求項３】
時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
前に取り込まれた画像データ中の追尾対象とされる領域付近から分散するパーティクルを用いて、パーティクル周辺の色と、前記設定された目標色との比較によって求められる尤度を測定し、測定された尤度に基づいて後に取り込まれた画像データ中の前記追尾対象の領域を推定するパーティクルフィルタ処理手段とを備え、
このパーティクルフィルタ処理手段は、前に取り込まれた画像データ中の追尾対象とされる領域と、前記目標色に類似する色の領域との距離を求め、求めた距離に応じて前記パーティクルの分散における移動量を変化させることを特徴とする目標追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続して取り込まれる画像データ中の目標物体を追尾する目標追尾装置に関する。
【背景技術】
【０００２】
映像監視システムやテレビ会議システムに代表されるように、様々な状況下でカメラの撮影画像を利用するカメラシステムが実用化されている。このようなカメラシステムの中には、設定された目標物体を自動的に追尾して撮影領域を変更しながら撮影する追尾機能を備えたものがある。例えば、追尾機能を備えた映像監視システムでは、不審な人物が目標物体として設定されるとこの人物を追尾して映像に収めながら撮影を続けることができる。また、追尾機能を備えたテレビ会議システムでは、設定された人物を追尾した会議画像を撮影することができる。
【０００３】
目標物体を追尾して画像を撮影する際には目標物体が撮影画角から外れないように、目標物体の移動に応じてカメラのパン、チルト、ズーム倍率等を制御する必要がある。これを実現するためには画像中の目標物体を認識して、その移動方向を検出しなければならない。
【０００４】
従来、画像中の目標物体を認識して、その移動方向を検出する方法として、輝度差分を利用する背景差分法やフレーム差分法が用いられてきたが、近年、特許文献１、非特許文献１、非特許文献２等に記載されているようにパーティクルフィルタを適用した目標追尾技術が研究されている。
【０００５】
パーティクルフィルタは、事後確率を利用するベイズフィルタの近似計算法であり、有限個のパーティクルによって確率分布関数を表現し、それを用いて時系列の予測を行なうものである。すなわち、パーティクルフィルタはサンプリングに基づいた逐次モンテカルロ法といえ、時系列の分布をパーティクルの位置と重みによる集合表現で近似するため、ガウス分布で近似できないような分布でも追尾することが可能である。また、時系列の様々な特徴量を尤度として扱うことができるために応用範囲が広い。特に、特許文献１等にも記載されているように、目標物体の追尾に適用する場合には、目標物体の色を用いて尤度を測定することが行なわれている。この場合、目標物体の色に近い色の画素がパーティクルの近傍にどれだけ存在するかで尤度を測定し、測定結果に基づいて目標物体の位置を推定することができる。
【特許文献１】特開２００４−２８２５３５号公報
【非特許文献１】M.Isard, A.Blake : CONDENSATION ? Conditional Density Propagation for Visual Tracking, Int’ IJ. Computer Vision, vol. 28, No.1, pp.5-28(1998)
【非特許文献２】藤吉弘亘：動画画像理解技術とその応用、中部大学工学部情報工学科藤吉研究室テキスト pp.76-80(2007)   http://www.vision.cs.chubu.ac.jp/VU/pdf/VU.pdf
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述のように、パーティクルフィルタを用いた目標物体の追尾処理では、目標物体の色を設定し、その色に近い部分に配置されたパーティクルの尤度を高くすることで目標物体を追尾する。
【０００７】
しかしながら、目標物体の色に近い色の物体が複数個存在している場合は、どちらの物体についてもパーティクルの尤度が高く測定されることになり、目標物体の追尾の精度が落ちたり、目標物体の追尾に失敗したりすることが起こり得る。
【０００８】
本発明は、このような状況を鑑みてなされたものであり、追尾対象物の色に近い色の物体が複数個存在している場合にも精度の高い追尾処理が行える目標追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の第１の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、前記画像データ中における追尾対象に付随する補助領域の指定を受け付ける補助領域指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、指定された前記補助領域に係る色を補助目標色として設定する補助目標色設定手段と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記設定された目標色との比較によって求められる尤度を測定し、測定された尤度を、パーティクルごとに前記指定された補助領域に基づいて定められる領域における色と前記補助目標色との比較によって求められる尤度によって補正し、補正された尤度に基づいて画像データ中の前記追尾対象の領域を推定するパーティクルフィルタ処理手段と、を備える。
【００１０】
本態様では、追尾対象に付随する補助領域の色を補助目標色とし、補助領域においても補助目標色を用いて尤度を測定する。そして、この尤度により目標色を用いて測定された尤度を修正することで、追尾対象物の色に近い色の物体が複数個存在している場合にも精度の高い追尾処理が行えるようになる。
【００１１】
上記課題を解決するため、本発明の第２の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、前記画像データ中における追尾対象に付随する補助領域の指定を受け付ける補助領域指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、指定された前記補助領域に係る色を補助目標色として設定する補助目標色設定手段と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記設定された目標色との比較によって求められる尤度を測定し、測定された尤度を、測定された尤度の分布状況と前記指定された補助領域とに基づいて定められる領域における色と、前記補助目標色との近似の度合いによって補正し、補正された尤度に基づいて画像データ中の前記追尾対象の領域を推定するパーティクルフィルタ処理手段と、を備える。
【００１２】
本態様では、追尾対象に付随する補助領域の色を補助目標色とし、補助領域において補助目標色との近似度を算出する。そして、この近似度により目標色を用いて測定された尤度を修正することで、追尾対象物の色に近い色の物体が複数個存在している場合にも精度の高い追尾処理が行えるようになる。
【００１３】
上記課題を解決するため、本発明の第３の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、前に取り込まれた画像データ中の追尾対象とされる領域付近から分散するパーティクルを用いて、パーティクル周辺の色と、前記設定された目標色との比較によって求められる尤度を測定し、測定された尤度に基づいて後に取り込まれた画像データ中の前記追尾対象の領域を推定するパーティクルフィルタ処理手段とを備え、このパーティクルフィルタ処理手段は、前に取り込まれた画像データ中の追尾対象とされる領域と、前記目標色に類似する色の領域との距離を求め、求めた距離に応じて前記パーティクルの分散における移動量を変化させることを特徴とする。
【００１４】
本態様では、パーティクルの分散の際の移動量を、目標物体の領域と、目標物体の色と近似する色の領域との距離に応じて変化させるために、目標物体の色と近似する色の領域の影響による追尾精度の低下を防ぐことができる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施の形態について図面を参照して詳細に説明する。まず、第１実施形態について説明する。図１は、本発明の第１実施形態である目標追尾装置１００を含む目標追尾システム１０の構成を示すブロック図である。本図に示すように目標追尾システム１０は、目標追尾装置１００と、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００からの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０を備えている。ただし、これらの装置を一体型として目標追尾システム１０を構成してもよい。
【００１６】
目標追尾装置１００は、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０と、追尾結果に基づいてカメラ２００を制御する信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の指定を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象物に応じた目標色を設定する目標色設定部１６０と、補助目標色を設定する補助目標色設定部１７０とを備えている。
【００１７】
パーティクルフィルタ処理部１３０は、パーティクルフィルタを用いた目標物の追尾処理を行なうために処理対象の画像データを格納する画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、設定された補助目標色を格納する補助目標色格納部１３３とを備えている。
【００１８】
なお、目標追尾装置１００は、ＣＰＵ、メモリ、入出力装置、通信処理装置等を備えた汎用的な情報処理装置を用いて構成することができる。パーソナルコンピュータ等の汎用的な情報処理装置は、特定用途向きに開発されたプログラムを実行することで、目標追尾装置１００として機能することができる。もちろん目標追尾装置１００は専用装置として構成してもよい。
【００１９】
ここで、非特許文献１、非特許文献２等に紹介されているパーティクルフィルタによる画像追尾アルゴリズムについて簡単に説明する。画像追尾アルゴリズムであるパーティクルフィルタは、時刻ｔにおける画像フレーム中の目標物体の位置の推定量である事後確率密度
【数１】
2009182624.tif 000003
を、状態ｘの重みπのＮ個の組から成るパーティクル群
【数２】
2009182624.tif 000004
により近似することで、目標物体を追尾する方法である。ここで、時刻ｔにおける画像フレーム中のｉ番目のパーティクルの状態量
【数３】
2009182624.tif 000005
は、その尤度である重みを示している。
【００２０】
時刻ｔにおいて画像フレームから尤度の観測値ztが得られると、追尾対象の状態xtを確率変数とする確率密度は、上記の事後確率密度［数１］として表わされる。この［数１］は、ベイズの法則を用いて以下のように表わすことができる。
【数４】
2009182624.tif 000006
ここで、αは正規化のための定数である。
【００２１】
非特許文献１に示されているCondensationアルゴリズムは、各フレームに対して対象物体を追跡する処理を、Select（選択）、Predict（予測）、Measure（測定）の３つのステップに分けて繰り返し実行している。
【００２２】
具体的には、選択ステップでは、対象物体の周辺にパーティクルを分散して配置し、各パーティクルで尤度を測定して、尤度が高い順番で尤度の高さに比例する確率でN個のパーティクルを選択する。予測ステップでは、選択ステップで選ばれた尤度の高いパーティクルをランダムに分散させて再配置する。測定ステップでは、各パーティクルについて近傍にどれだけ目標物体と近似した色の画素があるかを計算し、それをパーティクルの尤度とする。そして、すべてのパーティクルの尤度の重み付け平均により目標物体の位置を推定する。
【００２３】
本実施形態における目標追尾装置１００は、このようなアルゴリズムのパーティクルフィルタ処理の目標物追尾性能を向上するものであり、以下に説明する処理を行なう。ただし、本発明はパーティクルフィルタを用いた画像追尾処理であれば、上述のアルゴリズムには限定されず、種々の変形アルゴリズムに適用することができる。
【００２４】
図２は、目標追尾装置１００の処理の流れを説明するフローチャートである。目標追尾装置１００は、カメラ２００が出力する画像信号をフレーム単位で入力する（Ｓ１０１）。目標追尾装置１００は、入力された画像信号を表示部１２０に映像として逐次表示し、追尾対象物が指定されるのを待つ（Ｓ１０２）。この状態で、監視者は、画像中の追尾対象としたい目標物体を指定することができる。
【００２５】
追尾対象物の指定受け付けは、例えば、マウス、ポインタ等の入力装置を介して、表示部１２０に表示されている追尾対象物に対応する領域の指示を監視者から受け付けることで行なうことができる。また、表示部１２０をタッチパネル式の表示装置で構成し、監視者からのタッチを認識することで指定を受け付けるようにしてもよい。あるいは、その他の外部装置等を介して追尾対象物の指定を受け付けるようにしてもよい。
【００２６】
追尾対象の指定を受け付けると（Ｓ１０２：Ｙｅｓ）、目標色設定部１６０は、画像フレーム中の指定を受け付けた領域に対応する画素の色を取得し、目標色として設定する（Ｓ１０３）。目標色は、指定された領域の単一画素のＲＧＢ値に基づいて設定してもよいし、複数画素のＲＧＢ平均値等に基づいて設定してもよい。あるいは、指定された領域に含まれる画素でヒストグラムを作成して目標色として設定してもよい。目標色を設定すると目標色格納部１３２に記録する。また、画像フレームを画像格納部１３１に記録する。
【００２７】
本実施形態で、パーティクルフィルタ処理部１３０は、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）とで表現するＨＳＶ色空間上で処理を行なうため、目標色を設定する際に、ＲＧＢ色空間をＨＳＶ色空間に変換する。ヒストグラムを作成する場合には、ＨＳＶ色空間で作成する。ただし、ＲＧＢ色空間のまま処理を行なったり、ＹＵＶ色空間等で処理を行なったりするようにしてもよい。
【００２８】
本実施形態では、目標色を設定すると、目標物体の追尾の精度を高めるために補助目標色を設定する（Ｓ１０４）。ここで、本実施形態の特徴的な処理である補助目標色の設定について詳細に説明する。図３は、補助目標色の設定処理について説明するためのフローチャートである。また、図４は、補助目標色の設定処理における画像フレームとパーティクルの例を示す図である。図４に示した例では、追尾対象として人物の顔が指定され、顔の色が目標色として設定されているものとする。
【００２９】
図２における処理（Ｓ１０２）で追尾対象物の指定を受け付けた初期状態の画像フレームを対象に、パーティクルフィルタ処理部１３０は、追尾対象として指定された領域付近にパーティクルを生成する（Ｓ２０１）。生成するパーティクルの数による追尾の精度と処理速度とはトレードオフの関係となる。図４（ａ）は、追尾対象である人物の顔付近に生成された多数のパーティクルを示している。
【００３０】
次いで、生成された各パーティクルを、目標色の領域を推定するために、所定の規則にしたがって移動させる（Ｓ２０２）。ここでは、各パーティクルが指定された追尾対象から分散するように標準正規分布する乱数により距離を決められて移動する。この結果、図４（ｂ）に示すように、人物の顔を中心にパーティクルが分散することになる。ただし、追尾対象としてすでに目標色に対応する領域が指定されている場合は、目標色の領域推定のための処理は必要ない。
【００３１】
分散した各パーティクルは、画像フレームにおいて、それぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう（Ｓ２０３）。目標色をヒストグラムで表現している場合には、矩形領域内のＨＳＶヒストグラムを作成し、目標色との類似度を算出して尤度を測定することができる。図４（ｃ）の黒いパーティクルは測定された尤度が高いパーティクルを示しており、顔の領域に存在している。尤度が測定されると、各パーティクルの尤度の重み付け平均を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定する（Ｓ２０４）。追尾対象物の領域は、例えば、ある閾値により尤度を二値化したり、ＥＭアルゴリズムにより混合正規分布を推定し、さらにその分散値から推定することができる。
【００３２】
本実施形態では、追尾対象物の領域は矩形で表現するものとする。図４（ｄ）は、追尾対象物の領域として推定されたＦｒａｍｅを示している。本図においてＦｒａｍｅは、縦Ｈ、横Ｗの大きさを有している。
【００３３】
そして、推定された追尾対象の領域を基準に、補助追尾対象領域の指定を受け付ける（Ｓ２０５）。補助追尾対象領域とは、追尾対象物に近い色の領域が画像フレーム中に複数存在する場合に、追尾対象物を識別するために用いる領域である。すなわち、本実施形態では、目標色により追尾対象の領域を推定する際に、さらに追尾対象物の領域に付随する補助目標領域において色の尤度の測定を行なうことで目標物体追尾の精度を高めるようにする。
【００３４】
補助追尾対象領域は、例えば、図４（ｅ）に示すように、追尾対象領域Ｆｒａｍｅに隣接する４つの矩形領域、すなわち、上側の領域ｓｕｂＦｒＴ、下側の領域ｓｕｂＦｒＢ、右側の領域ｓｕｂＦｒＲ、左側の領域ｓｕｂＦｒＬのいずれかとすることができる。各領域の大きさは追尾対象領域Ｆｒａｍｅに接する辺は、追尾対象領域Ｆｒａｍｅに対応させ、接しない辺については適宜定めるものとする。例えば、あらかじめ定めておいてもよいし、追尾対象領域Ｆｒａｍｅの大きさに応じて定めるようにしてもよい。
【００３５】
どの領域を補助追尾対象領域として設定するかは、例えば、監視者からの指示に基づいて定めることができる。一般に、服の色により人物を識別することができるため、追尾対象を顔とすると、補助追尾対象領域は服を含む領域が望ましい。このため、下側の領域ｓｕｂＦｒＢをあらかじめ設定しておくようにしてもよい。また、例えば、顔と帽子とで追尾対象を識別する場合には、上側の領域ｓｕｂＦｒＴを補助追尾対象領域として設定することができる。色の特徴が横方向にあるトラック、自動車等を追尾する場合には、右側の領域ｓｕｂＦｒＲあるいは左側の領域ｓｕｂＦｒＬを補助追尾対象領域として設定することができる。
【００３６】
補助目標色設定部１７０は、補助追尾対象領域の指定を受け付けると、補助追尾対象領域となった領域の色を補助目標色として設定し、補助目標色格納部１３３に格納する（Ｓ２０６）。ここで、補助目標色は、補助追尾対象領域Ｆｒａｍｅに含まれる画素の平均色、あるいは、ヒストグラム等とすることができる。いずれの形式で設定するかは目標色の設定形式に対応させるものとする。
【００３７】
そして、処理（Ｓ２０３）において測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる。この結果、図４（ｆ）に示すようにパーティクルは追尾対象物の領域に集まってくることになる。
【００３８】
以上の補助目標色設定処理（Ｓ１０４）を終えると、目標色と補助目標色とを用いて、逐次入力される画像フレーム中の追尾対象物を認識して、カメラ２００を制御する目標追尾処理を行なう（Ｓ１０５）。
【００３９】
ここで、本実施形態における目標追尾処理について詳細に説明する。図５は、目標追尾処理について説明するためのフローチャートである。上述のように本発明は、ここで説明するパーティクルフィルタ物体追尾アルゴリズムには限定されない。また、図６は、目標追尾処理における画像フレームとパーティクルの例を示す図である。図６の例は、図４に示した例に続くものであり、追尾対象として人物の顔が指定され、顔の色が目標色として設定されているものとする。
【００４０】
まず、図３におけるの処理（Ｓ２０１）で生成され、処理（Ｓ２０７）で追尾対象物領域に集約されたパーティクルを、所定の規則にしたがって移動させる（Ｓ４０１）。ここで、追尾対象物の運動方向が予測可能な場合には、予測される移動方向に応じてパーティクルの移動方向を決めることができる。本実施形態では追尾対象物は主として監視画像中の不審人物を想定しており、運動ダイナミクスはランダムと仮定される。このため、各パーティクルは標準正規分布する乱数により距離を決められて移動する。この結果、図６（ａ）に示すように、人物の顔を中心にパーティクルが分散することになる。
【００４１】
そして、次の画像フレームを入力する（Ｓ４０２）。この画像フレームが追尾対象物の移動等を検出する処理対象の画像フレームとなる。図６（ｂ）は、分散したパーティクルに対して次の画像フレームが入力された場合の様子を示している。入力された画像フレームでは、追尾対象物である人物の顔が右方向に移動している。
【００４２】
各パーティクルは、処理対象の画像フレームにおいて、それぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう（Ｓ４０３）。このとき、例えば、矩形領域内のＨＳＶヒストグラムを作成して目標色との類似度を算出して尤度を測定することができる。この場合、各パーティクルに対応する画素の色の値を目標色ヒストグラムにおける頻度に置き換えたものを尤度とすることもできる。図６（ｃ）の黒いパーティクルは、測定の結果、尤度の高いパーティクルを示している。
【００４３】
本実施形態では、目標色を用いて尤度の測定を行なった後に、さらに補助目標色を用いて尤度の測定を行なう（Ｓ４０４）。ここで、補助目標色を用いた尤度の測定について図７を参照して説明する。図７は、二人の人物が画像フレームに含まれている場合を示している。人物の顔が追尾対象として指定されている場合、図７（ａ）に示すように、一方の人物Ｏｂ１と他方の人物Ｏｂ２の顔部分に分散しているパーティクル（ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６）で尤度が高く測定される。
【００４４】
なお、このとき補助追尾対象領域として、図４（ｄ）に示す追尾対象領域Ｆｒａｍｅの下側の領域ｓｕｂＦｒＢが設定されているものとする。このため、人物Ｏｂ１の服の色が補助目標色として設定されている。
【００４５】
補助目標色を用いた尤度の測定では、各パーティクルについて、補助追尾対象領域が設定されている方向に、距離ｄだけ離れた箇所に補助パーティクルを設定し、補助目標色を用いて尤度の測定を行なう。ここで、距離ｄは、例えば、追尾対象領域Ｆｒａｍｅの補助追尾対象領域が設定されている方向についての長さの１／２とすることができる。すなわち、本例では、追尾対象領域Ｆｒａｍｅの縦方向の長さＨの１／２となる。もちろん、距離ｄは、他の方法で決定してもよい。
【００４６】
この結果、図７（ａ）に示すように、人物Ｏｂ１については、補助目標色に対応する服の位置で尤度を測定しているパーティクルｐ２、ｐ３の補助パーティクルで尤度が高くなる。一方、人物Ｏｂ２については、補助目標色と異なる色の服を着ているため、いずれの補助パーティクルとも低い尤度となる。
【００４７】
補助目標色での尤度測定を行なうと、処理（Ｓ４０３）で測定されたパーティクルの尤度の補正を行なう（Ｓ４０５）。尤度の補正は、例えば、処理（Ｓ４０３）で測定された尤度の高いパーティクルの尤度と、対応する補助パーティクルにおける補助目標色での尤度とを掛け合わせることで行なうことができる。もちろん他の算出方法を用いてもよい。
【００４８】
尤度を補正することにより、目標色に近い色の物体が複数ある場合に、どの物体が追尾対象物であるかを判別することができる。例えば、図７（ｂ）に示した例では、人物Ｏｂ１付近のパーティクルｐ２、ｐ３の尤度は補正後も高いままで、人物Ｏｂ２付近のパーティクルｐ４、ｐ５、ｐ６の尤度は補正後低くなる。この結果、人物Ｏｂ１付近のパーティクルが追尾対象付近のパーティクルであると判別することができ、目標物体の追尾を正しく行なうことができる。なお、補助目標色を用いた尤度測定は、目標色に近い色の物体が画像フレーム内に複数存在している場合に限り行なうようにしてもよい。
【００４９】
そして、各パーティクルの尤度の重み付け平均を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定する（Ｓ４０６）。本例では、図６（ｃ）の黒いパーティクルを含む領域が追尾対象物の領域として推定されることになる。
【００５０】
次いで、追尾対象物の領域として推定された領域をカメラ２００の画角内に収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ４０７）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、追尾対象物を追尾することができる。なお、カメラ２００の画角等を変化させた場合は、画角の変化等に伴う画像中における追尾対象物の相対的移動量を考慮して以降の画像フレームの処理を行なう。具体的には、パーティクルと追尾対象物との相対位置関係が保持されるようにパーティクルの位置を調整する。この処理は従来の技術を用いることができる。
【００５１】
そして、測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる。この結果、図６（ｄ）に示すようにパーティクルは追尾対象物に集まってくることになる。
【００５２】
その後、上記と同様に追尾対象物に集まったパーティクルを再度分散させて（Ｓ４０１）、次画像フレームに対する同様の処理を目標追尾処理が終了するまで繰り返す（Ｓ４０９）。目標追尾処理の終了判断基準は、例えば、追尾対象物がカメラ２００の追尾範囲から外れた場合、監視者からの終了指示があった場合等とすることができる。
【００５３】
次に、本発明の第１実施形態の変形例について説明する。上述の第１実施形態では、パーティクルに対応する補助パーティクルで補助目標色についての尤度を測定してパーティクルの尤度を補正した。変形例ではさらに簡略化した処理により補助目標色を用いた目標物体の追尾を行なう。以下では、第１実施形態との相違点を中心に説明する。なお、第１実施形態の変形例は、第１実施形態と同様の構成とすることができる。このため、ブロック図等の図示は省略し、同じ機能部、処理については同じ符号を付して説明する。また、処理内容が異なる機能部については、対応する機能部の符号の末尾に「ａ」を付して区別するものとする。
【００５４】
第１実施形態（図２参照）と同様に、第１実施形態の変形例では、画像フレームを入力し（Ｓ１０１）、監視者から追尾対象の指定を受け付ける（Ｓ１０２）。この指定に基づいて、目標色設定部１６０が目標色を設定し（Ｓ１０３)、目標色格納部１３２に格納する。次いで、追尾対象物指定受付部１５０が補助追尾対象領域の指定を受け付ける。また、補助目標色設定部１７０が補助追尾対象領域となった領域の色を補助目標色として設定し（Ｓ１０４）、補助目標色格納部１３３に格納する。そして、パーティクルフィルタ処理部１３０ａが目標追尾処理を行なう（Ｓ１０５）。
【００５５】
第１実施形態の変形例における目標追尾処理について図８のフローチャートを参照して説明する。変形例における目標追尾処理では、第１実施形態と同様にパーティクルを分散して（Ｓ５０１）、次の画像フレームを入力する（Ｓ５０２）。そして、各パーティクルで目標色を用いた尤度測定を行なう（Ｓ５０３）。
【００５６】
尤度測定を行なうと、本変形例では、追尾対象物候補の抽出を行なう（Ｓ５０４）。追尾対象物候補の抽出では、処理（Ｓ２０４）の追尾対象物の領域の推定と同様に、各パーティクルの尤度の重み付け平均を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定して、推定された領域を追尾対象物の候補とする。
【００５７】
そして、この候補領域が複数個あるかどうかを判断する（Ｓ５０５）。複数個ない場合（Ｓ５０５：Ｎｏ）、すなわち候補領域が１つの場合には、その候補領域を追尾対象として推定し（Ｓ５０８）、推定された位置に基づいてカメラ制御を行なう（Ｓ５０９）。次いで、尤度の低いパーティクルを尤度が高くなる位置に移動させ（Ｓ５１１）、これらの処理を目標追尾処理が終了するまで繰り返す（Ｓ５１２）。
【００５８】
一方、候補領域が複数個あった場合（Ｓ５０５：Ｙｅｓ）は、候補となった追尾対象領域に対応する補助追尾対象領域について補助目標色を用いた評価を行なう（Ｓ５０６）。ここで、図９を参照して本変形例における補助目標色を用いた評価について説明する。図９（ａ）は、人物の顔が追尾対象として指定されており、二人の人物が画像フレームに含まれている場合を示している。本図に示すように、一方の人物Ｏｂ１と他方の人物Ｏｂ２の顔部分に分散しているパーティクルで尤度が高く測定されており、人物Ｏｂ１の顔部分に対応するＦｒａｍｅ１と、人物Ｏｂ２の顔部分に対応するＦｒａｍｅ２とが追尾対象物の候補となっている。なお、補助追尾対象領域として下側の領域ｓｕｂＦｒＢが設定されているものとする。
【００５９】
本変形例では、追尾対象領域候補についての補助追尾対象領域の色が、補助目標色と近いかどうかの評価を行なう。ここで、補助目標色と近いかどうかの評価は、例えば、補助追尾対象領域における補助目標色に近い色の画素の割合を算出することで行なうことができる。あるいは、補助追尾対象領域における色の平均と補助目標色との差を算出することで行なうことができる。また、補助目標色がヒストグラムで設定されている場合には、補助追尾対象領域に含まれる画素の色のヒストグラムを求め、補助目標色のヒストグラムとのインターセクションを求めることで行なうことができる。なお、ヒストグラムインターセクションは、下記の式で求めることができる。
【数５】
2009182624.tif 000007
ここで、H1iは補助目標色のヒストグラムであり、H2iは補助追尾対象領域の色ヒストグラムである。Ｓの値が大きいほどヒストグラムが似ていることを示している。
【００６０】
このように補助目標色と近いかどうかの評価を行なうと、評価値を、例えば、同じ色が１になるような正規化を行ない、正規化された評価値を、処理（Ｓ５０３）で測定した尤度と掛け合わせることにより、尤度の補正を行なう（Ｓ５０７）。そして、補正された尤度を用いて追尾対象物の領域の推定を行なう（Ｓ５０８）。
【００６１】
図９（ａ）に示した例では、人物Ｏｂ１の補助追尾対象領域ｓｕｂＦｒＢ１の評価値の方が、人物Ｏｂ２の補助追尾対象領域ｓｕｂＦｒＢ２の評価値よりも高くなる。このため、尤度の補正を行なうと、図９（ｂ）に示すように、人物Ｏｂ１の顔部分のパーティクルの尤度は高いままで、人物Ｏｂ２の顔部分のパーティクルの尤度は低くなる。この結果、人物Ｏｂ１の顔部分の領域Ｆｒａｍｅ１が追尾対象物として推定されることになる。
【００６２】
追尾対象物が推定されると、推定された位置に基づいてカメラ制御を行なう（Ｓ５０９）。次いで、尤度の低いパーティクルを尤度が高くなる位置に移動させ（Ｓ５１１）、これらの処理を目標追尾処理が終了するまで繰り返す（Ｓ５１２）。
【００６３】
次に、本発明の第２実施形態について説明する。第２実施形態も第１実施形態とほぼ同様の構成とすることができるため相違点を中心に説明し、第１実施形態と同じ機能部については同じ符号を付して簡略に説明する。
【００６４】
図１０は、本発明の第２実施形態である目標追尾装置１００ｂを含む目標追尾システム１０ｂの構成を示すブロック図である。本図に示すように目標追尾システム１０ｂは、目標追尾装置１００ｂと、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００ｂからの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０を備えている。ただし、これらの装置を一体型として目標追尾システム１０ｂを構成してもよい。
【００６５】
目標追尾装置１００は、画像入力部１１０と、表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０ｂと、カメラ制御信号出力部１４０と、追尾対象物指定受付部１５０と、類似色分布距離算出部１８０とを備えている。パーティクルフィルタ処理部１３０ｂは、画像格納部１３１と、目標色格納部１３２とを備えている。類似色分布距離算出部１８０は、画像フレーム中の目標色と類似する色の領域を判別し、追尾対象物との最短距離を算出する処理を行なう。この処理の具体的な内容については後述する。
【００６６】
図１１は、第２実施形態における目標追尾装置１００ｂの処理の流れを説明するフローチャートである。目標追尾装置１００ｂは、カメラ２００が出力する画像信号をフレーム単位で入力する（Ｓ６０１）。目標追尾装置１００ｂは、入力された画像信号を表示部１２０に映像として逐次表示し、追尾対象物が指定されるのを待つ（Ｓ６０２）。この状態で、監視者は、画像中の追尾対象としたい目標物体を指定することができる。
【００６７】
追尾対象の指定を受け付けると（Ｓ６０２：Ｙｅｓ）、目標色設定部１６０は、画像フレーム中の指定を受け付けた領域に対応する画素の色を取得し、目標色として設定する（Ｓ６０３）。目標色の設定は、第１実施形態と同様に行なうことができる。そして、目標色を用いて逐次入力される画像フレーム中の追尾対象物を認識してカメラ２００を制御する目標追尾処理を行なう（Ｓ６０４）。すなわち、第２実施形態では、第１実施形態とは異なり、補助目標色を用いずに目標物追尾処理を行なう。
【００６８】
ここで、本実施形態における目標追尾処理について詳細に説明する。図１２は、第２実施形態における目標追尾処理について説明するためのフローチャートである。まず、パーティクルフィルタ処理部１３０ｂは、追尾対象として指定された領域付近にパーティクルを生成する（Ｓ７０１）。生成するパーティクルの数による追尾の精度と処理速度とはトレードオフの関係となる。
【００６９】
そして、画像フレーム中の目標色に近い色の領域の分布を判別し、その領域と追尾対象物との最短距離を算出する（Ｓ７０２）。ここで、図１３のフローチャートと図１４の画像フレーム例とを参照して、類似色分布距離算出部１８０が行なう類似色分布距離算出処理について説明する。
【００７０】
類似色分布距離算出処理では、画像フレーム中の各画素の色（Ht,St,Vt）と目標色（H,S,V）との近似度Ａを算出して、算出された近似度Ａを所定の閾値Ｔで２値化する（Ｓ８０１）。近似度Ａの算出ならびに色の近似度Ａの２値化は、例えば、下式にしたがって行なうことができる。
【数６】
2009182624.tif 000008
この結果、ｐ＝１の画素で形成される領域が目標色に近い色の領域となる。例えば、図１４（ａ）に示すように二人の人物が画像フレームに含まれている場合に、一方の人物の顔が追尾対象物として指定されると、図１４（ｂ）に示すような２値の分布画像が得られる。ここで、白部分はｐ＝１、すなわち目標色である顔の色に近似する色の領域であり、黒部分はｐ＝０、すなわちその他の色の領域である。
【００７１】
２値化された分布画像は一般にノイズを含んでいるため、ノイズ除去処理を行なう（Ｓ８０２）。ノイズ除去処理は、例えば、一般的な技術である縮退／膨張処理により行なうことができる。図１４（ｃ）は、ノイズ除去後の分布画像を示している。ただし、この処理は省くようにしてもよい。
【００７２】
次に、領域の塊ごとにラベリング処理し、各領域の面積を算出する。そして、面積が所定の閾値以下の小領域を、追尾対象物とはならないものとして削除する（Ｓ８０３）。図１４（ｄ）は、ラベリング処理を施して小領域を削除した後の分布画像を示している。
【００７３】
最終的に残った近似色の領域について、追尾対象となっている位置からの距離を算出し、最短距離を抽出する（Ｓ８０４）。この際、追尾対象を含む領域は距離の算出から外すものとする。図１４（ｅ）に示す例では、左側の人物の顔Ｘが追尾対象として指定されており、領域Ｙ、領域Ｚとの距離ａ、ｂを算出している。この結果、類似色領域との最短距離として距離ａが抽出されることになる。
【００７４】
類似色分布距離算出処理（Ｓ７０２）が終了すると、処理（Ｓ７０１）で生成されたパーティクルを、所定の規則にしたがって移動させる（Ｓ７０３）。ここで、追尾対象物の運動方向が予測可能な場合には、予測される移動方向に応じてパーティクルの移動方向を決めることができる。本実施形態では追尾対象物は主として監視画像中の不審人物を想定しており、運動ダイナミクスはランダムと仮定される。このため、各パーティクルは正規分布する乱数により距離を決められて移動する。
【００７５】
本実施形態では、この際に、正規分布の分散を、類似色分布距離算出処理（Ｓ７０２）で得られた類似色領域との最短距離に応じて変化させるものとする。具体的には、正規乱数
【数７】
2009182624.tif 000009
における分散σ2を、類似色領域との最短距離の大小に対応させる。ここでrand(x)は０以上１未満の一様乱数である。
【００７６】
すなわち、第２実施形態では、目標色と類似色領域との最短距離に応じて正規分布の分散を制御することで、追尾対象物から最短距離内に多くのパーティクルを分散させるようにする。この結果、類似色領域にはパーティクルはあまり存在しないことになる。したがって、以降の処理において本来の追尾対象物を含む領域のパーティクルの尤度を相対的に高めることができる。
【００７７】
例えば、図１５（ａ）に示すように、追尾対象物Ｘと近似色領域Ｙとの最短距離ｄ１が比較的大きい場合は、図１５（ｂ）に示すように、追尾対象物Ｘを中心にパーティクルが広く分散することになる。これにより、追尾対象物Ｘが大きく移動した場合でも高精度で追尾することができるようになる。一方、図１５（ｃ）に示すように、追尾対象物Ｘと近似色領域Ｙとの最短距離ｄ２が比較的小さい場合は、図１５（ｄ）に示すように、追尾対象物Ｘを中心にパーティクルが狭く分散することになる。これにより、近似色領域Ｙの影響による追尾精度の低下を防ぐことができる。
【００７８】
以上の処理（Ｓ７０３）により分散を制御してパーティクルを移動させると、次の画像フレームを入力する（Ｓ７０４）。この画像フレームが追尾対象物の移動等を検出する処理対象の画像フレームとなる。各パーティクルは、処理対象の画像フレームにおいて、それぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう（Ｓ７０５）。このとき、例えば、矩形領域内のＨＳＶヒストグラムを作成して目標色との類似度を算出して尤度を測定することができる。
【００７９】
尤度が測定されると、各パーティクルの尤度の重み付け平均を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定する（Ｓ７０６）。そして、追尾対象物の領域として推定された領域がカメラ２００の画角内に収まるような制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ７０７）。この制御信号に基づいてカメラ２００がパン・チルト、ズームすることにより、追尾対象物を追尾することができる。
【００８０】
そして、測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる。その後、上記と同様に、推定された追尾対象物と画像フレーム内の類似色領域との最短距離を算出し（Ｓ７０２）、追尾対象物に集まったパーティクルを最短距離に応じて再度分散させて（Ｓ７０３）、次画像フレームに対する同様の処理を目標追尾処理が終了するまで繰り返す（Ｓ７０９）。
【００８１】
なお、上述した第１及び第２実施形態においては、目標追尾装置１００，１００ｂは、表示部１２０に表示された画像中の追尾対象物を追尾対象物指定受付部１５０により受け付ける構成としたが、不図示の制御部による動き検出処理や色検出処理等の結果に基づき、自動的に追尾対象物の位置を指定するようにしてもよい。このようにした場合は、表示部１２０及び追尾対象指定受付部１５０を設ける必要はない。
【図面の簡単な説明】
【００８２】
【図１】第１実施形態における目標追尾装置を含む目標追尾システムの構成を示すブロック図である。
【図２】目標追尾装置の処理の流れを説明するフローチャートである。
【図３】補助目標色の設定処理について説明するためのフローチャートである。
【図４】補助目標色の設定処理における画像フレームとパーティクルの例を示す図である。
【図５】目標追尾処理について説明するためのフローチャートである。
【図６】目標追尾処理における画像フレームとパーティクルの例を示す図である。
【図７】補助目標色を用いた尤度の測定について説明するための図である。
【図８】第１実施形態の変形例における目標追尾処理について説明するためのフローチャートである。
【図９】補助目標色を用いた評価について説明するための図である。
【図１０】第２実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。
【図１１】目標追尾装置の処理の流れを説明するフローチャートである。
【図１２】目標追尾処理について説明するためのフローチャートである。
【図１３】類似色分布距離算出処理について説明するためのフローチャートである。
【図１４】類似色分布距離算出処理について説明するための画像フレーム例である。
【図１５】目標色と類似色領域との最短距離に応じた正規分布の分散制御について説明するための画像フレーム例である。
【符号の説明】
【００８３】
１０・１０ｂ…目標追尾システム、１００・１００ｂ…目標追尾装置、１１０…画像入力部、１２０…表示部、１３０・１３０ａ・１３０ｂ…パーティクルフィルタ処理部、１３１…画像格納部、１３２…目標色格納部、１３３…補助目標色格納部、１４０…カメラ制御信号出力部、１５０…追尾対象物指定受付部、１６０…目標色設定部、１７０…補助目標色設定部、１８０…類似色分布距離算出部、２００…カメラ、２１０…制御装置
【図１】
2009182624.tif 000010
【図２】
2009182624.tif 000011
【図３】
2009182624.tif 000012
【図４】
2009182624.tif 000013
【図５】
2009182624.tif 000014
【図６】
2009182624.tif 000015
【図７】
2009182624.tif 000016
【図８】
2009182624.tif 000017
【図９】
2009182624.tif 000018
【図１０】
2009182624.tif 000019
【図１１】
2009182624.tif 000020
【図１２】
2009182624.tif 000021
【図１３】
2009182624.tif 000022
【図１４】
2009182624.tif 000023
【図１５】
2009182624.tif 000024