(57)【要約】【課題】逐次更新される識別器を用いて物体識別を行う画像処理装置において、複数の追跡対象物体が写っている場合であっても、追跡対象物体を精度よく追跡することができるようにする。【解決手段】判定手段３３が、追跡対象物体の各々について、入力画像の部分領域が、該追跡対象物体を含むか否かを、該追跡対象物体に対する識別器４１を用いて判定する。負例追加手段３７が、追跡対象物体の各々について、該追跡対象物体を含む部分領域の位置と他の追跡対象物体を含む部分領域の位置との間の距離である物体間距離に基づいて他の追跡対象物体を含む物体領域の画像を、該追跡対象物体の識別器の負例として訓練データ４２に追加する。識別器更新手段３８が、追跡対象物体の各々について、訓練データ４２を用いて、該追跡対象物体に対する識別器４１を更新する。【選択図】図２
2019075051.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の時系列に写る追跡対象物体を追跡する画像処理装置であって、
処理対象の入力画像より過去の入力画像に写る追跡対象物体の各々について、前記処理対象の入力画像の部分領域が該追跡対象物体を含むか否かを、前記過去の入力画像に写る該追跡対象物体を含む物体領域の画像を正例とし、該物体領域ではない領域の画像を負例とする訓練データを用いた学習過程により該追跡対象物体に対して生成された識別器を用いて判定する判定部と、
前記追跡対象物体の各々を一の追跡対象物体として、前記一の追跡対象物体を含む前記部分領域の位置と他の追跡対象物体を含む前記部分領域の位置との間の距離である物体間距離に基づいて前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体の識別器の負例として前記訓練データに追加する負例追加部と、
前記追跡対象物体の各々について、少なくとも前記負例追加部により前記負例が追加された前記訓練データを用いて、該追跡対象物体に対する前記識別器を更新する識別器更新部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記負例追加部は、前記物体間距離が予め定められた負例追加距離未満である前記他の追跡対象物体を含む物体領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記負例追加部は、前記物体間距離が減少傾向である前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記負例追加部は、前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する際に、前記物体間距離が短いほど大きな重みを付けて前記訓練データに追加することを特徴とした請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記負例追加部は、更に前記他の追跡対象物体を含む前記部分領域の画像について前記他の追跡対象物体に対する前記識別器が算出した前記他の追跡対象物体らしさが予め定められた閾値以上である場合に、前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加することを特徴とした請求項１〜請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記負例追加部は、更に、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加済みであり、且つ前記物体間距離が増加傾向である前記他の追跡対象物体を含む前記部分領域の画像を前記訓練データから削除することを特徴とした請求項１〜請求項５の何れか１項に記載の画像処理装置。
【請求項７】
前記負例追加部は、前記一の追跡対象物体と前記他の追跡対象物体について前記判定部により前記識別器を用いた判定を行う部分領域の探索範囲が重複しているとき、前記物体間距離が前記探索範囲の重複範囲の大きさ以上である場合に、前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する請求項１〜請求項６の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に写る追跡対象物体を追跡する画像処理装置に関する。
【背景技術】
【０００２】
画像中に写った物体の位置を推定し、追跡する手法としてTracking-by-Detectionと呼ばれる技術が知られている。Tracking-by-Detectionでは、初期値として新規に画像に出現した物体を識別器等により検出、または矩形領域で指定し、矩形領域の極近傍からその物体を大よそ含むよう正例サンプル（正例データ）、その周辺において背景領域から物体を大よそ含まないよう負例サンプル（負例データ）を収集し、２クラスの識別器の学習を行う。図１（ａ）には、正例と負例のサンプル収集の例として、追跡対象物体として人物１０００、人物１０００を大よそ含み実線で示された正例データ１００１、人物１０００を大よそ含まず点線で示された負例データ１００２が示されている。
【０００３】
そして各時刻において、物体位置（人物の位置）を中心に、撮影条件や仮定している移動速度などを考慮して設定した探索領域内の各所においていわゆる検出窓を設定して、その内部の画像に識別器を作用させて物体らしさを示す指標（スコア）を求める。そしてその指標が最大となる箇所を新たな物体位置とすることを繰り返し、物体の追跡を行う。
【０００４】
その際、正例データと負例データを追加収集し識別器の再学習を行うことで、物体の見え方の変化に対応した追跡が可能となる。
【０００５】
非特許文献１には、このようなTracking-by-Detectionによる追跡手法が開示されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Hare, S., Saffari, A., Torr, P.H.: Struck: Structured output tracking with kernels, Computer Vision (ICCV), 2011 IEEE International Conference on. pp. 263-270.IEEE (2011)
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の方法では、その時点までの識別器では識別できない（すなわち学習したことがない）類似した物体が存在するときに、それを正例データとして収集し、その結果誤った追跡が行われてしまう可能性がある。これを図１（ｂ）および（ｃ）を用いて説明する。
【０００８】
同図には追跡対象として人物Ａ１０１０、人物Ｂ１０１１が同時に写っている様子が示されている。
【０００９】
人物Ａ１０１０を追跡するために識別器Ａ（不図示）、人物Ｂ１０１１を追跡するために識別器Ｂ（不図示）が用いられるとする。識別器Ａは正例データとして人物Ａ１０１０が写っている画像、負例データとして人物Ａ１０１０が写っていない画像を使って学習を進め、識別器Ｂは正例データとして人物Ｂ１０１１が写っている画像、負例データとして人物Ｂ１０１１が写っていない画像を使って学習を進める。
【００１０】
図１（ｂ）のように人物Ａ１０１０と人物Ｂ１０１１が画像中で離れた位置にて移動し続けると、識別器Ａの正例データは人物Ａ１０１０の画像ばかりとなり、負例データは背景の画像ばかりとなる。これは人物Ｂ１０１１の識別器Ｂでも同様であるが、人物Ａ１０１０と人物Ｂ１０１１が画像中で離れている間は、人物Ａ１０１０と人物Ｂ１０１１の近傍には特にそれぞれの人物と類似する物体は存在せず、精度よくそれぞれの人物を追跡できる。
【００１１】
しかし図１（ｃ）のように、人物Ａ１０１０と人物Ｂ１０１１が画像中で近くに位置すると（すれ違い、交差など）、識別器Ａが人物Ｂ１０１１を人物Ａ１０１０であると誤ってその後の追跡を行うことがある。これは、識別器Ａが人物の特徴について人物Ａ１０１０のみしか学習していないため、人物Ｂ１０１１であっても背景では無く、かつ人物Ａ１０１０の近くに位置しているため人物Ａ１０１０であるとの結果を示し、人物Ｂ１０１１を正例データに加えて学習を進めてしまうからである。
【００１２】
本発明は、上記課題を鑑みてなされたものであり、逐次更新される識別器を用いて物体識別を行う画像処理装置において、複数の追跡対象物体が写っている場合であっても、追跡対象物体を精度よく追跡することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために本発明に係る画像処理装置は、入力画像の時系列に写る追跡対象物体を追跡する画像処理装置であって、処理対象の入力画像より過去の入力画像に写る追跡対象物体の各々について、前記処理対象の入力画像の部分領域が該追跡対象物体を含むか否かを、前記過去の入力画像に写る該追跡対象物体を含む物体領域の画像を正例とし、該物体領域ではない領域の画像を負例とする訓練データを用いた学習過程により該追跡対象物体に対して生成された識別器を用いて判定する判定部と、前記追跡対象物体の各々を一の追跡対象物体として、前記一の追跡対象物体を含む前記部分領域の位置と他の追跡対象物体を含む前記部分領域の位置との間の距離である物体間距離に基づいて前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体の識別器の負例として前記訓練データに追加する負例追加部と、前記追跡対象物体の各々について、少なくとも前記負例追加部により前記負例が追加された前記訓練データを用いて、該追跡対象物体に対する前記識別器を更新する識別器更新部とを備えて構成されている。
【００１４】
本発明に係る負例追加部は、前記物体間距離が予め定められた負例追加距離未満である前記他の追跡対象物体を含む物体領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する。
【００１５】
本発明に係る負例追加部は、前記物体間距離が減少傾向である前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する。
【００１６】
本発明に係る負例追加部は、前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する際に、前記物体間距離が短いほど大きな重みを付けて前記訓練データに追加する。
【００１７】
本発明に係る負例追加部は、更に前記他の追跡対象物体を含む前記部分領域の画像について前記他の追跡対象物体に対する前記識別器が算出した前記他の追跡対象物体らしさが予め定められた閾値以上である場合に、前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する。
【００１８】
本発明に係る負例追加部は、更に、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加済みであり、且つ前記物体間距離が増加傾向である前記他の追跡対象物体を含む前記部分領域の画像を前記訓練データから削除する。
【００１９】
本発明に係る負例追加部は、前記一の追跡対象物体と前記他の追跡対象物体について前記判定部により前記識別器を用いた判定を行う部分領域の探索範囲が重複しているとき、前記物体間距離が前記探索範囲の重複範囲の大きさ以上である場合に、前記他の追跡対象物体を含む前記部分領域の画像を、前記一の追跡対象物体に対する前記識別器の負例として前記訓練データに追加する
【発明の効果】
【００２０】
以上説明したように、本発明の画像処理装置によれば、逐次更新される識別器を用いて物体識別を行う画像処理装置において、複数の追跡対象物体が写っている場合であっても、追跡対象物体を精度よく追跡することができる、という効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】（ａ）正例データ及び負例データを説明するための図、（ｂ）、（ｃ）入力画像の一例を示した図である。
【図２】本発明を適用した追跡装置１の概略構成を示した図である。
【図３】人物Ａの正例データ及び負例データの一例を示した図である。
【図４】人物Ａの正例データ及び負例データの一例を示した図である。
【図５】本発明の実施の形態に係る追跡装置１による全体処理の動作を示すフローチャートである。
【図６】本発明の実施の形態に係る追跡装置１による負例データ追加処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明にかかる画像処理装置を画像監視に好適な追跡装置に適用した例を、図を参照しつつ説明する。
【００２３】
＜追跡装置１の構成＞
以下、本発明を適用した追跡装置１の概略構成を示した図２を参照し、本発明の実施の形態の構成を説明する。
【００２４】
図２に、追跡装置１のブロック図を示す。追跡装置１は、撮像部１０、指定入力部２０、画像処理部３０、記憶部４０、及び出力部５０から構成されている。
【００２５】
以下、追跡対象物体は人物であるとし、人物Ａと人物Ｂが入力画像中に写っており、それぞれの人物を追跡するのに用いられる識別器を識別器Ａ、識別器Ｂとして説明する。
【００２６】
撮像部１０は、設置場所を撮影した入力画像の時系列を取得するためのカメラであり、カラー、モノクロ、可視光、近赤外、高解像度タイプ、など各種規格のものを用いることができ、特に限定はしない。
【００２７】
撮像部１０の設置位置はアプリによって好適なものを選択すればよい。画像監視に適用する場合には、物体を検出したい設置場所の床面の上方、例えば天井に設置され、斜め下向きに向けられる。支柱に取り付けられているとしてもよい。
【００２８】
また入力画像の時間間隔（フレームレート）が短い場合には、各入力画像間で人物の見え方の変化が少ないので、魚眼を含む広角のカメラを用いることもできる。
【００２９】
本実施の形態で用いるカメラは、広角レンズで問題になりがちな歪が問題にならないよう標準の画角を持つものとし、解像度は６４０×４８０画素、フレームレートは１０ｆｐｓとする。設置場所の条件や求められる性能に応じて他の画素数やフレームレートでも良い。
【００３０】
撮像部１０により取得された入力画像の時系列は、画像処理部３０に出力される。
【００３１】
指定入力部２０は、入力画像に人物が初めて写ったとき（新規出現時）に人物を指定し、以後の追跡対象物体とすべく画像処理部３０にその旨入力する手段である。
【００３２】
追跡装置１の操作者は、撮像部１０から入力され、モニター装置などで実現される出力部５０に表示された入力画像を目視確認し、当該新規出現した人物を囲うような矩形を出力部５０上にて指定し、入力画像中の座標情報（矩形の左上、または重心点）を入力する。
【００３３】
指定入力部２０は、例えばマウスやタッチペンなどで実現できる。あるいは出力部５０が液晶タッチパネルで実現されている場合には、出力部５０により指定入力部２０を実現しても良い。
【００３４】
あるいは、追跡対象物体となる人物について、その容姿等の画像情報が既知であり、大量の正例データと負例データが用意できる場合には、事前に別途学習過程により構成した識別器を用いることで、自動的に当該追跡対象物体となる人物の新規出現時に入力画像中の座標情報を取得できる。
【００３５】
記憶部４０は、ハードディスクや半導体メモリ等の各種記憶媒体で実現され、識別器４１、訓練データ４２、及び追跡履歴情報４３を記憶している。
【００３６】
このほか、図示しないが、記憶部４０は、画像処理部３０の機能を実現するためのプログラムや判定処理などに用いる閾値などのパラメータ類も記憶している。
【００３７】
識別器４１は、追跡対象物体である人物を入力画像から検出するため、その人数分だけ用意される。本実施の形態では人物Ａを追跡するための識別器Ａ４１０と人物Ｂを追跡するための識別器Ｂ４１１を記憶する。より多くの人物が存在する場合には、人物の各々について識別器４１を記憶する。
【００３８】
識別器４１は、Tracking-by-Detectionの手法に沿って構成され、収集された追跡対象物体である人物の画像データと当該人物以外の画像データを識別できるようにSVM（Support Vector Machine）法で識別境界を機械学習によって決定しておく。
【００３９】
特徴量としてはHaar-like特徴量、Histograms of Oriented Gradients（HOG）特徴量、Local Binary Pattern（LBP）特徴などの既存の特徴量のどれか一つでも良いし複数を組み合わせてもよい。
【００４０】
あるいはCNN（Convolutional Neural Network）の出力を用いてもよい。識別方法は、既存の学習方法であるSTRUCK（Structured Output Tracking with Kernels）やBoostingなどを用いて求める。その他の学習アルゴリズムを用いてもよい。
【００４１】
識別器４１は、画像の特徴量に対して、追跡対象物体である人物らしさを示すスコアを算出する。
【００４２】
訓練データ４２は、識別器４１のそれぞれを学習するために用いられる画像である。本実施の形態では、識別器Ａ４１０が正解とする人物Ａが写っている画像である正例データＡ４２０、人物Ａが写っておらず不正解とする画像である負例データＡ４２１、識別器Ｂ４１１が正解とする人物Ｂが写っている画像である正例データＢ４２２、人物Ｂが写っておらず不正解とする画像である負例データＢ４２３を記憶する。より多くの人物について識別器４１が用意される場合にはそれに応じて正例データと負例データを用意する。
【００４３】
正例データは、画像処理部３０の正例取得手段３５が、各処理時刻における追跡対象物体となる人物を含む部分領域の位置の極近傍において当該人物が大よそ写っている領域を特定し、その内部を抽出した物体領域の画像である。前述のように図１（ａ）を参照すると、人物１０００に対し、実線で示された符号１００１に示す矩形の内部の画像が正例データとなる。
【００４４】
負例データは、画像処理部３０の負例取得手段３６が、各処理時刻における追跡対象物体となる人物を含む部分領域の位置から離れた位置において当該人物が大よそ写っていない領域を特定し、その内部を抽出した画像である。前述のように図１（ａ）を参照すると、人物１０００に対し、点線で示された符号１００２に示す矩形の内部の画像が負例データとなる。
【００４５】
図３に、人物Ａに関する正例データＡ４２０と負例データＡ４２１の例を示す。
【００４６】
正例データＡ４２０は、人物Ａの全身を大よそ含む画像の集合である。人物Ａの全身についてちょうど外接するような画像を基準に、上下左右に幅と高さの１０％のずれまでを許容して複数枚、例えば最大５０枚を、各処理時刻において新たな正例データとすることができる。
【００４７】
一方、負例データＡ４２１は、人物Ａを含まない画像の集合であり、正例データの場合と同様に、各処理時刻において最大５０枚を新たな負例データとすることができる。識別器Ａ４１０が人物Ａを含まないと判断できる程度であれば、人物Ａの一部分が写りこんでいても負例データＡ４２１に含めても良い。
【００４８】
人物Ｂに関する正例データＢ４２２と負例データＢ４２３も同様である。
【００４９】
なお、記憶される訓練データ４２の枚数は、撮像部１０におけるフレームレートと、画像処理部３０の処理能力を考慮して決定する。例えば、各人物ごとに１０００枚とし、古いものから、あるいは識別器４１が算出したスコアの低いものから順次削除することで、最大の枚数を超えないようにする。
【００５０】
追跡履歴情報４３は、各処理時刻において位置推定手段３４が推定した、追跡対象物体である人物を含む部分領域の位置についての追跡情報である。記憶されるべき情報は、特に限定されないが、図２に示すように、追跡対象物体である人物についてのＩＤ、処理時刻、入力画像における追跡対象物体である人物を含む部分領域の位置（外接矩形の左上、またはその重心点の座標）が必要である。
【００５１】
位置を参照することで、前述の正例データ、負例データを取得すべき位置を決定することが可能となる。また過去時刻の位置と現在時刻の位置を比較することで移動速度や、人物同士が接近しているのか離れていくのかが把握可能となる。
【００５２】
画像処理部３０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部３０は、記憶部４０からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４０から読み出し、生成したデータを記憶部４０に記憶させる。
【００５３】
画像処理部３０は、部分領域抽出手段３１、特徴量算出手段３２、判定手段３３、位置推定手段３４、正例取得手段３５、負例取得手段３６、負例追加手段３７、及び識別器更新手段３８を有する。なお、負例取得手段３６及び負例追加手段３７が、負例追加部の一例である。
【００５４】
部分領域抽出手段３１は、撮像部１０からの現時刻の入力画像を処理対象として、処理対象の入力画像に対して、指定入力部２０にて指定入力された矩形の大きさの部分領域（検出窓）について、その内部の画像を部分画像として切り出す手段である。入力画像における各人物の大きさが大よそ仮定できる場合（例えば横６０画素、縦１４０画素）には、その大きさに合わせて切り出してもよい。または撮像部１０が天井から見下ろすように設置されている場合には、入力画像の上方と下方で部分領域の大きさを変化させても良い。この場合、上方であるほど小さくする。
【００５５】
さらには、追跡中の各人物について、前時刻での当該人物を含む部分領域の位置を中心に、移動方向や移動速度などを考慮して探索領域を設定し、その内部において部分領域を設定して部分画像を切り出すこととする。探索領域の大きさは、検出窓の大きさの縦横それぞれ２倍程度に設定すればよい。
【００５６】
切り出された部分画像は、特徴量算出手段３２に出力される。
【００５７】
特徴量算出手段３２は、処理対象の入力画像から切り出された部分画像から、識別器４１で用いる特徴量を算出する。具体的には、部分画像を予め定めたブロックサイズに区切り、それぞれのブロックで、識別器４１で用いる特徴量を算出する。次に、ブロック毎に算出した特徴量を一列に並べて特徴ベクトルを生成する。
【００５８】
判定手段３３は、処理対象の入力画像の部分画像が追跡対象物体である人物を含むか否かを判定する手段である。すなわち、部分画像に対して、特徴量に基づいて、記憶部４０から読み出した識別器４１の識別処理を行い、当該人物らしさを示すスコアを求めてそれが所定以上の場合には、当該部分画像が、追跡対象物体である人物を含むと判定する。
【００５９】
部分画像について、識別器Ａ４１０を作用させた結果のスコアが所定以上の場合には人物Ａを含むと判定し、識別器Ｂ４１１を作用させた結果のスコアが所定以上の場合には人物Ｂを含むと判定する。
【００６０】
前述のように探索領域を設定した場合は、その探索領域の人物に対応した識別器４１のみを作用させることで処理量削減を図ることができる。
【００６１】
位置推定手段３４は、追跡中の各人物について判定手段３３が当該人物を含むと判定した部分画像を含む検出窓群から、追跡中の各人物について、処理対象の入力画像中の当該人物を含む部分領域の位置を推定する手段である。
【００６２】
その推定に際しては、スコアが最大となった部分画像の検出窓の重心位置とすればよい。
【００６３】
あるいは、所定以上のスコアの部分画像の検出窓を複数特定してまとめ処理を行っても良い。そのためにMean-Shift法と呼ばれる、データ点が分布している空間内における密度の極大点を探索する手法を使用できる。この場合、一定以上の重なりがある検出窓について、その重心位置情報（ｘ座標、ｙ座標）と、標準の検出窓に対する縮尺率、及び、検出スコアからなる4次元空間内に、一定以上の重なりがある検出窓についてプロットし、密度の極大となる点を探す。その点が表す重心位置情報と縮尺率から、当該人物を含む部分領域の位置を推定してもよい。
【００６４】
位置推定手段３４は、追跡対象物体である人物のＩＤ、処理した時刻、入力画像中の位置情報を記憶部４０の追跡履歴情報４３に記憶する。
【００６５】
正例取得手段３５は、人物が新規出現であり指定入力部２０からの入力があった場合には、指定入力された領域の内部の画像を、当該人物の識別器４１に対する正例データとして記憶部４０の訓練データ４２に記憶する。即ち、その人物が人物Ａならば正例データＡ４２０、人物Ｂならば正例データＢ４２２に記憶させる。枚数は前述のように、ずれ量を１０％まで、人物ごとに最大５０枚とすればよい。
【００６６】
人物について追跡が行われており、学習も進んでいる場合には位置推定手段３４において人物の位置推定に用いた部分画像をそのまま正例データとして記憶部４０に記憶させれば良い。あるいは、新規出現後間もなくは正例データが少ないため、判定手段３３にて所定のスコア以上を示した部分画像を正例データとして記憶部４０に記憶させればよい。
【００６７】
負例取得手段３６は、追跡中の人物の各々について、判定手段３３においてスコアを求めるのに用いられた部分画像のうち、正例データとされた以外の画像を負例データとして記憶部４０の負例データＡ４２１や負例データＢ４２３に記憶させる。
【００６８】
ここで、追加記憶させる負例データは、正例データ（人物を含む物体領域の位置）からある程度遠いという条件を課すこととする。これは正例データから遠いと、正例となる人物は写っていないとの推定を働かせるのは妥当であり、逆に正例データに近いと当該人物の一部を含んでしまうあまり、不正解と判定しやすくなるからである。
【００６９】
さらには正例データから遠いほど小さな重みを負例データに付与し、正例データから近いほど大きな重みを負例データに付与して記憶するのが好適である。ここで、負例データに付与される重みが大きいほど、負例データの画像に対して識別器４１により算出されるスコアが小さくなるように識別器４１が学習される。
【００７０】
負例追加手段３７は、注目している人物の識別器４１の負例データに他の人物の正例データを一定条件下で追加する手段である。具体的には、負例追加手段３７は、注目している人物と当該他の人物の探索範囲が重複しているとき、注目している人物を含む部分領域の位置と、他の人物を含む部分領域の位置との物体間距離が、注目している人物と当該他の人物の探索範囲の重複範囲の大きさ以上であって、かつ、予め定められた負例追加距離未満であり、かつ、当該物体間距離が減少傾向である場合に、当該他の人物の正例データを、注目している人物の識別器４１の負例データとして訓練データ４２に追加する。
【００７１】
以下、そのように追加する理由を、注目している人物を人物Ａとして説明する。
【００７２】
人物Ａについての追跡と学習が進むと、正例データＡ４２０と負例データＡ４２１は前述したように図３に示すようになっている。
【００７３】
この状態で後述する識別器更新手段３８により再度の学習処理により更新される識別器Ａ４１０は部分画像について正解として「人物が写っており、それは人物Ａである」、不正解として「人物が写っておらず、背景が写っている」との識別をする性質を有することになる。
【００７４】
この状態で、図１（ｃ）を用いて上述したように、人物Ｂが接近すると、人物Ｂについての情報を学習していないため、人物Ｂが写っているにも関わらず「背景ではなく人物である。人物であるならばそれは人物Ａである」との識別結果を出しかねない。
これは人物Ｂの正例データが人物Ａの負例データＡ４２１に含まれていても、学習が進んだ結果その数が極わずかであり、割合が低ければ同様である。
【００７５】
すると、図４（ａ）に示すように、人物Ｂが写っている部分画像４０１が識別器Ａ４１０の正例データ４００に混入することになり、以後、識別器Ａ４１０は人物Ｂを正解として識別して追跡を継続するという「追跡対象物体の乗り移り」が発生する可能性があるからである。
【００７６】
そこで、負例追加手段３７は、人物Ａから人物Ｂへの「追跡対象物体の乗り移り」が発生することを防止するために、人物Ｂの正例データを、記憶部４０の識別器Ａ４１０の負例データＡ４２１に追加する処理を行う。その結果を図４（ｂ）に示す。
【００７７】
図４（ｂ）には、識別器Ａ４１０の負例データ４０４に、符号４０５に示すように人物Ｂが写った部分画像が追加された様子が示されている。
【００７８】
この状態で、識別器更新手段３８が識別器Ａ４１０の学習を行うと、正解として「人物が写っており、それは人物Ａである」、不正解として「人物が写っておらず、背景が写っている。人物が写っていても（人物Ａではなく）人物Ｂである」との識別をする性質を有することになり、人物Ａと人物Ｂが入力画像中で接近しても「追跡対象物体の乗り移り」が発生せず、正しく追跡できることになる。
【００７９】
ここで、探索領域の重複範囲の大きさとは、識別器４１について人物が存在するか否かを判定するために走査するための探索領域同士が重なっている範囲の大きさであり、具体的には、重複範囲における、一方の人物を含む部分領域の位置と他方の人物を含む部分領域の位置を結んだ線分上の長さである。
【００８０】
物体間距離が、探索領域の重複範囲の大きさ未満であると、人物Ｂの探索領域に人物Ａが含まれているため負例データの追加処理をしないことにより、人物Ａの正例データを識別器Ｂが人物Ｂの正例データと誤判断して、人物Ａの負例データに追加することを避けることができる。
【００８１】
また負例追加距離とは、図１（ｃ）のように、人物Ａと人物Ｂとの距離が近く「追跡対象物体の乗り移り」が発生する可能性が懸念されるほどの距離である。例えばその時刻で検出された人物の横幅の３倍とすることができる。
【００８２】
上記のように負例追加距離として上限を設定しているのは、ある程度人物同士が遠ければ、当然ながら「追跡対象物体の乗り移り」の可能性は無いと考えられるからである。
【００８３】
識別器更新手段３８は、追跡中の人物の各々について、正例取得手段３５、負例取得手段３６、負例追加手段３７により新たに記憶部４０の訓練データ４２に記憶された各データを反映させた学習過程により、識別器４１を更新する。
【００８４】
そのために識別器更新手段３８は、新たに訓練データ４２に記憶された各データの局所領域から前述のようにHaar-Like特徴量やHOG特徴量などの画像特徴を抽出し、正例と負例を識別する識別関数をSVM法によって算出する。
【００８５】
なお、処理が進むと過去の訓練データが多くなり学習処理時間が増大するため正例データ及び負例データが一定量になるように削除処理を含む制御をするのが好適である。削除の方法は、過去に追加された訓練データのうち、古いものから順に削除する。また、負例データを削除する際には識別境界から最も離れた負例データを削除してもよい。
【００８６】
さらには付与されている重みの絶対値が小さな正例データ及び負例データから削除してもよい。そのような正例データ及び負例データは識別処理に大きな影響を与えないからである。
【００８７】
また画像処理部３０は、撮像部１０から取得した入力画像とともに、位置推定手段３４が推定した、各人物の位置を目視確認容易な形式にて出力部５０に出力する。
【００８８】
各人物の位置は、単純な丸印のほか、×印、人物を囲う矩形にて表示できる。
【００８９】
出力部５０は、撮像部１０から取得した入力画像のほか、各人物を含む部分領域の位置、その移動履歴などを表示するモニター装置であり、液晶やＣＲＴモニターにて実現できる。前述のようにタッチパネルの機能を有する場合には、指定入力部２０の機能を兼ね備えることができる。
【００９０】
＜追跡装置１の動作＞
以下、図５に示したフローチャートを参照しつつ、本発明を適用した追跡装置１による全体処理の動作を説明する。図５に示すフローチャートは動作開始後、撮像部１０のフレーム間隔にあわせて、入力画像が１枚取得されるたびに実行される。
【００９１】
ステップＳ１００において、撮像部１０は、追跡対象物体となる人物が写り得る場所を写した現時刻における入力画像を処理対象として取得して、画像処理部３０に出力する。
【００９２】
ステップＳ１１０において、画像処理部３０は、前時刻までに追跡対象物体となっており、対応する識別器４１と訓練データ４２が既に記憶部４０に記憶済みの各人物について、処理対象の入力画像における当該人物を含む部分領域の位置の推定処理を行う。
【００９３】
まず、部分領域抽出手段３１は、追跡対象物体となる人物を１人特定する。例えば人物Ａとする。そして記憶部４０を参照し、前時刻における当該人物を含む部分領域の位置を読み出して、仮定している移動速度や移動方向を参照して、人物Ａが存在する可能性が高い領域として探索領域を設定する。撮像部１０を天井から斜め下方向を見下ろすように設置している場合、入力画像中の上方は実際には撮像部１０から遠いので小さく設定してもよい。
【００９４】
そして、その内部にて検出窓を設定して、その内部から部分画像を抽出し、特徴量算出手段３２に出力する。
【００９５】
特徴量算出手段３２では、抽出した部分領域から特徴量を抽出し、判定手段３３に出力する。
【００９６】
判定手段３３では、人物Ａに対応した識別器Ａ４１０を記憶部４０から読み出して、特徴量に作用させ、求めたスコアが所定以上の場合に、その部分画像が、人物Ａを含むと判定する。
【００９７】
部分領域抽出手段３１と特徴量算出手段３２と判定手段３３は、探索領域内部の各所にて上記の処理を繰り返す。
【００９８】
そして位置推定手段３４は、最大のスコアを示した部分画像の検出窓の位置が、処理対象の入力画像において人物Ａを含む部分領域の位置であるとの推定結果を求め、時刻情報などとともに記憶部４０の追跡履歴情報４３に記憶する。
【００９９】
画像処理部３０は、追跡中の他の人物についても上記のステップＳ１１０の処理を行う。
【０１００】
追跡装置１の操作者が目視確認して、追跡中の人物には含まれない人物が入力画像に含まれていると判断すると、それは処理対象の入力画像において新規に出現した人物であるとして、操作者が指定入力部２０を操作した結果をステップＳ１２０にて受け付ける。
【０１０１】
新規に出現した人物がいない場合、あるいは、別途自動的に新規出現の人物についての処理がなされる場合にはステップＳ１２０の処理は行わない。
【０１０２】
なお、図５では省略したが、入力画像中に人物が一人も写っていない場合には、以下の処理は行わずステップＳ１００に戻り、次の時刻の入力画像の取得を待つ。
【０１０３】
以下のステップＳ１３０〜Ｓ１６０は、処理対象の入力画像に写っている人物のそれぞれについて現時刻における当該人物を含む部分領域の位置が推定された状態で実行される、識別器４１の更新処理である。
【０１０４】
まず画像処理部３０は、更新処理の対象となる人物を１人特定する。例えば人物Ａとする。
【０１０５】
ステップＳ１３０にて、正例取得手段３５は、処理対象の入力画像での人物Ａを含む部分画像と、その部分領域の位置を含む近傍位置における検出窓から人物Ａを含む部分画像を抽出して正例データＡ４２０として記憶部４０に記憶させる。
【０１０６】
ステップＳ１４０にて、負例取得手段３６は、判定手段３３においてスコアを求めるのに用いられた部分画像のうち、人物Ａに重複しない領域内部の画像を負例データとして記憶部４０の負例データＡ４２１に記憶させる。
【０１０７】
ステップＳ１５０にて、負例追加手段３７は、人物Ａの識別器Ａ４１０の負例データに他の人物の正例データを一定条件下で追加する。具体的な処理は図６を参照して後述する。
【０１０８】
ステップＳ１６０にて、識別器更新手段３８は、ステップＳ１３０〜Ｓ１５０の処理結果を踏まえて、学習過程により識別器Ａ４１０の更新をする。
【０１０９】
以上のステップＳ１３０〜Ｓ１６０の処理を入力画像に写っている人物のそれぞれについて実行する。
【０１１０】
ステップＳ１７０にて、画像処理部３０は、処理対象の入力画像における追跡結果として出力部５０に出力（画面表示）したり、記憶部４０に記憶させる。
【０１１１】
次に図６を参照して、ステップＳ１５０において、負例追加手段３７によってなされる処理を説明する。
【０１１２】
図６に示すフロー図は、追跡処理の過程で注目する人物ごとに、他の人物のとの位置関係などを参照しつつ実行される。以下、注目する人物を人物Ａとし、他の人物を人物Ｂとする。
【０１１３】
ステップＳ２００において、負例追加手段３７は、記憶部４０の追跡履歴情報４３を参照し、処理対象の入力画像における人物Ａを含む部分領域の位置と人物Ｂを含む部分領域の位置との距離である物体間距離を求め、探索領域が重複しているとき、それが、探索領域の重複範囲の大きさ以上であり、かつ負例追加距離未満であるか否かを調べる。探索領域が重複していて物体間距離が重複範囲の大きさ未満であるか、又は、物体間距離が負例追加距離以上である場合には（Ｎｏの分岐）、特に何も処理はせず、図５のメインフローに戻りステップＳ１６０に進む。
【０１１４】
物体間距離が前述の範囲内であり（ステップＳ２００でＹｅｓの分岐）、記憶部４０の追跡履歴情報４３を時系列に参照すると人物Ｂが人物Ａに接近している、すなわち物体間距離が減少傾向である場合には、これまで述べてきたように「追跡対象物体の乗り移り」が懸念される状況にある（ステップＳ２１０のＹｅｓの分岐）。
【０１１５】
そこで、ステップＳ２２０において、負例追加手段３７は、識別器Ｂ４１１が人物Ｂを含む部分領域であると判定した物体領域の画像である正例データを人物Ａの負例データに追加する処理を行う（図４（ｂ）参照）。
【０１１６】
物体間距離が減少傾向ではなく、ほぼ同じ距離を保っている（人物Ａと人物Ｂが並んで歩くなど）場合にも、同じくステップＳ２２０に進んで追加する処理を行うものとする。
【０１１７】
また物体間距離の減少が速い、つまりは速く接近している場合には直ちに追加処理の効果を奏するべく、大きな重みを付けて負例データの追加を行うのが好適である。
【０１１８】
物体間距離が増加傾向である場合には、人物Ｂが人物Ａから離れていくことを意味している（ステップＳ２１０のＮｏの分岐）。
【０１１９】
この場合、「追跡対象物体の乗り移り」の懸念は解消されることになり、人物Ｂの正例データが人物Ａの負例データに存在しない方が良いことになる。理由は「追跡対象物体の乗り移り」の懸念が解消されるならば人物Ｂの正例データを人物Ａの負例データとして用いた学習処理は不要であり、処理の高速化が図れるためである。また人物Ａの正例データを人物Ｂの正例データと誤った判断をする結果、検出と追跡の失敗という副作用の防止も図れるためである。
【０１２０】
そこで負例追加手段３７は、人物Ａの負例データに人物Ｂの正例データが追加された実績がある場合には（ステップＳ２３０のＹｅｓの分岐）、人物Ａの負例データから人物Ｂの正例データを削除する処理を行う（ステップＳ２４０）。実績が無い場合には特に処理はしない（ステップＳ２３０のＮｏの分岐）。
【０１２１】
これらの一連の処理が終了すると、図５に示すメインフロー図のステップＳ１６０（識別器更新処理）に進む。
【０１２２】
以上説明してきたように、本発明の実施の形態に係る追跡装置１によれば、注目している人物と当該他の人物の探索範囲が重複しているとき、注目している人物を含む部分領域の位置と、他の人物を含む部分領域の位置との物体間距離が、注目している人物と当該他の人物の探索範囲の重複範囲の大きさ以上であって、かつ、負例追加距離未満であり、かつ、当該物体間距離が減少傾向である場合に、当該他の人物の正例データを、注目している人物の識別器４１の負例データとして訓練データ４２に追加することにより、逐次更新される識別器４１を用いて物体識別を行う際に、複数の人物が写っている場合であっても、各人物を精度よく追跡することができる。また、画像特徴が類似した複数の人物が接近しても正確な識別が可能となり、複数の人物を精度よく追跡することができる。
【０１２３】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【０１２４】
（変形例１）
上記図６のサブフローにおけるステップＳ２２０において、人物Ｂの正例データを人物Ａの負例データに追加する際、識別器Ｂ４１１が算出したその人物Ｂの正例データについてのスコアに閾値を課してもよい。すなわち、識別器Ｂ４１１が算出したその人物Ｂの正例データについてのスコアが、識別器４１の設計において最大に取りえるスコアの９５％以上の値を示した場合に、当該正例データを人物Ａの負例データに追加するようにしても良い。
【０１２５】
これは、人物Ｂの正例データに確実に、かつ識別に理想的な条件で人物Ｂが写っていると期待されるため、まさしく他の人物では無い、との性質を識別器４１に持たせられる効果を奏する。
【０１２６】
さらには、上記図６のサブフローにおけるステップＳ２２０では、人物Ａを含む部分領域と人物Ｂを含む部分領域同士の物体間距離が一定範囲内であり、物体間距離が減少傾向である場合の処理であったが、物体間距離に関わらず、人物Ｂの正例データを人物Ａの負例データに追加する際、識別器Ｂ４１１が算出したその人物Ｂの正例データについてのスコアに閾値を課してもよい。すなわち、上記と同様に識別器Ｂ４１１が算出したその人物Ｂの正例データについてのスコアが、識別器４１の設計において最大に取りえるスコアの９５％以上の値を示した場合に、当該正例データを人物Ａの負例データに追加するようにしても良い。
【０１２７】
（変形例２）
上記図６のサブフローにおけるステップＳ２２０において、人物Ｂの正例データを人物Ａの負例データに追加する際、その人物Ｂの正例データにあえて識別器Ａ４１０を作用させ、識別器Ａ４１０と識別器Ｂ４１１が算出したスコアを比較してもよい。すなわち、識別器Ａ４１０が算出したその人物Ｂの正例データについてのスコアと、識別器Ｂ４１１が算出したその人物Ｂの正例データについてのスコアとの差が予め定められた閾値以上である場合に、その人物Ｂの正例データを人物Ａの負例データに追加するようにしても良い。
【０１２８】
このように、当該人物Ｂの正例データについて識別器Ａ４１０が算出したスコアの方が高い場合には、一旦は識別器Ｂ４１１により人物Ｂを含む部分領域であると判定されたものの、画像特徴は人物Ａに良く似ているため、両者が近づくと「乗り移り」の可能性が一層高いため、当該人物Ｂの正例データを人物Ａの負例データに追加する処理を行うことで、「乗り移り」を一層防止できる。
【０１２９】
ただし、当該スコアの差が大きすぎる場合には、人物Ｂの正例データとしての信頼性に欠ける、つまり人物Ａが写っている可能性もあるので、当該スコアの差については上限を設けるのが望ましい。
【０１３０】
（変形例３）
上記の実施形態では、負例追加手段３７は、人物Ａを含む部分領域と人物Ｂを含む部分領域同士の物体間距離を、探索範囲の重複範囲の大きさや負例追加距離と比較して、人物Ｂの正例データを識別器Ａ４１０の負例データに追加することとしていたが、負例追加距離との大小に関わらず、物体間距離が、減少傾向であれば、当該追加処理を行うようにしてもよい。
【０１３１】
（変形例４）
上記の実施形態では、人物Ａを含む部分領域の位置と人物Ｂを含む部分領域の位置との空間的な距離である物体間距離を用いて、人物Ｂの正例データを人物Ａの負例データに追加することを行っているが、更に、人物Ａを含む部分領域の特徴量と人物Ｂを含む部分領域の特徴量との特徴量空間での距離である特徴量距離を用いて、人物Ｂの正例データを人物Ａの負例データに追加してもよい。すなわち、特徴量距離が予め定められた閾値以下の場合にそれぞれの人物の正例データを他方の人物の負例データに追加する。これは、算出した特徴量距離が短い場合には、２者が近付いた時に乗り移りが発生する可能性があるため、それぞれの人物の正例データを他方の人物の負例データに追加するのが好適だからである。
【０１３２】
また、特徴量距離が短いほど追加処理の効果を奏するべく、大きな重みを付けて追加するのが好適である。
【０１３３】
負例追加手段３７において、特徴量距離を算出する場合には、注目する人物Ａを含む部分領域と他の人物Ｂを含む部分領域それぞれの画像に対し、特徴量算出手段３２と同様に、特徴量の算出を行う（図示せず）。特徴抽出は、部分画像を予め定めたブロックサイズに区切り、それぞれのブロックで特徴量を計算する。特徴量としては、識別器４１で用いる特徴量と同じでもよいし、Lab色空間における色情報やRGBカラーヒストグラムなど、識別器４１で用いる特徴量と異なる特徴量でもよい。次に、ブロック毎に算出した特徴量を一列に並べて特徴ベクトルを生成する。特徴量にLabを使用した場合は、チャンネルごとに特徴ベクトルを求め、それをさらに一列に結合して特徴ベクトルを生成する。
【０１３４】
次に、人物Ａと人物Ｂのそれぞれの部分領域から生成した特徴ベクトルの類似度を、特徴量距離として計算する。本実施形態では、類似度の計算方法として正規化相関を用いるが、ユークリッド距離やSSDなどの他の類似度計算方法を用いてもよい。
【０１３５】
また、更に特徴量距離が減少傾向であることを条件として追加して、それぞれの人物の正例データを他方の人物の負例データに追加するようにしてもよい。これにより、人物Ａの画像特徴と人物Ｂの画像特徴とが時間を追って似つつあること（例えば、照明の変化などにより画像特徴が似てくる場合など）を考慮して、それぞれの人物の正例データを他方の人物の負例データに追加することができる。
【０１３６】
（変形例５）
さらには、上記図６のサブフローにおけるステップＳ２２０は、人物Ａを含む部分領域と人物Ｂを含む部分領域同士の物体間距離が一定範囲内であり、物体間距離が減少傾向である場合の処理であったが、その条件に関わらず、物体間距離が短いほど大きな重みを付けて人物Ｂの正例データを人物Ａの負例データに追加してもよい。
【０１３７】
（変形例６）
さらには、上記図６のサブフローにおけるステップＳ２４０は、人物Ａを含む部分領域と人物Ｂを含む部分領域同士の物体間距離が一定範囲内である場合の処理であったが、その条件に関わらず、物体間距離が増加傾向にある場合に、人物Ａの負例データに追加されている人物Ｂの正例データを削除してもよい。
【０１３８】
（変形例７）
さらには、上記図６のサブフローにおけるステップＳ２００は、人物Ａを含む部分領域の位置と人物Ｂを含む部分領域の位置との距離である物体間距離を求め、探索領域が重複しているとき、それが、探索領域の重複範囲の大きさ以上であり、かつ負例追加距離未満である場合の処理であったが、物体間距離と負例追加距離との大小に関わらず、探索領域が重複しており、物体間距離が探索領域の重複範囲の大きさ以上ならば人物Ｂの正例データを人物Ａの負例データに追加してもよい。
【０１３９】
（変形例８）
上記の実施形態では、人物を追跡対象物体とする場合を例に説明したが、これに限定されるものではなく、他の物体を追跡対象物体としてもよい。
【符号の説明】
【０１４０】
１     追跡装置
１０   撮像部
２０   指定入力部
３０   画像処理部
３１   部分領域抽出手段
３２   特徴量算出手段
３３   判定手段
３４   位置推定手段
３５   正例取得手段
３６   負例取得手段
３７   負例追加手段
３８   識別器更新手段
４０   記憶部
４１   識別器
４２   訓練データ
４３   追跡履歴情報
５０   出力部
【図１】
2019075051.tif 000003
【図２】
2019075051.tif 000004
【図３】
2019075051.tif 000005
【図４】
2019075051.tif 000006
【図５】
2019075051.tif 000007
【図６】
2019075051.tif 000008