(57)【要約】  人物領域情報抽出部１０１は、映像に含まれる人物の属する領域である人物領域を検出し、人物領域の情報を記述した情報人物領域情報を生成する。同伴者判定部１０２は、人物領域情報と追跡対象者を指定する情報とに基づいて、人物領域情報に含まれる人物中から追跡対象者に同伴する少なくとも１人の同伴者を特定し、同伴者を記述した情報である同伴者情報を生成する。特徴人物選出部１０３は、同伴者判定情報によって指定される同伴者の中から、人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、特徴人物を記述した情報である特徴人物情報を生成する。人物追跡部１０４は、人物領域情報と、特徴人物選出情報と、に基づいて特徴人物の追跡結果を算出する。
2012131816.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した人物領域情報を生成する人物領域情報抽出手段と、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成する同伴者判定手段と、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成する特徴人物選出手段と、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する人物追跡手段と、
を有する人物追跡装置。
【請求項２】
前記同伴者情報は、前記追跡対象者を指定する情報を含み、
前記特徴人物選出手段は、前記追跡対象者と前記特徴人物との相対位置を表す追跡対象者相対位置情報を算出し、
前記人物追跡装置は、前記特徴人物追跡結果と前記追跡対象者相対位置情報とから前記追跡対象者の追跡結果を算出する追跡結果算出手段をさらに有する、
請求項１に記載の人物追跡装置。
【請求項３】
前記特徴人物選出手段は、特徴量の値の特異性に関する情報を記述した特徴特異性情報を蓄積する特徴特異性情報蓄積手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする請求項１または２に記載の人物追跡装置。
【請求項４】
前記特徴人物選出手段は、前記人物領域情報に記述された人物の特徴量に基づいて、特徴量の値の特異性に関する情報である特徴特異性情報を算出する特徴特異性判定手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする請求項１または２に記載の人物追跡装置。
【請求項５】
前記特徴人物選出手段は、前記人物領域情報に記述された各人物の特徴量に基づいて、特徴量の値の特異性に関する情報である第１の特徴特異性情報を算出する特徴特異性判定手段と、
特徴量の値の特異性に関する情報を記載した第２の特徴特異性情報を蓄積する特徴特異性情報蓄積手段と、
前記第１の特徴特異性情報と前記第２の特徴特異性情報とを統合した統合特徴特異性情報を算出する特徴特異性情報統合手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記統合特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする請求項１または２に記載の人物追跡装置。
【請求項６】
前記特徴特異性判定手段は、前記特徴量の値の出現頻度が小さくなるにつれて前記特異性を高く設定することを特徴とする請求項４または請求項５に記載の人物追跡装置。
【請求項７】
前記特徴特異性情報蓄積手段は、現在位置、季節、時間の少なくとも１つに応じて蓄積する前記特徴特異性情報を変更することを特徴とする請求項３に記載の人物追跡装置。
【請求項８】
前記特徴特異性情報統合手段は、前記第１の特徴特異性情報と前記第２の特徴特異性情報と、から平均値を算出し、当該平均値から前記統合特徴特異性情報を生成することを特徴とする請求項５に記載の人物追跡装置。
【請求項９】
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、人物追跡方法。
【請求項１０】
映像に含まれる人物を追跡する処理をコンピュータに実行させるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記処理は、前記映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、人物追跡プログラムを格納した非一時的なコンピュータ可読媒体。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は人物追跡装置、人物追跡方法および人物追跡プログラムを格納した非一時的なコンピュータ可読媒体に関し、特に監視カメラで撮影された映像を用いて人物を追跡する人物追跡装置、人物追跡方法および人物追跡プログラムを格納した非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
近年、監視カメラで撮影された映像を用いて人物を追跡する技術が開示されている。特許文献１は、人物追跡方法の一例として人物の色特徴に基づいて人物を追跡する方式について開示している。【０００３】
図９は、特許文献１に開示されている人物追跡システムの実施形態を示している。当該人物追跡システムは、人物領域抽出手段１と、ボクセル生成手段２と、人物色特徴抽出手段３と、人物追跡手段４と、からなる。【０００４】
人物領域抽出手段１は、監視映像から人物領域を抽出し、ボクセル生成手段２へ人物領域抽出結果を出力する。ボクセル生成手段２は、人物領域抽出手段１から出力された人物領域抽出結果からボクセル情報を生成し、生成したボクセル情報を人物色特徴抽出手段３へ出力する。人物色特徴抽出手段３は、ボクセル生成手段２から出力されたボクセル情報と監視映像から人物色特徴を抽出し、抽出した人物色特徴を人物追跡手段４へ出力する。人物追跡手段４は、人物色特徴抽出手段３から出力された人物色特徴を用いて人物を追跡し、人物追跡結果を出力する。【０００５】
次に、図９に示す人物追跡システムの動作詳細について説明する。【０００６】
人物領域抽出手段１は、カメラから入力される監視映像から、背景差分法によって人物領域を抽出する。そして、人物領域抽出手段１は、抽出した人物領域抽出結果をボクセル生成手段２に出力する。【０００７】
ボクセル生成手段２は、入力された人物領域抽出結果に基づいてボクセルを生成する。ここで、入力される人物領域抽出結果は、複数のカメラによって取得したものである。ボクセル生成手段２は、入力された人物領域抽出結果を視体積交差法によって３次元空間に投影することにより、空間上での人物の存在位置を表すボクセルを生成する。ボクセル生成手段２は、生成したボクセルを人物色特徴抽出手段３に出力する。【０００８】
人物色特徴抽出手段３は、生成されたボクセルと監視カメラ映像に基づいて、人物色特徴として、人物の足元から頭までの色の垂直方向の分布を求める。この際に人物色特徴抽出手段３は、ボクセルの各高さに対して色の平均を算出し、身長で正規化して人物色特徴を算出する。この色特徴は基本的には着ている服の色によって定まるが、同じ高さで全方向の色の平均を算出した値を用いる。これにより、人物色特徴抽出手段３は、服の見え方が方向によって変化することに対して、頑健な色特徴の抽出を実現している。【０００９】
人物追跡手段４は、得られた人物色特徴と過去に得られた人物色特徴とを比較し、類似性を判定する。人物追跡手段４は、判定結果に応じて、過去に算出したボクセルと、直近に算出したボクセルとの対応関係を算出する。この結果、人物追跡手段４は、過去の人物抽出結果と現在の抽出結果とを対応付けた人物追跡結果を算出する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２５０６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献１に記載の人物追跡システムでは、追跡対象者の着用する服に特徴が無い場合、当該追跡対象者の追跡が困難になる。一般的に、服は類似したものが多い。追跡対象者の着用する服と類似色の服を着用する人物が多い場合、当該人物追跡システムは他の類似した人と混同する確率が大きくなり、精度の高い追跡が困難である。特に、画角に重なりのない監視カメラ間で人物を追跡する場合、特許文献１に記載の人物追跡システムでは、追跡対象者がカメラの死角に入って一旦追跡が途切れると、別のカメラの撮像範囲に追跡対象者が再び現れても、正しく追跡することが困難になる。【００１２】
本発明はこのような問題に鑑みてなされたものであり、追跡対象者に特徴が少ない場合であっても高精度な追跡対象者の追跡が可能となる人物追跡装置、人物追跡方法、及び人物追跡プログラムを格納した非一時的なコンピュータ可読媒体を提供することを主たる目的とする。
【課題を解決するための手段】
【００１３】
本発明にかかる人物追跡装置の一態様は、
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した人物領域情報を生成する人物領域情報抽出手段と、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成する同伴者判定手段と、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成する特徴人物選出手段と、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する人物追跡手段と、
を有する、ものである。【００１４】
本発明にかかる人物追跡方法の一態様は、
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、ものである。【００１５】
本発明にかかる人物追跡プログラムを格納した非一時的なコンピュータ可読媒体の一態様は、
映像に含まれる人物を追跡する処理をコンピュータに実行させるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記処理は、前記映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、ものである。
【発明の効果】
【００１６】
本発明では、追跡対象者に特徴が少ない場合であっても高精度な追跡対象者の追跡が可能となる人物追跡装置、人物追跡方法、及び人物追跡プログラムを格納した非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１にかかる人物追跡装置の構成を示すブロック図である。
【図２】実施の形態１にかかる同伴者判定部１０２の処理の流れを表すフローチャートである。
【図３】実施の形態１にかかる同伴者判定部１０２の処理の流れを表すフローチャートである。
【図４】実施の形態１にかかる人物追跡装置１００の処理の流れを表すフローチャートである。
【図５】実施の形態１にかかる特徴人物選出部１０３の構成を表すブロック図である。
【図６】実施の形態１にかかる特徴人物判定部２０１の処理の流れを表すフローチャートである。
【図７】実施の形態２にかかる特徴人物選出部１０３の構成を表すブロック図である。
【図８】実施の形態３にかかる特徴人物選出部１０３の構成を表すブロック図である。
【図９】特許文献１に開示されている人物追跡システムの構成を表すブロック図である。
【発明を実施するための形態】
【００１８】
＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる人物追跡装置の構成を示すブロック図である。人物追跡装置１００は、人物領域情報抽出部１０１と、同伴者判定部１０２と、特徴人物選出部１０３と、人物追跡部１０４と、追跡結果算出部１０５と、を有する。
【００１９】
人物領域情報抽出部１０１は、監視映像を入力とし、抽出した人物領域情報を同伴者判定部１０２、特徴人物選出部１０３、及び人物追跡部１０４に出力する。同伴者判定部１０２は、人物領域情報抽出部１０１から出力された人物領域情報と、追跡対象者情報とを入力とし、算出した同伴者情報を特徴人物選出部１０３に出力する。特徴人物選出部１０３は、人物領域情報抽出部１０１から出力された人物領域情報と、同伴者判定部１０２から出力された同伴者情報と、を入力とし、算出した特徴人物情報を人物追跡部１０４に出力するとともに、算出した追跡対象者相対位置情報を追跡結果算出部１０５に出力する。人物追跡部１０４は、人物領域情報抽出部１０１から出力された人物領域情報と、特徴人物選出部１０３から出力された特徴人物情報と、を入力とし、算出した特徴人物追跡情報を追跡結果算出部１０５に出力する。追跡結果算出部１０５は、人物追跡部１０４から出力された特徴人物追跡情報と、特徴人物選出部１０３から出力された追跡対象者相対位置情報と、を入力とし、追跡対象者追跡結果を算出して任意の処理部に出力する。
【００２０】
次に、図１に示す人物追跡装置の動作詳細について説明する。
【００２１】
まず、監視映像が人物領域情報抽出部１０１に入力される。人物領域情報抽出部１０１は、入力された監視映像からフレーム画像を生成する。そして人物領域情報抽出部１０１は、フレーム画像から人物領域を抽出する処理を行い、さらにその人物領域を記述した人物領域情報を抽出する処理を行う。ここで、入力された監視映像がアナログ映像である場合、人物領域情報抽出部１０１は、監視映像をキャプチャしてフレーム画像を生成する。一方、監視映像がH.264やMotion JPEG，MPEG-2などで符号化されたデジタル映像である場合、人物領域情報抽出部１０１は、それぞれ対応する復号方式によって復号してフレーム画像を生成する。
【００２２】
人物領域情報抽出部１０１による人物領域の抽出処理は、既存の様々な方式を利用することができる。例えば、背景差分に基づく人物領域の抽出では、人物領域情報抽出部１０１は、時系列に沿って入力されるフレーム画像から背景の情報を表すモデルを構築し、このモデルを用いて移動物体を抽出し、抽出した情報から人物領域を抽出する。最も単純には、人物領域情報抽出部１０１は、画像の静止領域の情報を複数フレーム間で平均することにより生成した背景画像を背景モデルとして定義し、フレーム画像と背景画像との差分を計算し、差分が大きい領域を移動物体として抽出する。ここで、移動物体が人物に限定される場合、人物領域情報抽出部１０１は移動物体抽出結果をそのまま人物領域抽出結果としてもよい。一方、人物以外にも移動物体が存在する場合、人物領域情報抽出部１０１は、抽出された移動物体領域に対して人物に該当するかどうかの判定を行い、人物である可能性が高い領域のみを人物領域として抽出してもよい。
【００２３】
人物領域情報抽出部１０１は、背景モデルを用いずに直接人物のモデルを用いて人物領域を抽出してもよい。ここで用いる人物モデルは、人物全体を表すモデルであってもよいし、人物の一部を表すモデルであってもよい。例えば、人物領域情報抽出部１０１は、人物の一部として顔や頭部をモデル化して抽出するようにした顔検出器や頭部検出器を用いて、顔や頭部を検出し、検出結果から人物領域を定めるようにしてもよい。あるいは、人物領域情報抽出部１０１は、上半身や下半身など人物領域の一部を検出する検出器を用いて、人物領域を抽出するようにしてもよい。
【００２４】
人物領域情報抽出部１０１は、上述した方式により抽出した人物領域から人物領域情報を抽出する。人物領域情報とは、抽出された人物領域の特徴を表す情報である。人物領域情報は、人物領域の画像上の位置や形状を表す情報と、その情報によって指定される領域に含まれる人物の特徴を記述する情報と、が含まれる。
【００２５】
前者（人物領域の画像上の位置や形状を表す情報）は、人物の形状を表すシルエット情報（人物の領域に相当する画素にラベルを付与した情報）、人物領域の外接矩形を表す矩形情報、あるいは、同様に人物領域の形状や位置を表す情報であればどのような情報であってもよい。例えば、MPEG-7で規定されている領域を記述する記述子を用いて領域情報を表すことも可能である。
【００２６】
一方、後者（指定される領域に含まれる人物の特徴を記述する情報）は、領域内に含まれる画像特徴や人物自体の高次の特徴まで含めた様々なものが考えられる。例えば、当該情報には、人物の顔特徴を表す特徴量、髪の色や髪型、髪の毛の特徴を表す特徴量、服の色や模様、形状を表す視覚特徴量、服の種別を表す情報、人物の付帯物（帽子やめがね、マスク、ハンドバッグ、ネクタイ、マフラーなど、人物が身につけているもの）、服に記された特定のマークやロゴを表す情報、肌の色を表す情報などが含まれる。
【００２７】
顔特徴は、従来から用いられている顔検出器と顔特徴抽出を用いて算出することができる。服の特徴は、人物領域から服の領域を指定し、その領域を記述する情報を抽出することにより算出される。色や模様、形状の特徴抽出法としては、従来の様々な方式（例えばMPEG-7で規定されている色や模様、形状を記述する方式）を用いることができる。人物の付帯物を記述する情報は、頭部や身体の特定の部位から該当する物体を検出する検出器を用いて付帯物を検出し、その領域を記述する情報を抽出することにより算出される。服に記された特定のマークやロゴも、それらのパターンを学習した識別器を用いて検出することが可能である。当該特定のマークやロゴも検出された領域からその特徴を記述する情報や識別した結果を抽出することにより算出される。肌の色の場合も、肌領域を人物領域から推定し、その部分の色を求めることで抽出可能である。
【００２８】
上記した以外にも、後者の情報（指定される領域に含まれる人物の特徴を記述する情報）には、より高次な特徴を含めることも可能である。例えば、人物の身長情報を特徴としても良い。人物の身長情報は、カメラで取得した画像の２次元位置から、カメラのキャリブレーションデータを用いることによって実世界における人物の３次元位置を算出し、当該３次元位置から算出することができる。また、人物の体格に関する情報も同様に抽出し、特徴として利用できる。あるいは、年齢・性別推定器を用いることによって人物の年齢や性別に関する情報を抽出し、当該抽出した情報を特徴として用いることもできる。または、人物が車椅子に乗っているといった特定の状態を判定する識別器を用いることによって、車椅子に乗っている、子供を抱っこしている、杖をついて歩いているといった人物の状態を記述する情報を抽出し、特徴として用いることもできる。あるいは、歩き方の特徴である歩容特徴を算出し、特徴として用いることもできる。特定の状態を識別したり、歩容特徴を分類したりする識別器は、学習画像を用いて識別器を学習させることによって構築可能である。
【００２９】
人物領域情報抽出部１０１は、抽出した人物領域情報を同伴者判定部１０２と、特徴人物選出部１０３と、人物追跡部１０４と、に出力する。
【００３０】
続いて、同伴者判定部１０２の動作について説明する。同伴者判定部１０２は、入力された追跡対象者情報と、人物領域情報抽出部１０１から出力された人物領域情報と、から、追跡対象者の同伴者を判定し、判定結果を同伴者情報として出力する。同伴者の判定方法には、追跡対象者を特定してから同伴者を特定する方法と、追跡対象者を含むグループを判定してから追跡対象者を特定する方法の大きく２つの方法がある。
【００３１】
追跡対象者を特定してから同伴者を判定する方法では、同伴者判定部１０２はなんらかの方法で追跡対象者を同定し、次にその周囲に存在する人を同伴者と判定する。図２のフローチャートを参照してこの処理を説明する。
【００３２】
はじめに、同伴者判定部１０２は、追跡対象者情報と人物領域情報とから追跡対象者を特定する（Ｓ５０１）。追跡対象者情報が追跡対象者の顔特徴量を含み、人物領域情報が人物の顔特徴量を含む場合、同伴者判定部１０２は、追跡対象者の顔特徴量と人物領域情報の顔特徴量を照合し、追跡対象者を同定する。追跡対象者情報がRFIDなどの他のセンサ情報によって得られた位置情報を含む場合、同伴者判定部１０２は、人物領域情報に含まれる人物位置情報と比較し、位置がほぼ一致する人物を追跡対象者として同定する。なお、この追跡対象者の同定処理は、全てのフレームで実行可能とは限らないため、実行可能なフレームにおいて実行される。
【００３３】
続いて、同伴者判定部１０２は、同定した追跡対象者の同伴者を判定する（Ｓ５０２）。同伴者の判定（Ｓ５０２）では、同伴者判定部１０２は、例えば、同定した追跡対象者と人物領域情報に含まれる各人物との画像中における距離が一定時間内に一定の閾値以内であれば同伴者と判定する。すなわち、同伴者判定部１０２は、追跡対象者が同定されたフレームから数フレーム間、入力される人物領域情報から各人物の動きを追跡し、各フレームにおいて、追跡対象者とそれ以外の人物の距離を算出する。そして、同伴者判定部１０２は、この距離が所定の閾値以内に収まっている場合に当該人物を同伴者と判定する。ここで、同伴者判定部１０２は、追跡している間、常に所定の閾値に収まっている人物のみを同伴者と判定しなくても良く、一定の割合以上、閾値以内であった人物を同伴者と判定するようしてもよい。
【００３４】
あるいは、同伴者判定部１０２は、画像中の２次元座標と実世界の３次元座標との対応付けに用いるカメラのキャリブレーション情報と、画像中の人物の位置と、を用いて、実世界上での各人物の位置情報を算出する。そして、同伴者判定部１０２は、各人物の位置情報を用いて追跡対象者の同伴者を判定するようにしてもよい。
【００３５】
または、同伴者判定部１０２は、追跡対象者が同定されたフレームにおいて、距離が一定閾値以内の人物を同伴者候補とする。そして、同伴者判定部１０２は、同伴者候補の動きを求めて、追跡対象者と同じ方向に同程度の速度で動いているかどうかを判定することによって同伴者か否かを判定してもよい。
【００３６】
同伴者判定部１０２は、同伴者の判定（Ｓ５０２）の処理結果として同伴者情報を生成する。同伴者情報は、人物領域情報に含まれる各人物の情報のうち、追跡対象人物の同伴者である人物に対応する情報はどれかを指定する情報である。例えば、同伴者情報は、人物領域情報に含まれる各人物が同伴者かどうかを示すフラグを付与し、この値が１であれば同伴者、そうでなければ同伴者でないことを表す。または、同伴者情報は、同伴者かどうか不明であるという状態も含むようにして、３値で表すようになっていてもよい。同伴者情報は、追跡対象者を特定する情報も含む情報である。この同伴者情報の算出は、追跡対象者が特定できた場合にのみ行われる。
【００３７】
次に、追跡対象者を含むグループを判定してから追跡対象者を特定する方法について説明する。同伴者判定部１０２は、追跡対象者が含まれることが推定される人物のグループを算出し、このグループ内から同伴者を判定する。図３のフローチャートを参照してこの処理を説明する。
【００３８】
同伴者判定部１０２は、人物領域情報に含まれる各人物の位置情報から、位置が近い人物同士をグループ化する（Ｓ５１１）。この際、同伴者判定部１０２は、画像上の位置を用いてもよいし、上述のようにカメラのキャリブレーション情報を用いて実世界上での人物の位置を算出し、算出した位置情報を用いてもよい。
【００３９】
次に、同伴者判定部１０２は、同伴者の判定を行う（Ｓ５１２）。追跡対象者情報がセンサ情報などの他の情報によって得られた追跡対象者の位置情報を含む場合、同伴者判定部１０２は、追跡対象者が含まれる可能性が最も高いグループを選択する。同伴者判定部１０２は、選択したグループから同伴者情報を生成する。
【００４０】
次に、同伴者判定部１０２は、追跡対象者の判定を行う（Ｓ５１３）。追跡対象者情報が追跡対象者を指定可能な情報（顔特徴量や服の視覚特徴量など）も含んでいる場合、同伴者判定部１０２は、同伴者の中から追跡対象者の可能性が高い人物を絞り込む。そして同伴者判定部１０２は、追跡対象者を特定する情報も同伴者情報に含める。この判定は毎フレーム行われる必要はなく、追跡対象者が含まれる可能性が高いグループが特定できた場合にのみ行われればよい。
【００４１】
上記した主に２つの方法のいずれかによって得られた同伴者情報（追跡対象者の情報を含みうる）は、特徴人物選出部１０３に出力される。
【００４２】
続いて、特徴人物選出部１０３について説明を行う。特徴人物選出部１０３は、人物領域情報抽出部１０１から出力された人物領域情報と，同伴者判定部１０２から出力された同伴者情報と、に基づいて特徴人物情報及び追跡対象者相対位置情報を算出する。
【００４３】
特徴人物情報は、どの人物が特徴的であり、追跡しやすいかを表す情報である。例えば、白い服を着た集団に一人赤い服を着た人がいる場合、赤い服を着た人は他の人と全く異なる服装である。そのため、服の色を用いて追跡する場合、赤い服を着た人を他の人と混同する可能性は低いと考えられる。逆に他の白い服を着た人を追跡する場合、他にも白い服の人がたくさんいるために追跡を誤る可能性が高い。このように、特徴人物選出部１０３は、人物領域情報に含まれる各人物の追跡のしやすさを判定し、追跡のしやすさが高い人物を特徴人物として選出する。特徴人物選出部１０３の構成、及び動作の詳細については後述する。
【００４４】
追跡対象者相対位置情報は、追跡対象者と、同伴者中から選出された特徴人物と、の相対位置を表す情報である。例えば、追跡対象者相対位置情報は、追跡対象者の位置座標から特徴人物の位置座標を減算して得られるベクトル情報である。あるいは、追跡対象者相対位置情報は、「追跡対象者が特徴人物の後方にいる」といった大雑把に相対位置関係を表す情報であってもよい。または、同伴者情報に含まれる人物中で追跡対象者である可能性が高い人物が複数存在する場合、相対位置情報は、それら複数の人物情報から求まる座標の代表値（平均、ある一点など）であってもよい。相対位置情報の詳細についても後述する。
【００４５】
特徴人物選出部１０３は、算出した特徴人物情報を人物追跡部１０４に出力し、算出した追跡対象者相対位置情報を追跡結果算出部１０５に出力する。なお、特徴人物は必ずしも一人に限定する必要はなく、複数存在しても良い。
【００４６】
続いて、人物追跡部１０４について説明する。人物追跡部１０４は、人物領域情報抽出部１０１から出力された人物領域情報と、特徴人物選出部１０３から出力された特徴人物情報と、から、特徴人物を追跡した特徴人物追跡情報を算出する。追跡の方法は、従来用いられているどのような追跡方法を用いてもよい。同一カメラ映像内での人物の追跡を行う場合、人物追跡部１０４は、例えば服の特徴量を利用したパーティクルフィルタによって追跡を行うようにしてもよい。あるいは、人物追跡部１０４は、カルマンフィルタを用いて追跡を行うようにしてもよい。
【００４７】
次に複数のカメラによる監視映像が入力される場合について説明する。複数カメラ間での追跡の場合、人物追跡部１０４は、現在追跡が行われているカメラの画角外の領域に追跡を行っている人物が出た場合に次に近隣のどのカメラの領域に行くか、どの位の時刻にそのカメラの画角に入ってくるかを予測する。そして人物追跡部１０４は、次に追跡が行われるカメラ（を制御する制御部）に対して人物の特徴とそのカメラの画角への到達予定時刻の情報を通知する。次に追跡を行うカメラの制御部は、情報を受信すると到達予定時刻より少し前から該特徴人物の探索を開始する。具体的には、次に追跡を行うカメラの制御部は、画角内に新たに入ってくる人物の特徴と、追跡中の特徴人物の特徴と、を比較し、特徴が合致する人物が存在するか否かを判定する。当該カメラの画角内に追跡対象者が入ってきた場合、人物追跡部１０４は、当該カメラ内でその人物を追跡する処理に切り替えて人物の追跡を行う。同一カメラ内で人物を追跡する方法に関しては、上述の通りである。
【００４８】
人物追跡部１０４は、算出した特徴人物に対する追跡情報を特徴人物追跡情報として追跡結果算出部１０５に出力する。
【００４９】
追跡結果算出部１０５は、人物追跡部１０４から出力された特徴人物追跡情報と、特徴人物選出部１０３から出力された追跡対象者相対位置情報と、から、追跡対象者追跡結果を算出する。
【００５０】
具体的には、追跡結果算出部１０５は、特徴人物追跡情報に追跡対象者相対位置情報を加算することによって追跡対象者の人物追跡結果を算出する。ただし、追跡対象者相対位置情報は、常に算出できるとは限らない。そのため、追跡対象者相対位置情報が算出できていない時刻では、追跡結果算出部１０５は、それ以前の相対位置情報をそのまま用いて人物追跡結果を算出するか、あるいは、それ以前の相対位置情報から予測して人物追跡結果を算出するようにしてもよい。
【００５１】
また人物追跡結果の出力に遅延が許される場合には、追跡結果算出部１０５は、次に追跡対象者相対位置情報が算出されるまで特徴人物追跡情報をバッファに一時的に溜めておく。そして、次の追跡対象者相対位置情報が算出された時点において、追跡結果算出部１０５は、この相対位置情報とそれ以前の相対位置情報とを用いて各時刻における相対位置情報を内挿補間により算出する。追跡結果算出部１０５は、特徴人物追跡情報と、内装補間により算出した相対位置情報を用いて追跡対象者の人物追跡結果を算出してもよい。
【００５２】
続いて、図４を参照して、図１に示す人物追跡装置１００の動作の流れを説明する。図４は、本実施の形態にかかる人物追跡装置１００の動作を示すフローチャートである。
【００５３】
人物領域情報抽出部１０１は、監視映像から人物領域情報を算出する（Ｓ１０１）。人物領域情報の算出処理の詳細は、人物領域情報抽出部１０１の説明で記載した通りである。次に、同伴者判定部１０２は、人物領域情報と追跡対象者情報に基づいて同伴者情報を算出する（Ｓ１０２）。同伴者情報の算出処理の詳細は、同伴者判定部１０２の説明で記載した通りである。特徴人物選出部１０３は、人物領域情報と同伴者情報に基づいて、特徴人物情報と追跡対象者相対位置情報とを算出する（Ｓ１０３）。当該情報の算出は、特徴人物選出部１０３の説明で記載した通りである。続いて、人物追跡部１０４は、人物領域情報と特徴人物情報とから、特徴人物追跡情報を算出する（Ｓ１０４）。特徴人物追跡情報の算出処理は、人物追跡部１０４の説明で記載した通りである。次に、追跡結果算出部１０５は、特徴人物追跡情報と追跡対象者相対位置情報とから、追跡対象者追跡結果を算出する（Ｓ１０５）。追跡対象者追跡結果の算出処理の詳細は、追跡結果算出部１０５の説明で記載した通りである。
【００５４】
次に、図５を参照して特徴人物選出部１０３の構成について説明する。図５は、本実施の形態にかかる特徴人物選出部１０３の構成を示すブロック図である。
【００５５】
特徴人物選出部１０３は、特徴人物判定部２０１と、特徴特異性情報蓄積部２０２と、を有する。
【００５６】
特徴特異性情報蓄積部２０２は、特徴特異性情報を蓄積しており、これを特徴人物判定部２０１へ出力する。特徴人物判定手段２０１は、人物領域情報と、同伴者情報と、特徴特異性情報蓄積部２０２から出力される特徴特異性情報と、を入力とし、特徴人物情報と追跡対象者相対位置情報を算出する。
【００５７】
図５に示す特徴人物選出部１０３の各処理部の具体的な動作について以下に説明する。特徴特異性情報蓄積部２０２は、特徴特異性情報を蓄積する。
【００５８】
特徴特異性情報とは、人物の特徴を表す各特徴量として得られた値がどの程度特異であるか（特徴的であるか）を表す情報である。例えば、服の色の特徴の場合、一般によく見られる服の色(例えば白)の特異性は低くなる。一方、あまり見られない服の色（例えば鮮やかな赤）であれば、その色の特異性は高くなる。具体的な特異性の値は、学習データを用いて各特徴量値（服の色であれば各色の値）の出現頻度を算出し、その頻度に対する単調非増加関数によって算出される。例えば、頻度から自己情報量（頻度をpとすると、-log2p）の値が算出され、算出された値を特異性情報として用いることができる。あるいは、文書検索で用いるinverse document frequencyに相当する値(例えば1/p)を求め、この値を特異性情報として用いても良い。
【００５９】
特異性情報は、季節や時間ごとに切り替えられるようになっていてもよい。すなわち、特徴特異性情報蓄積部２０２は、蓄積する特徴特異性情報を季節や時間ごとに変更しても良い。例えば冬の場合には黒い服が多くなるが、夏には白い服が多くなる。あるいは、朝晩はスーツのジャケットを着ているためジャケットの色の頻度が高くなるが、昼間はワイシャツのみの場合が多いために白い色の頻度が高くなる。このように、季節や時間によって頻度が変化する場合には、季節や時間に応じて特異性情報を変更してもよい。また、場所によって服の色の傾向が異なる場合（例えば沖縄と北海道）、場所に応じて特異性情報を変更してもよい。
【００６０】
同様に、監視カメラが観測するエリアに存在する人物の属性が季節や時間や場所によって変化する場合、特異性情報を変更できるようになっていてもよい。例えば、特徴量が人物の年齢、性別、身長等の情報であり、昼間は子供が多く見られるが、夜は大人が多く見られるようなエリアの場合、昼間は小さい年齢の値や身長に対する特異性が低くなるが、夜は小さい年齢の値や身長に対する特異性が高くなる。このように、監視カメラが観測するエリアに存在する人物の属性の変化に応じて、特異性情報を変更できるようになっていてもよい。
【００６１】
特徴特異性情報は、特徴人物判定部２０１に入力される。特徴人物判定部２０１は、特徴特異性情報に基づいて、人物領域情報に含まれる各人物領域のうち同伴者情報によって指定される人物に対し、特徴量データの持つ特異性を算出する。そして、特徴人物判定部２０１は、特異性が高い人物を特徴人物として判定し、その人物を特定する情報を特徴人物情報として人物追跡部１０４に出力する。
【００６２】
特徴人物判定部２０１の処理を図６のフローチャートを参照して説明する。
【００６３】
特徴人物判定部２０１は、人物領域情報に含まれる各人物の特徴量から、各人物の特徴の特異性を算出する（Ｓ６０１）。ここで、人物領域情報に含まれる人物特徴量の値に対応する特異性の値が特徴特異性情報に含まれている場合、特徴人物判定部２０１は、その値をそのまま各人物の特異性とする。一方、人物領域情報に含まれる人物特徴量の値に対応する特異性の値が含まれない場合、特徴人物判定部２０１は、特異性の値が取得可能な特徴量の値のうち、人物領域情報に含まれる特徴量の値に類似したものを算出する。そして、特徴人物判定部２０１は、この類似した特異性の値から特異性の値を推定する。例えば、特徴人物判定部２０１は、この特異性の値をそのまま用いてもよいし、あるいは、類似する特徴量を複数算出し、これらの特徴量に対する特異性の値の平均をとるようにしてもよい。
【００６４】
上記の処理により算出した特異性データを用いることにより、特徴人物判定部２０１は、後述する処理において、特異性の高い人物の選出を容易かつ安定して実行できるようになる。さらに、特異性情報を時間、季節、場所等の状況に応じて適宜変更することによって、特徴人物判定部２０１は、状況に適した特徴人物の選出が可能になる。
【００６５】
特徴人物判定部２０１は、特異性の高い人物を選出する（Ｓ６０２）。ここで、特徴人物判定部２０１は、特異性が最も高い一人のみを選出してもよいし、ある一定閾値以上の特異性を有する人物を全て選出するようにしてもよい。
【００６６】
同伴者情報が追跡対象者を特定する情報も含む場合、特徴人物判定部２０１は、追跡対象者の位置と、特徴人物として選択された人物の位置と、の差分を算出し、この差分を追跡対象者相対位置情報として追跡結果算出部１０５に出力する（Ｓ６０３）。複数の人物が特徴人物と判定された場合、追跡対象者相対位置情報は、これらの人物それぞれとの差分を求めたものになる。
【００６７】
続いて、本実施の形態にかかる人物追跡装置１００の効果について説明する。一般に、人間はグループ単位で行動することが多い。そのため、追跡対象となる人物に特徴が少ない場合には、同伴者を代わりに追跡することが効果的である。人物追跡装置１００は、追跡対象者の同伴者を特定し、この同伴者の中から特徴的な人物である特徴人物を選出し、この特徴人物を追跡している。これにより、人物追跡装置１００は、特徴が少ない追跡対象者を追跡する場合であっても、高精度な追跡を行うことができる。
【００６８】
さらに、特徴人物の位置情報を算出するとともに特徴人物と追跡対象者との相対的な位置関係を算出しているため、人物追跡装置１００は、追跡対象者の詳細な位置情報を算出することができる。
【００６９】
＜実施の形態２＞
本実施の形態２にかかる人物追跡装置は、実施の形態１に記載の人物追跡装置と比べ、特徴人物選出部１０３の構成が異なることを特徴とする。本実施の形態にかかる人物追跡装置について、実施の形態１と異なる点を以下に説明する。
【００７０】
図７は、本実施の形態にかかる特徴人物選出部１０３の構成を示すブロック図である。特徴人物選出部１０３は、特徴特異性判定部２５０と、特徴人物判定部２０１と、を有する。
【００７１】
特徴特異性判定部２５０は、人物領域情報を入力として特徴特異性情報を算出し、算出した特徴特異性情報を特徴人物判定部２０１に出力する。特徴人物判定部２０１は、人物領域情報と、同伴者情報と、特徴特異性判定部２５０から出力された特徴特異性情報と、を入力とし、特徴人物情報及び追跡対象者相対位置情報を出力する。
【００７２】
続いて、図７に示す特徴人物選出部１０３の詳細な動作について説明する。人物領域情報は、特徴特異性判定部２５０へ入力される。特徴特異性判定部２５０は、人物領域情報から各人物領域の特徴量を取得し、特徴量の値の特異性を算出する。例えば特徴量が服の色である場合、特徴特異性判定部２５０は、各人物領域情報に含まれる服の色を集計して各色の出現頻度を求め、出現頻度に応じて特異性を算出する。ここで出現頻度は、現在のフレームの人物情報のみを用いてもよいし、現在までに出現した人物の特徴を全て用いて算出してもよい。
【００７３】
または、特徴特異性判定部２５０は、現在から一定時間内に出現した人物の情報のみを用いて上述の出現頻度を算出してもよい。特徴特異性判定部２５０は、過去のデータについて、現在から時間的に遠くなるほど値が小さくなる重みをつけて出現頻度を加算するようにしてもよい。あるいは、特徴特異性判定部２５０は、日は異なるが時刻が近い過去のデータを用いて出現頻度を算出してもよく、同じ季節のみのデータを用いて出現頻度を算出してもよい。
【００７４】
特徴特異性判定部２５０は、季節や時刻が現在フレームの時刻から離れるにつれて、小さな値を持つ重みをつけて出現頻度を加算してもよい。さらにまた、特徴特異性判定部２５０は、複数カメラ間で検出された人物領域の情報を集計して出現頻度を算出してもよい。この場合、特徴特異性判定部２５０は、カメラ間の物理的な配置が近いほど値が大きくなる重みをつけて出現頻度を算出するようになっていてもよい。
【００７５】
このように、特徴特異性判定部２５０は、算出された出現頻度から各人物の特異性情報を算出する。特異性情報の算出方法は、図５における特徴特異性情報蓄積部２０２の説明において述べた、学習データに基づいて算出する方法と同様である。
【００７６】
このようにして得られた特徴特異性情報は、特徴人物判定部２０１に入力される。特徴人物判定部２０１の動作は、図５に示す特徴人物判定部２０１と同様である。
【００７７】
上記一連の処理により、特徴人物選出部１０３は、実際に入力される監視映像を用いて各特徴量の出現頻度を算出し、各人物の特異性を算出する。これにより、特徴人物選出部１０３は、カメラが設置された場所や時間に最も適した特異性を算出でき、特徴人物選出の妥当性を向上させることができる。特徴人物選出の妥当性が向上することにより、追跡対象者の追跡精度を向上させることができる。さらに、特異性の情報が時間とともに変化する場合であっても、本実施の形態にかかる人物追跡装置は、適切に追跡対象者を追従することができる。
【００７８】
＜実施の形態３＞
本実施の形態３にかかる人物追跡装置は、特徴人物選出部１０３内に上述の特徴特異性情報蓄積部２０２及び特徴特異性判定部２５０を備えることを特徴とする。本実施の形態にかかる人物追跡装置について、実施の形態１及び２と異なる点を以下に説明する。
【００７９】
図８は、本実施の形態にかかる特徴人物選出部１０３の構成を示すブロック図である。特徴人物選出部１０３は、特徴特異性判定部２５０と、特徴特異性情報蓄積部２０２と、特徴特異性情報統合部２５３と、特徴人物判定部２０１と、を有する。
【００８０】
特徴特異性判定部２５０は、人物領域情報を入力とし、第１の特徴特異性情報を特徴特異性情報統合部２５３へ出力する。特徴特異性情報蓄積部２０２は、蓄積されている特徴特異性情報を第２の特徴特異性情報として特徴特異性情報統合部２５３へ出力する。
【００８１】
特徴特異性情報統合部２５３は、特徴特異性判定部２５０から出力された第１の特徴特異性情報と、特徴特異性情報蓄積部２０２から出力された第２の特徴特異性情報と、を入力とし、算出した特徴特異性情報を特徴人物判定部２０１へ出力する。
【００８２】
特徴人物判定部２０１は、人物領域情報と、同伴者情報と、特徴特異性情報統合部２５３から出力された特徴特異性情報と、を入力とし、特徴人物情報及び追跡対象者相対位置情報を出力する。
【００８３】
続いて、図８に示す特徴人物選出部１０３の動作の詳細について説明する。特徴特異性情報蓄積部２０２の動作は、図５に示す特徴特異性情報蓄積部２０２と同様である。特徴特異性判定部２５０の動作は、図７に示す特徴特異性判定部２５０と同様である。特徴特異性判定部２５０から出力される特徴特異性情報は、第１の特徴特異性情報として特徴特異性情報統合部２５３の入力となる。特徴特異性情報蓄積部２０２から出力される特徴特異性情報は、第２の特徴特異性情報として特徴特異性情報統合部２５３の入力となる。
【００８４】
特徴特異性情報統合部２５３は、第１の特徴特異性情報と、第２の特徴特異性情報と、を用いて特徴人物判定部２０１に対して供給する特徴特異性情報を算出する。この算出方法は、様々な方法が考えられる。例えば、特徴特異性情報統合部２５３は、両者の平均を特徴人物判定部２０１に対して供給する特徴特異性情報とする。また、この際、特徴特異性情報統合部２５３は、一方に重みを付けた上で平均を算出しても良い。例えば、特徴特異性情報統合部２５３が第１の特徴特異性情報の重みづけを大きくして特徴特異性情報を算出した場合、特徴特異性情報統合部２５３は監視映像を重視して特徴特異性情報を算出することができる。または、特徴特異性情報統合部２５３は、時間や曜日に応じて第１の特徴特異性情報と第２の特徴特異性情報のいずれか一方を特徴人物判定部２０１に対して供給する特徴特異性情報としてもよい。特徴特異性情報統合部２５３は、算出した特徴特異性情報を特徴人物判定部２０１に出力する。
【００８５】
特徴特異性判定部２５０の動作は、図７に示す特徴人物判定部２５０と同様である。
【００８６】
上記したように、予め蓄積していた特徴特異性情報と、動的に算出される特徴特異性情報を統合することにより、特徴人物選出部１０３は、両者のもつ利点を活かした特徴人物の選出が可能になる。
【００８７】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上述した実施の形態１〜３にかかる人物追跡装置内の各処理は、任意のコンピュータ内で動作するプログラムとして実現してもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００８８】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８９】
（付記１）
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した人物領域情報を生成する人物領域情報抽出手段と、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成する同伴者判定手段と、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成する特徴人物選出手段と、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する人物追跡手段と、
を有する人物追跡装置。
【００９０】
（付記２）
前記同伴者情報は、前記追跡対象者を指定する情報を含み、
前記特徴人物選出手段は、前記追跡対象者と前記特徴人物との相対位置を表す追跡対象者相対位置情報を算出し、
前記人物追跡装置は、前記特徴人物追跡結果と前記追跡対象者相対位置情報とから前記追跡対象者の追跡結果を算出する追跡結果算出手段をさらに有する、
付記１に記載の人物追跡装置。
【００９１】
（付記３）
前記特徴人物選出手段は、特徴量の値の特異性に関する情報を記述した特徴特異性情報を蓄積する特徴特異性情報蓄積手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする付記１または２に記載の人物追跡装置。
【００９２】
（付記４）
前記特徴人物選出手段は、前記人物領域情報に記述された人物の特徴量に基づいて、特徴量の値の特異性に関する情報である特徴特異性情報を算出する特徴特異性判定手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする付記１または２に記載の人物追跡装置。
【００９３】
（付記５）
前記特徴人物選出手段は、前記人物領域情報に記述された各人物の特徴量に基づいて、特徴量の値の特異性に関する情報である第１の特徴特異性情報を算出する特徴特異性判定手段と、
特徴量の値の特異性に関する情報を記載した第２の特徴特異性情報を蓄積する特徴特異性情報蓄積手段と、
前記第１の特徴特異性情報と前記第２の特徴特異性情報とを統合した統合特徴特異性情報を算出する特徴特異性情報統合手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記統合特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする付記１または２に記載の人物追跡装置。
【００９４】
（付記６）
前記特徴特異性判定手段は、前記特徴量の値の出現頻度が小さくなるにつれて前記特異性を高く設定することを特徴とする付記４または付記５に記載の人物追跡装置。
【００９５】
（付記７）
前記特徴特異性情報蓄積手段は、現在位置、季節、時間の少なくとも１つに応じて蓄積する前記特徴特異性情報を変更することを特徴とする付記３に記載の人物追跡装置。
【００９６】
（付記８）
前記特徴特異性情報統合手段は、前記第１の特徴特異性情報と前記第２の特徴特異性情報と、から平均値を算出し、当該平均値から前記統合特徴特異性情報を生成することを特徴とする付記５に記載の人物追跡装置。
【００９７】
（付記９）
前記特徴特異性情報統合手段は、前記第１の特徴特異性情報と前記第２の特徴特異性情報との少なくとも一方に重みづけを行った上で、両者から平均値を算出し、当該平均値を基に前記統合特徴特異性情報を生成することを特徴とする付記５に記載の人物追跡装置。
【００９８】
（付記１０）
前記同伴者判定手段は、前記追跡対象者を指定する情報に基づいて、前記人物領域情報に含まれる前記追跡対象者の情報を特定し、当該特定した情報に基づいて、前記同伴者を特定することを特徴とする付記１〜９のいずれか１項に記載の人物追跡装置。
【００９９】
（付記１１）
前記同伴者判定手段は、前記人物領域情報に含まれる各人物の位置情報から位置が近い人物同士を同一グループとするグループ化を行い、前記追跡対象者を指定する情報に基づいて、前記追跡対象者が属するグループを特定し、特定したグループに基づいて、前記同伴者情報を算出することを特徴とする付記１〜９のいずれか１項に記載の人物追跡装置。
【０１００】
（付記１２）
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、人物追跡方法。
【０１０１】
（付記１３）
映像に含まれる人物を追跡する処理をコンピュータに実行させるためのプログラムを格納した非一時的なコンピュータ可読媒体であって、
前記処理は、前記映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、人物追跡プログラムを格納した非一時的なコンピュータ可読媒体。
【０１０２】
この出願は、２０１１年３月２８日に出願された日本出願特願２０１１−０７０１１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０３】
本発明によれば、監視カメラで人物を追跡し、ある特定時刻における人物の位置を算出することが可能である。そのため、任意のシステムが追跡対象者に対して当該位置に応じた情報提供を行うことができる。または、追跡対象者が子供の場合、本発明は、子供の追跡結果を保護者に伝達する子供の見守りサービスに適用することができる。勿論、本発明は、一般的なセキュリティシステムにおいて特定人物を追跡する用途にも応用可能である。
【符号の説明】
【０１０４】
１  人物領域検出手段
２  ボクセル生成手段
３  人物色抽出手段
４  人物追跡手段
１００  人物追跡装置
１０１  人物領域情報抽出部
１０２  同伴者判定部
１０３  特徴人物選出部
１０４  人物追跡部
１０５  追跡結果算出部
２０１  特徴人物判定部
２０２  特徴特異性情報蓄積部
２５０  特徴特異性判定部
２５３  特徴特異性情報統合部
【図１】
2012131816.tif 000003
【図２】
2012131816.tif 000004
【図３】
2012131816.tif 000005
【図４】
2012131816.tif 000006
【図５】
2012131816.tif 000007
【図６】
2012131816.tif 000008
【図７】
2012131816.tif 000009
【図８】
2012131816.tif 000010
【図９】
2012131816.tif 000011
【手続補正書】
【提出日】平成25年8月20日(2013.8.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した人物領域情報を生成する人物領域情報抽出手段と、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成する同伴者判定手段と、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成する特徴人物選出手段と、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する人物追跡手段と、
を有する人物追跡装置。
【請求項２】
前記同伴者情報は、前記追跡対象者を指定する情報を含み、
前記特徴人物選出手段は、前記追跡対象者と前記特徴人物との相対位置を表す追跡対象者相対位置情報を算出し、
前記人物追跡装置は、前記特徴人物追跡結果と前記追跡対象者相対位置情報とから前記追跡対象者の追跡結果を算出する追跡結果算出手段をさらに有する、
請求項１に記載の人物追跡装置。
【請求項３】
前記特徴人物選出手段は、特徴量の値の特異性に関する情報を記述した特徴特異性情報を蓄積する特徴特異性情報蓄積手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする請求項１または２に記載の人物追跡装置。
【請求項４】
前記特徴人物選出手段は、前記人物領域情報に記述された人物の特徴量に基づいて、特徴量の値の特異性に関する情報である特徴特異性情報を算出する特徴特異性判定手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする請求項１または２に記載の人物追跡装置。
【請求項５】
前記特徴人物選出手段は、前記人物領域情報に記述された各人物の特徴量に基づいて、特徴量の値の特異性に関する情報である第１の特徴特異性情報を算出する特徴特異性判定手段と、
特徴量の値の特異性に関する情報を記載した第２の特徴特異性情報を蓄積する特徴特異性情報蓄積手段と、
前記第１の特徴特異性情報と前記第２の特徴特異性情報とを統合した統合特徴特異性情報を算出する特徴特異性情報統合手段と、
前記同伴者情報により指定される前記同伴者の各々の特徴量を前記人物領域情報に基づいて算出し、前記統合特徴特異性情報を基に前記同伴者の各々の特徴量の特異性を算出し、前記特異性が相対的に高い順序で前記特徴人物を選出する特徴人物判定手段と、を有する、
ことを特徴とする請求項１または２に記載の人物追跡装置。
【請求項６】
前記特徴特異性判定手段は、前記特徴量の値の出現頻度が小さくなるにつれて前記特異性を高く設定することを特徴とする請求項４または請求項５に記載の人物追跡装置。
【請求項７】
前記特徴特異性情報蓄積手段は、現在位置、季節、時間の少なくとも１つに応じて蓄積する前記特徴特異性情報を変更することを特徴とする請求項３に記載の人物追跡装置。
【請求項８】
前記特徴特異性情報統合手段は、前記第１の特徴特異性情報と前記第２の特徴特異性情報と、から平均値を算出し、当該平均値から前記統合特徴特異性情報を生成することを特徴とする請求項５に記載の人物追跡装置。
【請求項９】
映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成し、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成し、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成し、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出する、人物追跡方法。
【請求項１０】
映像に含まれる人物を追跡する処理をコンピュータに実行させるプログラムであって、
コンピュータに、
前記処理は、前記映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成するステップと、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成するステップと、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成するステップと、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出するステップと、を実行させる人物追跡プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は人物追跡装置、人物追跡方法および人物追跡プログラムに関し、特に監視カメラで撮影された映像を用いて人物を追跡する人物追跡装置、人物追跡方法および人物追跡プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明はこのような問題に鑑みてなされたものであり、追跡対象者に特徴が少ない場合であっても高精度な追跡対象者の追跡が可能となる人物追跡装置、人物追跡方法、及び人物追跡プログラムを提供することを主たる目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明にかかる人物追跡プログラムの一態様は、
映像に含まれる人物を追跡する処理をコンピュータに実行させるプログラムであって、
コンピュータに、
前記処理は、前記映像に含まれる人物の属する領域である人物領域を検出し、前記人物領域の情報を記述した情報人物領域情報を生成するステップと、
前記人物領域情報と追跡対象者を指定する情報とに基づいて、前記人物領域情報に含まれる人物中から前記追跡対象者に同伴する少なくとも１人の同伴者を特定し、前記同伴者を記述した情報である同伴者情報を生成するステップと、
前記同伴者判定情報によって指定される前記同伴者の中から、前記人物領域情報を用いて特異的な特徴量を有する人物である特徴人物を選出し、前記特徴人物を記述した情報である特徴人物情報を生成するステップと、
前記人物領域情報と、前記特徴人物情報と、に基づいて前記特徴人物の追跡結果である特徴人物追跡結果を算出するステップと、を実行させる、ものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明では、追跡対象者に特徴が少ない場合であっても高精度な追跡対象者の追跡が可能となる人物追跡装置、人物追跡方法、及び人物追跡プログラムを提供することができる。
【国際調査報告】
2012131816.tif 000012
2012131816.tif 000013
2012131816.tif 000014
2012131816.tif 000015