(57)【要約】【課題】グループの対応付けの精度を向上できるグループ対応付け装置を提供する。【解決手段】グループ対応付け装置は、第１のカメラ２−１で生成された第１の画像及び第２のカメラ２−２で生成された第２の画像のそれぞれからその画像に写っている人物を検出する人物検出部１１と、第１の画像及び第２の画像のそれぞれについて、その画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部１３と、第１の画像のグループから選択された一つのグループと、第２の画像のグループから選択された一つのグループの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出するグループ間類似度算出部１５と、その組のそれぞれごとに、算出されたグループ間の類似度に応じて、その組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部１６を有する。【選択図】図３
2016143335.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出する人物検出部と、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出するグループ間類似度算出部と、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定するグループ対応付け部と、
を有するグループ対応付け装置。
【請求項２】
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、当該人物の組の集合に含まれる人物の組ごとに当該組に含まれる二人の人物間の類似度を算出して、当該集合に含まれる前記人物の組の前記類似度の総和を算出し、
算出された前記類似度の総和の最大値に相当する前記人物の組の集合に含まれる前記人物の組ごとの前記人物間の類似度の統計的代表値を前記グループ間の類似度とする、請求項１に記載のグループ対応付け装置。
【請求項３】
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、人物の組に含まれる二人の人物間の類似度が所定の閾値以上となる人物の組の数をカウントし、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物の数または前記第２の画像上の前記グループに属する人物の数に対する、二人の人物間の前記類似度が前記所定の閾値以上となる前記組の数の最大値の比に応じて前記グループ間の類似度を算出する、請求項１に記載のグループ対応付け装置。
【請求項４】
前記グループの組に含まれる前記第１の画像の前記グループと、前記第２の画像の前記グループとのそれぞれについて、当該グループに属する全ての人物の外見から当該グループの特徴量を算出する特徴量算出部をさらに有し、
前記グループ間類似度算出部は、前記グループの組に含まれる前記第１の画像の前記グループの前記特徴量と、前記第２の画像の前記グループの前記特徴量とに基づいて、前記グループ間の類似度を算出する、
請求項１に記載のグループ対応付け装置。
【請求項５】
前記第１のカメラにより一定期間にわたって生成された複数の前記第１の画像のそれぞれにおいて、検出された人物ごとに、当該人物の位置を求める追跡部をさらに有し、
前記グループ化部は、前記一定期間に取得された複数の前記第１の画像のうち、検出された二人の人物の位置間の距離が所定距離範囲内となる前記第１の画像の数が所定値以上となる場合に、当該検出された二人の人物を同一のグループに分類する、請求項１〜４の何れか一項に記載のグループ対応付け装置。
【請求項６】
前記グループ間類似度算出部は、前記第１の画像の前記グループと前記第２の画像の前記グループのうち、属する人数の差が所定の許容範囲内となる前記第１の画像の前記グループと前記第２の画像の前記グループを前記グループの組とする、請求項１〜５の何れか一項に記載のグループ対応付け装置。
【請求項７】
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことを含むグループ対応付け方法。
【請求項８】
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことをコンピュータに実行させるためのグループ対応付け用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループとを対応付けるグループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来、ショッピングモールや商店街などの店舗の内外に、互いに撮影範囲が異なる複数の監視カメラが設置されている。そこで、それら複数の監視カメラのそれぞれで生成された画像を解析することで、人の流れを把握することが検討されている。
【０００３】
例えば、追跡対象者に特徴が少ない場合でも、追跡対象者に同伴する同伴者の中から特異的な特徴量を有する特徴人物を選出して、追跡対象者と特徴人物との相対位置に応じて、追跡対象者を追跡する人物追跡装置が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１２／１３１８１６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術では、同行するグループ内に特異的な特徴量を有する人物が存在すれば、そのグループの追跡が可能となる。しかしながら、同行するグループ内に特異的な特徴量を有する人物が存在しないこともある。このような場合、特許文献１に開示された技術では、そのようなグループの追跡が困難となる。
【０００６】
そこで、本明細書は、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループ間で同一のグループを対応付ける精度を向上できるグループ対応付け装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施形態によれば、第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれからその画像に写っている人物を検出する人物検出部と、第１の画像及び第２の画像のそれぞれについて、その画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、第１の画像のグループから選択された一つのグループと、第２の画像のグループから選択された一つのグループの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出するグループ間類似度算出部と、その組のそれぞれごとに、算出されたグループ間の類似度に応じて、その組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部、を有するグループ対応付け装置を有する。
【０００８】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
【０００９】
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１０】
本明細書に開示されたグループ対応付け装置は、あるカメラで生成された画像に写った人物のグループと他のカメラで生成された画像に写った人物のグループ間で同一のグループを対応付ける精度を向上できる。
【図面の簡単な説明】
【００１１】
【図１】一つの実施形態による、グループ対応付け装置のハードウェア構成図である。
【図２】設置された第１のカメラ及び第２のカメラの撮影範囲の一例を示す図である。
【図３】処理部の機能ブロック図である。
【図４】人物テーブルの一例を示す図である。
【図５】グループ化処理の動作フローチャートである。
【図６】グループ化処理の動作フローチャートである。
【図７】人物グループ対応テーブルの一例を示す図である。
【図８】（ａ）は、第１の画像上で検出された人物のグループ分けの結果の一例を示す図であり、（ｂ）は、第２の画像上で検出された人物のグループ分けの結果の一例を示す図である。
【図９】（ａ）及び（ｂ）は、それぞれ、人物の組の集合の一例を示す図である。
【図１０】グループ対応付け処理の動作フローチャートである。
【発明を実施するための形態】
【００１２】
以下、図を参照しつつ、一つの実施形態による、グループ対応付け装置について説明する。このグループ対応付け装置は、互いの撮影範囲の少なくとも一部が重ならないように設置された二つのカメラで生成された画像ごとに、その画像に写っている人物を検出してグループ化する。そしてこのグループ対応付け装置は、一方のカメラにより生成された画像上のグループと、他方のカメラにより生成された画像上のグループ間の類似度を算出し、その類似度に応じて、それら二つのグループが同一か否か判定する。その際、このグループ対応付け装置は、それら二つのグループのうちの一方に属する人物と他方のグループに属する人物とを、組み合わせを変えながら一人ずつ組み合わせることで、複数の人物の組の集合を求める。そしてこのグループ対応付け装置は、人物の組の集合ごとに、その集合に含まれる各人物の組について、人物間の類似度を求めてその類似度の総和を算出し、類似度の総和の最大値をグループ間の類似度とする。
【００１３】
図１は、一つの実施形態によるグループ対応付け装置のハードウェア構成図である。図１に示されるように、グループ対応付け装置１は、操作部３と、記憶部４と、処理部５と、出力部６と、通信インターフェース部７とを有し、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２と接続されている。また処理部５は、操作部３、記憶部４、出力部６及び通信インターフェース部７と、例えば、バスを介して接続される。なお、グループ対応付け装置１と接続されるカメラの数は、二つに限定されず、三つ以上あってもよい。
【００１４】
第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、所定の撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのため、第１のカメラ２−１及び第２のカメラ２−２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系を有する。第１のカメラ２−１及び第２のカメラ２−２は、一定の撮影周期（例えば1/30秒）ごとに画像を生成する。そして第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、画像を生成する度に、その画像を、通信ネットワークを介して、グループ対応付け装置１へ出力する。なお、第１のカメラ２−１及び第２のカメラ２−２により生成される画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。以下では、説明の便宜上、第１のカメラ２−１で生成された画像を第１の画像とし、第２のカメラ２−２で生成された画像を第２の画像とする。
【００１５】
本実施形態において、第１のカメラ２−１及び第２のカメラ２−２は、互いの撮影範囲の少なくとも一部が重ならないように設置される。
図２は、第１のカメラ２−１及び第２のカメラ２−２の撮影範囲の一例を示す図である。この例では、第１のカメラ２−１及び第２のカメラ２−２は、互いの撮影範囲２００、２０１が重ならないように、ショッピングモールなどの建物の異なるフロアに設置されている。このように二つのカメラが設置されていると、同一の人物を含むグループがカメラ２−１が設置されたフロア及びカメラ２−２が設置されたフロアを通行する際に、そのグループは、第１のカメラ２−１及び第２のカメラ２−２によりそれぞれ撮影される。したがって、第１のカメラ２−１で生成された画像に写った人物のグループと、第２のカメラ２−２で生成された画像に写った人物のグループとが同一のグループであることが判定できれば、その人物のグループの移動経路を特定することが可能となる。
【００１６】
操作部３は、例えば、キーボードとマウスなどの入力装置を有する。そして操作部３は、例えば、ユーザの操作に応じて、グループ対応付け処理を開始させる操作信号を処理部５へ出力する。
【００１７】
記憶部４は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部４は、例えば、処理部５上で実行されるグループ対応付け処理を実行するためのコンピュータプログラム、及びそのグループ対応付け処理で利用されるデータ及びグループ対応付け処理の途中で生成される各種のデータを一時的に記憶する。さらに、記憶部４は、カメラ２−１から取得した第１の画像及びカメラ２−２から取得した第２の画像を一定期間記憶する。
【００１８】
処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部５は、グループ対応付け装置１全体を制御する。また、処理部５は、通信インターフェース部７を介して第１のカメラ２−１から第１の画像を受け取る度に、その第１の画像に第１のカメラ２−１を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部４に保存する。同様に、処理部５は、通信インターフェース部７を介して第２のカメラ２−２から第２の画像を受け取る度に、その第２の画像に第２のカメラ２−２を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部４に保存する。そして処理部５は、順次取得された第１の画像及び第２の画像に基づいてグループ対応付け処理を実行する。なお、グループ対応付け処理の詳細については後述する。
【００１９】
出力部６は、処理部５から受け取った対応付け結果を表示装置（図示せず）へ出力する。そのために、出力部６は、例えば、表示装置をグループ対応付け装置１と接続するためのビデオインターフェース回路を有する。なお、操作部３及び出力部６は、タッチパネルディスプレイといった、入力装置と出力装置とが一体化された装置を有してもよい。
【００２０】
通信インターフェース部７は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース部７は、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２からそれぞれ画像を受け取り、その受け取った画像を処理部５にわたす。また通信インターフェース部７は、処理部５から受け取ったグループ間対応付け結果を、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。
【００２１】
以下、処理部５により実行されるグループ対応付け処理の詳細について説明する。
【００２２】
図３は、グループ対応付け処理に関する処理部５の機能ブロック図である。図３に示されるように、処理部５は、人物検出部１１と、追跡部１２と、グループ化部１３と、特徴量算出部１４と、グループ間類似度算出部１５と、グループ対応付け部１６とを有する。
【００２３】
処理部５が有するこれらの各部は、例えば、処理部が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、処理部５が有するこれらの各部は、ファームウェアとしてグループ対応付け装置１に実装されてもよい。
【００２４】
人物検出部１１は、処理部５が第１のカメラ２−１から第１の画像を取得する度に、その第１の画像に写っている人物を検出する。同様に、人物検出部１１は、処理部５が第２のカメラ２−２から第２の画像を取得する度に、その第２の画像に写っている人物を検出する。なお、人物検出部１１は、第１の画像及び第２の画像に対して同一の処理を実行するので、以下では、第１の画像に対する処理を例として説明する。
【００２５】
人物検出部１１は、例えば、国際公開第２０１２／１３１８１６号に開示されているように、第１の画像と背景画像間の差分から移動物体が写っている領域を抽出し、抽出された領域が人物に該当するか否かの判定処理を行うことで人物を検出する。あるいは、人物検出部１１は、人物検出用に学習されたAdaBoost、サポートベクトルマシン、またはパーセプトロンといった識別器を用いて、第１の画像から人物を検出してもよい。
人物検出部１１は、第１の画像のそれぞれに対して、検出された人物の情報を表す人物テーブルを生成し、その人物テーブルを記憶部４に記憶する。
【００２６】
図４は、人物テーブル４００の一例を示す図である。人物テーブル４００には、人物検出対象となった画像を生成したカメラのＩＤ（第１の画像の場合、カメラ２−１のＩＤ）、及びその画像が生成された日時が含まれる。さらに、人物テーブル４００には、検出された人物ごとに、その人物を識別するための人物ＩＤ、その人物が写った領域の左上座標（ｘ，ｙ）、その人物が写った領域の外接矩形サイズ（ｗ，ｈ）が含まれる。なお、ｗは、人物が写った領域の外接矩形の幅であり、ｈは、その外接矩形の高さである。
【００２７】
追跡部１２は、検出された人物をグループに分類するために利用する情報を得るために、第１のカメラ２−１及び第２のカメラ２−２のそれぞれごとに、画像から検出された人物を追跡する。なお、追跡部１２は、第１のカメラ２−１から得られた第１の画像から検出された人物及び第２のカメラ２−２から得られた第２の画像から検出された人物に対して同一の処理を実行する。そこで以下では、第１の画像から検出された人物に対する処理を例として、追跡部１２の処理を説明する。
【００２８】
追跡部１２は、処理部５が最新の第１の画像を受け取る度に、直近の二つの第１の画像についての人物テーブルを参照して、追跡中の人物のそれぞれごとに、その直近の二つの第１の画像上でのその人物の位置の差分から移動ベクトルを算出する。追跡部１２は、着目する追跡中の人物の直前の第１の画像上でのその人物の位置から移動ベクトルだけ移動した位置を、最新の第１の画像上でのその人物の予想移動位置とする。そして追跡部１２は、最新の第１の画像上で、予想移動位置から所定範囲内（例えば、実世界の１〜２ｍに相当する画素数）に、検出された人物が存在するか否か判定する。その所定範囲内に検出された人物が存在する場合、追跡部１２は、その検出された人物を着目する追跡中の人物と同一人物であると判定する。そして追跡部１２は、着目する追跡中の人物の人物ＩＤを、その検出された人物に割り当て、最新の第１の画像についての人物テーブルに、その人物ＩＤを登録する。これにより、時系列に取得された複数の第１の画像のそれぞれに対応する人物テーブルに登録された、同一の人物ＩＤが割り当てられた人物の画像上の位置が、その人物の位置の時系列の遷移を表す追跡情報となる。なお、着目する追跡中の人物が直前の一つの第１の画像でしか検出されていない場合、追跡部１２は、その人物について、直前の画像の位置を最新の画像上の予想移動位置とし、その予想移動位置から人物を検出する所定範囲をより広くしてもよい。
【００２９】
一方、最新の第１の画像上で、予想移動位置から所定範囲内に検出された人物が存在しない場合、追跡部１２は、着目する追跡中の人物の追跡を中止する。なお、他の物体あるいは他の人物に隠れていて、一時的に最新の画像上の予想移動位置から所定範囲内に検出された人物が存在しない場合もある。そこで、例えば、追跡部１２は、最新の第１の画像上の予想移動位置から所定範囲内に検出された人物が存在しないことが所定期間（例えば、10秒〜30秒間）連続した場合に、着目する追跡中の人物の追跡を中止してもよい。これにより、追跡部１２は、人物が一時的に隠れてしまった場合も、その人物に対する追跡を続行できる。
【００３０】
また、追跡部１２は、最新の第１の画像上で検出された人物のうち、追跡中の何れの人物とも対応付けられていない人物が存在する場合、その人物を新たな追跡対象人物とし、追跡中の何れの人物の人物ＩＤとも異なる新たな人物ＩＤを割り当てる。そして追跡部１２は、その新たな追跡対象人物の人物ＩＤを人物テーブルに登録する。
【００３１】
なお、追跡部１２は、時系列に取得される複数の画像間で移動物体を追跡する他の様々なトラッキング手法の何れかを利用して、人物を追跡してもよい。例えば、追跡部１２は、山下隆義など, “追跡対象と周辺領域の関係性を利用した協調的な物体追跡”, 画像の認識・理解シンポジウム(MIRU2011), pp.56−63, 2011年、特開２００２−１５７５９９号公報に開示されているトラッキング手法に従って、人物を追跡してもよい。
【００３２】
グループ化部１３は、第１のカメラ２−１及び第２のカメラ２−２のそれぞれごとに、画像から検出された人物をグループ化する。本実施形態では、グループ化部１３は、第１のカメラ２−１から処理部５が第１の画像を受け取る度に、その第１の画像から検出された人物に対してグループ化処理を実行する。同様に、グループ化部１３は、第２のカメラ２−２から処理部５が第２の画像を受け取る度に、その第２の画像から検出された人物に対してグループ化処理を実行する。なお、グループ化部１３は、第１のカメラ２−１から得られた第１の画像から検出された人物及び第２のカメラ２−２から得られた第２の画像から検出された人物に対して同一の処理を実行する。そこで以下では、第１の画像から検出された人物に対する処理を例として、グループ化部１３の処理を説明する。
【００３３】
本実施形態では、グループ化部１３は、検出された人物ごとの追跡情報を参照して、一定期間にわたって近傍にいる人物同士を同一のグループに分類する。同一のグループに属している複数の人物は、継続的に互いに近接していると想定されるためである。そこでグループ化部１３は、追跡中の各人物について、その人物の近傍に一定期間にわたって他の追跡中の人物がいるか否か判定する。
【００３４】
図５及び図６は、グループ化部１３により実行される、グループ化処理の動作フローチャートである。まず、グループ化部１３は、未着目の追跡中の人物のうちの一人を着目する追跡中の人物に設定する（ステップＳ１０１）。グループ化部１３は、同一の画像上での着目する追跡中の人物と他の全ての追跡中の人物との重心間距離distを次式に従って算出する。
【００３５】
【数１】
2016143335.tif 000003
【００３６】
ここで、(x1,t、y1,t)は、時刻tにおける第１の画像（この例では、最新の第１の画像）上の着目する追跡中の人物が写った領域の左上座標である。(x2,t，y2,t)は、時刻ｔにおける第１の画像上に写った他の追跡中の人物が写った画像上の領域の左上座標である。また、w1,t，h1,tは、時刻ｔにおける第１の画像上の着目する追跡中の人物が写った領域の外接矩形の幅及び高さである。同様に、w2,t，h2,tは、時刻ｔにおける第１の画像上に写っている他の追跡中の人物が写った領域の外接矩形の幅及び高さである。
【００３７】
グループ化部１３は、他の追跡中の人物のそれぞれについての重心間距離distを、他の追跡中の人物の人物ＩＤと対応付けて記憶部４に登録する（ステップＳ１０２）。
【００３８】
グループ化部１３は、記憶部４を参照して、他の追跡中の人物のそれぞれについて、過去一定期間（例えば、３分間）における、着目する追跡中の人物との重心間距離distが所定の閾値dTh以内である近傍出現回数をカウントする（ステップＳ１０３）。なお、所定の閾値dThは、二人の人物が同一グループに含まれる可能性がある距離に相当する閾値であり、例えば、実世界の２ｍに相当する画素数に設定される。あるいは、閾値dThは、検出された人物の幅または高さの平均値の定数倍（例えば、１〜２倍程度）に設定される。
【００３９】
グループ化部１３は、他の追跡中の人物のうち、近傍出現回数が所定の閾値fTh以上となる人物を、着目する追跡中の人物の近傍にいる人物として検出する（ステップＳ１０４）。なお、所定の閾値fThは、二人の人物が同一グループに含まれる可能性がある近傍出現回数に相当する閾値であり、例えば、近傍出現回数のカウント期間中に取得される第１の画像の枚数に0.3〜0.5を乗じた値に設定される。ステップＳ１０４の後、グループ化部１３は、最新の第１の画像について追跡が終了したと判定された人物のそれぞれについて、過去一定期間に、近傍に人物がいるか否かの判定結果を利用して、何れかのグループに分類する。
【００４０】
図６を参照すると、グループ化部１３は、着目する追跡が終了した人物が属するグループが既に決定されているか否か判定する（ステップＳ２０１）。着目する追跡が終了した人物が属するグループが未だ決定されていない場合（ステップＳ２０１−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物の近傍にいる人物が検出されたか否か判定する（ステップＳ２０２）。着目する追跡が終了した人物の近傍にいる人物が検出されない場合（ステップＳ２０２−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物を新規のグループに追加する（ステップＳ２０３）。そしてグループ化部１３は、新規のグループのグループＩＤを設定する。そしてグループ化部１３は、各人物が属するグループを表す人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物の人物ＩＤを登録する。
【００４１】
図７は、記憶部４に記憶された人物グループ対応テーブル７００の一例を示す図である。人物グループ対応テーブル７００では、グループごとに、そのグループを他のグループと識別するためのグループＩＤが示される。そして人物グループ対応テーブル７００は、追跡中の人物ごとに、その人物の人物ＩＤと、その人物が属するグループのグループＩＤとを表す。例えば、図７に示される例では、人物ＩＤが'1'である人物と'3'である人物とがグループＩＤが'1'のグループに属し、人物ＩＤが'2'である人物がグループＩＤが'2'のグループに属することが示されている。
【００４２】
一方、着目する追跡が終了した人物の近傍にいる人物が検出された場合（ステップＳ２０２−Ｙｅｓ）、グループ化部１３は、近傍にいる人物が複数か否か判定する（ステップＳ２０４）。近傍にいる人物が複数でない場合（ステップＳ２０４−Ｎｏ）、グループ化部１３は、人物グループ対応テーブルを参照し、近傍にいる人物が何れかのグループに属しているか否か判定する（ステップＳ２０５）。近傍にいる人物が何れかのグループに属している場合（ステップＳ２０５−Ｙｅｓ）、グループ化部１３は、着目する追跡が終了した人物を、近傍にいる人物が属するグループに追加する（ステップＳ２０６）。そしてグループ化部１３は、人物グループ対応テーブルに、着目する追跡が終了した人物の人物ＩＤを、その人物が追加されたグループのグループＩＤと対応付けて登録する。一方、近傍にいる人物が何れのグループにも属していない場合（ステップＳ２０５−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物及びその近傍にいる人物を新規のグループに追加する（ステップＳ２０７）。そしてグループ化部１３は、その新規のグループＩＤを設定する。グループ化部１３は、人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物及びその近傍にいる人物のそれぞれの人物ＩＤを登録する。
【００４３】
一方、近傍にいる人物が複数である場合（ステップＳ２０４−Ｙｅｓ）、グループ化部１３は、近傍にいる複数の人物のうち、近傍出現回数が最大の人物を判定対象人物とし、判定対象人物が何れかのグループに属しているか否か判定する（ステップＳ２０８）。判定対象人物が何れかのグループに属している場合（ステップＳ２０８−Ｙｅｓ）、グループ化部１３は、着目する追跡が終了した人物を、判定対象人物が属するグループに追加する（ステップＳ２０９）。一方、判定対象人物が何れのグループにも属していない場合（ステップＳ２０８−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物の近傍にいる人物のうちで判定対象人物に設定されていない人物がいるか否か判定する（ステップＳ２１０）。判定対象人物に設定されていない人物がいる場合（ステップＳ２１０−Ｙｅｓ）、グループ化部１３は、現在の判定対象人物の次に近傍出現回数が多い人物を次の判定対象人物とする（ステップＳ２１２）。そしてグループ化部１３は、ステップＳ２０８以降の処理を繰り返す。一方、判定対象人物に設定されていない人物がいない場合（ステップＳ２１０−Ｎｏ）、グループ化部１３は、着目する追跡が終了した人物及びその近傍にいる複数の人物を新規のグループに追加する（ステップＳ２１１）。そしてグループ化部１３は、その新規のグループＩＤを設定する。グループ化部１３は、人物グループ対応テーブルに、新規のグループＩＤとともに着目する追跡が終了した人物及びその近傍にいる複数の人物の人物ＩＤを登録する。
【００４４】
ステップＳ２０１にて、着目する追跡が終了した人物が既に何れかのグループに属している場合（ステップＳ２０１−Ｙｅｓ）、グループ化部１３は、追跡が終了した全ての人物に対してグループ化処理を終了したか否か判定する（ステップＳ２１３）。また、ステップＳ２０３、ステップＳ２０６、ステップＳ２０７、ステップＳ２０９、またはステップＳ２１１の後も、グループ化部１３は、ステップＳ２１３の処理を行う。追跡が終了した全ての人物に対してグループ化処理を終了していない場合（ステップＳ２１３−Ｎｏ）、グループ化部１３は、図５のステップＳ１０１以降の処理を繰り返す。一方、追跡が終了した全ての人物に対してグループ化処理を終了した場合（ステップＳ２１３−Ｙｅｓ）、グループ化部１３は、グループ化処理を終了する。なお、グループ化部１３は、ステップＳ２０１〜ステップＳ２１３の処理を、追跡中の人物について実行してもよい。
【００４５】
図８（ａ）は、第１の画像上で検出された人物のグループ分けの結果の一例を示す図である。例えば、人物８１０及び人物８１１は、グループ８００に分類され、人物８１２、人物８１３及び人物８１４は、グループ８０１に分類され、人物８１５及び人物８１６は、グループ８０２に分類される。
【００４６】
図８（ｂ）は、第２の画像上で検出された人物のグループ分けの結果の一例を示す図である。例えば、人物８１７及び人物８１８は、グループ８０３に分類され、人物８１９及び人物８２０は、グループ８０４に分類され、人物８２１〜人物８２４は、グループ８０５に分類される。
【００４７】
特徴量算出部１４は、処理部５が第１のカメラ２−１から第１の画像を取得する度に、その第１の画像に写っている人物ごとに、その人物の外見を表す特徴量を算出する。同様に、特徴量算出部１４は、処理部５が第２のカメラ２−２から第２の画像を取得する度に、その第２の画像に写っている人物ごとに、その人物の外見を表す特徴量を算出する。なお、特徴量算出部１４は、第１の画像及び第２の画像に対して同一の処理を実行するので、以下では、第１の画像に対する処理を例として説明する。
【００４８】
特徴量算出部１４は、例えば、特開２００５−２０２９３８号公報に開示される手法に従って、人物ごとに、その人物の外見を表す特徴量を算出する。この場合、特徴量算出部１４は、第１の画像上のその人物が写っている領域を、例えば垂直方向に沿って四つのブロックに分割する。そして特徴量算出部１４は、ブロックごとに、色相のヒストグラムを作成し、そのヒストグラムに基づいて出現頻度が最も高い色相の値を代表色とする。そして特徴量算出部１４は、ブロックごとの代表色に相当する色相の値を表す四次元空間の座標を、その人物の外見を表す特徴量とする。特徴量算出部１４は、算出した特徴量をその人物と対応付けて人物テーブルに登録する。
なお、特徴量算出部１４は、人物の外見を表す特徴量として、上記以外の特徴量を算出してもよい。
【００４９】
グループ間類似度算出部１５は、第１のカメラ２−１で生成された画像のグループが第２のカメラ２−２で生成された画像のグループと同一か否か判定するために、グループ間の類似度を算出する。
【００５０】
本実施形態では、第１のカメラ２−１の撮影範囲と第２のカメラ２−２の撮影範囲が互いに異なっているので、第１のカメラ２−１の撮影範囲にいたグループが、第２のカメラ２−２の撮影範囲に到達するまでにある程度の時間を要する。逆に、第２のカメラ２−２の撮影範囲にいたグループが、第１のカメラ２−１の撮影範囲に到達するまでにも、ある程度の時間を要する。そのため、同一グループか否かの判定及びグループ類似度の算出は、その撮影範囲間のグループの移動に要すると想定される時間である予想移動時間だけ撮影時刻の差がある第１の画像と第２の画像間で行われる。なお、予想移動時間は、撮影範囲間の距離及び想定されるグループの移動速度に応じて予め設定される。
【００５１】
グループ間類似度算出部１５は、最新の第１の画像において一つ以上のグループが検出された場合、その最新の第１の画像の撮影時刻から予想移動時間だけ前の基準時刻を含む所定の時間範囲に含まれる撮影時刻の第２の画像を特定する。なお、所定の時間範囲は、例えば、基準時刻の前後３分間とすることができる。そしてグループ間類似度算出部１５は、その最新の第１の画像と特定された第２の画像のそれぞれとの間でグループ間の類似度を算出する。同様に、グループ間類似度算出部１５は、最新の第２の画像において一つ以上のグループが検出された場合、その最新の第２の画像の撮影時刻から予想移動時間だけ前の基準時刻を含む所定の時間範囲に含まれる撮影時刻の第１の画像を特定する。そしてグループ間類似度算出部１５は、その最新の第２の画像と特定された第１の画像のそれぞれとの間でグループ間の類似度を算出する。以下では、第１の画像と第２の画像の一つの組を例として、グループ間の類似度算出処理を説明する。
【００５２】
グループ間類似度算出部１５は、第１の画像上のグループに属する人物と第２の画像上のグループに属する人物とを一人ずつ組み合わせた人物の組の集合を、人物の組み合わせを変えながら複数作成する。さらにグループ間類似度算出部１５は、第１の画像または第２の画像において、複数のグループが検出されている場合、第１の画像上のグループと第２の画像上のグループの組み合わせを変えながら、各グループの組み合わせについて人物の組の集合を複数作成する。
【００５３】
図９（ａ）及び図９（ｂ）は、それぞれ、人物の組の集合の一例を示す図である。図９（ａ）では、一方の画像（例えば、第１の画像）からグループ９０１が検出され、他方の画像（例えば、第２の画像）からグループ９０４が検出されている。そしてグループ９０１には、人物９０２と人物９０３が属しており、グループ９０４には、人物９０５と人物９０６が属している。そのため、グループ間類似度算出部１５は、グループ９０１とグループ９０４の組について、（人物９０２，人物９０５）の組と、（人物９０３，人物９０６）の組とを含む人物の組の集合を作成する。さらに、グループ間類似度算出部１５は、（人物９０２，人物９０６）の組と、（人物９０３，人物９０５）の組とを含む人物の組の集合を作成する。
【００５４】
同様に、図９（ｂ）では、一方の画像（例えば、第１の画像）からグループ９０７が検出され、他方の画像（例えば、第２の画像）からグループ９１０が検出されている。そしてグループ９０７には、人物９０８と人物９０９が属しており、グループ９１０には、人物９１１と人物９１２が属している。そのため、グループ間類似度算出部１５は、グループ９０７とグループ９１０の組について、（人物９０８，人物９１１）の組と、（人物９０９，人物９１２）の組とを含む人物の組の集合を作成する。さらに、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組と、（人物９０９，人物９１１）の組とを含む人物の組の集合を作成する。
【００５５】
グループ間類似度算出部１５は、記憶部４に記憶された人物テーブルを参照して、グループの組み合わせごとに、その組み合わせに含まれるグループに属する人物の特徴量を読み込む。そしてグループ間類似度算出部１５は、複数の人物の組の集合のそれぞれについて、その集合に含まれる人物の組ごとに、その組に含まれる二人の人物間の類似度を算出する。例えば、グループ間類似度算出部１５は、人物の組に含まれる二人の人物のそれぞれの特徴量間の正規化相互相関値を類似度として算出する。また、上記のように、人物の特徴量が四次元座標で表されている場合、二人の人物の特徴量間の距離の逆数を正規化した値を類似度として算出してもよい。
【００５６】
例えば、図９（ａ）に示される例では、（人物９０２，人物９０５）の組についての類似度は９５であり、（人物９０３，人物９０６）の組についての類似度は９０である。また、（人物９０２，人物９０６）の組についての類似度は４５であり、（人物９０３，人物９０５）の組についての類似度は５０である。また、図９（ｂ）に示される例では、（人物９０８，人物９１１）の組についての類似度は５であり、（人物９０９，人物９１２）の組についての類似度は２５である。また、（人物９０８，人物９１２）の組についての類似度は３０であり、（人物９０９，人物９１１）の組についての類似度は１０である。なお、人物間の類似度は、０〜１００で正規化されているとする。
【００５７】
グループ間類似度算出部１５は、算出された人物の組ごとの類似度の総和が最大となる人物の組の集合を選択する。図９（ａ）に示される例では、（人物９０２，人物９０５）の組と（人物９０３，人物９０６）の組を含む人物の組の集合についての類似度の総和は１８５である。一方、（人物９０２，人物９０６）の組と（人物９０３，人物９０５）の組を含む人物の組の集合についての類似度の総和は９５である。そこでグループ間類似度算出部１５は、（人物９０２，人物９０５）の組と（人物９０３，人物９０６）の組を含む人物の組の集合を選択する。同様に、図９（ｂ）に示される例では、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組と（人物９０９，人物９１１）の組を含む人物の組の集合を選択する。
【００５８】
グループ間類似度算出部１５は、選択した、人物の組ごとの類似度の総和が最大となる人物の組の集合に含まれる人物の組のそれぞれの類似度の統計的代表値（例えば、合計値または平均値）を、グループ間の類似度として算出する。図９（ａ）に示される例では、グループ間類似度算出部１５は、（人物９０２，人物９０５）の組の類似度９５と（人物９０３，人物９０６）の組の類似度９０の平均値９２．５をグループ９０１とグループ９０４間の類似度とする。また、図９（ｂ）に示される例では、グループ間類似度算出部１５は、（人物９０８，人物９１２）の組の類似度３０，（人物９０９，人物９１１）の組の類似度１０の平均値２０を、グループ９０７とグループ９１０間の類似度とする。
【００５９】
グループ間類似度算出部１５は、グループの組ごとに、その組について算出されたグループ間の類似度をグループ対応付け部１６へ出力する。
【００６０】
グループ対応付け部１６は、グループの組ごとに、グループ間の類似度に応じて、その組に含まれる二つのグループが同一グループか否か判定し、同一と判定された二つのグループを対応付ける。
【００６１】
例えば、グループ対応付け部１６は、グループ間の類似度が所定の閾値gTh以上である場合、そのグループの組に含まれる二つのグループが同一のグループ、すなわち、属する人物の少なくとも一部が同一のグループであると判定する。なお、所定の閾値gThは、同一のグループについてのグループ間の類似度の下限値に相当する値、例えば、グループ間の類似度が取り得る値の最大値に0.6〜0.8を乗じた値に設定される。そしてグループ対応付け部１６は、グループの組に含まれる二つのグループが同一グループであると判定した場合、その二つのグループに同一ＩＤを割り当てて、その二つのグループを対応付ける。一方、グループ間の類似度が所定の閾値gTh未満である場合、グループ対応付け部１６は、そのグループの組に含まれる二つのグループは、互いに異なるグループ、すなわち、属する人物が互いに異なるグループであると判定する。
【００６２】
例えば、所定の閾値gThが８０である場合、図９（ａ）に示される、グループ９０１とグループ９０４間の類似度は９２．５なので、グループ対応付け部１６は、グループ９０１とグループ９０４を同一のグループと判定する。一方、図９（ｂ）に示される、グループ９０７とグループ９１０間の類似度は２０なので、グループ対応付け部１６は、グループ９０７とグループ９１０を互いに異なるグループと判定する。
【００６３】
図１０は、グループ対応付け装置１の処理部５により実行される、グループ対応付け処理全体の動作フローチャートである。処理部５は、以下の動作フローチャートに従ってグループ対応付け処理を実行する。
【００６４】
処理部５の人物検出部１１は、第１のカメラ２−１で生成された第１の画像及び第２のカメラ２−２で生成された第２の画像のそれぞれから人物を検出する（ステップＳ３０１）。処理部５の追跡部１２は、追跡処理を行って、検出された人物を追跡中の人物と対応付ける（ステップＳ３０２）。処理部５のグループ化部１３は、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物をグループの何れかに分類する（ステップＳ３０３）。
【００６５】
処理部５の特徴量算出部１４は、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物ごとに、その人物の外見を表す特徴量を算出する（ステップＳ３０４）。
【００６６】
処理部５のグループ間類似度算出部１５は、第１の画像と第２の画像の組について、第１の画像上のグループと、第２の画像上のグループとの組のそれぞれごとに、その組に含まれる二つのグループ間の類似度を算出する（ステップＳ３０５）。ここで、第１の画像と第２の画像の組には、同一のグループが写っている可能性がある。
【００６７】
処理部５のグループ対応付け部１６は、グループ間の類似度に応じて、その組に含まれる二つのグループが同一のグループか否か判定する。そしてグループ対応付け部１６は、同一のグループと判定された二つのグループに同一のＩＤを割り当て、その二つのグループを対応付ける（ステップＳ３０６）。
【００６８】
以上に説明してきたように、このグループ対応付け装置は、互いに異なる撮影範囲を持つ二つのカメラの一方により生成された画像に写っているグループと他方のカメラにより生成された画像に写っているグループとの間で類似度を求める。そしてこのグループ対応付け装置は、グループ間の類似度に応じて、異なるカメラにより撮影されたグループ同士が同一のグループか否かを判定する。そのため、このグループ対応付け装置は、異なるカメラにより撮影された同一のグループについての対応付けの精度を向上できる。さらに、このグループ対応付け装置は、二つのグループ間の類似度を、一方のグループに属する人物と他方のグループに属する人物間の類似度に応じて算出する。そのため、グループ内に特徴的な人物が含まれていない場合でも、各画像に写っているグループ同士が同一グループか否かを適切に判定できる。
【００６９】
これにより、このグループ対応付け装置は、同一のグループであると判定された、各カメラにより生成された画像に写っているグループについて、それら画像の撮影時刻及び各カメラの撮影範囲に基づいて移動経路を推定できる。このグループ対応付けの結果から推定される、ショッピングモールまたは商店街などを通行するグループ客の移動経路は、マーケティングあるいは混雑緩和による安全の確保に利用できる。
【００７０】
なお、変形例によれば、グループ間類似度算出部１５は、グループの組について、人物の組の集合ごとに、人物間の類似度が所定の閾値pTh以上となる人物の組の数をカウントし、そのカウント数の最大値を求めてもよい。そしてグループ間類似度算出部１５は、グループの組に含まれる何れか一方のグループに属する人物の数に対する、カウント数の最大値の比、またはその比に所定数（例えば、100）を乗じた値を、グループ間の類似度としてもよい。
【００７１】
再度、図９（ａ）を参照すると、所定の閾値pThが８０である場合、（人物９０２，人物９０５）の組の類似度及び（人物９０３，人物９０６）の組の類似度の何れも閾値pTh以上となる。そのため、グループ９０１とグループ９０４間の類似度は1となる。一方、図９（ｂ）を参照すると、人物の組の類似度が閾値pTh以上となる人物の組は無い。そのため、グループ９０７とグループ９１０間の類似度は0となる。
【００７２】
また、変形例によれば、特徴量算出部１４は、グループごとに、グループ全体として一つの特徴量を算出してもよい。例えば、特徴量算出部１４は、グループに属する全ての人物の外見を表す特徴量をグループ全体の特徴量として算出してもよい。この場合、特徴量算出部１４は、グループに属する人物の画像上の領域の何れかに含まれる画素の集合について、色相の正規化ヒストグラムを求める。そして特徴量算出部１４は、その正規化ヒストグラムそのもの、あるいは、その正規化ヒストグラムから求めた、特定の複数の色相の値における頻度値を、グループ全体の特徴量とする。
【００７３】
この場合、グループ間類似度算出部１５は、グループの組に含まれる二つのグループのそれぞれのグループ全体の特徴量間の正規化相互相関値、あるいは、特徴量間の距離の逆数を正規化した値をグループ間の類似度として算出すればよい。
この変形例では、グループ対応付け装置は、グループ間の類似度を算出する際に、人物の組ごとに類似度を算出しなくてもよいので、グループ間の類似度の算出に要する演算量を削減できる。
【００７４】
また、変形例によれば、グループ化部１３は、最短距離法、最長距離法、又は群平均法などの階層的クラスタリング手法を用いることにより、第１の画像及び第２の画像のそれぞれについて、その画像から検出された人物をグループの何れかに分類してもよい。この場合には、検出された人物を、複数の画像にわたって追跡しなくてよいので、追跡部１２は省略されてもよい。
【００７５】
また、同一のグループであれば、何れのカメラにより撮影された画像上でも、そのグループに属する人物の数はあまり変わらないと想定される。そこで他の変形例によれば、グループ間類似度算出部１５は、第１の画像上のグループに属する人物の数と、第２の画像上のグループに属する人物の数の差が所定の許容範囲に含まれる場合にのみ、その二つのグループ間の類似度を算出してもよい。ここで、所定の許容範囲は、例えば、一人以内あるいは同数である。この場合、グループ間の人数差が所定の許容範囲内でない場合、グループ間の類似度の算出をしないため、グループ対応付け装置は、グループ間の類似度の算出に要する演算量を削減できる。またこの場合、全てのグループについて、グループ間の類似度が算出されるとは限らない。そこで、特徴量算出部１４は、グループ間の類似度が算出されると判定されたグループ、またはそのグループに属する人物についてのみ、特徴量を算出してもよい。これにより、グループ対応付け装置は、特徴量の算出に要する演算量を削減できる。
【００７６】
例えば、再度図８(ａ)及び図８（ｂ）を参照すると、所定の許容範囲が一人以内である場合、グループ８０５に属する人物の数は４名であり、グループ８００に属する人物の数、及び、グループ８０２に属する人物の数は２名である。そのため、グループ８００とグループ８０５の間、及び、グループ８０２とグループ８０５の間については、グループ間の類似度の算出は省略される。
【００７７】
さらに、上記の各実施形態による処理部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、又は半導体メモリに記憶された形で提供されてもよい。
【００７８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【００７９】
以上説明した実施形態及びその変形例に関し、さらに以下の付記を開示する。
（付記１）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出する人物検出部と、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類するグループ化部と、
前記第１の画像の前記グループから選択された一つのグループと、前記第２の画像の前記グループから選択された一つのグループの組のそれぞれごとに、当該組に含まれる二つの前記グループ間の類似度を算出するグループ間類似度算出部と、
当該組のそれぞれごとに、算出されたグループ間の前記類似度に応じて、当該組に含まれる二つのグループが同一グループであるか否か判定するグループ対応付け部と、
を有するグループ対応付け装置。
（付記２）
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、当該人物の組の集合に含まれる人物の組ごとに当該組に含まれる二人の人物間の類似度を算出して、当該集合に含まれる前記人物の組の前記類似度の総和を算出し、
算出された前記類似度の総和の最大値に相当する前記人物の組の集合に含まれる前記人物の組ごとの前記人物間の類似度の統計的代表値を前記グループ間の類似度とする、付記１に記載のグループ対応付け装置。
（付記３）
前記グループ間類似度算出部は、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物と前記第２の画像上の前記グループに属する人物との組み合わせを変えながら、前記第１の画像から検出された人物と前記第２の画像から検出された人物の組の集合を複数作成し、
前記複数の人物の組の集合のそれぞれごとに、人物の組に含まれる二人の人物間の類似度が所定の閾値以上となる人物の組の数をカウントし、
前記グループの組に含まれる、前記第１の画像上の前記グループに属する人物の数または前記第２の画像上の前記グループに属する人物の数に対する、二人の人物間の前記類似度が前記所定の閾値以上となる前記組の数の最大値の比に応じて前記グループ間の類似度を算出する、付記１に記載のグループ対応付け装置。
（付記４）
前記グループの組に含まれる前記第１の画像の前記グループと、前記第２の画像の前記グループとのそれぞれについて、当該グループに属する全ての人物の外見から当該グループの特徴量を算出する特徴量算出部をさらに有し、
前記グループ間類似度算出部は、前記グループの組に含まれる前記第１の画像の前記グループの前記特徴量と、前記第２の画像の前記グループの前記特徴量とに基づいて、前記グループ間の類似度を算出する、
付記１に記載のグループ対応付け装置。
（付記５）
前記特徴量算出部は、当該グループに属する人物の画像上の領域の何れかに含まれる画素の集合について、色相の正規化ヒストグラムを求め、求めた前記色相の正規化ヒストグラムから当該グループの特徴量を算出する、付記４に記載のグループ対応付け装置。
（付記６）
前記第１のカメラにより一定期間にわたって生成された複数の前記第１の画像のそれぞれにおいて、検出された人物ごとに、当該人物の位置を求める追跡部をさらに有し、
前記グループ化部は、前記一定期間に取得された複数の前記第１の画像のうち、検出された二人の人物の位置間の距離が所定距離範囲内となる前記第１の画像の数が所定値以上となる場合に、当該検出された二人の人物を同一のグループに分類する、
付記１〜５の何れか一項に記載のグループ対応付け装置。
（付記７）
前記グループ間類似度算出部は、前記第１の画像の前記グループと前記第２の画像の前記グループのうち、属する人数の差が所定の許容範囲内となる前記第１の画像の前記グループと前記第２の画像の前記グループを前記グループの組とする、付記１〜６の何れか一項に記載のグループ対応付け装置。
（付記８）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことを含むグループ対応付け方法。
（付記９）
第１のカメラで生成された第１の画像及び第２のカメラで生成された第２の画像のそれぞれから当該画像に写っている人物を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、当該画像から検出された少なくとも一人の人物を、少なくとも一つのグループの何れかに分類し、
前記第１の画像の前記グループのうちの一つのグループと、前記第２の画像の前記グループのうちの一つのグループとの組み合わせを少なくとも一つ求め、前記少なくとも一つのグループの組のそれぞれについて、当該グループの組に含まれる二つの前記グループ間の類似度を算出し、
前記少なくとも一つのグループの組のそれぞれごとに、当該グループの組について算出された前記二つのグループ間の前記類似度に応じて、当該グループの組に含まれる前記二つのグループが同一グループであるか否か判定する、
ことをコンピュータに実行させるためのグループ対応付け用コンピュータプログラム。
【符号の説明】
【００８０】
１    グループ対応付け装置
２−１    第１のカメラ
２−２    第２のカメラ
３    操作部
４    記憶部
５    処理部
６    出力部
７    通信インターフェース部
１１    人物検出部
１２    追跡部
１３    グループ化部
１４    特徴量算出部
１５    グループ間類似度算出部
１６    グループ対応付け部
【図１】
2016143335.tif 000004
【図２】
2016143335.tif 000005
【図３】
2016143335.tif 000006
【図４】
2016143335.tif 000007
【図５】
2016143335.tif 000008
【図６】
2016143335.tif 000009
【図７】
2016143335.tif 000010
【図８】
2016143335.tif 000011
【図９】
2016143335.tif 000012
【図１０】
2016143335.tif 000013