(57)【要約】【課題】移動体の情報をより高精度に得る。【解決手段】移動体追跡装置は、取得部と、対応付け部と、出力制御部と、を備える。取得部は、撮像された画像に含まれる移動体を示す複数の移動体情報を取得する。対応付け部は、相互に類似する複数の移動体情報を、同一の移動体の移動体情報として対応付ける対応付け処理を、３以上の移動体情報に対して実行する。出力制御部は、対応付けられた移動体情報を出力する。【選択図】図３
2018201161.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に含まれる移動体を示す複数の移動体情報を取得する取得部と、
相互に類似する複数の前記移動体情報を、同一の移動体の前記移動体情報として対応付ける対応付け処理を、３以上の前記移動体情報に対して実行する対応付け部と、
対応付けられた前記移動体情報を出力する出力制御部と、
を備える移動体追跡装置。
【請求項２】
複数の前記移動体情報のそれぞれは、複数の集合のうち１以上の集合に分類され、
前記対応付け部は、
前記集合に含まれる移動体情報に対して前記対応付け処理を実行する集合内対応付け部と、
前記集合内対応付け部により対応づけられた移動体情報に対して前記対応付け処理を実行する集合間対応付け部と、を備える、
請求項１に記載の移動体追跡装置。
【請求項３】
前記移動体情報は、複数の画像に含まれる移動体を追跡した情報を示す追跡情報であり、
複数の前記追跡情報に含まれる第１追跡情報は、複数の撮像部に含まれる第１撮像部で撮像された画像に基づき求められ、複数の前記追跡情報に含まれる第２追跡情報は、前記複数の撮像部に含まれる第２撮像部で撮像された画像に基づき求められ、
複数の前記追跡情報のそれぞれは、対応する撮像部が属する前記集合に分類される、
請求項２に記載の移動体追跡装置。
【請求項４】
前記撮像部間の直線距離、および、前記撮像部間を移動体が移動する経路の距離の少なくとも一方に基づいて、複数の前記撮像部を複数の前記集合に分類する分類部をさらに備える、
請求項３に記載の移動体追跡装置。
【請求項５】
前記出力制御部は、前記集合内で対応付けた前記移動体情報と、前記集合間で対応付けた前記移動体情報と、のうち少なくとも１つを出力する、
請求項２に記載の移動体追跡装置。
【請求項６】
前記移動体情報は、複数の画像に含まれる移動体を追跡した情報を示す追跡情報であり、
複数の前記追跡情報に含まれる第１追跡情報は、複数の撮像部に含まれる第１撮像部で撮像された画像に基づき求められ、複数の前記追跡情報に含まれる第２追跡情報は、前記複数の撮像部に含まれる第２撮像部で撮像された画像に基づき求められる、
請求項１に記載の移動体追跡装置。
【請求項７】
複数の前記移動体情報に含まれる第１移動体情報は、１の撮像部で撮像された複数の画像のうち第１画像から検出される移動体を示し、複数の前記移動体情報に含まれる第２移動体情報は、前記撮像部で撮像された複数の画像のうち第２画像から検出される移動体を示す、
請求項１に記載の移動体追跡装置。
【請求項８】
前記対応付け部は、３以上の前記移動体情報を類似度に基づいて複数のクラスタに分類し、同一のクラスタに分類された前記移動体情報を同一の移動体の前記移動体情報として対応付ける、
請求項１に記載の移動体追跡装置。
【請求項９】
選択された複数の撮像部から、複数の画像に含まれる移動体を追跡した情報を示す複数の追跡情報を取得する取得部と、
相互に類似する複数の前記追跡情報を、同一の移動体の前記追跡情報として対応付ける対応付け処理を、３以上の前記追跡情報に対して実行する対応付け部と、
対応付けられた前記追跡情報を出力する出力制御部と、
を備える移動体追跡装置。
【請求項１０】
撮像された画像に含まれる移動体を示す複数の移動体情報を取得する取得ステップと、
相互に類似する複数の前記移動体情報を、同一の移動体の前記移動体情報として対応付ける対応付け処理を、３以上の前記移動体情報に対して実行する対応付けステップと、
対応付けられた前記移動体情報を出力する出力制御ステップと、
を含む移動体追跡方法。
【請求項１１】
コンピュータを、
撮像された画像に含まれる移動体を示す複数の移動体情報を取得する取得部と、
相互に類似する複数の前記移動体情報を、同一の移動体の前記移動体情報として対応付ける対応付け処理を、３以上の前記移動体情報に対して実行する対応付け部と、
対応付けられた前記移動体情報を出力する出力制御部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、移動体追跡装置、移動体追跡方法およびプログラムに関する。
【背景技術】
【０００２】
２台以上のカメラ（撮像部）で撮像した画像（映像）を用いた監視において、カメラ間で同一移動体を対応付けることで、監視範囲の各移動体の移動軌跡を得る方法がある。例えば、２台のカメラ間での対応付けを繰り返し、同一移動体を対応付け、移動軌跡を得る技術が提案されている。
【０００３】
しかしながら、対応付けは一部失敗する可能性がある。このため、従来技術では、対応付けるカメラの組み合わせ、および、対応付けの順序に応じて対応付け結果が異なり、対応付けの誤差が伝播し最適な対応付け結果が得られない場合があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１４／０４１９１２号
【特許文献２】特許第５１７４０６８号公報
【非特許文献】
【０００５】
【非特許文献１】J.  Van,  Learning  color  names  for  real-world  applications,  TIP,  18(7):1512-1523,  2009.
【非特許文献２】T.  Kozakaya,  Random  Ensemble  Metrics  for  Object  Recognition,  International  Conference  on  Computer  Vision  (ICCV),  2011.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、高い精度で移動体の対応付けを行う移動体追跡装置、移動体追跡方法およびプログラムを提供する。
【課題を解決するための手段】
【０００７】
実施形態の移動体追跡装置は、取得部と、対応付け部と、出力制御部と、を備える。取得部は、撮像された画像に含まれる移動体を示す複数の移動体情報を取得する。対応付け部は、相互に類似する複数の移動体情報を、同一の移動体の移動体情報として対応付ける対応付け処理を、３以上の移動体情報に対して実行する。出力制御部は、対応付けられた移動体情報を出力する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態の移動体追跡システムの概略構成図。
【図２】移動体追跡装置のハードウェア構成図。
【図３】第１の実施形態にかかる装置の機能ブロック図。
【図４】階層的な分割の概念を示す図。
【図５】ＬＢＰを説明するための図。
【図６】ＬＢＰを説明するための図。
【図７】２台のカメラ間での対応付けを繰り返す方式を示す概念図。
【図８】第１の実施形態の対応付け処理を示す概念図。
【図９】クラスタリング処理の例を示す概念図。
【図１０】表示される追跡情報の一例を示す図。
【図１１】表示される追跡情報の他の例を示す図。
【図１２】第１の実施形態における移動体追跡処理のフローチャート。
【図１３】第２の実施形態にかかる移動体追跡装置の構成ブロック図。
【図１４】カメラを選択するための選択画面の一例を示す図。
【図１５】第２の実施形態の対応付け処理を示す概念図。
【図１６】第２の実施形態における移動体追跡処理のフローチャート。
【図１７】第３の実施形態にかかる装置の機能ブロック図。
【図１８】第３の実施形態の対応付け処理を示す概念図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる移動体追跡装置の好適な実施形態を詳細に説明する。
【００１０】
（第１の実施形態）
上記のように、従来の方法では、カメラの対応付けの順序などに応じて対応付け結果が異なり、最適な対応付け結果が得られない場合があった。また、カメラの台数が増えた場合、現実的な精度で対応付け結果が得られない場合があった。また、（カメラの台数−１）回の対応付け処理が必要であった。
【００１１】
第１の実施形態にかかる移動体追跡装置は、各カメラで撮像した映像から取得した各移動体（人物など）の情報を用いて、一括処理により全体最適な同一の移動体への対応付けを実行する。これにより、移動体の移動軌跡の情報などを、より高精度に得ることが可能となる。
【００１２】
本実施形態の移動体追跡装置は、例えば、複数の防犯カメラを用いて、施設内における各人物の移動軌跡を得るシステムなどに適用できる。
【００１３】
図１は、本実施形態の移動体追跡システム１の概略構成の一例を示す図である。図１に示すように、移動体追跡システム１は、撮像部としてのｎ台のカメラ１０−１〜１０−ｎ（ｎは３以上の整数）と、移動体追跡装置２０と、を含む。以下の説明では、ｎ台のカメラ１０−１〜１０−ｎを互いに区別しない場合は、単に「カメラ１０」と称する。各カメラ１０と移動体追跡装置２０は、無線または有線で相互に接続されている。
【００１４】
図２は、移動体追跡装置２０のハードウェア構成の一例を示す図である。図２に示すように、移動体追跡装置２０は、ＣＰＵ（Central  Processing  Unit）２０１と、ＲＯＭ（Read  Only  Memory）２０２と、ＲＡＭ（Random  Access  Memory）２０３と、Ｉ／Ｆ（インタフェース）２０４と、操作装置２０５と、表示装置２０６とを備える。
【００１５】
ＣＰＵ２０１は、移動体追跡装置２０の動作を統括的に制御する。ＣＰＵ２０１は、ＲＡＭ２０３の所定の領域を作業領域として、ＲＯＭ２０２に記録された各種制御プログラムを実行して、移動体追跡装置２０が有する各種の機能を実現させる。移動体追跡装置２０が有する機能の具体的な内容については後述する。
【００１６】
ＲＯＭ２０２は、移動体追跡装置２０に関わるプログラムや各種設定情報などを記憶する不揮発性のメモリ（書き換え不可能なメモリ）である。
【００１７】
ＲＡＭ２０３は、例えばＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）などの記憶手段であって、ＣＰＵ２０１の作業エリアとして機能し、バッファなどの役割を果たす。
【００１８】
Ｉ／Ｆ２０４は、カメラ１０等の外部機器と接続するためのインタフェースである。操作装置２０５は、ユーザの操作を受け付けるためのデバイスであり、マウスやキーボードなどで構成される。表示装置２０６は、移動体追跡装置２０に関する各種の情報を表示するデバイスであり、例えば液晶ディスプレイなどで構成される。なお、操作装置２０５と表示装置２０６とが一体的に構成される（例えばタッチパネルとして構成される）形態であってもよい。
【００１９】
移動体追跡装置２０は、物理的に１つの装置により構成してもよいし、クラウドコンピューティング環境上の仮想的な装置として実現してもよい。
【００２０】
図３は、第１の実施形態にかかるカメラ１０および移動体追跡装置２０の機能構成の一例を示すブロック図である。図３に示すように、カメラ１０は、追跡部１１１と、通信制御部１１２と、を備えている。移動体追跡装置２０は、取得部２１１と、対応付け部２１２と、出力制御部２１３と、を備えている。なお、図３では、本実施形態に関する機能を主に例示しているが、カメラ１０および移動体追跡装置２０が有する機能はこれらに限られるものではない。
【００２１】
移動体追跡装置２０の各部（取得部２１１、対応付け部２１２、出力制御部２１３）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ２０１などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated  Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。
【００２２】
カメラ１０の各部（追跡部１１１、通信制御部１１２）も同様に、例えば、１または複数のプロセッサにより実現される。
【００２３】
追跡部１１１は、撮像された画像群に基づいて移動体を追跡する。例えば追跡部１１１は、カメラ１０で撮像した画像群を取得する。追跡部１１１は、取得した画像群から、検出対象となる移動体を検出し、各画像で検出した移動体のうち同一の移動体を相互に対応付ける追跡処理を行う。追跡部１１１は、各移動体のカメラ１０内における追跡情報を出力する。
【００２４】
移動体は、例えば歩行者などの人物であるが、これに限られるものではない。車両および飛行体などの任意の移動体を対象とすることができる。また、追跡情報は、画像平面上での位置、画像平面上でのサイズ、画像間で同一の移動体を識別するための識別情報、および、画像上での移動体の外接矩形を切り出した部分画像群などを含む。
【００２５】
本実施形態では、追跡情報が、画像に含まれる移動体を示す移動体情報に相当する。すなわち移動体情報は、複数の画像に含まれる移動体を追跡した情報を示す追跡情報である。
【００２６】
通信制御部１１２は、移動体追跡装置２０などの外部装置との間の通信を制御する。例えば通信制御部１１２は、追跡部１１１により求められた追跡情報を移動体追跡装置２０に送信する。
【００２７】
取得部２１１は、カメラ１０などの外部装置から各種情報を取得する。例えば取得部２１１は、カメラ１０の通信制御部１１２から送信された追跡情報を取得する。取得部２１１は、複数のカメラ１０それぞれから、各カメラ１０の追跡部１１１により求められた追跡情報を取得する。従って取得部２１１が取得する複数の追跡情報は、複数のカメラ１０に含まれる、あるカメラ１０（第１撮像部）で撮像された画像に基づき求められる追跡情報（第１追跡情報）、および、複数のカメラ１０に含まれる、他のカメラ１０（第２撮像部）で撮像された画像に基づき求められる追跡情報（第２追跡情報）を含む。
【００２８】
なお、追跡部１１１の機能を、移動体追跡装置２０内に備えるように構成してもよい。この場合、通信制御部１１２は、撮像した画像群を移動体追跡装置２０に送信する。また取得部２１１は、送信された画像群に基づき移動体追跡装置２０内の追跡部１１１の機能により求められた追跡情報を取得する。
【００２９】
対応付け部２１２は、移動体情報（追跡情報）を対応付ける対応付け処理を実行する。対応付け処理は、例えば、相互に類似する複数の移動体情報を、同一の移動体の移動体情報として対応付ける処理である。本実施形態では、対応付け部２１２は、対応付け処理を３以上の移動体情報に対して一括して実行する。例えば対応付け部２１２は、３以上の移動体情報を類似度に基づいて複数のクラスタに分類し、同一のクラスタに分類された移動体情報を同一の移動体の移動体情報として対応付ける。
【００３０】
対応付け部２１２は、すべてのカメラ１０から取得された追跡情報を用いて、追跡情報が類似する移動体を同一の移動体へと一括で対応付ける。対応付けには、例えば各移動体の見え方の類似性を用いた尺度（類似度）を用いる。移動体の見え方の類似度は、例えば、以下の手順で求めることができる。以下では、移動体として人物を追跡する場合を例に説明する。
【００３１】
まず対応付け部２１２は、各画像について、移動体の見え方を示す特徴量（特徴ベクトル）を算出する。なお以下の算出方法は一例であり、他の任意の特徴量を用いることができる。
【００３２】
対応付け部２１２は、人物画像（画像のうち人物が写り込んだ領域）を、複数の色空間を用いてマルチチャネル化し、複数のチャネル画像を生成する。複数の色空間は、例えば、ＹＣｂＣｒ色空間、ＨＳＶ色空間、および、ＣｏｌｏｒＮａｍｅｓ色空間など環境光の変動に対して耐性のある色空間である。対応付け部２１２は、各チャネル画像を、Ｙ方向に異なる分割数でブロック（Ｂｌｏｃｋ）へ分割するマルチレイヤブロック（Ｍｕｌｔｉ−Ｌａｙｅｒ  Ｂｌｏｃｋ）分割を行う。対応付け部２１２は、各ブロックから、値のヒストグラム、および、近接画素との差分値によるバイナリ符号のヒストグラムをそれぞれ算出する。対応付け部２１２は、算出した各ヒストグラムを正規化連結することにより特徴量を抽出する。対応付け部２１２は、抽出した特徴量を予め求めた識別空間へ写像して、移動体の見え方の特徴量を求める。識別空間は、例えば、同一人物が近く、他人が遠くなるように予め計量学習により求められる。
【００３３】
以下、特徴量の算出方法についてさらに説明する。ここでは、対応付け部２１２は、ＲＧＢの３チャネルで取得した人物画像を、複数の色空間に変換してマルチチャネル化する。例えば、人物画像は、ＹＣｂＣｒ色空間の３チャネル、ＨＳＶ色空間の３チャネル、および、Color  Names  descriptor*の１１チャネルの計１７チャネルに拡張される。この拡張は、カメラ１０の個体差および環境変動などによる、画像の色情報および輝度情報の変動を吸収することを目的としている。この拡張により、環境変動などに対して色空間上での変動が少なくなることが知られている（非特許文献１参照）。
【００３４】
次に、対応付け部２１２は、各チャネル画像（Ｃｈ画像）について、複数レイヤでブロック分割を行う。対応付け部２１２は、後段の処理で、各ブロックからヒストグラム情報を取得する。この際、詳細に分割すると人物矩形の位置ずれによる影響が大きくなるが、位置情報を利用できるためより識別性が高くなる。このため、対応付け部２１２は、詳細な分割から広域な分割を段階的に行う。
【００３５】
ｙ軸方向およびｘ軸方向の両方で分割できるが、どちらか一方のみで分割してもよい。分割処理では、各人物画像について各チャネル画像からブロックと呼ぶ複数の領域が定義される。図４は、階層的な分割の概念を示す図である。図４では、４つのチャネル画像それぞれについて、段階的にブロックが定義されている。
【００３６】
次に、対応付け部２１２は、定義した各領域（ブロック）から、ヒストグラム情報を抽出する。例えば対応付け部２１２は、領域内の各値の出現頻度を示すヒストグラム特徴量と、領域内の各値と周辺の値との差分値の出現頻度（勾配方向の出現頻度）をヒストグラム化する特徴量と、を正規化連結することにより、ヒストグラム情報を抽出する。後者の特徴量は、例えば、ＬＢＰ（Local  Binary  Pattern）と呼ばれる、注目画素と周辺画素との値により割り当てるバイナリ符号を用いてヒストグラム化する特徴量を用いることができる。
【００３７】
図５および図６は、ＬＢＰを説明するための図である。図５に示すように、注目画素（中心点）からの方向ごとに、注目画素の輝度値と、該方向に存在する画素の平均輝度値との大小を重み付けすることにより、バイナリ符号がコード化される。例えば図６の左側に示す輝度パターンは、図６の矢印６０１が示す方向にバイナリ符号を並べたビット列に変換される。この例では、周辺画素の輝度値が中心画素の輝度値よりも低い場合は、該周辺画素の輝度値は「０」に変換され、周辺画素の輝度値が中心画素の輝度値よりも高い場合は、該周辺画素の輝度値は「１」に変換される。変換方法は、これに限られるものではない（反対でもよい）。各ブロック（領域）からは、値のヒストグラムのビン（ｂｉｎ）数と、ＬＢＰのヒストグラムのビン数とを合わせた次元数の特徴量が得られる。
【００３８】
次に、対応付け部２１２は、各ブロックから抽出したチャネル数×ブロック数の特徴量を正規化連結し、高次の特徴ベクトルを抽出する。対応付け部２１２は、予め同一移動体は近く、異なる移動体は遠くなる特徴空間へ変換するために計量学習して取得した変換行列により、高次の特徴ベクトル（Ｄ次元）を変換した特徴ベクトル（ｄ次元）を、各人物画像の特徴ベクトルとする。
【００３９】
計量学習には、いくつかの手法が提案されているが、固定の次元数（例えば分割するカテゴリ数）の変換行列しか算出できない手法が多い。一方、例えばＲＥＭｅｔｒｉｃ＊を用いると任意の次元数への変換行列を算出することが可能となる（非特許文献２参照）。対応付け部２１２は、ＲＥＭｅｔｒｉｃ＊により取得した変換行列を用いてもよい。
【００４０】
対応付け部２１２は、このようにして算出された特徴量（特徴ベクトル）を用いて、移動体の見え方の類似度を算出する。例えば各人物画像間の類似度は、上述の２つの特徴ベクトル間の正規化相互相関により定義できる。通常、追跡情報は、複数枚の人物画像を有するため、複数枚と複数枚との間の類似度が定義できる。対応付け部２１２は、すべての特徴ベクトルの組み合わせに対して得られる複数の類似度の最大値を追跡情報間の類似度としてもよいし、複数の類似度の平均値を追跡情報間の類似度としてもよい。
【００４１】
類似度の算出方法は上記に限られず、任意の方法を適用できる。例えば、以下のように算出される類似度を用いてもよい。対応付け部２１２は、まず、各追跡情報に関して得られる複数の特徴ベクトル列について主成分分析を行い、部分空間を算出する。この部分空間は、見え方の変動を表現する各移動体を表現する空間である。このため、対応付け部２１２は、追跡情報間のそれぞれの部分空間同士の間の類似度を相互部分空間法により算出し、類似度とする。
【００４２】
上記の方法により、追跡情報間の類似度が得られる。対応付け部２１２は、すべてのカメラ１０から取得した追跡情報間の相互の類似度を算出する。ここで、追跡情報がＮ個得られた場合、相互の類似度を要素とするＮ×Ｎの行列を類似度行列と呼ぶ。ｉ番目（１≦ｉ≦Ｎ）の追跡情報とｊ番目（１≦ｊ≦Ｎ）の追跡情報の類似度を類似度行列の要素Ｓ＿ｉ，ｊと表現する。類似度行列は、対象行列であり、Ｓ＿ｉ，ｊとＳ＿ｊ，ｉは同値である。
【００４３】
類似度は、画像として移動体を捉えた場合、見え方の類似性を意味する。類似度は、見る角度、および、日の当たり具合などの環境要因により変動する部分を特徴抽出にて可能な限り排除し、個人性のみで算出されるようにしている。しかし、このような類似度を用いたとしても、同一人物の類似度が高くなりやすいカメラ１０の組と、低くなるカメラ１０の組が存在する。
【００４４】
そのため対応付け部２１２は、すべてのカメラ１０の組で独立に類似度行列を計算する。対応付け部２１２は、得られた各組の類似度行列について、類似度を正規化する。すべての追跡情報間の類似度表は、各カメラ１０間の類似度行列をつなげることで算出できる。
【００４５】
類似度の正規化手法は、任意の方法を適用できる。例えば代表的な手法に、z-score  normalizationがある。z-score  normalizationは、類似度行列の各要素は他人同士の類似度であり、同一人物の類似度は非常に少ないことから、類似度行列の要素群は正規分布であると仮定し、この正規分布の中心と標準偏差を一定値に正規化する方法である。
【００４６】
次に対応付け部２１２は、すべてのカメラ１０の組に対して算出された類似度行列を用いて、クラスタリング処理により、類似度の高い追跡情報をいくつかのクラスタに分類する。クラスタリング処理は、任意の方法を適用できるが、例えば特許文献２に記載の方法を用いてクラスタリングしてもよい。
【００４７】
ここで、同一のカメラ１０で得られた画像については、追跡部１１１によって同一の移動体が対応付けられている。このため、対応付け部２１２は、同一のカメラ１０から得られた追跡情報には、同一の移動体の追跡情報は存在しないと仮定し、同一のカメラ１０から得られた追跡情報間の類似度を０にしてクラスタリングしてもよい。これにより、対応付けの性能を向上させることができる。
【００４８】
一般的なクラスタリング手法では、上記のような、すべての追跡情報間の類似度を記述したＮ×Ｎの類似度行列が必要になる。一方、特許文献２に示されるクラスタリング手法では、各追跡情報と、限られた数の追跡情報との間の類似度のみを用いて計算を実行することが可能である。例えば、Ｎ個すべての類似度が必要ではなく、近傍のｋ個（ｋ＜Ｎ）の類似度と、いずれの追跡情報であるかを示すインデックスのみでよい。このため、Ｎ×ｋ個の類似度とインデックスとがクラスタリング処理で用いられる。特許文献２のクラスタリング手法は、必要な情報が少なくてよいため、計算量も少なく高速に処理が可能である。
【００４９】
また、追跡情報を追加したクラスタリングを行う場合でも、それまでの処理で生成した類似度の情報と比較し、より近い追跡情報が存在する場合のみ、類似度およびインデックスを更新し、再度クラスタリング処理を行えばよい。
【００５０】
対応付け部２１２は、上記のようなクラスタリング処理により、相互に類似する複数の移動体情報を同一の移動体の移動体情報として対応付ける対応付け処理を３以上の移動体情報に対して一括して実行する。例えば、同一のクラスタに分類された追跡情報が、同一の移動体の追跡情報として対応付けられた追跡情報に相当する。これにより、全体最適な対応付け結果を得ることができる。
【００５１】
図７〜図９を用いて、本実施形態の対応付け処理の概念についてさらに説明する。図７は、従来のように、２台のカメラ間での対応付けを繰り返す方式を示す概念図である。
【００５２】
図７の追跡情報７０１〜７０６は、それぞれ異なるカメラで得られる追跡情報を示す。複数の防犯カメラを用いた移動体追跡システムなどでは、時間の経過に従い、追跡情報７０１、７０２、７０３、７０４、７０５、および、７０６が順次得られる。通常は、追跡情報が得られるごとに、類似する追跡情報が対応付けられる。例えば、最初に得られた追跡情報７０１と、次に得られた追跡情報７０２とが対応づけられる（ステップＳ７０１）。さらに追跡情報７０３が得られると、ステップＳ７０１で対応付けられた追跡情報と、追跡情報７０３とが対応付けられる（ステップＳ７０２）。その後、同様の処理が繰り返される（ステップＳ７０３〜ステップＳ７０５）。
【００５３】
このような方式では、カメラの台数が多くなると、性能が維持できない場合がある。また、対応付けの結果が対応付けの順序に依存し、全体として最適な対応付け結果が得られない場合がある。
【００５４】
図８は、本実施形態の対応付け処理を示す概念図である。図８に示すように、本実施形態では、複数の追跡情報７０１〜７０７が得られたときに、一括して対応付け処理が実行される（ステップＳ８０１）。従って、全体最適な対応付け結果を得ることができる。本実施形態では、３以上の追跡情報が得られたときに対応付け処理が実行されるため、図７の方式と比較して対応付けの結果が得られるタイミングが遅れる。本実施形態の対応付け処理のタイミングは、例えば遅れが問題にならない程度に、適用するシステムに応じて適宜定めればよい。
【００５５】
図９は、クラスタリング処理の例を示す概念図である。図９では、２次元の特徴空間で人物（追跡情報）を４つのクラスタ９０１〜９０４に分類した例が示されている。クラスタリング処理では、特徴空間での近さに基づいて人物（追跡情報）が分類される。
【００５６】
図３に戻り、出力制御部２１３は、対応付け部２１２にて対応付けた移動体情報（追跡情報）を出力する。例えば出力制御部２１３は、対応付けた追跡情報のうち、ある人物に対応する追跡情報を表示装置２０６に表示させる。
【００５７】
図１０は、表示される追跡情報の一例を示す図である。図１０では、ある人物の追跡情報を対応づけた移動軌跡３００が表示される例が示されている。図１１は、表示される追跡情報の他の例を示す図である。図１１では、移動軌跡３００とともに、最新の時刻に対応する画像４０１と、過去の時刻に対応する画像４０２とが表示される例が示されている。また図１１の例では、画像と併せて歩行者のアイコンも表示されている。
【００５８】
次に、このように構成された第１の実施形態にかかる移動体追跡装置２０による移動体追跡処理について図１２を用いて説明する。図１２は、第１の実施形態における移動体追跡処理の一例を示すフローチャートである。
【００５９】
各カメラ１０が、画像を撮像する（ステップＳ１０１）。カメラ１０の追跡部１１１は、撮像された画像を用いて移動体を追跡し、追跡情報を算出する（ステップＳ１０２）。追跡情報は、例えば通信制御部１１２により移動体追跡装置２０に送信される。
【００６０】
移動体追跡装置２０の取得部２１１は、各カメラ１０から追跡情報を取得する（ステップＳ１０３）。対応付け部２１２は、３以上のカメラ１０から取得された３以上の追跡情報に対して、対応付け処理を実行する（ステップＳ１０４）。出力制御部２１３は、対応付け処理の結果を出力する（ステップＳ１０５）。
【００６１】
このように、第１の実施形態にかかる移動体追跡装置では、各カメラから取得した移動体の情報を用いて、一括処理により全体最適な同一の移動体への対応付けを実行する。これにより、例えば、移動体の移動軌跡の情報を、より高精度に得ることが可能となる。
【００６２】
（第２の実施形態）
第２の実施形態にかかる移動体追跡装置は、各カメラ（各カメラから取得される追跡情報）を、複数の集合のいずれかに分類する。そして、各集合内で追跡情報を対応付けた後、集合間でさらに追跡情報を対応付ける。これにより、分散処理が可能になる。
【００６３】
図１３は、第２の実施形態にかかる移動体追跡装置２０−２の構成の一例を示すブロック図である。図１３に示すように、移動体追跡装置２０−２は、取得部２１１と、対応付け部２１２−２と、出力制御部２１３−２と、分類部２１４−２と、を備えている。
【００６４】
カメラ１０は第１の実施形態と同様である。また、第２の実施形態の移動体追跡装置２０−２は、対応付け部２１２−２と出力制御部２１３−２の機能、および、分類部２１４−２を追加したことが第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる移動体追跡装置２０のブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
【００６５】
分類部２１４−２は、複数のカメラ１０を複数の集合に分類する。なお事前に集合が定められる場合は、分類部２１４−２は備えられなくてもよい。例えば分類部２１４−２は、複数のカメラ１０間の直線距離、および、カメラ１０間を移動体が移動する経路の距離の少なくとも一方に基づいて、複数のカメラ１０を複数の集合に分類する。
【００６６】
分類部２１４−２は、距離の近さに基づくクラスタリング処理により、各カメラ１０を指定された個数の集合に分類してもよい。分類する集合の個数は、例えば、操作装置２０５などを用いてユーザにより指定可能としてもよい。各カメラ１０は、１つ以上の集合に属していてもよい。
【００６７】
集合への分類方法はこれに限られず、どのような方法であってもよい。例えば、複数のカメラ１０が建物の各階のいずれかに設置される場合、階ごとにカメラ１０を分類してもよい。分類するカメラ１０をユーザが選択できるように構成してもよい。
【００６８】
図１４は、ユーザが分類するカメラ１０を選択するための選択画面１４０１の一例を示す図である。図１４に示す選択画面１４０１は、対応付けた追跡情報を表示する画面（図１１）と同様の画面で、カメラ１０を選択可能とする例である。アイコン１４１１〜１４１６は、ある集合に属するカメラ１０として選択されたカメラ１０を示すアイコンである。ＯＫボタン１４２１が押下されると、選択されたカメラ１０が、当該集合に属するカメラ１０として分類される。キャンセルボタン１４２２が押下されると、選択処理がキャンセルされる。
【００６９】
なお各追跡情報は、カメラ１０のいずれかから取得される。従って、カメラ１０を分類する集合は、追跡情報を分類する集合でもあると考えることができる。すなわち、複数の追跡情報のそれぞれは、複数の集合のうち、追跡情報が求められた画像が撮像されたカメラ１０の属する１以上の集合に分類される。
【００７０】
図１３に戻り、対応付け部２１２−２は、集合内対応付け部２２１−１〜２２１−ｍ（ｍは集合の個数で２以上の整数）と、集合間対応付け部２２２と、を備えている。
【００７１】
集合内対応付け部２２１−１〜２２１−ｍは、対応する集合に含まれる追跡情報に対して対応付け処理を実行する。集合内対応付け部２２１−１〜２２１−ｍは、同様の機能を備えるため、区別する必要がない場合は単に集合内対応付け部２２１という。集合内対応付け部２２１は、第１の実施形態の対応付け部２１２と同様の手法により、追跡情報を対応付ける。
【００７２】
図１３では、集合ごとに集合内対応付け部２２１が備えられている。１つの集合内対応付け部２２１が、複数の集合に対して対応付け処理を実行するように構成してもよい。
【００７３】
集合間対応付け部２２２は、集合内対応付け部２２１により対応づけられた追跡情報に対して、さらに対応付け処理を実行する。例えば集合間対応付け部２２２は、集合内対応付け部２２１によって対応付けられた追跡情報を、すべての集合から集め、第１の実施形態の対応付け部２１２と同様の手法により、追跡情報を対応付ける。
【００７４】
出力制御部２１３−２は、集合内で対応付けた移動体情報と、集合間で対応付けた移動体情報と、のうち少なくとも１つを出力する機能をさらに備える。例えば出力制御部２１３−２は、集合内で対応付けた移動体情報と、集合間で対応付けた移動体情報とのいずれかの出力、または、両方の出力、を切り替える機能を備える。
【００７５】
図１５は、本実施形態の対応付け処理を示す概念図である。図１５では、追跡情報７０１〜７０３が１つの集合に属し、追跡情報７０４〜７０６が別の１つの集合に属する例が示されている。少なくとも追跡情報７０１〜７０３が得られると、この集合に対応する集合内対応付け部２２１が、対応付け処理を実行する（ステップＳ１５０１）。追跡情報７０４〜７０６が得られると、この集合に対応する集合内対応付け部２２１が、対応付け処理を実行する（ステップＳ１５０２）。その後、集合間対応付け部２２２が、ステップＳ１５０１およびステップＳ１５０２で対応づけられた追跡情報に対して、さらに対応付け処理を実行する（ステップＳ１５０３）。
【００７６】
次に、このように構成された第２の実施形態にかかる移動体追跡装置２０−２による移動体追跡処理について図１６を用いて説明する。図１６は、第２の実施形態における移動体追跡処理の一例を示すフローチャートである。なお、移動体追跡処理より前に、カメラ１０を集合へ分類する処理は完了しているものとする。
【００７７】
ステップＳ２０１からステップＳ２０３までは、第１の実施形態にかかる移動体追跡装置２０におけるステップＳ１０１からステップＳ１０３までと同様の処理なので、その説明を省略する。
【００７８】
集合内対応付け部２２１は、対応する集合に属する追跡情報に対して、対応付け処理を実行する（ステップＳ２０４）。２以上の集合について対応付け処理が実行された後、集合間対応付け部２２２は、集合間での追跡情報の対応付け処理を実行する（ステップＳ２０５）。出力制御部２１３−２は、対応付け処理の結果を出力する（ステップＳ２０６）。
【００７９】
出力制御部２１３−２は、例えばユーザからの指定に応じて、集合内で対応付けた追跡情報と、集合間で対応付けた追跡情報と、のいずれか、または、両方を切り替えて出力してもよい。例えば、ユーザが１つの集合の追跡情報の表示を指定した場合、出力制御部２１３−２は、指定された集合から得られた追跡情報を表示装置２０６に表示する。
【００８０】
例えば、ある建物の１階に設置されたカメラ１０が属する集合と、２階に設置されたカメラ１０が属する集合とが定められたとする。ユーザが、ある階（例えば１階）に対応する集合から得られた追跡情報の表示を指定した場合、出力制御部２１３−２は、例えば、図１０に示すような追跡情報を表示する。ユーザが、複数の階（例えば１階および２階）に対応する集合から得られた追跡情報の表示を指定した場合、出力制御部２１３−２は、例えば、図１１に示すような追跡情報を表示する。
【００８１】
以上のように、第２の実施形態にかかる移動体追跡装置では、各カメラを分類した複数の集合内で追跡情報を対応付けた後、集合間でさらに追跡情報を対応付ける。これにより、分散処理が可能になるため、例えば処理の高速化を実現できる。
【００８２】
（第３の実施形態）
上記各実施形態では、複数のカメラから得られる追跡情報を移動体情報として、類似度に基づく対応付け処理が実行された。各カメラで追跡情報を求めるときにも、上記各実施形態と同様の手法を適用することができる。すなわち、第３の実施形態では、各カメラが、撮像した画像内の移動体を追跡した追跡情報を求めるときに、一括処理により全体最適な同一の移動体への対応付けを実行する。
【００８３】
図１７は、第３の実施形態にかかるカメラ１７００−３および移動体追跡装置２０−２の構成の一例を示すブロック図である。移動体追跡装置２０−２は、第２の実施形態と同様であるため同一の符号を付し説明を省略する。なお移動体追跡装置２０−２の代わりに、第１の実施形態の移動体追跡装置２０を備えるように構成してもよい。
【００８４】
図１７に示すように、カメラ１７００−３は、追跡部１１１−３と、通信制御部１１２と、を備えている。
【００８５】
第３の実施形態のカメラ１７００−３は、追跡部１１１−３の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかるカメラ１０のブロック図である図３と同様であるので、同一符号を付し、ここでの説明は省略する。
【００８６】
追跡部１１１−３は、撮像された画像から検出された移動体の情報（検出情報）を追跡情報の代わりに用いて第１の実施形態または第２の実施形態の対応付け処理を実行することにより、追跡情報を求める。検出情報は、例えば、１フレームの画像から検出された移動体の外接矩形を切り出した部分画像を示す情報である。
【００８７】
追跡部１１１−３は、第１の実施形態の移動体追跡装置２０（取得部２１１、対応付け部２１２、出力制御部２１３）、または、第２の実施形態の移動体追跡装置２０−２（取得部２１１、対応付け部２１２−２、出力制御部２１３−２、分類部２１４−２）と同様の機能を備える。本実施形態では、カメラ１７００−３または追跡部１１１−３も、移動体追跡装置に相当すると考えることができる。
【００８８】
例えば追跡部１１１−３は、撮像された画像に含まれる移動体を示す複数の移動体情報（検出情報）を取得する（取得部２１１の機能）。追跡部１１１−３は、移動体情報（検出情報）を対応付ける対応付け処理を、３以上の検出情報に対して一括して実行する（対応付け部２１２または対応付け部２１２−２の機能）。追跡部１１１−３は、対応付けられた検出情報（追跡情報に相当）を出力する（出力制御部２１３または出力制御部２１３−２の機能）。
【００８９】
このように、本実施形態では、検出情報が、画像に含まれる移動体を示す移動体情報に相当する。追跡部１１１−３が検出する複数の検出情報は、当該カメラ１７００−３で撮像された複数の画像のうち、ある画像（第１画像）から検出される移動体を示す検出情報（第１移動体情報）、および、他の画像（第２画像）から検出される移動体を示す検出情報（第２移動体情報）を含む。
【００９０】
図１８は、本実施形態の対応付け処理を示す概念図である。図１８は、第２の実施形態の手法を追跡部１１１−３に適用した例を示す。図１８に示すように、本実施形態では、例えば１フレームの画像から得られる検出情報１８０１〜１８０６が、対応付け処理により対応付けられる。図１８では、検出情報１８０１〜１８０３が１つの集合に属し、検出情報１８０４〜１８０６が別の１つの集合に属する例が示されている。
【００９１】
少なくとも検出情報１８０１〜１８０３が得られると、この集合に属する検出情報に対して対応付け処理が実行される（ステップＳ１８０１）。検出情報１８０４〜１８０６が得られると、この集合に属する検出情報に対して対応付け処理が実行される（ステップＳ１８０２）。その後、ステップＳ１８０１およびステップＳ１８０２で対応づけられた検出情報に対して、さらに対応付け処理が実行される（ステップＳ１８０３）。
【００９２】
このように、第３の実施形態では、各カメラで追跡情報を求めるときに、第１または第２の実施形態と同様の手法を適用することができる。
【００９３】
以上説明したとおり、第１から第３の実施形態によれば、移動体の情報を、より高精度に得ることが可能となる。
【００９４】
第１から第３の実施形態にかかる装置（カメラ、移動体追跡装置）で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【００９５】
第１から第３の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact  Disk  Read  Only  Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact  Disk  Recordable）、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
【００９６】
さらに、第１から第３の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１から第３の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００９７】
第１から第３の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、ＣＰＵがコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
【００９８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９９】
１  移動体追跡システム
１０−１〜１０−ｎ  カメラ
２０、２０−２  移動体追跡装置
１１１、１１１−３  追跡部
１１２  通信制御部
２１１  取得部
２１２、２１２−２  対応付け部
２１３、２１３−２  出力制御部
２１４−２  分類部
【図１】
2018201161.tif 000003
【図２】
2018201161.tif 000004
【図３】
2018201161.tif 000005
【図４】
2018201161.tif 000006
【図５】
2018201161.tif 000007
【図６】
2018201161.tif 000008
【図７】
2018201161.tif 000009
【図８】
2018201161.tif 000010
【図９】
2018201161.tif 000011
【図１０】
2018201161.tif 000012
【図１１】
2018201161.tif 000013
【図１２】
2018201161.tif 000014
【図１３】
2018201161.tif 000015
【図１４】
2018201161.tif 000016
【図１５】
2018201161.tif 000017
【図１６】
2018201161.tif 000018
【図１７】
2018201161.tif 000019
【図１８】
2018201161.tif 000020