(57)【要約】【課題】  計算リソースの増加を抑え、移動体を精度良く継続的に追跡する追跡方法等を提供することを主要な目的とする。【解決手段】  撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成し、前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合し、前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける。【選択図】      図３
2020161032.tif 000002
【特許請求の範囲】
【請求項１】
撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成し、
前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、
前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合し、
前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける
追跡方法。
【請求項２】
前記動線情報が生成された移動体が前記所定の領域に移動した時刻である第１の時刻と、前記移動体が前記撮像範囲の外から前記撮像範囲に移動した時刻である第２の時刻とを取得し、
前記記憶する処理において、前記第１の時刻と、前記移動体の第２の特徴量とを関連付けて記憶し、
前記照合する処理において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記第２の時刻との差が所定時間以内である前記第１の時刻に関連付けられた前記第２の特徴量とを照合する
請求項１に記載の追跡方法。
【請求項３】
前記照合する処理において、前記撮像範囲の外から前記所定の領域に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する
請求項１または２に記載の追跡方法。
【請求項４】
前記所定の領域は、複数の第１の領域と、第２の領域とを含み、
前記第２の領域は、少なくとも一の前記第１の領域と対応づけられ、
前記記憶する処理において、前記動線情報が生成された前記移動体が、前記第１の領域に移動した場合に、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、
前記照合する処理において、前記撮像範囲の外から前記第２の領域に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量のうち、前記第２の領域に対応付けられた前記第１の領域に移動した移動体の第２の特徴量とを照合する
請求項２または３に記載の追跡方法。
【請求項５】
前記動線情報は、前記移動体の第１の特徴量を用いて照合することにより生成され、
前記第２の特徴量を用いた照合は、前記第１の特徴量を用いた照合より、移動体を同定する精度が高い
請求項１乃至４のいずれか一項に記載の追跡方法。
【請求項６】
前記第２の特徴量は、前記移動体の顔または虹彩の特徴量を含み、
前記照合する処理において、顔認証または虹彩認証を用いる
請求項１乃至５のいずれか一項に記載の追跡方法。
【請求項７】
前記記憶する処理において、前記抽出された第２の特徴量を、所定時間後に破棄する
請求項１乃至６のいずれか一項に記載の追跡方法。
【請求項８】
撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成する動線情報生成手段と、
前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶する特徴量管理手段と、
前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する照合手段と、を備え、
前記動線情報生成手段は、前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける
追跡装置。
【請求項９】
撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成する処理と、
前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶する処理と、
前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する処理と、
前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける処理と、をコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像による、移動体を追跡する方法、装置、及びプログラムに関する。
【背景技術】
【０００２】
撮像装置から得られる映像を用いて、移動体を追跡する技術が開発されている。このような、映像を用いて移動体を追跡する技術では、映像から移動体の特徴量を抽出し、映像間で特徴量を照合することで移動体の同定を行い、移動体を追跡する。
【０００３】
ところで、連続する映像を用いて移動体を追跡する場合、計算リソースの増加を抑えるために、映像の前後で移動体を同定可能な、情報量の少ない特徴量を用いて追跡することがある。しかしながら、撮像装置間を移動体が移動する場合のように、移動体が、撮像装置の撮像できない範囲を経由して移動した場合、情報量の少ない特徴量を用いた追跡では、移動体を同定する精度が低下し、継続的な追跡が困難となることがあった。
【０００４】
これに対して、特許文献１には、撮像装置間を移動する人物の同定を行う技術が開示されている。特許文献１に開示される技術では、映像から複数の人物の特徴量を抽出してそれぞれ記憶するとともに、それぞれの人物の移動経路及び移動時間を推定する。そして、推定した情報に基づいて、記憶した特徴量のうち、照合に用いる特徴量を選択し、人物の同定を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４６３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、撮像装置間での移動体を同定するための照合に用いる特徴量は、情報量の少ない特徴量であり、特徴量の照合の精度が十分でない虞がある。また、特許文献１では、人物の移動経路及び移動時間を推定するために、建物の構造に関するデータや、エレベータ等の設備の動作モデル等を用いる必要があり、計算リソースが増加する虞がある。
【０００７】
本開示は、上記課題を鑑みてなされたものであり、計算リソースの増加を抑え、移動体を精度良く継続的に追跡する追跡方法等を提供することを主要な目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様にかかる追跡方法は、撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成し、前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合し、前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける。
【０００９】
本発明の一態様にかかる追跡装置は、撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成する動線情報生成手段と、前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶する特徴量管理手段と、前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する照合手段と、を備え、前記動線情報生成手段は、前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける。
【００１０】
本発明の一態様にかかるプログラムは、撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成する処理と、前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶する処理と、前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する処理と、前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける処理と、をコンピュータに実行させる。
【発明の効果】
【００１１】
本開示によれば、計算リソースの増加を抑え、移動体を精度良く継続的に追跡することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１２】
【図１】各実施形態における追跡装置を実現するコンピュータ装置のハードウェア構成の一例を示すブロック図である。
【図２】第１の実施形態にかかる追跡システムの構成の一例を模式的に示す図である。
【図３】第１の実施形態にかかる追跡システムの機能構成の一例を示すブロック図である。
【図４】第１の実施形態にかかる動線情報の一例を示す図である。
【図５】第１の実施形態にかかる特徴データの一例を示す図である。
【図６】第１の実施形態にかかる撮像装置の動作を説明するフローチャートである。
【図７】第１の実施形態にかかる追跡装置の動作を説明するフローチャートである。
【図８】第１の実施形態にかかる移動体が境界領域以外の撮像範囲に位置する場合の追跡処理を説明するフローチャートである。
【図９】第１の実施形態にかかる動線情報を更新した一例を示す図である。
【図１０】第１の実施形態にかかる特徴データを更新した一例を示す図である。
【図１１】第１の実施形態にかかる移動体が境界領域に位置する場合の追跡処理を説明するフローチャートである。
【図１２】第１の実施形態にかかる動線情報を更新した一例を示す図である。
【図１３】第１の実施形態にかかる追跡システムの構成を模式的に示す他の例を示す図である。
【図１４】第１の実施形態の変形例１にかかる特徴データの一例を示す図である。
【図１５】第１の実施形態の変形例２にかかる追跡システムの構成の一例を模式的に示す図である。
【図１６】第１の実施形態の変形例２にかかる境界領域の対応関係を示す情報の一例を示す図である。
【図１７】第１の実施形態変形例２にかかる特徴データの一例を示す図である。
【図１８】第２の実施形態にかかる追跡システムの機能構成の一例を示すブロック図である。
【図１９】第２の実施形態にかかる撮像装置の動作を説明するフローチャートである。
【図２０】第２の実施形態にかかる追跡装置の動作を説明するフローチャートである。
【図２１】第３の実施形態にかかる追跡装置の機能構成の一例を示すブロック図である。
【図２２】第３の実施形態にかかる追跡装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１３】
各実施形態のハードウェアの構成例
各実施形態にかかる追跡装置を構成するハードウェアについて説明する。図１は、各実施形態における追跡装置を実現するコンピュータ装置のハードウェア構成の一例を示すブロック図である。図１が示す各ブロックは、各実施形態における追跡装置及び追跡方法を実現するコンピュータ装置１０と、ソフトウェアとの任意の組み合わせにより実現できる。
【００１４】
図１に示すように、コンピュータ装置１０は、プロセッサ１１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３、記憶装置１４、入出力インタフェース１５およびバス１６を備える。
【００１５】
記憶装置１４は、プログラム１８を格納する。プロセッサ１１は、ＲＡＭ１２を用いて本追跡システムにかかるプログラム１８を実行する。具体的には、例えば、プログラム１８は、図６、図７、図８及び図１１に示す処理、図１８及び図１９に示す処理、または図２１に示す処理をコンピュータに実行させるプログラムを含む。プロセッサ１１が、プログラム１８を実行することにより、本追跡装置の各構成要素（後述する、照合部２２０、動線情報生成部２３０及び特徴量管理部２４０）の機能が実現される。プログラム１８は、ＲＯＭ１３に記憶されていてもよい。また、プログラム１８は、記録媒体２０に記録され、ドライブ装置１７によって読み出されてもよいし、外部装置からネットワークを介して送信されてもよい。
【００１６】
入出力インタフェース１５は、周辺機器（キーボード、マウス、表示装置など）１９とデータをやり取りする。入出力インタフェース１５は、データを取得または出力する手段として機能する。バス１６は、各構成要素を接続する。
【００１７】
なお、追跡装置の実現方法には様々な変形例がある。例えば、追跡装置は、専用の装置として実現することができる。また、追跡装置は、複数の装置の組み合わせにより実現することができる。
【００１８】
本実施形態および他の実施形態の機能における各構成要素を実現するためのプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【００１９】
該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【００２０】
第１の実施形態
次に、追跡システムの各構成要素について説明する。
【００２１】
図２は、第１の実施形態にかかる追跡システム１０００の構成の一例を模式的に示す図である。図２に示すように、追跡システム１０００は、撮像装置１００と、追跡装置２００とを備える。追跡システム１０００は、少なくとも、追跡装置２００の制御に基づいて、撮像装置１００が撮像した映像に含まれる移動体を追跡するシステムである。
【００２２】
図２の例では、移動体が、エレベータを使用して、建物の１階から２階へ移動する様子を示している。矢印は移動体の動きを示す。このとき、移動体は、１階の地点Ａから地点Ｂまで移動し、エレベータを使用して、２階の地点Ｃまで移動している。
【００２３】
撮像装置１００は、エレベータ内部を除く、建物の１階と２階とをそれぞれ撮像する。追跡装置２００は、映像に含まれる移動体の動きを示す動線情報を生成し、当該移動体を追跡する。
【００２４】
この例において、追跡システム１０００は、移動体が１階のフロア内の地点Ａから地点Ｂまで移動する間、第１の特徴量（詳細は後述する）を用いた照合により、移動体の追跡を行う。地点Ａは、１階のフロア内に設置されている撮像装置１００の撮像範囲内の地点であり、地点Ｂは、エレベータの乗降口の前方の地点である。追跡中の移動体が、地点Ｂを含む境界領域（詳細は後述する）に移動したとき、追跡システム１０００は、第１の特徴量よりも情報量が多い、当該移動体の第２の特徴量（詳細は後述する）を映像から抽出し、抽出した第２の特徴量を記憶する。また、移動体が、撮像装置１００が撮像する範囲の外であるエレベータ内部から、地点Ｃを含む境界領域に移動したとき、第２の特徴量を用いた照合を行う。
【００２５】
図３は、図２に示した追跡システム１０００の機能構成の一例を示すブロック図である。図３が示す撮像装置１００及び追跡装置２００内のそれぞれのブロックは、単一の装置内に実装されてよく、あるいは複数の装置にわかれて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
【００２６】
図３に示すように、撮像装置１００は、撮像部１１０と、移動体検出部１２０と、領域判定部１３０と、第１特徴量抽出部１４０と、第２特徴量抽出部１５０と、通信部１６０とを備える。撮像装置１００は、所定の範囲を撮像し、撮像した映像から抽出した情報を追跡装置２００に送信する。
【００２７】
追跡装置２００は、通信部２１０と、照合部２２０と、動線情報生成部２３０と、特徴量管理部２４０と、動線情報記憶部２５０と、特徴データ記憶部２６０とを備える。追跡装置２００は、撮像装置１００から受け取った情報を用いて、移動体の動線情報を生成する機能を有する。
【００２８】
ここで、移動体は、例えば人物であるが、これに限らない。移動体は、自動車等の物体であってもよい。
【００２９】
撮像装置１００の詳細
次に、撮像装置１００の各構成要素の概要ついて説明する。撮像部１１０は、所定の範囲を撮像する。撮像部１１０が撮像する所定の範囲を撮像範囲と称する。図２の例では、撮像範囲は、撮像装置１００がそれぞれ設置された階のエレベータ内部を除く範囲である。撮像部１１０は、所定の終了指示があるまで、撮像範囲を撮像し続ける。ここで、撮像部１１０が撮像した映像は、動画像を構成する複数のフレームのそれぞれであってもよいし、静止画像であってもよい。以下、撮像装置１００が撮像した映像を撮像データとも称する。撮像データには、撮像データが生成された時刻、及び撮像データを撮像した撮像装置１００が設置された場所の情報等が含まれてもよい。
【００３０】
移動体検出部１２０は、撮像データに含まれる移動体を検出する。具体的には、移動体検出部１２０は、撮像部１１０が生成した撮像データを順次読み出し、撮像データ上の、移動体が写っている領域を特定する。このとき、移動体の検出には、例えば、複数の撮像データ間の差分に基づいて移動体を検出する方法、すなわち、背景差分法を用いることが考えられるが、この例に限らない。移動体を検出する方法は、人型を検出することによる方法等、種々の既知の手法であってもよい。また、移動体検出部１２０は、検出した移動体に対して、撮像範囲における位置情報を検出する。
【００３１】
領域判定部１３０は、移動体検出部１２０において検出された位置情報に基づいて、所定の領域に移動体が位置するか否かを判定する。所定の領域とは、撮像装置１００の撮像範囲内であって、撮像範囲内と撮像範囲外との境界付近の領域である。本明細書において、所定の領域を「境界領域」と称する。図２の例では、エレベータのドアが閉じると撮像装置１００でエレベータ内を撮像できないので、撮像範囲外とは、エレベータの位置を示す。また、図２の例において、境界領域は、地点Ｂ及び地点Ｃを含む、エレベータの乗降口前方の斜線部の領域と、建物の出入口付近の斜線部の領域とを示すが、これに限らない。例えば、境界領域は、エスカレータの乗降口付近や、部屋及びトイレの出入口付近等であってもよい。
【００３２】
第１特徴量抽出部１４０は、撮像データから移動体が検出されると、検出された移動体の第１の特徴量を抽出する。例えば、第１特徴量抽出部１４０は、移動体検出部１２０で特定される、移動体が写っている領域における画像データから移動体の第１の特徴量を抽出する。
【００３３】
第２特徴量抽出部１５０は、撮像データに含まれる移動体が、境界領域に位置した場合に、移動体の第２の特徴量を抽出する。例えば、第２特徴量抽出部１５０は、移動体検出部１２０で特定される、移動体が写っている領域における画像データから移動体の第２の特徴量を抽出する。
【００３４】
ここで、第１の特徴量とは、連続した撮像データに含まれる移動体を同定することが可能な、情報量の少ない特徴量である。撮像データに含まれる移動体を同定するとは、複数の撮像データのそれぞれから移動体の特徴量を抽出し、抽出された特徴量を照合し、照合した結果、特徴量が合致した場合に、それぞれの撮像データに含まれる移動体が同一の移動体であると判定することである。連続した撮像データとは、撮像部１１０によって生成された順番が連続した、または、順番が近い、複数の撮像データである。連続した撮像データにおける移動体の変化は、順番が連続していない複数の撮像データにおける移動体の変化に比べ、小さい。そのため、連続した撮像データに含まれる移動体を同定するために照合する特徴量の情報量は、順番が連続でない撮像データに比べ、少なくてよい。第１の特徴量は、例えば、移動体の色及び概形等に関する特徴量であってもよい。また、情報量が少ない特徴量は、例えば、特徴量の次元数が少ない特徴量であってもよい。
【００３５】
一方で、第２の特徴量とは、連続していない撮像データに含まれる移動体を同定するのに十分な特徴量である。連続していない撮像データとは、順番が離れた複数の撮像データ、及び撮像範囲が異なる複数の撮像データ等である。第２の特徴量は、第１の特徴量に比べ情報量が多い特徴量である。例えば、移動体が人物である場合、第２の特徴量は、人物の顔や虹彩に関する特徴量であってもよい。
【００３６】
本実施形態における追跡システム１０００は、撮像データに含まれる移動体の第１の特徴量または第２の特徴量を用いて照合を行うことで、移動体の同定を行う。ここで、上述したように第２の特徴量は第１の特徴量に比べ、情報量が多い。すなわち、第２の特徴量を用いた照合は、第１の特徴量を用いた照合に比べ、照合の精度が高い。照合の精度が高いとは、特徴量を照合した結果、正しく移動体を同定できる確率が高いことである。例えば、第２の特徴量が人物の顔または虹彩に関する特徴量であった場合、追跡システム１０００は、顔認証または虹彩認証を用いて、照合を行ってもよい。このとき、顔認証または虹彩認証には、既存の技術が用いられてよい。
【００３７】
通信部１６０は、撮像装置１００において取得した移動体に関する情報を、追跡装置２００に送信する。通信部１６０は、例えば、検出された移動体の第１の特徴量及び位置情報、または、移動体の第１の特徴量、第２の特徴量及び位置情報を追跡装置２００に送信するが、送信する情報はこれに限らない。通信部１６０は、上記の情報に加えて、撮像データ及び撮像データが生成された時刻を追跡装置２００に送信してもよい。また、一の撮像データに対し、複数の移動体が検出された場合、撮像装置１００において取得した、複数の移動体に関する情報を送信してもよい。
【００３８】
追跡装置２００の詳細
次に、追跡装置２００の各構成要素の概要について説明する。通信部２１０は、撮像装置１００が送信した情報を受信する。
【００３９】
照合部２２０は、通信部２１０が受信した特徴量と、特徴データ記憶部２６０に格納された特徴量とを照合する。このとき、照合部２２０は、受信した特徴量と、格納された特徴量とを比較し、それぞれの特徴量を構成する要素が一致した割合が所定の閾値以上である場合に特徴量が合致すると判定してよい。このとき、照合部２２０は、照合結果を動線情報生成部２３０及び特徴量管理部２４０に送る。照合結果には、移動体を識別する識別ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）、第１の特徴量及び位置情報、または、識別ＩＤ、第１の特徴量、第２の特徴量及び位置情報が含まれてもよい。
【００４０】
動線情報生成部２３０は、照合部２２０による照合結果に基づいて、移動体の動線情報を生成する。ここで、動線情報とは、移動体の動きを示す情報である。例えば、動線情報は、移動体に関する時系列の位置情報の集合であってもよい。図２の例において、移動体が地点Ａから地点Ｂまで移動したとすると、このときの動線情報は、地点Ａから地点Ｂまで移動体が移動する間に動線情報生成部２３０が取得した、当該移動体のすべての位置情報を時系列で並べた集合であってもよい。動線情報生成部２３０は、生成した動線情報を、当該移動体の識別ＩＤと関連付けて動線情報記憶部２５０に格納する。
【００４１】
図４は、動線情報記憶部２５０に格納される動線情報の一例を示す図である。図４の例では、識別ＩＤごとの、各時刻における位置情報が示されている。図４に示す、時刻「ｔｎ」（ｎは整数）は、ｔ１から順番に、撮像データが生成された時刻を示す。また、「（ｘｎ、ｙｎ、ｚｎ）」（ｎは整数）は、位置情報であり、該当する時刻において、移動体が位置した座標を示す。座標は、３次元に限らず、例えば、「（ｘｎ、ｙｎ）」（ｎは整数）のように、２次元で表されてもよい。すなわち、動線情報は、３次元の位置情報の集合であってもよいし、２次元の位置情報の集合であってもよい。位置情報は、建物の階の情報を含んでいてもよい。位置座標は移動体を検出した領域の重心の座標でも、領域内の一部の位置の座標でもよい。「−」は、移動体が検出されなかったことを示す。なお、動線情報は、座標に対応する場所の名称等を含んでもよい。また、動線情報は、撮像範囲を表す画像に対して、位置情報に対応する箇所を線で結んだ画像等であってもよい。
【００４２】
特徴量管理部２４０は、検出された移動体から抽出された特徴量を、識別ＩＤごとに関連付けて特徴データ記憶部２６０に格納する。このとき、特徴量管理部２４０は、照合部２２０から取得した照合結果に応じて識別ＩＤを生成する。例えば、特徴量管理部２４０は、照合が合致しなかった旨の通知を受け取ったとき、検出された移動体は過去に検出されていない移動体であるので、当該移動体に対して新しく識別ＩＤを生成する。そして、特徴量管理部２４０は、生成した識別ＩＤと、検出された移動体から抽出された特徴量とを関連付ける。
【００４３】
識別ＩＤごとの特徴量を、総称して特徴データと称する。図５は、特徴データの一例を示す図である。図５の例では、識別ＩＤ「００１」及び「００３」の移動体は、第１の特徴量と第２の特徴量とが抽出され、識別ＩＤ「００２」の移動体は、第１の特徴量が抽出されている。
【００４４】
動線情報記憶部２５０は、動線情報と識別ＩＤとを関連付けた情報を記憶する。特徴データ記憶部２６０は、特徴量と識別ＩＤとを関連付けた情報、すなわち、特徴データを記憶する。なお、動線情報記憶部２５０及び特徴データ記憶部２６０は、それぞれ、追跡装置２００と通信可能な独立した装置に備えられてもよい。
【００４５】
なお、照合部２２０、動線情報生成部２３０及び特徴量管理部２４０は、撮像装置１００が送信した情報を、通信部２１０を介さず、撮像装置１００から直接取得するようにしてもよい。
【００４６】
追跡システム１０００の動作
次に、追跡システム１０００の動作を説明する。本実施形態の追跡システム１０００は、撮像装置１００が、撮像データから移動体を検出し、検出した移動体から抽出した情報を追跡装置２００に送信する。そして、追跡装置２００は、撮像装置１００から受信した情報に基づいて、移動体を追跡する。このとき、追跡システム１０００は、移動体が境界領域に位置する場合と、移動体が境界領域以外の撮像範囲に位置する場合とにおいて、追跡する方法を変更する。移動体が境界領域に位置する場合、追跡中の移動体が境界領域に移動することにより、境界領域に位置する場合、追跡システム１０００は、当該移動体の識別ＩＤと、当該移動体の第２の特徴量とを関連付けて記憶する。また、移動体が撮像範囲外から境界領域に移動することにより、境界領域に位置する場合、追跡システム１０００は、当該移動体の第２の特徴量を用いて照合を行う。一方、移動体が境界領域以外の撮像範囲に位置する場合、当該移動体の第１の特徴量を抽出し、抽出した第１の特徴量を用いて照合を行う。
【００４７】
以下に、撮像装置１００及び追跡装置２００の各々の動作を、図６、図７、図８及び図１１のフローチャートを用いて説明する。以下に説明する動作において、撮像データを生成した時刻はｔｎ＋１とする。また、動線情報記憶部２５０には、図４に示す動線情報が格納され、特徴データ記憶部２６０には、図５に示す特徴データが格納されているとする。なお、本実施形態では、図２の例を用いて、撮像装置１００及び追跡装置２００の動作を説明するが、撮像装置１００及び追跡装置２００を適用する場面は、この例に限らない。
【００４８】
また、本明細書において、フローチャートの各ステップを「Ｓ６０１」のように、それぞれのステップに付した番号を用いて表現する。
【００４９】
まず、撮像装置１００の動作について説明する。
【００５０】
図６は、撮像装置１００の動作を説明するフローチャートである。まず、撮像部１１０は、撮像範囲を撮像し、撮像データを生成する（Ｓ６０１）。ここで、図２の例に示すように、撮像装置１００は、各階に設置されており、エレベータ内部を除く、各階の一面が撮像範囲であるとする。移動体検出部１２０は、生成された撮像データを読み出し、撮像データから移動体を検出すると（Ｓ６０２の「ＹＥＳ」）、撮像データ上の移動体の領域及び移動体の位置情報を含む通知を、領域判定部１３０及び第１特徴量抽出部１４０に送る。移動体検出部１２０が、撮像データから移動体を検出しなかった場合（Ｓ６０２の「ＮＯ」）、撮像装置１００は、Ｓ６０１の処理に戻る。
【００５１】
第１特徴量抽出部１４０は、移動体検出部１２０から通知を受け取ると、当該移動体の第１の特徴量を抽出する（Ｓ６０３）。領域判定部１３０は、移動体検出部１２０から通知を受け取ると、通知に含まれる位置情報に基づいて、当該移動体が境界領域に位置するか否かを判定する（Ｓ６０４）。例えば、領域判定部１３０は、通知に含まれる位置情報が、地点Ｂを含む境界領域を示す座標情報の範囲内にあることを検出したものとする。移動体が境界領域に位置すると判定された場合（Ｓ６０４の「ＹＥＳ」）、第２特徴量抽出部１５０は、当該移動体の第２の特徴量を抽出する（Ｓ６０５）。通信部１６０は、Ｓ６０２、Ｓ６０３及びＳ６０５において、撮像装置１００が取得した位置情報、特徴量及び撮像データが生成された時刻を追跡装置２００に送信する（Ｓ６０６）。この場合、通信部１６０は、移動体が境界領域に位置する場合、少なくとも、撮像装置１００が取得した、移動体の第１の特徴量、第２の特徴量、位置情報及び時刻を追跡装置２００に送信する。
【００５２】
一方、領域判定部１３０が、移動体が所定の領域に位置しないと判定した場合（Ｓ６０４の「ＮＯ」）、撮像装置１００は、Ｓ６０６の処理に進む。この場合、通信部１６０は、少なくとも、移動体の第１の特徴量、位置情報及び時刻を追跡装置２００に送信する。
【００５３】
ここで、撮像装置１００は、Ｓ６０２の処理において複数の移動体を検出した場合、それぞれの移動体に対して、Ｓ６０３以降の処理を行う。この場合、通信部１６０は、複数の移動体の第１の特徴量、位置情報及び時刻、または、第１の特徴量、第２の特徴量、位置情報及び時刻を追跡装置２００に送信する。
【００５４】
次に、追跡装置２００の動作について説明する。
【００５５】
図７は、追跡装置２００の動作を説明するフローチャートである。まず通信部２１０は、撮像装置１００がＳ６０６の処理において送信した情報を取得する（Ｓ７０１）。照合部２２０は、通信部２１０が取得した特徴量を読み出す。取得した特徴量に、第２の特徴量が含まれない場合、すなわち、移動体が境界領域以外の撮像範囲に位置する場合（Ｓ７０２の「ＮＯ」）、追跡装置２００は、移動体が境界領域以外の撮像範囲に位置する場合の追跡処理を行う（Ｓ７０３）。また、取得した特徴量に、第２の特徴量が含まれる場合、すなわち、境界領域に移動体が位置する場合（Ｓ７０２の「ＹＥＳ」）、追跡装置２００は、移動体が境界領域に位置する場合の追跡処理を行う（Ｓ７０４）。ここで、追跡装置２００が、撮像装置１００から、複数の移動体に関する情報を取得した場合、それぞれの移動体に関する情報に対して、Ｓ７０２及び、Ｓ７０３またはＳ７０４の処理を並行に進めてもよい。
【００５６】
次に、Ｓ７０３の、移動体が境界領域以外の撮像範囲に位置する場合の追跡処理について説明する。
【００５７】
図８は、移動体が境界領域以外の撮像範囲に位置する場合の追跡処理を説明するフローチャートである。照合部２２０は、取得した第１の特徴量と、特徴データ記憶部２６０に格納された特徴データに含まれる第１の特徴量とを照合する（Ｓ８０１）。照合が合致した場合（Ｓ８０１の「ＹＥＳ」）、照合部２２０は、照合が合致した旨の通知を動線情報生成部２３０に送る。例えば、照合部２２０が受け取った特徴量が、図５に示す特徴データにおける特徴量ｃと合致する特徴量であるとする。このとき、照合部２２０は、合致した特徴量に関連付けられた識別ＩＤ「００２」を動線情報生成部２３０に送る。
【００５８】
動線情報生成部２３０は、Ｓ８０１の照合において合致した第１の特徴量に関連付けられた識別ＩＤと、位置情報とに基づいて、動線情報を生成する（Ｓ８０２）。具体的には、動線情報生成部２３０は、照合部２２０から、識別ＩＤを取得すると、通信部２１０から位置情報を取得する。そして、動線情報生成部２３０は、取得した識別ＩＤと、位置情報とに基づいて、動線情報を生成する。例えば、動線情報生成部２３０が取得した識別ＩＤが「００２」であり、位置情報が「（ｘｎ＋１、ｙｎ＋１、ｚｎ＋１）」であるとする。この場合、図４に示す動線情報のうち、識別ＩＤが「００２」の動線情報に対して、時刻ｔｎ＋１における位置情報を更新する。図９は、動線情報を更新した一例を示す図である。図９に示すように、識別ＩＤ「００２」の時刻ｔｎ＋１の項目に位置情報「（ｘｎ＋１、ｙｎ＋１、ｚｎ＋１）」が更新される。
【００５９】
Ｓ８０１の処理において、通信部２１０から取得した第１の特徴量と、特徴データ記憶部２６０に格納される特徴量とが合致しなかった場合（Ｓ８０１の「ＮＯ」）、照合部２２０は、第１の特徴量が合致しなかった旨の通知を動線情報生成部２３０と特徴量管理部２４０に送る。特徴量管理部２４０は、識別ＩＤを生成し、取得した第１の特徴量と、生成した識別ＩＤとを関連付けて記憶する。具体的には、特徴量管理部２４０は、照合部２２０から、特徴量が合致しなかった旨の通知を受け取ると、通信部２１０から、第１の特徴量と、位置情報と取得する（Ｓ８０３）。そして、特徴量管理部２４０は、識別ＩＤを生成し（Ｓ８０４）、第１の特徴量と生成した識別ＩＤとを関連付けて特徴データ記憶部２６０に格納することによって、特徴データを更新する（Ｓ８０５）。例えば、Ｓ８０１において合致しなかった第１の特徴量が「特徴量ｆ」であるとする。特徴量管理部２４０は、図５の例に示す特徴データに存在しない識別ＩＤ、例えば識別ＩＤ「００４」を新しく生成する。図１０は、図５の特徴データを更新した例を示す。図１０に示すように、特徴量管理部２４０は、特徴データに、識別ＩＤ「００４」と、それに対応する第１の特徴量「特徴量ｆ」を追加する。
【００６０】
また、特徴量管理部２４０は、生成した識別ＩＤを動線情報生成部２３０に送る。動線情報生成部２３０は、照合部２２０から特徴量が合致しなかった旨の通知を受け取ると、特徴量管理部２４０から識別ＩＤを取得し、通信部２１０から位置情報を取得する。動線情報生成部２３０は、生成された識別ＩＤと、位置情報とに基づいて、動線情報を生成する（Ｓ８０６）。このとき、図４の例に示す動線情報に、新しく識別ＩＤ「００４」を設け、時刻ｔｎ＋１の項目に位置情報を格納する。
【００６１】
このように、追跡装置２００は、特徴量と、動線情報とを、同じ識別ＩＤに関連付けて記憶することで、特徴量と動線情報とを関連付ける。
【００６２】
なお、動線情報生成部２３０は、Ｓ８０２またはＳ８０６の終了後、一定時間更新されなかった動線情報がある場合、その動線情報に関連付けられた識別ＩＤに、関連付けられた第１の特徴量を、特徴データから削除する。例えば、図４及び図５の例において、動線情報生成部２３０は、識別ＩＤ「００１」の動線情報が、一定時間更新されていないと判断した場合、第１の特徴量「特徴量ａ」を特徴データから削除する。
【００６３】
次に、Ｓ７０４の処理、すなわち、移動体が境界領域に位置する場合の追跡処理について説明する。
【００６４】
図１１は、移動体が境界領域に位置する場合の追跡処理を説明するフローチャートである。照合部２２０は、通信部２１０から第１の特徴量及び第２の特徴量を受けとると、第１の特徴量と、特徴データ記憶部２６０に格納された特徴データに含まれる第１の特徴量とを照合する（Ｓ１１０１）。ここで、第１の特徴量が合致する場合は、追跡中の移動体が境界領域に移動した場合である。また、第１の特徴量が合致しない場合は、移動体が撮像範囲外から境界領域に移動した場合である。
【００６５】
Ｓ１１０１の照合において、第１の特徴量が合致する場合（Ｓ１１０１の「ＹＥＳ」）、照合部２２０は、第１の特徴量が合致した旨の通知を動線情報生成部２３０及び特徴量管理部２４０に送る。例えば、照合部２２０が受け取った第１の特徴量が「特徴量ｃ」、第２の特徴量が「特徴量ｇ」であるとする。この場合、図５に示す特徴データにおいて、「特徴量ｃ」は、識別ＩＤ「００２」の第１の特徴量と合致する。このとき、照合部２２０は、合致した特徴量に関連付けられた識別ＩＤ「００２」を動線情報生成部２３０に送り、識別ＩＤ「００２」と、第２の特徴量である「特徴量ｇ」とを特徴量管理部２４０に送る。ここで、照合部２２０は、第１の特徴量を用いた照合が合致しているので、第２の特徴量を用いた照合を行う必要はない。
【００６６】
特徴量管理部２４０は、照合部２２０から識別ＩＤと第２の特徴量とを取得する（Ｓ１１０２）。そして、特徴量管理部２４０は、識別ＩＤと第２の特徴量とを関連付けて特徴データ記憶部２６０に格納する（Ｓ１１０３）。例えば、特徴量管理部２４０は、特徴データの、識別ＩＤ「００２」の第２の特徴量の項目に、「特徴量ｇ」を追加する。
【００６７】
動線情報生成部２３０は、Ｓ８０２の処理と同様の処理を行う。すなわち、動線情報生成部２３０は、照合部２２０から、照合に用いられた第１の特徴量に関連付けられた識別ＩＤを取得し、通信部２１０から位置情報を取得する。そして、動線情報生成部２３０は、取得した識別ＩＤと、位置情報とに基づいて、動線情報を生成する（Ｓ１１０４）。
【００６８】
Ｓ１１０１の照合において、第１の特徴量が合致しなかった場合（Ｓ１１０１の「ＮＯ」）、追跡装置２００は、移動体が撮像範囲外から境界領域に移動した場合の追跡処理を行う。図２の例では、追跡装置２００は、例えば、移動体が撮像範囲外であるエレベータ内部から、撮像範囲内である地点Ｃに移動した場合の追跡処理を行う。
【００６９】
具体的には、照合部２２０は、第１の特徴量を用いた照合が合致しなかった場合、第２の特徴量を用いて照合を行う。このとき、第２の特徴量が合致した場合（Ｓ１１０５の「ＹＥＳ」）、照合部２２０は、照合が合致した第２の特徴量に関連付けられた識別ＩＤを動線情報生成部２３０に送り、当該識別ＩＤと、第１の特徴量とを特徴量管理部２４０に送る。例えば、照合部２２０が受け取った第１の特徴量が「特徴量ｈ」、第２の特徴量が「特徴量ｂ」であるとする。この場合、図５に示す特徴データにおいて、「特徴量ｈ」は、いずれの識別ＩＤの第１の特徴量とも合致しないが、「特徴量ｂ」は、識別ＩＤ「００１」の第２の特徴量と合致する。そのため、照合部２２０は、第２の特徴量「特徴量ｂ」に関連付けられた識別ＩＤ「００１」を動線情報生成部２３０に送り、識別ＩＤ「００１」と、第１の特徴量「特徴量ｈ」とを特徴量管理部２４０に送る。
【００７０】
特徴量管理部２４０は、照合部２２０から、識別ＩＤ及び第１の特徴量を取得する（Ｓ１１０６）。そして、特徴量管理部２４０は、識別ＩＤと、第１の特徴量とを関連付けて特徴データ記憶部２６０に格納する（Ｓ１１０７）。例えば、図５に示す特徴データにおいて、識別ＩＤ「００１」の第１の特徴量の項目を「特徴量ｈ」に更新する。
【００７１】
動線情報生成部２３０は、照合部２２０から、第２の特徴量に関連付けられた識別ＩＤを取得し、通信部２１０から位置情報を取得すると、当該識別ＩＤと、位置情報とに基づいて、動線情報を生成する（Ｓ１１０８）。例えば、動線情報生成部２３０は、識別ＩＤ「００１」と、位置情報「（ｘｎ＋１、ｙｎ＋１、ｚｎ＋１）」とを取得したとする。動線情報生成部２３０は、図４に示す動線情報のうち、識別ＩＤが「００１」の動線情報に対して、時刻ｔｎ＋１における位置情報を更新する。図１２は、動線情報を更新した一例を示す図である。図１２に示すように、識別ＩＤ「００１」の時刻ｔｎ＋１の項目に位置情報「（ｘｎ＋１、ｙｎ＋１、ｚｎ＋１）」が更新される。
【００７２】
このように、動線情報生成部２３０は、特徴データ記憶部２６０に記憶された第２の特徴量に関連付けられた動線情報と、撮像範囲の外から撮像範囲に移動した移動体の動線情報とを関連付ける。つまり、動線情報生成部２３０は、移動体が撮像範囲の外に移動する前までに生成された動線情報と、移動体が撮像範囲の外から撮像範囲に移動した後の動線情報とを関連付ける。
【００７３】
Ｓ１１０５の照合において、第２の特徴量が合致しなかった場合（Ｓ１１０５の「ＮＯ」）、照合部２２０は、第１の特徴量及び第２の特徴量を特徴量管理部２４０に送る。例えば、照合部２２０が受け取った第１の特徴量が「特徴量ｉ」、第２の特徴量が「特徴量ｊ」であるとする。この場合、図５に示す特徴データにおいて、「特徴量ｉ」は、いずれの識別ＩＤの第１の特徴量とも合致しない。また、「特徴量ｊ」も、いずれの第２の特徴量とも合致しない。そのため、照合部２２０は、第１の特徴量「特徴量ｉ」と第２の特徴量「特徴量ｊ」とを特徴量管理部２４０に送る。
【００７４】
特徴量管理部２４０は、照合部２２０から、第１の特徴量及び第２の特徴量を取得すると（Ｓ１１０９）、識別ＩＤを生成する（Ｓ１１１０）。そして、特徴量管理部２４０は、生成した識別ＩＤと、第１の特徴量と、第２の特徴量とを関連付けて特徴データ記憶部２６０に格納する（Ｓ１１１１）。例えば、特徴量管理部２４０は、図５の例に示す特徴データに存在しない識別ＩＤ、例えば識別ＩＤ「００５」を新しく生成する。また、特徴量管理部２４０は、生成した識別ＩＤを動線情報生成部２３０に送る。
【００７５】
そして、動線情報生成部２３０は、特徴量管理部２４０から、生成された識別ＩＤを取得し、通信部２１０から位置情報を取得すると、取得した識別ＩＤと、位置情報とに基づいて、動線情報を生成する（Ｓ１１１２）。
【００７６】
動線情報生成部２３０は、Ｓ１１０４、Ｓ１１０８またはＳ１１１２の終了後、一定時間更新されなかった動線情報がある場合、その動線情報に関連付けられた識別ＩＤに、関連付けられた第１の特徴量を、特徴データから削除する。
【００７７】
なお、本実施形態において、追跡装置２００が特徴量を取得する度に、取得した特徴量を記憶するようにしてもよい。具体的には、照合部２２０による照合において、第１の特徴量または第２の特徴量が合致した場合、すなわち、Ｓ８０１の「ＹＥＳ」、Ｓ１１０１の「ＹＥＳ」及びＳ１１０５の「ＹＥＳ」の場合に、照合部２２０が照合に用いた特徴量を、特徴量管理部２４０が記憶するようにしてもよい。例えば、Ｓ８０１の「ＹＥＳ」の場合において、特徴量管理部２４０は、照合部２２０が通信部２１０から取得した第１の特徴量を、対応する識別ＩＤと関連付けて特徴データ記憶部２６０に格納することで、特徴データを更新してもよい。
【００７８】
また、本実施形態では、図２のように、移動体が、撮像範囲から撮像範囲外を経由して、他の撮像範囲に移動した例を用いて説明したが、この例に限らない。図１３は、追跡システム１０００の構成を模式的に示す他の例を示す図である。図１３に示すように、移動体が撮像範囲から建物の出入口を通って撮像範囲外に移動し、再び同じ撮像範囲に戻ってくる場合においても、第１の実施形態にかかる追跡システム１０００を適用できる。
【００７９】
上述の通り、照合部２２０は、撮像範囲の外から撮像範囲に移動した移動体の第２の特徴量と、記憶した第２の特徴量とを照合する。照合部２２０は、照合手段の一例である。
【００８０】
また、動線情報生成部２３０は、撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、当該移動体の動きを示す動線情報を生成し、照合部２２０による照合が合致した場合、記憶した第２の特徴量に関連付けられた動線情報と、撮像範囲の外から撮像範囲に移動した移動体の動線情報とを関連付ける。動線情報生成部２３０は、動線情報生成手段の一例である。
【００８１】
また、特徴量管理部２４０は、動線情報が生成された移動体が、撮像範囲内の所定の領域に移動した場合に、第１の特徴量より情報量が多い、移動体の第２の特徴量と、当該動線情報とを関連付けて記憶する。特徴量管理部２４０は、特徴量記憶手段の一例である。
【００８２】
以上のように、第１の実施形態にかかる追跡装置２００は、撮像範囲の外から撮像範囲に移動した移動体に対して、情報量の多い特徴量を用いて照合を行うので、移動体が撮像範囲の外に移動する前までに生成された動線情報と、移動体が撮像範囲の外から撮像範囲に移動した後の動線情報とを正確に関連付けることができる。したがって、第１の実施形態にかかる追跡装置２００は、計算リソースの増加を抑え、移動体を精度よく継続的に追跡することが可能になる、という効果が得られる。
【００８３】
[変形例１]
本変形例では、照合部２２０が照合を行う際に、特徴量が抽出された時刻を考慮する例について説明する。
【００８４】
具体的には、通信部２１０は、撮像装置１００から特徴量及び位置情報と共に、撮像データが生成された時刻を取得する。特徴量管理部２４０は、通信部２１０から当該時刻を取得する。特徴量管理部２４０は、例えば、Ｓ８０５、Ｓ１１０３、Ｓ１１０７及びＳ１１１１の処理において、識別ＩＤと特徴量と時刻とを関連付けて、特徴データ記憶部２６０に格納する。このとき、取得した時刻を、それぞれの特徴量が抽出された時刻とする。図１４は、変形例１にかかる特徴データの一例を示す図である。図１４の例では、識別ＩＤごとに、特徴量と、特徴量が抽出された時刻とが関連付けられている。
【００８５】
照合部２２０は、通信部２１０から取得した特徴量と、特徴データ記憶部２６０に格納された特徴量とを照合する際に、それぞれの特徴量が抽出された時刻の差を計算する。照合部２２０は、時刻の差が所定の閾値以内の特徴量について照合を行う。
【００８６】
このように、本変形例では、特徴データ記憶部２６０に格納される特徴データのうち、照合部２２０が照合する特徴量の候補を絞ることができるので、照合部２２０が照合する時間の増加を抑制することができる。
【００８７】
また、特徴量管理部２４０は、所定のタイミングで特徴量を破棄してもよい。例えば、特徴量管理部２４０は、特徴量が抽出された時刻から所定時間経過後に、特徴量を破棄してもよい。このとき、特徴量管理部２４０は、現在時刻と、特徴データに記憶された時刻との差を計算し、当該計算した時刻の差が所定の閾値以上である特徴量を破棄してもよい。なお、特徴量を破棄するタイミングは、この例に限らない。例えば、特徴量管理部２４０は、撮像装置１００が設置された建物の外に移動体が移動したことを、検知したタイミングに応じて、当該移動体の特徴量を破棄してもよい。このとき、特徴量管理部２４０は、動線情報記憶部２５０から動線情報を読み出し、動線情報が一定時間更新されなかった移動体の識別ＩＤに関連づけられた特徴量を破棄してもよい。このように、所定のタイミングで特徴量を破棄することにより、特徴データのデータ量の増加を抑えることができる。
【００８８】
[変形例２]
図１５は、本変形例にかかる追跡システム１０００の構成の一例を模式的に示す図である。図１５の例では、複数の境界領域を区別することを除いて、図２の例と同様である。具体的には、建物の１階及び２階のエレベータ付近と、建物の１階の出入口付近と、に斜線で示した境界領域を、それぞれ境界領域α、境界領域β、境界領域γとする。本変形例では、照合部２２０が照合を行う際に、このように区別された境界領域の情報を考慮する例について説明する。
【００８９】
図１５の例において、例えば、移動体が、エレベータ内部から境界領域βに移動した場合、当該移動体は、境界領域αからエレベータを使用して移動したか、境界領域βからエレベータ内部に移動し、再び境界領域βに移動したか、の二通りである。つまり、各境界領域は、いずれかの境界領域と対応している。そのため、本変形例では、特徴データ記憶部２６０が、予め、各境界領域と対応する境界領域を示す情報を格納している。図１６は、図１５の例における境界領域の対応関係を示す情報の一例を示す図である。図１６に示すように、例えば、境界領域βは、境界領域α及び境界領域βに対応付けられている。以下、図１６に示す情報を、対応情報と称する。
【００９０】
領域判定部１３０は、移動体が境界領域に位置する場合、当該移動体が、いずれの境界領域に位置するかを判定する。例えば、移動体が地点Ｂに位置する場合、移動体が位置する境界領域が境界領域αであると判定する。
【００９１】
通信部１６０は、移動体が境界領域に位置する場合、移動体の第１の特徴量、第２の特徴量及び位置情報と共に、いずれの境界領域に位置するかを示す情報（以下、「境界領域情報」と称する）を追跡装置２００に送る。
【００９２】
特徴量管理部２４０は、通信部２１０から、境界領域情報を取得する。特徴量管理部２４０は、例えば、Ｓ１１０３及びＳ１１１１の処理において、識別ＩＤと特徴量と境界領域情報とを関連付けて、特徴データ記憶部２６０に格納する。図１７は、本変形例にかかる特徴データの一例を示す図である。図１７の例では、識別ＩＤごとに、特徴量と、第２の特徴量が抽出された場所である境界領域情報とが関連付けられている。
【００９３】
照合部２２０は、通信部２１０から取得した第２の特徴量と、特徴データ記憶部２６０に格納された第２の特徴量とを照合する際に、通信部２１０から取得した境界領域情報を用いる。例えば、照合部２２０が通信部２１０から第２の特徴量として「特徴量ｂ」と、境界領域情報として「境界領域β」とを取得したとする。このとき、照合部２２０は、特徴データ記憶部２６０に格納された対応情報を用いて、境界領域βに対応する境界領域の情報を読み出す。図１６の例では、境界領域βに対応する境界領域は、境界領域αと境界領域βであることがわかる。そのため、照合部２２０は、特徴データに関連付けられている特徴量のうち、境界領域γと関連付けられている特徴量に対して照合を行わない。図１７の特徴データの例では、照合部２２０は、境界領域αと関連付けられている識別ＩＤ「００１」の第２の特徴量と、通信部２１０から取得した第２の特徴量と照合を行う。
【００９４】
このように、本変形例では、特徴データのうち、照合部２２０が照合する特徴量の候補を絞ることができるので、照合部２２０が照合する時間の増加を抑制することができる。
【００９５】
第２の実施形態
第２の実施形態では、追跡装置が、撮像データに含まれる移動体の検出及び特徴量の抽出を行う例について説明する。本実施形態にかかる追跡システムの構成は、第１の実施形態において図３を参照して説明した追跡システム１０００の構成と、一部同様である。以下、図３に示した追跡システム１０００の構成及び動作が、第１の実施形態の説明と重複する内容については、説明を省略する。
【００９６】
図１８は、本実施形態にかかる追跡システム１０００の構成の一例を示すブロック図である。撮像装置３００は、図３に示す撮像装置１００の構成のうち、撮像部１１０及び通信部１６０を有する。追跡装置４００は、図３に示す追跡装置２００の構成に、さらに移動体検出部１２０、領域判定部１３０、第１特徴量抽出部１４０及び第２特徴量抽出部１５０を備える。
【００９７】
次に、本実施形態にかかる追跡システムの動作を説明する。
【００９８】
図１９は、撮像装置３００の動作を説明するフローチャートである。まず、撮像部１１０は、撮像範囲を撮像し、撮像データを生成する（Ｓ１９０１）。通信部１６０は、撮像部１１０が生成した撮像データを追跡装置４００に送信する（Ｓ１９０２）。
【００９９】
図２０は、追跡装置４００の動作を説明するフローチャートである。通信部２１０は、撮像装置３００から撮像データを取得する（Ｓ２００１）。移動体検出部１２０は、撮像データを読み出し、撮像データから移動体を検出すると（Ｓ２００２の「ＹＥＳ」）、撮像データ上の移動体の領域及び移動体の位置情報を含む通知を、領域判定部１３０及び第１特徴量抽出部１４０に送る。移動体検出部１２０が、撮像データから移動体を検出しない場合、Ｓ２００１の処理に戻る。
【０１００】
領域判定部１３０は、移動体検出部１２０から通知を受け取ると、通知に含まれる位置情報に基づいて、当該移動体が境界領域に位置するか否かを判定する（Ｓ２００３）。移動体が境界領域に位置すると判定されなかった場合（Ｓ２００３の「ＮＯ」）、第１特徴量抽出部１４０は、撮像データに含まれる移動体の第１の特徴量を抽出する（Ｓ２００４）。そして、追跡装置４００は、以降、移動体が境界領域以外の撮像範囲に位置する場合の追跡処理を行う（Ｓ２００５）。
【０１０１】
移動体が境界領域に位置すると判定された場合（Ｓ２００３の「ＹＥＳ」）、第１特徴量抽出部１４０は、撮像データに含まれる移動体の第１の特徴量を抽出し、第２特徴量抽出部１５０は、当該移動体の第２の特徴量を抽出する（Ｓ２００６）。そして、追跡装置４００は、以降、移動体が境界領域に位置する場合の追跡処理を行う（Ｓ２００７）。
【０１０２】
本実施形態において、移動体が境界領域以外の撮像範囲に位置する場合の追跡処理及び、移動体が境界領域に位置する場合の追跡処理は、それぞれ、図８及び図１１に示す動作のうち、通信部２１０から取得していた情報の取得元が変更されることを除いて同様である。具体的には、図８及び図１１の動作において、通信部２１０から第１の特徴量、第２の特徴量及び位置情報のいずれかを取得していた処理が、それぞれ、第１特徴量抽出部１４０、第２特徴量抽出部１５０及び移動体検出部１２０から取得するよう変更される。
【０１０３】
以上のように、第２の実施形態にかかる追跡装置４００は、撮像範囲の外から撮像範囲に移動した移動体に対して、情報量の多い特徴量を用いて照合を行うので、移動体が撮像範囲の外に移動する前までに生成された動線情報と、移動体が撮像範囲の外から撮像範囲に移動した後の動線情報とを正確に関連付けることができる。したがって、第２の実施形態にかかる追跡装置４００は、計算リソースの増加を抑え、移動体を精度よく継続的に追跡することが可能になる、という効果が得られる。
【０１０４】
第３の実施形態
図２１は、本発明の第３の実施形態にかかる追跡装置５００を示すブロック図である。図２１に示すように、追跡装置５００は、動線情報生成部５１０と、特徴量管理部５２０と、照合部５３０とを備える。図２１に示す追跡装置５００は、図３に示す第１の実施形態における追跡装置２００の代わりに設けられても良い。この場合、追跡装置５００は、図３に示す第１の実施形態における追跡装置２００とは、通信部２１０、動線情報記憶部２５０、特徴データ記憶部２６０がない点で相違する。具体的には、通信部２１０は、追跡装置５００に接続されるインタフェースでも良いし、動線情報生成部５１０、特徴量管理部５２０または照合部５３０の何れかに含まれてもよい。動線情報記憶部２５０および特徴データ記憶部２６０は、追跡装置５００にネットワークして接続される記憶装置でも良いし、追跡装置５００の内部に含まれるメモリであってもよい。
【０１０５】
また、追跡装置５００は、図１８に示す第２の実施形態における追跡装置４００の代わりに設けられても良い。この場合、追跡装置５００は、図１８に示す第２の実施形態における追跡装置４００とは、移動体検出部１２０、第１特徴量抽出部１４０、第２特徴量抽出部１５０、通信部２１０、動線情報記憶部２５０、特徴データ記憶部２６０がない点で相違する。具体的には、通信部２１０は、追跡装置５００に接続されるインタフェースでも良いし、動線情報生成部５１０、特徴量管理部５２０または照合部５３０の何れかに含まれてもよい。動線情報記憶部２５０および特徴データ記憶部２６０は、追跡装置５００にネットワークして接続される記憶装置でも良いし、追跡装置５００の内部に含まれるメモリであってもよい。第１特徴量抽出部１４０および第２特徴量抽出部１５０は、追跡装置５００にネットワークして接続される装置に備えられても良いし、第１特徴量抽出部１４０または第２特徴量抽出部１５０は、動線情報生成部５１０、特徴量管理部５２０または照合部５３０の何れかに含まれてもよい。
【０１０６】
図２１において、動線情報生成部５１０の構成は、第１または第２の実施形態にかかる動線情報生成部２３０の構成と同様でてもよい。特徴量管理部５２０の構成は、第１または第２の実施形態にかかる特徴量管理部２４０と同様であってもよい。また、照合部５３０は、第１または第２の実施形態にかかる照合部２２０と同様であってもよい。よって、その詳細な説明を省略する。
【０１０７】
動線情報生成部５１０は、撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、移動体の動きを示す動線情報を生成する。
【０１０８】
特徴量管理部５２０は、動線情報が生成された移動体が、撮像範囲内の所定の領域に移動した場合に、第１の特徴量より情報量が多い、当該移動体の第２の特徴量と、動線情報とを関連付けて記憶する。
【０１０９】
照合部５３０は、撮像範囲の外から撮像範囲に移動した移動体の第２の特徴量と、記憶した第２の特徴量とを照合する。
【０１１０】
照合部５３０による照合において、撮像範囲の外から撮像範囲に移動した移動体の第２の特徴量と、記憶した第２の特徴量とが合致した場合、動線情報生成部５１０は、記憶した第２の特徴量に関連付けられた動線情報と、撮像範囲の外から撮像範囲に移動した移動体の動線情報とを関連付ける。
【０１１１】
次に、追跡装置５００の動作を説明する。図２２は、本実施形態にかかる追跡装置５００の動作を説明するフローチャートである。なお、追跡装置５００は、追跡装置５００と通信可能に接続される図示しない装置から、撮像データに含まれる移動体から抽出された第１の特徴量を含む情報、または第１の特徴量及び第２の特徴量を含む情報を取得するものとする。
【０１１２】
動線情報生成部５１０は、撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、動線情報を生成する（Ｓ２２０１）。これは、第１の実施形態のＳ８０２、Ｓ８０６またはＳ１１１２の処理に該当する。すなわち、Ｓ２２０１の処理の終了時、図７に示す動作は、終了する。
【０１１３】
Ｓ２２０１において動線情報が生成された移動体が、所定の領域に移動した場合（Ｓ２２０２の「ＹＥＳ」）、特徴量管理部５２０は、所定の領域に移動した移動体の、第１の特徴量よりも情報量が多い第２の特徴量と、その移動体の動線情報とを記憶する（Ｓ２２０３）。これは、第１の実施形態におけるＳ１１０３の処理に該当する。このとき、Ｓ２２０２及びＳ２２０３の処理は、Ｓ２２０１の処理が終了した後、再度図７に示す動作が開始された際の処理である。Ｓ２２０３の処理の終了後、図７の動作は終了する。
【０１１４】
Ｓ２２０３の処理の終了後、図７に示す動作が再度開始された際、照合部５３０は、撮像範囲の外から撮像範囲に移動した移動体の第２の特徴量と、特徴量管理部５２０が記憶した第２の特徴量とを照合する（Ｓ２２０４）。これは、第１の実施形態におけるＳ１１０５の処理に該当する。
【０１１５】
照合部５３０による照合において、撮像範囲の外から撮像範囲に移動した移動体の第２の特徴量と、特徴量管理部５２０が記憶した第２の特徴量とが合致した場合（Ｓ２２０４の「合致した」）、動線情報生成部５１０は、特徴量管理部５２０が記憶した第２の特徴量に関連付けられた動線情報と、撮像範囲の外から撮像範囲に移動した移動体の動線情報とを関連付ける（Ｓ２２０５）。これは、第１の実施形態のＳ１１０８の処理に該当する。
【０１１６】
以上のように、第３の実施形態にかかる追跡装置５００は、撮像範囲の外から撮像範囲に移動した移動体に対して、情報量の多い特徴量を用いて照合を行うので、移動体が撮像範囲の外に移動する前までに生成された動線情報と、移動体が撮像範囲の外から撮像範囲に移動した後の動線情報とを正確に関連付けることができる。したがって、第３の実施形態にかかる追跡装置５００は、計算リソースの増加を抑え、移動体を精度よく継続的に追跡することが可能になる、という効果が得られる。
【０１１７】
以上、上述した実施形態を参照して本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、種々の上記開示要素の多様な組み合わせ乃至選択等、当業者が理解し得る様々な態様を適用することができる。
【０１１８】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１９】
（付記１）
撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成し、
前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、
前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合し、
前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける
追跡方法。
【０１２０】
（付記２）
前記動線情報が生成された移動体が前記所定の領域に移動した時刻である第１の時刻と、前記移動体が前記撮像範囲の外から前記撮像範囲に移動した時刻である第２の時刻とを取得し、
前記記憶する処理において、前記第１の時刻と、前記移動体の第２の特徴量とを関連付けて記憶し、
前記照合する処理において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記第２の時刻との差が所定時間以内である前記第１の時刻に関連付けられた前記第２の特徴量とを照合する
付記１に記載の追跡方法。
【０１２１】
（付記３）
前記照合する処理において、前記撮像範囲の外から前記所定の領域に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する
付記１または２に記載の追跡方法。
【０１２２】
（付記４）
前記所定の領域は、複数の第１の領域と、第２の領域とを含み、
前記第２の領域は、少なくとも一の前記第１の領域と対応づけられ、
前記記憶する処理において、前記動線情報が生成された前記移動体が、前記第１の領域に移動した場合に、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、
前記照合する処理において、前記撮像範囲の外から前記第２の領域に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量のうち、前記第２の領域に対応付けられた前記第１の領域に移動した移動体の第２の特徴量とを照合する
付記２または３に記載の追跡方法。
【０１２３】
（付記５）
前記動線情報は、前記移動体の第１の特徴量を用いて照合することにより生成され、
前記第２の特徴量を用いた照合は、前記第１の特徴量を用いた照合より、移動体を同定する精度が高い
付記１乃至４のいずれか一項に記載の追跡方法。
【０１２４】
（付記６）
前記第２の特徴量は、前記移動体の顔または虹彩の特徴量を含み、
前記照合する処理において、顔認証または虹彩認証を用いる
付記１乃至５のいずれか一項に記載の追跡方法。
【０１２５】
（付記７）
前記記憶する処理において、前記抽出された第２の特徴量を、所定時間後に破棄する
付記１乃至６のいずれか一項に記載の追跡方法。
【０１２６】
（付記８）
撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成する動線情報生成手段と、
前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶する特徴量管理手段と、
前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する照合手段と、を備え、
前記動線情報生成手段は、前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける
追跡装置。
【０１２７】
（付記９）
前記動線情報が生成された移動体が前記所定の領域に移動した時刻である第１の時刻と、前記移動体が前記撮像範囲の外から前記撮像範囲に移動した時刻である第２の時刻とを取得し、
前記特徴量管理手段は、前記第１の時刻と、前記移動体の第２の特徴量とを関連付けて記憶し、
前記照合手段は、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記第２の時刻との差が所定時間以内である前記第１の時刻に関連付けられた前記第２の特徴量とを照合する
付記８に記載の追跡装置。
【０１２８】
（付記１０）
前記照合手段は、前記撮像範囲の外から前記所定の領域に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する
付記８または９に記載の追跡装置。
【０１２９】
（付記１１）
前記所定の領域は、複数の第１の領域と、第２の領域とを含み、
前記第２の領域は、少なくとも一の前記第１の領域と対応づけられ、
前記特徴量管理手段は、前記動線情報が生成された前記移動体が、前記第１の領域に移動した場合に、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶し、
前記照合手段は、前記撮像範囲の外から前記第２の領域に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量のうち、前記第２の領域に対応付けられた前記第１の領域に移動した移動体の第２の特徴量とを照合する
付記９または１０に記載の追跡装置。
【０１３０】
（付記１２）
前記動線情報は、前記移動体の第１の特徴量を用いて照合することにより生成され、
前記第２の特徴量を用いた照合は、前記第１の特徴量を用いた照合より、移動体を同定する精度が高い
付記８乃至１１のいずれか一項に記載の追跡装置。
【０１３１】
（付記１３）
前記第２の特徴量は、前記移動体の顔または虹彩の特徴量を含み、
前記照合手段は、顔認証または虹彩認証を用いる
付記８乃至１２のいずれか一項に記載の追跡装置。
【０１３２】
（付記１４）
前記特徴量管理手段は、前記抽出された第２の特徴量を、所定時間後に破棄する
付記８乃至１３のいずれか一項に記載の追跡装置。
【０１３３】
（付記１５）
撮像範囲にて撮像された撮像データに含まれる移動体から抽出された第１の特徴量に基づいて、前記移動体の動きを示す動線情報を生成する処理と、
前記動線情報が生成された前記移動体が、前記撮像範囲内の所定の領域に移動した場合に、前記第１の特徴量より情報量が多い、前記移動体の第２の特徴量と、前記動線情報とを関連付けて記憶する処理と、
前記撮像範囲の外から前記撮像範囲に移動した移動体の第２の特徴量と、前記記憶した第２の特徴量とを照合する処理と、
前記照合において、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の第２の特徴量と、前記記憶した第２の特徴量とが合致した場合、前記記憶した第２の特徴量に関連付けられた前記動線情報と、前記撮像範囲の外から前記撮像範囲に移動した前記移動体の動線情報とを関連付ける処理と、をコンピュータに実行させる
プログラム。
【符号の説明】
【０１３４】
１０  コンピュータ装置
１１  プロセッサ
１２  ＲＡＭ
１３  ＲＯＭ
１４  記憶装置
１５  入出力インタフェース
１６  バス
１７  ドライブ装置
１８  プログラム
１９  周辺機器
２０  記録媒体
１００、３００  撮像装置
１１０  撮像部
１２０  移動体検出部
１３０  領域判定部
１４０  第１特徴量抽出部
１５０  第２特徴量抽出部
１６０、２１０  通信部
２００、４００、５００  追跡装置
２２０、５３０  照合部
２３０、５１０  動線情報生成部
２４０、５２０  特徴量管理部
２５０、  動線情報記憶部
２６０  特徴データ記憶部
１０００  追跡システム
【図１】
2020161032.tif 000003
【図２】
2020161032.tif 000004
【図３】
2020161032.tif 000005
【図４】
2020161032.tif 000006
【図５】
2020161032.tif 000007
【図６】
2020161032.tif 000008
【図７】
2020161032.tif 000009
【図８】
2020161032.tif 000010
【図９】
2020161032.tif 000011
【図１０】
2020161032.tif 000012
【図１１】
2020161032.tif 000013
【図１２】
2020161032.tif 000014
【図１３】
2020161032.tif 000015
【図１４】
2020161032.tif 000016
【図１５】
2020161032.tif 000017
【図１６】
2020161032.tif 000018
【図１７】
2020161032.tif 000019
【図１８】
2020161032.tif 000020
【図１９】
2020161032.tif 000021
【図２０】
2020161032.tif 000022
【図２１】
2020161032.tif 000023
【図２２】
2020161032.tif 000024