(57)【要約】【課題】複数のカメラと解析装置による移動物体追跡システムにおいて、追跡範囲が広くカメラ台数が多いほど、また各カメラでより多くの物体が撮影されるほど、処理負荷が大きく、リアルタイムでの物体照合が困難となる。【解決手段】カメラAに追跡対象物体が指定されると(S301)、撮影画像から追跡対象物体の画像を検出し、属性情報とともに映像解析装置に送信する(S302)。すると映像解析装置はカメラ間での追跡を開始し、まず、各カメラ位置に対する追跡対象物体の到達予想時刻を確認し(S304)、現在時刻において到達が予測されるカメラBに、追跡対象物体の属性情報を送信する(S305)。するとカメラBは、受信した属性情報に応じて検出した物体(S306)の画像を返信する(S307)。このように、追跡対象カメラを限定し、さらにカメラから解析装置への送信を検出された物体画像に限定することで、全体の処理負荷を低減する。【選択図】  図3
2015002553.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置と解析装置が接続され、移動物体追跡を行う情報処理システムであって、
前記複数の撮影装置のそれぞれは、
シーンを撮影して撮影画像を得る撮影手段と、
前記解析装置から、追跡対象物体の属性情報を受信する第1の受信手段と、
該受信した前記属性情報に応じて、前記撮影画像から物体の画像を検出する物体検出手段と、
該検出された物体の画像を前記解析装置に送信する第1の送信手段と、を有し、
前記解析装置は、
追跡対象物体の画像と属性情報を保持する保持手段と、
前記属性情報を、前記撮影装置に送信する第2の送信手段と、
前記撮影装置から、前記属性情報に応じて検出された物体の画像を受信する第2の受信手段と、
該受信した物体の画像と、前記保持手段に保持された前記追跡対象物体の画像を照合する照合手段と、を有することを特徴とする情報処理システム。
【請求項２】
前記追跡対象物体の属性情報は、人物の年齢、性別、身長、肌の色、髪の色、髪の長さ、虹彩の色に関する少なくとも1つの情報を含むことを特徴とする請求項1に記載の情報処理システム。
【請求項３】
前記物体検出手段は、前記撮影画像から、前記属性情報に合致する物体の画像を検出することを特徴とする請求項1または2に記載の情報処理システム。
【請求項４】
前記照合手段は、前記第2の受信手段で受信した物体の画像と、前記保持手段に保持された前記追跡対象物体の画像とで、それぞれの画像から検出された特徴量を照合することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理システム。
【請求項５】
前記解析装置はさらに、前記追跡対象物体が撮影された撮影装置の位置と撮影時刻、および他の撮影装置の位置の情報に基づき、前記他の撮影装置の撮影範囲内に前記追跡対象物体が到達する到達予想時刻を予測する予測手段と、
該到達予想時刻に基づき、前記属性情報の送信対象となる撮影装置を選択する選択手段と、
を有することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理システム。
【請求項６】
前記予測手段は、ネットワークを介して提供される経路探索サービスを用いて、前記他の撮影装置に対する到達予想時刻を取得することを特徴とする請求項5に記載の情報処理システム。
【請求項７】
前記選択手段は、前記到達予想時刻と現在時刻との差が所定の範囲内である撮影装置を、前記送信対象として選択することを特徴とする請求項5または6に記載の情報処理システム。
【請求項８】
前記予測手段は、さらに前記追跡対象物体の種別、移動方法の情報を用いて、前記他の撮影装置に対する到達予想時刻を取得することを特徴とする請求項5乃至7のいずれか1項に記載の情報処理システム。
【請求項９】
前記撮影装置はさらに、前記追跡対象物体を指定する指定情報を取得する取得手段を有し、
前記取得手段で前記追跡対象物体の指定情報を取得した場合に、
前記物体検出手段が、前記撮影画像において前記指定情報に応じた物体の画像と属性情報を検出し、
前記第1の送信手段が、該検出した物体の画像と該物体の属性情報を前記解析装置に送信する
ことを特徴とする請求項1乃至8のいずれか1項に記載の情報処理システム。
【請求項１０】
前記解析装置はさらに、ユーザによる前記追跡対象物体の登録指示として、該追跡対象物体の画像および指定情報を取得する登録指示の取得手段を有し、
前記登録指示の取得手段で前記登録指示を取得した場合に、
前記保持手段が、該取得された前記追跡対象物体の画像を保持し、
前記第2の送信手段が、該取得された前記指定情報を前記撮影装置に送信し、
前記第2の受信手段が、前記撮影装置から前記指定情報に応じて検出された物体の画像および属性情報を受信し、
前記照合手段で該受信した物体の画像と既に保持されている前記追跡対象物体の画像が同一物体に対応すると判定された場合に、前記保持手段が、該受信した属性情報を前記追跡対象物体の画像に対応付けて保持する
ことを特徴とする請求項9に記載の情報処理システム。
【請求項１１】
前記第2の送信手段は、前記指定情報を第1の撮影装置に送信し、前記属性情報を前記第1の撮影装置とは異なる第2の撮影装置に送信することを特徴とする請求項10に記載の情報処理システム。
【請求項１２】
前記指定情報は前記追跡対象物体の位置情報であり、
前記物体検出手段は、前記撮影画像において前記位置情報に対応する位置に存在する物体の画像を検出することを特徴とする請求項9乃至11のいずれか1項に記載の情報処理システム。
【請求項１３】
前記指定情報は、前記撮影装置における所定イベントの発生情報であり、
前記物体検出手段は、前記撮影画像において発生した前記所定イベントに対応する物体の画像を検出することを特徴とする請求項9に記載の情報処理システム。
【請求項１４】
前記所定のイベントとは、前記撮影画像内の所定の領域に対する物体の存在検知、進入/退出検知、前記撮影画像内の所定の線分に対する物体の通過検知、物体の置き去り検知、持ち去り検知、うろつき検知、の少なくとも1つであることを特徴とする請求項13に記載の情報処理システム。
【請求項１５】
前記保持手段は、前記第2の受信手段が前記撮影装置から受信した、前記指定情報に応じて検出された物体の画像および属性情報を保持する、
ことを特徴とする請求項13または14に記載の情報処理システム。
【請求項１６】
前記解析装置はさらに、前記追跡対象物体に優先度を付す付与手段を有し、
前記照合手段は、前記追跡対象物体の照合を前記優先度に応じて実行することを特徴とする請求項1乃至15のいずれか1項に記載の情報処理システム。
【請求項１７】
前記解析装置はさらに、前記撮影装置で検出されたイベントの種別に応じて、該イベントに対応する前記追跡対象物体に優先度を付す付与手段を有し、
前記照合手段は、前記追跡対象物体の照合を前記優先度に応じて実行することを特徴とする請求項13乃至15のいずれか1項に記載の情報処理システム。
【請求項１８】
前記付与手段は、前記追跡対象物体を検出した撮影装置に応じて、該追跡対象物体に優先度を付すことを特徴とする請求項16または17に記載の情報処理システム。
【請求項１９】
複数の撮影装置と解析装置が接続され、移動物体追跡を行う情報処理システムの制御方法であって、
前記複数の撮影装置のそれぞれは、撮影手段、第1の受信手段、物体検出手段、第1の送信手段を有し、
前記撮影手段が、シーンを撮影して撮影画像を得、
前記第1の受信手段が、前記解析装置から追跡対象物体の属性情報を受信し、
前記物体検出手段が、該受信した前記属性情報に応じて、前記撮影画像から物体の画像を検出し、
前記第1の送信手段が、該検出された物体の画像を前記解析装置に送信し、
前記解析装置は、保持手段、第2の送信手段、第2の受信手段、照合手段を有し、
前記保持手段が、追跡対象物体の画像と属性情報を保持し、
前記第2の送信手段が、前記属性情報を撮影装置に送信し、
前記第2の受信手段が、前記撮影装置から、前記属性情報に応じて検出された物体の画像を受信し、
前記照合手段が、該受信した物体の画像と、前記保持手段に保持された前記追跡対象物体の画像を照合する、ことを特徴とする情報処理システムの制御方法。
【請求項２０】
コンピュータに、請求項19に記載された情報処理システムの制御方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設置位置の異なる複数の撮影装置を用いて移動物体を追跡する技術に関する。
【背景技術】
【０００２】
複数の監視カメラが連携して同一の移動物体の追跡を行う技術が知られている。例えばある監視カメラで認識した移動物体の特徴情報をネットワーク経由で他の監視カメラに伝送し、他の監視カメラにおいて追跡する対象を特定する技術がある(例えば、特許文献1参照)。また、複数カメラから出力されるメタデータを解析モジュールで統合して解析処理を行うことで、様々な監視形態を実現する技術がある(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2003-324720号公報
【特許文献２】特開2008-16895号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、広範囲に及ぶ監視を行う大規模監視システムは多数の高解像度カメラから構成され、各カメラには多数の人物が撮影される。また、各カメラにおいて人物の顔が常に撮影されているとは限らないため、歩容等の複雑な特徴量を多人数に対して照合することが必要となる場合がある。カメラ間での人物追跡に関する上記従来の技術を、このような大規模監視システムに適用しようとすると、末端のカメラ、ないしは多数のカメラを束ねる映像解析装置のいずれかに処理負荷が集中してしまう。したがって、大規模監視システムでは複雑な特徴量を大人数についてリアルタイムに照合することは困難であった。
【０００５】
本発明は上述した問題を解決するために、複数の撮影装置を用いて移動物体追跡を行う際に、撮影装置間での同一物体の追跡をより低負荷で行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を達成するための一手段として、本発明における情報処理システムは以下の構成を備える。すなわち、複数の撮影装置と解析装置が接続され、移動物体追跡を行う情報処理システムであって、前記複数の撮影装置のそれぞれは、シーンを撮影して撮影画像を得る撮影手段と、前記解析装置から、追跡対象物体の属性情報を受信する第1の受信手段と、該受信した前記属性情報に応じて、前記撮影画像から物体の画像を検出する物体検出手段と、該検出された物体の画像を前記解析装置に送信する第1の送信手段と、を有し、前記解析装置は、追跡対象物体の画像と属性情報を保持する保持手段と、前記属性情報を、前記撮影装置に送信する第2の送信手段と、前記撮影装置から、前記属性情報に応じて検出された物体の画像を受信する第2の受信手段と、該受信した物体の画像と、前記保持手段に保持された前記追跡対象物体の画像を照合する照合手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮影装置と解析装置を用いて移動物体追跡を行う際に、撮影装置間での同一物体の追跡をより低負荷で行うことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第1実施形態における撮影装置の構成を示すブロック図、
【図２】第1実施形態における解析装置の構成を示すブロック図、
【図３】第1実施形態における映像解析処理の概要を示す図、
【図４】追跡対象に関する情報例を示す図、
【図５】解析装置内のカメラ管理リストの例を示す図、
【図６】解析装置内の追跡対象物体管理リストの例を示す図、
【図７】第1実施形態の撮影装置における処理を示すフローチャート、
【図８】第1実施形態の解析装置における処理を示すフローチャート、
【図９】第2実施形態における映像解析処理の概要を示す図、
【図１０】第2実施形態の解析装置における追跡対象登録処理を示すフローチャート、である。
【発明を実施するための形態】
【０００９】
以下、本発明実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関わる本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１０】
＜第1実施形態＞
本実施形態では、複数カメラと映像解析装置から構成される情報処理システムにおいて、人物に対する移動物体追跡を行う。この情報処理システムすなわち移動物体追跡システムにおいては、カメラから、追跡対象人物の属性に合致した人物画像に関するデータのみを映像解析装置に送り、映像解析装置側で同定する。そして、映像解析装置は複数台のカメラのうち、追跡対象人物の撮影が可能であろうカメラを限定し、該選択されたカメラに対して追跡対象人物を追尾するための情報を配信する。
【００１１】
●装置構成
本実施形態の移動物体追跡システムは少なくとも、視野の異なる複数台のカメラと、該カメラによる撮影画像を用いて人物追跡を制御する映像解析装置が、インターネット等のネットワークを介して接続された構成からなる。なお、本実施形態の移動物体追跡システムがインターネットを介して監視制御装置はもちろん、さらに他の装置(表示装置や録画装置等)と接続可能であることはもちろんである。
【００１２】
以下、図1および図2を用いて、本実施形態の移動物体追跡システムを構成するカメラおよび映像解析装置の構成について説明する。
【００１３】
図1は、本実施形態における複数台のカメラのうちの1台である、撮影装置100の構成を示すブロック図である。図1では、特に本実施形態に必要となる構成を中心に示している。撮影装置100は、光学系と撮像素子を有する撮像系110、撮像系の姿勢を制御する姿勢制御部120、本体130、に大別される。本体130の内部には、パンチルト制御部121、フォーカスやホワイトバランス等を制御する撮像系制御部137、撮像系110の撮像素子から画像データを読み出す画像取得部131を有する。また、画像サイズを変更する変倍部132、符号化部133、映像配信制御部134を有する。映像配信制御部134は、通信I/F部142を介してネットワーク150に接続された外部装置(表示装置160、録画装置170、監視制御装置180等)との通信を制御し、配信データや配信タイミング制御を行う。本体130はさらに、動体検出部135、特定物体検出部136を有する。特定物体検出部136は、不図示の人体特徴データベース(辞書)を用いて撮影画像内から人物の画像(以下、人物画像)を検出し、その属性を求める。人物画像の検出方法としては、輪郭形状を学習して人物画像の外接矩形を検出する手法が一般に知られている。
【００１４】
本体130はさらに、追尾部138、イベント検知部139、メタデータ生成部140を有する。イベント検知部139は、例えば追跡対象として指定された物体が画面内に仮想的に設置した線分を通過した場合に、通過検知イベントを発行する。メタデータ生成部140は、動体検出部135、特定物体検出部136、追尾部138、イベント検知部139による出力結果を統合して、撮影画像から検出された人物画像のメタデータを生成する。すなわち、撮影画像から、映像解析装置300から要求された属性に一致するとして検出された人物画像について、メタデータを生成する。なお、メタデータの詳細については図4を用いて後述する。生成されたメタデータは、映像配信制御部134は、シーンを撮影した撮影画像や、撮影画像から検出した人物画像等を外部装置に対して送信する際の配信先およびタイミングを制御するが、メタデータについても同様の配信制御を行う。
【００１５】
また本体130内には、設定制御部122を有する。設定制御部122は、通信I/F142を介して映像解析装置300から受信した命令に従って、追跡対象である人物を撮影、検出するように、パンチルト制御部121、撮像系制御部137、特定物体検出部136における各種設定を制御する。
【００１６】
次に、映像解析装置の構成について図2を用いて説明する。なお図2に示す映像解析装置300は市販のサーバ用PC等の情報処理装置によって実現可能であるため、ここでは特に本実施形態に必要となる構成のみを示している。
【００１７】
図2において、映像解析装置300は、通信I/F部301、処理種別判断部302、追跡対象登録部304、追跡対象DB(データベース)310、追跡対象照合部305、照合結果送信部306、追跡依頼制御部307、から構成される。
【００１８】
処理種別判断部302は、追跡対象となる人物画像を通信I/F部301を介して受信した際に、該人物画像に対して施すべき処理の種別を判別する。ここで処理種別としては、受信した人物画像を追跡対象として追跡対象DB310に登録する追跡対象登録処理と、受信した人物画像を既に登録されている追跡対象群と照合する追跡対象照合処理がある。追跡対象登録部304では追跡対象登録処理を行い、追跡対象照合部305では追跡対象照合処理を行う。
【００１９】
ここで、追跡対象DB310に保持される登録データ(追跡対象リスト)の例を図6に示す。追跡対象リストは、システムにおいて現在追跡中である物体のリストであり、図6に示すように追跡対象となる物体ごとに、該物体の分類名、最終観測時刻、最終観測位置、等の情報が記録される。さらに追跡対象物体ごとに、属性管理IDとして、当該物体画像についてのメタデータを特定する情報が記録されている。なお詳細は後述するがメタデータには、追跡対象である人物の属性や特徴量、推定存在位置、等を示す情報が格納されている。なお、追跡対象リストにおける各レコードは、それぞれ対応する追跡対象の人物画像のデータともリンクしており、それぞれの人物画像データもやはり追跡対象DB310に保持されている。
【００２０】
追跡対象照合部305は、撮影装置100から送信された人物画像について、対応するメタデータによって示される属性や特徴量の情報に基づき、追跡対象DB310内の追跡対象リストから追跡対象を同定する。なお、メタデータまたは特定の特徴量等の情報が送信されなかった場合には、追跡対象照合部305が送信されてきた人物画像から特徴量を抽出する。同定結果は、照合結果送信部306の制御により通信I/F部301を介して外部の表示装置160等に送信されることで、例えばシステム管理者による閲覧が可能となる。
【００２１】
追跡依頼制御部307は、撮影装置100に対し、追跡対象である人物画像およびそのメタデータ(属性情報)の送信を依頼する。なお依頼先となる撮影装置100は、追跡対象である人物が撮影されることが予測されるカメラに限定される。
【００２２】
●システム処理概要
次に図3を用いて、本実施形態の移動物体追跡システムを構成する装置間における処理の概要を説明する。上述したように本実施形態の移動物体追跡システムは、複数のカメラ(撮影装置)と映像解析装置によって構成される。撮影装置100であるカメラA,B,Cのうち、例えばカメラAが、映像解析装置300から追跡対象人物の指定情報が送信されてきた旨を検出する(S301)。するとカメラAは、該指定情報に基づいて撮影画像内で特定される追跡対象人物の属性情報をメタデータとして、人物画像とともに映像解析装置300に送信する(S302)。なお追跡対象人物の指定は、映像解析装置300において不図示のビューワによるGUI(グラフィカル・ユーザ・インターフェース)上にて行われるとする。ただし追跡対象人物の指定は、例えば外部の監視制御装置180等から行うことも可能であるし、撮影装置100において直接指定することも可能である。
【００２３】
ここで、人物画像に関するメタデータの例を図4に示す。メタデータは、撮影装置100と映像解析装置300との間で送受信され、映像解析装置300内の追跡対象DB310内に保持される。図4に示すようにメタデータは、フレーム情報セグメント(ID=1x)、動体情報セグメント(ID=2x)、属性情報セグメント(ID=3x)、個人特徴情報セグメント(ID=4x)、その他の情報セグメント(ID=5x)から構成される。メタデータの通信には例えばXML形式が利用される。なお、メタデータの通信の際には全てのセグメントが用いられるわけではなく、本実施形態ではフレーム情報、動体情報、属性情報が用いられるとする。
【００２４】
図4に示すようにフレーム情報は、当該人物画像が撮影されたフレーム画像についての撮影時刻やイベント情報等を含む。また動体情報は、追跡対象である物体について、該物体の種別とは無関係な基本情報であり、例えば動体のサイズ、外接矩形、移動速度、動体画像を含む。なお動体画像を当該フレーム全体としても良いし、動体の外接矩形を切り取った画像としても良い。また現在のフレーム以外にも、直前の複数フレームにわたる同一物体の画像としても良い。なお、動体画像の符号化方式としては、JPEGやMotion JPEG、MPEG-2、H.264等が利用可能であるが、本発明は特定の符号化方式や送信フォーマットに依存するものではない。また属性情報は、追跡対象である物体についての基本情報であり、本実施形態では追跡対象が人物であるから、属性情報として年齢、性別、身長、肌の色、髪の長さ、髪の色、虹彩の色等を定義している。また個人特徴情報は、追跡対象である物体の識別、すなわち個人または個体の識別に用いる情報であり、例えば顔のジオメトリ情報や歩容特徴情報である。
【００２５】
本実施形態では撮影装置100において、撮影画像内に存在する全ての物体について、それぞれの属性情報を抽出し、映像解析装置300から指定された属性情報と合致する物体(人物)の画像およびメタデータを、映像解析装置300に送信する。そして映像解析装置300において、送信されてきた人物画像からより詳細な個人特徴情報を抽出して、撮影画像内の人物が追跡対象として指定された人物と同一人物であるか否かを判別する。
【００２６】
図3に戻り、カメラAから追跡対象の人物画像および属性を示すメタデータを受信した映像解析装置300は、カメラ間における当該追跡対象人物の追跡処理を開始し、追跡対象人物の移動範囲を推定して追跡を依頼するカメラを限定する。具体的には、インターネットを介して提供される外部の経路探索サービスに対し、追跡対象人物の発見時刻および各カメラ位置等の情報をキーとして指定し、追跡対象人物の到達予定時刻を問い合わせる(S303)。そして経路探索サービスの応答結果から、カメラ毎に、追跡対象人物が撮影範囲内に到達する予定時刻を得る(S304)。なお、経路探索サービスとしては、一般的なWebアプリケーションサービスとして周知である鉄道乗換案内サービスや地図サービス等が利用可能である。それ以外にも、PC向けのSDK(Software Development Kit)を用いて同等の機能を実現することが可能である。
【００２７】
なお、カメラ位置は、システム内の全てのカメラに関する情報を管理するカメラリストから参照される。カメラリストは映像解析装置300内の不図示のメモリに予め保持されており、図5にカメラリストの具体例を示す。図5に示すようにカメラリストには、カメラ番号、名称、位置、パン・チルト・ズームの撮影可能範囲、等の情報が保持されている。
【００２８】
図3に戻り、次に映像解析装置300では、カメラ毎の到達予定時刻と現在時刻を比較し、その差が所定範囲内であるカメラにおいて、追跡対象人物が撮影される可能性があると判断し、当該カメラを送信対象カメラとする。なお、ここで決定された送信対象カメラに対しては、到達時間の推定誤差を見込んで、到達予定時刻よりも例えば5分早い時刻から、送信対象カメラとしての機能を実行させる。また送信対象カメラの数および位置が爆発的に広がってしまうことを防ぐため、例えば送信対象カメラとして指定されてから1時間経過後には、当該カメラを送信対象から外す等の設定を行う。
【００２９】
以下、映像解析装置300において、カメラAに続いて追跡対象人物が撮影される可能性がある送信対象カメラとして、カメラBが選択されたとする。すると映像解析装置300はカメラBに対して、追跡対象人物と属性が一致する人物の映像送信を要求するために、カメラAからメタデータとして受信した追跡対象人物の属性情報のみを送信する(S305)。するとカメラBは、自身の撮影画像における全ての物体を検出してそれぞれの属性情報を抽出し、該抽出した各属性情報に対し、映像解析装置300から送信された追跡対象人物の属性情報との合致を判別する(S306)。そして属性情報が合致した物体について、その映像すなわち人物画像を映像解析装置300に送信する(S307)。
【００３０】
すると映像解析装置300は、カメラBから受信した追跡対象人物の画像から、個人識別に必要な詳細特徴を抽出し(S308)、該詳細特徴が追跡対象人物と合致するかを識別することで、同一人物認証を行う(S309)。
【００３１】
なおここでの人物認証は、人物画像における特徴量に基づいて行う。例えば第1および第2のカメラ映像から顔特徴が抽出できれば、顔特徴による照合が可能である。同一人物であると識別可能なほどの詳細な特徴を抽出できない場合には、その他の特徴量を用いて照合する。例えば、第1のカメラと第2のカメラで追跡対象人物の数秒間の歩行の様子が撮影されていた場合には、映像解析装置300側で、各カメラの映像から歩容特徴量を抽出して、これを照合することが可能である。
【００３２】
●撮影装置側処理
以下、本実施形態における撮影装置100(カメラ)側における詳細な動作について、図7のフローチャートを用いて説明する。撮影装置側処理は、メインプロセス、追跡対象検出プロセス、受信プロセス、および送信プロセスに大別される。図7(a)に示すようにメインプロセスにおいては、S701で初期設定を用いてシステムを起動する。そして、S702で検出プロセス、S703で受信プロセス、S704で送信プロセスをそれぞれ生成し、以後各処理プロセスが並列して動作する。
【００３３】
まず検出プロセスについて、図7(b)を用いて説明する。検出プロセスは、撮影画像から、位置指定に応じて追跡対象人物の画像と属性情報を検出する第1の検出処理(S712〜S715)と、属性情報に応じて追跡対象人物の画像を検出する第2の検出処理(S716〜S720)に大別される。第1の検出処理ではすなわち、撮影画像内での位置指定がなされた追跡対象人物を特定し、その画像と属性情報を映像解析装置300に送信する。第2の検出処理では、属性情報による追跡指示がなされた追跡対象人物を撮影画像内で検出し、その画像を映像解析装置300に送信する。
【００３４】
検出処理の開始後、まずS710で画像取得部131において、撮像系110による撮影画像を取得する。次にS711で特定物体検出部136において、撮影画像における全ての人物画像およびその属性情報を検出する物体検出処理を行う。
【００３５】
そして、第1の検出処理を開始する。まず、S712で設定制御部122が、映像解析装置300から、追跡対象人物の位置指定があるか否か、すなわち位置指定命令が送信されてきたか否かを判定する。位置指定がなければ第1の検出処理を行わずにS716に進むが、位置指定があればS713で該位置指定情報に従って追跡対象人物を特定する。本実施形態では、位置指定情報として追跡対象人物の位置情報が送信されてくるため、ここでは該位置情報によって示される位置付近に存在する人物を、追跡対象人物として特定する。次にS714で設定制御部122が、S711で検出した複数の人物画像から、S713で特定した追跡対象人物に対応する画像および属性情報を抽出する。そしてS715で該抽出した追跡対象人物の画像と、その属性情報を示すメタデータとを映像解析装置300に送信する。
【００３６】
以上のS711〜S715による第1の検出処理によって、撮影画像内での位置指定がなされた追跡対象人物が特定され、その画像と属性情報が映像解析装置300に送信される。
【００３７】
上記第1の検出処理による追跡対象人物の特定の終了後、または上記S712で追跡対象人物の位置指定がない場合に、第2の検出処理を開始する。
【００３８】
まずS716で設定制御部122が、映像解析装置300から、追跡対象人物の属性指定があるか否か、すなわち属性指定命令が送信されてきたか否かを確認する。属性指定があればS717以降の処理を行うが、属性指定がなければS710に戻って次のフレームの画像を取得する。なお、第2の検出処理においてS716で判定される属性指定命令と、上記第1の検出処理においてS712で判定される位置指定命令とは、必ずしも同一の追跡対象人物を指定する命令であるとは限らない。すなわち、第1の検出処理と第2の検出処理とは並列動作が可能である。
【００３９】
S717では特定物体検出部136が、撮影画像における全ての人物画像のうち、所定の順番に従ってひとつを検出し、その属性情報を抽出する。次にS718で設定制御部122が、S717で抽出した属性情報が、属性指定命令に添付されてきた属性情報に一致するか否かを判定する。属性情報が一致した場合はS719に進んで、当該人物画像を映像解析装置300に送信する。ここで送信される人物画像とは、撮影画像から属性情報の一致した人物を含む領域を切り出した画像データである。S718で属性情報が一致しなかった場合、またはS719で人物画像データを送信した場合にS720に進み、撮影画像内の全ての人物画像についてS718の属性判定を完了したか否か判定する。全ての人物画像についての処理が完了していない場合にはS717に戻って次の人物画像に対する属性抽出を行う。一方、S720で撮影画像内の全ての人物画像についての処理が完了した場合には、S710に戻って次のフレームの画像を取得する。
【００４０】
次に、撮影側の受信プロセス(すなわち第1の受信プロセス)について、図7(c)を用いて説明する。受信処理開始後、まずS730で設定制御部122は、映像解析装置300からの命令の受信を待ち、命令を受信したらS731へ進んで、該命令が追跡対象人物の位置を指定する位置指定命令であるか否かを判別する。位置指定命令であれば、S732で映像解析装置300から追跡対象人物の位置情報を受信して、S733へ進む。上述した図7(b)のS712では、S731で位置指定命令の受信ありと判定された場合に、同様にY判定となり、S713ではS732で受信した位置情報に応じた指定位置付近に存在する人物を、追跡対象人物として特定する。なおS731で、受信した命令が位置指定命令でなければ、S732をスキップしてS733へ進む。
【００４１】
S733で設定制御部122は、映像解析装置300から、追跡対象人物の属性指定命令があるか否かを判別し、該命令があればS734で該追跡対象人物の属性情報を受信する。上述した図7(b)のS716では、S733で追跡対象人物の属性指定命令ありと判定された場合に、同様にY判定となり、S718ではS734で受信した属性情報との合致判定を行う。
【００４２】
なお、撮影装置100が映像解析装置300から、S731またはS733で受信する命令を、制御モードの変更命令としても良い。例えば、第1の制御モードが第1の検出処理を示し、第2の制御モードが第2の検出処理を示すものとすれば、該制御モードに応じてS731,S733の判定が可能となる。
【００４３】
なお、撮影側の送信プロセス(すなわち第1の送信プロセス)については、上記検出プロセスにおけるS715およびS719に対応する送信処理を実行するのみであるから、詳細な説明を省略する。
【００４４】
●映像解析装置側処理
以下、本実施形態における映像解析装置300(サーバ)側における詳細な動作について、図8のフローチャートを用いて説明する。映像解析装置300側の処理は、メインプロセス、追跡対象登録プロセス、追跡対象照合プロセスに大別される。図8(a)に示すようにメインプロセスは、まずS801で初期設定に基づいて起動し、S802で追跡対象登録プロセス、S803で追跡対象照合プロセスを生成し、以後各処理プロセスが並列に動作する。
【００４５】
まず追跡対象登録プロセスについて、図8(b)を用いて説明する。追跡対象登録処理の開始後、まずS810で処理種別判断部302において、上述した不図示のビューワ上のGUIからの命令の受信待ちを行い、該命令を受信したらS811へ進み、該命令が追跡対象人物の登録指示命令であるか否かを判別する。なお、追跡対象物体の登録指示命令には、登録対象となる追跡対象人物の位置情報を含む属性情報および画像データそのものが添付されている。登録指示命令であればS812へ進み、追跡対象登録部304で、該命令によって追跡対象として指定された人物画像の情報を、図6に示した追跡対象リスト等に登録する。ここではすなわち、追跡対象となる人物の属性や特徴量を追跡対象リストとして、それぞれに対応する画像データとともに追跡対象DB310に記憶される。なお本実施形態における追跡対象は人物に限定されるものではなく、追跡対象を車両として該車両の追跡に適用することも可能である。
【００４６】
追跡対象人物の登録完了後、S813で追跡依頼制御部307が、撮影装置100に対して追跡対象人物の位置指定命令を送信する。本実施形態では、このときに送信対象となる撮影装置100を選択的に決定する。
【００４７】
ここで図8(c)に、上記S813における解析側の送信処理(すなわち第2の送信プロセス)の手順を示す。なお図8(c)に示す送信処理は、後述する追跡対象照合プロセス(S803)においても同様に実行される。
【００４８】
送信処理の開始後、まずS820で追跡対象人物の前回観測時からの経過時間を算出する。なお、追跡対象登録プロセスの実行時には前回観測は行われていないため、このステップをスルーするか、または経過時間0として算出する。
【００４９】
次にS821で、システムが管理する全ての撮影装置100の位置情報を、図5に示すカメラリストから取得する。なお、この位置情報は、詳細には撮影装置100による撮影可能範囲の情報であり、カメラリストにおける各撮影装置の位置、パン、チルト、ズームから算出される。
【００５０】
次にS822において、取得した撮影装置100の位置情報を外部の経路探索サービスに送信して、追跡対象人物がそれぞれの撮影装置100の撮影範囲内に到達するであろう到達予想時刻を取得する。次にS823において、S820で算出した経過時間を参照して、現在時刻において追跡対象物体が撮影範囲内に到達している可能性のある撮影装置100を、送信対象カメラとして選択する。そしてS824で、該送信対象カメラに対する追跡制御命令の配信を行う。すなわち、S823で送信対象カメラとして選択された撮影装置100に対し、追跡制御命令を、追跡対象人物の属性情報とともに送信する。なお、上述したように図8(c)はS803の追跡対象照合プロセスと共通であるため、S824において送信される追跡制御命令は呼び出しプロセスによって異なる。追跡制御命令は、追跡対象登録プロセス(S802)で呼び出された場合には追跡対象人物の位置指定命令であり、追跡対象照合プロセス(S803)で呼び出された場合には属性指定命令であるが、いずれの場合でも属性情報が共に送信される。なお、追跡対象登録プロセス(S802)においてS824で送信される属性情報としては、少なくとも追跡対象人物の位置情報を含んでいれば良い。
【００５１】
次に、追跡対象照合プロセスについて、図8(d)を用いて説明する。追跡対象照合処理の開始後、まずS830で追跡対象照合部305において、撮影装置100からのイベント受信を待ち、S831で人物画像を受信した旨を確認した場合にS832へ進む。なお、ここでの受信は撮影装置100における上記S715,S719による送信に対応するものであり、S715の送信であれば人物画像に付随して属性情報も受信する。なお、このS830と上記S810がすなわち、解析側の受信プロセス(すなわち第2の受信プロセス)である。
【００５２】
S832では追跡対象リストから、S831で受信が確認された人物画像に対応する属性情報に合致する物体(人物)を検出し、対応する画像データを追跡対象DB310から取得する。このとき、対応する特徴量が保持されていれば、これも読み出す。なお、受信した人物画像に対応する属性情報としては、該人物画像と同時に受信した属性情報であるか、または現在追跡中である追跡対象人物の属性情報として映像解析装置内に既に登録(保持)されている属性情報である。
【００５３】
次にS833において、受信した人物画像と追跡対象DBから取得した追跡対象人物画像のいずれかに、これらの照合処理を行う際に不足する特徴量があれば、該特徴量をそれぞれの画像データから生成する。そしてS834で、受信した人物画像と追跡対象人物画像について、それぞれの特徴量を照合してこれらが同一人物を示すか否かを判定する。ここで同一人物であると判定された場合に、その属性情報が未登録であれば、該属性情報を追跡対象人物画像と対応付けて追跡対象DB310に登録しておく。また、追跡対象リストにおける最終観測時刻および最終観測位置(撮影装置位置)を更新する。
【００５４】
そして、S834による照合結果に関わらず、S835に進んで複数台の撮影装置100に対し、追跡を指示する属性指定命令を送信する。このS835における属性指定命令の送信処理は、上述した図8(c)に示す送信処理として実行されるため詳細な説明を省略する。すなわちS835においても、送信対象となる撮影装置100が選択的に決定される。したがって、追跡対象照合プロセスにおいて人物画像および属性情報を送信してきた撮影装置100は、追跡対象人物との照合から所定時間が経過した後には、送信対象として選択されなくなり、属性指定命令の送信が停止される。該撮影装置100の周囲にある複数台の撮影装置100についても同様に、属性指定命令の送信が停止される。
【００５５】
以上のように追跡対象照合プロセスにおいては、S834で照合処理が行われた後、S835で送信対象カメラとして選択された複数の撮影装置に属性指定命令を配信し、S830で該配信された撮影装置のいずれかから人物画像が送信されてくるのを待つ。このプロセスが繰り返し実行されることにより、複数カメラにわたって追跡対象人物を追跡することが可能となる。
【００５６】
なおS834による照合結果、すなわち追跡状況の情報をどのように扱うかについては本発明とは異なる範疇であるため、ここではS834の照合結果に関わらずS835における属性指定命令の配信制御を行って追跡を行う例を示した。S834の照合結果に応じて追跡処理の継続を制御する場合には、S835の送信処理を制御すれば良く、例えば追跡対象が同一人物でないと判定された場合には、追跡失敗として当該カメラに対する属性指定命令の送信を中断しても良い。
【００５７】
また、上記S823において、追跡対象物体の観測時からの経過時間に基づいて送信対象カメラを選択する際に、追跡対象物体の大まかな移動方向に基づいてさらに選択を絞り込むことも可能である。例えば地図上において、追跡対象物体が最初に発見された第1の位置を中心として、該物体が2度目に発見された第2の位置の方向に所定の中心角の扇形を設定し、経路探索サービスに問い合わせるカメラ位置を、この扇形の範囲内にあるものに限定すれば良い。これにより、映像解析装置において送信対象カメラを設定する際の処理負荷を軽減することができる。
【００５８】
以上説明したように本実施形態によれば、視野の異なる複数台のカメラと映像解析装置からなる移動物体追跡システムにおいて、カメラ側で所定の属性に一致する物体の画像のみを映像解析装置に送信し、映像解析装置側にてその同定処理を行う。これにより、カメラ間での人物の追跡処理を低負荷にて行うことができる。
【００５９】
なお、本実施形態では撮影装置100において一人の追跡対象人物を追跡する例を示したが、追跡対象リストに登録された複数人の人物を同時に追跡することも可能である。この場合、撮影装置100において撮影画像から追跡対象人物を検出した場合に、S719でその画像データのみでなく当該追跡対象人物の属性情報も映像解析装置300に送信する必要がある。これにより映像解析装置300ではS831において、人物画像と属性情報を共に受信し、S832で該受信した属性情報を参照することで、追跡対象DB310から適切な画像データを取得することができる。
【００６０】
また、本実施形態では追跡対象を人物とする例を示したが、もちろん車両等の他の物体であっても、同様にその追跡を行うことが可能である。
【００６１】
＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態では上述した第1実施形態の構成に対し、検知イベントを受けて追跡対象を自動的に決定することを特徴とする。これにより、GUI等を用いて追跡対象を明示的に指定することなく、異常イベントの発生時に自動的に対象物体を検出、追尾することが可能となる。なお、第2実施形態におけるシステム構成は第1実施形態と同様であるため、装置構成についての説明は省略する。以下、第1実施形態と異なる部分を中心に説明する。
【００６２】
●システム処理概要
まず図9を用いて、第2実施形態の移動物体追跡システムを構成する装置間における処理の概要を説明する。上述した第1実施形態で示した図3と同様に、第2実施形態の移動物体追跡システムは撮影装置100であるカメラA〜Cと映像解析装置300によって構成される。なお、図9におけるS901〜S909までの各処理は、図3に示したS301〜S309にそれぞれ対応する。以下では、特に図3と異なる処理について、詳細に説明する。
【００６３】
まずS901では、ユーザの入力による追跡対象物体指定に代えて、イベント検知部139によって異常イベントの発生を検知する。例えばカメラAが異常イベントを検知した場合には、S902で撮影画像内で特定される追跡対象物体の属性情報をメタデータとして、その映像とともに映像解析装置300に送信する。ここで異常イベントの検知とは、例えば撮影画面上の指定領域に対する存在検知、進入/退出検知、画面上で指定した線分に対する通過検知の他、置き去り検知、持ち去り検知、うろつき検知、等であり、物体や人物が検知対象となる。なお、置き去り検知や持ち去り検知においては、追跡対象の物体が長時間同じ場所に留まっていることを検知する。画像内で人物と物体との分離関係を追尾することによって、物体を置き去り、ないしは持ち去りした人物を特定することができる。また、うろつき検知は、例えば人物の移動速度や移動方向が一定でない場合に、人物がうろついているとして判別する。
【００６４】
次にS903で、カメラAから追跡対象物の画像および属性を示すメタデータを受信した映像解析装置300は、カメラ間における当該追跡対象物の追跡処理を開始し、追跡対象物の移動範囲を推定して追跡を依頼するカメラを限定する。このとき、外部の経路探索サービスに対し、追跡対象物の発見時刻と各カメラ位置に加えて、移動手段を指定して、追跡対象人物の到達予定時刻を問い合わせる。なお、指定すべき移動手段は、追跡対象物の種別によって異なる。追跡対象が人であれば、移動手段としては例えば徒歩と公共共通機関が指定可能であり、追跡対象が車両であれば道路名を指定する。そしてその問い合わせに対する経路探索サービスの応答結果から、カメラ毎の追跡対象人物の到達予定時刻を得る(S904)。
【００６５】
すると映像解析装置300では、カメラ毎の到達予定時刻と現在時刻を比較し、その差が所定範囲内であるカメラを送信対象カメラとする。送信対象カメラとしてカメラBが選択されたとすると、映像解析装置300はカメラBに対して、追跡対象物と属性が一致する物体の映像送信を要求するために、カメラAからメタデータとして受信した追跡対象人の属性情報のみを送信する(S905)。そして以降は図3と同様に、同一物体の認証が行われる。
【００６６】
●撮影装置側処理
以下、第2実施形態のカメラ側における検出処理プロセスについて、図7(b)を用いて、特に第1実施形態と異なる部分、すなわち撮影画像から追跡対象物体を特定して抽出するための処理について説明する。
【００６７】
まずS711では物体検出処理に加えて、異常イベントの検知処理を行う。ここでは撮影画像内の動体や人体を検出し、所定の異常イベントの条件に従って、検出物体の特定領域への侵入や線分の通過等を判別する。次にS712で位置指定の有無に代えて、異常イベントの発生情報、すなわち発生の有無を判別し、異常イベントがあればS713で追跡対象物を特定する。ここでは、異常イベントの原因となった人物を特定し、追跡処理の対象とする。そしてS714で、追跡対象物の画像および属性情報を抽出し、さらにS715で該抽出した追尾対象人物の画像と属性情報を、異常イベント情報とともに映像解析装置300に送信する。
【００６８】
●映像解析装置側処理
対して、映像解析装置300における追跡対象登録プロセスは、第1実施形態の図8(b)に示した処理が図10に示すように変更される。
【００６９】
追跡対象登録処理の開始後、まずS1110で異常イベントの受信待ちを行い、異常イベントを受信したらS1111へ進み、該異常イベントの種別を判別する。すなわち、S1111,S1113によって該異常イベントが人物または車両に関する異常イベントであるかを判定し、いずれでもなければ追跡対象外と判定し、追跡を行わない。人物に関する異常イベントであればS1112へ進み、撮影装置から受信した画像および属性情報を、人物に関する情報として追跡対象リストに登録する。このとき、人物の特徴量が算出できれば同時に記憶する。一方、車両に関する異常イベントであればS1114へ進み、撮影装置から受信した画像および属性情報を、車両に関する情報として追跡対象リストに登録する。
【００７０】
追跡対象物の登録完了後、第1実施形態と同様にS1115で送信対象カメラに対して追跡対象物の指定命令を送信する。この指定命令としては、第1実施形態と同様に位置情報を指定しても良いし、属性情報を指定しても良い。
【００７１】
以上説明したように第2実施形態によれば、撮影画像内で所定イベントを検出した場合に、当該イベントの発生原因となった人物や車両を追跡対象物として、複数カメラ間での追跡を自動的に開始することができる。
【００７２】
＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。映像解析装置の処理能力は有限であるため、定められた処理時間内で同定処理の対象となりうる物体個数には限界がある。そこで第3実施形態では、上述した第2実施形態において、異常イベント検出によって自動的に設定された追跡対象物に対して優先度を付し、映像解析装置の現在の負荷状況に応じて、同定処理を行う。すなわち、映像解析装置の負荷が高い場合には、優先度の高い物体から順に同定処理を行い、所定の処理時間内に全ての追跡対象物体についての同定処理が完了しなければ、優先度の低い物体の処理は打ち切る。なお、映像解析装置の現在の負荷状況は、CPU負荷や空きメモリ状況等の検出によって総合的に判定可能である。
【００７３】
優先度の付与は映像解析装置にて行う。優先度の付与方法としては、システム利用者によって予め定められた、検知された異常イベントの種別に応じて優先順位を付す方法がある。例えば、禁止領域への侵入検知を最優先とし、持ち去り検知を次点とし、置き去り検知や通過検知をその次とする。また、検知種別とは無関係に、追跡対象物の種別に応じて優先度を定めてもよい。また、カメラ間で優先度を設定することも可能である。例えば、カメラAで検出されたイベントに関する物体を、カメラBで検出されたイベントに関する物体よりも優先するように設定することができる。さらに、物体単位で優先度を設定することも可能であり、例えば、利用者が明示的に指定した追跡対象物を第1優先とし、カメラが自動的に検出したイベントに関わる追跡対象を第2優先とする等である。
【００７４】
このように優先度を設定した同定処理を実現するには、映像解析装置において優先度リストを保持する必要がある。そして、図8(c)のS824における追跡制御命令の送信処理において、該優先度リストに応じて送信対象カメラを決定する。
【００７５】
以上説明したように第4実施形態によれば、複数の追跡対象物体に対して同定処理の優先度を設定することで、映像解析装置における資源を有効に活用することができる。
【００７６】
＜その他の実施形態＞
上述した第1〜第4実施形態においては、移動物体追跡システムを構成する複数カメラ間において視野が重複する場合は、これら複数カメラにおいて同一人物を同時刻に撮影することが可能である。この場合、同一位置に存在する同一人物の特徴量を複数カメラで取得し、これを映像解析装置で合成することによって、単一のカメラで取得するよりも多くの特徴量を得ることができる。その結果、同定の精度を向上させることが可能となる。
【００７７】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【図１】
2015002553.tif 000003
【図２】
2015002553.tif 000004
【図３】
2015002553.tif 000005
【図４】
2015002553.tif 000006
【図５】
2015002553.tif 000007
【図６】
2015002553.tif 000008
【図７】
2015002553.tif 000009
【図８】
2015002553.tif 000010
【図９】
2015002553.tif 000011
【図１０】
2015002553.tif 000012