(57)【要約】【課題】事前の登録処理を必要とせずに、監視とマップ上の巡回経路表示を連携させることを可能とする技術を提供する。【解決手段】少なくとも一つの撮影装置により撮影された撮影画像を表示手段に表示させる情報処理装置は、少なくとも一つの撮影装置により撮影された被写体の位置の変化を示す少なくとも一つの経路情報を取得する第１の取得手段と、経路情報に対応する時刻に係る情報、及び、経路情報に対応する撮像装置を特定可能な情報の内の少なくともいずれかと、少なくとも一つの経路情報が重畳された地図情報とを表示手段に表示させる表示制御手段とを備える。【選択図】  図１
2018032950.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの撮影装置により撮影された撮影画像を表示手段に表示させる情報処理装置であって、
前記少なくとも一つの撮影装置により撮影された被写体の位置の変化を示す少なくとも一つの経路情報を取得する第１の取得手段と、
前記経路情報に対応する時刻に係る情報、及び、前記経路情報に対応する撮像装置を特定可能な情報の内の少なくともいずれかと、前記少なくとも一つの経路情報が重畳された地図情報とを表示手段に表示させる表示制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記少なくとも一つの経路情報のうちのいずれかの経路情報の選択に応じて、当該経路情報に対応する被写体が写り込んでいる撮影画像を取得する第２の取得手段をさらに備え、
前記表示制御手段は、前記第２の取得手段が取得した前記撮影画像を前記表示手段に表示させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記経路情報に対応する時刻に係る情報として、撮影時刻を示す情報を前記表示手段に表示させる
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記経路情報に対応する時刻に係る情報として、現在撮影されている被写体に対応する巡回経路であることを示す情報を前記表示手段に表示させる
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記第２の取得手段が取得した前記撮影画像を、当該撮影画像を撮影した撮影装置の位置を示す前記地図情報上の表示に対応付けて前記表示手段に表示させることを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記表示制御手段は、前記第２の取得手段が取得した前記撮影画像に写り込んでいる前記被写体の位置を示す前記地図情報上の表示を前記表示手段にさらに表示させることを特徴とする請求項２又は５に記載の情報処理装置。
【請求項７】
前記表示制御手段は、時刻の指定に応じて、当該時刻における前記被写体の位置を示す表示を前記表示手段に表示させることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記表示制御手段は、前記第２の取得手段が取得した前記撮影画像において前記被写体が占める領域を強調して前記表示手段に表示させることを特徴とする請求項２に記載の情報処理装置。
【請求項９】
前記表示制御手段は、前記第２の取得手段が取得した前記撮影画像に合わせて、当該撮影画像が過去に撮影されたものか現に撮影中のものであるかを示す情報と、撮影時刻と、当該撮影画像を撮影したカメラを識別する情報との少なくともいずれかを前記表示手段に表示させることを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記第２の取得手段により取得された撮影画像が現在撮影中の撮影画像である場合、当該撮影画像を撮影している撮影装置を、当該撮影画像に写り込んでいる被写体をパン及びチルトの少なくともいずれかにより追跡するように制御する制御手段をさらに備えることを特徴とする請求項２に記載の情報処理装置。
【請求項１１】
前記少なくとも一つの撮影装置により撮影された撮影画像から被写体を検出する検出手段と、
前記検出された被写体を撮影画像内で追尾する追尾手段と、
追尾された前記被写体について前記少なくとも一つの撮影装置間で人物同定を行い、前記経路情報を生成する生成手段と
をさらに備え、
前記第１の取得手段は、前記生成手段により生成された前記経路情報を取得する
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記生成手段は、前記追尾手段により追尾された被写体の位置が連続しない場合、前記少なくとも一つの撮影装置の位置関係に基づき当該連続しない部分の経路を予測して前記経路情報を生成することを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記表示制御手段は、前記少なくとも一つの経路情報のうちのいずれかの経路情報の選択に応じて、選択された経路情報に対応する複数の画像を順次表示手段に表示させることを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
前記複数の画像を、順次、前記表示手段に表示する場合、前記複数の画像に対応する前記経路情報上の位置を、順次、前記表示手段に表示することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
少なくとも一つの撮影装置により撮影された撮影画像を表示手段に表示させる情報処理方法であって、
前記少なくとも一つの撮影装置により撮影された被写体の位置の変化を示す少なくとも一つの経路情報を取得する第１の取得工程と、
前記経路情報に対応する時刻に係る情報、及び、前記経路情報に対応する撮像装置を特定可能な情報の内の少なくともいずれかと、前記少なくとも一つの経路情報が重畳された地図情報とを表示手段に表示させる表示制御工程と、
を備えることを特徴とする情報処理方法。
【請求項１６】
コンピュータを請求項１から１４のいずれか１項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置及びその方法、コンピュータプログラムに関する。
【背景技術】
【０００２】
店舗など複数のカメラを使った監視システムでは、複数カメラの撮影画像がマルチ画面で表示され、監視者がこれらの画像を目視確認する。これらの画像はレコーダ等の機器に保存され、事件などの問題等が発生した場合に、時間情報や場所情報等からカメラを特定し、画像を再生するようになっている。
【０００３】
また、上記のように監視を目的とする一方、店舗内の人流解析を目的として複数のカメラや赤外線センサが設置して構成されたシステムも知られている。このようなシステムでは、人の動きをカメラ、センサで検出し、検出結果を解析して、マップ上に統計情報として巡回経路を表示するものである。
【０００４】
しかし、これらのシステムは独立したシステムであるため、例えば、人流解析を目的としたシステムでは、マップ上の巡回経路に対応した実際の人物の画像を表示して目視により確認することはできい。
【０００５】
巡回経路と人物の画像を連携させるシステムとして、特許文献１には、顔認証を行い、顔認証により特定された人物が監視エリア内でどのように移動したかを記録する構成が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２６５９２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のシステムでは、あらかじめ顔認証され事前に登録された人物のみが追跡対象であるため、店舗など不特定多数の人物が出入りする場所を対象として、監視と人物の巡回経路解析とを連携させることができなかった。
【０００８】
本発明は上述した課題に鑑みなされたものであり、監視とマップ上の巡回経路表示を連携させることを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
少なくとも一つの撮影装置により撮影された撮影画像を表示手段に表示させる情報処理装置であって、
前記少なくとも一つの撮影装置により撮影された被写体の位置の変化を示す少なくとも一つの経路情報を取得する第１の取得手段と、
前記経路情報に対応する時刻に係る情報、及び、前記経路情報に対応する撮像装置を特定可能な情報の内の少なくともいずれかと、前記少なくとも一つの経路情報が重畳された地図情報とを表示手段に表示させる表示制御手段と
を備える。
【発明の効果】
【００１０】
本発明によれば、監視とマップ上の巡回経路表示を連携させることが可能である。
【図面の簡単な説明】
【００１１】
【図１】画像処理システムの全体構成図
【図２】画像処理装置のハードウェア構成を示すブロック図
【図３】表示装置に表示される監視エリアのマップと巡回経路の一例を示す図
【図４】巡回経路に対応した被写体の過去画像及び現在画像の表示例を示す図
【図５】マップ表示するまでの処理手順を示すブロック図
【図６】巡回経路を選択し画像を表示するまでの処理手順を示すフローチャート
【図７】画像表示から現在の被写体を追尾処理する処理手順を示すフローチャート
【図８】巡回経路を選択し画像の連続表示を行う処理手順を示すフローチャート
【図９】広域を監視対象とした場合の例を示す図
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
（画像処理システム）
本発明の一実施形態における画像処理システムの構成を図１に示す。本画像処理システムは、複数台のカメラ、画像処理装置、及び、記録装置を備え、これらはネットワークで接続されている。図１はカメラ２台を使ったシステム構成例を示している。カメラは２台に限らず、多数存在してもよい。監視エリアを撮影するカメラ１００と１１０は特定の場所に設置され、ネットワーク１４０により接続されている。カメラ１００内部には、画像を撮影する画像取得部１０１により、所定のフレームレートで撮影された画像がネットワーク上に送信される。また画像取得部１０１により取得された画像から、被写体検出部１０２により監視エリアに存在する被写体を検出し、画面内追尾部１０３により、検出された被写体の追尾処理が行われる。被写体検出や追尾処理結果は、画像に関連したメタデータとしてネットワーク上に送信される。カメラ１１０にも、同じ機能である画像取得部１１１、被写体検出部１１２、画面内追尾部１１３が存在する。
【００１４】
１３０は記録装置であり、カメラ１００、１１０から送信された画像やメタデータを記録する画像・結果保存部を備えている。記録装置１３０はネットワーク上に独立して存在してもよいし、後述する画像処理装置１２０の内部にあってもよい。
【００１５】
１２０は画像処理装置である。画像処理装置１２０は、所定の空間的領域において少なくとも一つの撮影装置により撮影された撮影画像を表示手段に表示させる情報処理装置として機能する。画像処理装置１２０は、カメラ１００、１１０から出力された画像やメタデータ、または記録装置１３０から読みだしたデータを入力とし、内部処理を行う。画像処理装置１２０には、ユーザからの入力を受け付ける入力装置１２３と、処理結果を表示する表示装置１２４が接続されている。表示装置１２４には、各カメラから受信した撮影画像や、記録装置１３０に保存されている画像が表示される。また画像のほかに、監視エリアのマップ（地図情報）や、監視エリア内を移動した人物の巡回経路なども表示する。人物の巡回経路は、画像処理装置１２０内部のカメラ間人物同定部１２２で処理され得る。カメラ間人物同定部１２２は、各カメラで処理した追尾結果と、カメラの物理的配置、画角、人物情報等からカメラ間人物同定を行い、対象の人物の巡回経路を計算している。また、図１では画面内追尾処理を各カメラ１００、１１０で処理しているが、画像処理装置１２０内部で、カメラから取得した画像から被写体検出、画面内追尾を行ってもよい。画像処理装置１２０内部には、上記処理を制御する制御部１２１が存在する。画像処理装置１２０は、ＰＣ（パーソナルコンピュータ）、タブレット端末等の汎用の情報処理装置や、組込み機器等の特定用途の情報処理装置により実現される。
【００１６】
ネットワーク１４０はＥｔｈｅｒｎｅｔ（登録商標）等の通信媒体により実現されるが、情報を伝送可能な媒体ならば有線／無線を問わず、これに限られない。また、ネットワーク１４０は、専用ネットワークに限られず、インターネット等の公衆通信網を経由する通信網により実現してもよい。
【００１７】
（画像処理装置のハードウェア構成）
図２は、本実施形態に係る画像処理装置１２０のハードウェア構成例を示すブロック図である。画像処理装置１２０は、例えば、パーソナルコンピュータ（ＰＣ）や組込みシステム、タブレット端末、スマートフォン等により実現される。
【００１８】
図２において、ＣＰＵ９９０は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、画像処理装置１２０全体の動作を制御する。ＲＯＭ９９１は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。ＲＡＭ９９２は書込み可能メモリであり、ＣＰＵ９９０のワークエリア等として機能する。
【００１９】
外部記憶ドライブ９９３は記録媒体へのアクセスを実現し、ＵＳＢメモリ等のメディア（記録媒体）９９４に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ９９５はハードディスク（ＨＤ）やＳＳＤ（ソリッドステートドライブ）等の大容量メモリとして機能する装置である。ストレージ９９５には、各種コンピュータプログラムやデータが格納される。本実施形態では、記録装置１３０はストレージ９９５により実現されるが、クラウドやネットワークストレージ等により実現してもよい。
【００２０】
操作部９９６はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。入力装置１２３は操作部９９６により実現される。ディスプレイ９９７は、操作部９９６から入力されたコマンドや、それに対する画像処理装置１２０の応答出力等を表示する表示装置である。表示装置１２４は、ディスプレイ９９７により実現される。インターフェイス（Ｉ／Ｆ）９９８は外部装置とのデータのやり取りを中継する装置である。システムバス９９９は、画像処理装置１２０内のデータの流れを司るデータバスである。
【００２１】
なお、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００２２】
（監視エリアマップ）
図３は、表示装置１２４に表示される監視エリアのマップの一例である。本マップは、監視エリアの物理的配置、カメラ配置、そして検出された人物の巡回経路を示すものである。２００は監視エリアのマップを示しており、部屋の区切りや机の配置、仕切り状況の図面が表示されている。監視エリアのマップは、画像処理装置１２０に保存されていてもよいし、画像・結果保存部１３０に保存されていてもよい。マップ２００上には、監視エリアに設置されているカメラの配置と、おおよその画角が示されている。本監視エリアでは６台のカメラが使われており、それぞれ２０１〜２０６の場所に設置されている。さらにそれぞれのカメラのおおよその画角が破線で示されている。またマップ上には監視エリア内で検出された人物の巡回経路が表示されている（２１０、２１１、２１２）。巡回経路は、各カメラで処理された被写体検出、追尾処理の結果と、カメラの物理的配置、画角、人物情報等から画像処理装置１２０内部のカメラ間人物同定部１２２により算出され、表示されるものである。巡回経路２１０には、２２０、２２１、２２２、２２３のような時刻ラベルが付与されている。これらのラベルは巡回経路を表示する際に自動的に付与されてもよいし、後に説明するように巡回経路が選択された場合に表示されるようにしてもよい。巡回経路は時刻情報を保持するため、過去の巡回経路と、現在の巡回経路を区別できるような色分けや線種を区別した表示をすることも可能である。なお、所定の時刻から現在まで、被写体が連続して追尾されている場合、その追尾結果に対応する巡回経路は現在の巡回経路である。つまり、現在の巡回経路とは、現在撮影されている被写体に対応する巡回経路であり、過去の巡回経路とは、現在撮影されていない被写体に対応する巡回経路である。さらに、巡回経路は経路上の線と撮影したカメラの対応情報を保持するため、経路とカメラの対応付け表示をすることも可能である。例えばマップ上のカメラを表示する色と、そのカメラが撮影した経路上の線色を同色で表示する。このように、巡回経路とカメラ、そして時刻情報を関連付けして表示装置１２４に表示することができる。
【００２３】
図３の監視エリアマップにおいて、例えば監視者がある巡回経路を不審に思った場合、画像処理装置１２０の入力装置１２３を使って、マップ上の巡回経路を指定する。指定された巡回経路が２１０であるとすると、画像処理装置１２０は、次に図４のようなマップと対象人物の画像を表示装置１２４に表示する。
【００２４】
図４は、図３で表示されていた監視エリアの物理的配置、カメラ配置、検出された人物の巡回経路と、さらに巡回経路２１０の過去画像、及び現在の撮影画像を表示している。表示装置１２４に表示される画像３００は、巡回経路２１０に対応した人物をカメラ２０１が撮影した過去画像である。画像は記録装置１３０に保存されている。画像３００はカメラ２０１で撮影されたことを分かりやすくするため、破線３１０のように画像とマップ上のカメラを対応づける表示がなされている。また、画像には対象人物を分かりやすくするために、枠線３０４が付与されている。さらに、３３０のように、画像が過去の画像であること、時刻情報、カメラが撮影する場所、カメラ識別番号といった情報を表示し、巡回経路に対する画像とカメラ、時刻情報を関連づけて表示している。
【００２５】
同様に、画像３０１は巡回経路２１０に対応する人物をカメラ２０３が撮影した過去画像である。画像３０１とカメラ２０３を対応づけるための破線３１１、画像３０１には対象人物に枠線３０５が表示されている。また３３１のように画像の時刻情報、カメラ情報と関連付けられた情報を表示する。画像３０２はカメラ２０２が撮影した過去画像であり、これらを対応づけるための破線３１２、対象人物に対する枠線３０６が表示される。また３３２のように時刻情報、カメラ情報が表示されている。また、図４において、巡回経路２１０に対応した人物が現時刻において監視エリアに存在する場合、記録装置１３０に保存された過去画像のみでなく、カメラで撮影されている現在画像を表示する。例えば、巡回経路表示が現在存在する人物であることを表示しているときは、このような場合にあたる。画像３０３はカメラ２０５が撮影する現在画像である。カメラ２０５と画像３０３を対応づけるための破線３１３、対象人物に枠線３０７が表示されている。また３３３のように、時刻情報、カメラ情報を表示する。
【００２６】
また、画像３０３は静止画表示のみならず動画表示も可能であり、現時点で人物が監視エリア内のカメラでとらえられている間、動画表示を行う。また、例えばカメラ２０５がパンチルト機能付きカメラである場合、パンチルト機能を使った追尾を開始することも可能である。
【００２７】
上記では、巡回経路２１０が指定されると、これに対応した人物が撮影されたカメラごとの画像が、マップとともに表示される例を示した。表示される過去画像は、静止画のみでなく、動画や連続静止画であってもよい。例えば連続静止画を時間とともに再生する場合、巡回経路２１０上には再生時間に同期した位置表示３２０が示される。また連続再生している画像ウィンドウに注視しやすくするために、３２１のように画像ウィンドウが強調表示される。位置表示３２０が、カメラ２０１の撮影画角領域にある場合には、３００の画像が連続表示される。また３００に表示される画像が連続表示された後、対象とする人物がカメラ２０３の撮影画角範囲に存在する画像が、３０１のウィンドウで連続表示される。このとき位置表示３２０は、表示される画像に同期した位置に表示される。
【００２８】
上記のように、本実施形態では、地図情報上に表示された巡回経路（経路情報）に対応する時刻に係る情報、及び、巡回経路に対応する撮像装置を特定可能な情報の内の少なくともいずれかと、少なくとも一つの巡回経路が重畳された地図情報を表示する。このため、ユーザは、一見して、巡回経路と、時刻ないし撮像装置との対応関係を一見して把握することができる。また、地図情報上に表示された巡回経路の選択に応じて、当該巡回経路に対応する被写体が写り込んでいる撮影画像を取得し、撮影画像を表示する表示制御を行う。そのため、監視とマップ上の巡回経路表示を連携させて、例えば、不審な行動（軌跡）を取った被写体の映像をすぐに確認することができるなど、監視を効果的に行うことが可能である。また、被写体たる人物の位置表示３２０、その人物が写り込んでいる撮影画像の強調表示、及び、撮影画像内の対象人物の枠線を連動して示すことで、ユーザは人物と撮影画像との対応関係を容易に把握することができる。
【００２９】
（処理機能ブロック）
図５は、表示装置１２４にマップおよび人物の巡回経路を表示するまでの処理機能構成を示すブロック図である。
【００３０】
本図においては、カメラを３台使用する場合の例を示している。４０１は画像取得部であり、所定のフレームレートで画像が順次取得される。画像は、次の被写体検出部４０２へ送られるとともに、画像・結果保存部４３０へも送られ、時間情報、カメラ種別情報とともに保存される。被写体検出部４０２では、背景差分等による動体物の検出や、人体検出による人物の検出をしている。検出されたこれら被写体は、画面内追尾部４０３へ送られ、追尾情報が生成される。生成された追尾情報は、画像・結果保存部４３０に保存されるとともに、カメラ間人物同定部４４０へも送られる。上記画像取得部４０１から被写体検出部４０２、画面内追尾部４０３は、図１のように１台のカメラ内で実現されてもよい。また、カメラ内部では画像取得のみ行い、被写体検出、画面内追尾処理は、カメラ外の装置（例えば、画像処理装置１２０）で行ってもよい。ここでは一例として、カメラ内で画面内追尾まで処理する方式を以下に説明する。
【００３１】
同様に、画像取得部４１０、被写体検出部４１１、画面内追尾部４１２は、２台目のカメラ内部で処理が行われる。そして３台目のカメラ内部では、画像取得部４２０、被写体検出部４２１、画面内追尾部４２２によりそれぞれ処理が行われる。２台目、３台目のカメラ内部処理においても、画像、及び追尾結果は画像・結果保存部１３０で保存され、追尾結果は、カメラ間人物同定部４４０へ送られる。
【００３２】
カメラ間人物同定部４４０では、各カメラから受けとった画面内追尾情報、及び画像・結果保存部４３０に保存されている追尾情報を用いて、カメラ間における同一の被写体を対応付ける。対応付けには、例えば被写体の全身や顔の特徴といった、画像から得られる情報や時刻情報などを用いて対象を同定する。また、カメラ間の距離がある場合は、被写体の移動を予測した対応付けがなされる。これにより複数のカメラで検出された被写体の巡回経路を得ることができる。
【００３３】
巡回経路は時刻情報や、撮影されたカメラ情報と関連付けられている。これらの情報と、カメラ間人物同定で得られた巡回経路は、対象となる人物のＩＤといった人物情報とともに、画像・結果保存部４３０で保存される。さらに巡回経路を表示装置１２４で表示されているマップ上で示すため、マップ出力部４４１によりマップ上への描画表示処理が行われる。マップ表示では、巡回経路は時刻情報を有するため、巡回経路が過去の情報であるか、現在の情報であるかを区別した表示をすることができる。また、カメラ識別情報も保持しているため、巡回経路上の区間が、どのカメラで撮影されたものであるかを区別した表示をすることも可能である。
【００３４】
上記のように、本実施形態では、少なくとも一つの撮影装置により撮影された撮影画像から被写体を検出し、検出された被写体を撮影画像内で追尾する。そして、追尾された被写体について前記少なくとも一つの撮影装置間で人物同定を行い、巡回経路（経路情報）を生成する。したがって、被写体画像の事前登録など事前の登録作業を要することなく、経路情報と被写体とを対応付けて、経路情報を生成することが可能である。
【００３５】
また、本実施形態では、追尾された被写体の位置が連続しない場合、撮影装置の位置関係に基づき当該連続しない部分の経路を予測して経路情報を生成する。このため、監視領域に監視カメラの死角となる場所があり、被写体がその場所へ移動した場合であっても、連続した経路として経路情報を生成することができる。なお、経路情報の予測は、被写体が撮影領域を離れてから再び撮影領域へ入るまでの時間や、撮影領域を離れたときの場所、及び、再び撮影領域へ入った場所に基づいて、行うことができる。なお、予測した経路情報は、撮影装置の撮影により取得された経路情報と区別して表示することで、誤った監視情報の解析を防ぐことが可能となる。
【００３６】
（システム動作）
以下、フローチャートを用いてシステムの動作説明を行う。図６は表示装置１２４に表示された巡回経路を選択し、過去画像を表示するまでの動作手順を示すフローチャートである。図６の各ステップはＣＰＵ９９０の制御により実行される。
【００３７】
表示装置１２４には、図３に示すような監視領域のマップと、検出された被写体の巡回経路が表示されている。Ｓ５０１にて、ユーザが入力装置１２３を使い、１つの巡回経路が選択される。これに応じて、画像処理装置１２０内部の制御部１２１は、選択された経路を認識しやすくするため、線色を変更して点滅表示させるなどの処理を行う（Ｓ５０２）。次に、制御部１２１は選択された巡回経路に対応する人物情報を読み出し、対応する人物ＩＤを特定する（Ｓ５０３）。制御部１２１は、選択された経路上にある１つのカメラが撮影した画像から、対象となる人物が撮影された期間を巡回経路情報から算出し、この期間の画像を、画像・結果保存部１３０から読みだす（Ｓ５０４）。
【００３８】
次に、画像と同期したメタデータも取得し、読みだした画像に対象被写体が実際に撮影されて写り込んでいる画像があるか判断する（Ｓ５０５）。対象被写体が撮影された画像がある場合（Ｓ５０５でＹＥＳ）、被写体が撮影された画像を１枚選択して表示装置１２４へ表示する（Ｓ５０６）。また同時に、選択した画像に写り込んでいる対象の被写体に枠を表示し、他の被写体が撮影されている場合でも、対象となる被写体をユーザに認識しやすいような表示を行う（Ｓ５０７）。そして、Ｓ５０８へ進む。
【００３９】
一方、Ｓ５０５の判断において、被写体が他の物体や人物に隠れてしまった場合など、対象被写体が撮影された画像がない場合（Ｓ５０５でＮＯ）は、対象期間の画像１枚を選択し、表示装置１２４へ表示する（Ｓ５０９）。このとき、対象被写体が存在しうる場所に破線の枠を表示し、対象被写体が認識されなかったことを表示する（Ｓ５１０）。そして、Ｓ５０８へ進む。
【００４０】
Ｓ５０８において、制御部１２１は、表示された画像と撮影カメラの対応付けをユーザに認識しやすくするための表示を行う。表示は、画像とマップ上のカメラ位置を線で結ぶ手法を用いたり、あるいは、画像の付近に時刻情報、カメラ位置情報、カメラ識別情報などを表示して行ってもよい。
【００４１】
次に、制御部１２１は、経路上の他のカメラでまだ画像を表示していないカメラがあるか否かを判断する。画像未表示のカメラが存在する場合（Ｓ５１１でＹＥＳ）は処理Ｓ５０４へ戻る。経路上全てのカメラに関して上記処理が行われた結果、画像未表示のカメラが存在しない場合（Ｓ５１１でＮＯ）は処理を終了する。以上の動作により、図４に示されるような、巡回経路上の画像表示がなされる。
【００４２】
上記のように、本実施形態では、空間的領域における被写体の位置の変化を示す少なくとも一つの経路情報を取得し、その経路情報を選択可能に表示装置に表示させる。そして、経路情報に対応する時刻に係る情報、及び、経路情報に対応する撮像装置を特定可能な情報の内の少なくともいずれかと、少なくとも一つの経路情報が重畳された地図情報とを表示手段に表示させる。このため、ユーザは一見して、経路情報と、対応する時刻ないし撮像装置との対応関係を把握することができる。ここで、経路情報に対応する時刻に係る情報としては、過去に撮影された経路については撮影時刻を示す情報、現在撮影されている経路については現在撮影中の被写体に対応する巡回経路であることを示す情報を表示することができる。
【００４３】
また、本実施形態では、いずれかの経路情報の選択に応じて、当該経路情報に対応する被写体が写り込んでいる撮影画像を取得してその撮影画像を表示装置に表示させる。したがって、ユーザは、人物の巡回経路と監視画像とを連携して把握することができ、防犯やマーケティング情報の取得などを容易に行うことができる。ここで、いずれかの経路情報の選択に応じて、選択された経路情報に対応する複数の画像を順次表示し、さらにその際、複数の画像に対応する経路情報上の位置を、順次、表示してもよい。これにより、被写体が撮影された際の状況を効果的に再現してユーザに提示することができる。
【００４４】
また、本実施形態では、被写体の経路情報を地図上に表示させるとともに、経路情報に対応する撮影画像を表示するときは、撮影画像を撮影した撮影装置の位置を示す地図上の表示に対応付けて表示を行う。さらには、撮影画像に写り込んでいる被写体の位置を示す地図上の表示を表示する。また、撮影画像において被写体が占める領域を枠で囲むなど強調して表示している。さらに、撮影画像が過去に撮影されたものか現に撮影中のものであるかを示す情報と、撮影時刻と、当該撮影画像を撮影したカメラを識別する情報との少なくともいずれかを表示している。したがって、ユーザは、経路情報と撮影画像、その撮影画像を撮影した撮影装置（カメラ）、及び、被写体の位置の対応関係を一見して把握することができる。
【００４５】
なお、ユーザからの時刻の指定に応じて、その時刻における被写体の位置を示す表示を地図上に表示させたり、その時刻に撮影された撮像画像を被写体の位置に対応付けて表示させてもよい。これにより、ユーザは、特定の時刻にイベント等が生じた場合に、その時刻にさかのぼった監視を容易に行うことができる。また、上記の例では、巡回経路の選択に応じてその巡回経路を移動した被写体が写り込んでいる撮影画像を表示する例を説明したが、逆に、撮影画像に写り込んでいる被写体の選択に応じて、その被写体が移動した巡回経路を表示するようにしてもよい。また、経路上の任意の点の選択を受け付け、ある点の選択に応じて、その点に対応する撮影画像を表示するようにしてもよい。このようなユーザインタフェースを提供することで、ユーザは、巡回経路と監視画像を対応付けて、容易に監視画像の解析を行うことができる。
【００４６】
次に、対象被写体が現在も監視領域に存在する場合の動作手順について、図７を参照して説明する。図７は、対象被写体が現在も監視領域に存在する場合、現時刻における追尾処理を実行する場合の動作手順を示すフローチャートである。図７の各ステップはＣＰＵ９９０の制御により実行される。
【００４７】
図７のＳ５０１〜Ｓ５１１の処理は、図６のＳ５０１〜Ｓ５１１の処理と同様であるため、詳細な説明を省略する。Ｓ５１１において、経路上全てのカメラに関して静止画表示処理が終了すると（Ｓ５１１でＮＯ）、制御部１２１は現在も対象被写体が監視エリア内で撮影されているか判断を行う（Ｓ６０１）。その判断においては、経路終端の位置と時間、そして終端付近のカメラから送られるメタデータを参照し、対象被写体が撮影されているか判断する。対象被写体が撮影されていない場合（Ｓ６０１でＮＯ）は、図７における動作フローは終了する。
【００４８】
対象被写体が撮影されている場合（Ｓ６０１でＹＥＳ）、制御部１２１は、対象被写体を撮影しているカメラ画像をカメラから受信し、表示装置１２４の所定の場所へ表示する（図４では３０３）。対象被写体には枠線を付与し、対象被写体の追尾処理を実行する（Ｓ６０２）。対象被写体が監視エリアから退出した時には処理を終了する（Ｓ６０３）。対象被写体が監視エリアに存在する場合は、カメラ間人物同定処理を行い、対象被写体の追尾処理を継続する。また、対象被写体を撮影しているカメラがパンチルト機能を有するカメラである場合、制御部１２１の指示により、パンチルト追尾を実行してもよい。
【００４９】
上記のように、本実施形態では、巡回経路に対応する撮影画像が現に撮影中の撮影画像である場合、当該撮影画像を撮影している撮影装置を、当該撮影画像に写り込んでいる被写体をパン及びチルトの少なくともいずれかにより追跡するように制御する。このため、事件等の緊急のイベントが生じた場合等において、所望の被写体をリアルタイムに追跡して必要な警備や対策等を行うことが可能となる。
【００５０】
上記までは、対象被写体の過去画像の静止画を表示する動作例を説明した。次に、図８を参照して、動画（連続静止画）表示を行う場合の動作手順を説明する。図８は、動画表示を行う場合の動作手順を示すフローチャートである。図８の各ステップはＣＰＵ９９０の制御により実行される。図８のＳ７０１〜Ｓ７０４の処理内容は、静止画表示の図６のＳ５０１〜Ｓ５０４、図７のＳ６０１〜Ｓ６０４と同等のため、説明及び動作フローを簡略化して、詳細な説明は省略する。
【００５１】
まず、ユーザは、入力装置１２３にて巡回経路を選択する（Ｓ７０１）。次に、制御部１２１は選択された経路の線色を変えて点滅表示を行う（Ｓ７０２）。また巡回経路に対応した人物ＩＤの特定を行う（Ｓ７０３）。制御部１２１は、巡回経路のカメラ毎に、対象被写体が存在する期間の画像を、画像・結果保存部１３０から読み込む（Ｓ７０４）。
【００５２】
次にカメラ毎に読みだした期間の１枚目の画像を表示装置１２４へ表示する（Ｓ７０５）。また表示した画像中の対象被写体へ枠を表示する（Ｓ７０６）。このとき、表示した画像に対象被写体が隠れている場合など、画像に存在しない場合は、被写体が存在する場所を予測した位置に点線の枠線を表示する。次に撮影カメラと表示画像の対応関係を表示する（Ｓ７０７）。次に制御部１２１は、経路の開始となるカメラの画像を連続再生する（Ｓ７０８）。また経路上に、図４の３２０のように、連続再生した画像と同期した点を移動しながら表示する（Ｓ７０９）。
【００５３】
１つのカメラ画像の連続再生が終了すると、巡回経路が継続しているか否かを判断する（Ｓ７１０）。継続している場合（Ｓ７１０でＹＥＳ）、制御部１２１は次のカメラの画像を連続再生する（Ｓ７１１）。またこの時、経路上に画像再生と同期した点を移動表示させる（Ｓ７１２）。制御部１２１は、巡回経路が継続している間、Ｓ７１１、Ｓ７１２を繰り返し行い、巡回経路の終わりになると（Ｓ７１０でＮＯ）、図８における処理は終了する。
【００５４】
以上のように、本実施形態の構成によれば、監視エリアの画像監視と、被写体の巡回経路を監視することができる。また巡回経路から対象となる被写体の画像を表示することが可能であるため、より使いやすい監視システムとすることができる。
【００５５】
図９は、監視エリアが屋内に限らず、屋外の広域領域における例を示す図である。８０１は、表示装置１２４に表示される監視エリアのマップである。マップ上には駅（８０２）と公共施設（８０３）、及び、これらの間の道路マップが表示されている。また、マップ上には設置されている４台のカメラの位置とおおよその画角が示されている。カメラ８１０は、駅から出てくる人を撮影している。カメラ８１１は交差点を撮影し、カメラ８１２は公共施設に入ってくる人を撮影している。カメラ８１３は狭い交差点を撮影している。図９中には、被写体の巡回経路８２０、８２１、８２２が表示されている。これらはカメラ間の人物移動を時間、位置情報も使って、カメラ間人物同定処理を行い、算出している。例えば狭い道路を使って駅から公共施設まで来る人を特定したいとする。監視者としてのユーザは、図１の入力装置１２３を使って、巡回経路８２２を選択する。図６の動作フローにより対象被写体の過去画像を、画像・結果保存部１３０から読みだし、図９の８３０、８３１のように画像表示される。画像にはそれぞれ対象被写体に枠線８４０、８４１が表示されており、例えば表示画像に複数人が撮影されていても対象の人物が分かるようになっている。これらの処理フローにより、監視者であるユーザは、特定の巡回経路に対応した人物を特定することができる。
【００５６】
以上のように本発明の各実施形態によれば、複数カメラでの画像監視と、マップ上の巡回経路を連携させた画像処理システムができる。
【００５７】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１００：カメラ、１０１：画像取得部、１０２：被写体検出部、１０３：画面内追尾部、１１０：カメラ、１１１：画像取得部、１１２：被写体検出部、１１３：画面内追尾部、１２０：画像処理装置、１２１：制御部、１２２：カメラ間人物同定、１２３：入力装置、１２４：表示装置、１３０：画像・結果保存部、１４０：ネットワーク
【図１】
2018032950.tif 000003
【図２】
2018032950.tif 000004
【図３】
2018032950.tif 000005
【図４】
2018032950.tif 000006
【図５】
2018032950.tif 000007
【図６】
2018032950.tif 000008
【図７】
2018032950.tif 000009
【図８】
2018032950.tif 000010
【図９】
2018032950.tif 000011