(57)【要約】      （修正有）【課題】追跡システムにおいて、ユーザによる追跡対象の動向の確認を容易にする表示技術を提供し、ユーザによる追跡対象の動向の確認を容易にする。【解決手段】撮像手段による撮像画像に基づいて経時的に得られた追跡対象の複数の検出結果を、表示装置に表示させる情報処理装置であって、追跡対象の検出場所と、追跡対象の検出時刻と、に応じてグルーピングされた表示形式で、検出結果を表示装置に表示させる表示制御手段を備える。【選択図】図６
2020150413.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段による撮像画像に基づいて経時的に得られた追跡対象の複数の検出結果を、表示装置に表示させる情報処理装置であって、
前記追跡対象の検出場所と、前記追跡対象の検出時刻と、に応じてグルーピングされた表示形式で、前記検出結果を表示装置に表示させる表示制御手段を備えることを特徴とする情報処理装置。
【請求項２】
前記表示制御手段は、前記追跡対象の前記検出場所に応じて、前記検出時刻が連続する２以上の検出結果をグルーピングするか否かを判定することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記検出場所が一致するか否かに応じて、前記２以上の検出結果をグルーピングするか否かを判定することを特徴とする、請求項２に記載の情報処理装置。
【請求項４】
前記表示制御手段は、前記２以上の検出結果が、同じ撮像手段グループに含まれる撮像手段による撮像画像に基づいて得られている場合に、前記検出場所が一致すると判定することを特徴とする、請求項３に記載の情報処理装置。
【請求項５】
前記表示制御手段は、前記検出時刻の差に応じて、前記２以上の検出結果をグルーピングするか否かを判定することを特徴とする、請求項４に記載の情報処理装置。
【請求項６】
前記表示制御手段は、現在時刻と前記追跡対象の前記検出時刻とに応じて、前記検出結果をグルーピング対象にするか否かを判定することを特徴とする、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示制御手段は、前記検出結果よりも新しい検出結果にさらに基づいて、前記検出結果をグルーピング対象にするか否かを判定することを特徴とする、請求項６に記載の情報処理装置。
【請求項８】
前記表示制御手段は、グルーピングされた複数の前記検出結果のうち一部の検出結果のみを前記表示装置に表示させることを特徴とする、請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記表示形式は、グルーピングされた複数の前記検出結果のうち一部の検出結果のみを表示する収束形式と、グルーピングされた複数の前記検出結果のうちの全ての検出結果を表示する展開形式と、を含み、前記表示制御手段は前記表示形式を切り替え可能であることを特徴とする、請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記表示制御手段は、ユーザ指示に基づいて前記表示形式を切り替えることを特徴とする、請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
複数の検出結果グループのそれぞれについて前記表示形式が個別に設定されることを特徴とする、請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記検出結果が、前記撮像画像から得られた前記追跡対象の画像を含むことを特徴とする、請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記表示制御手段は、グルーピングされた前記検出結果を、グルーピングされていない前記検出結果と区別可能に前記表示装置に表示させることを特徴とする、請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
経時的に撮像された複数の前記撮像画像に対する前記追跡対象の検出処理を行うことにより検出結果を生成する検出手段をさらに備えることを特徴とする、請求項１から１３のいずれか１項に記載の情報処理装置。
【請求項１５】
前記撮像画像を取得する撮像手段をさらに備えることを特徴とする、請求項１から１４のいずれか１項に記載の情報処理装置。
【請求項１６】
撮像手段による撮像画像に基づいて経時的に得られた追跡対象の複数の検出結果を、表示装置に表示させる情報処理装置が行う情報処理方法であって、
前記追跡対象の検出場所と、前記追跡対象の検出時刻と、に応じてグルーピングされた表示形式で、前記検出結果を表示装置に表示させる表示制御工程を備えることを特徴とする情報処理方法。
【請求項１７】
コンピュータを、請求項１から１５のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法、及びプログラムに関し、特に映像監視システムにおける監視結果の表示技術に関する。
【背景技術】
【０００２】
近年、複数のカメラを用いた大規模な監視システムが登場してきている。監視システムの一例として、カメラが撮像した映像に対して映像解析及び認識処理を行うことにより、追跡対象の位置を検出し、追跡対象を追跡するシステムが提案されている。このようなシステムにおいては、映像解析により予め登録された物体又は人物などの追跡対象が検出される。追跡対象が検出されると、監視者に通知がなされ、また追跡が開始される。特許文献１は、このような追跡システムにおいて検出された追跡対象について、各カメラの映像から得られたサムネイル画像を、撮像時刻とともに時系列に並べることにより一覧表示するシステムを提案している。このような構成により、追跡対象の各場所における滞在時間及び移動経路を把握することが容易となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−３２９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような追跡システムにおいて、追跡対象が移動しない場合又は移動速度が遅い場合、同じカメラから得られた追跡対象の情報（例えばサムネイル画像）が連続して表示されることがある。例えば、監視エリア内が混雑している場合、他の人物に追跡対象が隠れることにより、追跡対象を検出している状態と検出していない状態とが繰り返されることがある。監視エリア内での追跡対象の検出を開始した際に追跡を開始し、追跡対象を検出できなくなると追跡を終了する場合、一定期間内に同じ検出場所で同じ追跡対象が連続して検出され、追跡対象の情報も連続して表示される。所定の時間間隔で追跡対象の情報の情報を表示する構成においても同様の問題が発生する。
【０００５】
追跡システムを用いて、監視者は「追跡対象がいずれの場所にどのくらいの期間存在したのか」又は「追跡対象はいずれの場所からいずれの場所へ移動したのか」などを知るために、追跡対象の動向を分析することがある。しかしながら、同じ検出場所における同じ追跡対象についての情報が連続して表示されると、追跡対象の各場所における滞在時間及び移動経路を把握することが難しくなるという課題があった。
【０００６】
本発明は、追跡システムにおいて、ユーザによる追跡対象の動向の確認を容易にする表示技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
撮像手段による撮像画像に基づいて経時的に得られた追跡対象の複数の検出結果を、表示装置に表示させる情報処理装置であって、
前記追跡対象の検出場所と、前記追跡対象の検出時刻と、に応じてグルーピングされた表示形式で、前記検出結果を表示装置に表示させる表示制御手段を備えることを特徴とする。
【発明の効果】
【０００８】
追跡システムにおいて、ユーザによる追跡対象の動向の確認を容易にする。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。
【図２】一実施形態に係る情報処理装置の機能構成の一例を示す図。
【図３】一実施形態に係る情報処理方法における処理例のフローチャート。
【図４】グルーピング処理の処理例を示すフローチャート。
【図５】表示処理の処理例を示すフローチャート。
【図６】検出情報の表示例を示す図。
【図７】検出情報の一例を示す図。
【図８】カメラのグループ情報及び検出情報のグループ情報の一例を示す図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
図１は、一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、プロセッサを有し、図１の例ではプロセッサとしてＣＰＵ１０１(Central Processing Unit)を有する。プロセッサは、各種処理のための演算及び論理判断などを行うこと、及びシステムバス１０８に接続された各構成要素を制御することができる。
【００１２】
情報処理装置１００は、プログラムメモリ及びデータメモリを含むメモリを備える。プログラムメモリは、後述する各種処理手順を含むプロセッサが行う制御を規定するプログラムを格納する。データメモリは、このようなプログラムのロード領域及びワーク領域、並びにエラー処理時のデータの退避領域を提供することができる。なお、このようなプログラムは、情報処理装置１００に接続された外部記憶装置などからデータメモリへとロードされてもよい。図１の例において情報処理装置１００は、プログラムメモリとしてＲＯＭ１０２(Read-Only Memory)を備え、データメモリとしてＲＡＭ１０３(Random Access Memory)を備える。
【００１３】
情報処理装置１００は、電子データ及びプログラムなどを記憶する記憶媒体を備えることができる。記憶媒体は、ハードディスク又はＳＳＤのような記憶装置であってもよいし、外部記憶装置であってもよい。外部記憶装置はメディア（記録媒体）であってもよく、外部記憶ドライブを介してこのメディアへとアクセスすることができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、及びフラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などの外部情報処理装置であってもよい。図１の例において情報処理装置１００は、記憶媒体としてハードディスクであるＨＤＤ１０４を有している。
【００１４】
入力装置１０５は、マウス又はキーボードのような、ユーザによる操作を示す情報を取り込むためのデバイスである。撮像装置１０６は、画像又は映像を取得するためのデバイスである。出力装置１０７は、ディスプレイのような、ユーザに対して表示を出力する表示画面を備えるデバイスである。なお、情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、及びＨＤＤ１０４を有するサーバ装置並びに複数の撮像装置１０６のような、複数の装置で構成される情報処理システムであってもよい。
【００１５】
図２は、一実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。情報処理装置１００は、撮像部による撮像画像に基づいて経時的に得られた追跡対象の複数の検出結果を、表示部に表示させることができる。情報処理装置１００は、このような表示制御を行うための構成として、判定部２０４、グルーピング部２０５、及び表示部２０６を有している。また、情報処理装置１００は、撮像部２０１、入力部２０２、検出部２０３、記憶部２０７を有していてもよい。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、プログラムに従って後述する各フローチャートに従った処理を実行することで実現することができる。この構成において、記憶部２０７はＲＡＭ１０３により実現することができる。しかしながら、一実施形態において、情報処理装置１００が有する少なくとも一部の機能部は、専用のハードウェアにより実現されてもよい。
【００１６】
判定部２０４、グルーピング部２０５、及び表示部２０６は、追跡対象の検出場所と、追跡対象の検出時刻と、に応じてグルーピングされた表示形式で、１以上の検出結果を表示部に表示させる表示制御を行うことができる。図２に示す一実施形態において、判定部２０４は検出結果をグルーピングの対象とするか否かを判定する。また、グルーピング部２０５は検出結果に対するグルーピング処理を行う。さらに、表示部２０６は、グルーピング部２０５による処理結果に応じて、検出結果を出力装置１０７に表示させる。
【００１７】
追跡対象の種類は特に限定されないが、検出対象は所定の被写体であってもよく、例えば特定の人物であってもよい。このような追跡対象の検出結果は、撮像画像に基づいて得ることができる。例えば、経時的に得られた撮像画像のそれぞれに対して、例えば映像の各フレームに対して、追跡対象を検出する処理を行うことにより、このような検出結果を得ることができる。
【００１８】
撮像部２０１は、このような撮像画像を得ることができる。本実施形態において、撮像部２０１は、所定のエリアの撮像を行う。このために撮像部２０１は、それぞれ異なる撮像範囲を有する複数の撮像装置１０６により実現される。使用される撮像装置１０６の数は特に限定されない。また、情報処理装置１００は、外部の撮像装置から撮像画像を取得してもよい。以下では、撮像部２０１は、それぞれの撮像装置１０６が連続して取得した複数の撮像画像（フレーム）で構成される、所定のエリアの映像を取得するものとする。
【００１９】
検出部２０３は、経時的に撮像された複数の撮像画像に対する追跡対象の検出処理を行うことができる。例えば検出部２０３は、例えば画像解析処理を行うことにより、映像中に映る追跡対象を検出することができる。また、検出部２０３は、追跡対象を検出する際に、追跡対象の検出結果として、検出情報を取得することができる。検出情報とは追跡対象に関する情報を指す。検出情報は、追跡対象を特定する情報を含んでいてもよい。追跡対象を特定する情報としては、例えばＩＤ又は名前などの追跡対象の識別情報、及び撮像画像から得られた追跡対象の画像（例えば映像から切り出されたサムネイル画像）などが挙げられる。また、検出情報は、追跡対象の検出状況を示す情報を含んでいてもよい。検出状況を示す情報としては、例えば検出時刻又は検出場所などが挙げられる。検出情報はこれらの情報には限られず、他の情報を含んでいてもよい。
【００２０】
以下の例において、検出部２０３は、検出情報として、追跡対象の画像、検出時刻、及び検出場所を取得する。検出場所は、追跡対象の２次元又は３次元の位置であってもよいし、追跡対象が写る映像を撮像した撮像装置１０６の２次元又は３次元の位置であってもよい。さらに、検出場所は、追跡対象が写る映像を撮像した撮像装置１０６の名称又はＩＤであってもよいし、この撮像装置１０６の撮像対象である領域を示す名称又はＩＤであってもよい。さらには、検出場所は、追跡対象が写る映像を撮像した撮像装置１０６が属する撮像手段グループ（カメラグループ）の名称又はＩＤであってもよい。この場合、例えば、特定の領域を撮像対象とする複数の撮像装置が１つのカメラグループに含まれるように、撮像装置をグルーピングすることができる。それぞれの撮像装置が属するカメラグループを示す情報は、例えば記憶部２０７が保持することができる。また、検出時刻とは、追跡対象が検出された画像（又は映像のフレーム）の撮像日時であってもよい。
【００２１】
本実施形態において、検出部２０３は、撮像装置１０６による映像のそれぞれについて、追跡対象を検出しているかどうかを判定することができる。そして、ある撮像装置１０６による映像において、追跡対象の検出が開始された際に、検出部２０３はこの撮像装置１０６による映像から得られた追跡対象の検出情報を記憶部２０７に格納することができる。この実施形態においては、追跡対象がいずれかの撮像装置１０６の撮像範囲内に入った際に、追跡対象の検出情報が記録される。一方で、この実施形態においては、撮像装置１０６の撮像範囲内において、追跡対象を隠していた物体が移動した場合にも、追跡対象の検出情報が記録される可能性がある。なお、検出情報を取得するタイミングはこの例には限定されない。例えば、検出部２０３は、一定の時間間隔でそれぞれの撮像装置１０６による映像から得られた追跡対象の検出情報を記憶部２０７に格納してもよい。また、検出部２０３は、追跡対象がある撮像装置１０６の撮像範囲内に入った後に、所定の時間間隔で、この撮像装置１０６による映像から得られた追跡対象の検出情報を記憶部２０７に格納してもよい。
【００２２】
また、検出部２０３は、いずれかの撮像装置１０６による映像において、追跡対象の検出が開始されたかどうかを判定することができる。追跡対象の検出が開始された際に、検出部２０３は、追跡対象を検出したこと又は追跡対象の追跡を開始することを、出力装置１０７を介してユーザに通知することができる。
【００２３】
本実施形態においては、撮像部２０１による撮像画像に基づいて、検出部２０３は追跡対象の経時的な検出結果を示す検出情報を得る。そして、このような検出結果の表示制御が、判定部２０４、グルーピング部２０５、及び表示部２０６により行われる。本実施形態においては、検出結果として検出情報が出力装置１０７に表示される。本明細書では、検出結果のことを検出情報と呼ぶことがある。しかしながら、本発明はこのような例に限られない。例えば、複数の撮像装置のそれぞれが、撮像画像を取得し、取得した撮像画像に対して追跡対象を検出する検出処理を行ってもよい。この場合、情報処理装置１００は、複数の撮像装置のそれぞれから検出情報を取得することができる。また、情報処理装置１００は、サーバのような別の情報処理装置から、又は記憶装置から、このような検出情報を取得してもよい。
【００２４】
入力部２０２は、入力装置１０５を介してユーザの入力を受け付ける。ユーザの入力としては、例えばマウスポインタなどを用いた位置入力、及びクリックなどによる選択入力などが挙げられる。
【００２５】
記憶部２０７は、検出部２０３により得られた検出情報を格納することができる。また、記憶部２０７は、それぞれの撮像装置が属するカメラグループを示すカメラグループ情報を格納してもよい。さらに、記憶部２０７は、検出部２０３が検出する追跡対象を特定する追跡対象情報を格納していてもよい。この追跡対象情報は、例えば、検出部２０３が追跡対象を検出するために用いる、追跡対象の画像特徴量を含んでいてもよい。また、追跡対象情報は、追跡対象のＩＤ又は名称を含んでいてもよいし、追跡対象の登録日時を含んでいてもよい。本実施形態においては、このような追跡対象情報が予め作成され、記憶部２０７に格納されている。
【００２６】
以下では図３を参照して、本実施形態に係る情報処理装置が行う情報処理方法の流れを説明する。図３は、情報処理装置１００が行う処理の一例を示すフローチャートである。本実施形態において、撮像装置は、設置してされている部屋ごとにグルーピングされている。このようなグルーピングを示すカメラグループ情報の例を図８（Ａ）に示す。もっとも、カメラのグルーピング基準はこれには限られない。図８（Ａ）においては、特定のカメラＩＤ及びカメラ名を有する撮像装置が、カメラグループＡ〜Ｄのいずれかに分類されている。また、本実施形態において、検出情報は、検出場所として、追跡対象を検出した撮像装置が所属するカメラグループの名称を含む。しかしながら、上述のように検出場所は別の情報であってもよい。
【００２７】
ステップＳ３０１で撮像部２０１は、ライブ映像を取得する。ここで、複数の撮像装置１０６は、同時にそれぞれの撮像範囲に対する撮像を行うことができ、撮像部２０１はそれぞれのライブ映像を取得することができる。ステップＳ３０２で検出部２０３は、ステップＳ３０１で取得された映像に対して映像解析処理を行うことにより、追跡対象を検出する。検出部２０３は、追跡対象を検出した場合、映像解析処理の結果として得られた検出情報を記憶部２０７に格納する。
【００２８】
ステップＳ３０３で入力部２０２は、ユーザ入力を示す操作イベントを取得する。入力部２０２は例えば、表示形式を指示する操作イベントを取得することができる。本実施形態においては、グルーピングされた検出結果の表示形式がユーザにより指定される。具体例として、入力部２０２は、グルーピングされた検出情報のうち代表の検出情報のみを表示することを指示する操作イベントと、グルーピングされた検出情報のすべてを表示することを指示する操作イベントと、を検出することができる。以下では、代表の検出情報のみを表示する表示形式を収束形式、グルーピングされた検出情報のすべてを表示する表示形式を展開形式と呼ぶ。また、入力部２０２は、このように検出した操作イベントを記憶部２０７に格納する。もっとも、ユーザ指示に応じて表示形式を変更することは必須ではない。
【００２９】
ステップＳ３０４で判定部２０４及びグルーピング部２０５は、追跡対象の検出場所と、追跡対象の検出時刻と、に応じて、検出結果に対するグルーピング処理を行う。ステップＳ３０５で表示部２０６は、ステップＳ３０４におけるグルーピング処理の結果に従う表示形式で、１以上の検出結果を出力装置１０７に表示させる。ステップＳ３０４，Ｓ３０５の処理については後述する。
【００３０】
検出部２０３は、所定の長さにわたる映像に対して、すなわち複数のフレームに対して、このような映像解析処理を行ってもよいし、最新の映像に対して、すなわち最新のフレームに対して、このような映像解析処理を行ってもよい。本実施形態においては、ステップＳ３０１で撮像部２０１が順次フレームを取得し、ステップＳ３０２で検出部２０３は新しく取得されたフレームに対して追跡対象の検出処理を行うことにより、新しい検出情報を生成する。そして、ステップＳ３０４で判定部２０４及びグルーピング部２０５は、新しい検出情報に対するグルーピング制御を行い、ステップＳ３０５で表示部２０６は新しく得られた検出情報を出力装置１０７に表示させる。すなわち、図３に示す処理を繰り返すことにより、出力装置１０７の表示が順次更新される。一方で、検出部２０３は、過去に取得され格納装置に格納されている映像に対して、映像解析処理を行ってもよい。
【００３１】
また、情報処理装置１００による追跡対象が複数存在する場合、ステップＳ３０２〜Ｓ３０５の処理を追跡対象ごとに行ってもよい。この場合、図６と同様に、追跡対象ごとに時系列に沿って検出情報を表示することができる。
【００３２】
図４は、ステップＳ３０４におけるグルーピング処理の一例を示すフローチャートである。以下に示すように、ステップＳ４０４において判定部２０４は、追跡対象の検出時刻に応じて、追跡対象をグルーピングするか否かを制御する。また、ステップＳ４０５〜Ｓ４１１において、グルーピング部２０５は、判定部２０４によってグルーピング対象と判定された追跡対象を、追跡対象の検出場所に応じてグルーピングする。以下では、ステップＳ３０４の処理を具体例に沿って説明する。
【００３３】
まず、2018/02/01 12:26にステップＳ３０４のグルーピング処理を行う場合について説明する。ステップＳ４０１で判定部２０４は、記憶部２０７に格納されている検出情報のうち、グループに所属していない検出情報が存在するか否かを判定する。グループに所属していない検出情報が１以上存在する場合、処理はステップＳ４０２へ進み、存在しない場合、処理は終了する。
【００３４】
ここでは、記憶部２０７が図７に示す検出情報を記憶している場合について説明する。図７に示す検出情報は、検出情報のＩＤである検出ＩＤ、追跡対象のＩＤ、追跡対象の検出時刻、追跡対象の検出場所、検出された追跡対象の画像ファイル名、及び検出情報が所属するグループ（検出結果グループ）のＩＤであるグループＩＤを含んでいる。図７の例においては、検出情報とグループ情報とを紐づけるために、検出情報はグループＩＤを含んでいる。記憶部２０７は、このような検出情報のグループに関するグループ情報を格納することができる。図８（Ｂ）に示すグループ情報の一例は、それぞれのグループＩＤと、検出情報のグループの作成日時と、の対応付けを示しているが、検出情報のグループ情報は図８（Ｂ）に示すものには限られない。また、図７の例において、グループに所属していない検出情報には、グループＩＤとして「−１」が付与される。
【００３５】
この例において、記憶部２０７は、グループに所属していない２つの検出情報（検出ＩＤ８，９）を格納している。このため、処理はステップＳ４０２へ進む。
【００３６】
ステップＳ４０２で判定部２０４は、グループに所属していない検出情報のすべてに対してステップＳ４０３以降の処理を行ったか否かを判定する。行った場合、処理は終了する。行っていない場合、処理はステップＳ４０３へ進む。この例において、２つの検出情報（検出ＩＤ８，９）に対する処理は行われていないので、処理はステップＳ４０３へ進む。
【００３７】
ステップＳ４０３において判定部２０４は、グループに所属しておらず、かつステップＳ４０３以降の処理が行われていない検出情報のうち、最も古い検出時刻を有する検出情報を１つ選択する。この例において、判定部２０４は検出ＩＤ８を有する検出情報を選択する。
【００３８】
ステップＳ４０４において判定部２０４は、追跡対象の検出時刻（図７の例では検出情報が含む検出時刻）に応じて、ステップＳ４０３で選択された検出情報をグルーピング対象として選択するか否かを判定する。本実施形態において判定部２０４は、現在時刻にさらに基づいてこの判定を行う。例えば判定部２０４は、現在時刻と検出時刻との差が所定の閾値以上であれば、検出情報をグルーピング対象として選択することができ、この場合処理はステップＳ４０５へ進む。一方で判定部２０４は、差が所定の閾値未満であれば、検出情報をグルーピング対象として選択せず、この場合処理はステップＳ４０２に戻る。ここでグルーピング対象としてされなかった検出情報は、グループ未所属（すなわちグループＩＤ＝−１）のままとなる。
【００３９】
この例において、閾値は５分に設定されている。現在時刻と検出ＩＤ８を有する検出情報の検出時刻との差は５分未満であるため、処理はステップＳ４０２へ戻る。その後、ステップＳ４０３において判定部２０４は、検出ＩＤ９を有する検出情報を選択する。この場合も、ステップＳ４０４においてこの検出情報はグルーピング対象として選択されない。その後、処理はＳ４０２に戻り、グループに所属していない検出情報のすべてに対してステップＳ４０３以降の処理が行われたため、図４の処理は終了する。
【００４０】
このような例において、ステップＳ３０５で表示部２０６は以下のような表示制御を行うことができる。図５は、ステップＳ３０５における表示制御処理の一例を示すフローチャートである。以下に示すように、ステップＳ３０５において表示部２０６は、ステップＳ３０４におけるグルーピング処理の結果に従う表示形式で、出力装置１０７に、検出結果を時系列に沿って一覧表示させる。
【００４１】
また、図６は、ステップＳ３０５における表示制御に従う出力装置１０７への検出結果の表示例を示す。図６の例では、追跡対象ごとに検出情報が表示されている。図６（Ａ）において、領域６０１には追跡対象情報が表示されている。図６（Ａ）の例では、追跡対象情報のうち、追跡対象のＩＤ、追跡対象の名前、及び追跡対象の登録日時が表示されているが、表示対象はこれらに限られない。また、領域６００には、領域６０１に示す追跡対象についての検出情報が、時系列順に表示されている。
【００４２】
以下では、ステップＳ３０５の処理を具体例に沿って説明する。ステップＳ５０１において表示部２０６は、記憶部２０７に格納されている検出情報のうち、検出情報のグループに所属していない１以上の検出情報が存在するか否かを判定する。存在する場合、処理はステップ５０２に進み、存在しない場合、処理はステップＳ５０３へ進む。この例において、記憶部２０７は、グループに所属していない２つの検出情報（検出ＩＤ８，９）を格納している。このため、処理はステップＳ５０２へ進む。
【００４３】
ステップＳ５０２で表示部２０６は、時系列に並ぶように、出力装置１０７にグループに所属していない検出情報を一覧表示させる。一実施形態においては、検出時刻が最も新しい検出情報が最左端に表示され、検出時刻がより古い検出情報がより右側に表示される。例えば、図６（Ａ）の例では、検出ＩＤ９を有する検出情報６０２が左側に、検出ＩＤ８を有する検出情報６０３が右側に表示されている。
【００４４】
ステップＳ５０３で表示部２０６は、記憶部２０７から取得したグループ情報を参照して、１以上の検出情報のグループが存在するか否かを判定する。存在する場合、処理はステップＳ５０４へ進み、存在しない場合、図５の処理は終了する。この例においては、図８（Ｂ）に示すように、４つのグループ（グループＩＤ１〜４）が存在するため、処理はステップＳ５０４へ進む。
【００４５】
ステップＳ５０４で表示部２０６は、全てのグループについてステップＳ５０５以降の処理を行ったか否かを判定する。行っている場合、図５の処理は終了し、行っていない場合、処理はステップＳ５０５に進む。この例においては、いずれのグループについてもまだ処理を行っていないため、処理はステップＳ５０５に進む。
【００４６】
ステップＳ５０５において表示部２０６は、記憶部２０７から取得したグループ情報を参照して、ステップＳ５０５以降の処理の対象となっていない検出情報のグループのうち、作成日時が最も新しいグループ情報を選択する。図６の例において、ステップＳ５０８又はＳ５０９では、ステップＳ５０５で選択されたグループに所属する検出情報が出力装置１０７に表示される。ステップＳ５０４〜Ｓ５０９の処理を繰り返すことにより、ステップＳ５０２で表示されたグループに所属していない検出情報に続けて、各グルーブが、作成日時が新しい順に時系列に沿って表示される。言い換えれば、各グループは、グループに所属する検出情報の検出時刻が遅い順に、時系列に沿って表示される。この例において、表示部２０６はグループＩＤ４を有するグループを選択する。
【００４７】
ステップＳ５０６において表示部２０６は、ステップＳ５０５で選択したグループに２以上の検出情報が所属しているか否かを判定する。２以上の検出情報が所属している場合、処理はステップＳ５０７に進み、１以下の検出情報が所属している場合、処理はステップＳ５０９へ進む。この例において、グループＩＤ４を有するグループに所属する検出情報は４つ存在する（検出ＩＤ４〜７）ため、処理はステップＳ５０７へ進む。
【００４８】
ステップＳ５０７において表示部２０６は、ステップＳ５０５で選択したグループに所属する検出情報を、グルーピングされた表示形式で、出力装置１０７に表示させることを決定する。本実施形態においては、続くステップＳ５０８において、表示部２０６は、ユーザ指示に従う表示形式で、ステップＳ５０５で選択したグループに所属する検出情報を、記憶部２０７から取得して出力装置１０７に表示させる。
【００４９】
一例として、表示部２０６が用いる表示形式は、収束形式を含んでいてもよい。収束形式においては、１つの検出情報のグループにグルーピングされた複数の検出情報のうち一部の検出情報のみが表示される。例えば、表示部２０６は、図６（Ａ）に示すように、グループＩＤ４を有するグループに属する検出情報のうち、検出時刻が最も新しい検出ＩＤ７を有する検出情報６０４を、出力装置１０７に表示させることができる。この際に表示部２０６は、１つのグループに複数の検出情報が属していることを理解可能なように表示を制御することができる。例えば、表示部２０６は、２以上の検出情報が１つのグループにグルーピングされている場合、このようにグルーピングされた検出結果を、このようにグルーピングされていない検出結果と区別可能に出力装置１０７に表示させることができる。具体的には、表示部２０６は、グループに属していない検出情報、及び同じグループに所属している別の検出情報を有さない検出情報とは区別された形式で、この検出情報を出力装置１０７に表示させることができる。例えば、図６（Ａ）において、収束形式で表示された検出情報６０４は、検出情報が複数重なっているように表示されている。また、図６（Ａ）において、収束形式で表示された検出情報６０４には、複数の検出情報のうち代表の検出情報のみが表示されていることを示すアイコン６０８が付されている。
【００５０】
別の例として、表示部２０６が用いる表示形式は、展開形式を含んでいてもよい。展開形式においては、１つの検出情報のグループにグルーピングされた複数の検出情報のうちの全ての検出情報が表示される。例えば、表示部２０６は、図６（Ｂ）に示すように、グループＩＤ４を有するグループに属する全ての検出情報６０９〜６１２（検出ＩＤ７〜４）を、出力装置１０７に表示させることができる。展開形式においても、表示部２０６は、グループに属していない検出情報、及び同じグループに所属している別の検出情報を有さない検出情報とは区別された形式で、この検出情報を出力装置１０７に表示させることができる。例えば、図６（Ｂ）において、展開形式で表示された検出情報６０９〜６１２には、複数の検出情報のうち全てが表示されていることを示すアイコン６１３が付されている。
【００５１】
表示部２０６は、表示形式を切り替え可能であってもよい。すなわち、表示部２０６は、複数の表示形式のうち１つを選択してもよい。この際、表示部２０６は、ユーザ指示に基づいて表示形式を切り替えてもよい。さらには、複数の検出結果のグループのそれぞれについて表示形式が個別に設定可能であってもよく、記憶部２０７は複数のグループのそれぞれについて表示形式を示す情報を記憶してもよい。例えば、記憶部２０７が記憶するグループ情報に、表示形式を示す情報を登録することができる。
【００５２】
例えば、図６（Ａ）が出力装置１０７に表示されている際に、ユーザがアイコン６０８をクリックすると、ステップＳ３０３で入力部２０２はグループＩＤ４を有する検出情報のグループについて展開形式を指示する操作イベントを検出する。この際、記憶部２０７は、グループＩＤ４を有する検出情報のグループ情報に、展開形式が指示されたことを示す情報を登録することができる。ステップＳ５０８において表示部２０６は、ステップＳ５０５で選択されたグループの表示形式を示すこのような情報を記憶部２０７から取得することができる。そして、表示部２０６は、グループＩＤ４を有する検出情報のグループが展開形式で表示されるように、表示制御を行うことができる。
【００５３】
同様に、図６（Ｂ）が出力装置１０７に表示されている際に、ユーザがアイコン６１３をクリックすると、入力部２０２はグループＩＤ４を有する検出情報のグループについて収束形式を指示する操作イベントを検出する。この場合、ステップＳ５０８において表示部２０６は、グループＩＤ４を有する検出情報のグループが収束形式で表示されるように、表示制御を行うことができる。
【００５４】
この例において、処理はステップＳ５０８からＳ５０４を経由してＳ５０５に戻る。ステップＳ５０５で表示部２０６は、グループＩＤ４を有する検出情報のグループの次に作成日時が新しい、グループＩＤ３を有するグループを選択する。このグループに所属する検出情報は１つのみであるから（検出ＩＤ３）、処理はステップＳ５０６からＳ５０９に進む。
【００５５】
ステップＳ５０９で表示部２０６は、ステップＳ５０５で選択したグループに所属する検出情報を、記憶部２０７から取得して出力装置１０７に表示させる。この例において表示部２０６は、検出ＩＤ３を有する検出情報６０５を、出力装置１０７に表示させる。この例においては、ステップＳ５０４〜Ｓ５０９の処理を繰り返すことにより、同様にグループＩＤ２を有するグループに所属する検出情報６０６（検出ＩＤ２）が表示される。また、さらにグループＩＤ１を有するグループに所属する検出情報６０７（検出ＩＤ１）が表示される。
【００５６】
次に、2018/02/01 12:26にステップＳ３０４のグルーピング処理を行った後に、時刻2018/02/01 12:30に再度ステップＳ３０４のグルーピング処理を行う場合について説明する。ステップＳ４０１〜Ｓ４０３は同様に行われる。ステップＳ４０４において、現在時刻と検出ＩＤ８を有する検出情報の検出時刻との差は５分以上であるため、処理はステップＳ４０５に進む。
【００５７】
ステップＳ４０５〜Ｓ４１１においては、ステップＳ４０３で選択された検出情報は、グルーピングの対象である。ステップＳ４０５においてグルーピング部２０５は、検出情報のグループが１以上存在するか否かを判定する。存在する場合、処理はステップＳ４０６へ進み、存在しない場合、処理はステップＳ４１０へ進む。この例においては図８（Ｂ）に示すグループが既に作成されているため、処理はステップＳ４０６へ進む。
【００５８】
ステップＳ４０６〜Ｓ４０８においてグルーピング部２０５は、ステップＳ４０３で選択された検出情報を、既に作成された検出情報のグループに所属させるか否かを判定する。本実施形態においてグルーピング部２０５は、ステップＳ４０３で選択された検出情報を、最も新しい検出情報を含むグループに所属させるか否かを判定する。判定基準は特に限定されないが、以下の例においてグルーピング部２０５は、ステップＳ４０３で選択された検出情報が示す追跡対象の検出場所と、追跡対象の検出時刻と、に応じて判定を行う。
【００５９】
ステップＳ４０６においてグルーピング部２０５は、グループに所属している検出情報のうち最新の検出情報を選択する。例えば、グルーピング部２０５は、グループに所属している検出情報のうち、現在時刻に最も近い検出時刻を有する検出情報を選択することができる。この例においては、検出ＩＤ７を有する検出情報が選択される。
【００６０】
ステップＳ４０７においてグルーピング部２０５は、ステップＳ４０３で選択された検出情報が示す追跡対象の検出時刻と、ステップＳ４０６で選択された検出情報が示す追跡対象が示す検出時刻と、に応じて、検出情報をグルーピングするか否かを判定する。本実施形態においてグルーピング部２０５は、ステップＳ４０６で選択された検出情報が示す検出時刻と、ステップＳ４０３で選択された検出情報が示す検出時刻と、の差が所定の閾値未満であるか否かを判定する。差が所定の閾値未満である場合、処理はステップＳ４０８へ進み、差が所定の閾値以上である場合、処理はステップＳ４１０へ進む。所定の閾値は適宜設定可能であるが、この例においては１時間に設定されている。この例においては、図７に示すように、検出ＩＤ７の検出情報が示す検出時刻と、検出ＩＤ８の検出情報が示す検出時刻との差は１分であるから、処理はステップＳ４０８へ進む。
【００６１】
ステップＳ４０８においてグルーピング部２０５は、ステップＳ４０３で選択された検出情報が示す追跡対象の検出場所と、ステップＳ４０６で選択された検出情報が示す追跡対象の検出場所と、に応じて、検出情報をグルーピングするか否かを判定する。本実施形態においてグルーピング部２０５は、ステップＳ４０３で選択された検出情報が示す検出場所と、ステップＳ４０６で選択された検出情報が示す検出場所と、が一致しているか否かを判定する。一致している場合、処理はステップＳ４０９へ進み、一致していない場合、処理はステップＳ４１０へ進む。
【００６２】
本実施形態において、検出場所は、追跡対象を検出した撮像装置が所属するカメラグループを指す。したがって、グルーピング部２０５は、検出結果が、同じカメラグループに含まれる撮像装置による撮像画像に基づいて得られている場合に、検出場所が一致すると判定する。このような構成によれば、同じカメラグループに含まれ、撮像対象領域が重複している２台以上の撮像装置により追跡対象が同時に撮像されている場合であっても、それぞれの撮像装置の撮像画像から得られた検出情報をグルーピングすることができる。この例においては、図７に示すように、検出ＩＤ７の検出情報が示す検出場所と検出ＩＤ８の検出情報が示す検出場所は、ともにＣａｍｅｒａ  Ａであるため、処理はステップＳ４０９へ進む。
【００６３】
ステップＳ４０９でグルーピング部２０５は、ステップＳ４０３で選択された検出情報を、ステップＳ４０６で選択された選択情報とグルーピングする。本実施形態においてグルーピング部２０５は、ステップＳ４０６で選択された選択情報が所属するグループに所属するように、ステップＳ４０３で選択した検出情報が所属するグループを示す情報を、記憶部２０７に格納する。この例においては、グルーピング部２０５は、検出ＩＤ８の検出情報についてのグループＩＤを、検出ＩＤ７の検出情報が所属するグループのグループＩＤである４に更新する。
【００６４】
この例においては、その後処理はステップＳ４０９からステップＳ４０２に戻る。以降の処理は同様に行われ、ステップＳ４０３で検出ＩＤ９の検出情報が選択され、ステップＳ４０４でこの検出情報をグルーピングすると判定される。ステップＳ４０６においては検出ＩＤ８の検出情報が選択され、処理はステップＳ４０７を経由してステップＳ４０８に進む。この例において、検出ＩＤ７の検出情報が示す検出場所はＣａｍｅｒａ  Ａであり、検出ＩＤ８の検出情報が示す検出場所はＣａｍｅｒａ  Ｂであるため、処理はステップＳ４０８からステップＳ４１０へ進む。
【００６５】
ステップＳ４１０，Ｓ４１１において、グルーピング部２０５は、ステップＳ４０３で選択された検出情報のみを含む新しいグループを作成する。本実施形態では、ステップＳ４１０においてグルーピング部２０５が、新しい検出情報のグループを作成する。この例においてグルーピング部２０５は、グループＩＤ５を有するグループを作成する。また、グルーピング部２０５は、作成したグループについての図８（Ｂ）と同様のグループ情報を記憶部２０７に格納する。上記の通り、グループ情報には表示形式を示す情報を登録することができる。この例において、表示形式は収束形式又は展開形式のいずれかであり、初期値は収束形式とする。
【００６６】
ステップＳ４１１においてグルーピング部２０５は、ステップＳ４１０で作成されたグループに所属するように、ステップＳ４０３で選択した検出情報が所属するグループを示す情報を、記憶部２０７に格納する。この例においては、グルーピング部２０５は、検出ＩＤ９の検出情報についてのグループＩＤを、新しく作成されたグループのグループＩＤである５に更新する。
【００６７】
このような例において、ステップＳ３０５で表示部２０６は、図６のフローチャートに従って、図６（Ｃ）に示す表示を出力装置１０７に行わせることができる。図６（Ｃ）に示すように、検出ＩＤ８の検出情報はグループＩＤ４のグループに含まれ、また検出ＩＤ８の検出情報６０３が収束形式で表示されている。
【００６８】
本実施形態によれば、所定間隔以下で同じ検出場所で同じ追跡対象が複数回検出された場合、検出情報がグルーピングされる。このような技術によれば、追跡対象の動向を確認しやすい表示をユーザに提供することが容易となる。
【００６９】
（変形例）
ステップＳ４０６〜Ｓ４０８のように、一実施形態に係るグルーピング部２０５は、検出時刻が連続する２以上の検出結果をグルーピングするか否かを判定することができる。上記の例においては、検出時刻の差が閾値未満であり（Ｓ４０７）、及び検出場所が一致する場合に（Ｓ４０８）、２つの検出結果がグルーピングされた。しかしながら、グルーピングするか否かの判定方法はこのような例には限定されない。
【００７０】
一実施形態において、グルーピング部２０５は、追跡対象の検出場所に応じて、検出時刻が連続する２以上の検出結果をグルーピングするか否かを判定することができる。特に、グルーピング部２０５は、検出場所が一致するか否かに応じて、２以上の検出結果をグルーピングするか否かを判定してもよい。このような構成によれば、同じ又は近い検出場所で検出された追跡対象の検出情報をグルーピングすることができるため、追跡対象の動向を確認しやすくなる。このように、追跡対象の検出場所と、追跡対象の検出時刻と、に応じてグルーピングを行う際に、検出時刻の差を考慮することは必須ではない。
【００７１】
表示形式は上述のものには限られない。例えば、表示形式として、１つのグループに属する複数の検出情報の一部である、２以上の検出情報のみが表示されてもよい。また、別の表示形式として、１つのグループに属する複数の検出情報の要約が表示されてもよい。具体例としては、複数の検出情報に共通する情報、互いに異なる検出情報から選択された情報、複数の検出情報の分析により得られた情報、及び、複数の検出情報から算出された、検出情報に含まれる項目とは異なる情報が挙げられる。
【００７２】
図６（Ｄ）はこのような一例を示す。図６（Ｄ）において、領域７０１は、展開形式における、グループＩＤ４のグループの表示例である。領域７０１には、検出ＩＤ８の検出情報６０３及び検出ＩＤ７の検出情報６０９が表示されている。また、図６（Ｄ）に示すように、グルーブＩＤ４のグループに所属する検出情報についての要約情報７０２がさらに表示されている。この要約情報７０２には、検出場所（各検出情報に共通）、検出開始時刻（すなわち最も古い検出ＩＤ４の検出情報が示す検出時刻）、及び検出回数（検出情報の数）が含まれる。このように、新しい検出情報についての詳細な情報を表示する一方で、古い検出情報についての詳細な情報を省略し、代わりに要約を表示してもよい。また、古い検出情報についての詳細情報を参照するためのリンク７０３を表示してもよい。例えば、ユーザに７０３をクリックされると、グループに属する検出情報をすべて表示する。なお、図６（Ｄ）は一例にすぎず、要約の表示方法はこれに限られない。
【００７３】
上記の例では、収束形式において、グループに所属する検出情報のうち検出時刻が最も新しい検出情報が表示された。しかしながら、表示する検出情報は別の基準で選択されてもよいし、検出情報の代わりにグループに属する複数の検出情報についての上記のような要約が表示されてもよい。一例として、映像解析時に得られた追跡対象の認識信頼度に基づいて選択された検出情報が表示されてもよい。
【００７４】
また、上記の例では、現在時刻と検出時刻との差に応じて、検出情報をグルーピング対象とするか否かが判定された。しかしながら、グルーピング対象の判定方法はこの方法に限定されない。一実施形態において、判定部２０４は、検出情報をグルーピング対象にするか否かを、この検出結果よりも新しい検出結果にさらに基づいて判定する。例えば判定部２０４は、検出情報をグルーピング対象にするか否かを、まだグループに所属していない別の検出情報に基づいて判定してもよい。
【００７５】
具体例としては、判定部２０４は、ステップＳ４０３で選択した検出情報が示す検出場所と、この検出情報より検出時刻が後の検出情報が示す検出場所と、に基づいてこの判定を行うことができる。例えば、判定部２０４は、これらの検出場所が一致しない場合、検出時刻にかかわらずステップＳ４０３で選択した検出情報をグルーピング対象と判定することができる。例えば、検出ＩＤ８の検出情報が示す検出場所は、検出ＩＤ９の検出情報が示す検出場所と一致しない。このため、判定部２０４は、ステップＳ４０３において検出ＩＤ８の検出情報を選択した場合、検出ＩＤ８の検出情報をグルーピング対象と判定することができる。
【００７６】
別の具体例として、判定部２０４は、ステップＳ４０３で選択した検出情報が示す検出時刻と、この検出情報より検出時刻が後の検出情報が示す検出時刻と、に基づいてこの判定を行うことができる。例えば、判定部２０４は、ステップＳ４０３で選択した検出情報の検出時刻より後の検出時刻を有する検出情報が存在する場合、現在時刻にかかわらずステップＳ４０３で選択した検出情報をグルーピング対象と判定することができる。このような構成によれば、最新の検出情報のみがグルーピング対象から外れる可能性があり、他の検出情報は全てグルーピング対象となる。
【００７７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７８】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００７９】
２０１：撮像部、２０２：入力部、２０３：検出部、２０４：判定部、２０５：グルーピング部、２０６：表示部、２０７：記憶部
【図１】
2020150413.tif 000003
【図２】
2020150413.tif 000004
【図３】
2020150413.tif 000005
【図４】
2020150413.tif 000006
【図５】
2020150413.tif 000007
【図６】
2020150413.tif 000008
【図７】
2020150413.tif 000009
【図８】
2020150413.tif 000010