(57)【要約】【課題】人物を特定する精度の高い情報と人物を特定する精度の低い情報とを用いて、簡易な構成で処理負荷の増大を抑制して特定の人物の居場所を予測する。【解決手段】監視カメラシステム１０では、Ｃａｍ−Ａ或いはＣａｍ−Ｆで顔検出が行われ、顔画像の照合の結果、特定人物の顔画像と一致している場合、追跡クライアント３０から、Ｃａｍ−Ａ或いはＣａｍ−Ｆに対応付けてグルーピングされた、他のＣａｍ−Ｂ〜Ｃａｍ−Ｅに外見的特徴情報が送信される。他のＣａｍ−Ｂ〜Ｃａｍ−Ｅは、外見的特徴情報を検出すると、人物発見情報を追跡クライアント３０に送信する。【選択図】図２
2016127563.tif 000002
【特許請求の範囲】
【請求項１】
特定の人物に関する顔画像を記憶する記憶装置と、
人物の顔及び外見特徴の検出機能を有する少なくとも１つの第１検出カメラと、
人物の外見特徴の検出機能を有する少なくとも１つの第２検出カメラと、
前記第１検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶される前記特定の人物に関する顔画像とを照合する照合装置と、
前記少なくとも１つの第１検出カメラと前記少なくとも１つの第２検出カメラとのグルーピング情報を有する指示装置と、を備え、
前記照合装置は、前記第１検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信し、
前記指示装置は、前記照合装置から送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第１検出カメラに対応付けてグルーピングされた前記少なくとも１つの第２検出カメラに指示し、
前記第１検出カメラに対応付けてグルーピングされたいずれかの前記第２検出カメラは、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信する、
人物追尾システム。
【請求項２】
請求項１に記載の人物追尾システムであって、
前記第１検出カメラに対応付けてグルーピングされたいずれかの前記第２検出カメラにおいて前記外見特徴情報が検出された場合に、前記特定の人物の発見仮情報を表示する第１表示装置、を更に備える、
人物追尾システム。
【請求項３】
請求項２に記載の人物追尾システムであって、
前記第１表示装置は、前記第１検出カメラで撮像された画像及び前記第２検出カメラで撮像された画像を対比可能に表示し、更に、前記第２検出カメラで撮像された画像に前記特定の人物の発見仮情報を表示する、
人物追尾システム。
【請求項４】
請求項１に記載の人物追尾システムであって、
前記第１検出カメラ及び前記第２検出カメラが設置されたエリアの地図情報を表示する第２表示装置、を更に備え、
前記第２表示装置は、前記第１検出カメラを示す第１アイコンと前記第２検出カメラを示す第２アイコンとを前記地図情報に表示し、前記第１検出カメラが前記特定の人物の顔画像を検出した場合に前記第１アイコンを前記第１アイコンに対する他アイコンと識別可能に表示し、前記第２検出カメラが前記外見特徴情報を検出した場合に前記第２アイコンを前記第２アイコンに対する他アイコンと識別可能に表示する、
人物追尾システム。
【請求項５】
請求項４に記載の人物追尾システムであって、
前記第２表示装置は、前記第１検出カメラが前記特定の人物の顔画像を検出した場合に前記第１アイコンを前記第１アイコンに対する他アイコンと識別可能に表示し、更に、前記第１検出カメラに対応付けてグル―ピングされた、他の前記第１検出カメラの第１アイコン及び前記第２検出カメラの第２アイコンを前記第１アイコン及び前記第２アイコンに対する他アイコンと識別可能に表示する、
人物追尾システム。
【請求項６】
請求項４に記載の人物追尾システムであって、
前記第２表示装置は、前記第２検出カメラが前記外見特徴情報を検出した場合に、想定情報として前記特定の人物の第１軌跡を前記地図情報に表示し、前記第１検出カメラが前記特定の人物の顔画像を検出した場合に、確定情報として前記特定の人物の第２軌跡を前記第１軌跡と異なる態様で前記地図情報に表示する、
人物追尾システム。
【請求項７】
請求項６に記載の人物追尾システムであって、
前記第２表示装置は、前記特定の人物の第１軌跡を前記地図情報に表示した後、前記特定の人物の第２軌跡を表示する場合に前記第１軌跡を消去する、
人物追尾システム。
【請求項８】
請求項６に記載の人物追尾システムであって、
前記第２表示装置は、前記第１検出カメラにより検出された前記特定の人物の移動時間が所定の想定時間より長い場合に、前記想定情報として前記特定の人物の第１軌跡を表示する、
人物追尾システム。
【請求項９】
請求項１に記載の人物追尾システムであって、
前記第１検出カメラと前記照合装置とが同一の筐体に収容された、
人物追尾システム。
【請求項１０】
特定の人物に関する顔画像を記憶装置に記憶するステップと、
人物の顔及び外見特徴の検出機能を有する少なくとも１つの第１検出カメラと人物の外見特徴の検出機能を有する少なくとも１つの第２検出カメラとのグルーピング情報を指示装置において記憶するステップと、
前記第１検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶された前記特定の人物に関する顔画像とを照合するステップと、
前記第１検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信するステップと、
送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第１検出カメラに対応付けてグルーピングされた前記少なくとも１つの第２検出カメラに指示するステップと、
前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信するステップと、を有する、
人物追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の監視カメラを連携して人物を追尾する人物追尾システム及び人物追尾方法に関する。
【背景技術】
【０００２】
従来、例えば施設内に設置された多くの監視カメラを用いて、監視カメラにより撮像された画像から不審者を特定する監視カメラシステムが知られている。
【０００３】
また、複数の監視カメラを用いて不審者を特定する監視カメラシステムに関する先行技術として、特許文献１に示す監視カメラシステムが提案されている。
【０００４】
特許文献１に示す監視カメラシステムは、各監視装置の監視カメラで撮像された映像から不審者の特徴量を抽出し、この特徴量を予め登録された不審者リストの特徴量と照合し、照合の結果、ある監視装置においてこの特徴量が一致又は近似したと判断された場合には、この不審者の顔画像や特徴量等のデータを他の監視装置及び予め登録された携帯端末に送信することが知られている。これにより、各監視装置の監視視野範囲の追尾が可能となり、次にこの人物がどこにいるかを予測することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１５３３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した特許文献１を含む従来技術では、複数の監視カメラを用いた場合でも全ての監視カメラで、精度の高い照合を行うことは困難な場合があった。つまり、監視カメラの設置環境によっては、明るさや撮影角度等の撮像条件が異なり、照合に適した撮像画像が得られず、照合の精度が不十分となる場合があった。この結果、不審者とは別人の顔画像等、誤った情報を送信してしまうことがあり、警備員を混乱させていた。
【０００７】
上述した特許文献１の構成では、全ての監視装置は、各監視カメラで撮像された映像を画像処理することで得られる特徴量や顔画像等のデータ（精度の高い情報）しか送信しない（言い換えると、不審者であるか否か疑わしい情報を送信しない）ために、不審者を発見したとの情報が、警備員が所持する携帯端末等に十分に集まらず、不審者を取り逃してしまう可能性があった。
【０００８】
また、不審者を発見した旨の不審者情報は、監視カメラシステムを構成する全ての監視視野範囲に設置された監視装置及び携帯端末に送信されるので、不審者情報の情報転送量も多くなり、受信側の監視装置における処理負荷も増加するという問題もあった。
【０００９】
本発明は、上述した従来の状況に鑑みて案出され、人物を特定する精度の高い情報と人物を特定する精度の低い情報とを用いて、簡易な構成で処理負荷の増大を抑制して特定の人物の居場所を予測する人物追尾システム及び人物追尾方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、特定の人物に関する顔画像を記憶する記憶装置と、人物の顔及び外見特徴の検出機能を有する少なくとも１つの第１検出カメラと、人物の外見特徴の検出機能を有する少なくとも１つの第２検出カメラと、前記第１検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶される前記特定の人物に関する顔画像とを照合する照合装置と、前記少なくとも１つの第１検出カメラと前記少なくとも１つの第２検出カメラとのグルーピング情報を有する指示装置と、を備え、前記照合装置は、前記第１検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信し、前記指示装置は、前記照合装置から送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第１検出カメラに対応付けてグルーピングされた前記少なくとも１つの第２検出カメラに指示し、前記第１検出カメラに対応付けてグルーピングされたいずれかの前記第２検出カメラは、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信する、人物追尾システムである。
【００１１】
また、本発明は、特定の人物に関する顔画像を記憶装置に記憶するステップと、人物の顔及び外見特徴の検出機能を有する少なくとも１つの第１検出カメラと人物の外見特徴の検出機能を有する少なくとも１つの第２検出カメラとのグルーピング情報を指示装置において記憶するステップと、前記第１検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶された前記特定の人物に関する顔画像とを照合するステップと、前記第１検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信するステップと、送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第１検出カメラに対応付けてグルーピングされた前記少なくとも１つの第２検出カメラに指示するステップと、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信するステップと、を有する、人物追尾方法である。
【発明の効果】
【００１２】
本発明によれば、人物を特定する精度の低い情報も集めて、特定の人物の居場所を予測できる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の監視カメラシステムの概略構成の一例を示す図
【図２】本実施形態の監視カメラシステムのハードウェア構成の一例を示すブロック図
【図３】特定人物顔情報ＤＢに登録された顔画像データの一例を示す図
【図４】グルーピング情報登録部の登録内容の一例を示すテーブル
【図５】（Ａ）マップモニタの初期画面の一例を示す図、（Ｂ）ライブモニタの初期画面の一例を示す図
【図６】本実施形態の監視カメラシステムの監視動作の一例を示すシーケンス図
【図７】（Ａ）捜索者Ｘを発見した場合の捜索者Ｘの顔画像の一例を示す図、（Ｂ）捜索者Ｘを発見した場合のマップモニタの画面の一例を示す図、（Ｃ）捜索者Ｘを発見した場合のライブモニタの画面の一例を示す図
【図８】（Ａ）図７（Ａ）に続くマップモニタの画面の一例を示す図、（Ｂ）図７（Ｂ）に続くライブモニタの画面の一例を示す図
【図９】（Ａ）図８（Ａ）に続くマップモニタの画面の一例を示す図、（Ｂ）図８（Ｂ）に続くライブモニタの画面の一例を示す図
【図１０】（Ａ）捜索者Ｘを再び発見した場合のマップモニタの画面の一例を示す図、（Ｂ）捜索者Ｘを再び発見した場合のライブモニタの画面の一例を示す図
【図１１】（Ａ）監視者がライブモニタ３８を見て捜索者Ｘを発見した場合のマップモニタの画面の一例を示す図、（Ｂ）監視者がライブモニタ３８を見て捜索者Ｘを発見した場合のライブモニタの画面の一例を示す図
【図１２】本実施形態の変形例の監視カメラシステムのハードウェア構成の一例を示す図
【発明を実施するための形態】
【００１４】
以下、本発明に係る人物追尾システム及び人物追尾方法を具体的に開示した実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の人物追尾システムは、例えば複数の監視カメラを用いた監視カメラシステムに適用される。
【００１５】
図１は、本実施形態の監視カメラシステム１０の概略構成の一例を示す図である。監視カメラシステム１０は、顔照合サーバ２０、追跡クライアント３０、スイッチングハブ４０及び複数の監視カメラ５１〜５６を有する。
【００１６】
顔照合サーバ２０（照合装置）は、監視カメラ５１，５６から送信された顔画像のサムネイルと予め登録された顔画像とを照合し、照合の結果、一致する場合、該当する人物等の情報を追跡クライアント３０に送信する。追跡クライアント３０に送信される情報には、監視カメラ５１，５６において検出された人物の顔画像のサムネイル、照合の結果として得られた監視カメラの識別番号（以下、「カメラ番号」という）及び人物の外見的特徴情報が含まれる。外見的特徴として、例えば服装の色若しくは形状、持ち物の形状、服に付されたロゴ（ブランド名称）等が挙げられる。
【００１７】
追跡クライアント３０（指示装置）は、顔照合サーバ２０で照合した結果、顔画像が一致していることが通知されると、他の監視カメラ（例えば監視カメラ５２，５３，５４，５５）に外見的特徴情報を送信する。
【００１８】
監視カメラ５１〜５６は、各監視対象エリアを撮像し、それぞれ撮像画像を映像として出力する。監視カメラ５１，５６は、人物の顔画像及び外見的特徴の検知機能を有し、撮像画像に含まれる顔画像を検出し、その顔画像のサムネイル及び外見的特徴情報を顔照合サーバ２０に送信する。その他の監視カメラ５２，５３，５４，５５は、顔検出機能を有しておらず、外見的特徴の検知機能のみを有し、撮像画像に含まれる外見的特徴を検出した場合、カメラ番号を追跡クライアント３０に通知する。なお、監視カメラ５１〜５６は、全方位カメラでもよいし、パン・チルト・ズーム可能なＰＴＺカメラでもよいし、撮影画角が固定された固定カメラでもよい。
【００１９】
以後、説明の都合上、監視カメラ５１を「Ｃａｍ−Ａ」と称する。同様に、監視カメラ５２，５３，５４，５５，５６をそれぞれ「Ｃａｍ−Ｂ」，「Ｃａｍ−Ｃ」，「Ｃａｍ−Ｄ」，「Ｃａｍ−Ｅ」，「Ｃａｍ−Ｆ」と称する。
【００２０】
スイッチングハブ４０は、Ｃａｍ−Ａ〜Ｃａｍ−Ｆの通信回線を集線し、Ｃａｍ−Ａ〜Ｃａｍ−Ｆと、顔照合サーバ２０又は追跡クライアント３０との通信の接続を制御する。
【００２１】
図２は、本実施形態の監視カメラシステム１０のハードウェア構成の一例を示すブロック図である。顔照合サーバ２０は、特徴データ取得部２１、顔照合部２２、特定人物顔情報ＤＢ（データベース）２３及びデータ送信部２４を有する。
【００２２】
特徴データ取得部２１は、Ｃａｍ−Ａ又はＣａｍ−Ｆ（第１検出カメラ）で撮像された撮像画像に含まれる顔画像のサムネイル及び外見的特徴のデータを取得する。
【００２３】
顔照合部２２は、特徴データ取得部２１で取得された顔画像のサムネイルと、特定人物顔情報ＤＢ２３に登録された顔画像とを照合し、この照合の結果とカメラ番号をデータ送信部２４に送出する。
【００２４】
データ送信部２４は、照合の結果、顔画像が一致していると判定された場合、この照合結果、カメラ番号（「Ｃａｍ  Ｎｏ」とも称する）、及び特徴データ取得部２１で取得された顔画像のサムネイルと外見的特徴情報とを、追跡クライアント３０に送信する。
【００２５】
特定人物顔情報ＤＢ２３（記憶装置）は、不審者等の特定人物の顔画像データを登録している。図３は、特定人物顔情報ＤＢ２３に登録された顔画像データの一例を示す図である。この特定人物顔情報ＤＢ２３には、後述する捜索者Ｘの顔画像２３１も含まれている。
【００２６】
追跡クライアント３０は、映像受信部３１、データ受信部３２、制御部３７、グルーピング情報登録部３３、送信部３４、映像出力部３５及びマップ出力部３６を有する。
【００２７】
映像受信部３１は、Ｃａｍ−Ａ〜Ｃａｍ−Ｆで撮像された撮像画像を全て受信し、映像出力部３５にそのまま出力する。
【００２８】
データ受信部３２は、顔照合サーバ２０から送信された情報（照合の結果、カメラ番号、外見的特徴情報及び顔画像のサムネイルを含む）、及びＣａｍ−Ｂ〜Ｃａｍ−Ｅ（第２検出カメラ）から送信された情報（ここでは、外見的特徴を検出したことを表すカメラ番号）を受信する。
【００２９】
制御部３７は、データ受信部３２で受信した照合の結果が一致である場合、グルーピング情報登録部３３にカメラ番号を送信し、このカメラ番号と連携している（グル―ピングされている）カメラ番号を取得する。制御部３７は、連携しているカメラ番号の監視カメラに対し、送信部３４に外見的特徴情報を送信する指示を行う。制御部３７は、映像出力部３５に対し、多画面表示を指示し、また、マップ出力部３６に対し、カメラ番号を送信し、マップモニタ３９に表示されるマップ画像上のカメラアイコンを点滅させる等の表示を指示する。
【００３０】
送信部３４は、制御部３７からの指示に従い、連携しているカメラ番号の監視カメラに対し、外見的特徴情報を送信する。
【００３１】
グルーピング情報登録部３３には、監視カメラ毎に設定された監視カメラのグルーピング情報が登録されている。図４は、グルーピング情報登録部３３の登録内容の一例を示すテーブルである。ここでは、隣接している監視カメラがグルーピングとして設定される。例えば、Ｃａｍ−Ａに対し、隣接しているＣａｍ−Ｂが設定される。Ｃａｍ−Ｂに対し、隣接しているＣａｍ−Ａ、Ｃａｍ−Ｃ、Ｃａｍ−Ｄが設定される。Ｃａｍ−Ｃに対し、隣接しているＣａｍ−Ｂ、Ｃａｍ−Ｆが設定される。Ｃａｍ−Ｄに対し、隣接しているＣａｍ−Ｂ、Ｃａｍ−Ｃ、Ｃａｍ−Ｅが設定される。Ｃａｍ−Ｅに対し、隣接しているＣａｍ−Ｄが設定される。Ｃａｍ−Ｆに対し、隣接しているＣａｍ−Ｃが設定される。
【００３２】
なお、ここでは、隣接している１台の監視カメラをグルーピングに含めるように設定したが、グルーピングの設定の仕方はこれに限られない。例えば直接隣接していないが、同じ通路に１台以上離れて設置された監視カメラをグルーピングに設定してもよい。これにより、隣接している監視カメラよりも、捜索者Ｘを発見しやすい位置にあると考えられる監視カメラを設定することもできる。また、対象の監視カメラから一定の距離の範囲にある監視カメラを全てグルーピングに設定することも可能である。これにより、捜索者Ｘの移動する距離を考慮した監視が可能である。
【００３３】
映像出力部３５は、追跡クライアント３０の筐体の外部に設けられたライブモニタ３８に接続され、制御部３７からの指示に従い、Ｃａｍ−Ａ〜Ｃａｍ−Ｆで撮像された撮像画像（映像）を多画面でライブモニタ３８（第１表示装置）に表示させる。ライブモニタ３８は、例えば６４チャンネルまで画面分割して、各撮像画像を表示可能である。
【００３４】
マップ出力部３６は、ライブモニタ３８と同様、追跡クライアント３０の筐体の外部に設けられたマップモニタ３９に接続され、制御部３７からの指示に従い、Ｃａｍ−Ａ〜Ｃａｍ−Ｆが設置された施設の地図情報（マップ画像）をマップモニタ３９（第２表示装置）に表示させる。マップモニタ３９は、Ｃａｍ−Ａ〜Ｃａｍ−Ｆのカメラアイコンが描かれたマップ画像を画面に表示する。
【００３５】
上述した構成を有する監視カメラシステム１０の動作を示す。
【００３６】
監視カメラシステム１０を起動させると、マップモニタ３９及びライブモニタ３８はそれぞれ初期画面を表示する。図５（Ａ）は、マップモニタ３９の初期画面の一例を示す図である。マップモニタ３９の初期画面には、Ｃａｍ−Ａ〜Ｃａｍ−Ｆが設置されていることを表すカメラアイコン５１ｉ〜５６ｉが施設のマップ画像６１上に重なるように表示される。初期画面では、全てのカメラアイコン５１ｉ〜５６ｉはデフォルト表示となっている。図５（Ｂ）は、ライブモニタ３８の初期画面の一例を示す図である。ライブモニタ３８の初期画面では、施設の入口に設置されているＣａｍ−Ａで撮像された撮像画像（映像）が一画面として広範囲に表示される。また、画面の下部には、カメラ番号（ここでは、Ｃａｍ−Ａ）が表示される。
【００３７】
図６は、本実施形態の監視カメラシステム１０の監視動作の一例を示すシーケンス図である。全てのＣａｍ−Ａ〜Ｃａｍ−Ｆは、リアルタイムで撮像し、各々の撮像画像のデータを追跡クライアント３０に常時送信している。また、Ｃａｍ−Ａ及びＣａｍ−Ｆは、前述したように、撮像画像に含まれる顔画像を検出すると、顔画像のサムネイル、カメラ番号及び外見的特徴情報を顔照合サーバ２０に送信可能な監視カメラである。
【００３８】
まず、施設の入口に設置されたＣａｍ−Ａは、リアルタイムで撮像している画像に顔画像が含まれていることを検出すると、顔画像のサムネイル、カメラ番号及び外見的特徴情報を顔照合サーバ２０に送信する（Ｔ１）。
【００３９】
顔照合サーバ２０は、Ｃａｍ−Ａから受信したサムネイルの顔画像と、特定人物顔情報ＤＢ２３に登録されている顔画像とが一致すると（Ｔ２）、追跡クライアント３０にカメラ番号、外見的特徴情報、照合の結果、及び顔画像のサムネイルを送信する（Ｔ３）。ここでは、照合の結果、サムネイルの顔画像が特定人物顔情報ＤＢ２３に登録されている捜索者Ｘの顔画像２３１と一致した場合を示す。図７（Ａ）〜（Ｃ）は、捜索者Ｘを発見した場合の監視動作を説明する図である。図７（Ａ）は、捜索者Ｘを発見した場合の特定人物顔情報ＤＢ２３に登録された捜索者Ｘの顔画像２３１の一例を示す図である。
【００４０】
追跡クライアント３０は、グルーピング情報登録部３３を参照し、Ｃａｍ−Ａと連携しているＣａｍ−Ｂに対し、外見的特徴情報を送信する（Ｔ４）。また、追跡クライアント３０は、ライブモニタ３８に対し、Ｃａｍ−Ａ及びＣａｍ−Ｂで撮像された画像を対比可能に多画面表示で出力する（Ｔ５）。図７（Ｃ）は、捜索者Ｘを発見した場合のライブモニタ３８の画面の一例を示す図である。これにより、監視カメラシステム１０は、Ｃａｍ−Ａで撮像された、捜索者Ｘが映っている画像をライブモニタ３８に表示させるので、監視者に対して視覚的に捜索者Ｘの発見を確認させることができる。
【００４１】
ライブモニタ３８は、Ｃａｍ−Ａ及びＣａｍ−Ｂで撮像された画像にカメラ番号を付けて各画面に表示するとともに、Ｃａｍ−Ａで捜索者Ｘを発見したことを表す発見情報として、Ｃａｍ−Ａのカメラ番号を点滅表示させる。これにより、監視者は、ライブモニタ３８のどの画面に捜索者Ｘが発見された可能性があって捜索者Ｘが映っているのかを、顔画像が検出されたＣａｍ−Ａにより撮像された画像と比べながら即座に知ることができる。
【００４２】
また、追跡クライアント３０は、マップモニタ３９に表示されたマップ画像６１上のＣａｍ−Ａのカメラアイコン５１ｉを点滅させるとともに、Ｃａｍ−Ａと連携しているＣａｍ−Ｂのカメラアイコン５２ｉを別の色で表示する（Ｔ６）。図７（Ｂ）は、捜索者Ｘを発見した場合のマップモニタ３９の画面の一例を示す図である。捜索者Ｘを発見したＣａｍ−Ａのカメラアイコン５１ｉを点滅させて他のカメラアイコンと識別可能にすることで、どの監視カメラで捜索者Ｘを撮像したかが即座に把握できる。
【００４３】
また、Ｃａｍ−Ａに対応付けてグルーピングされたＣａｍ−Ｂのカメラアイコン５２ｉを他のカメラアイコンとは別の色で表示することで、次に捜索者Ｘが発見される可能性が高い監視カメラの位置を把握できる。
【００４４】
Ｃａｍ−Ｂは、撮像画像に含まれる外見的特徴を検出すると（Ｔ７）、捜索者Ｘを発見した可能性があるとして、追跡クライアント３０にカメラ番号を通知する（Ｔ８）。図８（Ａ），（Ｂ）は、図７に続く監視動作を説明する図である。追跡クライアント３０は、グルーピング情報登録部３３を参照し、Ｃａｍ−Ｂと連携しているＣａｍ−Ｃ、Ｃａｍ−Ｄに対し、外見的特徴情報を送信する（Ｔ９）。この時、Ｃａｍ−Ａは外見的特徴情報を持っているので、Ｃａｍ−Ａには、外見的特徴情報は送信されない。また、追跡クライアント３０は、ライブモニタ３８に対し、Ｃａｍ−Ａ、Ｃａｍ−Ｂ、Ｃａｍ−Ｃ及びＣａｍ−Ｄで撮像された画像を多画面表示で出力する（Ｔ１０）。図８（Ｂ）は、図７（Ｂ）に続くライブモニタ３８の画面の一例を示す図である。Ｃａｍ−Ｂの画面に含まれる外見的特徴を有する人物には、発見仮情報として、疑わしい人物であることを表す「？」のマークが近接して表示されている。
【００４５】
追跡クライアント３０は、マップモニタ３９に表示されたマップ画像６１上のＣａｍ−Ｂのカメラアイコン５２ｉを点滅させるとともに、Ｃａｍ−Ａ、Ｃａｍ−Ｂ間を点線で表示し、連携しているＣａｍ−Ａのカメラアイコン５１ｉ、Ｃａｍ−Ｃのカメラアイコン５３ｉ及びＣａｍ−Ｄのカメラアイコン５４ｉを別の色で表示する（Ｔ１１）。Ｃａｍ−Ａ、Ｃａｍ−Ｂ間の軌跡６４Ａを点線で表示することで、この軌跡６４Ａは、捜索者Ｘが通過したと予測される想定情報であることが分かる。図８（Ａ）は、図７（Ａ）に続くマップモニタ３９の画面の一例を示す図である。
【００４６】
Ｃａｍ−Ｄは、撮像画像に含まれる外見的特徴を検出すると（Ｔ１２）、捜索者Ｘを発見した可能性があるとして、追跡クライアント３０にカメラ番号を通知する（Ｔ１３）。図９（Ａ），（Ｂ）は、図８（Ａ），（Ｂ）に続く監視動作を説明する図である。追跡クライアント３０は、グルーピング情報登録部３３を参照し、Ｃａｍ−Ｄと連携しているＣａｍ−Ｂ、Ｃａｍ−Ｃ、Ｃａｍ−Ｅに対し、外見的特徴情報を送信する（Ｔ１４）。また、追跡クライアント３０は、ライブモニタ３８に対し、Ｃａｍ−Ｂ、Ｃａｍ−Ｃ、Ｃａｍ−Ｄ及びＣａｍ−Ｅで撮像された画像を多画面表示で出力する（Ｔ１５）。図９（Ｂ）は、図８（Ｂ）に続くライブモニタ３８の画面を示す。
【００４７】
追跡クライアント３０は、マップモニタ３９に表示されたマップ画像６１上のＣａｍ−Ｄのカメラアイコン５２ｉを点滅させるとともに、Ｃａｍ−Ａ、Ｃａｍ−Ｂ間に続いて、Ｃａｍ−Ｂ、Ｃａｍ−Ｄ間の軌跡（第１軌跡）６４Ｂを点線で表示し、連携しているＣａｍ−Ｂのカメラアイコン５２ｉ、Ｃａｍ−Ｃのカメラアイコン５３ｉ及びＣａｍ−Ｅのカメラアイコン５５ｉを別の色で表示する（Ｔ１６）。点線で表されたＣａｍ−Ａ、Ｃａｍ−Ｂ、Ｃａｍ−Ｄ間の軌跡６４Ｂは、捜索者Ｘが通過したと予測される想定情報であることが分かる。図９（Ａ）は、図８（Ａ）に続くマップモニタ３９の画面の一例を示す図である。
【００４８】
この後、Ｃａｍ−Ｆは、撮像画像に含まれる顔画像を検出すると、顔画像のサムネイル、カメラ番号及び外見的特徴情報を顔照合サーバ２０に送信する（Ｔ１７）。
【００４９】
顔照合サーバ２０は、Ｃａｍ−Ｆから受信したサムネイルの顔画像と、特定人物顔情報ＤＢ２３に登録されている顔画像とが一致すると（Ｔ１８）、追跡クライアント３０にカメラ番号と外見的特徴情報を送信する（Ｔ１９）。ここでは、既に追跡されている捜索者Ｘの顔画像が一致したとする。図１０（Ａ），（Ｂ）は、捜索者Ｘを再び発見した場合の監視動作を説明する図である。
【００５０】
追跡クライアント３０は、グルーピング情報登録部３３を参照し、Ｃａｍ−Ｆと連携しているＣａｍ−Ｃに対し、外見的特徴情報を送信する（Ｔ２０）。また、追跡クライアント３０は、ライブモニタ３８に対し、Ｃａｍ−Ｆ及びＣａｍ−Ｃで撮像された画像を多画面表示で出力する（Ｔ２１）。図１０（Ｂ）は、捜索者Ｘを再び発見した場合のライブモニタ３８の画面の一例を示す図である。追跡クライアント３０は、マップモニタ３９に表示されたマップ画像６１上のＣａｍ−Ｆのカメラアイコン５６ｉを点滅させるとともに、Ｃａｍ−Ａ、Ｃａｍ−Ｆ間の軌跡（第２軌跡）６５を実線で表示し、連携しているＣａｍ−Ｃのカメラアイコン５２ｉを別の色で表示する（Ｔ２２）。図１０（Ａ）は、捜索者Ｘを再び発見した場合のマップモニタ３９の画面の一例を示す図である。実線で表されたＣａｍ−Ａ〜Ｃａｍ−Ｆ間の軌跡６５は、捜索者Ｘが通過したと確定される確定情報であることが分かる。この時、追跡クライアント３０は、想定情報として、点線で表示されていたＣａｍ−Ａ〜Ｃａｍ−Ｄ間の軌跡６４Ａ、６４Ｂを消去する。これにより、追跡クライアント３０は、間違ったＣａｍ−Ａ〜Ｃａｍ−Ｄ間の軌跡６４Ａ、６４Ｂをマップモニタ３９において消去できるので、正確な捜索者Ｘの軌跡６５を監視者に対して見せ易くできる。また、例えば捜索者Ｘが途中で服を着替えた場合でも、Ｃａｍ−Ｆで検出された顔画像及び外見的特徴が追跡クライアント３０に再び送信されるので、外見的特徴が更新されて、以後の追跡が可能となる。
【００５１】
このように、捜索者Ｘが通過したと考えられる不確かな想定情報と、捜索者Ｘが通過したことが確認された確認情報とを明確に区別することができ、操索者Ｘの位置が予測し易くなる。
【００５２】
また、追跡クライアント３０は、Ｃａｍ−Ｆで捜索者Ｘが発見された際、Ｃａｍ−Ａで発見されてからの捜索者Ｘの移動時間がＣａｍ−Ａ及びＣａｍ−Ｆ間の距離から想定した時間と比べて長いと判断した場合、例えば、通常より１／３以下の歩行速度で移動した場合の移動時間であった場合、捜索者Ｘが寄り道をしている可能性が高いとして、ＣａｍＦ−Ａ間の軌跡を、確定情報を表す実線でなく、想定情報を表す点線で表示する。これにより、監視者は、捜索者Ｘが寄り道をしているおそれがあり、この軌跡が正確でないかも知れないと判断できる。
【００５３】
図１１（Ａ），（Ｂ）は、監視者がライブモニタ３８を見て捜索者Ｘを発見した場合の監視動作を説明する図である。図１１（Ｂ）は、監視者がライブモニタ３８を見て捜索者Ｘを発見した場合のライブモニタ３８の画面の一例を示す図である。監視者は、ライブモニタ３８を見ている際、捜索者Ｘを発見すると、追跡クライアント３０に対し、発見したことを通知する操作を行う。例えば、ライブモニタ３８がタッチパネルである場合、監視者がＣａｍ−Ｃの撮像画像が表示されている画面をタッチすることで、捜索者Ｘの発見情報（カメラ番号）が追跡クライアント３０の制御部３７に通知される。
【００５４】
図１１（Ａ）は、監視者がライブモニタ３８を見て捜索者Ｘを発見した場合のマップモニタ３９の画面の一例を示す図である。追跡クライアント３０は、マップモニタ３９に表示されたマップ画像６１上のＣａｍ−Ｃのカメラアイコン５３ｉを点滅させるとともに、Ｃａｍ−Ａ〜Ｃａｍ−Ｃ間の軌跡６６を実線で表示し、Ｃａｍ−Ｃと連携しているＣａｍ−Ｂのカメラアイコン５２ｉ、Ｃａｍ−Ｆのカメラアイコン５６ｉを別の色で表示する。
【００５５】
この監視カメラシステム１０では、Ｃａｍ−Ａ或いはＣａｍ−Ｆで顔検出が行われ、顔画像の照合の結果、特定人物の顔画像と一致している場合、追跡クライアント３０から、Ｃａｍ−Ａ或いはＣａｍ−Ｆに対応付けてグルーピングされた、他のＣａｍ−Ｂ〜Ｃａｍ−Ｅに外見的特徴情報が送信される。他のＣａｍ−Ｂ〜Ｃａｍ−Ｅは、外見的特徴情報を検出すると、人物発見情報（カメラ番号）を追跡クライアント３０に送信する。
【００５６】
これにより、全ての監視カメラが顔検出機能を有していなくても、つまり、外見的特徴検出機能のみを有した、比較的安価な監視カメラであっても、追跡クライアントは、服装の色等の外見的特徴情報を用いて、多くの人物発見情報を取得することができ、捜索者Ｘを追跡できる。
【００５７】
従って、監視カメラシステム１０は、人物を特定する精度の高い情報（例えば顔画像）だけでなく、人物を特定する精度の低い情報（例えば外見的特徴）も集めて、特定の人物の居場所を高精度に予測できる。これにより、追尾の精度が向上する。また、特定人物の顔画像或いは外見的特徴を検出した監視カメラに対応付けてグルーピングされている監視カメラにだけ、外見的特徴情報を送信することで、グルーピングされていない他の監視カメラに余計な負荷をかけなくて済む。
【００５８】
（本実施形態の変形例）
図１２は、本実施形態の変形例の監視カメラシステム１０Ａのハードウェア構成の一例を示す図である。本実施形態の変形例の監視カメラシステム１０Ａは、上述した本実施形態とほぼ同一の構成を有する。上述した本実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
【００５９】
この監視カメラシステム１０Ａでは、監視カメラ５１Ａ（「Ｃａｍ−Ａ１」と称する）は、顔検出機能の他、前述した顔照合サーバ２０が持つ顔照合サーバ機能を有する。つまり、Ｃａｍ−Ａ１の筐体５１ｚに顔照合サーバ２０Ａが収容される。また、Ｃａｍ−Ｆは、顔検出機能を有し、顔照合サーバ機能を有しない。その他のＣａｍ−Ｂ〜Ｃａｍ−Ｅは前述した通りである。
【００６０】
この監視カメラシステム１０Ａは、検出された顔画像と予め登録された特定の人物の顔画像との照合を、Ｃａｍ−Ａ１が行う点を除き、前述した追跡動作と同様の動作を行う。
【００６１】
このように、Ｃａｍ−Ａ１が顔照合サーバ機能を有することで、監視カメラシステム１０Ａの構成を簡素化できる。
【００６２】
以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６３】
例えば、ライブモニタ３８で表示される多画面のうち、現在発見された監視カメラの画像を識別可能に表示するとともに、直前に発見した監視カメラの画像を別の枠で強調表示してもよい。これにより、直前に発見した監視カメラを容易に識別できる。また、直前に発見した監視カメラの画像を一画面として拡大して表示してもよい。また、今まで外見的特徴を検出した監視カメラの画像を多画面で表示してもよい。これにより、捜索者の軌跡を監視カメラにより撮像された画面を見ながら確認できる。
【００６４】
また、追跡クライアントに顔照合サーバの機能を搭載してもよく、同様に監視カメラシステムの構成を簡素化できる。
【００６５】
以下に、本発明に係る人物追尾システム及び人物追尾方法の構成、作用、効果について列挙する。
【００６６】
本発明の一実施形態は、特定の人物に関する顔画像を記憶する記憶装置と、人物の顔及び外見特徴の検出機能を有する少なくとも１つの第１検出カメラと、人物の外見特徴の検出機能を有する少なくとも１つの第２検出カメラと、前記第１検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶される前記特定の人物に関する顔画像とを照合する照合装置と、前記少なくとも１つの第１検出カメラと前記少なくとも１つの第２検出カメラとのグルーピング情報を有する指示装置と、を備え、前記照合装置は、前記第１検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信し、前記指示装置は、前記照合装置から送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第１検出カメラに対応付けてグルーピングされた前記少なくとも１つの第２検出カメラに指示し、前記第１検出カメラに対応付けてグルーピングされたいずれかの前記第２検出カメラは、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信する、人物追尾システムである。
【００６７】
この人物追尾システムでは、照合装置は、第１検出カメラにより検出された人物の顔画像が特定の人物に関する顔画像であると判断された場合に、特定の人物に関する外見特徴情報を含む人物特徴情報を指示装置に送信し、指示装置は、照合装置から送信された人物特徴情報に含まれる外見特徴情報の検出を、第１検出カメラに対応付けてグルーピングされた少なくとも１つの第２検出カメラに指示し、第１検出カメラに対応付けてグルーピングされたいずれかの第２検出カメラは、指示装置から送信された外見特徴情報を検出した外見特徴検出情報を前記指示装置に送信する。
【００６８】
これにより、人物追尾システムは、人物を特定する精度の高い情報（例えば顔）だけでなく人物を特定する精度の低い情報（例えば服装や持ち物などの外見特徴）も用いることで、処理負荷の高い人物の顔画像の検出機能は一部のカメラ（第１検出カメラ）に有し、処理負荷の低い人物の外見特徴の検出機能は全てのカメラ（第１検出カメラ及び第２検出カメラ）に有するので処理負荷の増大を抑制でき、特定の人物の居場所を高精度に予測でき、追尾の精度を向上できる。
【００６９】
また、本発明の一実施形態は、前記第１検出カメラに対応付けてグルーピングされたいずれかの前記第２検出カメラにおいて前記外見特徴情報が検出された場合に、前記特定の人物の発見仮情報を表示する第１表示装置、を更に備える、人物追尾システムである。
【００７０】
これにより、人物追尾システムは、特定人物が発見された可能性のある発見仮情報を、ユーザである監視者に対して視覚的に確認させることができる。
【００７１】
また、本発明の一実施形態は、前記第１表示装置は、前記第１検出カメラで撮像された画像及び前記第２検出カメラで撮像された画像を対比可能に表示し、更に、前記第２検出カメラで撮像された画像に前記特定の人物の発見仮情報を表示する、人物追尾システムである。
【００７２】
これにより、監視者は、第１表示装置のどの画面に特定の人物が発見された可能性があって特定の人物が映っているのかを、顔画像が検出された第１検出カメラにより撮像された画像と比べながら即座に知ることができる。
【００７３】
また、本発明の一実施形態は、前記第１検出カメラ及び前記第２検出カメラが設置されたエリアの地図情報を表示する第２表示装置、を更に備え、前記第２表示装置は、前記第１検出カメラを示す第１アイコンと前記第２検出カメラを示す第２アイコンとを前記地図情報に表示し、前記第１検出カメラが前記特定の人物の顔画像を検出した場合に前記第１のアイコンを前記第１アイコンに対する他アイコンと識別可能に表示し、前記第２検出カメラが前記外見特徴情報を検出した場合に前記第２アイコンを前記第２アイコンに対する他アイコンと識別可能に表示する、人物追尾システムである。
【００７４】
これにより、人物追尾システムは、特定の人物の顔画像を検出した（つまり、特定の人物を発見した）第１検出カメラを示す第１アイコンを他のアイコンと識別可能にすることで、監視者に、どの第１検出カメラで特定の人物が検出されたかを即座に把握させることができる。
【００７５】
また、本発明の一実施形態は、前記第２表示装置は、前記第１検出カメラが前記特定の人物の顔画像を検出した場合に前記第１アイコンを前記第１アイコンに対する他アイコンと識別可能に表示し、更に、前記第１検出カメラに対応付けてグル―ピングされた、他の前記第１検出カメラの第１アイコン及び前記第２検出カメラの第２アイコンを前記第１アイコン及び前記第２アイコンに対する他アイコンと識別可能に表示する、人物追尾システムである。
【００７６】
これにより、人物追尾システムは、次に特定の人物が発見される可能性が高い検出カメラの位置を、監視者に容易に把握させることができる。
【００７７】
また、本発明の一実施形態は、前記第２表示装置は、前記第２検出カメラが前記外見特徴情報を検出した場合に、想定情報として前記特定の人物の第１軌跡を前記地図情報に表示し、前記第１検出カメラが前記特定の人物の顔画像を検出した場合に、確定情報として前記特定の人物の第２軌跡を前記第１軌跡と異なる態様で前記地図情報に表示する、人物追尾システムである。
【００７８】
これにより、人物追尾システムは、特定の人物が通過した可能性があると考えられる不確かな想定情報と、特定の人物が通過したことが適正に確認された確定情報とを明確に区別することができ、特定の人物の位置を予測し易くすることができる。
【００７９】
また、本発明の一実施形態は、前記第２表示装置は、前記特定の人物の第１軌跡を前記地図情報に表示した後、前記特定の人物の第２軌跡を表示する場合に前記第１軌跡を消去する、人物追尾システムである。
【００８０】
これにより、人物追尾システムは、特定の人物が通過した可能性があると考えられる不確かな第１軌跡を第２表示装置において消去するので、特定の人物が通過したことが適正に確認された正確な第２軌跡を監視者に対して見せ易くすることができる。
【００８１】
また、本発明の一実施形態は、前記第２表示装置は、前記第１検出カメラにより検出された前記特定の人物の移動時間が所定の想定時間より長い場合に、前記想定情報として前記特定の人物の第１軌跡を表示する、人物追尾システムである。
【００８２】
これにより、監視者は、特定の人物が寄り道をしているおそれがあり、第１軌跡が正確でないかも知れないと容易に判断できる。
【００８３】
また、本発明の一実施形態は、前記第１検出カメラと前記照合装置とが同一の筐体に収容された、人物追尾システムである。
【００８４】
これにより、人物追尾システムの構成を簡素化できる。
【００８５】
また、本発明の一実施形態は、特定の人物に関する顔画像を記憶装置に記憶するステップと、人物の顔及び外見特徴の検出機能を有する少なくとも１つの第１検出カメラと人物の外見特徴の検出機能を有する少なくとも１つの第２検出カメラとのグルーピング情報を指示装置において記憶するステップと、前記第１検出カメラにより検出された前記人物の顔画像と、前記記憶装置に記憶された前記特定の人物に関する顔画像とを照合するステップと、前記第１検出カメラにより検出された前記人物の顔画像が前記特定の人物に関する顔画像であると判断された場合に、前記特定の人物に関する外見特徴情報を含む人物特徴情報を前記指示装置に送信するステップと、送信された前記人物特徴情報に含まれる前記外見特徴情報の検出を、前記第１検出カメラに対応付けてグルーピングされた前記少なくとも１つの第２検出カメラに指示するステップと、前記指示装置から送信された前記外見特徴情報を検出した検出情報を前記指示装置に送信するステップと、を有する、人物追尾方法である。
【００８６】
これにより、人物追尾システムは、人物を特定する精度の高い情報（例えば顔）だけでなく人物を特定する精度の低い情報（例えば服装や持ち物などの外見特徴）も用いることで、処理負荷の高い人物の顔画像の検出機能は一部のカメラ（第１検出カメラ）に有し、処理負荷の低い人物の外見特徴の検出機能は全てのカメラ（第１検出カメラ及び第２検出カメラ）に有するので処理負荷の増大を抑制でき、特定の人物の居場所を高精度に予測でき、追尾の精度を向上できる。
【産業上の利用可能性】
【００８７】
本発明は、人物を特定する精度の高い情報と人物を特定する精度の低い情報とを用いて、簡易な構成で処理負荷の増大を抑制して特定の人物の居場所を予測する人物追尾システム及び人物追尾方法として有用である。
【符号の説明】
【００８８】
１０  監視カメラシステム
２０、２０Ａ  顔照合サーバ
２１  特徴データ取得部
２２  顔照合部
２３  特定人物顔情報ＤＢ
２４  データ送信部
３０  追跡クライアント
３１  映像受信部
３２  データ受信部
３３  グルーピング情報登録部
３４  送信部
３５  映像出力部
３６  マップ出力部
３７  制御部
３８  ライブモニタ
３９  マップモニタ
４０  スイッチングハブ
５１〜５６、５１Ａ  監視カメラ
５１ｉ〜５６ｉ  カメラアイコン
５１ｚ  筐体
６１  マップ画像
６４Ａ、６４Ｂ、６５、６６  軌跡
２３１  顔画像
【図１】
2016127563.tif 000003
【図２】
2016127563.tif 000004
【図３】
2016127563.tif 000005
【図４】
2016127563.tif 000006
【図５】
2016127563.tif 000007
【図６】
2016127563.tif 000008
【図７】
2016127563.tif 000009
【図８】
2016127563.tif 000010
【図９】
2016127563.tif 000011
【図１０】
2016127563.tif 000012
【図１１】
2016127563.tif 000013
【図１２】
2016127563.tif 000014