(57)【要約】それぞれの監視カメラが画像認識手段を備え、画像認識した情報を監視カメラ同士で相互にやりとりすることにより、制御端末での画像認識に関する処理負荷が軽減でき、また、システム全体での処理負荷および処理時間を低減させることが可能な監視カメラシステムを提供する。監視対象区域内を撮影する監視カメラと、前記監視カメラで撮影した画像を表示する表示端末と、前記監視カメラを制御する制御端末と、から構成される監視カメラシステムにおいて、前記監視カメラは、自身で撮影した画像を基に画像認識し、特定の物体情報を抽出する画像解析手段と、前記画像解析手段で抽出した前記特定の物体情報を他の監視カメラとの間で相互にやり取りする情報通信手段と、を備えたことを特徴とする。
2016031720.tif 000002
【特許請求の範囲】
【請求項１】
監視対象区域内を撮影する監視カメラと、前記監視カメラで撮影した画像を表示する表示端末と、前記監視カメラを制御する制御端末と、から構成される監視カメラシステムにおいて、
前記監視カメラは、
自身で撮影した画像を基に画像認識し、特定の物体情報を抽出する画像解析手段と、
前記画像解析手段で抽出した前記特定の物体情報を他の監視カメラとの間で相互にやり取りする情報通信手段と、を備えたことを特徴とする監視カメラシステム。
【請求項２】
請求項１記載の監視カメラシステムにおいて、
前記監視カメラは、前記画像解析手段で抽出した前記所定の物体情報を前記制御端末に送信し、
前記制御端末は、前記監視カメラから送信された前記所定の物体情報を前記表示端末に通知し、
前記表示端末は、前記制御端末から通知された前記所定の物体情報を表示部に表示することを特徴とする監視カメラシステム。
【請求項３】
請求項１または２に記載の監視カメラシステムにおいて、前記監視カメラから他の監視カメラまたは前記制御端末に送信される前記所定の物体情報には、カメラＩＤ、物体検出時の特徴量、時刻情報および位置情報が含まれることを特徴とする監視カメラシステム。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで撮影した映像を基にして、画像認識技術によって、人物、車（二輪車含む）、動物などの物体の情報を抽出する監視カメラシステムに係り、特に、画像認識による処理負荷を低減することができ、また、効率の良い画像検索が可能な監視カメラシステムに関する。
【背景技術】
【０００２】
近年、画像を伝送するためのデータ量は日々増加している。２０１１年に切替わった地上デジタル放送の影響もあり、一般的に使用される画像の解像度はこれまでのアナログ解像度（720pix×480pix）からＦｕｌｌ  ＨＤ（High-Definition）解像度（1920pix×1080pix）へと変化している。また、さらに高解像度化する流れがある。
駅や空港、ビルや河川といった様々なロケーションで使用される監視カメラにおいても、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）センサの高精細化が進み、解像度は従来のアナログ解像度から飛躍的に向上した。
その一方で、監視カメラで撮影した映像から、人物、車（二輪車含む）、動物などの物体の様々な情報を検出する画像認識技術も向上している。【０００３】
従来、画像認識技術等を用いて、監視カメラ等で撮影され或いは記録された映像（動画像）の中から、所望の人物をコンピュータに検索させる人物検索システムが知られている（例えば、特許文献１乃至４参照）。このような、タグ付け等の外部情報に拠らずに画像そのものの特徴に基づいて検索する技術は、一般にＣＢＩＲ（Content-Based Image  Retrieval）と呼ばれ、人物の検索にも利用され始めている。
特許文献１は、画像から人物（の顔）が映った部分を切出し、人物を個々に特定するための特徴量として色ヒストグラム等を抽出し、この特徴量が所望の人物のものと類似する場合に同一人物であると推定する、映像検索システムおよび人物検索方法を開示している。【０００４】
ある程度の精度で同一人物であるかどうか判断できるようになると、特許文献２のように、複数の異なるカメラで異なる時刻に撮影された同じ人物を紐付けることによって、１台のカメラによる場合とは比較にならないほど広いエリアで、人物の移動を追跡できるようになり、様々な応用が提案されている。例えば、特許文献３は、撮影映像を検索して人の移動経路を特定し、その移動経路をセキュリティ管理に用いる画像セキュリティシステムを開示している。また、特許文献４は、駅ホームにおける利用者の行動が特異であるかどうかを判定する安全管理装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０２７３９３号公報
【特許文献２】特許第４７００４７７号公報
【特許文献３】特開２０１２−０６８７１７号公報
【特許文献４】特開２０１０−２０５１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図８は、従来の一般的な監視カメラシステムの構成の一例を示す図である。
従来の監視カメラシステム１００は、図８に示すように、所定の監視エリアを撮影する複数の監視カメラ１１０−１，１１０−２，・・・（以下、これら監視カメラ１１０−１，１１０−２，・・・を区別しない場合には、単に監視カメラ１１０という）と、監視カメラ１１０から送信された映像を基にして、画像認識技術によって、人物、車（二輪車含む）、動物などの物体の情報を抽出する画像認識手段を備えた制御端末１５０と、制御端末１５０で抽出した物体情報を表示する表示端末６０と、監視カメラ１１０、制御端末１５０及び表示端末６０がネットワーク回線７０を介して互いに接続された構成となっている。【０００７】
前述の通り、様々なロケーションで使用される監視カメラシステム１００では、通常、監視カメラ１１０からの映像は、無線ＬＡＮ、有線ＬＡＮ等のネットワーク回線７０やＩＰ回線や同軸ケーブルなどによって制御端末１５０に送られる。制御端末１５０では、監視カメラ１１０から送られてきた映像から、画像認識手段で、所定の物体に関する様々な情報を解析および検出し、その結果を管理者が監視を行っている表示端末６０の映像モニタへと出力する。管理者は表示される情報を用いて監視業務を行う。
このような従来の監視カメラシステム１００においては、映像を送信してくる監視カメラ１１０の台数が増えるにしたがって、情報解析を行う制御端末１５０での処理負荷がその台数に比例して増大する。また、制御端末１５０での処理負荷が増大すれば、当然処理する時間も長くなってしまい、リアルタイム性が求められる監視カメラシステム１００では、この処理の遅延が問題となっている。【０００８】
本発明は、このような従来の事情に鑑みなされたものであり、それぞれの監視カメラが画像認識手段を備え、画像認識した情報を監視カメラ同士で相互にやりとりすることにより、制御端末での画像認識に関する処理負荷が軽減でき、また、システム全体での処理負荷および処理時間を低減させることが可能な監視カメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための本発明に係る監視カメラシステムは、監視対象区域内を撮影する監視カメラと、前記監視カメラで撮影した画像を表示する表示端末と、前記監視カメラを制御する制御端末と、から構成される監視カメラシステムにおいて、前記監視カメラは、自身で撮影した画像を基に画像認識し、特定の物体情報を抽出する画像解析手段と、前記画像解析手段で抽出した前記特定の物体情報を他の監視カメラとの間で相互にやり取りする情報通信手段と、を備えたことを特徴とする。【００１０】
また、上記目的を達成するための本発明に係る上記監視カメラシステムにおいて、前記監視カメラは、前記画像解析手段で抽出した前記所定の物体情報を前記制御端末に送信し、前記制御端末は、前記監視カメラから送信された前記所定の物体情報を前記表示端末に通知し、前記表示端末は、前記制御端末から通知された前記所定の物体情報を表示部に表示することを特徴とする。【００１１】
また、上記目的を達成するための本発明に係る上記監視カメラシステムにおいて、前記監視カメラから他の監視カメラまたは前記制御端末に送信される前記所定の物体情報には、カメラＩＤ、物体検出時の特徴量、時刻情報および位置情報が含まれることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、それぞれの監視カメラが画像認識手段を備え、画像認識した情報を監視カメラ同士で相互にやりとりすることにより、制御端末での画像認識に関する処理負荷が軽減でき、また、システム全体での処理負荷および処理時間を低減させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１に係る監視カメラシステムの構成の一例を示すブロック図である。
【図２】図１に示した監視カメラ１０の映像蓄積サーバ３０の構成の一例を示すブロック図である。
【図３】図１に示した監視カメラ１０の画像解析部４０の構成の一例を示すブロック図である。
【図４】図１に示した表示端末６０の構成の一例を示すブロック図である。
【図５】図１に示した制御端末５０の構成の一例を示すブロック図である。
【図６】本発明の実施形態１に係る監視カメラシステムにおける特定人物検索処理を説明するためのタイムチャートである。
【図７】本発明の実施形態２に係る監視カメラシステムにおける監視カメラ同士で情報を共有した場合の特定人物検索処理を説明するためのタイムチャートである。
【図８】従来の一般的な監視カメラシステムの構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
＜実施形態１＞   以下、本発明の実施形態１に係る監視カメラシステムについて説明する。
本発明の実施形態１に係る監視カメラシステム１は、監視カメラが自身で撮影した画像を基に画像認識し、物体の情報を抽出する手段と、他の監視カメラとの間で相互に物体情報をやり取りする手段とを有することにより、監視カメラが、監視者から指示された、例えば、人物、またはその人物の顔、等の特定部位を、自身で撮影した画像の中から、画像認識によって情報抽出すると共に、抽出した情報を他の監視カメラと共有することで、制御端末での画像認識に関する処理負荷を軽減させると共に、監視カメラ同士が相互に物体情報をやりとりすることで、システム全体の処理負荷及び処理時間を低減させることができる。
【００１５】
〔監視カメラシステムの制御構成〕   本発明の実施形態１に係る監視カメラシステムの制御構成について、図１を参照して説明する。図１は、本発明の実施形態１に係る監視カメラシステムの構成の一例を示すブロック図である。
本発明の実施形態１に係る監視カメラシステム１は、監視カメラ１０−１，１０−２（以下、監視カメラ１０−１，１０−２を区別しない場合には、単に監視カメラ１０という）と、制御端末５０と、表示端末６０と、監視カメラ１０、制御端末５０及び表示端末６０とがネットワーク回線７０を介して互いに接続された構成となっている。
なお、図１において、図８と同様の構成については同じ部番を付している。
【００１６】
〔監視カメラの制御構成〕   図１に示すように、監視カメラ１０は、撮像部２０と、映像蓄積サーバ３０と、画像解析部４０とから構成されている。
撮像部２０は、監視対象区域内を撮影し、撮影した画像データを映像蓄積サーバ３０および画像解析部４０に出力する。
【００１７】
次に、本発明の実施形態１に係る監視カメラ１０の映像蓄積サーバ３０の構成について、図２を参照して説明する。図２は、図１に示した監視カメラ１０の映像蓄積サーバ３０の構成の一例を示すブロック図である。
映像蓄積サーバ３０は、撮像部２０に映像送信要求を送り、撮像部２０から画像データを受信して蓄積する。また蓄積した画像を、画像解析部４０等からの求めに応じて提供する。
図２に示すように、映像蓄積サーバ３０は、機能構成として、映像入力部３１、記録配信制御部３２、Ｗｅｂサーバ部３３、ストレージ３４、設定保持部３５を有する。
【００１８】
映像入力部３１は、撮像部２０との間で、画像を取得できる権限の確認を行う認証、画質等の指定を含む映像送信要求、また、画像データの取得を行う。
【００１９】
記録配信制御部３２は、大容量のキャッシュメモリを有し、ストレージ３４への画像データの書込みや読出しを管理する。記録の際は、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。撮像部２０からの画像データのストリームを、欠落することなくリアルタイムで記録しつつ読出し要求にも応える必要から、記録配信制御部３２は、画像データの書込み単位やストレージ３４上で記録配置を最適化するとともに、書込みや読出しのスケジューリングを行なう。またストレージ３４をＲＡＩＤ（Redundant  Arrays  of  Inexpensive  Disks）化するために、冗長データ（パリティ）の生成や書込みの制御を行う。複数の画像データのストリームを、複数の書込みストリームに振り分けて、それらから水平パリティ等を生成することで、パリティ生成のための読出しを要しないようにしている。
【００２０】
Ｗｅｂサーバ部３３は、画像解析部４０から画像要求を受付け、記録配信制御部３２に要求して読み出された画像データを、画像要求応答として返す。また、映像蓄積サーバ３０の稼動状態等をＷｅｂページとして提供する。
【００２１】
ストレージ３４は、複数のＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）で構成されるディスクアレイであり、映像ストリームの同時複数アクセスに適した特別のファイルシステムが用いられる。例えば、１つの画像を一意に特定できる画像ＩＤと、記録位置との対応付けを全てテーブル化すると、主記憶の容量より大きくなってしまうため、その対応付けを効率的に参照できるようにしている。記録するデータは、ＲＡＩＤコントローラにより或いは個々のドライブ毎でＡＥＳ（Advanced  Encryption  Standard）−２５６等による暗号化を施す。
【００２２】
設定保持部３５は、映像入力部３１が撮像部２０から映像を取得すべきスケジュールや、表示端末６０等への再配信のスケジュール等を記憶する。
【００２３】
次に、本発明の実施形態１に係る監視カメラ１０の画像解析部４０の構成について、図３を参照して説明する。図３は、図１に示した監視カメラ１０の画像解析部４０の構成の一例を示すブロック図である。
画像解析部４０は、図３に示すように、機能構成として、画像取得部４１、顔検出・特徴量算出部４２、顔登録・検索部４３、顔特徴量ＤＢ４４、Ｗｅｂサービス部４５、検索トリガー部４６、設定保持部４７、障害通知部４８を有する。
画像取得部４１は、撮像部２０から入力される映像や、映像蓄積サーバ３０の記録画像データを、画像取得要求等を行なうことで取得する。
【００２４】
顔検出・特徴量算出部４２は、画像取得部４１が取得した画像をフレーム毎に分割し、各フレームから人の顔と推定される領域を抽出する。推定は、基本的には肌の色や、目鼻口が検出できるかどうかにより行ない、抽出した顔領域毎に、顔の領域の重心と目鼻口の相対位置から顔の向きを更に推定する。顔領域は、所定の縦横比の矩形画像として扱われるが、四隅などの顔以外の部分（背景領域）は規定色に塗りつぶされる。次に、各顔領域について、サイズ（縦及び横の画素数）、解像度、明度及びコントラスト（ヒストグラム）等の正規化処理を行う。サイズについては複数の大きさに正規化する。次に、複数のサイズ毎に、正規化された顔領域を一定サイズのブロックに分割し、ブロック毎に色や輝度、それらの勾配やエッジ、或いは勾配やエッジのパターンのヒストグラムを求め、その結果を集約した多次元ベクトルを顔特徴量として出力する。その際、抽出する元となったフレームが有していた、撮影時刻、カメラＩＤ、画像ＩＤその他のメタデータや顔向き情報を一緒に出力する。
【００２５】
メタデータとしては、サイズ正規化時の拡大率、顔推定の確度、顔を抽出したフレーム内での位置、同じフレーム内で抽出された複数の顔のうちの何番目かを示す抽出ＩＤ、イベントの種別等を含みうる。顔推定の確度は、顔の一部に別の物体が被った場合などに０に近づく値である。イベント種別とは、取得した画像が通常録画（配信）とアラーム録画（配信）のどちらによるものかを示す情報である。なお、顔特徴量はそのままでは数千次元を有するため、他の成分と相関の高い冗長な成分を除去するものとする。また、特徴量の次元を減らすため、Linde-Buzo-Gray法などベクトル量子化の手法を用いてもよい。
【００２６】
顔登録・検索部４３は、顔検出・特徴量算出部４２で算出した特徴量を顔特徴量ＤＢ４４へ書込む（登録）ほか、読出しや検索やその他の操作を行う。特徴量は、撮影時刻、カメラＩＤ、顔画像ＩＤ、顔向き、拡大率等の属性情報を含むレコードとして登録される。登録の際、顔登録・検索部４３は特徴量をいずれかのカテゴリに分類し、そのカテゴリに対応するクラスタ（葉クラスタ）に登録する。このクラスタリングは辞書（マップ、コードブックなどとも呼ばれる）やハッシュ関数、共分散行列等を用いて多階層的に行なう。この階層クラスタリングによるデータ構造は、データマイニングの分野における多分岐の決定木と同じであり、本例でもツリーと呼ぶ。
【００２７】
辞書を使う方式として、ベクトル量子化、自己組織化写像等が知られる。辞書には、代表ベクトル（重みベクトルなどとも呼ばれる）と次に参照すべき辞書または末端クラスタ（葉クラスタ）のアドレスとの組が複数記録されており、登録対象の特徴量は、最初に最上位の辞書から全探索により最も距離の近い代表ベクトルを見つけ次の辞書に移る、ということを繰り返し、最終的に葉クラスタに到達する。葉クラスタのアドレスを指し示す辞書では、アドレスのほか、その葉クラスタが含む人物の人物ＩＤを保持する。葉クラスタは、よく類似した複数の特徴量のレコードのデータを格納する。辞書は、最も距離の近い代表ベクトルが見つかるたびに、そのクラスタ及び近隣のクラスタの代表ベクトルを僅かに修正する、ＬＢＧやＬＶＱなどと呼ばれるアルゴリズムにより更新する。なお、辞書に代えて特徴量ベクトルをLocality  Sensitive  Hashing等のハッシュ関数（識別器）でコード化したものをそのクラスタのアドレスとする方法で実現することもできる。
【００２８】
共分散行列等を使う方式は、混合分布モデルに基づくもので、登録対象の特徴量ベクトルと、平均値ベクトルや共分散行列等との行列演算により、事後確率（対数尤度、或いはマハラノビス距離の符号を負にした値）が最大のものを選択することで分類、つまり、次に参照すべき１つ下の階層のクラスタを決める。共分散行列等のパラメータを最適化するアルゴリズムとしてＥＭアルゴリズムが知られる。なお、古くから知られるｋ-ｄ ｔｒｅｅ法は、本例のような高次元ベクトルの探索には不適である。ただし、特徴量ベクトルの成分のうち、小さいサイズに正規化され抽出された成分に限るなどすれば、ツリーの上位において使用できる可能性がある。
【００２９】
各葉クラスタは、プロトタイプに対応するよう、一人の人の顔画像の分布をちょうど１つ含むサイズとなることが望ましい。葉クラスタの辞書等が保持する人物ＩＤは、上述のクラスタリングアルゴリズムによる葉クラスタの生成、分割、統合に応じて、対応付けが維持される。ただし人物ＩＤは、実際の個々の人物と１対１に対応するものとは限らず、葉クラスタのＩＤとして扱っても良い。
【００３０】
人物ＩＤをキーにした参照を高速化するため、人物ＩＤと対応する葉クラスタのアドレスを格納した人物ＩＤテーブルを設けても良い。顔画像ＩＤをキーにした参照を行ないたい場合は、顔画像ＩＤテーブルを別途設けるか、人物ＩＤテーブルに代表的な顔画像ＩＤの列を加える。いずれにしても、映像蓄積サーバ３０の映像から検出されうる全ての顔が顔特徴量ＤＢ４４に登録されているわけではないので、顔画像ＩＤによる検索は完全ではない。つまり、任意のフレームに映った顔をキーにして検索したい場合は、そのフレームから（再度）特徴量を抽出することになる。
【００３１】
特徴量の検索の方法は、登録と似ており、顔登録・検索部４３は、与えられた特徴量をキーに、最上位のクラスタから順次、最近傍探索（ＮＮＳ：Nearest  neighbor  search）を行ない、葉クラスタでは各レコードの特徴量とキー特徴量とのマンハッタン距離をそれぞれ求める線形（総当り）探索を行い、所望の類似度あるいは所望の数のレコードを得る。なお、葉クラスタに至るまでの複数の分類階層のどこかで１回だけ最近傍ではなく２番目に近いクラスタを選択すると、最大で階層数個の葉クラスタにたどり着く。これらの中で線形探索を行なうようにすると検索漏れを削減できる。なお、葉クラスタのサイズが、一人の人の特徴量の分布より小さくなるようにしていれば、葉クラスタでの検索は不要である。
【００３２】
顔特徴量ＤＢ４４は、末端のクラスタが含むレコードのデータを、多階層のクラスタ化の構造（ツリー）の情報を保って保持する、ＨＤＤ等の記録媒体である。また、辞書やハッシュ関数、共分散行列等のパラメータ及びそのパラメータを最適化するアルゴリズムが使用する数値（計算途中の値など）も保持するほか、適宜、人物ＩＤテーブル、最終検索日時リスト、ブラックリスト等も保持する。これらツリー情報やパラメータや数値並びにリスト類は、運用中においてはメモリに全てキャッシュされる。また末端のクラスタは、連続して読み出せる記録位置（セクター）に配置される。これにより、少なくとも検索時は、１件の検索に対し１回のシークしか発生しない。顔特徴量ＤＢ４４のレコードは、基本的には新規登録のみである。顔特徴量ＤＢ４４は内部的には複数の分割ＤＢ（これまで述べたクラスタ化とは異なる）から構成され、ある分割ＤＢの容量が上限に達したときは、最も古い分割ＤＢを初期化してそれを新たな登録先とするローテーションにより運用する。分割ＤＢの時間的系列を世代と呼ぶ。また拡大率、顔向き等に応じて、さらに分割して構成してもよい。
【００３３】
Ｗｅｂサービス部４５は、表示端末６０からの検索要求、画像要求、或いは制御端末５０からの監視カメラ１０の画像解析部４０の設定情報等を受信し、それに対する処理結果をＷｅｂページ等のデータで応答することで検索アプリケーションを体現する。検索要求には、特定人物検知要求（短期検索要求）、キー指定検索要求、ブラックリスト照合要求、イベント検索要求、及びそれらの組合せがあり、それらを受信すると、それらが含んでいた検索条件の情報（キーとする特徴量に対応する顔画像ＩＤ等）を顔登録・検索部４３に渡す。そして顔登録・検索部４３から受取った検索結果を元に、Ｗｅｂページ（表示画面）データを生成して、表示端末６０への応答とする。検索結果は、複数の顔画像を格子状に並べたタイル表示等として提供され、各顔画像は顔画像ＩＤに基づく映像蓄積サーバ３０でのアドレス（ＵＲＩ）をＷｅｂページ中に記述することで、表示端末６０に取得させ、また顔画像ＩＤそのものや人物ＩＤ等を併せて記述することで、表示端末６０がそれら検索結果中の顔をキーにした新たな検索要求をできるようにする。
【００３４】
検索トリガー部４６は、適切な時間間隔で自動的に特定人物検知を行なうよう顔登録・検索部４３を制御する。検索トリガー部４６は、現在日時と照合して適切な検索条件を顔登録・検索部４３に与える。
【００３５】
設定保持部４７は、画像解析部４０で必要な各種設定や、ログインできるユーザの情報等を保持する。障害通知部４８は、画像解析部４０で生じた障害を、ＳＮＭＰ（Simple  Network  Management  Protocol）トラップ等で制御端末５０に通知する。
【００３６】
〔表示端末の制御構成〕   次に、本発明の実施形態１に係る監視カメラシステムの表示端末６０の構成について、図４を参照して説明する。図４は、図１に示した表示端末６０の構成の一例を示すブロック図である。
表示端末６０は、図４に示すように、Ｗｅｂブラウザの機能を有するＰＣ（パーソナルコンピュータ）であり、監視カメラ１０の画像解析部４０や映像蓄積サーバ３０に対して検索要求や画像要求を送信し、その応答として受取ったＷｅｂページ等を表示する。検索要求制御部６２、検索結果表示処理部６３、検索条件指定処理部６４、サーバ状態表示処理部６５の機能は、ＷｅｂブラウザおよびＷｅｂページが含むjavascript（商標）やActive X（商標）や.Net Frameworks（商標）のコンポーネント等で実現され、映像表示処理部６１はDirectshow（商標）等で実現される。表示端末６０は、一般的な監視カメラシステムの表示端末と同様の機能を有しても良い。つまり任意の監視カメラ１０を指定して、ＭＲＣＰ（Media  Resource  Control  Protocol）等のプロトコルにより、映像蓄積サーバ３０からライブ映像あるいは記録映像を取得して表示することができる。
【００３７】
〔制御端末の制御構成〕   次に、本発明の実施形態１に係る監視カメラシステムの制御端末５０の構成について、図５を参照して説明する。図５は、図１に示した制御端末５０の構成の一例を示すブロック図である。
制御端末５０は、本例の監視カメラシステムに対して、外部媒体の映像を取り込ませたり、或いは録画映像のバックアップを行なったりするため、一般的なＰＣ（パーソナルコンピュータ）である。外部媒体Ｉ／Ｆ５１はＤＶＤドライブ、或いはＵＳＢ（商標）等の任意の外付け媒体を接続可能なインターフェースである。フォーマット変換部５２は、外部媒体Ｉ／Ｆ５１等から取り込んだ映像やＤＢを監視カメラシステムのフォーマットに合致するよう変換する。
【００３８】
ファイル部５３は、外部媒体Ｉ／Ｆ５１等から取り込んだ或いはフォーマット変換後の映像等を保持する記憶装置である。アップロード部５４は、監視カメラ１０の画像解析部４０や映像蓄積サーバ３０とファイル部５３との間で、ネットワーク回線７０を介してＦＴＰプロトコル等によりファイルを伝送する。例えば、他の監視カメラ１０から取得した特定人物に関する特徴量および閾値を画像解析部４０にアップロードし、画像解析部４０の顔特徴量ＤＢ４４とマージさせたり、顔特徴量ＤＢ４４のスナップショットをファイル部５３にダウンロードしたりする。
外部ＤＢ Ｉ／Ｆ５５は、ＯＤＢＣやＪＥＴデータベースエンジン等であり、ネットワーク上の任意のサーバにアクセスし、データを入出力できる。例えば、他の地域に設置された同様の監視カメラシステムの特定人物に関する特徴量および閾値を互いに連携させる場合に使用する。
【００３９】
ネットワーク回線７０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等で構築されたプライベートネットワークであり、様々な拠点に設置されうる監視カメラ１０の映像蓄積サーバ３０から制御端末５０までの各装置を接続する。ネットワーク回線７０は、単一のコリジョンドメインのネットワークに限定されない。監視カメラ１０の画像解析部４０などは、ＰａａＳやＩａａＳ等のクラウドコンピューティングインフラを利用して構築されうる。
【００４０】
〔監視カメラシステムにおける特定人物検索処理〕   次に、本発明の実施形態１に係る監視カメラシステムにおける特定人物検索処理について、図６を参照して説明する。図６は、本発明の実施形態１に係る監視カメラシステムにおける特定人物検索処理を説明するためのタイムチャートである。
本発明の実施形態１に係る監視カメラシステムの監視カメラ１０−１および１０−２は、それぞれ画像認識機能を用いて人物の特定を行う画像解析部４０を有する。人物の特定方法については、特開２０１３−２４２７１９号公報などに開示されている既存の技術を使用してもよい。
この時、監視カメラ１０−１および１０−２は、画像認識機能を用いて抽出した人物に関する特徴量(顔情報／服装／歩行速度などの付加情報)と監視カメラ１０を特定するカメラＩＤ／位置情報／時刻情報を監視カメラ１０間で通信し、情報を共有する。監視カメラ１０間の通信方法は、ＩＰパケットによる通信、または専用線(同軸／シリアルなど)を用いて行う。
【００４１】
図６に示すように、ステップＳ１０１において、制御端末５０は、監視カメラ１０−１に対して、特定人物に関する特徴量および当該特徴量の閾値(マッチング率)を送信する。
ステップＳ１０２において、監視カメラ１０−１は、監視カメラ１０−２等の他の監視カメラ１０に対して、制御端末５０から伝送された特定人物に関する特徴量および当該特徴量の閾値の情報を送信する。
【００４２】
ステップＳ１０３において、各監視カメラ１０は、自身で撮影した画像について、受信した特定人物に関する情報にマッチングする人物を画像認識によって解析を行う。
ステップＳ１０４において、監視カメラ１０−１および１０−２で人物検出を行った結果、制御端末５０から送信された閾値を超えた人物を監視カメラ１０−１で検出した場合、監視カメラ１０−１では、画像解析部４０が、一旦、顔特徴量ＤＢ４４に特定人物情報として蓄積し（ステップＳ１０５）、制御端末５０および監視カメラ１０−２に対して、カメラＩＤ／各種検出時の特徴量／時刻情報／位置情報を送信する（ステップＳ１０６）。《※ここでは、監視カメラ１０−１で特定人物を検出したと仮定する。》
【００４３】
ステップＳ１０７において、監視カメラ１０−１から特定人物情報を受信した制御端末５０は、検出結果を管理者が監視している表示端末６０に対して通知する。一方、監視カメラ１０−１から特定人物情報を受信した監視カメラ１０−２は、検出結果を画像解析部４０の顔特徴量ＤＢ４４に登録する（ステップＳ１０８）。
ステップＳ１０９において、表示端末６０は、監視カメラ１０−１から通知された特定人物情報を図示していない表示部に表示する。
ステップＳ１１０において、表示端末６０では、管理者からの操作指示により、監視カメラ１０−１からの位置情報／時刻情報などを元に近接する監視カメラ(ここでは、監視カメラ１０−２)に制御信号を送信し、特定人物の追跡を行うなど、管理者として処理を実行する。
【００４４】
以上説明したように、本発明の実施形態１に係る監視カメラシステムによれば、それぞれの監視カメラが画像認識手段を備え、画像認識した情報を監視カメラ同士で相互にやりとりすることにより、制御端末での画像認識に関する処理負荷が軽減でき、また、システム全体での処理負荷および処理時間を低減させることができる。
【００４５】
＜実施形態２＞   以下、本発明の実施形態２に係る監視カメラシステムについて説明する。
本発明の実施形態２に係る監視カメラシステムは、本発明の実施形態１に係る監視カメラシステムと制御構成は同様であるが、以下に説明する人物特定処理が異なる。
【００４６】
〔監視カメラシステムにおける特定人物検索処理〕   次に、本発明の実施形態２に係る監視カメラシステムにおける特定人物検索処理について、図７を参照して説明する。図７は、本発明の実施形態２に係る監視カメラシステムにおける監視カメラ同士で情報を共有した場合の特定人物検索処理を説明するためのタイムチャートである。
【００４７】
図７に示すように、ステップＳ２０１において、制御端末５０は、監視カメラ１０−１に対して、特定人物に関する特徴量および当該特徴量の閾値(マッチング率)を送信する。
ステップＳ２０２において、監視カメラ１０−１は、監視カメラ１０−２等の他の監視カメラ１０に対して、制御端末５０から伝送された特定人物に関する特徴量および当該特徴量の閾値の情報を送信する。
【００４８】
ステップＳ２０３において、各監視カメラ１０は、自身で撮影した画像について、受信した特定人物に関する情報にマッチングする人物を画像認識によって解析を行う。
ステップＳ２０４において、監視カメラ１０−１および１０−２で人物検出を行った結果、制御端末５０から送信された閾値を超えた人物を監視カメラ１０−１で検出した場合、監視カメラ１０−１では、画像解析部４０が、一旦、顔特徴量ＤＢ４４に特定人物情報として蓄積し（ステップＳ２０５）、制御端末５０および監視カメラ１０−２に対して、カメラＩＤ／各種検出時の特徴量／時刻情報／位置情報を送信する（ステップＳ２０６）。《※ここでは、監視カメラ１０−１で特定人物を検出したと仮定する。》
【００４９】
ステップＳ２０７において、監視カメラ１０−１から特定人物情報を受信した制御端末５０は、検出結果を管理者が監視している表示端末６０に対して通知する。一方、監視カメラ１０−１から特定人物情報を受信した監視カメラ１０−２は、検出結果を画像解析部４０の顔特徴量ＤＢ４４に登録する（ステップＳ２０８）。
ステップＳ２０９において、表示端末６０は、監視カメラ１０−１から通知された特定人物情報を図示していない表示部に表示する。
ステップＳ２１０において、一方、監視カメラ１０−１から特定人物情報を受信した制御端末５０は、特定人物を検出した監視カメラ１０−１以外の監視カメラ(ここでは、監視カメラ１０−２)に対して、特徴量の更新を行うか否かの判定を行う。具体的には、ステップＳ２０１で伝送したデータ（特定人物に関する特徴量および当該特徴量の閾値）を保持するか、または、監視カメラ１０−１が抽出した特徴量を、今後の処理として使用するかどうかを判定する。
ここで、制御端末５０は、判断結果が「ＹＥＳ」の場合には、ステップＳ２１１に処理を進めて、監視カメラ１０−１へ特徴量の更新指示を送信し、判断結果が「ＮＯ」の場合には、処理を終了する。
ステップＳ２１２において、監視カメラ１０−１は、他の監視カメラ１０−２へ特徴量の更新指示を送信することで、他の監視カメラ１０との情報共有が為される。
これは、ステップＳ２０１で制御端末５０が送信した特徴量が必ずしも正確でない場合を想定している。このような場合には、監視カメラ１０−１で検出した特定人物に関する特徴量を用いて、その後、特定人物検出を行うことが望ましい。
【００５０】
ステップＳ２１１およびＳ２１２により、制御端末５０から新しい特徴量を受信した監視カメラ１０−１および１０−２は、画像認識による特定人物の解析を新たな特徴量で実施する（ステップＳ２１３およびＳ２１４）。
ステップＳ２１５において、制御端末５０から送信された新たな閾値を超えた人物を監視カメラ１０−２が検出した場合には、監視カメラ１０−２では、画像解析部４０が、一旦、顔特徴量ＤＢ４４に特定人物情報として蓄積し（ステップＳ２１６）、制御端末５０および監視カメラ１０−１に対して、カメラＩＤ／各種検出時の特徴量／時刻情報／位置情報を送信する（ステップＳ２１７）。《※ここでは、監視カメラ１０−２で特定人物を検出したと仮定する。》
【００５１】
ステップＳ２１８において、監視カメラ１０−２から特定人物情報を受信した制御端末５０は、検出結果を管理者が監視している表示端末６０に対して通知する。一方、監視カメラ１０−２から特定人物情報を受信した監視カメラ１０−１は、検出結果を画像解析部４０の顔特徴量ＤＢ４４に登録する（ステップＳ２１９）。
ステップＳ２２０において、表示端末６０は、監視カメラ１０−２から通知された特定人物情報を図示していない表示部に表示する。
ステップＳ２２１において、表示端末６０では、管理者からの操作指示により、監視カメラ１０−２からの位置情報／時刻情報などを元に近接する監視カメラ(※ここでは、監視カメラ１０−１)に制御信号を送信し、特定人物の追跡を行うなど、管理者として処理を実行する。
【００５２】
以上説明したように、本発明の実施形態２に係る監視カメラシステムによれば、それぞれの監視カメラが画像認識手段を備え、画像認識した情報を監視カメラ同士で相互にやりとりすることにより、制御端末での画像認識に関する処理負荷が軽減でき、また、システム全体での処理負荷および処理時間を低減させることができる。
【００５３】
＜実施形態３＞   以下、本発明の実施形態３に係る監視カメラシステムについて説明する。
本発明の実施形態３に係る監視カメラシステムは、本発明の実施形態１に係る監視カメラシステムに対し、以下の内容が異なる。（１）各監視カメラ１０において、パン、チルトおよびズームなどの機能を有した監視カメラを用いる場合、指定された特定人物情報を検出した監視カメラから他の監視カメラが位置情報／時刻情報を受信した場合、受信した監視カメラは位置情報から指定された情報を検出しやすくするために、自身の向きなどを自動で制御してもよい。
具体的には、監視カメラ１０−１が特定人物情報を検出し、その監視カメラ１０−１が通路の入り口を撮影している場合で、かつ監視カメラ１０−２が通路の出口付近を撮影している場合には、特定人物情報を共有した監視カメラ１０−２は向きを通路出口付近に向け、かつピントを合わせるなどの処理を行う。
【００５４】
以上説明したように、本発明の実施形態３に係る監視カメラシステムによれば、それぞれの監視カメラが画像認識手段を備え、画像認識した情報を監視カメラ同士で相互にやりとりすることにより、制御端末での画像認識に関する処理負荷が軽減でき、また、システム全体での処理負荷および処理時間を低減させることができる。
【００５５】
なお、上記した各実施形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【産業上の利用可能性】
【００５６】
本発明は、監視カメラで撮影した映像を基にして、画像認識技術によって、人物、車（二輪車含む）、動物などの移動物体の情報を抽出する監視カメラシステムに係り、特に、画像認識による処理負荷を低減することができ、また、効率の良い画像検索が可能な幅広い監視カメラシステムに応用可能である。
【符号の説明】
【００５７】
１：監視カメラシステム、１０，１０−１，１０−２：監視カメラ、２０：撮像部、３０：映像蓄積サーバ、３１：映像入力部、３２：記録配信制御部、３３：Ｗｅｂサーバ部、３４：ストレージ、３５：設定保持部、４０：画像解析部、４１：画像取得部、４２：顔検出・特徴量算出部、４３：顔登録・検索部、４４：顔特徴量ＤＢ、４５：Ｗｅｂサービス部、４６：検索トリガー部、４７：設定保持部、４８：障害通知部、５０：制御端末、５１：外部媒体Ｉ／Ｆ、５２：フォーマット変換部、５３：ファイル部、５４：アップロード部、５５：外部ＤＢ Ｉ／Ｆ、６０：表示端末、６１：映像表示処理部、６２：検索要求制御部、６３：検索結果表示処理部、６４：検索条件指定処理部、６５：サーバ状態表示処理部、６６：設定保持部、７０：ネットワーク回線、１００：監視カメラシステム、１１０，１１０−１，１１０−２：監視カメラ、１５０：制御端末。  
【図１】
2016031720.tif 000003
【図２】
2016031720.tif 000004
【図３】
2016031720.tif 000005
【図４】
2016031720.tif 000006
【図５】
2016031720.tif 000007
【図６】
2016031720.tif 000008
【図７】
2016031720.tif 000009
【図８】
2016031720.tif 000010
【手続補正書】
【提出日】平成29年1月25日(2017.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
監視対象区域内を撮影する監視カメラと、前記監視カメラで撮影した画像を表示する表示端末と、前記監視カメラを制御する制御端末と、から構成される監視カメラシステムにおいて、
前記監視カメラは、
自身で撮影した画像を基に画像認識し、特定の物体情報を抽出する画像解析手段と、
前記画像解析手段で抽出した前記特定の物体情報を他の監視カメラとの間で相互にやり取りする情報通信手段と、を備え、
前記画像解析手段は、
前記監視カメラは、画像認識機能を用いて抽出した前記特定の物体情報に関する特徴量と前記監視カメラを特定するカメラＩＤ／位置情報／時刻情報を前記監視カメラ間で通信し、情報を共有すると共に、
前記制御端末は、前記監視カメラに対して、前記特定の物体情報に関する特徴量および前記特徴量のマッチング率を送信し、前記監視カメラは、前記他の監視カメラに対して、前記制御端末から伝送された前記特定の物体情報に関する特徴量および前記特徴量のマッチング率の情報を送信し、
前記各監視カメラは、自身で撮影した画像について受信した前記特定の物体情報にマッチングする人物を画像認識によって解析し、
前記監視カメラから前記特定の物体情報を受信した前記制御端末は、検出結果を管理者が監視している前記表示端末に対して通知し、
前記監視カメラから前記特定の物体情報を受信した前記他の監視カメラは、検出結果を前記画像解析手段の顔特徴量ＤＢに登録し、
前記表示端末は、前記監視カメラから通知された前記特定の物体情報を表示すると共に、管理者からの操作指示により前記監視カメラからの位置情報／時刻情報を元に近接する前記監視カメラに制御信号を送信して前記特定の物体情報に基づく追跡を行うことを特徴とする監視カメラシステム。
【請求項２】
請求項１記載の監視カメラシステムにおいて、
前記監視カメラから前記特定の物体情報を受信した前記制御端末は、前記特定の物体情報を検出した前記監視カメラ以外の前記他の監視カメラに対して、前記特徴量の更新を行うか否かの判定を行い、伝送した前記特定の物体情報に関する前記特徴量および前記特徴量のマッチング率を保持するか、または前記監視カメラが抽出した前記特徴量を今後の処理として使用するかどうかを判定し、
前記制御端末は、判断結果が「ＹＥＳ」の場合には前記監視カメラへ前記特徴量の更新指示を送信し、判断結果が「ＮＯ」の場合には処理を終了し、
前記監視カメラは、前記他の監視カメラへ前記特徴量の更新指示を送信することで前記他の監視カメラとの情報共有を行い、
前記制御端末から送信された新たなマッチング率を超えた物体を前記監視カメラが検出した場合には、前記画像解析手段が前記顔特徴量ＤＢに前記特定の物体情報として蓄積し、前記制御端末および前記他の監視カメラに対して各種検出時の特徴量／カメラＩＤ／位置情報／時刻情報を送信することを特徴とする監視カメラシステム。
【請求項３】
請求項１または２に記載の監視カメラシステムにおいて、
パン、チルトおよびズームの機能を有した前記監視カメラを用いる場合、指定された前記特定の物体情報を検出した前記監視カメラから前記他の監視カメラが位置情報／時刻情報を受信した場合、受信した前記監視カメラは位置情報から指定された情報を検出しやすくするために、自身の向きを自動で制御することを特徴とする監視カメラシステム。
【国際調査報告】
2016031720.tif 000011
2016031720.tif 000012
2016031720.tif 000013
2016031720.tif 000014