(57)【要約】【課題】ビデオカメラが撮影した画像に各種の画像処理を施して記録し、その記録画像の検索を高速に行えるようにした監視システムを提供する。【解決手段】監視システムは、処理装置１００、監視ビデオカメラ１２０、表示装置１２１、入力装置１２２から構成されている。処理装置１００は監視ビデオカメラ１２０で撮影された画像から、顔画像やモーション画像を抽出し、時刻情を付して記録する。また、処理装置１００は入力装置１２２からの、時刻情報をキーとした検索要求情報に基づいて、画像検索を実行し、表示装置１２１に検索結果の顔画像やモーション画像を表示する。【選択図】  図１
2004282675.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラと、表示装置と、第１の記憶装置と、前記ビデオカメラが撮影した画像から人物の顔画像を抽出し、この顔画像毎に時刻情報を付与して前記第１の記憶装置に記録すると共に、この顔画像をその時刻情報と共に前記表示装置に転送するコントローラと、を有することを特徴とする監視システム。
【請求項２】
前記コントローラに検索要求情報を入力するための入力装置を有することを特徴とする請求項１記載の監視システム。
【請求項３】
前記コントローラは前記入力装置から入力された検索要求情報に応じて、前記時刻情報が付与されて前記第１の記憶装置に記録された顔画像の検索を行い、その検索された顔画像を前記表示装置に表示することを特徴とする請求項１記載の監視システム。
【請求項４】
前記コントローラによって検索された顔画像を、ネットワーク又は外部通信装置に転送するためのインターフェース装置を有することを特徴とする請求項１記載の監視システム。
【請求項５】
複数の人物の顔画像が人物プロフィール情報と共に記録された第２の記憶装置を有し、前記コントローラは、前記第１の記憶装置に記録された顔画像と、前記第２の記憶装置に記録された複数の人物の顔画像とを照合することを特徴とする請求項１記載の監視システム。
【請求項６】
前記コントローラは、前記第１の記憶装置に記録された顔画像が、前記第２の記憶装置に記録された複数の人物の顔画像のいずれかと一致した場合には、該当する人物プロフィール情報、又は該当する人物プロフィール情報と共に警報情報を前記表示装置に転送することを特徴とする請求項５記載の監視システム。
【請求項７】
前記コントローラは、前記第１の記憶装置に記録された顔画像が、前記第２の記憶装置に記録された複数の人物の顔画像のいずれとも一致しない場合には、その旨を知らせる情報、又はその旨を知らせる情報と共に警報情報を前記表示装置に転送することを特徴とする請求項５記載の監視記録システム。
【請求項８】
前記コントローラ及び前記第１の記憶装置が１つの筐体内に収納されたことを特徴とする請求項１に記載の監視システム。
【請求項９】
前記コントローラ、前記第１の記憶装置及び前記インターフェース装置が１つの筐体内に収納されたことを特徴とする請求項４記載の監視記録システム。
【請求項１０】
ビデオカメラと、表示装置と、第１の記憶装置と、前記ビデオカメラが所定時間間隔で撮影した背景画像に時刻情報を付与して前記第１の記憶装置に記録し、前記ビデオカメラが撮影した画像の動きを検出し、時刻情報を付与しモーション画像として前記第１の記憶装置に記録し、さらに前記ビデオカメラが撮影した画像から人物の顔画像、又は人物画像を検出してこれを抽出し、時刻情報を付与し顔画像又は人物画像として前記第１の記憶装置に記録すると共に、前記背景画像、モーション画像、顔画像又は人物画像を時刻情報と共に、前記表示装置に時系列的に転送するコントローラと、を有することを特徴とする監視システム。
【請求項１１】
前記コントローラは、前記背景画像、モーション画像及び顔画像又は人物画像を前記表示装置に逐次表示することを特徴とする請求項１０記載の監視システム。
【請求項１２】
前記コントローラに検索要求情報を入力するための入力装置を有することを特徴とする請求項１０記載の監視システム。
【請求項１３】
前記コントローラは前記入力装置から入力された検索要求情報に応じて、前記時刻情報が付与されて前記第１の記憶装置に記録された、モーション画像、顔画像又は人物画像の検索を行い、その検索されたモーション画像、顔画像又は人物画像を前記表示装置の検索表示領域に表示することを特徴とする請求項１０記載の監視システム。
【請求項１４】
前記コントローラによって検索されたモーション画像、顔画像を、ネットワーク又は外部通信装置に転送するためのインターフェース装置を有することを特徴とする請求項１０記載の監視システム。
【請求項１５】
複数の人物の顔画像が人物プロフィール情報と共に記録された第２の記憶装置を有し、前記コントローラは、前記第１の記憶装置に記録された顔画像と、前記第２の記憶装置に記録された複数の人物の顔画像とを照合することを特徴とする請求項１０記載の監視システム。
【請求項１６】
前記コントローラは、前記第１の記憶装置に記録された顔画像が、前記第２の記憶装置に記録された複数の人物の顔画像のいずれかと一致した場合には、該当する人物プロフィール情報、又は該当する人物プロフィール情報と共に警報情報を前記表示装置に転送することを特徴とする請求項１５記載の監視システム。
【請求項１７】
前記コントローラは、前記第１の記憶装置に記録された顔画像が、前記第２の記憶装置に記録された複数の人物の顔画像のいずれとも一致しない場合には、その旨を知らせる情報、又はその旨を知らせる情報と共に警報情報を前記表示装置に転送することを特徴とする請求項１５記載の監視システム。
【請求項１８】
前記コントローラ及び前記第１の記憶装置が１つの筐体内に収納されたことを特徴とする請求項１０に記載の監視システム。
【請求項１９】
前記コントローラ、前記第１の記憶装置及び前記インターフェース装置が１つの筐体内に収納されたことを特徴とする請求項１４記載の監視システム。
【請求項２０】
前記コントローラによって制御された録音装置を有することを特徴とする請求項１０記載の監視システム。
【請求項２１】
前記コントローラは、前記ビデオカメラが撮影した画像の動きを検出した時に、一定時間だけ前記録音装置の録音動作をさせることを特徴とする請求項２０記載の監視システム。
【請求項２２】
前記コントローラは、前記ビデオカメラによる背景画像の撮影に同期して前記録音装置の録音動作させることを特徴とする請求項２０記載の監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラと、ビデオカメラで撮影した画像を処理するコントローラを備えた監視システムに関する。
【０００２】
【従来の技術】
金融機関やＡＴＭを設置したコンビニエンスストアなどでは、各種取引を行う利用者を撮影する監視用のビデオカメラが備わっている。またこの監視カメラには、撮影した映像データを録画するためのビデオ等の記録装置が備わっており、例えば記録制御の方式としてタイムラプス方式が主流となっている。このタイムラプス方式の記録制御は、通常の動画記録を行う他に、例えば数秒や数分に１フレームといった記録モードを実行可能とする。この記録モードで撮影した画像を記録した場合、再生画像が駒落ちされた如き画像になる。しかしその一方で記録媒体毎の記録時間が長時間化でき、効率的なシステム運営が可能となる。
【０００３】
【特許文献１】特開平１１−９８４５５号公報
【０００４】
【特許文献２】特開２００１−２５６４９６号公報（Ｐ２００１−２５６４９６Ａ）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のビデオカメラを用いた監視システムでは、不審人物の存在の有無を確認するために、記録装置に記録されたすべての記録画像を再生しなければならなかったため、その確認作業に長時間を要していた。特に、ビデオカメラが撮影した人物の顔は、記録画像中に含まれているため、それを探し出し、確認や照合するのに手間がかかっていた。
【０００６】
【課題を解決するための手段】
そこで、本発明はビデオカメラが撮影した画像に各種の画像処理を施して記録し、その記録画像の検索を高速に行えるようにした監視システムを提供するものである。
【０００７】
本発明の監視システムは、ビデオカメラ、コントローラ、ハードディスク等の記憶装置、ＬＣＤ等の表示装置を備えている。コントローラと記憶装置は処理装置として１つのボックスに収納することができる。また、マウスやキーボード等の入力装置を設け、コントローラに接続してもよい。
【０００８】
コントローラは、３つの処理を行う。第１の処理は、ビデオカメラが所定時間間隔で撮影した背景画像を記憶装置に記録する処理である。また、第２の処理は、ビデオカメラが撮影した画像の動きを検出し、モーション画像として記憶装置に記録する処理である。第３の処理は、ビデオカメラが撮影した画像から人物の顔画像、又は人物画像を検出してこれを抽出し、顔画像又は人物画像として記憶装置に記録する処理である。これら３つの画像処理は互いに独立に行われる。
【０００９】
そして、コントローラは、記憶装置に記録された背景画像、モーション画像、顔画像又は人物画像を表示装置に時系列的に転送し、それらの表示を行う。
【００１０】
また、コントローラは、外部から入力される検索要求情報に応じて、記憶装置に記録された顔画像、モーション画像、顔画像又は人物画像の検索を行い、その検索されたモーション画像、顔画像又は人物画像を表示装置に表示する。この検索要求情報は入力装置からコントローラに入力することができる。
【００１１】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照しながら詳細に説明する。図１は本実施形態の監視システムのシステム構成図である。
【００１２】
この監視システムは、処理装置１００、監視ビデオカメラ１２０、表示装置１２１、入力装置１２２等から構成されている。
【００１３】
処理装置１００は、中央演算装置としてのコントローラ１０１、各種記憶手段やインターフェイス装置、および各機能部から構成されるコンピュータである。勿論、コンピュータ内の各部はデータ経路としてのバスが結んでいる。
【００１４】
金融機関や事業所等の所定領域を撮影し続ける監視ビデオカメラ１２０のビデオ出力からは、撮影画像であるビデオデータが出力され、これをインターフェイス装置１０２を介して受けたコントローラ１０１が第１の記憶装置１０３または作業用メモリ（不図示）に格納する。
【００１５】
第１の記憶装置１０３または作業用メモリに格納されたビデオデータは、コントローラ１０１により顔画像が検出され、その顔画像の抽出、すなわち、切り取り処理がなされる。この切り取り処理は、ビデオデータから肌色を示す領域を検出し、この検出された肌色領域の画像が前向き顔画像であることを判別する処理から構成される。これらの処理に際しては各種パラメータ等の参照用の情報を格納した参照データベース１０４が利用される。そして、コントローラ１０１は、顔画像の画質補正（輝度信号と色差信号の補正、ピンぼけ等の補正）を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して第１の記憶装置１０３の所定記憶領域に格納する。ここで、時刻情報は、顔画像が抽出された画像が撮影された時刻（年月日と時分秒）の情報である。
【００１６】
コントローラ１０１が検出した顔画像には、前向き顔画像や横向き顔画像など様々な向きの顔画像が含まれる。そこで、コントローラ１０１は、顔画像の左右対称に基づいて、前向き顔画像を判別し、これを第１の記憶装置１０３の所定記憶領域に格納するようにしてもよい。これは、後述する顔画像照合に利用することができる。
【００１７】
上記処理に加えて、コントローラ１０１は、第１の記憶装置１０３または作業用メモリに格納されたビデオデータから、人物画像を検出して、その顔画像の切り取り処理を行い、同様に、人物画像の画質補正を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して第１の記憶装置１０３の所定記憶領域に格納するようにしてもよい。これは、顔画像が小さくてそれと判別できない場合でも、画像中に少なくとも人物が存在することを判別できる点で有効である。
【００１８】
また、コントローラ１０１は、監視ビデオカメラ１２０からインターフェイス装置１０２を介して受けた撮影画像の動きを検出する。この動き検出には、ビデオデータの動きの量を検出する一般的な画像処理手法を用いることができる。画像の動きを検出したコントローラ１０１は、インターフェイス装置１０２を介して、監視ビデオカメラ１２０が検出の直後に静止画像を所定回数（例えば、３回）だけ、あるいは動画を所定時間（例えば、５秒）だけ撮影するように制御する。監視ビデオカメラ１２０のビデオ出力から、この撮影画像であるビデオデータが出力され、インターフェイス装置１０２を介してコントローラ１０１に入力される。コントローラ１０１は、その撮影画像の画質補正を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して、モーション画像として、第１の記憶装置１０３の所定記憶領域に格納する。ここで、時刻情報は、画像の動きが検出された時刻（年月日と時分秒）の情報である。なお、コントローラ１０１は、監視ビデオカメラ１２０からのビデオデータを第１の記憶装置１０３または作業用メモリに格納し、そのビデオデータに対して動きの検出を行うようにしてもよい。
【００１９】
また、コントローラ１０１は、インターフェイス装置１０２を介して監視ビデオカメラ１２０が所定時間間隔（例えば、３０秒）で静止画像を撮影するように制御する。監視ビデオカメラ１２０のビデオ出力からは、静止画像であるビデオデータが出力され、これをインターフェイス装置１０２を介してコントローラ１０１に入力される。コントローラ１０１は、その静止画像の画質補正を行った後に、そのシステムクロック１０５から取得した時刻情報を付与して、背景画像として、第１の記憶装置１０３に格納する。ここで、時刻情報は、画像が撮影された時刻（年月日と時分秒）の情報である。
【００２０】
こうして、第１の記憶装置１０３には、背景画像、モーション画像、顔画像、人物画像がそれぞれ時刻情報を付与されて格納される。勿論、これら３種類の画像はそれぞれ別々の記憶装置に格納してもよい。また、第１の記憶装置１０３は例えば、ハードディスクで構成することができる。
【００２１】
そして、コントローラ１０１は、これら３種類の画像をそれらに伴う時刻情報と共に、インターフェイス装置１０６を介して、表示装置１２１に転送し、後述する表示装置１２１の画面に、逐次表示する。この逐次表示はリアルタイム表示であるが、表示領域が限られているため、古い画像は新しい画像に常に更新される。
【００２２】
この監視システムは上記の画像処理・記録機能に加えて、画像検索表示機能を備えている。コントローラ１０１は、マウスやキーボードのような入力装置１２２から、インターフェイス装置１０７を介して入力された、時刻情報をキーとする検索要求情報に応じて、時刻情報が付与されて第１の記憶装置１０３に記録された、モーション画像、顔画像又は人物画像の検索を行い、その検索されたモーション画像、顔画像又は人物画像を、インターフェイス装置１０６を介して、表示装置１０１に転送し、表示装置１０１に表示する。これらの表示装置１０１上の画面構成については、後述する。
【００２３】
また、この監視システムは、上記の画像記録機能に加えて、音声記録機能を備えてもよい。コントローラ１０１によってオンオフ制御された、マイク等の集音装置１２３の音声出力からは、音声データが出力され、インターフェ−ス１０２を介して入力され、録音装置１０８に録音される。録音装置１０８は第１の記憶装置１０３でも代用できる。また、コントローラ１０１が、監視ビデオカメラ１２０が撮影した画像の動きを検出した時に、一定時間（例えば、３０秒間）だけ集音装置１２３、録音装置１０８の録音動作をさせるように制御してもよい。さらに、コントローラ１０１は、監視ビデオカメラ１２０による背景画像の撮影に同期して集音装置１２３、録音装置１０８の録音動作をさせるように制御してもよい。例えば、背景画像の撮影を１分間隔で行う場合、それぞれの撮影時から１０秒間だけ録音する。
【００２４】
また、この監視システムは、上記の画像記録・検索機能に加えて、顔画像照合機能を備えてもよい。この場合、複数の人物の顔画像が人物プロフィール情報と共に、あらかじめ記録された第２の記憶装置１０９を設ける。
【００２５】
コントローラ１０１は、第１の記憶装置１０３に記録された顔画像が、第２の記憶装置１０９に記録された複数の人物の顔画像のいずれかと一致するか否かを照合する。このとき、第１の記憶装置１０３に記録された前向き顔画像を利用すれば照合精度が向上する。
【００２６】
そして、コントローラ１０１は、第１の記憶装置１０３に記録された顔画像が、第２の記憶装置１０９に記録された複数の人物の顔画像のいずれかと一致した場合には、該当する人物プロフィール情報、例えば、氏名、住所、所属部署等をインターフェイス装置１０６を通して表示装置１２１に転送し、表示装置１２１に表示する。あるいは、コントローラ１０１は、該当する人物プロフィール情報と共に警報情報、例えばその人物が危険人物である旨の警報情報、を表示装置１２１に転送する。
【００２７】
また、コントローラ１０１は、第１の記憶装置１０３に記録された顔画像が、第２の記憶装置１０９に記録された複数の人物の顔画像のいずれとも一致しない場合には、その旨を知らせる情報をインターフェイス装置１０６を通して表示装置１２１に転送し、表示装置１２１に表示する。あるいは、コントローラ１０１は、その旨を知らせる情報と共に警報情報、例えばその人物が危険人物である旨の警報情報、を表示装置１０１に転送する。
【００２８】
また、この監視システムはコントローラ１０１によって検索されたモーション画像、顔画像を、ネットワーク１２４又は外部通信装置１２５に転送するためのモデム等のインターフェース装置１１０を備えてもよい。これにより、検索されたモーション画像、顔画像が、ネットワーク１２４に接続されたクライアント１２６や外部通信装置１２５に提供される。また、入力装置１２２の代わりに、ネットワーク１２４又は外部通信装置１２５から検索要求情報を、インターフェース装置１１０を介して、コントローラ１０１に送信してもよい。
【００２９】
ネットワーク１２４としては、インターネットの他に、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＡＮ、専用線、電灯線ネットワーク、ＡＴＭ、無線ネットワークなど様々なネットワークを採用することができる。
【００３０】
外部通信装置１２５、クライアント１２６としては、ＰＤＡや携帯電話のような携帯情報端末、パーソナルコンピュータ、ゲーム機、ファックス、デジタルＴＶなど、本システムの処理装置１００と接続可能な機器を採用することができる。
【００３１】
また、ネットワーク１２４又は外部通信装置１２５に転送されるデータは、モーション画像、顔画像に限られず、表示装置１２１に転送されるすべてのデータが対象となり得る。
【００３２】
次に、本実施形態の監視システムの利用例について、図１及び図２を参照しながら説明する。図２は、表示装置１２１の画面構成を示す図である。画面の左上には、監視ビデオカメラ１２０によって撮影された最新の背景画像を表示する最新画像表示領域３００が設けられている。また、最新画像表示領域３００に隣接して、背景画像表示領域３１０、モーション画像表示領域３２０、顔画像表示領域３３０が設けられている。背景画像表示領域３１０、モーション画像表示領域３２０、顔画像表示領域３２０はそれぞれが、５つのフレームに分割され、各フレーム毎に画像が表示される。また、各フレームに隣接して、時刻情報３１１，３２１，３３１が表示される。５つのフレームには、撮影時刻の順に各画像が配列され、逐次、新しい画像に更新されて表示される。
【００３３】
図２の画面の下半分が検索画面である。以下の説明では、検索要求情報の入力装置１２２がマウスである場合を例にして説明するが、勿論、これには限られない。また、以下の画像検索は、入力装置１２２から入力された検索要求情報を受けたコントローラ１０１によって制御される。また、コントローラ１０１は、画像検索を、上述したシステムの画像処理・記録機能と独立に制御しているので、画像検索しながら、画像処理及び記録を行うことができる。
【００３４】
カレンダー表示領域３４０には、ある年のある月のカレンダーが表示される。この例では２００３年２月のカレンダーが表示されているが、入力装置１２２を用いて年、月の情報を入力することで、所望の年、月を選択することができる。
【００３５】
そして、入力装置１２２を操作して画面上のカーソルを移動させ、例えばカレンダーの２０日に合わせて、入力装置１２２の決定ボタンをクリックする。すると、カレンダー表示領域３４０の下に配置された画像モード表示画面３５０に、２０日の２４時間分の画像モードが表示される。この画像モードは、第１の記憶領域１０３に格納されたモーション画像、顔画像を分類して表示したものである。例えば、モーション画像については青領域３５１として、顔画像については赤領域３５２として、画像モード表示画面３５０の時間軸上に表示される。また、モーション画像と顔画像が同時に記録されている場合には、緑領域３５３として画面モード表示画面３５０の時間軸上に表示される。
【００３６】
したがって、画面モード表示画面３５０から、どの時間帯にどの画像モードが現れているかを即座に知ることができる。
【００３７】
また、カレンダー表示領域３４０に隣接して、背景画像検索表示領域３６０、モーション画像検索表示領域３７０、顔画像検索表示領域３８０が設けられている。例えば、入力装置１２２を操作して画面上のカーソルを画面モード表示画面３５０の緑領域３５３に合わせて入力装置１２２の決定ボタンをクリックする。すると、背景画像検索表示領域３７０には緑領域３５３の時間帯の背景画像が表示され、モーション画像検索表示領域３８０には、その時間帯のモーション画像が表示され、顔画像検索表示領域３９０にはその時間帯の顔画像が表示される。
【００３８】
背景画像検索表示領域３６０には、画像を１コマずつ戻して表示するためのコマ戻しボタン３６１、緑領域３５３に記録されている画像を連続的に表示するための連続表示ボタン３６２、画像を停止させるための停止ボタン３６３、画像を１コマずつ先送りして表示するためのコマ送りボタン３６４、各画像の撮影時刻を示す時刻表示領域３６５が設けられている。
【００３９】
同様に、モーション画像検索表示領域３７０にも、コマ戻しボタン３７１、連続表示ボタン３７２、停止ボタン３７３、コマ送りボタン３７４、時刻表示領域３７５が設けられている。同様に、顔画像検索表示領域３８０にも、コマ戻しボタン３８１、連続表示ボタン３８２、停止ボタン３８３、コマ送りボタン３８４、時刻表示領域３８５が設けられている。また、顔画像検索表示領域３８０に隣接して、表示停止ボタン３９０が設けられている。
【００４０】
また、本実施形態の監視システムが上述した顔画像照合機能を備えている場合には、顔画像検索表示領域３８０には、顔画像と共に、人物プロフィール情報、警報情報を表示させる。
【００４１】
本実施形態の監視システムによれば、表示装置１２１の画面を見ながら、時間情報をキーとして、システムに記録された各種画像の検索を実行することができ、監視ビデオカメラ１２０の監視領域に発生した異常事態を迅速に検知することができる。
【００４２】
以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【００４３】
【発明の効果】
本発明の監視システムによれば、ビデオカメラが撮影した画像から、顔画像の抽出やモーション画像の検出を行い、これらの画像を記録し、その記録画像の検索を高速に行うことができる。特に、顔画像を抽出して、その顔画像の記録・検索可能にしているので、従来の監視システムに比して不審人物の検出を速やかに実行することができる。
【００４４】
また、本発明の監視システムは、不特定の人物が出入りするあらゆる場所、例えば、各種の事務所、空港、金融機関、コンビニエンスストア、病院、展示会、競技場、劇場、住宅等に、セキュリティ機器として設置して好適なものである。
【図面の簡単な説明】
【図１】本発明の実施形態に係る監視システムの構成図である。
【図２】本発明の実施形態に係る監視システムの表示装置の画面構成図である。
【符号の説明】
１００  処理装置                  １０１  コントローラ
１０２  インターフェイス装置      １０３  第１の記憶装置
１０４  参照データベース          １０５  システムクロック
１０６  インターフェイス装置      １０７  インターフェイス装置
１０８  録音装置                  １０９  第２の記憶装置
１１０  インターフェイス装置      １２０  監視ビデオカメラ
１２１  表示装置                  １２２  入力装置
１２３  集音装置                  １２４  ネットワーク
１２５  外部通信装置              １２６  クライアント
３００  最新画像表示領域          ３１０  背景画像表示領域
３２０  モーション画像表示領域    ３３０  顔画像表示領域
３４０  カレンダー表示領域        ３５０  画面モード表示領域
３６０  背景画像検索表示領域      ３７０  モーション画像検索表示領域
３８０  顔画像検索表示領域
【図１】
2004282675.tif 000003
【図２】
2004282675.tif 000004