(57)【要約】【課題】高度で効率的な画像監視のための情報を監視端末に対して供給する。【解決手段】外部の監視カメラが撮影した監視領域の動画像を入力とし、当該動画像を所定フレームの静止画像からなる画像情報として監視カメラ及び撮影時刻に対応付けて記録する記録手段と、上記動画像を入力とし、当該動画像に画像解析を施して所定の複数種類の事象を抽出し、当該抽出した事象情報を種類毎に監視カメラ及び撮影時刻と対応付けて保存する解析手段と、記録手段が記録した画像情報及び解析手段が保存した事象情報を外部に提供する提供手段とを備える。【選択図】図２
2007243342.tif 000002
【特許請求の範囲】
【請求項１】
外部の監視カメラが撮影した監視領域の動画像を入力とし、当該動画像を所定フレームの静止画像からなる画像情報として監視カメラ及び撮影時刻に対応付けて記録する記録手段と、
前記動画像を入力とし、当該動画像に画像解析を施して所定の複数種類の事象を抽出し、当該抽出した事象情報を種類毎に監視カメラ及び撮影時刻と対応付けて保存する解析手段と、
前記記録手段が記録した画像情報及び前記解析手段が保存した事象情報を外部に提供する提供手段と
を備えることを特徴とする画像監視装置。
【請求項２】
前記解析手段は、抽出した複数種類の事象情報が所定の条件を満たす場合には、警報情報を他の種類の事象情報として保存するとともに、複数の事象情報を統計的に処理した結果をさらに他の種類の事象情報として保存する
ことを特徴とする請求項１記載の画像監視装置。
【請求項３】
前記提供手段は、前記記録手段が記録した画像情報及び前記解析手段が保存した事象情報とともに、画像情報が示す画像上に事象情報を対応付けて表示する際に用いる事象定義情報及び当該画像情報を撮影した監視カメラを識別して表示する際のカメラ定義情報を、監視端末へ提供する
ことを特徴とする請求項１又は２記載の画像監視装置。
【請求項４】
監視領域の動画像を撮像する監視カメラと、
請求項1〜３いずれかに記載の画像監視装置と、
該画像監視装置から提供された情報を出力する出力手段と
を具備することを特徴とする画像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラによって撮影された画像によって監視対象を監視する画像監視装置及び画像監視システムに関する。
【背景技術】
【０００２】
監視対象毎に複数の監視カメラを設け、該監視カメラによって撮影された画像（映像）を表示装置（監視端末）に表示することにより、監視係員によって各監視対象を集中監視する画像監視システムには、以下に説明するように種々のタイプのものがある。
例えば図１５に示す画像監視システムでは、複数の監視カメラ５０１で撮影された画像が、ビデオ信号形式の画像信号として信号線を介して、あるいは監視カメラ５０１内でデジタルデータに変換された後ＬＡＮ（Local Area Network）用の通信線などを介して入力装置５０２に入力される。入力装置５０２は画像信号を記録するレコーダや通信線のハブとして構成されている。監視端末５０３は、監視係員が画像を監視するための表示装置を有するパーソナルコンピュータであって、汎用のＯＳ（オペレーティングシステム）上で画像監視用のプログラムを実行することで、入力装置５０２を介して入力された撮影画像を表示したり、あるいは監視カメラ５０１の近傍などに設置されている各種外部センサの出力を信号インターフェース５０４を介して入力したりする。監視端末５０３は、監視カメラ５０１で撮影さえたライブ映像を表示したり、あるいは外部センサからの接点信号等に基づいてリアルタイムに警報表示を行う。監視カメラ５０１で撮影された画像は、例えば所定の記録媒体に記録して任意に再生表示することができるようになっている。
【０００３】
また、図１６に示す他の画像監視システムでは、監視カメラ５０１で撮影された映像を解析するための映像監視サーバ５０５と、映像を記録する映像記録サーバ５０６とが設けられている。映像監視サーバ５０５では例えば撮影された映像に含まれる人の動きを解析する。監視端末５０７では、映像監視サーバ５０５の解析データと映像記録サーバ５０６の記録映像を組み合わせて過去の映像や解析データの表示が行われる。
なお、本発明の画像監視システムに関連する技術内容については、例えば下記特許文献１〜３に記載されている。
【特許文献１】特開平９−３３０４１５号公報
【特許文献２】特開２０００−１４９０２５号公報
【特許文献３】特開２００１−１７５８６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
図１５に示すようなリアルタイム画像監視システムでは、例えば監視現場の混雑や危険度を、監視係員が映像を見て判断し、それに基づいて監視現場へ指示を与えていたり、あるいは外部センサなどの監視カメラ以外の機器を用い、映像とは別に警報を発報したりしている。また、このような画像監視システムでは、撮影された画像と監視係員による判断の内容とを関連付けて記録するような機能は設けられていなかった。また、複数の監視現場を監視する場合、外部センサなども増加させる必要があり、構成が複雑化することも考えられる。
【０００５】
また、図１６に示すような画像解析を行うシステムでは、外部センサは不要であるが、侵入検知や人数解析、人流解析による行動予測など特定の機能に特化した監視が行われている。すなわち、複数の機能を同時に実現するための機能が用意されていなかった。
【０００６】
ところで、駅構内や多目的ビルなど、比較的広域で画像監視を行うためのシステムでは、監視対象が比較的多いため監視カメラの台数が比較的多くなる。また、多種多様な人間が行動する場所では、監視対象の事象も複雑化してくる。外部センサを用いたり、種々の画像解析を行ったりして行う事象の自動検知は、特に多様な事象の検知を行う場合、誤検知の可能性を無くすことが難しい。最終的な判断は、監視係員に委ねることとなり、対象範囲が広がると監視係員への負担が増加することになる。また、監視カメラの台数を増加させると、その画像の表示方法をどのようにするのかが問題となる。監視端末で一度に表示可能な画像数には限りがあり、表示装置の台数を増加させるのにも制約がある。また、複数の監視領域（複数の画像監視システム）を１箇所の１又は少数の監視端末で中央集中的に監視するようなシステムを考えた場合、複数の監視カメラによる撮影映像（画像）の転送に時間を要したり、回線容量の増大が必要となったりする。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、より高度でより効率的な画像監視のための情報を監視端末に対して供給することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明では、画像監視装置に係る第１の解決手段として、外部の監視カメラが撮影した監視領域の動画像を入力とし、当該動画像を所定フレームの静止画像からなる画像情報として監視カメラ及び撮影時刻に対応付けて記録する記録手段と、上記動画像を入力とし、当該動画像に画像解析を施して所定の複数種類の事象を抽出し、当該抽出した事象情報を種類毎に監視カメラ及び撮影時刻と対応付けて保存する解析手段と、記録手段が記録した画像情報及び解析手段が保存した事象情報を外部に提供する提供手段とを備える、という手段を採用する。
【０００９】
また、画像監視装置に係る第２の解決手段として、上記第１の解決手段において、前記解析手段は、抽出した複数種類の事象情報が所定の条件を満たす場合には、警報情報を他の種類の事象情報として保存するとともに、複数の事象情報を統計的に処理した結果をさらに他の種類の事象情報として保存する、という手段を採用する。
【００１０】
画像監視装置に係る第３の解決手段として、上記第１または第２の解決手段において、提供手段は、記録手段が記録した画像情報及び解析手段が保存した事象情報とともに、画像情報が示す画像上に事象情報を対応付けて表示する際に用いる事象定義情報及び当該画像情報を撮影した監視カメラを識別して表示する際のカメラ定義情報を監視端末に提供する、という手段を採用する。
【００１１】
一方、画像監視システムに係る解決手段として、監視領域の動画像を撮像する監視カメラと、上記第1〜第３のいずれかの画像監視装置と、該画像監視装置から提供された情報を出力する出力手段とを具備する、という手段を採用する。
【発明の効果】
【００１２】
本発明によれば、監視端末では、画像情報に事象情報を対応付けて表示することで、撮影画像を見ながら複数種類の事象を確認することができる。
また、画像解析の結果として抽出された事象情報は、種類毎に監視カメラ及び撮影時刻と対応付けて保存されるので、外部センサを用いずに、複数の機能を同時に実現することができる。
また、解析手段による画像解析の結果として抽出された事象情報は、種類毎に監視カメラ及び撮影時刻と対応付けて保存されるので、まず、所定の事象情報のみを監視端末等に転送し、その事象情報に対応付けられた画像の前後で必要な範囲の分の画像情報だけを転送するようにすれば、監視端末へ転送する情報量を少なくすることができる。
【００１３】
また、解析手段が、画像解析を行って抽出した複数種類の事象情報が所定の条件を満たす場合には、警報情報を他の種類の事象情報として保存するとともに、複数の事象情報を統計的に処理した結果をさらに他の種類の事象情報として保存するので、監視係員による判断により近い高度な解析情報を撮影画像と関連付けて機能別に表示することが可能となる。これによれば、監視端末において、多くの解析情報を複数組み合わせて表現することで、監視係員が現状判断、過去の事象認知、未来の行動予測などを行いやすくなる。
【００１４】
さらに、画像情報が示す画像上に事象情報を対応付けて表示する際に用いる事象定義情報や、監視カメラを識別して表示する際のカメラ定義情報が、提供手段によって提供されるので、監視端末側の構成を変更することなく、事象解析に関する仕様変更や監視カメラに関する変更に対して柔軟に対応することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して、本発明の一実施形態について説明する。
図１は、本実施形態に係る画像監視システムの基本構成を示すシステム構成図である。危険検知ユニット１００は、コンピュータ及びその入出力装置から構成されていて、所定のＯＳ上で後述する各機能を提供するためのプログラムが実行されるようになっている。また、危険検知ユニット１００には、複数の監視カメラ５０１と、ＬＡＮ通信線３００が接続されている。監視端末２００は、パーソナルコンピュータ等のコンピュータ端末であり、ＣＰＵ（中央処理装置）、記憶装置等からなる本体、表示装置、キーボード、マウスなどから構成されている。また、監視端末２００は、ＬＡＮ通信線３００を介して、危険検知ユニット１００に接続可能に構成されている。
【００１６】
複数の監視カメラ５０１は、各々に割り当てられた監視現場の動画像を撮影して所定の画像信号（映像信号）を出力する汎用の監視用ビデオカメラである。上記画像信号は、例えばＮＴＳＣ方式等のアナログビデオ信号を符号化したデジタル画像信号である。各監視カメラ５０１は、駅構内や高層ビルなどの監視現場に設置されており、当該監視現場のデジタル画像信号をリアルタイム画像としてＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に基づいて危険検知ユニット１００へ送信する。
【００１７】
危険検知ユニット１００は、画像解析を行って、解析結果や撮影された監視画像をデジタルデータに変換して保存する。また、この危険検知ユニット１００は、監視端末２００に対して解析結果やその解析結果をさらに解析処理した結果による警報データや統計データを提供する。
【００１８】
なお、図１では、危険検知ユニット１００及び監視端末２００をそれぞれ１台設けることとしているが、１台に限らず、複数台とすることができる。また、ＬＡＮ通信線３００は、インターネットや他の専用網等あるいはそれらの組み合せであってもよい。また、監視端末２００の構成は、コンピュータ端末に限らず、例えば携帯電話や他の携帯情報機器などであってもよい。また、監視カメラ５０１をアナログ画像信号を出力するビデオカメラとし、上記アナログ画像信号を危険検知ユニット１００内においてデジタル画像信号に変換する構成であっても良い。
【００１９】
図２は、上記危険検知ユニット１００の詳細構成を示すブロック図である。
このブロック図に示すように、危険検知ユニット１００は、画像解析、画像記録、動画処理、及び情報提供の各機能を実現するための解析処理ブロック１１０、記録処理ブロック１２０、動画処理ブロック１３０及び情報提供処理ブロック１４０を有している。各ブロックは、ＣＰＵ、記憶装置、入出力インターフェース装置等のハードウェアを用いて実行されるソフトウェア・プログラムによって実現されている。
【００２０】
解析処理ブロック１１０は、監視カメラ５０１で撮影された動画像を入力とし、当該動画に画像解析を施して複数種類の事象（イベント）を抽出し、抽出した事象情報をイベントデータとして種類毎に監視カメラ５０１及び撮影時刻と対応付けて解析イベントデータ記憶装置１５０に保存する。本実施形態において、解析処理ブロック１１０で抽出されるイベントには、人の動作の状態（撮影画像中に含まれる各人物の動きを表すデータであり、立っている、寝ている、しゃがんでいるなどの各動作状態）及び変化を示すジェスチャ、人数の状態及び変化を示す人数、人や物の流れの状態及び変化を示すフロー（人流）並びに人の頭部位置の状態及び変化を示す頭部位置がある。これらのイベントデータの抽出は、例えば１秒３０フレームからなる映像情報に基づいて１〜数フレーム単位で行われるが、その方法は周知の技術を用いて行うことができる。
【００２１】
また、解析処理ブロック１１０は、イベントデータの各内容あるいはその時間変化があらかじめ解析定義データベース１１１に登録されている所定の条件を満たす場合に、アラームイベントを生成して、監視カメラ５０１及び撮影時刻と対応付けて解析イベントデータ記憶装置１５０に保存する。アラームイベントとしては、所定の基準を超える混雑状態の発生、病人の発生、泥酔による転倒者の発生、喧嘩の発生、カバンなどの置き去りの発生などが対象の事象となる。
【００２２】
所定の基準を超える混雑状態の発生については、各監視カメラ５０１単位で当該撮影範囲における許容人数を予め決めておき、上述した人数イベントで表される人数がその許容人数を越えたり、あるいはさらにフローイベントで表される人の流れが滞っていたりした場合にアラームイベントの発生が行われる。
【００２３】
さらに、解析処理ブロック１１０は、アラームイベントデータを含むイベントデータの各内容あるいはその時間変化を所定の時間毎に統計的に処理した結果を統計イベントデータとして生成し、監視カメラ５０１及び撮影時刻と対応付けて解析イベントデータ記憶装置１５０に保存する。統計イベントデータの内容は、例えば数分間隔で人数イベントと対応する許容人数から混雑度を割合として（パーセントで）計算した結果などとなる。
【００２４】
解析イベントデータ記憶装置１５０には、画像解析の１次解析結果として得られる各イベントデータのデータベースからなる１次処理群１５１と、１次処理群１５１内の各データベースに記録されるイベントデータを更に処理して得られるイベントデータのデータベースからなる２次処理群１５６とがある。すなわち、１次処理群１５１はジェスチャイベントデータベース１５２、人数イベントデータベース１５３、フローイベントデータベース１５４、及び頭部位置イベントデータベース１５５から構成されている。２次処理群１５６は、アラームイベントデータベース１５７と統計イベントデータベース１５８とから構成されている。
【００２５】
ジェスチャイベントデータベース１５２は、ジェスチャイベントを表すデータを監視カメラ及び撮影時刻と対応付けて保存・管理するデータベースである。ジェスチャイベントを表すデータはジェスチャの対象となった人の画像フレーム上の位置（座標）情報、その動きの内容を示す情報等から構成されている。人数イベントデータベース１５３は人数イベントを表すデータを監視カメラ及び撮影時刻と対応付けて保存・管理するデータベースである。人数イベントを表すデータは各画像フレーム内に含まれる人の数を表す数値情報から構成されている。
【００２６】
フローイベントデータベース１５４は、フローイベントを表すデータを監視カメラ及び撮影時刻と対応付けて保存・管理するデータベースである。フローイベントを表すデータは画像フレーム上で同一と思われる人の位置の移動を表すベクトル情報等から構成されている。頭部位置イベントデータベース１５５頭部位置イベントを表すデータを監視カメラ及び撮影時刻と対応付けて保存・管理するデータベースである。頭部位置イベントを表すデータは頭部位置の画像フレーム上の位置（座標）情報等から構成されている。
【００２７】
アラームイベントデータベース１５７は、アラームイベントを表すデータを監視カメラ及び撮影時刻と対応付けて保存・管理するデータベースである。アラームイベントを表すデータはアラームの種別を表す情報や、アラームの対象が人である場合には対象となった人の画像フレーム上の位置（座標）情報を含んで構成されている。統計イベントデータベース１５８は、統計イベントを表すデータを監視カメラ及び撮影時刻と対応付けて保存・管理するデータベースである。統計イベントを表すデータは統計処理の対象となったイベントデータの種別や組み合せの内容とその処理結果を示す情報、処理対象の時間や対象画像の撮影時刻を示す情報等から構成されている。
【００２８】
記録処理ブロック１２０は、監視カメラ５０１で撮影された動画像を入力し、当該動画像を所定フレーム（本実施の形態では毎秒３０フレームうちの１フレーム）の静止画像からなる画像情報に変換して、監視カメラ５０１及び撮影時刻に対応付けて画像情報記憶装置１６０に記録する。画像情報記憶装置１６０は、監視カメラ５０１毎に撮影時刻に対応付けて画像データを記録する画像データデータベース１６１から構成されている。監視カメラ５０１で撮影される画像情報は例えば毎秒３０フレームの映像データであるが、画像データデータベース１６１には例えば１秒間に１枚の静止画像データが記憶される。また、静止画像データは、不可逆圧縮などの方式によって圧縮されている。
【００２９】
動画処理ブロック１３０は、監視カメラ５０１で撮影された映像信号を入力し、それを所定のストリーミング形式のデジタルデータに変換し、情報提供処理ブロック１４０に出力する。
【００３０】
情報提供処理ブロック１４０は、Ｗｅｂサーバ（ＷＷＷサーバ）としての機能を提供するソフトウェア等から構成されていて、ＷＷＷステム上で監視端末２００等との間で認証処理を行ったり、あるいは情報の送受信を行う。
すなわち、情報提供処理ブロック１４０は、監視端末２００で実行されるＷＷＷクライアントソフトウェア（ＷＷＷブラウザ）からの要求に応じて、認証処理を行って問題がなかった場合に、画像情報記憶装置１６０に記録されている画像情報、解析イベントデータ記憶装置１５０に記憶されているイベントデータ及び定義情報記憶装置１７０に記録されている各種定義情報を提供したり、定義情報記憶装置１７０に記録されている各種定義情報に基づいてＷＷＷブラウザ上で表示されるＷｅｂ画面を作成したり、動画処理ブロック１３０で生成された動画情報を転送用の所定のプロトコルに従って送信する。
また、情報提供処理ブロック１４０は、ＣＯＭ（Component Object Model）などの標準技術仕様に基づいて作成され、また、ＡＳＰ（Active Server Pages）などの動的にＷｅｂページを生成する機能を有しており、監視端末２００からは汎用のＷＷＷブラウザでアクセスがきるようになっている。
【００３１】
定義情報記憶装置１７０は、画像情報を撮影した監視カメラ５０１を識別して表示する際に用いられるカメラ定義情報を登録するためのカメラ定義データベース１７１と、画像情報が示す画像上にイベントデータを対応付けて表示する際に用いる事象定義情報を登録するための図形データ定義データベース１７２とから構成されている。カメラ定義データベース１７１は、各監視カメラ５０１の設置位置、撮影場所、撮影方向を示すデータを記録・管理するデータベースである。
【００３２】
図形データ定義データベース１７２は、各イベントデータを監視端末２００上で表示する際に用いる図形と、その色、透明度、大きさ、画像情報に含まれる人の大きさに対する大きさの比率、点滅の有無のほか、イベントデータの重要度を示す情報、音信号データや文字の構成情報などをイベントデータの種別毎に記録・管理している。
【００３３】
一方、監視端末２００は、ＷＷＷブラウザを用いて危険検知ユニット１００内の情報提供処理ブロック１４０にアクセスすることで、各監視カメラ５０１のリアルタイムの撮影画像（映像）を表示したり、アラームイベントや統計イベントをそれらの各イベントに対応する静止画像やリアルタイム映像に関連付けて表示したりすることで監視係員による監視作業の支援を行う。図２の例では、ＷＷＷブラウザの表示画面４０１に「病人の発生」のアラームイベントを示す「病人」の文字４０１ａ、人の画像４０１ｂ上に「病人の発生」のアラームイベントに対応付けられている楕円図形４０１ｃが表示されている。
【００３４】
また、表示画面４０２には、「喧嘩の発生」のアラームイベントを示す「喧嘩」の文字４０２ａ、人の画像４０２ｂ上に「喧嘩の発生」のアラームイベントに対応付けられている五角形の図形４０２ｃが表示されている。ここで、画像と図形の描画は、図３に示すように、下位の画像表示レイヤーに画像４０３を表示し、図形４０３ａ〜４０３ｃを上位のレイヤーである図形表示レイヤーに表示し、さらに図形４０３ａ〜４０３ｃを半透明にすることで、画像表示レイヤーに表示された画像４０３が透けて見えるようにしている。
【００３５】
次に、図４及び図５を参照して、図１及び図２に示す監視端末２００上の表示画面の構成例について説明する。図４は、監視端末２００で実行されているＷＷＷブラウザ上の表示例（WWWブラウザのウィンドウ内の一部）を示す図である。図４に示す例は、施設全体に設置されている監視カメラ５０１から得られた混雑状況やアラームイベントの発生状況を、一覧監視する表示画面４０４を表している。この表示例は、５個のタブから「総合監視画面」タブ４０４ａを選択した場合のものであり、「総合監視画面」は、混雑状態を示す表示領域４０４ｂとアラームイベントの発生履歴を示す表示領域４０４ｇとから構成されている。表示領域４０４ｂには、人数・人流解析から得られた混雑状況が各監視カメラ５０１に対応して表示されている。
【００３６】
また、図４の例は、施設内に２台の監視カメラ５０１が設けられている例であり、表示領域４０４ｃに識別符号「カメラ００１」の監視カメラ５０１の撮影画像に基づく所定周期内の最大の混雑状況が静止画像４０４ｄと撮影時刻や人数を表す情報（ＮＰは総人数、ＳＴは立っている人の人数）４０４ｅとともに表示されている。また、表示領域４０４ｆには「カメラ００２」による撮影画像と解析情報が同様に表示されている。
【００３７】
一方、表示領域４０４ｇには、人物の行動解析から識別されたアラームイベントの一覧が表示されている。表示領域４０４ｈは、「カメラ００１」で「喧嘩の発生」（「ＦＩＧＨＴ」）のアラームイベントが「２００６年１月１５日１５時３５分２０秒」に検知されたことが表示されている。表示領域４０４ｉには、「カメラ００２」で「所定の基準を超える混雑状態の発生」（「ＣＯＮＧＥＳＴＩＯＮ」）のアラームイベントが検知されたことが許容値に対する割合の値（「９５％」）とともに表示されている。表示領域４０４ｊには、「カメラ００２」で他の時刻に「所定の基準を超える混雑状態の発生」（「ＣＯＮＧＥＳＴＩＯＮ」）のアラームイベントが検知されたことが許容値に対する割合の値（「８５％」）とともに表示されている。
【００３８】
なお、表示画面４０４上のこれらの表示は、一定周期で危険検知ユニット１００からデータを収集することで更新される。
【００３９】
このような表示画面４０４上で表示領域４０４ｈを選択すると（クリックすると）、図５に示す表示画面４０５が表示される。表示画面４０５は、タブ４０５ａに対応する「カメラ画像」の表示画面であるが、この場合、この画面を呼び出す際に選択された領域に対応して、図４の表示領域４０４ｈに表示されていた監視カメラ「カメラ００１」についてライブ画像４０５ｂと過去画像４０５ｃとが並べて表示される。過去画像４０５ｃには、画面切り替わり時に、選択されたアラームイベントの発生時刻の撮影画像が表示され、アラームイベントの内容を示す文字情報「ＦＩＧＨＴ」４０５ｄと図形情報４０５ｅが画像上に重ねて表示される。
【００４０】
また、画面下部にはスクロールバー４０５ｆとともに、アラームイベント発生画像４０５ｇとその１秒前の画像４０５ｈ及び２秒前の画像４０５ｉとその１秒後の画像４０５ｊ及び２秒後の画像４０５ｋとが表示されている。操作者（監視係員）がスクロールバー４０５ｆを操作したり、画像４０５ｇ以外の他の画像４０５ｈ〜４０５ｋを選択したりすると、過去画像の表示領域４０５ｃにアラーム発生前後の撮影画像が表示される。
【００４１】
このように１台の監視カメラ５０１について、ライブ画像と過去画像あるいは過去のイベント発生前後の所定範囲の画像を並べて表示することで、操作者（監視係員）は、ライブ画像と過去画像やイベント発生前後の画像を見比べることにより、イベント発生時と現在との違いやイベント発生前後の変化を知ることができる。また、過去画像をトレースして、アラーム発生前後の状況を細かく確認することなどができる。
【００４２】
なお、図５に示す監視カメラ画像の表示例は、「喧嘩の発生」についての画像表示例を示すものであったが、他のアラームイベントの監視例としては、例えば、他に置き去り発生時や事故発生時に該当場所を撮影したと思われる監視カメラにおける事故発生前後の比較を行うような画面構成を用いることができる。また、混雑監視に関しては、人数、人流、混雑状況などの図形あるいは文字情報を表示した画像について現在と過去あるいは過去の一定範囲の比較などを行うような画面構成を用いることができる。
【００４３】
このように、本実施の形態によれば、任意の時刻の静止画像と解析データを取得して、画像上に、解析イベントデータを組み合わせて視覚化することができる。
また、複数の静止画像を連続的に表示できるようにすれば、過去画像をコマ送り表示することによって、動画のように再生することも可能である。
また、画像と解析イベントデータを、レイヤー分けして表示する際に、解析イベントデータに基づく座標へ図形描画して画像の上に組み合わせて表示することで、人の動きに追従して図形を描画することなどができる。
また、表示しようとする複数のイベントを選択する際には、各イベントに対応付けて表示する図形を切り替えられるようにすることもできる。
また、アラームの内容や重要度などに応じて、図形の形状や色を変えて表示することもできる。
さらに、図形を半透明にして表示することで、半透明化された図形の重なりによる濃淡の違いで、同一箇所における複数のアラームイベントの同時発生などのアラームのレベルを知ることができる。
【００４４】
なお、アラームデータの提供方法や表示方法については、例えば、アラーム発生場所（人物や物体の中心点、複数の人物の中心位置）を通知するようにしたり、それに基づいて画像外枠の色を変え、アラームの種類を表示するようにしたり、あるいはアラームの内容に応じて、アラーム音を出力したりすることもできる。
【００４５】
また、図形情報の表示方法としては、例えば画面を一定の格子状の区画に区分して（例えば８×８のマトリックスで）、表示位置を予め固定して、人流を表す上下左右の矢印を描画するようにすることができる。この場合、上下左右の矢印の色を変えて表示したり、矢印を中抜きをして画像上に表示したり、矢印を半透明にして画像上に表示したり、画像上に人間の存在を示すマークを表示したり、全体の人数、立っている人、歩いている人の人数を表示したりすることができる。
【００４６】
また、監視端末２００への情報提供は、監視端末２００からのアクセスに応じたものばかりでなく、危険検知ユニット１００から自発的に監視端末２００へ情報を送信して、自動的に監視端末２００上で表示等を行うような構成を用いることもできる。
【００４７】
図６〜図９は、画像上でのイベントデータに対応する図形情報の表示例を示す図である。図６が、画像４０６上に人流を示す矢印を表示した例であり、人毎に異なる符号を付けた矢印を移動方向に対応する向きに表示している。図６で各人物に対して矢印が複数表示されているのは、本実施の形態において画像の記録周期が１秒間隔であるのに対して、イベントデータの発生が１秒間に８回程度の間隔で行われていて、図６の表示例では当該画像に対応付けられているすべてのイベントデータを重ね合わせて表示するようにしているからである。
【００４８】
図７は、画像４０７上にアラームイベント（「病人の発生」）を表示する例を示している。楕円の図形情報とともに、「病人の発生」を示す文字情報（「（ｆａｌｌ）ＳＩＣＫ」）を表示している。また、図８及び図９は、画像４０８及び画像４０９上に解析結果である人流を示す矢印を８×８のマトリックスの要素領域毎に表示したものであり、矢印の向きに応じて矢印の表示色（図示の例では実線と破線で区別）を変更している。なお、上述したように画像の記録周期とイベントデータの抽出周期あるいは統計イベントの解析時刻が異なっているため、画像の撮影時刻とイベントの発生時刻には周期の異なる分のずれが発生する場合がある。図８の例で、人の位置や人数と、人流（フローイベント）に対応する矢印とが必ずしも対応していないのはそのためである。
【００４９】
次に、図５に示した「カメラ画像」表示画面４０５の変形例を、図１０を参照して説明する。図１０に示す表示画面４１０上には同一監視カメラ５０１（「カメラ００２」）のライブ画像４１０ａと過去画像４１０ｂを表示しているが、この図に示す例ではライブ画像４１０ａ上にイベントデータに対応する図形表示（人流を示す矢印の表示）を行っている。また、表示画面４１０の下部領域４１０ｃに混雑度の時間変化を、人数を合計値としてその中で動いている人（白抜き部）と動かない人（網掛け部）の数を示す積み上げ面グラフとして示している。
【００５０】
図１０に示すような表示画面４１０を用いた場合、例えば人数解析の統計データに基づく混雑状況の推移の比較表示から、行動予測、災害防止策の検討などを効率的に行うことが可能である。例えば、ライブ画像と過去画像の両方に人数や人流を表示し、統計値を用いて1時間後、1日後の混雑度を判断するといったことができるようになる。
【００５１】
また、このような統計データの表示を行うことで、行動解析の履歴データに基づく、トラブル発生状況の統計表示から、行動予測や災害防止策の検討を行ったり、複数データから状況を認識し、より理解しやすい柔軟な表現で、操作端末や現場表示器に表示するなどの構成も容易に構築することができる。例えば、矢印情報から電車の入線を通知したり、人流の停滞から、進行方向を促す案内放送を行ったりすることが可能か、あるいは少なくともその支援を行う構成を構築することは可能であると考えられる。その際、時間帯や人数による表現方法の変更などを行うことも可能である。
【００５２】
次に、図１１〜図１３を参照して、監視端末２００における表示画面の他の構成例について説明する。図１１は、図４を参照して説明した総合監視画面の他の構成例を示す図である。図１１の表示画面４１１には、所定時間内の複数の監視カメラ５１０の撮影画像の解析結果に基づく混雑度の高い順にその内容を一覧表示する領域４１１ａと、転倒、置き去り、喧嘩等のアラームイベントの発生状況を一覧表示する表示領域４１１ｂとが設けられている。
【００５３】
次に図１２を参照して、図１１の表示画面４１１で「カメラＣ５５」の表示領域４１１ｃを選択した（クリックした）場合の混雑監視画面の表示例について説明する。図１２の表示画面４１２には、表示画像の時刻表示領域４１２ａ、時刻表示領域４１２ａに表示された時刻に撮影された画像を示す画像表示領域４１２ｂ、その画像を撮影した監視カメラ５０１の識別情報を表示する領域４１２ｃ、その撮影画像に基づく混雑度に関する解析結果を表示する領域４１２ｄ、及び混雑度に関する統計データの時間変化を示す領域４１２ｅが設けられている。
【００５４】
また、図１２に示す例では、画像表示領域４１２ｂに表示される画像の表示状態を制御するための制御用画面４１２ｆが別ウィンドウとして、独立して移動可能な状態で表示されるようになっている。制御用画面４１２ｆには、ライブ映像と録画映像のいずれかを選択するためのボタンや、再生、早送り、巻き戻し、一時停止等を行うためのボタンが設けられている。この例では、ライブ映像を選択するためのボタン４１２ｇが選択されている。したがって、画像表示領域４１２ｂには現在の撮影画像が、コマ送り画像あるいは動画像として表示されている。
【００５５】
次に図１３を参照して、図１１の表示画面４１１で「カメラＣ７３」の表示領域４１１ｄを選択した（クリックした）場合の不審者監視画面の表示例について説明する。図１３の表示画面４１３には、画像表示領域４１３ａ、その撮影画像に基づく不審者に関するアラームイベント発生時刻に関する情報を表示する領域４１３ｂなどが設けられている。この場合、領域４１３ｂには、アラームイベントの発生時刻を表示する図形情報４１３ｃが表示されている。また、画像表示領域４１３ａに表示される画像の表示状態を制御する制御用画面４１３ｅが別ウィンドウとして独立して移動可能な状態で表示されている。この場合、制御用画面４１３ｅでは録画映像を選択するためのボタン４１３ｆが選択されている。そのため、画像表示領域４１３ａには過去の撮影画像が表示されている。
【００５６】
次に、図１４を参照して本発明の画像監視システムの他のシステム構成例について説明する。図１４に示す構成において図１及び図２に示す構成と同一のものには同一の参照符号を付けている。図１４に示すシステムは、複数の危険検知ユニット１００と、図１のＬＡＮ通信線３００に対応する通信線３０１〜３０３と、監視端末２００と、中央データサーバ１０とから構成されている。この場合、通信線３０２はインターネット、専用通信網、ＷＡＮ（Wide Area Network）、ＬＡＮ、公衆電話網などの単独あるいは組み合せによって構成されていて、通信線３０１及び３０３は通信線３０２へ接続するための通信線を構成している。なお、通信線３０１〜３０３のいずれかに専用線以外の通信線あるいは通信網を含む場合には、仮想専用線などの技術が用いられるようになっている。
【００５７】
本実施の形態において新たに設けられた中央データサーバ１０は、図１、図２等を参照して説明した監視端末２００と同等の機能と、監視端末２００からのアクセスに対して所定の情報を提供する機能とを有して構成されている。また、危険検知ユニット１００へのアクセス権限が監視端末２００からのものよりも上位のレベルのもので接続されるように運用されている。例えば、中央データサーバ１０からは全ての危険検知ユニット１００に対してアクセス可能なのに対して、監視端末２００からは一定の限られた危険検知ユニット１００に対してのみしかアクセスできないようになっている。図１４の監視端末２００の構成は、図１、図２等を参照して説明した監視端末２００と同一であるが、この場合には中央データサーバ１０に対してもアクセスできるようになっている。
【００５８】
また、危険検知ユニット１００は、図１及び図２を参照して危険検知ユニット１００と同等の構成・機能を有しているが、図２の情報提供処理ブロック１４０の処理内容が後述した機能を提供するために一部変更あるいは追加されている。
【００５９】
図１４に示すシステムは、複数施設の監視カメラ５０１の撮影画像や解析結果を、中央監視するシステムである。このシステムを使用して、複数施設のデータを比較することで、施設全体の危険検知や災害防止策を検討することができる。図１４のシステムで提供される機能は、（１）全データ保存、（２）必要データ収集、及び（３）データ発報の３つに分けて説明することができる。
【００６０】
（１）全データ保存機能（データ解析部）は、危険検知ユニット１００が監視カメラ５０１が撮影したカメラ画像の解析を行い、すべての解析結果（イベントログ）と一定期間の画像を保存する機能である。
【００６１】
（２）必要データ収集機能（データ収集部）は、中央データサーバ１０が、自ら保持するデータ量を最小にするため、危険検知ユニット１００に保存された大量のデータの中から、中央監視に必要なアラームリストなどを抽出する機能である。また、アラーム発生前後の画像のみを収集する機能も含まれている。一方、監視端末２００は、通常状態では、中央データサーバ１０のアラームリストや画像を再生表示する。そして、監視端末２００は、さらに詳細な解析結果が必要なときに、当該現場の危険検知ユニット１００に接続し、データや記録画像を表示する。
【００６２】
（３）データ発報機能（データ発報部）は、危険検知ユニット１００が、監視カメラ５０１の撮影画像の解析を行い、危険を検知したとき、アラームイベントデータと関連する画像を、電子メールやｆｔｐ（File Transfer Protocol）によって、中央データサーバ１０、監視端末２００、担当者携帯電話などへ発報する機能である。
【００６３】
このような構成・機能によって、複数の監視カメラによって撮影された画像の転送に時間を要したり、回線容量の増大の必要性を生じることなく、中央集中的な画像監視システムにおいて、撮影画像や解析情報を効率的に選択したり、転送したりすることができるようになる。
【００６４】
なお、本発明の実施の形態は、各図を参照して説明した形態に限定されるものではなく、例えば、危険検知ユニット１００から動画処理ブロック１３０を無くしてライブ映像の配信機能を省いたり、監視端末２００あるいは中央データサーバ１０において一定期間のイベントデータを蓄積して監視端末２００あるいは中央データサーバ１０内で任意の統計処理を行えるようにしたり、あるいは、記録処理ブロック１２０による画像の記録間隔（記録枚数）を記録をイベントの発生状況に合わせて動的に変更するようにしたりする構成を用いるようにしてもよい。
【００６５】
また、本発明の適用対象は、上述したような駅構内などの比較的広域の施設のみでなく、比較的狭い例えばレストランの店舗において混雑度を統計解析し、ウェートレス、ウェータの人数の増減を検討するための支援情報を提供するためのシステムとして使用するなどの適用方法も考えられる。
【００６６】
また、本発明の実施の形態は、コンピュータハードウェア及び周辺装置と、そのコンピュータで実行されるプログラムとの組み合せによって構成することができるが、そのプログラムは、コンピュータ読み取り可能な記録媒体や通信線を介して配布することが可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明に係る画像監視システムの基本構成を示すシステム構成図である。
【図２】図１に示す画像監視システムにおける危険検知ユニット１００の詳細構成を示すブロック図である。
【図３】レイヤーと図形表示の方式を説明するための図である。
【図４】図２の監視端末２００における表示画面の一例を説明するための図である。
【図５】図４の表示画面４０４から呼び出される表示画面４０５の表示例を説明するための説明図である。
【図６】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図７】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図８】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図９】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図１０】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図１１】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図１２】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図１３】図２の監視端末２００における表示画面の他の例を説明するための図である。
【図１４】本発明の画像監視システムの他のシステム構成を説明するためのブロック図である。
【図１５】従来の画像監視システムのシステム構成を示すシステム図である。
【図１６】従来の画像監視システムの他のシステム構成を示すシステム図である。
【符号の説明】
【００６８】
１０…中央データサーバ、１００…危険検知ユニット、１１０…解析処理ブロック、１２０…記録処理ブロック、１３０…動画処理ブロック、１４０…情報提供処理ブロック、１５０…解析イベントデータ記憶装置、１６０…画像情報記憶装置、１７０…定義情報記憶装置、２００…監視端末、３００，３０１〜３０３…通信線、５０１…監視カメラ
【図１】
2007243342.tif 000003
【図２】
2007243342.tif 000004
【図３】
2007243342.tif 000005
【図４】
2007243342.tif 000006
【図５】
2007243342.tif 000007
【図６】
2007243342.tif 000008
【図７】
2007243342.tif 000009
【図８】
2007243342.tif 000010
【図９】
2007243342.tif 000011
【図１０】
2007243342.tif 000012
【図１１】
2007243342.tif 000013
【図１２】
2007243342.tif 000014
【図１３】
2007243342.tif 000015
【図１４】
2007243342.tif 000016
【図１５】
2007243342.tif 000017
【図１６】
2007243342.tif 000018