(57)【要約】【課題】移動体に関するさまざまな情報を表示でき、状況に応じて表示する情報を選択、切り替え可能で、監視員の監視効率の向上とミスの削減を可能にする監視装置を提供する。【解決手段】カメラ１０によって撮像した映像を、ネットワーク１１を介して映像処理部１２と位置検出部１３に送信する。映像処理部１２で移動体に関する情報を検出するとともに位置検出部１３で移動体の位置を検出し、これらの情報を移動物体検出追跡部１４及び地図データ部１５に送信する。移動物体検出追跡部１４では処理に必要な画像情報を選択し、地図データ部１５の情報と共に状況判断部１７に送信する。状況判断部１７ではデータベース１６にあらかじめ登録された画像情報や属性情報との照合や移動体の追跡状況等を判断し、その結果をもとに表示切替部１８で状況に応じた情報を選択しモニタ１９に表示する。【選択図】図１
2005086626.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる追跡対象物体に関し、得られた情報を用いて、状況を判断する状況判断手段と、前記状況判断手段の判断に基づいて必要な情報を切り替える表示切替手段と、前記必要な情報を表示するモニタと、を有する広域監視装置。
【請求項２】
前記得られた情報は、外部からの通報に含まれる情報又は、前記追跡対象物体と予め蓄積された画像とを照合した信頼度情報である請求項１記載の広域監視装置。
【請求項３】
前記表示切替手段は、前記外部からの通報が入力された場合に、前記外部からの通報に含まれる情報と予め蓄積された情報とが合成された情報に切り替えるものである請求項２記載の広域監視装置。
【請求項４】
前記表示切替手段は、前記信頼度情報が、予め定めた値以上である場合に、ユーザに確認を求める情報に切り替えるものである請求項２または請求項３記載の広域監視装置。
【請求項５】
前記表示切替手段は、前記信頼度情報が、予め定めた値以上であり、ユーザが承認した場合に、必要な情報を切り替えるものである請求項２ないし請求項４のいずれか記載の広域監視装置。
【請求項６】
前記表示切替手段は、ユーザにより承認された追跡対象物体と予め蓄積した画像とを照合した信頼度が、予め定めた値未満となる場合に、必要な情報を切り替えるものである請求項２ないし請求項５のいずれか記載の広域監視装置。
【請求項７】
前記必要な情報は、地図情報、画像情報を含み、前記地図情報は、前記ユーザにより承認された追跡対象物体と予め蓄積した画像とを照合した信頼度情報が、予め定めた値未満となる位置付近の交通状況、交通手段を考慮した逃避予測経路が表示されるものである請求項６記載の広域監視装置。
【請求項８】
前記地図情報は、前記ユーザにより承認された追跡対象物体と予め蓄積した画像とを照合した信頼度情報が、予め定めた値未満となる経過時間に応じて縮尺および逃避予測経路を変更して表示するものである請求項７記載の広域監視装置。
【請求項９】
前記表示切替手段は、前記信頼度情報に応じて、前記追跡対象物体の画像を複数枚表示する情報に切り替える請求項４ないし請求項６のいずれか記載の広域監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広範囲で人物等の移動物体の監視を行う広域監視装置に関するものである。
【背景技術】
【０００２】
従来、複数の監視カメラを用いて、車両や人物等の移動物体を検出、追跡し、不審車両や不審人物を認識する自動監視システムが知られている。しかし、これらの自動監視システムを適用して、屋外に監視カメラを設置し、広範囲に監視を行う場合、照明条件の整った室内とは大きく異なる問題が生じる。
【０００３】
例えば、天候、季節、時間によって、さまざまに光の当たり具合が変化するために、カメラで監視対象を撮影し、装置が自動的かつ精度良く不審者や不審物体を検出および追跡することは非常に難しく、誤検出や追跡ミスが大きな問題となる。
【０００４】
また、天候等の照明条件に左右されずに、車両や人物等の移動物体等を認識するために、対象物体がそれぞれＩＤタグ等を保持することによって、特定の人物および移動物体を認識する方法も存在するが、必ずしも監視対象がＩＤタグを保持しているとは限らないために、監視を目的としたシステムには適用できない。
【０００５】
このような点から、監視システムにおいて、複数のカメラを設置した場合、自動監視は困難であるため、カメラで撮像した映像は、各カメラに対応するモニタで表示するように構成し、監視員がそのモニタを監視することが多い。このような場合、カメラの設置数が増加するにしたがってモニタ数も増加することになり、そのため、監視員は、それぞれのモニタに気を配る必要があり、監視員の負担が大きくなると共に、監視ミスも増えるという可能性があった。
【０００６】
監視員の負担を軽減することを目的とした従来技術として、侵入者等の対象物がカメラの死角に入った場合に、その対象物が死角に入る直前の映像を表示することにより、対象者が死角に入ったことを表示する映像処理装置が知られている（例えば、特許文献１参照）。
【０００７】
また、他の監視装置として、複数の監視領域に対応してそれぞれ複数のモニタを設置した場合、監視員の負担が大きくなるため、これを解消するために１台のモニタに移動体の存在する位置と移動体の映像とを同時に表示するものも知られている。これによれば、監視員は一つのモニタに表示される地図と地図上の移動物体とを監視することによって、一目で移動物体とその存在位置とを知ることができる（例えば、特許文献２参照）。
【特許文献１】特開２００１−９４９６８号公報（第１６頁、第６図）
【特許文献２】特開２０００−２９５５９９号公報（第８頁、第５図）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載された従来の広域監視装置では、死角に入ったか否かの判定方法が、死角に入った移動物体がどの物体なのかを特定する方法が明記されていない。そのため、不特定多数の人物が存在したり、照明条件の変化等が起きた場合には、多数の人物中のどの人物が死角に入ったのか、また、実際には死角に入っていないにも関わらず、誤って死角に入ったと判定する可能性があった。
【０００９】
また、特許文献２に記載された従来の監視装置では、監視区域が広く移動物体の数が多
い場合、監視区域全体の地図と全移動体とを同時に表示すると画面が煩雑になり、分かり難くなるという問題があり、そのため、監視区域を小規模に区切って複数のモニタを用意する等の対策が必要になり、監視員の増員、もしくは、監視員の負担が増加するという問題があった。
【００１０】
本発明は、上記のような従来の問題点に鑑みてなされたものであり、不特定多数の移動物体が存在する監視領域において、移動体に関するさまざまな情報および監視員のオペレーションから総合的に状況を判断し、その状況に応じて表示する情報を適宜、選択切り替え、監視員の監視効率の向上とミスの削減を可能にする広域監視装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の広域監視装置は、画像に含まれる追跡対象物体に関し、得られた情報を用いて、状況を判断する状況判断手段と、状況判断手段の判断に基づいて必要な情報を切り替える表示切替手段と、必要な情報を表示するモニタとを有する。
【００１２】
この構成により、状況に応じて監視員に必要な情報を選択的に表示することができ、監視効率の向上および監視ミスの減少を可能にすることができる。
【００１３】
また、本発明の広域監視装置は、得られた情報が、外部からの通報に含まれる情報又は、追跡対象物体と予め蓄積された画像とを照合した信頼度情報である。
【００１４】
この構成により、緊急事態の通報を含め、照合された追跡対象物体を状況に応じて監視員に必要な情報を選択的に表示することができ、監視効率の向上および監視ミスの減少を可能にすることができる。
【００１５】
また、本発明の広域監視装置は、表示切替手段が、外部からの通報が入力された場合に、外部からの通報に含まれる情報と予め蓄積された情報とが合成された情報に切り替えるものである。
【００１６】
この構成により、外部からの通報に含まれる情報を用いて、状況に応じて監視員に必要な情報を選択的に表示することができ、監視効率の向上および監視ミスの減少を可能にする。
【００１７】
また、本発明の広域監視装置は、表示切替手段で、信頼度情報が、予め定めた値以上である場合に、ユーザに確認を求める情報に切り替えるものである。
【００１８】
この構成により、照合による信頼度をユーザが確認することができるため、監視効率の向上および監視ミスの減少を可能にする。
【００１９】
また、本発明の広域監視装置は、表示切替手段で、信頼度情報が、予め定めた値以上であり、ユーザが承認した場合に、必要な情報を切り替えるものである。
【００２０】
この構成により、ユーザによる確認が可能であるため、監視効率の向上および監視ミスの減少を可能とする。
【００２１】
また、本発明の広域監視装置は、表示切替手段で、ユーザにより承認された追跡対象物体と予め蓄積した画像とを照合した信頼度情報が、予め定めた値未満となる場合に、必要な情報を切り替えるものである。
【００２２】
この構成により、追跡対象物体を再度検出するために必要な情報を選択することができ、監視員に監視に必要な情報を選択的に表示でき、監視員のオペレーションを補助し、監視効率の向上および監視ミスの減少を可能とする。
【００２３】
また、本発明の広域監視装置は、必要な情報に、地図情報、画像情報を含み、地図情報に、ユーザにより承認された追跡対象物体と予め蓄積した画像とを照合した信頼度情報が、予め定めた値未満となる位置付近の交通状況、交通手段を考慮した逃避予測経路が表示されるものである。
【００２４】
この構成により、ロスト後、追跡対象の移動が予測される場所を、詳しく表示することができ、監視員のオペレーションを補助し、監視ミスの減少を可能とする。
【００２５】
また、本発明の広域監視装置は、地図情報に、ユーザにより承認された追跡対象物体と予め蓄積した画像とを照合した信頼度情報が、予め定めた値未満となる経過時間に応じて縮尺および逃避予測経路を変更して表示するものである。
【００２６】
この構成により、追跡対象物をロストしてから経過した時間をもとに、移動可能性領域を広げ、それに従い地図の縮尺や逃避予測経路を変更することができ、監視員のオペレーションを補助し、監視ミスの減少を可能とする。
【００２７】
また、本発明の広域監視装置は、表示切替手段で、追跡対象物体と予め蓄積した画像とを照合した信頼度情報に応じて、追跡対象物体の画像を複数枚表示する情報に切り替える。
【００２８】
この構成により、データベースとの照合を行う場合に、システムが行った照合処理の信頼度情報に基づいて、表示する画像の枚数を変化させることができ、装置の照合ミスを防ぐことができ、さらに、監視員にデータベース登録画像と同一人物であるかどうかを監視員に確認することによって、監視ミスの減少を可能とする。
【発明の効果】
【００２９】
本発明の広域監視装置は、少なくとも１台のカメラにより映像を撮像する手段と、撮像手段で撮影した画像から移動物体を検出、追跡し、検出した対象物体とあらかじめ登録したデータベースとの照合を行い、さらに、対象物体の存在位置を、地図情報を用いて対応付けを行い、追跡対象物体に関する情報などを含めた複数の情報から状況を判断する状況判断手段を有し、状況判断結果に基づいて必要な情報を選択的に表示する手段を備えたものであり、状況に応じて監視員に必要な情報を選択的に表示することができ、監視効率の向上および監視ミスの減少を可能にすることができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３１】
（実施の形態１）
図１は、本発明の実施の形態１に関わる広域監視装置の概略構成図である。
【００３２】
本実施の形態に係る広域監視装置では、ビルや工場の構内、或いは、街頭のような広い領域を監視領域とするために、複数の地点にそれぞれのカメラを設置し、その領域内に存在する人物などの動く物体を検出し、追跡監視するように構成されている。
【００３３】
図１において、カメラ１０−１〜ｎは、広域を監視するために、様々な地点に設置され、カメラ１０−１〜ｎは、それぞれ設置された位置情報を保持している。各カメラ１０−
１〜ｎで撮像された映像及びカメラ１０−１〜ｎの位置情報は、ネットワーク１１を介して映像処理部１２及び位置検出部１３に送信される。この時、カメラ１０−１〜ｎ毎に、それぞれサーバーを設けてもよいが、複数台のカメラ１０−１〜ｎをまとめて１台のサーバーで制御するようにしてもよい。
【００３４】
映像処理部１２では、送信された画像に対して背景差分若しくはフレーム間差分を行い、人物及び車両等の動いている物体が存在する領域を限定する。そこで限定された領域に対して、Ｍ．Ｏｒｅｎ，Ｃ．Ｐａｐａｇｅｏｒｇｉｏｕ，Ｐ．Ｓｉｎｈａ，Ｅ．Ｏｓｕｎａ  ａｎｄ  Ｔ．Ｐｏｇｇｉｏ，“Ｐｅｄｅｓｔｒｉａｎ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  Ｗａｖｅｌｅｔ  Ｔｅｍｐｌａｔｅｓ”，Ｐｒｏｃ．ｏｆ  ＣＶＰＲ９７，ｐｐ．１９３−１９９，１９９７（参考文献３）等の人物検出手法を用いて移動物体の検出を行う。その後、前記人物検出結果をもとに、顔領域の検出、切りだしを行う。
【００３５】
また、位置検出部１３では、カメラ１０−１〜ｎから送信された位置情報をもとに、映像処理部１２で切り出された顔画像および人物画像に対してそれぞれ位置情報を付与する。
【００３６】
これら映像処理部１２と位置検出部１３とで処理された情報は、移動物体検出追跡部１４に送信される。
【００３７】
移動物体検出追跡部１４では、映像処理部１２と位置検出部１３とで得られた情報及び地図データ部１５の地図データから、同一人物に対してインデックスを付与する。同一人物の判断は、Ｃ．Ｗｒｅｎ，Ａ．Ａｚｅｒｂａｙｅｊａｎｉ，Ｔ．Ｄａｒｒｅｌ，Ａ．Ｐｅｎｔｌａｎｄ，“Ｐｆｉｎｄｅｒ：Ｒｅａｌ  Ｔｉｍｅ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｈｕｍａｎ  Ｂｏｄｙ”ＩＥＥＥ  Ｔｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．１９，ＮＯ．７，Ｊｕｌｙ，１９９７等のトラッキング手法を用いて、映像処理部１２で検出したすべての移動物体に対して、服装のテクスチャや色の特徴量を用いてそれぞれ追跡を行い、追跡を行いながら、検出した顔画像を逐次マッチングすることによって総合的に行う。
【００３８】
ただし、これは追跡を行うための特徴量や追跡方法を限定するものではない。この時、撮影されたカメラ１０−１〜ｎの位置情報と時間との関係を用いて判断することにより、短い時間内に距離的に近い人物同士をマッチングすることができるため、追跡ミスを減少させることが可能になる。
【００３９】
次に、状況判断部１７について、図２を用いて説明する。
【００４０】
状況判断部１７は、ロスト判断部１７１と、ルート探索部１７２と、データベース処理部１７３と、通報処理部１７４と、属性処理部１７５とを備えている。
【００４１】
ロスト判断部１７１は、移動物体検出追跡部１４で移動物体を自動追跡している間は常に動作し、追跡対象の物体を見失ったことを判断するものであり、移動物体が人物の場合には、そのロスト判断を、服装のテクスチャや色などを用いた追跡ができなくなった場合、顔画像のマッチングがとれなくなった場合に行う。
【００４２】
なお、本実施の形態においては、過去Ｎフレーム分の追跡対象に関するテクスチャや色などの特徴量と現フレームにおける追跡対象のテクスチャや色などの特徴量とを比較することによって、類似度が過去Ｎフレームすべてにおいて、閾値以下であれば追跡失敗と判断する。
【００４３】
また、顔画像のマッチングに関しても、過去Ｎフレーム分の追跡対象の顔画像と現フレ
ームにおける追跡対象の顔画像とをそれぞれマッチングした類似度の計算を行い、追跡結果と顔画像のマッチング結果とから総合的にロスト判断を行う。
【００４４】
例えば、追跡結果と顔画像マッチング結果とをそれぞれ重み付けし、閾値を決定することなどによって、ロスト判断を行うことが可能である。また、追跡結果でロストと判断した場合に、補助的に顔画像マッチング結果を用いることも可能である。
【００４５】
ところで、このようなロスト判断を行う場合には、一時的な遮蔽を許容するために、フレームごとに判断処理しないで、複数のフレーム画像から総合的に判断するようにしている。
【００４６】
ここで、ロスト判定部１７１が、追跡対象の物体をロストしたことを判断した場合には、ルート探索部１７２において、地図データ部１５の地図データをもとに追跡対象物体の移動可能ルートを自動的に探索し、探索結果を表示切替部１８に出力する。追跡対象物体が人物である場合には、最寄りの駅を含めた移動可能ルートを探索する。この時、ロスト判断を行った時間から人物の移動速度を適宜平均的な移動速度、例えば、時速１０ｋｍと仮定して探索を行う。検索ルートは、表示切替部１８及び移動物体検出追跡部１４に出力され、移動物体検出追跡部１４は、検索ルートに基づき再度インデックスを付与する。
【００４７】
次に、データベース処理部１７３は、移動物体追跡検出部１４で顔画像を検出した場合に動作するものであり、あらかじめデータベース１６に登録した人物の顔画像と監視中に検出された人物の顔画像とのマッチングを行うものであり、照合結果が閾値以上であれば、データベース１６と照合したと判断するように構成されている。
【００４８】
次に、通報処理部１７４は、事件等の緊急事態が発生し、ネットワーク２１を介して緊急事態発生などの通報を受けた場合に、通報内容を、表示切替部１８、データベース１６及び移動物体検出追跡部１４に出力する。
【００４９】
属性処理部１７５は、追跡対象物体が、例えば人物であれば、人物の身長、体重、名前、服装、その他特徴等の追跡対象物体情報を受け付けるものであり、それぞれの追跡対象物体情報は、データベース１６にあらかじめ登録をしてある場合は、その登録された情報を受け付け、登録をなされていない場合は、Ｉ／Ｆ部２０を介してそれぞれオペレータが入力した情報を受け付けることも可能である。
【００５０】
次に、移動物体の監視の動作を、図３を用いて説明する。
【００５１】
なお、ここでは、事前に４種類の表示モードを用意し、その表示モードにおいて動作する場合について説明するが、表示モードは、必ずしも４種類である必要はなく、他の情報を表示する表示モードを設けてもよいことは言うまでもないことである。
【００５２】
４種類の表示モードは、通報モード（モード１）、照合モード（モード２）、事件モード（モード３）、ロストモード（モード４）からなり、モード１の通報モードは、外部から追跡対象者についての通報があった場合に、通報内容を表示するモードであり、モード２の照合モードは、追跡対象者を発見した場合に、オペレータが正確な追跡対象者判定を行うことを支援するモードであり、モード３の事件モードは、事件発生時にオペレータが追跡対象者を迅速に追跡、発見することを支援するモードであり、モード４のロストモードは、追跡対象者をロストした場合に、オペレータにロストした対象の検出および追跡を行えるように操作を求めるモードである。
【００５３】
まず、Ｓ３０１にて、状況判断部１７が、ネットワーク２１を介して追跡対象者を発見
したとの通報を受けた場合は、Ｓ３０２に移行し、通報を受けない場合は、Ｓ３１２に移行する。
【００５４】
次に、Ｓ３０２にて、表示切替部１８が、モニタ１９に通報モードを表示させる。
【００５５】
次に、Ｓ３０３にて、通報処理部１７４が、通報情報４２をデータベース１６に追加する。
【００５６】
次に、Ｓ３０４にて、移動物体検出追跡部１４が、通報情報４２に基づき、追跡対象者を検出する。
【００５７】
次に、Ｓ３０５にて、データベース処理部１７３が、検出画像５２とデータベース画像とを照合し、一致する場合は、Ｓ３０６に移行し、一致しない場合は、Ｓ３０４に移行する。
【００５８】
次に、Ｓ３０６にて、表示切替部１８が、モニタ１９に照合モードを表示する。
【００５９】
次に、Ｓ３０７にて、監視者が、検出画像５２を確認し、Ｉ／Ｆ部２０より確認結果を入力し、検出画像５２と追跡対象者とが一致する場合は、Ｓ３０８に移行し、検出画像５２と追跡対象者とが一致しない場合は、Ｓ３０４に移行する。
【００６０】
次に、Ｓ３０８にて、表示切替部１８が、モニタ１９に事件モードを表示する。
【００６１】
次に、Ｓ３０９にて、状況判断部１７が、追跡対象者をロストした場合は、Ｓ３１０に移行し、追跡中は、Ｓ３０９に移行する。
【００６２】
次に、Ｓ３１０にて、表示切替部１８が、モニタ１９にロストモードを表示する。
【００６３】
次に、Ｓ３１１にて、移動物体検出追跡部１４が、探索ルートを考慮して追跡対象者を検出し、追跡し、Ｓ３０４に移行する。
【００６４】
次に、通報を受けない場合において、Ｓ３１２にて、移動物体検出追跡部１４が、追跡対象者の検出を行い、追跡対象者を検出した場合は、Ｓ３１３に移行し、検出しない場合は、Ｓ３０１に移行する。
【００６５】
次に、Ｓ３１３にて、データベース処理部１７３が、検出画像５２とデータベース画像とを照合し、一致する場合は、Ｓ３１４に移行し、一致しない場合は、Ｓ３０１に移行する。
【００６６】
次に、Ｓ３１４にて、表示切替部１８が、モニタ１９に照合モードを表示する。
【００６７】
次に、Ｓ３１５にて、監視者が、検出画像５２を確認し、Ｉ／Ｆ部２０より確認結果を入力し、検出画像５２と追跡対象者とが一致する場合は、Ｓ３１６に移行し、検出画像５２と追跡対象者とが一致しない場合は、Ｓ３０１に移行する。
【００６８】
次に、Ｓ３１６にて、表示切替部１８が、モニタ１９に事件モードを表示する。
【００６９】
次に、Ｓ３１７にて、状況判断部１７が、追跡対象者をロストした場合は、Ｓ３１８に移行し、追跡中は、Ｓ３０１に移行する。
【００７０】
次に、Ｓ３１８にて、表示切替部１８が、モニタ１９にロストモードを表示する。
【００７１】
次に、Ｓ３１９にて、移動物体検出追跡部１４が、探索ルートを考慮して追跡対象者を検出し、追跡し、Ｓ３０１に移行する。
【００７２】
以上が、移動物体の監視の動作フローである。
【００７３】
なお、状況判断部１７のデータベース処理部１７３が、検出画像５２とデータベース１６に蓄積されている画像とのマッチングは、マッチング結果が予め定めた閾値以上であれば、照合したと判断するものである。
【００７４】
ここで、図４に通報モード（モード１）の表示を示す。通報内容として、撮影された画像と追跡対象者の特徴を示す情報と存在位置が通報された場合は、通報画像４１、通報情報４２、存在位置を示す通報位置地図４３を表示し、監視員に、追跡対象者の存在を示す。ここでは、通報位置地図４３上に、星型のアイコンを用いて追跡対象者の位置を示した。
【００７５】
また、照合モード（モード２）では、図５に示すように、データベース１６に登録された追跡対象者画像５１と実際に検出した複数の検出画像５２とを同時に表示する。
【００７６】
また、データベース１６に予め追跡対象者の身長や体重などの追跡対象者情報５３が登録されている場合は、同時にその追跡対象者情報５３を表示することも可能である。
【００７７】
さらに、実際に検出画像５２の枚数を、データベース処理部１７３で照合した結果の信頼度に基づいて変化させることも可能である。信頼度は、例えば、検出画像５２とデータベース１６に登録された追跡対象者画像との類似度を用いることができる。これにより信頼度が低い場合には、より多くの検出画像５２を表示することが可能であり、監視員が、照合結果が妥当であるかどうかを判断する。
【００７８】
ここで、誤認識を防ぐ目的で、監視員が、複数の検出画像５２とデータベース１６の追跡対象者画像５１とが一致するかどうかを確認ボタン５４のＹＥＳ／ＮＯで判断する形式とし、確認ボタン５４のＮＯを選択した場合には、Ｉ／Ｆ部２０より移動物体検出追跡部１４に検出、追跡を続行するための信号が出力され、再度、確認ボタン５４のＹＥＳが選択されるか、もしくは、追跡対象者の追跡が行える限り検出画像を表示していく。
【００７９】
また、確認ボタン５４のＹＥＳを選択した場合には、追跡対象者であると判断し、その旨がＩ／Ｆ部２０より属性処理部１７５に出力され、事件発生と認識し、事件モード（モード３）の処理を行う。
【００８０】
なお、通報処理部１７４が、ネットワーク２１から緊急事態発生の通報を受けた場合に、そのモード３の事件モードとなることも可能である。
【００８１】
また、事件発生の場合は、事件が発生した場所が重要な問題になるため、事件モード（モード３）では、図６に示すように、事件が発生した場所付近の追跡位置地図６１と住所を表示し、その地図上に追跡対象者の位置を示すアイコンを表示する。そして、同時に追跡時に撮影した追跡中カメラ画像６３から代表的な画像６２を選択して表示する。この代表的な画像６２の選択は、監視員が行ってもよいし、データベース処理部１７３で照合した照合結果の信頼度が高い画像を自動的に選択してもよい。
【００８２】
また、属性処理部１７５が保持する身長や体重などの追跡対象者情報６４も表示するこ
とも可能である。また、追跡位置地図６１には、追跡対象の移動軌跡を表示することも可能である。ここでは、点線で示した。
【００８３】
なお、追跡処理は自動的に行われ、より信頼度の高い画像が検出できた場合には、代表的な画像６２を自動的に更新することも可能である。これにより、監視員は、警備員を配置するためのオペレーションを容易に行うことができる。また、監視員は、地図上のアイコンをクリックすることによって、その付近を撮影する追跡中カメラ画像６３を表示し、更に、追跡中のカメラ１０−１〜ｎを選択することもできる。これは、位置検出部１３と地図データ部１５との対応関係を持っているために、位置検出部１３の情報からカメラ１０−１〜ｎの選択が可能である。
【００８４】
次に、ロストモードの表示について、図７を用いて説明する。
【００８５】
ロストモードは、一時的な遮蔽等によるロストを許容するために複数枚の画像からロスト判断され、表示切替部１８が、モード４のロストモードの表示を行う。
【００８６】
ロストモードの表示は、ロストした付近のビルや家屋等の情報も含めたロスト位置地図７１を表示すると同時に、ロストした時点からの経過時間をもとに逃避可能ルートを探索し、ロスト位置地図７１上に表示する。ここでは、点線矢印で逃避可能ルートを示す。
【００８７】
また、ロスト位置地図７１の縮尺は経過時間と逃避可能ルートをもとに決定するため、ロスト後、時間が経過するほど広域を表示することになる。また、ロスト付近のカメラ画像７３とロストした追跡対象者情報７４および追跡時に撮影した代表的な画像７２を同時に表示することによって、監視員がロストした対象を発見するように、追跡対象者をロストした付近の捜索員に、的確な指示を出すことが可能となる。この時、最寄りに駅があればそれもあわせて表示する。
【００８８】
また、自動追跡中の人物が監視区域外に出た場合も同様に、過去Ｎフレーム分の追跡対象に関するテクスチャや色などの特徴量と現フレームにおける追跡対象のテクスチャや色などの特徴量との類似度が下がるために、ロスト判断部１７１においてロストしたと判断する。この時も同様にロストモードの表示を行うが、加えて、地図データ部１５のデータを用いて、最寄りの監視区域を探索して色分けして表示する。
【００８９】
また、監視区域外から移動可能な監視区域を表示することによって、監視区域外に人員を配置するなどの処置を取るなどの監視員のオペレーションを補助し、監視ミスの減少を可能とする。
【００９０】
このように、追跡対象が人物の場合は、人物の顔画像や属性データおよび人物が存在する位置などの複数のデータを、緊急通報やロストなどの状況を状況判断部１７で判断し、その判断結果に応じて必要な表示を選択し切り替えることによって、監視員の効率的かつ正確な監視を実現し、監視ミスを減少させることができる。また、警備員の配置などのオペレーション業務に対しても有効な情報を表示することができる。
【００９１】
（実施の形態２）
図１は、実施の形態２に関わる広域監視システムの概略構成図である。
【００９２】
本実施の形態における広域監視装置は、街頭のような広い領域を監視領域とするために、複数の地点にカメラを設置し、その領域内に存在する車両を検出、追跡して監視するものである。
【００９３】
図１において、カメラ１０−１〜ｎは、広域を監視するためにさまざまな地点に設置され、各カメラ１０−１〜ｎはそれぞれ設置された位置情報を保持している。各カメラ１０−１〜ｎで撮像された映像およびカメラ１０−１〜ｎの位置情報は、ネットワーク１１を介して映像処理部１２および位置検出部１３に送信される。この時、カメラ１０−１〜ｎ毎にサーバーをもっておいても良いし、複数台のカメラ１０−１〜ｎをまとめて１台のサーバーで制御してもよい。
【００９４】
映像処理部１２では、送信された画像に対して背景差分若しくはフレーム間差分を行い、人物及び車両等の動いている物体が存在する領域を限定する。そこで限定された領域に対して、前述の参考文献３などの検出手法を用いるか、もしくは、複数の車両のテンプレートを予め用意し、そのテンプレートを用いてマッチングを行う。その後、ナンバー領域を検出し切りだしを行う。切り出されたナンバー領域はここで読み取られる。また、位置検出部１３では、カメラ１０−１〜ｎから送信された位置情報をもとに、映像処理部１２で切り出した車両の画像及びナンバー情報に対して位置情報を付与する。これら映像処理部１２と位置検出部１３で処理された情報は、移動物体検出追跡部１４に送信される。
【００９５】
また、移動物体検出追跡部１４では、映像処理部１２と位置検出部１３で得られた情報及び地図データ部１５の地図データから、同一車両に対してインデックスを付与するものである。同一車両の判断は、ナンバー情報の読み取り結果を用いて行う。この時、撮影された位置情報と時間との関係も用いて判断することによって、距離的に近い車両同士をマッチングすることができ、追跡ミスを減少させることが可能である。また、検出した車両の色情報及び検出時に用いた車両テンプレートの種類を用いて追跡処理を行い、更に、オプティカルフローを用いて、追跡対象の移動方向を算出することによって、追跡ミスを減少させることも可能である。
【００９６】
次に、状況判断部１７について、図２を用いて説明する。
【００９７】
状況判断部１７は、ロスト判断部１７１と、ルート探索部１７２と、データベース処理部１７３と、通報処理部１７４と、属性処理部１７５とを備えている。
【００９８】
第１の実施の形態と同様に、ロスト判断部１７１およびデータベース処理部１７３は、移動物体追跡検出部１４で対象を検出、追跡している時に動作し、追跡対象のロスト判断および検出したナンバープレートとデータベース１６に保持したナンバープレートとの照合を行う。
【００９９】
ロスト判断部１７１は、移動物体検出追跡部１４で自動追跡中の追跡対象物体を見失ったことを判断するものであり、車両の場合におけるロスト判断は、基本的にナンバーの読み取り及びマッチングができなくなった場合に行う。
【０１００】
これらのロスト判断は、一時的な遮蔽等によるロストを許容するために、フレーム毎に処理するものではなく、複数のフレーム画像から総合的に判断する。例えば、過去Ｎフレームにおいて、読み取ったナンバーと現在の読み取ったナンバーとを照合して、一度も照合できない場合にはロストしたと判断する。追跡対象をロストしたことを判断した場合、ルート探索部１７２において、地図データ部１５の地図データをもとに追跡対象の移動可能ルートを探索する。追跡対象が車両である場合は、ロスト地点近傍の交通状況を考慮した移動可能ルートを探索する。この時、ロスト判断を行った時間に応じて探索範囲を広げていく。
【０１０１】
データベース処理部１７３は、移動物体検出部１４でナンバープレートを検出した場合に動作するものであり、予めデータベース１６に登録した車両のナンバーと監視中に画像
処理部で検出した車両のナンバーとのマッチングを行うものである。この時、照合結果が正しければ、データベース１６と照合したと判断する。
【０１０２】
通報処理部１７４は、事件等の緊急事態が発生した場合とオペレータが緊急事態と判断した場合に、Ｉ／Ｆ部２０を介してオペレータの入力情報を受け付けるか、若しくはネットワーク２１を介して通報を受け付けるものである。
【０１０３】
属性処理部１７５は、追跡対象が車両である場合、車両のナンバー、車種、車の色等の追跡対象物体情報を受け付けるものであり、それぞれの追跡対象物体情報は、データベース１６にあらかじめ登録してある場合はその情報を受け付け、登録がなされていない場合は、Ｉ／Ｆ部２０を介してオペレータが入力する。
【０１０４】
次に、状況判断部１７と表示切替部１８について、その動作を詳しく説明する。
【０１０５】
ここでは、事前に４種類の表示モードを用意した場合の状況判断部１７の処理を、図８を用いて説明する。ただし、表示モードは４種類である必要はなく、他の情報を表示するための表示モードを用意しても構わない。
【０１０６】
４種類の表示モードは、通報モード（モード１）、照合モード（モード２）、事件モード（モード３）、ロストモード（モード４）からなり、モード１の通報モードは、外部から追跡対象者についての通報があった場合に、通報内容を表示するモードであり、モード２の照合モードは、追跡対象車両を発見した場合に、オペレータが正確な追跡対象車判定を行うことを支援するモードであり、モード３の事件モードは、事件発生時にオペレータが追跡対象車両を迅速に追跡、発見することを支援するモードであり、モード４のロストモードは、追跡対象車両をロストした場合に、オペレータにロストした対象の検出および追跡を行えるように操作を求めるモードである。
【０１０７】
次に、移動物体の監視の動作フローを、図８を用いて説明する。
【０１０８】
まず、Ｓ８０１にて、状況判断部１７が、ネットワーク２１を介して追跡対象車両を発見したとの通報を受けた場合は、Ｓ８０２に移行し、通報を受けない場合は、Ｓ８０４に移行する。
【０１０９】
次に、Ｓ８０２にて、表示切替部１８が、モニタ１９に通報モードを表示させる。
【０１１０】
次に、Ｓ８０３にて、通報処理部１７４が、通報情報９２をデータベース１６に追加する。
【０１１１】
次に、Ｓ８０４にて、移動物体検出追跡部１４が、通報情報９２に基づき、追跡対象車両を検出する。
【０１１２】
次に、Ｓ８０５にて、データベース処理部１７３が、検出画像１００２とデータベース画像とを照合し、一致する場合は、Ｓ８０６に移行し、一致しない場合は、Ｓ８０４に移行する。
【０１１３】
次に、Ｓ８０６にて、表示切替部１８が、モニタ１９に照合モードを表示する。
【０１１４】
次に、Ｓ８０７にて、監視者が、検出画像１００２を確認し、Ｉ／Ｆ部２０より確認結果を入力し、検出画像１００２と追跡対象車両とが一致する場合は、Ｓ８０８に移行し、検出画像１００２と追跡対象車両とが一致しない場合は、Ｓ８０４に移行する。
【０１１５】
次に、Ｓ８０８にて、表示切替部１８が、モニタ１９に事件モードを表示する。
【０１１６】
次に、Ｓ８０９にて、状況判断部１７が、追跡対象車両をロストした場合は、Ｓ８１０に移行し、追跡中は、Ｓ８０９に移行する。
【０１１７】
次に、Ｓ８１０にて、表示切替部１８が、モニタ１９にロストモードを表示する。
【０１１８】
次に、Ｓ８１１にて、移動物体検出追跡部１４が、探索ルートを考慮して追跡対象車両を検出し、追跡し、Ｓ８０４に移行する。
【０１１９】
次に、通報が無い場合において、Ｓ８１２にて、移動物体検出追跡部１４が、追跡対象車両を検出した場合は、Ｓ８１３に移行し、検出しない場合は、Ｓ８０１に移行する。
【０１２０】
次に、Ｓ８１３にて、データベース処理部１７３が、検出画像１００２とデータベース画像とを照合し、一致する場合は、Ｓ８１４に移行し、一致しない場合は、Ｓ８０１に移行する。
【０１２１】
次に、Ｓ８１４にて、表示切替部１８が、モニタ１９に照合モードを表示する。
【０１２２】
次に、Ｓ８１５にて、監視員が、検出画像１００２を確認し、Ｉ／Ｆ部２０より確認結果を入力し、検出画像１００２と追跡対象車両とが一致する場合は、Ｓ８１６に移行し、検出画像１００２と追跡対象車両とが一致しない場合は、Ｓ８０１に移行する。
【０１２３】
次に、Ｓ８１６にて、表示切替部１８が、モニタ１９に事件モードを表示する。
【０１２４】
次に、Ｓ８１７にて、状況判断部１７が、追跡対象車両をロストした場合は、Ｓ８１８に移行し、追跡中は、Ｓ８０１に移行する。
【０１２５】
次に、Ｓ８１８にて、表示切替部１８が、モニタ１９にロストモードを表示する。
【０１２６】
次に、Ｓ８１９にて、移動物体検出追跡部１４が、探索ルートを考慮して追跡対象車両を検出し、追跡し、Ｓ８０１に移行する。
【０１２７】
以上が、移動物体の監視の動作フローである。
【０１２８】
ここで、図９に通報モード（モード１）の表示を示す。通報内容として、撮影された画像と対象者の特徴データと存在位置が通報された場合は、通報画像９１、通報情報９２、存在位置を示す通報位置地図９３を表示し、監視員に、追跡対象車両の存在を示す。ここでは、通報位置地図９３上に、星型のアイコンを用いて車両の位置を示した。
【０１２９】
また、照合モード（モード２）では、図１０に示すように、データベース１６に登録された追跡対象車両画像１００１と実際に検出した複数の検出画像１００２とを同時に表示する。
【０１３０】
また、データベース１６に予め追跡対象車両の車両番号、車種、色、所有者、使用者などの追跡対象車両情報１００３が登録されている場合は、同時にその追跡対象車両情報１００３を表示することも可能である。
【０１３１】
さらに、実際に検出した検出画像１００２の枚数を、データベース処理部１７３で照合
した結果の信頼度に基づいて変化させることも可能である。信頼度は、例えば、検出画像１００２とデータベース１６に登録された追跡対象車両画像１００１との類似度を用いることができる。これにより信頼度が低い場合には、より多くの検出画像１００２を表示することが可能であり、監視員が、照合結果が妥当であるかどうかを判断する。
【０１３２】
ここで、誤認識を防ぐ目的で、監視員が、検出された複数の検出画像１００２とデータベース１６の追跡対象車両画像１００１とが一致するかどうかを確認ボタン１００４のＹＥＳ／ＮＯで判断する形式とし、確認ボタン１００４のＮＯを選択した場合には、Ｉ／Ｆ部２０より移動物体検出追跡部１４に検出、追跡を続行するための信号が出力され、再度、確認ボタン１００４のＹＥＳが選択されるか、もしくは、追跡対象車両画像１００１の追跡が行える限り検出画像１００２を表示していく。
【０１３３】
また、確認ボタン１００４のＹＥＳを選択した場合には、追跡対象車両であると判断し、その旨がＩ／Ｆ部２０より属性処理部１７５に出力され、事件発生と認識し、事件モード（モード３）の処理を行う。
【０１３４】
なお、通報処理部１７４が、ネットワーク２１から緊急事態発生の通報を受けた場合に、そのモード３の事件モードとなることも可能である。
【０１３５】
事件モードは、前述のようにデータベース処理部１７３で追跡対象車両と判断した場合と、図２における通報処理部１７４で、緊急事態発生の通報を受けた場合に相当する。事件が発生した場合、モード３として事件モードとなり、表示切替器１８によって事件モードの表示を行う。事件発生時は、事件の発生した場所が重要な問題である。そのため事件モードでは、図１１のように、事件の起きた場所付近の追跡位置地図１１０１および住所を表示し、その追跡位置地図１１０１上に車両であることが分かるようにアイコンを表示する。ここでは、星型のアイコンとした。また、追跡中の画像を追跡中カメラ画像１１０３として、表示することも可能である。また、検出画像１００２から選択された代表的な画像１１０２を表示することもできる。
【０１３６】
同時にナンバー情報や属性処理部１７５が保持する車種、車体の色などの追跡対象車両情報１１０４も表示する。追跡対象車両情報１１０４は、データベース１６に予め登録してあるデータ、若しくはＩ／Ｆ部２０を介して監視員が入力したデータである。
【０１３７】
また、追跡位置地図１１０１上にアイコンを表示し、更に、追跡対象の移動軌跡を表示することも可能である。ここでは、移動軌道を点線で示した。
【０１３８】
さらに、映像処理部１２で抽出した車両の代表画像１１０２を表示する。これにより、監視員は警備員を配置するためのオペレーションを容易に行うことができる。
【０１３９】
次に、図１２におけるロスト発生時の表示モード（モード４）について説明する。ロスト発生時とは、追跡対象車両を検出および追跡している途中、もしくは、事件発生時に追跡対象車両を追跡中に追跡対象をロストした場合である。移動物体検出追跡部１４で追跡している追跡対象を追跡できているかどうかの判断を、状況判断部１７のロスト判断部１７１で行う。
【０１４０】
ここでは、一時的な遮蔽等によるロストを許容するために複数枚の画像からロスト判断を行う。ロストしたことを判断した場合は、モード４としてロストモードの表示を行う。ロストモードの表示は、図１２に示すように、ロストした付近のビルや家屋等の情報も含めたロスト位置地図１２０１とロストした時点からの経過時間をもとに逃避可能ルートを探索し、ロスト位置地図１２０１上に表示する。ここでは、点線矢印で逃避可能ルートを
示した。
【０１４１】
この時、表示するロスト位置地図１２０１の縮尺は経過時間および逃避可能ルートによって決定するため、ロスト後、時間が経過するほどロスト位置地図１２０１の縮尺は広域を表すようになる。また、ロスト付近のカメラ画像１２０３とロストした対象の追跡対象車両情報１２０４および追跡時に撮影した代表的な画像１２０２を同時に表示することによって、監視員がロストした対象を発見するように促す。
【０１４２】
また、自動追跡中の車両が監視区域外に出た場合も同様に、追跡処理を失敗するために、ロスト判断部においてロストしたと判断する。この時も同様にロストモードの表示を行うが、加えて、地図データ部１５のデータを用いて、最寄りの監視区域を探索してカメラ１０−１〜ｎごとの監視区域を色分けして表示する。また、監視区域外から移動可能な監視区域を表示することによって、監視区域外に人員を配置するなどの処置を取るなどの監視員のオペレーションを補助し、監視ミスの減少を可能とする。
【０１４３】
このように、監視対象が車両の場合は、車両のナンバー、車両の色、車種及び追跡車両が存在する位置などの複数のデータを緊急通報やロスト時などの状況を状況判断部１７で判断し、その判断結果に応じて必要な表示を選択し切り替えることによって、監視員の効率的かつ正確な監視を実現し、監視ミスを減少させることができる。また、警備員の配置などのオペレーション業務に対しても有効な情報を表示することができる。
【産業上の利用可能性】
【０１４４】
以上のように本発明の広域監視装置によれば、データベースに蓄積された情報とカメラから得られた情報との照合を行うために、監視員の負担が小さくなるように情報を選択的に表示したり、緊急事態発生時には、発生位置や追跡対象の属性を表示し、対象を追跡することによって、監視員のオペレーションを容易にすることで負担を軽減したり、装置が追跡対象をロストした時には、その発生を監視員に知らせることによって監視員の操作を促すことが可能である。このように、状況を判断し状況に応じた表示を行うことで、監視の効率を向上し監視ミスを減少させることが可能である。
【図面の簡単な説明】
【０１４５】
【図１】本発明の実施の形態１に関わる広域監視装置の概略構成図
【図２】本発明の実施の形態１に関わる広域監視装置実施において使用する状況判断部の概略構成図
【図３】本発明の実施の形態１における広域監視装置の動作を示すフローチャート
【図４】本発明の実施の形態１における広域監視装置による通報モードの表示を示す図
【図５】本発明の実施の形態１における広域監視装置による照合モードの表示を示す図
【図６】本発明の実施の形態１における広域監視装置による事件モードの表示を示す図
【図７】本発明の実施の形態１における広域監視装置によるロストモードの表示を示す図
【図８】本発明の実施の形態２における広域監視装置の動作を示すフローチャート
【図９】本発明の実施の形態２における広域監視装置による通報モードの表示を示す図
【図１０】本発明の実施の形態２における広域監視装置による照合モードの表示を示す図
【図１１】本発明の実施の形態２における広域監視装置による事件モードの表示を示す図
【図１２】本発明の実施の形態２における広域監視装置によるロストモードの表示を示す図
【符号の説明】
【０１４６】
１０−１〜ｎ    カメラ
１１、２１    ネットワーク
１２    映像処理部
１３    位置検出部
１４    移動物体検出追跡部
１５    地図データ部
１６    データベース
１７    状況判断部
１８    表示切替部
１９    モニタ
２０    Ｉ／Ｆ部
１７１    ロスト判定部
１７２    ルート探索部
１７３    データベース処理部
１７４    通報処理部
１７５    属性処理部
４１、９１    通報画像
４２、９２    通報情報
４３、９３    通報位置地図
５１    追跡対象者画像
５２、１００２    検出画像
５３、６４、７４    追跡対象者情報
５４、１００４    確認ボタン
６１、１１０１    追跡位置地図
６２、７２、１１０２、１２０２    代表的な画像
６３、１１０３    追跡中カメラ画像
７１、１２０１    ロスト位置地図
７３、１２０３    ロスト付近のカメラ画像
１００１    追跡対象車両画像
１００３、１１０４、１２０４    追跡対象車両情報
【図１】
2005086626.tif 000003
【図２】
2005086626.tif 000004
【図３】
2005086626.tif 000005
【図４】
2005086626.tif 000006
【図５】
2005086626.tif 000007
【図６】
2005086626.tif 000008
【図７】
2005086626.tif 000009
【図８】
2005086626.tif 000010
【図９】
2005086626.tif 000011
【図１０】
2005086626.tif 000012
【図１１】
2005086626.tif 000013
【図１２】
2005086626.tif 000014