(57)【要約】  画像処理装置（１０）は、入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの空間的特徴量を推定する画像解析部（１２）と、当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部（１３）とを備える。
2017046872.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定する画像解析部と、
当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、前記空間的特徴量は、前記実空間における物理寸法を示す量であることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、少なくとも１台の撮像カメラから、前記入力画像を含む送信データを受信する受信部を更に備えることを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置であって、前記入力画像のデータを第１のデータ記録部に蓄積するとともに、前記空間的な記述子のデータを当該入力画像のデータと関連付けて第２のデータ記録部に蓄積するデータ記録制御部を更に備えることを特徴とする画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記入力画像は動画像であり、
前記データ記録制御部は、前記空間的な記述子のデータを、前記動画像を構成する一連の画像のうち当該検出されたオブジェクトを映す画像と関連付けることを特徴とする画像処理装置。
【請求項６】
請求項１記載の画像処理装置であって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成する、
ことを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、前記地理的情報は、当該検出されたオブジェクトの地球上の位置を示す測位情報であることを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、前記画像解析部は、前記入力画像に現れるコードパターンを検出し、当該検出されたコードパターンを解析して前記測位情報を取得することを特徴とする画像処理装置。
【請求項９】
請求項６記載の画像処理装置であって、前記入力画像のデータを第１のデータ記録部に蓄積するとともに、前記空間的な記述子のデータ及び前記地理的な記述子のデータを当該入力画像のデータと関連付けて第２のデータ記録部に蓄積するデータ記録制御部を更に備えることを特徴とする画像処理装置。
【請求項１０】
請求項１記載の画像処理装置であって、前記空間的な記述子を送信するデータ伝送部を更に備えることを特徴とする画像処理装置。
【請求項１１】
請求項１０記載の画像処理装置であって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成し、
前記データ伝送部は、前記地理的な記述子を送信する
ことを特徴とする画像処理装置。
【請求項１２】
請求項１０記載の画像処理装置から送信された当該空間的な記述子を受信する受信部と、
前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を予測する状態予測部と
を備えることを特徴とする画像処理システム。
【請求項１３】
請求項１記載の画像処理装置と、
前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を演算により予測する状態予測部と
を備えることを特徴とする画像処理システム。
【請求項１４】
請求項１３記載の画像処理システムであって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成し、
前記パラメータ導出部は、前記空間的な記述子及び前記地理的な記述子に基づき、前記状態特徴量を示す状態パラメータを導出する
ことを特徴とする画像処理システム。
【請求項１５】
請求項１２記載の画像処理システムであって、前記状態予測部で予測された状態を表すデータを外部機器に送信する状態提示インタフェース部を更に備えることを特徴とする画像処理システム。
【請求項１６】
請求項１３記載の画像処理システムであって、前記状態予測部で予測された状態を表すデータを外部機器に送信する状態提示インタフェース部を更に備えることを特徴とする画像処理システム。
【請求項１７】
請求項１５記載の画像処理システムであって、
前記状態予測部で予測された状態に基づいて警備計画案を演算により導出する警備計画導出部と、
当該導出された警備計画案を表すデータを外部機器に送信する計画提示インタフェース部と
を更に備えることを特徴とする画像処理システム。
【請求項１８】
請求項１６記載の画像処理システムであって、
前記状態予測部で予測された状態に基づいて警備計画案を演算により導出する警備計画導出部と、
当該導出された警備計画案を表すデータを外部機器に送信する計画提示インタフェース部と
を更に備えることを特徴とする画像処理システム。
【請求項１９】
入力画像を解析して当該入力画像に現れるオブジェクトを検出するステップと、
当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定するステップと、
当該推定された空間的特徴量を表す空間的な記述子を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９記載の画像処理方法であって、
当該検出されたオブジェクトの地理的情報を推定するステップと、
当該推定された地理的情報を表す地理的な記述子を生成するステップと
を更に備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの内容を示す記述子を生成または利用するための画像処理技術に関する。
【背景技術】
【０００２】
近年、画像（静止画像及び動画像を含む。）を撮像する撮像機器の普及、インターネットなどの通信網の発達及び通信回線の広帯域化に伴い、画像配信サービスの普及とその大規模化が進行している。かかる事情を背景として、個人向け及び事業者向けのサービス及び製品において、ユーザがアクセス可能な画像コンテンツの数は膨大なものになっている。このような状況の中、ユーザが画像コンテンツにアクセスするためには、画像コンテンツの検索技術が不可欠である。この種の検索技術の１つとして、検索クエリを画像自体とし、当該画像と検索対象画像とのマッチングをとる方法がある。検索クエリは、ユーザが検索システムに入力する情報である。しかしながら、この方法では、検索システムの処理負荷が非常に大きくなり得、また、検索クエリの画像及び検索対象画像を検索システムに伝送する際の伝送データ量が大きい場合に通信網にかかる負荷が大きくなるという問題がある。【０００３】
この問題を回避するために、画像の内容を記述する視覚的な記述子（ｖｉｓｕａｌ ｄｅｓｃｒｉｐｔｏｒｓ）を当該画像に付加または関連付けて検索対象とする技術が存在する。この技術は、画像の内容の解析結果に基づいて記述子を予め生成しておき、当該記述子のデータを当該画像本体とは別に伝送または蓄積することを可能とするものである。この技術を利用すれば、検索システムは、検索クエリの画像に付加された記述子を、検索対象画像に付加された記述子とマッチングすることで検索処理を行うことができる。記述子のデータサイズを画像本体のデータサイズよりも小さくすることで、検索システムの処理負荷の軽減並びに通信網にかかる負荷の軽減が可能となる。【０００４】
このような記述子に関する国際標準としては、非特許文献１（"MPEG-7 Visual Part of Experimentation Model Version 8.0"）に開示されているＭＰＥＧ−７  Ｖｉｓｕａｌが知られている。ＭＰＥＧ−７  Ｖｉｓｕａｌでは、画像の高速検索などの用途を想定して、画像の色及びテクスチャ、並びに画像に現れるオブジェクトの形状及び動きなどの情報を記述するためのフォーマットが規定されている。【０００５】
一方、動画像データをセンサデータとして使用する技術が存在する。たとえば、特許文献１（特表２００８−５３８８７０号公報）には、ビデオカメラで得られた動画像に現れる監視対象物（たとえば、人）の検出もしくは追跡、または監視対象物の滞留の検知を行うことができるビデオ監視システムが開示されている。前述のＭＰＥＧ−７  Ｖｉｓｕａｌの技術を使用すれば、このような動画像に現れる監視対象物の形状及び動きを示す記述子を生成することが可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００８−５３８８７０号公報
【非特許文献】
【０００７】
【非特許文献１】A. Yamada, M. Pickering, S. Jeannin, L. Cieplinski, J.-R. Ohm, and M. Editors, Eds.: MPEG-7 Visual Part of Experimentation Model Version 8.0 ISO/IEC JTC1/SC29/WG11/N3673, Oct. 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
画像データをセンサデータとして利用する場合に重要なことは、複数の撮像画像に現れるオブジェクト間の対応付けである。たとえば、同一対象物を表すオブジェクトが複数の撮像画像に現れている場合、上記ＭＰＥＧ−７  Ｖｉｓｕａｌの技術を利用すれば、撮像画像に現れるオブジェクトの形状、色及び動きといった特徴量を示す視覚的な記述子を各撮像画像とともにストレージに記録することができる。そして、当該記述子間の類似度の計算により、撮像画像群の中から、類似度の高い関係にある複数のオブジェクトを探し出してこれらオブジェクトを互いに対応付けることが可能である。【０００９】
しかしながら、たとえば、複数台のカメラが異なる方向から同一対象物を撮像した場合、それらの撮像画像に現れる同一対象物のオブジェクトの特徴量（たとえば、形状、色及び動き）が撮像画像間で大きく異なることがある。このような場合、上記記述子を用いた類似度計算によっては、それら撮像画像に現れるオブジェクト間の対応付けに失敗するという課題がある。また、外観形状が変化する対象物を１台のカメラが撮像する場合にも、複数の撮像画像に現れる当該対象物のオブジェクトの特徴量が撮像画像間で大きく異なることがある。このような場合にも、上記記述子を用いた類似度計算によっては、それら撮像画像に現れるオブジェクト間の対応付けに失敗することがある。【００１０】
上記に鑑みて本発明の目的は、複数の撮像画像に現れるオブジェクト間の対応付けを高い確度で行うことを可能とする画像処理装置、画像処理システム及び画像処理方法を提供する点にある。
【課題を解決するための手段】
【００１１】
本発明の第１の態様による画像処理装置は、入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定する画像解析部と、当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部とを備えることを特徴とする。【００１２】
本発明の第２の態様による画像処理システムは、前記画像処理装置と、前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を演算により予測する状態予測部とを備えることを特徴とする。【００１３】
本発明の第３の態様による画像処理方法は、入力画像を解析して当該入力画像に現れるオブジェクトを検出するステップと、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定するステップと、当該推定された空間的特徴量を表す空間的な記述子を生成するステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、入力画像に現れるオブジェクトの、実空間を基準とした空間的特徴量を表す空間的な記述子が生成される。この空間的な記述子を検索対象として利用することにより、複数の撮像画像に現れるオブジェクト間の対応付けを高い確度で且つ低処理負荷で行うことが可能となる。また、この空間的な記述子を解析することにより、当該オブジェクトの状態及び挙動を低処理負荷で検出することもできる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る実施の形態１の画像処理システムの概略構成を示すブロック図である。
【図２】実施の形態１に係る画像処理の手順の一例を示すフローチャートである。
【図３】実施の形態１に係る第１画像解析処理の手順の一例を示すフローチャートである。
【図４】入力画像に現れるオブジェクトを例示する図である。
【図５】実施の形態１に係る第２画像解析処理の手順の一例を示すフローチャートである。
【図６】コードパターンの解析方法を説明するための図である。
【図７】コードパターンの一例を示す図である。
【図８】コードパターンの他の例を示す図である。
【図９】空間的な記述子のフォーマットの例を示す図である。
【図１０】空間的な記述子のフォーマットの例を示す図である。
【図１１】ＧＮＳＳ情報の記述子の例を示す図である。
【図１２】ＧＮＳＳ情報の記述子の例を示す図である。
【図１３】本発明に係る実施の形態２の画像処理システムの概略構成を示すブロック図である。
【図１４】実施の形態３の画像処理システムである警備支援システムの概略構成を示すブロック図である。
【図１５】記述子データ生成機能を有するセンサの構成例を示す図である。
【図１６】実施の形態３の群衆状態予測部により行われる予測の一例を説明するための図である。
【図１７】（Ａ），（Ｂ）は、実施の形態３の状態提示Ｉ／Ｆ部で生成される視覚的データの一例を示す図である。
【図１８】（Ａ），（Ｂ）は、実施の形態３の状態提示Ｉ／Ｆ部で生成される視覚的データの他の例を示す図である。
【図１９】実施の形態３の状態提示Ｉ／Ｆ部で生成される視覚的データの更に他の例を示す図である。
【図２０】実施の形態４の画像処理システムである警備支援システムの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。
【００１７】
実施の形態１．
図１は、本発明に係る実施の形態１の画像処理システム１の概略構成を示すブロック図である。図１に示されるように、この画像処理システム１は、Ｎ台（Ｎは３以上の整数）のネットワークカメラＮＣ１，ＮＣ２，…，ＮＣＮと、これらネットワークカメラＮＣ１，ＮＣ２，…，ＮＣＮの各々から配信された静止画像データまたは動画像ストリームを通信ネットワークＮＷを介して受信する画像処理装置１０とを備えている。なお、本実施の形態のネットワークカメラの台数は３台以上であるが、この代わりに１台または２台であってもよい。画像処理装置１０は、ネットワークカメラＮＣ１〜ＮＣＮから受信した静止画像データまたは動画像データに対して画像解析を行い、その解析結果を示す空間的または地理的な記述子を画像と関連付けてストレージに蓄積するものである。
【００１８】
通信ネットワークＮＷとしては、たとえば、有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）もしくは無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網が挙げられる。
【００１９】
ネットワークカメラＮＣ１〜ＮＣＮはすべて同一構成を有している。各ネットワークカメラは、被写体を撮像する撮像部Ｃｍと、撮像部Ｃｍの出力を通信ネットワークＮＷ上の画像処理装置１０に向けて送信する送信部Ｔｘとで構成される。撮像部Ｃｍは、被写体の光学像を形成する撮像光学系と、その光学像を電気信号に変換する固体撮像素子と、その電気信号を静止画像データまたは動画像データとして圧縮符号化するエンコーダ回路とを有している。固体撮像素子としては、たとえば、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子を使用すればよい。
【００２０】
ネットワークカメラＮＣ１〜ＮＣＮの各々は、固体撮像素子の出力を動画像データとして圧縮符号化する場合には、たとえば、ＭＰＥＧ−２  ＴＳ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）、ＲＴＰ／ＲＴＳＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ／Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）、ＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）またはＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）などのストリーミング方式に従い、圧縮符号化された動画像ストリームを生成することができる。なお、本実施の形態で使用されるストリーミング方式は、ＭＰＥＧ−２  ＴＳ、ＲＴＰ／ＲＴＳＰ、ＭＭＴ及びＤＡＳＨに限定されるものではない。ただし、いずれのストリーミング方式でも、動画像ストリームに含まれる動画像データを画像処理装置１０で一意に分離できる識別子情報が当該動画像ストリーム内に多重化されている必要がある。
【００２１】
一方、画像処理装置１０は、図１に示されるように、ネットワークカメラＮＣ１〜ＮＣＮから配信データを受信してこの配信データから画像データＶｄ（静止画像データまたは動画像ストリームを含む。）を分離する受信部１１と、受信部１１から入力された画像データＶｄを解析する画像解析部１２と、その解析結果に基づいて、空間的な記述子、地理的な記述子もしくはＭＰＥＧ規格による記述子またはこれらの組み合わせを示す記述子データＤｓｒを生成する記述子生成部１３と、受信部１１から入力された画像データＶｄ及び記述子データＤｓｒを互いに関連付けてストレージ１５に蓄積するデータ記録制御部１４と、ＤＢインタフェース部１６とを備えている。受信部１１は、配信データに複数の動画像コンテンツが含まれている場合には、そのプロトコルに従い、それら複数の動画像コンテンツを一意に認識できる態様で配信データから分離することができる。
【００２２】
画像解析部１２は、図１に示されるように、ネットワークカメラＮＣ１〜ＮＣＮで使用された圧縮符号化方式に従い、圧縮符号化された画像データＶｄを復号する復号部２１と、その復号データに対して画像認識処理を行う画像認識部２２と、画像認識処理に使用されるパターン記憶部２３とを含む。画像認識部２２は、更に、オブジェクト検出部２２Ａ、スケール推定部２２Ｂ、パターン検出部２２Ｃ及びパターン解析部２２Ｄを含む。
【００２３】
オブジェクト検出部２２Ａは、復号データで示される単数または複数の入力画像を解析して当該入力画像に現れるオブジェクトを検出する。パターン記憶部２３には、たとえば、歩行者などの人体、信号機、標識、自動車、自転車及び建造物などの多種多様なオブジェクトの平面形状、立体的形状、大きさ及び色などの特徴を示すパターンが予め記憶されている。オブジェクト検出部２２Ａは、当該入力画像を、パターン記憶部２３に記憶されているパターンと比較することで、入力画像に現れるオブジェクトを検出することができる。
【００２４】
スケール推定部２２Ｂは、オブジェクト検出部２２Ａで検出されたオブジェクトの、実際の撮像環境である実空間を基準とした空間的特徴量をスケール情報として推定する機能を有する。オブジェクトの空間的特徴量としては、当該実空間におけるオブジェクトの物理寸法を示す量（以下、単に「物理量」ともいう。）を推定することが好ましい。具体的には、スケール推定部２２Ｂは、パターン記憶部２３を参照して、オブジェクト検出部２２Ａで検出されたオブジェクトの物理量（たとえば、高さもしくは横幅、またはこれらの平均値）が既にパターン記憶部２３に記憶されている場合には、その記憶されている物理量を当該オブジェクトの物理量として取得することができる。たとえば、信号機及び標識などのオブジェクトの場合、それらの形状及び寸法は既知であるので、ユーザは、事前にそれらの形状及び寸法の数値をパターン記憶部２３に記憶しておくことができる。また、自動車、自転車及び歩行者などのオブジェクトの場合、当該オブジェクトの形状及び寸法の数値のバラツキは一定範囲内に収まるので、ユーザは、事前にそれらの形状及び寸法の平均値をパターン記憶部２３に記憶しておくこともできる。また、スケール推定部２２Ｂは、当該オブジェクトの姿勢（たとえば、オブジェクトの向いている方向）を空間的特徴量の１つとして推定することもできる。
【００２５】
更に、ネットワークカメラＮＣ１〜ＮＣＮがステレオカメラまたは測距カメラなどの３次元画像生成機能を有する場合、当該入力画像は、オブジェクトの強度情報だけなく、当該オブジェクトの深度（ｄｅｐｔｈ）情報をも含む。この場合、スケール推定部２２Ｂは、当該入力画像に基づき、オブジェクトの深度情報を物理寸法の１つとして取得することが可能である。
【００２６】
記述子生成部１３は、所定のフォーマットに従い、スケール推定部２２Ｂで推定された空間的特徴量を記述子に変換することができる。ここで、その空間的な記述子には、撮像時刻情報が付加されている。この空間的な記述子のフォーマットの例については、後述する。
【００２７】
一方、画像認識部２２は、オブジェクト検出部２２Ａで検出されたオブジェクトの地理的情報を推定する機能を有している。地理的情報は、たとえば、当該検出されたオブジェクトの地球上の位置を示す測位情報である。地理的情報を推定する機能は、具体的には、パターン検出部２２Ｃ及びパターン解析部２２Ｄによって実現される。
【００２８】
パターン検出部２２Ｃは、当該入力画像中のコードパターンを検出することができる。コードパターンは、検出されたオブジェクトの近傍で検出されるものであり、たとえば、２次元コードなどの空間的なコードパターン、または、所定の規則に従って光が点滅するパターンなどの時系列的なコードパターンを使用することができる。あるいは、空間的なコードパターンと時系列的なコードパターンとの組み合わせが使用されてもよい。パターン解析部２２Ｄは、当該検出されたコードパターンを解析して測位情報を検出することができる。
【００２９】
記述子生成部１３は、所定のフォーマットに従い、パターン検出部２２Ｃで検出された測位情報を記述子に変換することができる。ここで、その地理的な記述子には、撮像時刻情報が付加されている。この地理的な記述子のフォーマットの例については、後述する。
【００３０】
また、記述子生成部１３は、上記した空間的な記述子及び地理的な記述子の他に、ＭＰＥＧ規格による既知の記述子（たとえば、オブジェクトの色、テクスチャ、形状、動き及び顔などの特徴量を示す視覚的な記述子）を生成する機能をも有している。この既知の記述子は、たとえば、ＭＰＥＧ−７に規定されているので、その詳細な説明を省略する。
【００３１】
データ記録制御部１４は、データベースが構成されるように画像データＶｄと記述子データＤｓｒとをストレージ１５に蓄積する。外部機器は、ＤＢインタフェース部１６を介して、ストレージ１５内のデータベースにアクセスすることができる。
【００３２】
ストレージ１５としては、たとえば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）またはフラッシュメモリなどの大容量記録媒体を使用すればよい。ストレージ１５には、画像データＶＤが蓄積される第１のデータ記録部と、記述子データＤＳｒが蓄積される第２のデータ記録部とが設けられている。なお、本実施の形態では、第１のデータ記録部と第２のデータ記録部とは同一ストレージ１５内に設けられているが、これに限定されるものではなく、異なるストレージにそれぞれ分散して設けられてもよい。また、ストレージ１５は、画像処理装置１０に組み込まれているが、これに限定されるものでもない。通信ネットワーク上に配置された単数または複数のネットワーク・ストレージ装置にデータ記録制御部１４がアクセスできるように画像処理装置１０の構成を変更してもよい。これにより、データ記録制御部１４は、画像データＶＤと記述子データＤＳｒとを外部のストレージに蓄積することで外部にデータベースを構築することができる。
【００３３】
上記画像処理装置１０は、たとえば、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ワークステーションまたはメインフレームなどの、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）内蔵のコンピュータを用いて構成することができる。画像処理装置１０がコンピュータを用いて構成される場合、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの不揮発性メモリから読み出された画像処理プログラムに従ってＣＰＵが動作することにより、画像処理装置１０の機能を実現することが可能である。
【００３４】
また、画像処理装置１０の構成要素１２，１３，１４，１６の機能の全部または一部は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などの半導体集積回路で構成されてもよいし、あるいは、マイクロコンピュータの一種であるワンチップマイコンで構成されてもよい。
【００３５】
次に、上記画像処理装置１０の動作について説明する。図２は、実施の形態１に係る画像処理の手順の一例を示すフローチャートである。図２には、ネットワークカメラＮＣ１，ＮＣ２，…，ＮＣＮから、圧縮符号化された動画像ストリームが受信される場合の例が示されている。
【００３６】
受信部１１から画像データＶｄが入力されると、復号部２１及び画像認識部２２は、第１画像解析処理（ステップＳＴ１０）を実行する。図３は、第１画像解析処理の一例を示すフローチャートである。
【００３７】
図３を参照すると、復号部２１は、入力された動画像ストリームを復号して復号データを出力する（ステップＳＴ２０）。次に、オブジェクト検出部２２Ａは、パターン記憶部２３を用いて、当該復号データで示される動画像に現れるオブジェクトの検出を試みる（ステップＳＴ２１）。検出対象としては、たとえば、信号機もしくは標識などの大きさ及び形状が既知であるオブジェクト、または、自動車、自転車及び歩行者などの、動画像内に様々なバリエーションで現れてその平均サイズと既知の平均サイズとが十分な精度で一致するオブジェクトが望ましい。また、当該オブジェクトの画面に対する姿勢（たとえば、当該オブジェクトが向いている方向）及び深度情報が検出されてもよい。
【００３８】
ステップＳＴ２１の実行により、オブジェクトの空間的特徴量すなわちスケール情報の推定（以下「スケール推定」ともいう。）に必要なオブジェクトが検出されない場合は（ステップＳＴ２２のＮＯ）、処理手順はステップＳＴ２０に戻る。このとき、復号部２１は、画像認識部２２からの復号指示Ｄｃに応じて、動画像ストリームを復号する（ステップＳＴ２０）。その後、ステップＳＴ２１以後が実行される。一方、スケール推定に必要なオブジェクトが検出された場合は（ステップＳＴ２２のＹＥＳ）、スケール推定部２２Ｂは、当該検出されたオブジェクトについてスケール推定を実行する（ステップＳＴ２３）。この例では、オブジェクトのスケール情報として、１画素当たりの物理寸法が推定される。
【００３９】
たとえば、オブジェクト及びその姿勢が検出されたとき、スケール推定部２２Ｂは、その検出結果をパターン記憶部２３に予め保持されているその寸法情報と比較して、当該オブジェクトが映っている画素領域に基づいてスケール情報を推定することができる（ステップＳＴ２３）。たとえば、入力画像において、直径０．４ｍの標識が撮像カメラに正対する形で映っており、且つその標識の直径が１００画素に相当する場合は、当該オブジェクトのスケールは０．００４ｍ／画素となる。図４は、入力画像ＩＭＧに現れるオブジェクト３１，３２，３３，３４を例示する図である。建築物のオブジェクト３１のスケールは、１メートル／画素と推定され、他の建築物のオブジェクト３２のスケールは、１０メートル／画素と推定され、小さな構造物のオブジェクト３３のスケールは、１ｃｍ／画素と推定されている。また、背景オブジェクト３４までの距離は、実空間では無限遠とみなされるので、背景オブジェクト３４のスケールは無限大と推定される。
【００４０】
また、検出されたオブジェクトが自動車もしくは歩行者である場合、またはガードレールのような、地面に存在し且つ地面から概ね一定の位置に配置される物である場合には、その種のオブジェクトが存在するエリアは移動可能エリアであり、且つ特定の平面上に拘束されているエリアである可能性が高い。よって、スケール推定部２２Ｂは、その拘束条件に基づいて自動車または歩行者が移動する平面を検出するとともに、当該自動車または歩行者のオブジェクトの物理寸法の推定値と、自動車または歩行者の平均寸法の知識（パターン記憶部２３に記憶されている知識）とに基づいて当該平面までの距離を導出することもできる。よって、入力画像に現れる全てのオブジェクトのスケール情報を推定することができない場合でも、オブジェクトが映っている地点のエリア、または、スケール情報を取得する対象として重要な道路などのエリアを特別なセンサ無しで検出することが可能である。
【００４１】
なお、一定時間が経過しても、スケール推定に必要なオブジェクトが検出されない場合（ステップＳＴ２２のＮＯ）、第１画像解析処理を完了してもよい。
【００４２】
上記第１画像解析処理（ステップＳＴ１０）の完了後、復号部２１及び画像認識部２２は、第２画像解析処理（ステップＳＴ１１）を実行する。図５は、第２画像解析処理の一例を示すフローチャートである。
【００４３】
図５を参照すると、復号部２１は、入力された動画像ストリームを復号して復号データを出力する（ステップＳＴ３０）。次に、パターン検出部２２Ｃは、当該復号データで示される動画像を検索してコードパターンの検出を試みる（ステップＳＴ３１）。コードパターンが検出されない場合は（ステップＳＴ３２のＮＯ）、処理手順はステップＳＴ３０に戻る。このとき、復号部２１は、画像認識部２２からの復号指示Ｄｃに応じて、動画像ストリームを復号する（ステップＳＴ３０）。その後、ステップＳＴ３１以後が実行される。一方、コードパターンが検出された場合は（ステップＳＴ３２のＹＥＳ）、パターン解析部２２Ｄは、そのコードパターンを解析して測位情報を取得する（ステップＳＴ３３）。
【００４４】
図６は、図４に示した入力画像ＩＭＧに対するパターン解析結果の一例を示す図である。この例では、入力画像ＩＭＧに現れるコードパターンＰＮ１，ＰＮ２，ＰＮ３が検出されており、これらコードパターンＰＮ１，ＰＮ２，ＰＮ３の解析結果として、各コードパターンが示す緯度及び経度という絶対的な座標情報が得られる。図６に点状にみえるコードパターンＰＮ１，ＰＮ２，ＰＮ３は、２次元コードのような空間的なパターン、もしくは光の点滅パターンのような時系列的なパターン、またはこれらの組み合わせである。パターン検出部２２Ｃは、入力画像ＩＭＧに現れるコードパターンＰＮ１，ＰＮ２，ＰＮ３を解析して測位情報を取得することができる。図７は、空間的なコードパターンＰＮｘを表示する表示機器４０を示す図である。この表示機器４０は、全地球航法衛星システム（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ，ＧＮＳＳ）による航法信号を受信し、この航法信号を基に自己の現在位置を測位してその測位情報を示すコードパターンＰＮｘを表示画面４１に表示する機能を有している。オブジェクトの近傍にこのような表示機器４０が配置されることで、図８に示されるように、オブジェクトの測位情報を取得することが可能となる。
【００４５】
なお、ＧＮＳＳによる測位情報は、ＧＮＳＳ情報とも呼ばれている。ＧＮＳＳとしては、たとえば、米国により運用されるＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、ロシア連邦により運用されるＧＬＯＮＡＳＳ（ＧＬＯｂａｌ  ＮＡｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）、欧州連合により運用されるＧａｌｉｌｅｏシステム、または日本により運用される準天頂衛生システムを利用することができる。
【００４６】
なお、一定時間が経過しても、コードパターンが検出されない場合（ステップＳＴ３２のＮＯ）、第２画像解析処理を完了してもよい。
【００４７】
次に、図２を参照すると、上記第２画像解析処理（ステップＳＴ１１）の完了後、記述子生成部１３は、図３のステップＳＴ２３で得られたスケール情報を表す空間的な記述子を生成し、図５のステップＳＴ３３で得られた測位情報を表す地理的な記述子を生成する（ステップＳＴ１２）。次に、データ記録制御部１４は、動画像データＶｄ及び記述子データＤｓｒを互いに関連付けてストレージ１５に格納する（ステップＳＴ１３）。ここで、動画像データＶｄと記述子データＤｓｒとは、双方向的に高速にアクセスすることができる形式で格納されることが好ましい。動画像データＶｄと記述子データＤｓｒとの対応関係を示すインデックステーブルを作成することでデータベースが構成されてもよい。たとえば、動画像データＶｄを構成する特定の画像フレームのデータ位置が与えられた場合、そのデータ位置に対応する記述子データのストレージ上の記憶位置を高速に特定可能なようにインデックス情報を付加することができる。またその逆のアクセスも容易なようにインデックス情報が作成されてもよい。
【００４８】
その後、処理が続行される場合は（ステップＳＴ１４のＹＥＳ）、上記ステップＳＴ１０〜Ｓ１３が繰り返し実行される。これにより、ストレージ１５に動画像データＶｄと記述子データＤｓｒとが蓄積されてゆく。一方、処理が中止される場合は（ステップＳＴ１４のＮＯ）、画像処理は終了する。
【００４９】
次に、上記した空間的及び地理的な記述子のフォーマットの例について説明する。
【００５０】
図９及び図１０は、空間的な記述子のフォーマットの例を示す図である。図９及び図１０の例では、入力画像を空間的に格子状に分割して得られる各グリッドに対する記述が示されている。図９に示されるように、フラグ「ＳｃａｌｅＩｎｆｏＰｒｅｓｅｎｔ」は、検出されたオブジェクトのサイズと当該オブジェクトの物理量とをひもづける（対応付ける）スケール情報が存在するかどうかを示すパラメータである。入力画像は、空間方向において複数の画像領域すなわちグリッドに分割される。「ＧｒｉｄＮｕｍＸ」は、オブジェクトの特徴を表す画像領域特徴が存在するグリッドの縦方向の個数を示し、「ＧｒｉｄＮｕｍＹ」は、オブジェクトの特徴を表す画像領域特徴が存在するグリッドの横方向の個数を示している。「ＧｒｉｄＲｅｇｉｏｎＦｅａｔｕｒｅＤｅｓｃｒｉｐｔｏｒ（ｉ，ｊ）」は、各グリッドごとのオブジェクトの部分的特徴（グリッド内特徴）を表す記述子である。
【００５１】
図１０は、この記述子「ＧｒｉｄＲｅｇｉｏｎＦｅａｔｕｒｅＤｅｓｃｒｉｐｔｏｒ（ｉ，ｊ）」の内容を示す図である。図１０を参照すると、「ＳｃａｌｅＩｎｆｏＰｒｅｓｅｎｔＯｖｅｒｒｉｄｅ」は、スケール情報が存在するかどうかをグリッド別（領域別）に示すフラグである。「ＳｃａｌｉｎｇＩｎｆｏ［ｉ］［ｊ］」は、（ｉ，ｊ）番目のグリッド（ｉは、グリッドの縦方向の番号；ｊは、グリッドの横方向の番号）において存在するスケール情報を示すパラメータである。このように、スケール情報は、入力画像に現れるオブジェクトの各グリッドに対して定義付け可能である。なお、スケール情報が取得できない、またはスケール情報が不要である領域も存在するため、「ＳｃａｌｅＩｎｆｏＰｒｅｓｅｎｔＯｖｅｒｒｉｄｅ」というパラメータによりグリッド単位で記述するかどうかを指定することができる。
【００５２】
次に、図１１及び図１２は、ＧＮＳＳ情報の記述子のフォーマットの例を示す図である。図１１を参照すると、「ＧＮＳＳＩｎｆｏＰｒｅｓｅｎｔ」は、ＧＮＳＳ情報として測位された位置情報が存在するかどうかを示すフラグである。「ＮｕｍＧＮＳＳＩｎｆｏ」は、位置情報の個数を示すパラメータである。「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ（ｉ）」は、ｉ番目の位置情報の記述子である。位置情報は、入力画像中の点領域により定義されるため、位置情報の個数はパラメータ「ＮｕｍＧＮＳＳＩｎｆｏ」を通じて送られた後に、その個数分だけのＧＮＳＳ情報記述子「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ（ｉ）」が記述される。
【００５３】
図１２は、この記述子「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ（ｉ）」の内容を示す図である。図１２を参照すると、「ＧＮＳＳＩｎｆｏＴｙｐｅ［ｉ］」は、ｉ番目の位置情報の種別を表すパラメータである。位置情報としては、ＧＮＳＳＩｎｆｏＴｙｐｅ［ｉ］＝０の場合のオブジェクトの位置情報と、ＧＮＳＳＩｎｆｏＴｙｐｅ［ｉ］＝１の場合のオブジェクト以外の位置情報とを記述することができる。オブジェクトの位置情報については、「Ｏｂｊｅｃｔ［ｉ］」は、位置情報を定義するためのオブジェクトのＩＤ（識別子）である。また、各オブジェクトについて、緯度を示す「ＧＮＳＳＩｎｆｏ＿Ｌａｔｉｔｕｄｅ［ｉ］」と、経度を示す「ＧＮＳＳＩｎｆｏ＿ｌｏｎｇｉｔｕｄｅ［ｉ］」とが記述される。
【００５４】
一方、オブジェクト以外の位置情報については、図１２に示される「ＧｒｏｕｎｄＳｕｒｆａｃｅＩＤ［ｉ］」は、ＧＮＳＳ情報として測位された位置情報が定義される仮想的な地平面のＩＤ（識別子）であり、「ＧＮＳＳＩｎｆｏＬｏｃＩｎＩｍａｇｅ＿Ｘ［ｉ］」は、位置情報が定義される画像内の横方向の位置を示すパラメータであり、「ＧＮＳＳＩｎｆｏＬｏｃＩｎＩｍａｇｅ＿Ｙ［ｉ］」は、位置情報が定義される画像内の縦方向の位置を示すパラメータである。各地平面について、緯度を示す「ＧＮＳＳＩｎｆｏ＿Ｌａｔｉｔｕｄｅ［ｉ］」と、経度を示す「ＧＮＳＳＩｎｆｏ＿ｌｏｎｇｉｔｕｄｅ［ｉ］」とが記述される。位置情報は、オブジェクトが特定の平面に拘束されている場合に、その画面上に映った当該平面を地図上にマッピングすることができる情報である。このため、ＧＮＳＳ情報が存在する仮想的な地平面のＩＤが記述される。また、画像内に映ったオブジェクトに対してＧＮＳＳ情報を記述することも可能となっている。これは、ランドマークなどの検索のためにＧＮＳＳ情報を用いる用途を想定したものである。
【００５５】
なお、図９〜図１２に示した記述子は例であり、これらに任意の情報の追加または削除、及びその順序または構成の変更が可能である。
【００５６】
以上に説明したように実施の形態１では、入力画像に現れるオブジェクトの空間的な記述子を画像データと関連付けてストレージ１５に蓄積することができる。この空間的な記述子を検索対象として利用することにより、複数の撮像画像に現れる、空間的または時空間的に近い関係にある複数のオブジェクト間の対応付けを高い確度で且つ低処理負荷で行うことが可能となる。よって、たとえば、複数台のネットワークカメラＮＣ１〜ＮＣＮが異なる方向から同一対象物を撮像した場合でも、ストレージ１５に蓄積された記述子間の類似度の計算により、それら撮像画像に現れる複数のオブジェクト間の対応付けを高い確度で行うことができる。
【００５７】
また、本実施の形態では、入力画像に現れるオブジェクトの地理的な記述子も画像データと関連付けてストレージ１５に蓄積することができる。空間的な記述子とともに地理的な記述子を検索対象として利用することにより、複数の撮像画像に現れる複数のオブジェクト間の対応付けを更に高い確度で且つ低処理負荷で行うことが可能となる。
【００５８】
したがって、本実施の形態の画像処理システム１を利用することにより、たとえば、特定物体の自動認識、３次元マップの作成または画像検索を効率的に行うことができる。
【００５９】
実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１３は、実施の形態２の画像処理システム２の概略構成を示すブロック図である。
【００６０】
図１３に示されるように、この画像処理システム２は、画像処理装置として機能するＭ台（Ｍは３以上の整数）の画像配信装置ＴＣ１，ＴＣ２，…，ＴＣＭと、これら画像配信装置ＴＣ１，ＴＣ２，…，ＴＣＭの各々から配信されたデータを通信ネットワークＮＷを介して受信する画像蓄積装置５０とを備えている。なお、本実施の形態では、画像配信装置の台数は３台以上であるが、この代わりに１台または２台であってもよい。
【００６１】
画像配信装置ＴＣ１，ＴＣ２，…，ＴＣＭはすべて同一構成を有しており、各画像配信装置は、撮像部Ｃｍ、画像解析部１２、記述子生成部１３及びデータ伝送部１８を備えて構成されている。撮像部Ｃｍ、画像解析部１２及び記述子生成部１３の構成は、それぞれ、上記実施の形態１の撮像部Ｃｍ、画像解析部１２及び記述子生成部１３の構成と同じである。データ伝送部１８は、画像データＶｄと記述子データＤｓｒとを互いに関連付け且つ多重化して画像蓄積装置５０に向けて配信する機能と、記述子データＤｓｒのみを画像蓄積装置５０に向けて配信する機能とを有している。
【００６２】
画像蓄積装置５０は、画像配信装置ＴＣ１，ＴＣ２，…，ＴＣＭから配信データを受信してこの配信データからデータストリーム（画像データＶｄ及び記述子データＤｓｒの一方または双方を含む。）を分離する受信部５１と、当該データストリームをストレージ５３に蓄積するデータ記録制御部５２と、ＤＢインタフェース部５４とを備えている。外部機器は、ＤＢインタフェース部５４を介して、ストレージ１５内のデータベースにアクセスすることができる。
【００６３】
以上に説明したように実施の形態２においても、空間的及び地理的な記述子とこれに関連づけされた画像データとをストレージ５３に蓄積することができる。したがって、これら空間的な記述子及び地理的な記述子を検索対象として利用することにより、実施の形態１の場合と同様に、複数の撮像画像に現れる、空間的または時空間的に近い関係にある複数のオブジェクト間の対応付けを高い確度で且つ低処理負荷で行うことが可能となる。したがって、この画像処理システム２を利用することにより、たとえば、特定物体の自動認識、３次元マップの作成または画像検索を効率的に行うことが可能となる。
【００６４】
実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１４は、実施の形態３の画像処理システムである警備支援システム３の概略構成を示すブロック図である。
【００６５】
この警備支援システム３は、施設構内、イベント会場または市街地などの場所に存在する群衆、及び当該場所に配置された警備担当者を対象として運用され得る。施設構内、イベント会場及び市街地などの、群れをなす多数の人々すなわち群衆（警備担当者を含む。）が集まる場所では、しばしば混雑が発生する場合がある。混雑は、その場所の群衆の快適性を損ない、また過密な混雑は群集事故の原因となるので、適切な警備による混雑の回避は極めて重要である。また、怪我人、体調不良者、交通弱者、及び危険行動をとる人物または集団を速やかに発見し、適切な警備を行うことも群衆の保安において重要である。
【００６６】
本実施の形態の警備支援システム３は、単数または複数の対象エリア内に分散配置されたセンサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰから取得されたセンサデータ、及び、通信ネットワークＮＷ２上のサーバ装置ＳＶＲ，ＳＶＲ，…，ＳＶＲから取得された公開データに基づき、当該対象エリア内の群衆の状態を把握及び予測することができる。また、警備支援システム３は、当該把握または予測された状態に基づき、ユーザに理解しやすい形態に加工された、群衆の過去、現在及び未来の状態を示す情報と適切な警備計画とを演算により導出し、これら情報及び警備計画を警備支援に有用な情報として警備担当者に提示したり、群衆に提示したりすることができる。
【００６７】
図１４を参照すると、この警備支援システム３は、Ｐ台（Ｐは３以上の整数）のセンサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰと、これらセンサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰの各々から配信されたセンサデータを通信ネットワークＮＷ１を介して受信する群衆監視装置６０とを備えている。また、群衆監視装置６０は、サーバ装置ＳＶＲ，…，ＳＶＲの各々から通信ネットワークＮＷ２を介して公開データを受信する機能を有する。なお、本実施の形態のセンサＳＮＲ１〜ＳＮＲＰの台数は３台以上であるが、この代わりに１台または２台であってもよい。
【００６８】
サーバ装置ＳＶＲ，ＳＶＲ，…，ＳＶＲは、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ／Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｉｔｅ）情報及び公共情報などの公開データを配信する機能を有する。ＳＮＳは、Ｔｗｉｔｔｅｒ（登録商標）またはＦａｃｅｂｏｏｋ（登録商標）などの、リアルタイム性が高く且つユーザによる投稿内容が一般に公開される交流サービスまたは交流サイトを指す。ＳＮＳ情報は、その種の交流サービスまたは交流サイトで一般に公開された情報である。また、公共情報としては、たとえば、自治体などの行政単位、公共交通機関または気象局によって提供される交通情報または気象情報が挙げられる。
【００６９】
通信ネットワークＮＷ１，ＮＷ２としては、たとえば、有線ＬＡＮもしくは無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網が挙げられる。なお、本実施の形態の通信ネットワークＮＷ１，ＮＷ２は互いに異なるように構築されているが、これに限定されるものではない。通信ネットワークＮＷ１，ＮＷ２が単一の通信ネットワークを構成していてもよい。
【００７０】
群衆監視装置６０は、センサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰの各々から配信されたセンサデータを受信するセンサデータ受信部６１と、サーバ装置ＳＶＲ，…，ＳＶＲの各々から通信ネットワークＮＷ２を介して公開データを受信する公開データ受信部６２と、これらセンサデータ及び公開データに基づき、センサＳＮＲ１〜ＳＮＲＰで検出された群衆の状態特徴量を示す状態パラメータを演算により導出するパラメータ導出部６３と、現在または過去の当該状態パラメータに基づいて当該群衆の未来状態を演算により予測する群衆状態予測部６５と、その予測結果と当該状態パラメータとに基づいて警備計画案を演算により導出する警備計画導出部６６とを備えている。
【００７１】
更に、群衆監視装置６０は、状態提示インタフェース部（状態提示Ｉ／Ｆ部）６７及び計画提示インタフェース部（計画提示Ｉ／Ｆ部）６８を備えている。状態提示Ｉ／Ｆ部６７は、その予測結果と当該状態パラメータとに基づいて、当該群衆の過去の状態、現在状態（リアルタイムに変化する状態を含む。）及び未来状態をユーザに分かり易いフォーマットで表す視覚的データまたは音響的データを生成する演算機能と、その視覚的データまたは音響的データを外部機器７１，７２に送信する通信機能とを有する。一方、計画提示Ｉ／Ｆ部６８は、警備計画導出部６６で導出された警備計画案をユーザに分かり易いフォーマットで表す視覚的データまたは音響的データを生成する演算機能と、その視覚的データまたは音響的データを外部機器７３，７４に送信する通信機能とを有している。
【００７２】
なお、本実施の形態の警備支援システム３は、群衆というオブジェクト群をセンシング対象とするように構成されているが、これに限定されるものではない。人体以外の移動体（たとえば、野生動物もしくは昆虫などの生命体、または車両）の群れをセンシング対象のオブジェクト群とするように警備支援システム３の構成を適宜変更することができる。
【００７３】
センサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰの各々は、対象エリアの状態を電気的または光学的に検出して検出信号を生成し、当該検出信号に信号処理を施すことでセンサデータを生成する。このセンサデータは、検出信号で示される検出内容が抽象化またはコンパクト化された内容を示す処理済みデータを含む。センサＳＮＲ１〜ＳＮＲＰとしては、上記実施の形態１及び実施の形態２に係る記述子データＤｓｒを生成する機能を有するセンサの他、様々な種類のセンサを使用することができる。図１５は、記述子データＤｓｒを生成する機能を有するセンサＳＮＲｋの一例を示す図である。図１５に示されるセンサＳＮＲｋは、上記実施の形態２の画像配信装置ＴＣ１と同一構成を有している。
【００７４】
また、センサＳＮＲ１〜ＳＮＲＰの種類は、固定位置に設置される固定センサ、及び移動体に搭載される移動センサの２種類に大別される。固定センサとしては、たとえば、光学カメラ、レーザ測距センサ、超音波測距センサ、集音マイク、サーモカメラ、暗視カメラ及びステレオカメラを用いることが可能である。一方、移動センサとしては、固定センサと同種のセンサの他に、たとえば、測位計、加速度センサ、バイタルセンサを用いることが可能である。移動センサは、主に、センシング対象であるオブジェクト群と共に移動しながらセンシングを行うことで、当該オブジェクト群の動き及び状態を直接センシングする用途で使用され得る。また、人間がオブジェクト群の状態を観察しその観察結果を表す主観的なデータ入力を受け付けるデバイスを、センサの一部として利用してもよい。この種のデバイスは、たとえば、当該人間が保有する携帯型端末などの移動通信端末を通じてその主観的なデータをセンサデータとして供給することができる。
【００７５】
なお、これらセンサＳＮＲ１〜ＳＮＲＰは、単一の種類のセンサのみで構成されていてもよいし、あるいは、複数種類のセンサで構成されていてもよい。
【００７６】
センサＳＮＲ１〜ＳＮＲＰの各々は、群衆をセンシングできる位置に設置され、警備支援システム３が動作している間、群衆のセンシング結果を必要に応じて伝送することができる。固定センサは、たとえば、街灯、電柱、天井または壁に設置される。移動センサは、警備員、警備ロボットまたは巡回車両などの移動体に搭載される。また、群衆をなす各個人または警備員が保有するスマートフォンまたはウェアラブル機器などの移動通信端末に付属するセンサが、当該移動センサとして使用されてもよい。この場合は、保安対象となる群衆をなす各個人または警備員が保有する移動通信端末に、センサデータ収集用のアプリケーション・ソフトウェアが予めインストールされるように、センサデータ収集の枠組みを予め構築しておくことが望ましい。
【００７７】
群衆監視装置６０におけるセンサデータ受信部６１は、上記センサＳＮＲ１〜ＳＮＲＰから通信ネットワークＮＷ１を介して記述子データＤｓｒを含むセンサデータ群を受信すると、このセンサデータ群をパラメータ導出部６３に供給する。一方、公開データ受信部６２は、サーバ装置ＳＶＲ，…，ＳＶＲから通信ネットワークＮＷ２を介して公開データ群を受信すると、この公開データ群をパラメータ導出部６３に供給する。
【００７８】
パラメータ導出部６３は、供給されたセンサデータ群及び公開データ群に基づき、センサＳＮＲ１〜ＳＮＲＰのいずれかで検出された群衆の状態特徴量を示す状態パラメータを演算により導出することができる。センサＳＮＲ１〜ＳＮＲＰは、図１５に示す構成を有するセンサを含み、この種のセンサは、実施の形態２について説明したように、撮像画像を解析して当該撮像画像に現れる群衆をオブジェクト群として検出し、当該検出されたオブジェクト群の空間的、地理的及び視覚的な特徴量を示す記述子データＤｓｒを群衆監視装置６０に送信することができる。また、センサＳＮＲ１〜ＳＮＲＰは、前述の通り、記述子データＤｓｒ以外のセンサデータ（たとえば、体温データ）を群衆監視装置６０に送信するセンサを含む。更に、サーバ装置ＳＶＲ，…，ＳＶＲは、当該群衆が存在する対象エリアまたは当該群衆に関連する公開データを群衆監視装置６０に提供することができる。パラメータ導出部６３は、このようなセンサデータ群及び公開データ群を解析して当該群衆の状態特徴量を示すＲ種（Ｒは３以上の整数）の状態パラメータをそれぞれ導出する群衆パラメータ導出部６４１，６４２，…，６４Ｒを有している。なお、本実施の形態の群衆パラメータ導出部６４１〜６４Ｒの個数は３個以上であるが、この代わりに１個または２個であってもよい。
【００７９】
状態パラメータの種類としては、たとえば、「群衆密度」、「群衆動き方向及び速度」、「流量」、「群衆行動の種類」、「特定人物の抽出結果」及び「特定カテゴリ人物の抽出結果」が挙げられる。
【００８０】
ここで、「流量」は、たとえば、所定の領域を通過した人数の単位時間当たりの値に当該領域の長さを乗算して得られる値（単位：人数・ｍ／ｓ）として定義される。また、「群衆行動の種類」としては、たとえば、群衆が一方向に流れる「一方向流」、対向方向の流れがすれ違う「対向流」、その場に留まる「滞留」が挙げられる。また、「滞留」も、群衆密度が高過ぎることにより当該群衆が動けなくなった状態などを示す「制御されていない滞留」、及び、当該群衆が主催者の指示に従って立ち止まったことにより発生する「制御された滞留」のような種類に分類可能である。
【００８１】
また、「特定人物の抽出結果」は、当該センサの対象エリア内に特定人物が存在するか否かを示す情報、及び、その特定人物を追跡した結果得られる軌跡の情報である。この種の情報は、警備支援システム３全体のセンシング範囲内に探索対象である特定人物が存在するかどうかを示す情報を作成するために利用可能であり、たとえば、迷子の探索に有用な情報である。
【００８２】
「特定カテゴリ人物の抽出結果」は、当該センサの対象エリア内に特定カテゴリに属する人物が存在するか否かを示す情報、及び、その特定人物を追跡した結果得られる軌跡の情報である。ここで、特定カテゴリに属する人物とは、たとえば、「特定の年齢及び性別の人物」、「交通弱者」（たとえば、幼児、高齢者、車いす使用者及び白杖使用者）及び「危険行動をとる人物または集団」が挙げられる。この種の情報は、当該群衆に対する特別な警備体制の要否を判断するのに有用な情報である。
【００８３】
また、群衆パラメータ導出部６４１〜６４Ｒは、サーバ装置ＳＶＲから提供される公開データに基づいて、「主観的な混雑度」、「主観的な快適性」、「トラブル発生状況」、「交通情報」及び「気象情報」などの状態パラメータを導出することもできる。
【００８４】
上記した状態パラメータは、単一のセンサから得られるセンサデータに基づいて導出されてもよいし、あるいは、複数台のセンサから得られる複数のセンサデータを統合して利用することにより導出されてもよい。また、複数台のセンサから得られるセンサデータが利用される場合には、当該センサは、同一種類のセンサからなるセンサ群であってもよいし、あるいは、異なる種類のセンサが混在したセンサ群であってもよい。複数のセンサデータを統合して利用する場合は、単一のセンサデータを利用する場合よりも、高精度な状態パラメータの導出を期待することができる。
【００８５】
群衆状態予測部６５は、パラメータ導出部６３から供給された状態パラメータ群に基づいて、当該群衆の未来状態を演算により予測し、その予測結果を示すデータ（以下「予測状態データ」とも呼ぶ。）を警備計画導出部６６と状態提示Ｉ／Ｆ部６７とにそれぞれ供給する。群衆状態予測部６５は、当該群衆の未来状態を定める様々な情報を演算により推定することが可能である。たとえば、パラメータ導出部６３で導出される状態パラメータと同種のパラメータの未来の値を予測状態データとして算出することができる。なお、どの程度先の未来の状態を予測することができるかは、警備支援システム３のシステム要件に応じて任意に定義可能である。
【００８６】
図１６は、群衆状態予測部６５により行われる予測の一例を説明するための図である。図１６に示されるように、道幅が等しい歩行者経路ＰＡＴＨにおける対象エリアＰＴ１，ＰＴ２，ＰＴ３にそれぞれ上記センサＳＮＲ１〜ＳＮＲＰのいずれかが配置されているものとする。群衆は、対象エリアＰＴ１，ＰＴ２から対象エリアＰＴ３に向けて移動している。パラメータ導出部６３は、対象エリアＰＴ１，ＰＴ２それぞれの群衆の流量（単位：人数・ｍ／ｓ）を導出し、これら流量を状態パラメータ値として群衆状態予測部６５に供給することができる。群衆状態予測部６５は、供給された流量に基づいて、群衆が向かうであろう対象エリアＰＴ３の流量の予測値を導出することができる。たとえば、時刻Ｔ１での対象エリアＰＴ１，ＰＴ２の群衆が矢印方向に移動しており、対象エリアＰＴ１，ＰＴ２の各々の流量がＦであったとする。このとき、当該群衆の移動速度が今後も不変であるという群衆挙動モデルを仮定し、且つ、対象エリアＰＴ１、ＰＴ２から対象エリアＰＴ３までの群衆の移動時間が共にｔである場合、群衆状態予測部６５は、未来の時刻Ｔ＋ｔでの対象エリアＰＴ３の流量を２×Ｆと予測することができる。
【００８７】
次に、警備計画導出部６６は、パラメータ導出部６３から、過去及び現在の当該群衆の状態を示す状態パラメータ群の供給を受けるとともに、群衆状態予測部６５から、当該群衆の未来状態を示す予測状態データの供給を受ける。警備計画導出部６６は、これら状態パラメータ群及び予測状態データに基づいて、群衆の混雑及び危険を回避するための警備計画案を演算により導出し、その警備計画案を示すデータを計画提示Ｉ／Ｆ部６８に供給する。
【００８８】
警備計画導出部６６による警備計画案の導出方法については、たとえば、パラメータ導出部６３及び群衆状態予測部６５が、或る対象エリアが危険状態にあることを示す状態パラメータ群及び予測状態データを出力した場合、当該対象エリアにおける群衆の滞留を整理するための警備員の派遣または警備員の増員を提案する警備計画案を導出することが可能である。「危険状態」としては、たとえば、群衆の「制御されていない滞留」もしくは「危険行動をとる人物または集団」を検知した状態、または、「群衆密度」が許容値を超えた状態が挙げられる。ここで、警備計画担当者が、後述する計画提示Ｉ／Ｆ部６８を通じて、群衆の過去、現在及び未来の状態をモニタまたは移動通信端末などの外部機器７３，７４で確認することができる場合には、当該警備計画担当者は、当該状態を確認しつつ警備計画案を自ら作成することも可能である。
【００８９】
状態提示Ｉ／Ｆ部６７は、供給された状態パラメータ群及び予測状態データに基づいて、当該群衆の過去、現在及び未来の状態をユーザ（警備員または警備対象の群衆）に分かり易いフォーマットで表す視覚的データ（たとえば、映像及び文字情報）または音響的データ（たとえば、音声情報）を生成することができる。そして、状態提示Ｉ／Ｆ部６７は、その視覚的データ及び音響的データを外部機器７１，７２に送信することができる。外部機器７１，７２は、当該視覚的データ及び音響的データを状態提示Ｉ／Ｆ部６７から受信し、映像、文字及び音声としてユーザに出力することができる。外部機器７１，７２としては、専用のモニタ機器、汎用のＰＣ、タブレット端末もしくはスマートフォンなどの情報端末、または不特定多数が視聴できる大型ディスプレイ及びスピーカを用いることができる。
【００９０】
図１７（Ａ），（Ｂ）は、状態提示Ｉ／Ｆ部６７で生成される視覚的データの一例を示す図である。図１７（Ｂ）には、センシング範囲を表す地図情報Ｍ４が表示されている。この地図情報Ｍ４には、道路網ＲＤと、対象エリアＡＲ１，ＡＲ２，ＡＲ３をそれぞれセンシングするセンサＳＮＲ１，ＳＮＲ２，ＳＮＲ３と、監視対象の特定人物ＰＥＤと、当該特定人物ＰＥＤの移動軌跡（黒線）とが示されている。図１７（Ａ）には、対象エリアＡＲ１の映像情報Ｍ１、対象エリアＡＲ２の映像情報Ｍ２、及び対象エリアＡＲ３の映像情報Ｍ３がそれぞれ示されている。図１７（Ｂ）に示されるように、特定人物ＰＥＤは対象エリアＡＲ１，ＡＲ２，ＡＲ３をまたがって移動している。このため、仮にユーザが映像情報Ｍ１，Ｍ２，Ｍ３だけを見たとすれば、センサＳＮＲ１，ＳＮＲ２，ＳＮＲ３の配置を理解していない限り、地図上で特定人物ＰＥＤがどのような経路で移動したのかを把握することが困難である。よって、状態提示Ｉ／Ｆ部６７は、センサＳＮＲ１，ＳＮＲ２，ＳＮＲ３の位置情報に基づき、映像情報Ｍ１，Ｍ２，Ｍ３に現れる状態を図１７（Ｂ）の地図情報Ｍ４にマッピングして提示する視覚的データを生成することができる。このように地図形式で対象エリアＡＲ１，ＡＲ２，ＡＲ３の状態をマッピングすることで、特定人物ＰＥＤの移動経路をユーザが直感的に理解することが可能となる。
【００９１】
図１８（Ａ），（Ｂ）は、状態提示Ｉ／Ｆ部６７で生成される視覚的データの他の例を示す図である。図１８（Ｂ）には、センシング範囲を表す地図情報Ｍ８が表示されている。この地図情報Ｍ８には、道路網と、対象エリアＡＲ１，ＡＲ２，ＡＲ３をそれぞれセンシングするセンサＳＮＲ１，ＳＮＲ２，ＳＮＲ３と、監視対象の群衆密度を表す濃度分布情報とが示されている。図１８（Ａ）には、対象エリアＡＲ１における群衆密度を濃度分布で表す地図情報Ｍ５、対象エリアＡＲ２における群衆密度を濃度分布で表す地図情報Ｍ６、及び、対象エリアＡＲ３における群衆密度を濃度分布で表す地図情報Ｍ７がそれぞれ示されている。この例では、地図情報Ｍ５，Ｍ６，Ｍ７で示される画像における格子内の色（濃度）が明るいほど密度が高く、暗いほど密度が低いことを示している。この場合も、状態提示Ｉ／Ｆ部６７は、センサＳＮＲ１，ＳＮＲ２，ＳＮＲ３の位置情報に基づき、対象エリアＡＲ１，ＡＲ２，ＡＲ３のセンシング結果を図１８（Ｂ）の地図情報Ｍ８にマッピングして提示する視覚的データを生成することができる。これにより、ユーザは、群衆密度の分布を直感的に理解することが可能となる。
【００９２】
その他、状態提示Ｉ／Ｆ部６７は、状態パラメータの値の時間推移をグラフ形式で示す視覚的データ、危険状態の発生をアイコン画像で知らせる視覚的データ、その危険状態の発生を警告音で知らせる音響的データ、サーバ装置ＳＶＲから取得された公開データをタイムライン形式で示す視覚的データを生成することが可能である。
【００９３】
また、状態提示Ｉ／Ｆ部６７は、群衆状態予測部６５から供給された予測状態データに基づき、群衆の未来の状態を表す視覚的データを生成することもできる。図１９は、状態提示Ｉ／Ｆ部６７で生成される視覚的データの更に他の例を示す図である。図１９には、画像ウインドウＷ１と画像ウインドウＷ２とが並列に配置された画像情報Ｍ１０が示されている。右側の画像ウインドウＷ２の表示情報は、左側の画像ウインドウＷ１の表示情報よりも時間的に先の状態を予測するものである。
【００９４】
一方の画像ウインドウＷ１には、パラメータ導出部６３により導出された過去または現在の状態パラメータを視覚的に表す画像情報を表示することができる。ユーザは、ＧＵＩ（グラフィカル・ユーザ・インタフェース）を通じてスライダＳＬＤ１の位置を調整することで、現在または過去の指定時刻における状態を画像ウインドウＷ１に表示させることが可能である。図１９の例では、指定時刻はゼロに設定されているので、画像ウインドウＷ１には、現在の状態がリアルタイムに表示され、且つ「ＬＩＶＥ」の文字タイトルが表示されている。他方の画像ウインドウＷ２には、群衆状態予測部６５により導出された未来状態データを視覚的に表す画像情報を表示することができる。ユーザは、ＧＵＩを通じてスライダＳＬＤ２の位置を調整することで、未来の指定時刻における状態を画像ウインドウＷ２に表示させることが可能である。図１９の例では、指定時刻は１０分後に設定されているので、画像ウインドウＷ２には、１０分後の状態が示されており、「ＰＲＥＤＩＣＴＩＯＮ」の文字タイトルが表示されている。画像ウインドウＷ１，Ｗ２に表示される状態パラメータの種類及び表示フォーマットは、互いに同じものである。このように表示形態を採用することで、ユーザは、現在の状態と、現在の状態が変化している様子とを直感的に理解することができる。
【００９５】
なお、画像ウィンドウＷ１，Ｗ２を統合して単一の画像ウィンドウを構成し、この単一の画像ウインドウ内に過去、現在または未来の状態パラメータの値を表す視覚的データを生成するように状態提示Ｉ／Ｆ部６７が構成されてもよい。この場合、ユーザがスライダで指定時刻を切り替えることで、当該指定時刻における状態パラメータの値をユーザが確認できるように状態提示Ｉ／Ｆ部６７を構成することが望ましい。
【００９６】
一方、計画提示Ｉ／Ｆ部６８は、警備計画導出部６６で導出された警備計画案をユーザ（警備担当者）に分かり易いフォーマットで表す視覚的データ（たとえば、映像及び文字情報）または音響的データ（たとえば、音声情報）を生成することができる。そして、計画提示Ｉ／Ｆ部６８は、その視覚的データ及び音響的データを外部機器７３，７４に送信することができる。外部機器７３，７４は、当該視覚的データ及び音響的データを計画提示Ｉ／Ｆ部６８から受信し、映像、文字及び音声としてユーザに出力することができる。外部機器７３，７４としては、専用のモニタ機器、汎用のＰＣ、タブレット端末もしくはスマートフォンなどの情報端末、または大型ディスプレイ及びスピーカを用いることができる。
【００９７】
警備計画の提示方法としては、たとえば、全ユーザに対して同じ内容の警備計画を提示する方法、特定の対象エリアのユーザに対して対象エリア個別の警備計画を提示する方法、または、個人ごとに個別の警備計画を提示する方法をとることができる。
【００９８】
また、警備計画を提示する際は、ユーザが提示されたことを即時に認識することができるように、たとえば音及び携帯情報端末の振動により能動的にユーザに通知し得る音響的データを生成することが望ましい。
【００９９】
なお、上記の警備支援システム４において、パラメータ導出部６３、群衆状態予測部６５、警備計画導出部６６、状態提示Ｉ／Ｆ部６７及び計画提示Ｉ／Ｆ部６８は、図１４に示されるように単一の群衆監視装置６０内に包含されているが、これに限定されるものではない。パラメータ導出部６３、群衆状態予測部６５、警備計画導出部６６、状態提示Ｉ／Ｆ部６７及び計画提示Ｉ／Ｆ部６８を複数の装置内に分散配置することで警備支援システムを構成してもよい。この場合、これら複数の機能ブロックは、有線ＬＡＮもしくは無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網を通じて相互に接続されていればよい。
【０１００】
また、上記の通り、警備支援システム３では、センサＳＮＲ１〜ＳＮＲＰのセンシング範囲の位置情報が重要である。たとえば、群衆状態予測部６５に入力される流量などの状態パラメータは、どの位置に基づいて取得されたものであるかが重要である。また、状態提示Ｉ／Ｆ部６７において、図１８（Ａ），（Ｂ）及び図１９に示したような地図上へのマッピングを行う場合も、状態パラメータの位置情報が必須となる。
【０１０１】
また、警備支援システム３は、大規模イベントの開催に応じて一時的且つ短期間のうちに構成する場合が想定される。この場合、大量のセンサＳＮＲ１〜ＳＮＲＰを短期間のうちに設置し、且つセンシング範囲の位置情報を取得する必要がある。よって、センシング範囲の位置情報は容易に取得されることが望ましい。
【０１０２】
センシング範囲の位置情報を容易に取得する手段としては、実施の形態１に係る空間的及び地理的な記述子を用いることが可能である。光学カメラまたはステレオカメラなどの、映像を取得できるセンサの場合、空間的及び地理的な記述子を用いることで、センシング結果が地図上のどの位置に対応するかを容易に導出することが可能となる。たとえば、図１２に示したパラメータ「ＧＮＳＳＩｎｆｏＤｅｓｃｒｉｐｔｏｒ」により、あるカメラの取得映像のうち、同一仮想平面に属する最低４点の空間的位置と地理的位置との関係が既知となった場合、射影変換を実行することで、当該仮想平面の各位置が地図上のどの位置に対応するかを導出することが可能となる。
【０１０３】
上記群衆監視装置６０は、たとえば、ＰＣ、ワークステーションまたはメインフレームなどの、ＣＰＵ内蔵のコンピュータを用いて構成することができる。群衆監視装置６０がコンピュータを用いて構成される場合、ＲＯＭなどの不揮発性メモリから読み出された監視プログラムに従ってＣＰＵが動作することにより、群衆監視装置６０の機能を実現することが可能である。また、群衆監視装置６０の構成要素６３，６５，６６の機能の全部または一部は、ＦＰＧＡまたはＡＳＩＣなどの半導体集積回路で構成されてもよいし、あるいは、マイクロコンピュータの一種であるワンチップマイコンで構成されてもよい。
【０１０４】
以上に説明したように、実施の形態３の警備支援システム３は、単数または複数の対象エリア内に分散配置されたセンサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰから取得された記述子データＤｓｒを含むセンサデータ、及び、通信ネットワークＮＷ２上のサーバ装置ＳＶＲ，ＳＶＲ，…，ＳＶＲから取得された公開データに基づき、当該対象エリア内の群衆の状態を容易に把握及び予測することができる。
【０１０５】
また、本実施の形態の警備支援システム３は、当該把握または予測された状態に基づき、ユーザに理解しやすい形態に加工された、群衆の過去、現在及び未来の状態を示す情報と適切な警備計画とを演算により導出し、これら情報及び警備計画を警備支援に有用な情報として警備担当者に提示したり、群衆に提示したりすることができる。
【０１０６】
実施の形態４．
次に、本発明に係る実施の形態４について説明する。図２０は、実施の形態４の画像処理システムである警備支援システム４の概略構成を示すブロック図である。この警備支援システム４は、Ｐ台（Ｐは３以上の整数）のセンサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰと、これらセンサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰの各々から配信されたセンサデータを通信ネットワークＮＷ１を介して受信する群衆監視装置６０Ａとを備えている。また、群衆監視装置６０Ａは、サーバ装置ＳＶＲ，…，ＳＶＲの各々から通信ネットワークＮＷ２を介して公開データを受信する機能を有する。
【０１０７】
本実施の形態の群衆監視装置６０Ａは、図２０のセンサデータ受信部６１Ａの機能の一部、画像解析部１２及び記述子生成部１３を有する点を除いて、上記実施の形態３の群衆監視装置６０と同じ機能及び同じ構成を有している。
【０１０８】
センサデータ受信部６１Ａは、上記センサデータ受信部６１と同様の機能を有する他、センサＳＮＲ１，ＳＮＲ２，…，ＳＮＲＰから受信されたセンサデータのうち撮像画像を含むセンサデータがあった場合には、当該撮像画像を抽出して画像解析部１２に供給する機能を有している。
【０１０９】
画像解析部１２及び記述子生成部１３の機能は、上記実施の形態１に係る画像解析部１２及び記述子生成部１３の機能と同じである。よって、記述子生成部１３は、空間的な記述子及び地理的な記述子、並びに、ＭＰＥＧ規格による既知の記述子（たとえば、オブジェクトの色、テクスチャ、形状、動き及び顔などの特徴量を示す視覚的な記述子）を生成し、これら記述子を示す記述子データＤｓｒをパラメータ導出部６３に供給することができる。したがって、パラメータ導出部６３は、記述子生成部１３で生成された記述子データＤｓｒに基づいて状態パラメータを生成することができる。
【０１１０】
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これら実施の形態は本発明の例示であり、これら実施の形態以外の様々な形態を採用することもできる。なお、本発明の範囲内において、上記実施の形態１，２，３，４の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１１１】
本発明に係る画像処理装置、画像処理システム及び画像処理方法は、たとえば、物体認識システム（監視システムを含む。）、３次元地図作成システム及び画像検索システムに用いられるのに適している。
【符号の説明】
【０１１２】
１，２  画像処理システム、３，４  警備支援システム、１０  画像処理装置、１１  受信部、１２  画像解析部、１３  記述子生成部、１４  データ記録制御部、１５  ストレージ、１６  ＤＢインタフェース部、１８  データ伝送部、２１  復号部、２２  画像認識部、２２Ａ  オブジェクト検出部、２２Ｂ  スケール推定部、２２Ｃ  パターン検出部、２２Ｄ  パターン解析部、２３  パターン記憶部、３１〜３４  オブジェクト、４０  表示機器、４１  表示画面、５０  画像蓄積装置、５１  受信部、５２  データ記録制御部、５３  ストレージ、５４  ＤＢインタフェース部、６０，６０Ａ  群衆監視装置、６１，６１Ａ  センサデータ受信部、６２  公開データ受信部、６３  パラメータ導出部、６４１〜６４Ｒ  群衆パラメータ導出部、６５  群衆状態予測部、６６  警備計画導出部、６７  状態提示インタフェース部（状態提示Ｉ／Ｆ部）、６８  計画提示インタフェース部（計画提示Ｉ／Ｆ部）、７１〜７４  外部機器、ＮＷ，ＮＷ１，ＮＷ２  通信ネットワーク、ＮＣ１〜ＮＣＮ  ネットワークカメラ、Ｃｍ  撮像部、Ｔｘ  送信部、ＴＣ１〜ＴＣＭ  画像配信装置。
【図１】
2017046872.tif 000003
【図２】
2017046872.tif 000004
【図３】
2017046872.tif 000005
【図４】
2017046872.tif 000006
【図５】
2017046872.tif 000007
【図６】
2017046872.tif 000008
【図７】
2017046872.tif 000009
【図８】
2017046872.tif 000010
【図９】
2017046872.tif 000011
【図１０】
2017046872.tif 000012
【図１１】
2017046872.tif 000013
【図１２】
2017046872.tif 000014
【図１３】
2017046872.tif 000015
【図１４】
2017046872.tif 000016
【図１５】
2017046872.tif 000017
【図１６】
2017046872.tif 000018
【図１７】
2017046872.tif 000019
【図１８】
2017046872.tif 000020
【図１９】
2017046872.tif 000021
【図２０】
2017046872.tif 000022
【手続補正書】
【提出日】平成28年6月23日(2016.6.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第１の態様による画像処理装置は、入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定する画像解析部と、当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部とを備え、前記画像解析部は、入力画像から、地面から一定の位置に配置され、かつ物理寸法が既知のオブジェクトを検出した場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定することを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の第３の態様による画像処理方法は、入力画像を解析して当該入力画像に現れるオブジェクトを検出するステップと、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定するステップと、当該検出されたオブジェクトが、地面から一定の位置に配置され、かつ物理寸法が既知である場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定するステップと、当該推定された空間的特徴量を表す空間的な記述子を生成するステップとを備えることを特徴とする。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定する画像解析部と、
当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部とを備え、
前記画像解析部は、入力画像から、地面から一定の位置に配置され、かつ物理寸法が既知のオブジェクトを検出した場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、前記空間的特徴量は、前記実空間における物理寸法を示す量であることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、少なくとも１台の撮像カメラから、前記入力画像を含む送信データを受信する受信部を更に備えることを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置であって、前記入力画像のデータを第１のデータ記録部に蓄積するとともに、前記空間的な記述子のデータを当該入力画像のデータと関連付けて第２のデータ記録部に蓄積するデータ記録制御部を更に備えることを特徴とする画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記入力画像は動画像であり、
前記データ記録制御部は、前記空間的な記述子のデータを、前記動画像を構成する一連の画像のうち当該検出されたオブジェクトを映す画像と関連付けることを特徴とする画像処理装置。
【請求項６】
請求項１記載の画像処理装置であって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成する、
ことを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、前記地理的情報は、当該検出されたオブジェクトの地球上の位置を示す測位情報であることを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、前記画像解析部は、前記入力画像に現れるコードパターンを検出し、当該検出されたコードパターンを解析して前記測位情報を取得することを特徴とする画像処理装置。
【請求項９】
請求項６記載の画像処理装置であって、前記入力画像のデータを第１のデータ記録部に蓄積するとともに、前記空間的な記述子のデータ及び前記地理的な記述子のデータを当該入力画像のデータと関連付けて第２のデータ記録部に蓄積するデータ記録制御部を更に備えることを特徴とする画像処理装置。
【請求項１０】
請求項１記載の画像処理装置であって、前記空間的な記述子を送信するデータ伝送部を更に備えることを特徴とする画像処理装置。
【請求項１１】
請求項１０記載の画像処理装置であって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成し、
前記データ伝送部は、前記地理的な記述子を送信する
ことを特徴とする画像処理装置。
【請求項１２】
請求項１０記載の画像処理装置から送信された当該空間的な記述子を受信する受信部と、
前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を予測する状態予測部と
を備えることを特徴とする画像処理システム。
【請求項１３】
請求項１記載の画像処理装置と、
前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を演算により予測する状態予測部と
を備えることを特徴とする画像処理システム。
【請求項１４】
請求項１３記載の画像処理システムであって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成し、
前記パラメータ導出部は、前記空間的な記述子及び前記地理的な記述子に基づき、前記状態特徴量を示す状態パラメータを導出する
ことを特徴とする画像処理システム。
【請求項１５】
請求項１２記載の画像処理システムであって、前記状態予測部で予測された状態を表すデータを外部機器に送信する状態提示インタフェース部を更に備えることを特徴とする画像処理システム。
【請求項１６】
請求項１３記載の画像処理システムであって、前記状態予測部で予測された状態を表すデータを外部機器に送信する状態提示インタフェース部を更に備えることを特徴とする画像処理システム。
【請求項１７】
請求項１５記載の画像処理システムであって、
前記状態予測部で予測された状態に基づいて警備計画案を演算により導出する警備計画導出部と、
当該導出された警備計画案を表すデータを外部機器に送信する計画提示インタフェース部と
を更に備えることを特徴とする画像処理システム。
【請求項１８】
請求項１６記載の画像処理システムであって、
前記状態予測部で予測された状態に基づいて警備計画案を演算により導出する警備計画導出部と、
当該導出された警備計画案を表すデータを外部機器に送信する計画提示インタフェース部と
を更に備えることを特徴とする画像処理システム。
【請求項１９】
入力画像を解析して当該入力画像に現れるオブジェクトを検出するステップと、
当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定するステップと、
当該検出されたオブジェクトが、地面から一定の位置に配置され、かつ物理寸法が既知である場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定するステップと、
当該推定された空間的特徴量を表す空間的な記述子を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９記載の画像処理方法であって、
当該検出されたオブジェクトの地理的情報を推定するステップと、
当該推定された地理的情報を表す地理的な記述子を生成するステップと
を更に備えることを特徴とする画像処理方法。
【手続補正書】
【提出日】平成28年12月22日(2016.12.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第１の態様による画像処理装置は、入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定する画像解析部と、当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部とを備え、前記空間的な記述子は、検索対象として利用されるべきフォーマットを有し、前記画像解析部は、前記入力画像から、地面から一定の位置に配置され、かつ既知の物理寸法を有するオブジェクトを検出した場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定することを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の第３の態様による画像処理方法は、入力画像を解析して当該入力画像に現れるオブジェクトを検出するステップと、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定するステップと、当該検出されたオブジェクトが、地面から一定の位置に配置され、かつ既知の物理寸法を有する場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定するステップと、当該推定された空間的特徴量を表し、かつ検索対象として利用されるべきフォーマットを有する空間的な記述子を生成するステップとを備えることを特徴とする。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を解析して当該入力画像に現れるオブジェクトを検出し、当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定する画像解析部と、
当該推定された空間的特徴量を表す空間的な記述子を生成する記述子生成部とを備え、
前記空間的な記述子は、検索対象として利用されるべきフォーマットを有し、
前記画像解析部は、前記入力画像から、地面から一定の位置に配置され、かつ既知の物理寸法を有するオブジェクトを検出した場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、前記空間的特徴量は、前記実空間における物理寸法を示す量であることを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置であって、少なくとも１台の撮像カメラから、前記入力画像を含む送信データを受信する受信部を更に備えることを特徴とする画像処理装置。
【請求項４】
請求項１記載の画像処理装置であって、前記入力画像のデータを第１のデータ記録部に蓄積するとともに、前記空間的な記述子のデータを当該入力画像のデータと関連付けて第２のデータ記録部に蓄積するデータ記録制御部を更に備えることを特徴とする画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記入力画像は動画像であり、
前記データ記録制御部は、前記空間的な記述子のデータを、前記動画像を構成する一連の画像のうち当該検出されたオブジェクトを映す画像と関連付けることを特徴とする画像処理装置。
【請求項６】
請求項１記載の画像処理装置であって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成する、
ことを特徴とする画像処理装置。
【請求項７】
請求項６記載の画像処理装置であって、前記地理的情報は、当該検出されたオブジェクトの地球上の位置を示す測位情報であることを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、前記画像解析部は、前記入力画像に現れるコードパターンを検出し、当該検出されたコードパターンを解析して前記測位情報を取得することを特徴とする画像処理装置。
【請求項９】
請求項６記載の画像処理装置であって、前記入力画像のデータを第１のデータ記録部に蓄積するとともに、前記空間的な記述子のデータ及び前記地理的な記述子のデータを当該入力画像のデータと関連付けて第２のデータ記録部に蓄積するデータ記録制御部を更に備えることを特徴とする画像処理装置。
【請求項１０】
請求項１記載の画像処理装置であって、前記空間的な記述子を送信するデータ伝送部を更に備えることを特徴とする画像処理装置。
【請求項１１】
請求項１０記載の画像処理装置であって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成し、
前記データ伝送部は、前記地理的な記述子を送信する
ことを特徴とする画像処理装置。
【請求項１２】
請求項１０記載の画像処理装置から送信された当該空間的な記述子を受信する受信部と、
前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を予測する状態予測部と
を備えることを特徴とする画像処理システム。
【請求項１３】
請求項１記載の画像処理装置と、
前記空間的な記述子に基づき、当該検出されたオブジェクトの群れからなるオブジェクト群の状態特徴量を示す状態パラメータを導出するパラメータ導出部と、
当該導出された状態パラメータに基づいて前記オブジェクト群の未来状態を演算により予測する状態予測部と
を備えることを特徴とする画像処理システム。
【請求項１４】
請求項１３記載の画像処理システムであって、
前記画像解析部は、当該検出されたオブジェクトの地理的情報を推定し、
前記記述子生成部は、当該推定された地理的情報を表す地理的な記述子を生成し、
前記パラメータ導出部は、前記空間的な記述子及び前記地理的な記述子に基づき、前記状態特徴量を示す状態パラメータを導出する
ことを特徴とする画像処理システム。
【請求項１５】
請求項１２記載の画像処理システムであって、前記状態予測部で予測された状態を表すデータを外部機器に送信する状態提示インタフェース部を更に備えることを特徴とする画像処理システム。
【請求項１６】
請求項１３記載の画像処理システムであって、前記状態予測部で予測された状態を表すデータを外部機器に送信する状態提示インタフェース部を更に備えることを特徴とする画像処理システム。
【請求項１７】
請求項１５記載の画像処理システムであって、
前記状態予測部で予測された状態に基づいて警備計画案を演算により導出する警備計画導出部と、
当該導出された警備計画案を表すデータを外部機器に送信する計画提示インタフェース部と
を更に備えることを特徴とする画像処理システム。
【請求項１８】
請求項１６記載の画像処理システムであって、
前記状態予測部で予測された状態に基づいて警備計画案を演算により導出する警備計画導出部と、
当該導出された警備計画案を表すデータを外部機器に送信する計画提示インタフェース部と
を更に備えることを特徴とする画像処理システム。
【請求項１９】
入力画像を解析して当該入力画像に現れるオブジェクトを検出するステップと、
当該検出されたオブジェクトの、実空間を基準とした空間的特徴量を推定するステップと、
当該検出されたオブジェクトが、地面から一定の位置に配置され、かつ既知の物理寸法を有する場合、当該オブジェクトが配置される平面を検出して当該平面の空間的特徴量を推定するステップと、
当該推定された空間的特徴量を表し、かつ検索対象として利用されるべきフォーマットを有する空間的な記述子を生成するステップと
を備えることを特徴とする画像処理方法。
【請求項２０】
請求項１９記載の画像処理方法であって、
当該検出されたオブジェクトの地理的情報を推定するステップと、
当該推定された地理的情報を表す地理的な記述子を生成するステップと
を更に備えることを特徴とする画像処理方法。
【国際調査報告】
2017046872.tif 000023
2017046872.tif 000024
2017046872.tif 000025
2017046872.tif 000026