(57)【要約】【課題】広域に散在する多くの監視カメラから低い通信量で人の検出情報を収集し、高速に混雑状況の把握や、来場者数の集計を行うことができ、既にデータベースへ蓄積された検出情報を有効に再利用できる画像集計装置を提供する【解決手段】カメラからの画像を入力する画像入力部３と、画像入力部３にて入力した画像を用いて物体を検出する画像処理部４と、画像処理部４にて物体を検出した場合に検出結果を示すメタデータを送信する検出情報送信部５とから成る第１処理装置２と、検出情報送信部５にて送信したメタデータを受信する検出情報受信部７と、検出情報受信部７にて受信したメタデータを用いて解析処理を行う解析処理部８と、解析処理部８の処理結果を検出情報受信部７にて受信したメタデータに付加してデータベースへ登録する登録処理部９とからなる第２処理装置６と、を備えることを特徴とする画像集計装置。【選択図】図１
2017041864.tif 000002
【特許請求の範囲】
【請求項１】
カメラからの画像を入力する画像入力部と、前記画像入力部にて入力した画像を用いて物体を検出する画像処理部と、前記画像処理部にて物体を検出した場合に検出結果を示すメタデータを送信する検出情報送信部とから成る第１処理装置と、
前記メタデータを受信する検出情報受信部と、前記検出情報受信部にて受信したメタデータを用いて解析処理を行う解析処理部と、前記解析処理部の処理結果を前記メタデータに付加してデータベースへ登録する登録処理部とからなる第２処理装置とを備えることを特徴とする画像集計装置。
【請求項２】
前記カメラと前記第１処理装置をローカルエリアネットワークで接続し、前記ローカルエリアネットワークに接続する他のネットワークに前記第２処理装置を備える請求項１に記載の画像集計装置。
【請求項３】
前記第１処理装置は、前記画像処理部で人間の検出を行い、前記メタデータとして人間の検出座標領域を含む検出結果を作成し、
前記第２処理装置は、撮影エリア内における判定ラインの座標を記憶した判定ライン記憶部をさらに備え、前記判定ライン記憶部から取得した判定ラインの座標に基づいて、前記メタデータを基に判定ラインへの通過有無を前記解析処理部で解析処理し、前記解析処理の結果を前記メタデータに付加して前記データベースへ登録する請求項１または請求項２に記載の画像集計装置。
【請求項４】
前記第１処理装置は、前記画像処理部で人間の検出を行い、前記メタデータとして人間の検出座標領域を含む検出結果を作成し、
前記第２処理装置は、撮影エリア内における判定エリアの座標を記憶した判定エリア記憶部をさらに備え、前記判定エリア記憶部から取得した判定エリアの座標に基づいて、前記メタデータを基に判定エリアへの進入有無を、前記解析処理部で解析処理し、前記解析処理の結果を前記メタデータに付加して前記データベースへ登録する請求項１または請求項２に記載の画像集計装置。
【請求項５】
前記第１処理装置は、前記画像処理部で人間の検出を行い、前記メタデータとして人間の検出座標領域を含む検出結果を作成し、
前記第２処理装置は、撮影エリア内を等間隔に区画化するためのサイズを記憶した区画サイズ設定記憶部をさらに備え、前記区画サイズ設定記憶部から取得した区画サイズに基づいて、前記メタデータを基に検出した区画の判定を、前記解析処理部で解析処理し、前記解析処理の結果を前記メタデータに付加して前記データベースへ登録する請求項１または請求項２に記載の画像集計装置。
【請求項６】
前記メタデータに付加した解析結果を検索キーとして、前記判定ラインを通過したと判定されたメタデータを、前記データベースから検索できることで、その検索結果のレコード数を進入した人数に換算する請求項３に記載の画像集計装置。
【請求項７】
前記メタデータに付加した解析結果を検索キーとして、前記判定エリアに進入したと判定されたメタデータを、前記データベースから検索できることで、その検索結果のレコード数を通過した人数に換算する請求項４に記載の画像集計装置。
【請求項８】
前記メタデータに付加した解析結果を検索キーとして、前記検出区画で検出したと判定されたメタデータを、前記データベースから検索できることで、その検索結果のレコード数を混雑度に換算する請求項５に記載の画像集計装置。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明は画像監視に用いる画像処理装置に関する。
【背景技術】
【０００２】  安心・安全への意識の向上に伴い様々な場所への監視カメラの設置が増えている。また、それらの監視カメラの利用方法として、たとえば商業施設における混雑状況の把握や、来場者数の集計などマーケティングなどへの利用も考えられている。更に、監視範囲の広域化と監視省力化を目的として、多数の画像処理装置を中央で統合化するようになってきている。【０００３】  広域な監視領域内にカメラが散在する場合でも、この広域な監視領域を画像監視して必要な情報を全て引き出すことを実現でき、広帯域で大規模なネットワークインフラを用いなくても、中央の監視センターが広域な監視を行うことを出来る分散型画像処理装置が開示されている（例えば、特許文献１参照。）。【０００４】  また、データ送信端末において画像処理を行い、その結果が条件を満たした場合に、画像データと同時に、画像データの属性を含むメタデータを送信することで、データ受信サーバのデータ解析処理に関する負荷を軽減することができる作用と、データベースによる画像データの蓄積、および、画像データの検索を容易にすることが出来るデータ送信端末及びデータ送受信装置が開示されている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２３３４９５号公報
【特許文献２】特開２００２−１６５２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】  特許文献１のように、現場の処理装置が画像処理し、さらに中央の監視センターで画像処理を行う場合、各監視領域の処理装置からの画像データが集中した場合、中央の監視センターでの処理負荷が増加してしまう。【０００７】  また、既にデータベースに蓄積されているメタデータに含まれる属性の内容は変更することができない。そのため、データベースに蓄積された貴重な情報資産を有効に再利用できない。【０００８】  特許文献２のように、データ送信端末のみでメタデータを作成する方法では、運用後にシステムの更新によって、メタデータの属性の内容を変更したい場合に、既にデータベースに蓄積されているメタデータに含まれる属性の内容は変更することができない。そのため、データベースに蓄積された貴重な情報資産を有効に再利用できない。また、メタデータの属性の内容を変更するためには、広域に散在するデータ送信端末のプログラムを全て書き換える必要がある。【０００９】  本発明は、広域に散在する多くの監視カメラから少ない通信量で人の検出情報を収集し、収集した検出情報を基に高速に混雑状況の把握や、来場者数の集計を行うことができ、システムの運用開始後に集計内容を変更したい場合に、１台の装置だけのプログラム更新で済み、既にデータベースへ蓄積された検出情報を有効に再利用できる画像集計装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】  前記の目的を達成するため、本発明の画像集計装置は、カメラからの画像を画像処理する第１処理装置と、前記第１処理装置の処理結果を処理する第２処理装置とを備えた画像集計装置において、前記第１処理装置は、カメラからの画像を入力する画像入力部と、前記画像入力部にて入力した画像を用いて物体を検出する画像処理部と、前記画像処理部にて物体を検出した場合に検出結果を示すメタデータを送信する検出情報送信部を備え、前記第２処理装置は、前記メタデータを受信する検出情報受信部と、前記検出情報受信部にて受信したメタデータを用いて解析処理を行う解析処理部と、前記解析処理部の処理結果を前記メタデータに付加してデータベースへ登録する登録処理部を備えることを特徴とする。
【発明の効果】
【００１１】  本発明の画像集計装置によれば、多くのカメラを接続した場合に、カメラの画像を１枚ずつ処理する必要がある画像処理を複数の第１処理装置にて分散して行い、第１処理装置にて検出した検出情報のみを第２処理装置にて解析処理することで、高性能なコンピュータを必要としない効果がある。【００１２】  また、本発明の画像集計装置によれば、第１処理装置で検出した検出情報のみをネットワークを介して第２処理装置に送信するのでネットワークの負荷を低減できる効果がある。【００１３】  また、本発明の画像集計装置によれば、管理者が必要とする期間における人数を高速に集計することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施例の構成を示すブロック図。
【図２】本発明の第２実施例の構成を示すブロック図。
【図３】本発明の第２実施例の通過判定の入場ありの原理図を示す図。
【図４】本発明の第２実施例の通過判定の退場ありの原理図を示す図。
【図５】本発明の第２実施例の通過判定の通過なしの原理図を示す図。
【図６】本発明の第２実施例のメタデータと付加項目の構成図。
【図７】本発明の第３実施例の構成を示すブロック図。
【図８】本発明の第３実施例の進入判定の原理図を示す図。
【図９】本発明の第３実施例のメタデータと付加項目の構成図。
【図１０】本発明の第１実施例の検出した人を囲む外接長方形の図。
【図１１】本発明の第４実施例の構成を示すブロック図。
【図１２】本発明の第４実施例の混雑判定の原理図を示す図。
【図１３】本発明の第４実施例のメタデータと付加項目の構成図。
【発明を実施するための形態】
【実施例１】
【００１５】  図１は本発明の画像集計装置の第１実施例の図であり、現場監視装置１００と監視センター２００からなる。【００１６】  現場監視装置１００は監視現場に設置され、カメラ１と、第１処理装置２を有し、監視センター２００は第２処理装置６と、ディスプレイ１４と、入力装置１５で構成される。そして、現場監視装置１００と監視センター２００は、地理的に離れており、これらの装置はネットワーク１６で接続されている。カメラ１は、監視エリアに設置され、その監視エリアの画像を所定のフレーム間隔で連続撮影する。カメラ１の画像は、画像入力部３へ入力され、画像処理部４で画像処理を行う。画像処理の結果、対象とする物体の検出があると、画像処理結果を表すメタデータを生成する。メタデータには、カメラ１を識別するカメラ番号と、検出日時と、検出座標領域を含むものとする。【００１７】  また、検出座標領域は該当画像において物体を検出した領域であり、領域を囲む外接長方形の左上座標（ｘ，ｙ）と幅（Ｗｉｄｔｈ）と高さ（Ｈｅｉｇｈｔ）にて表す。たとえば、人を物体として検出した場合、図１０のような外接長方形となる。なお、検出した領域が複数ある場合は、検出座標領域も複数あるものとする。そして、生成したメタデータは検出情報送信部５によって、第２処理装置６に対して送信する。したがって、第１処理装置２は、物体を検出するたびに、メタデータを生成して第２処理装置６に送信する。【００１８】  第２処理装置６は、ネットワーク１６を介して検出情報受信部７で前記メタデータを受信する。メタデータは検出情報受信部７で受信すると、解析処理部８で解析処理を行う。【００１９】  解析処理は、メタデータに含まれる検出座標領域を基にした座標計算であり、計算に必要な設定は、解析設定記憶部１１より取り出す。たとえば、判定エリアを示す設定座標内に検出座標領域が入っているか否かの判定を行う。解析処理によって得られる解析結果のことを付加情報と呼び、この付加情報を生成する。【００２０】  付加情報は、メタデータの情報を拡充する内容であり、後に検索する際に条件を絞り込むための検索キーになるものを生成するものとする。たとえば、物体を検出した画像上の位置を細分化できる情報である。生成した付加情報は、登録処理部９によってメタデータに付加して、データベース１０へ登録する。このメタデータと付加情報の１ペアのことをレコードと呼ぶ。このようにして、本実施例ではデータベース１０に、レコードが蓄積されていくものとする。そして、管理者はユーザーインターフェースを介した操作により検索キーを指定して、第２処理装置６に対して検索要求を行う。【００２１】  検出情報検索部１３は、データベース１０から検索キーに一致するレコードを抽出する。データベース１０から抽出されたレコード数は、検索結果集計部１２に渡し、集計結果としてディスプレイ１４に表示する。たとえば、レコードが１０件抽出された場合は、ディスプレイ１４には１０件と表示される。
【実施例２】
【００２２】  図２は本発明の画像集計装置の第２実施例を示したものである。図上で、図１と同一または類似の構成部分については共通の符号を付し、重複する説明は省略する。【００２３】  第２実施例では、たとえば商業施設の出入口を撮影するよう設置されたカメラにおいて、それらの撮影画像上の出入口部分に、予め設定した判定ラインを通過した人数をカウントすることを想定する。【００２４】  人検出処理部１０４は、画像入力部３で入力した画像から、人を検出する処理を行う。すなわち、第１処理装置２は、人を検出するたびに、人の検出座標領域を含むメタデータを第２処理装置６に対して送信することとなる。【００２５】  通過判定処理部１０８は、受信したメタデータから検出座標領域を抽出する。これは、解析処理部８の一例である。【００２６】  次に、判定ライン設定記憶部１１１より判定ライン座標点を取り出す。判定ラインは、図３，４のように２点の座標を持ち、それらの座標点によって結ばれたラインのことを示す。また、判定ラインは、座標点の位置関係から入場側・退場側を区別する方向属性と、判定ラインを識別するための名称を持つ。【００２７】  たとえば図３のように、人の検出座標領域の注目点（たとえば、座標領域底辺の中心座標）が判定ライン座標点のラインに交差し、且つ進入側（ＩＮ）に対して向かう方向の場合、人が判定ラインを進入したと判定する。【００２８】  たとえば図４のように、人の検出座標領域の注目点（たとえば、座標領域底辺の中心座標）が判定ライン座標点のラインに交差し、且つ退場側（ＯＵＴ）に対して向かう方向の場合、人が判定ラインを退場したと判定する。【００２９】  たとえば図５のように、人の検出座標領域の注目点（たとえば、座標領域底辺の中心座標）が判定ライン座標点のラインに交差しない場合は、通過なしと判定する。【００３０】  人が判定ラインを進入または退場したと判定した場合、付加情報として判定ライン名と通過方向を生成する。生成した付加情報は、登録処理部９によってメタデータに付加し、レコードとしてデータベース１０へ登録する。【００３１】  図６にメタデータと付加情報からなるレコードの構成の例を示す。図６では例として、レコード１からｎまでが登録されていることを示すこのようにして、本実施例では、人の判定ラインの通過状態を記録したレコードが、データベース１０に蓄積されていくものとする。【００３２】  管理者１７はユーザーインターフェースを介した操作により、指定期間、判定ライン名、通過方向を検索キーとして検索要求を行う。検出情報検索部１３は、データベース１０より、前記指定期間、判定ライン名、通過方向に一致するレコードをデータベース１０から抽出する。データベース１０から抽出されたレコード数は、検索結果集計部１２に渡し、集計結果としてディスプレイ１４に表示する。たとえば、レコードが１０件抽出された場合は、ディスプレイ１４には通過した人は１０人と表示される。
【実施例３】
【００３３】  図７は本発明の画像集計装置の第３実施例を示したものである。図上で、図１と同一または類似の構成部分については共通の符号を付し、重複する説明は省略する。【００３４】  第３実施例では、たとえば商業施設のエレベータホールを撮影するよう設置されたカメラにおいて、それらの撮影画像上のエレベータホール部分に、予め設定した仮想的なエリアに進入した人数をカウントすることを想定する。【００３５】  人検出処理部１０４は、画像入力部３で入力した画像から、人を検出する処理を行う。すなわち、第１処理装置２は、人を検出するたびに、人の検出座標領域を含むメタデータを第２処理装置６に対して送信することとなる。【００３６】  進入判定処理部２０８は、受信したメタデータから検出座標領域を抽出する。これは、解析処理部８の一例である。【００３７】  次に、判定エリア設定記憶部２１１より判定エリア座標点を取り出す。判定エリアは、図８のように４点以上の座標を持ち、それら座標点によって囲まれたエリアのことを示す。また、判定エリアは、判定エリアを識別するための名称を持つ。【００３８】  たとえば図８のように、人の検出座標領域の注目点（たとえば、座標領域底辺の中心座標）が判定エリア座標点のエリアの内部に入っている場合、人が判定エリアに進入したと判定する。人が判定エリアに進入したと判定した場合、付加情報として判定エリア名を生成する。生成した付加情報は、登録処理部９によってメタデータに付加して、レコードとしてデータベース１０へ登録する。【００３９】  図９にメタデータと付加情報からなるレコードの構成の例を示す。図９では例として、レコード１からｎまでが登録されていることを示す。このようにして、本実施例では、人の判定エリアの進入状態を記録したレコードが、データベース１０に蓄積されていくものとする。【００４０】  管理者はユーザーインターフェースを介した操作により、指定期間、判定エリア名を検索キーとして検索要求を行う。検出情報検索部１３は、データベース１０より、前記指定期間、判定エリア名に一致するレコードをデータベース１０から抽出する。検出情報記憶部１０から抽出されたレコード数は、検索結果集計部１２に渡し、集計結果としてディスプレイ１４に表示する。たとえば、レコードが１０件抽出された場合は、ディスプレイ１４には進入した人は１０人と表示される。
【実施例４】
【００４１】  図１１は本発明の画像集計装置の第４実施例を示したものである。図上で、図１と同一または類似の構成部分については共通の符号を付し、重複する説明は省略する。【００４２】  第４実施例では、たとえば商業施設の売り場スペースを撮影するよう設置されたカメラにおいて、それらの撮影画像上を予め設定した区画サイズで等間隔に区画化し、各区画の混雑度を判定することを想定する。人検出処理部１０４は、画像入力部３で入力した画像から、人を検出する処理を行う。すなわち、第１処理装置２は、人を検出するたびに、人の検出座標領域を含むメタデータを第２処理装置６に対して送信することとなる。【００４３】  検出区画判定処理部３０８は、受信したメタデータから検出座標領域を抽出する。これは、解析処理部８の一例である。【００４４】  次に、区画サイズ設定記憶部３１１より区画サイズを取り出す。たとえば図１２のように、人の検出座標領域の注目点（たとえば、座標領域底辺の中心座標）が、いずれかの区画内に入っている場合、人をその区画で検出したと判定する。人が区画で検出したと判定した場合、付加情報として検出区画の番号（Ｘ位置、Ｙ位置）を生成する。生成した付加情報は、登録処理部９によってメタデータに付加して、レコードとしてデータベース１０へ登録する。【００４５】  図１３にメタデータと付加情報からなるレコードの構成の例を示す。図１３では例として、レコード１からｎまでが登録されていることを示す。このようにして、本実施例では、人の検出区画を記録したレコードが、データベース１０に蓄積されていくものとする。管理者はユーザーインターフェースを介した操作により、指定期間を検索キーとして検索要求を行う。検出情報検索部１３は、データベース１０より、前記指定期間に一致するレコードをデータベース１０から抽出する。検出情報記憶部１０から抽出されたレコード数は、検索結果集計部１２に渡し、集計結果としてディスプレイ１４に表示する。たとえば、区画２、３でレコードが１０件抽出された場合は、ディスプレイ１４に表示される区画２、３の混雑度は１０となる。区画が横方向にＭ区画、縦方向にＮ区画あった場合、この処理をＭ×Ｎ区画すべてに対して実施し、混雑度が低いほど青色、高いほど赤色として各区画を塗りつぶして表示することで、区画ごとの混雑度を視覚的に表示する。
【符号の説明】
【００４６】１…カメラ
２…第１処理装置
３…画像入力部
４…画像処理部
５…検出情報送信部
６…第２処理装置
７…検出情報受信部
８…解析処理部
９…登録処理部
１０…データベース
１１…解析設定記憶部
１２…検索結果集計部
１３…検出情報検索部
１４…ディスプレイ
１５…入力装置
１６…ネットワーク
１７…管理者
１００…現場監視装置
１０４…人検出処理部
１０８…通過判定処理部
１１１…判定ライン設定記憶部
２００…監視センター
２０８…進入判定処理部
２１１…判定エリア設定記憶部
３０８…検出区画判定処理部
３１１…区画サイズ設定記憶部
【図１】
2017041864.tif 000003
【図２】
2017041864.tif 000004
【図３】
2017041864.tif 000005
【図４】
2017041864.tif 000006
【図５】
2017041864.tif 000007
【図６】
2017041864.tif 000008
【図７】
2017041864.tif 000009
【図８】
2017041864.tif 000010
【図９】
2017041864.tif 000011
【図１０】
2017041864.tif 000012
【図１１】
2017041864.tif 000013
【図１２】
2017041864.tif 000014
【図１３】
2017041864.tif 000015