(57)【要約】      （修正有）【課題】局所探索の計算負荷を低減させ、追尾精度の低下を防ぐことを可能にする画像解析装置を提供する。【解決手段】画像解析装置は、所定の監視領域を撮影して得られた複数の画像を解析し、複数の画像のうちの第１の画像について画像の全領域において人物の検出を行う第１の検出と、第１の画像に後続する第２の画像について第１の検出の検出結果に基づく画像の一部の領域において第１の検出において検出された人物の検出を行う第２の検出とを行い、第２の検出においては、第１の検出において検出された人物のうち所定の位置に向かう人物を第２の画像から検出する。【選択図】図４
2020086961.tif 000002
【特許請求の範囲】
【請求項１】
所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第１の画像について画像の全領域において人物の検出を行う第１の検出と、前記複数の画像のうち前記第１の画像に後続する第２の画像について前記第１の検出の検出結果に基づく画像の一部の領域において前記第１の検出において検出された人物の検出を行う第２の検出とを行う解析手段と、
前記解析手段による解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数手段と
を備え、
前記解析手段は、前記第２の検出において、前記第１の検出において検出された人物のうち、前記所定の位置に向かう人物を前記第２の画像において検出することを特徴とする画像解析装置。
【請求項２】
前記解析手段は、人物が検出された位置と、該人物の向きとに基づいて、該人物が前記所定の位置に向かう人物であるかを判定することを特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記解析手段は、前記位置と前記向きとに基づいて前記人物の移動方向を推定し、前記移動方向と前記画像における前記所定の位置との関係に基づいて、当該人物が前記所定の位置に向かう人物であるかを判定することを特徴とする請求項２に記載の画像解析装置。
【請求項４】
前記解析手段は、前記移動方向が、前記所定の位置を規定する線分の方向を向いている場合に、当該人物が前記所定の位置に向かう人物であると判定することを特徴とする請求項３に記載の画像解析装置。
【請求項５】
前記解析手段は、前記移動方向が、前記所定の位置を規定する線分の延長線の方向を向いている場合に、当該人物が前記所定の位置に向かう人物であると判定することを特徴とする請求項３に記載の画像解析装置。
【請求項６】
前記解析手段は、前記所定の位置を規定する線分の端部と前記人物とを結ぶ線分の方向と、前記移動方向とで規定される角度が所定の角度より小さい場合に、当該人物が前記所定の位置に向かう人物であると判定することを特徴とする請求項３または５に記載の画像解析装置。
【請求項７】
前記解析手段は、前記第１の検出において検出された人物の数が所定数を超えた場合に、前記第２の検出において前記所定の位置に向かう人物のみを検出することを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。
【請求項８】
前記検出手段は、１枚の画像についての前記第２の検出に要している処理時間が所定の処理時間を超えた場合に、前記所定の位置に向かう人物のみを検出することを特徴とする請求項１から６のいずれか１項に記載の画像解析装置。
【請求項９】
前記一部の領域は、前記第１の検出において検出された人物の前記第１の画像における位置、及び、該人物の向きに基づき推定される、前記第２の画像における該人物の位置を包含するように設定されることを特徴とする請求項１から８のいずれか１項に記載の画像解析装置。
【請求項１０】
前記解析手段は、前記第２の画像について前記第２の検出を行っている間に、前記複数の画像のうち前記第２の画像に後続する第３の画像について前記第１の検出を並列に行うことを特徴とする請求項１から９のいずれか１項に記載の画像解析装置。
【請求項１１】
所定の監視領域を撮影して画像を生成する撮影手段と、
前記撮影手段が撮影した画像を解析する請求項１から１０のいずれか１項に記載の画像解析装置と
を備えることを特徴とする撮影装置。
【請求項１２】
画像解析方法であって、
解析手段が、所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第１の画像について画像の全領域において人物を検出する第１の検出と、前記複数の画像のうち前記第１の画像に後続する第２の画像について前記第１の検出の検出結果に基づく画像の一部の領域において前記第１の検出において検出された人物を検出する第２の検出とを行う解析工程と、
計数手段が、前記解析工程における解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数工程と
を含み、
前記解析工程では、前記第２の検出において、前記第１の検出において検出された人物のうち、前記所定の位置に向かう人物が前記第２の画像において検出されることを特徴とする画像解析方法。
【請求項１３】
コンピュータを請求項１から１０のいずれか１項に記載の画像解析装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、撮影装置、画像解析方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来から、競技場や駅、イベント会場、空港、小売店舗や大規模な商業店舗など、さまざまな施設で特定のエリアを通過する人の数をカウントしたいというニーズがあった。このようなニーズに対して、カメラで撮影した画像を画像解析することで特定エリアや特定ライン上を通過した人数をカウントする通過人数カウント技術がある。この技術では、画像内に映っている人体を画像解析により検出し、さらにその人体を画像内で追尾処理することで通過検知ラインを通過した人体を検出し、通過人数をカウントする。
【０００３】
この通過人数カウント技術を適用することで、たとえば小売店舗においては、出入口や通路を撮影したカメラの映像からそれぞれの出入口や通路を通過した人数が分かるため、顧客の動線を把握し、回遊性と買上率を高める最適な商品レイアウトや店舗内広告表示を検討することが可能となる。
【０００４】
通過人数カウント技術の一例として、非特許文献１のような方法がある。この方法では、連続して撮影した動画像の最初の画像に対して、画像全体を画像解析し、画像に映る人体を検出する（この処理を「全画面探索」と呼ぶ）。その後、後続の画像に対しては前の画像の全画面探索で検出した人体の周辺のみを探索範囲として人体検出することで追尾処理を行っている（この処理を「局所探索」と呼ぶ）。非特許文献１の方法では、計算負荷が大きな全画面探索処理を一度実行し、その後に計算負荷が小さい局所探索処理を複数回実行することで、すべての画像に全画面探索をすることなく人体追尾を実現している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】「多人数を高速にカウントする映像解析ソフトウェア」、二木 徹 他、画像ラボ、日本工業出版、平成２９年３月１０日、第２８巻第３号（通巻３２７号）、Ｐ．５３−５７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の小売店舗以外にも、イベント会場や空港などの広い領域にたくさんの人が集まるような場所においても通過人数をカウントしたいというニーズがある。イベント会場や空港などでは、撮影した画像内に多くの人物が含まれる。このような画像に非特許文献１の方法を適用した場合、全画面探索で多くの人物が検出される。全画面探索後の局所探索では、全画面探索で検出された人物の周辺で人物検出処理を行うため、全画面探索で検出された人物の数が多いほど計算負荷が高くなる。局所探索の計算負荷が高くなると、画像１枚当たりの処理時間が長くなってしまう。そして、画像１枚当たりの局所探索処理時間が長くなった場合、検出漏れが発生し、追尾精度の低下をまねくおそれがある。
【０００７】
そこで本発明は、局所探索の計算負荷を低減させ、追尾精度の低下を防ぐことを可能にする技術を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するための発明は、画像解析装置であって、
所定の監視領域を撮影して得られた複数の画像を解析し、前記複数の画像のうちの第１の画像について画像の全領域において人物の検出を行う第１の検出と、前記複数の画像のうち前記第１の画像に後続する第２の画像について前記第１の検出の検出結果に基づく画像の一部の領域において前記第１の検出において検出された人物の検出を行う第２の検出とを行う解析手段と、
前記解析手段による解析の結果に基づき、前記監視領域における所定の位置を通過した人数を計数する計数手段と
を備え、前記解析手段は、前記第２の検出において、前記第１の検出において検出された人物のうち、前記所定の位置に向かう人物を前記第２の画像において検出する。
【発明の効果】
【０００９】
本発明によれば、局所探索の計算負荷を低減して追尾精度の低下を防ぐことができる。
【図面の簡単な説明】
【００１０】
【図１】発明の実施形態に係る情報処理システムの構成の一例を示す図、及び、ネットワークカメラ１０２のハードウェア構成の一例を示す図。
【図２】発明の実施形態に係るネットワークカメラ１０２の機能構成の一例を示す図。
【図３】従来の通過人数カウント方法を説明するための図。
【図４】発明の実施形態に係る通過人数カウント処理の概念を説明するための図、及び、画像解析処理における全画面探索と局所探索との関係を説明するための図。
【図５】発明の実施形態に係るネットワークカメラ１０２が実行する処理の一例を示すフローチャート。
【図６】発明の実施形態に係る特徴量テーブルのデータ構成の一例を示す図。
【図７】発明の実施形態に係る全画面探索処理及び局所探索処理を説明するための図。
【図８】発明の実施形態に係る全画面探索処理の一例を示すフローチャート。
【図９】発明の実施形態に係る局所探索処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付の図面に基づいて発明の実施形態を詳細に説明する。図１（Ａ）は、発明の実施形態に係る情報処理システム１００の構成例を示す図である。情報処理システム１００は、ネットワーク１０１を介して接続された、少なくともひとつのネットワークカメラ１０２と、情報処理装置１０３とを備える。図１（Ａ）に示した情報処理システム１００の構成要素は、あくまで一例であって、これら以外の構成要素が更に追加されても良い。以下、各構成要素について説明する。
【００１２】
ネットワーク１０１は、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線である。ネットワーク１０１は、有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。
【００１３】
ネットワークカメラ１０２は、例えば劇場、映画館、スタジアムといった監視対象区域に設置される監視カメラである。ネットワークカメラ１０２は、監視対象区域における所定の領域（監視領域）を撮影するように設置され、ネットワーク１０１を介して撮影した画像（動画像、静止画像）を情報処理装置１０３に配信する機能を持つ。また、ネットワークカメラ１０２は撮影した画像の解析を行う画像解析装置としても機能することができ、監視領域内に存在する人物の検出や、監視領域内の特定の領域（範囲、或いは、位置）を通過した人数を計数（カウント）する等の処理を行うことができる。ネットワークカメラ１０２は、ＰＴＺ（パン・チルト・ズーム）制御機能を持ち、パンおよびチルト制御用の雲台（不図示）を有していても良い。また、ネットワークカメラ１０２は複数台が用意され、監視対象区域内の複数の監視領域をそれぞれ撮影するため、個々に設置されていてもよい。
【００１４】
情報処理装置１０３は、ネットワーク１０１を介してネットワークカメラ１０２と通信し、ネットワークカメラ１０２の動作を制御することができる。例えば、雲台の制御をしたり、画質設定やＰＴＺの制御等の変更要求を行ったりすることができる。ネットワークカメラ１０２で撮影された動画像及び静止画像、ネットワークカメラ１０２における画像解析結果を、ネットワーク１０１介して受信する。情報処理装置１０３は、例えばパソコン、サーバー、タブレット等として実現することができる。情報処理装置１２０は単一の装置により実現される場合だけでなく、複数の装置が協働して各機能を実現してもよい。
【００１５】
次に、図１（Ｂ）を参照してネットワークカメラ１０２のハードウェア構成を説明する。ネットワークカメラ１０２は、システムバス１１０に対してＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、記憶装置１１４、通信装置１１５、撮影装置１１６及び制御装置１１７が接続されて構成されている。
【００１６】
ＣＰＵ１１１は、ネットワークカメラ１０２の全体的な制御やデータの計算・加工を行う装置である。ＲＡＭ１１２は、揮発性のメモリであり、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１１３は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１１１が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ１１１は、例えばＲＯＭ１１３に格納されるプログラムに従い、ＲＡＭ１１２をワークメモリとして用いて、ネットワークカメラ１０２の各部を制御する。尚、ＣＰＵ１１１が動作するためのプログラムは、ＲＯＭ１１３に格納されるのに限られず、記憶装置１１４に記憶されていてもよい。
【００１７】
記憶装置１１４は、例えばＨＤＤやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置１１４には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。記憶装置１１４は、ＣＰＵ１１１の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置１１４をＲＡＭ１１２やＲＯＭ１１３の代わりに使用してもよい。
【００１８】
通信装置１１５は、ＣＰＵ１１１の制御に基づき、ネットワーク１０１を介して情報処理装置１０３と通信するための通信インタフェースである。通信装置１１５は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００１９】
撮影装置１１６は、実空間である監視対象区域内の監視領域を撮影することにより画像を生成する。撮影装置１１６では、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子を用いて光電変換により得られたアナログ画像信号をＡ／Ｄ変換によりデジタル画像信号に変換する。また、デジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理を実施する。現像処理された画像は、ＣＰＵ１１１により解析され、本実施形態に対応する探索処理が行われる。更に、現像処理部が出力したデジタル画像信号を圧縮・符号化して、画像データを生成する。画像圧縮方式は、例えば、H.２６４、H.２６５、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp４やavi形式などを含む任意の形式の画像データを生成しても良い。符号化された画像データは、情報処理装置１０３に配信される。撮影装置１１６では、例えば、静止画像のほかに、１秒間に所定数のフレーム分（例えば、３０フレーム）の画像を取得して、監視領域の３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。制御装置１１７は、撮影方向を変えるための雲台と、ズームやフォーカスや絞りなどの撮影の設定を変更する機構を含む。
【００２０】
図１（Ｂ）は、ネットワークカメラ１０２のハードウェア構成図として示しているが、情報処理装置１０３のハードウェア構成も図１（Ｂ）に準ずるものとすることができる。その場合、撮影装置１１６と制御装置１１７とは構成から除外される。
【００２１】
次に、図２を参照してネットワークカメラ１０２の機能構成の一例について説明する。ネットワークカメラ１０２は、撮影部２０１、カメラ制御部２０２、通信部２０３、記憶部２０４、処理部２０５と、解析部２０６を含むことができる。これらの機能構成要素は、あくまで一例であって、これら以外の機能構成要素が更に追加されても良い。また、図２に示す機能構成はソフトウェアとして実現することが可能であるが、それに限らず、少なくとも一部または全部を専用ハードウェア回路として実装してもよい。
【００２２】
撮影部２０１は、撮影装置１１６により生成された画像データを通信部２０３を介して、ネットワーク１０１経由で外部の情報処理装置１０３に配信することができる。撮影部２０１の機能は、ＣＰＵ１１１が所定の制御プログラムを実行して撮影装置１１６の動作を制御することで実現される。
【００２３】
カメラ制御部２０２は、後述する処理部２０５から要求に基づき制御装置１１７を制御し、撮影装置１１６が有するレンズのピントを調整したり、ズームを制御したり、雲台を制御して撮影方向を変更したりすることにより、ネットワークカメラ１０２における撮影条件を調整・変更することができる。カメラ制御部２０２は、ＣＰＵ１１１が所定の制御プログラムを実行して制御装置１１７の動作を制御することで実現される。
【００２４】
通信部２０３は、ネットワーク１０１を介して情報処理装置１０３との通信を行うことができる。通信部２０３の機能は、ＣＰＵ１１１が所定の制御プログラムを実行して通信装置１１５の動作を制御することで実現される。記憶部２０４は、ネットワークカメラ１０２の機種情報や各種設定値を記憶装置１１４に書き込んだり、読み込んだりすることができる。記憶部２０４の機能は、ＣＰＵ１１１が所定の制御プログラムを実行して記憶装置１１４の動作を制御することで実現される。
【００２５】
処理部２０５は、通信部２０３経由で情報処理装置１０３からリクエストコマンド（不図示）を受け付け、要求に対するレスポンスコマンド（不図示）を情報処理装置１０３に返送することができる。また、処理部２０５は、受け付けたリクエストコマンドの内容を解析し、当該リクエストコマンドに関する処理を実行することができる。例えば、リクエストコマンドがネットワークカメラ１０２のチルト制御に関する要求であれば、処理部２０４は当該リクエストコマンドの内容に基づき、カメラ制御部２０２にチルト制御の要求を送る。カメラ制御部２０２は受けつけたチルト制御の要求に基づき、チルトを変更するように制御装置１１７を制御する。別の例として、リクエストコマンドがネットワークカメラ１０２の設定の状態の問い合わせに関する要求であれば、処理部２０４は記憶部２０４に対して該当する設定の状態を取得するように要求し、設定の内容をレスポンスコマンドに変換して、情報処理装置１０３に返送することができる。これらの処理部２０５の機能は、ＣＰＵ１１１が所定の制御プログラムを実行することで実現される。
【００２６】
解析部２０６は、撮影部２０１が撮影した画像について画像解析を行い、特定の対象物を認識・識別・抽出することができる。また、図５、図８及び図９を参照して後述するように、本実施形態に対応する通過人数カウント処理を実行することができる。更に、画像の中で動体部分のみを検知したり、人物を認識したり、人の顔を識別して個人を特定したり、車のナンバープレートを照合したり、することができる。解析部２０６の機能は、ＣＰＵ１１１が所定の制御プログラムを実行することで実現される。
【００２７】
本実施形態では、図２に示す機能構成の全てをネットワークカメラ１０２側で有する場合、即ち、人物の撮影と、撮影により得られた画像の解析をネットワークカメラ１０２で行う場合を説明する。しかし、処理の一部を情報処理装置１０３において実施してもよい。例えば、解析部２０６の機能を情報処理装置１０３に持たせるようにして、画像解析装置として動作させてもよい。この場合、ネットワークカメラ１０２により撮影・生成された画像データが情報処理装置１０３側に提供され、情報処理装置１０３において人物の認識、識別、抽出、検出といった画像解析処理、及び、通過人数カウント処理が実行される。
【００２８】
以下では、本実施形態に係るネットワークカメラ１０２側での通過人数カウント処理の流れを説明する。通過人数カウント処理とは、ネットワークカメラ１０２で撮影されている監視領域に予め設定された人物検知ラインを通過した人物の数（人数）を計数（カウント）する処理である。
【００２９】
ここで図３及び図４（Ａ）を参照して、従来の通過人数カウント方法の問題及び本願発明の通過人数カウント処理の概念について説明する。まず、図３は、従来の通過人数のカウント方法の問題を説明するための図である。画像３００、画像３１０、画像３２０は、それぞれ処理対象となる３枚の画像、例えば、動画像に含まれる複数の画像のうちの３枚の画像を示している。時系列において、画像３００が一番古く最初に処理され、次に画像３１０が処理され、その後に画像３２０が処理される。３枚の画像は必ずしも時間的に隣接していなくてもよい。ここで、先頭の画像３０１には全画面探索が実行され、後続の画像３１１及び３１２には局所探索が実行される。
【００３０】
画像３００では、全画面探索により２人の人物３０１及び３０２が検出されている。検出された人物に基づき、人物領域３０３及び３０５が設定され、人物領域を包含するように後続の画像において人物を探索する対象の領域となる周辺領域を設定する。人物３０１については周辺領域３０４、人物３０２については周辺領域３０６がそれぞれ設定され、後続の画像３１０においては当該周辺領域３０４及び３０６の位置で対応する人物の探索が行われる。
【００３１】
後続の画像３１０では、２人の人物３０１及び３０２が、画像３００における位置よりも右方向に移動しているが、全画面探索の結果に基づき設定された周辺領域３０４及び３０６内にいるため、依然として検出可能であり、かつ、追尾可能である。そして、画像３１０における人物３０１及び３０２の検出結果に基づき、人物領域３１３及び３１５がそれぞれ設定される。
【００３２】
画像３１０の後続の画像３２０においては、人物領域３１３及び３１５に基づいて周辺領域３２４及び３２６が設定され、人物探索が行われる。このとき、検出された人数が多いために画像３１０の局所探索処理に要する時間が長くなった場合、次の処理対象となる画像３２０は、想定よりも長い時間が経過した後の画像となる場合が考えられる。この場合、画像３１０と画像３２０における人物の位置の差（移動量）が大きくなってしまう。たとえば、人物３０１は移動速度が遅く、人物３０２は移動速度が速いとすると、画像３２０において、移動速度の遅い人物３０１は周辺領域３２４内にいるため検出可能だが、移動速度が速い人物３０２は周辺領域３２６の外に移動してしまうおそれがある。この場合、画像３２０からは人物３０２を検出できないので、人物３２０をこれ以降の画像において追跡することが困難となる。
【００３３】
このように、１枚の画像における処理負荷が画像毎に異なる場合には、従来手法では局所探索処理を実施した場合であってもリアルタイムに人物追跡を行うことが困難となってしまう。これに対して本実施形態に対応する発明では、画像内に存在する人物のうち、検出対象（探索対象、或いは、追跡対象）とすべき人物を絞り込むことにより、探索処理における処理負荷の軽減を図り、検出漏れを防止可能とする。
【００３４】
図４（Ａ）を参照して本実施形態に対応する通過人数カウント処理について説明する。本実施形態では、検出対象の人物を絞り込むために人物の移動方向を考慮する。通過人数カウント処理では、ネットワークカメラ１０２で撮影する監視領域内の所定の領域、或いは、所定の位置を通過した人物の数を検知する。このとき、人物を検出するための基準位置が画像内に設定される。当該基準位置は、例えば、領域（矩形、円形、楕円形の他任意の２次元形状とすることができる）、または、線分により設定することができる。
【００３５】
図４（Ａ）では人物検出用の基準位置を線分として設定した例を示している。画像４００はネットワークカメラ１０２で撮影した画像を示しており人物検知ラインとして線分４０１が重畳されている。人物検知ライン４０１は、情報処理装置１０３において画像における任意の位置に、任意の長さで設定することができる。また、人物検知領域を設定する場合には、情報処理装置１０３において画像における任意の位置に、任意の大きさ及び形状で領域を設定することができる。ネットワークカメラ１０２は、通信部２０３を介して情報処理装置１０３からリクエストコマンドを受信し、リクエストコマンドに含まれる設定情報に基づいて人物検知ライン４０１を設定することができる。人物検知ラインの設定情報は記憶装置１１４に保存される。
【００３６】
本実施形態においては、人物の移動方向を当該人物検知ライン４０１を基準として判定する。矢印４０２は人物の移動方向を示している。本実施形態では、画像の左側から右側に向かって人物検知ライン４０１を横断する方向を順方向（ＩＮ）とみなし、右側から左側に向かって人物検知ライン４０１を放談する方向を逆方向（ＯＵＴ）とみなし、順方向及び逆方向に移動している人物の数をそれぞれカウントする。カウントされた結果は、カウンター４０３にＩＮ，ＯＵＴの人数がそれぞれ表示される。ここでは人物検知ライン４０１を左から右に横断した人物の数が１０人、人物検知ライン４０１を右から左に横断した人物の数が１８人となっている。
【００３７】
画像４００には、人物４１１から４１４の４人が映っているが、このうち人物４１１から４１３の移動方向４１５から４１７は人物検知ライン４０１に向かう方向となっている。これに対して、人物４１４の移動方向４１８は人物検知ライン４０１から遠ざかる方向を向いている。このとき人物４１４は既に人物検知ライン４０１を通過して画像４００の撮影領域の外に向かっていると推測される。このような場合、人物４１４は通過人数カウントの対象から除外してもよく、対象を人物４１１から４１３の３人に限定してもよい。これにより局所探索処理は３人に対してのみ実行すればよいので処理負荷が軽減され、処理時間を短縮することができる。
【００３８】
次に、図５のフローチャートを参照して、発明の実施形態に対応するネットワークカメラ１０２における処理の流れを説明する。本フローチャートに対応する処理は、ＣＰＵ１１１がＲＯＭ１１３または記憶装置１１４に記憶された処理プログラムを実行して、図２に示す各機能構成要素として動作することにより実現される。
【００３９】
まず、Ｓ５０１において、解析部２０６は、記憶部２０４から記憶装置１１４に記憶されている人物検知ラインの情報を取得する。続くＳ５０２において、解析部２０６は情報処理装置１０３から処理の停止要求を受信したか否かを判定し、受信していないと判定すると処理はＳ５０３に進み、受信したと判定すると本処理を終了する。
【００４０】
Ｓ５０３において解析部２０６は処理対象画像を取得する。例えば、撮影部２０１は解析部２０６からの要求に応じて監視領域を撮影した画像を解析部２０６に提供する。あるいは、記憶部２０４が記憶する画像を取得してもよい。続くＳ５０４において解析部２０６は取得した画像について画像解析を行って人物を検出する等の画像処理を行う。ここでの画像解析には、画像全体を対象として人物探索を行う全画面探索処理と局所探索処理とが含まれる。また、人物の追尾結果に基づいて人物の位置の軌跡を算出する。
【００４１】
続くＳ５０５では、解析部２０６はＳ５０３で取得した処理対象画像について人物検知ラインを通過した人物がいた場合には、通過人数のカウント値を更新する。解析部２０６は、Ｓ５０４の画像解析により得られた人物の移動の軌跡と、人物検知ラインとが交差しているかどうかにより、当該人物が人物検知ラインを通過したかどうかを判定することができる。解析部２０６はまた、人物の移動軌跡と人物検知ラインの交わる向きによって、ＩＮ方向の通過か、ＯＵＴ方向の通過かを判定する。続くＳ５０６において、解析部２０６は更新されたカウント値を通信部２０３を介して情報処理装置１０３に通知する。その後、処理はＳ５０２に戻って上記を繰り返す。
【００４２】
次に、図４（Ｂ）及び図４（Ｃ）を参照して本実施形態における画像解析処理における全画面探索と局所探索との関係について説明する。本実施形態において、解析部２０６は処理対象となる複数の画像のうちの最初（または、先頭）の画像に対して、画像全体を対象とした画像解析を行って全画面探索を実施し、画像に含まれる人物を検出する。その後に続く画像に対しては、直前に探索を行った画像において検出された人物について設定された周辺領域を探索範囲として、対応する人物を検出する局所探索を実施し、監視領域内での人物の移動の軌跡を特定する追尾処理を行う。
【００４３】
本実施形態において解析部２０６は、全画面探索処理と局所探索処理とを並列に実行することができる。図４（Ｂ）は、全画面探索処理と局所探索処理との処理結果の参照関係を示すチャートであり、図４（Ｃ）は、全画面探索処理と局所探索処理の実行タイミングを説明するための図である。図４（Ｂ）に示すように、本実施形態では、１回の全画面探索処理に付随して４回の局所探索処理を実行する。これは、新たな人物が監視領域内に入ってきた場合には局所探索処理では検出できなくなるために、定期的に全画面探索処理を行う必要があるためである。全画面探索処理は新たな人物が監視領域内に入ってきた後、人物検知ラインに到達するまでの時間（到達時間）よりも短い周期で実施されればよい。この到達時間は、監視条件、例えば、監視領域の大きさや監視を行う時間帯等によっても異なるので、監視条件に応じて設定することができる。よって、１回の全画面探索処理に付随して実行する局所探索処理の回数は、監視条件に応じてより多い回数、あるいは、より少ない回数としてもよい。
【００４４】
また、図４（Ｃ）に示すように、本実施形態では全画面探索処理を行っている間に、並列に局所探索処理を実施することができる。具体的に、解析部２０６は、画像Ｇ１に対する全画面探索処理を実行するのと並行して、その前の画像Ｇ０に対する全画面探索処理結果に基づいて画像Ｌ１から画像Ｌ４に対して局所探索処理を実行する。画像Ｇ１に対する全画面探索処理の結果は、画像Ｇ２に対する全画面探索処理が行われている間に実行される、画像Ｌ５からＬ８に対する局所探索処理において利用される。図４（Ｃ）では、簡単のために画像Ｌ７、Ｌ８の記載を省略している。
【００４５】
次に、本実施形態における全画面探索処理について説明する。まず、図６は、全画面探索処理において用いられる特徴量テーブル６００の一例を示す図である。特徴量テーブル６００は、例えばＲＯＭ１１３、または記憶装置１１４に記憶しておくことができ、解析部２０６は、記憶部２０４から特徴量テーブル６００を取得する。特徴量テーブル６００は、ＩＤ６０１、人体モデル６０２、特徴量データ６０３を含むように構成することができる。ＩＤ６０１は、それぞれの特徴量データを一意に識別するための識別子である。人体モデル６０２は、例えば、人体の前面、右側面、左側面、背面、全身など人物の特徴を示す項目を規定する。特徴量データ６０３は、処理対象の画像が人体モデルの対応項目に該当するか否かを判定するための特徴量が登録される。特徴量データ６０３は、人体モデル６０２の各項目に対応して登録され、色の特徴やエッジの特徴などを示すデータ群を含む。
【００４６】
解析部２０６は、処理対象の画像において特徴量データ６０３に登録されているデータに合致する特徴量を有する領域を検出し、検出した領域を人体を構成する領域と判定する。また、解析部２０６は、合致した特徴量データ６０３に対応する人体モデル６０２に基づいて監視領域内の人物の向きを推定する。例えば、解析部２０６が「全身（前）特徴量」のデータと合致すると判断した場合、検出された人物の人体モデル６０２は「全身（前）」となる。解析部２０６は、検出した人物の向きを「手前」を向いていると判定する。
【００４７】
本実施形態では、監視対象の人物は前方に進行しているとの前提のもと、検出した人物の向きに基づき移動方向を決定する。例えば、解析部２０６は人物の右側面が映っていると判定した場合には、画像の右方向に移動していると判定する。また、背面、或いは、前進（後）が映っていると判定した場合には、当該人物は画像の上方向に向かっていると判定し、前面、或いは、全身（前）が映っていると判定した場合には、当該人物は画像の下方向に向かっていると判定する。このようにして、人物の向きを判定することにより、その移動方向を判定することができる。
【００４８】
次に図７（Ａ）を参照して、全画面探索処理について説明する。解析部２０６は、処理対象の画像７００に対して走査窓７０１を用いて全領域の走査を行う。解析部２０６は、走査窓７０１を画像７００の左上から右下まで全領域について位置をずらしながら、走査窓５０２が指し示す領域の特徴量と特徴量テーブル６００に登録されている特徴量とが合致するか否かを解析する。また、解析部２０６は、画像７００内の領域を全て走査したら、走査窓７０１の大きさを変えて、再度走査を行う。解析部２０６は、予め大きさの異なる走査窓を複数個用意しておくことができる。走査窓の大きさは、処理対象の画像に含まれる人体の大きさ等に応じて設定することができる。
【００４９】
次に、図８を参照して、解析部２０６による全画面探索処理の流れを説明する。本フローチャートに対応する処理は、ＣＰＵ１１１がＲＯＭ１１３に記憶された処理プログラムを実行して、解析部２０６として動作することにより実現される。
【００５０】
まず、Ｓ８０１において、解析部２０６は全画面探索処理の処理対象の画像に対して走査窓を、走査開始位置（画像の左上端）に設定する。最初に走査窓を設定する場合、複数の大きさの内のいずれか、例えば最小の大きさの操作窓を選択して、設定することができる。次に、Ｓ８０２において解析部２０６は、処理対象画像のうち、設定された走査窓に含まれる領域の画像から、特徴量テーブル６００に登録されているそれぞれの特徴量データ６０３と対比可能な特徴量を抽出（あるいは、算出）する。
【００５１】
続くＳ８０３において、抽出した特徴量を特徴量テーブル６００に登録されている特徴量データのそれぞれと比較し、続くＳ８０４において一致度が閾値以上の特徴量があるか否かを判定する。一致度は、例えば、抽出した特徴量と特徴量データ６０３との差分の大きさに基づいて算出することができる。Ｓ８０４において、一致度が閾値以上となる特徴量があると判定された場合には処理はＳ８０５に進み、そのような特徴量がないと判定された場合、処理はＳ８０６に進む。
【００５２】
Ｓ８０５では、一致度が閾値以上と判定された特徴量データ６０３の人体モデル６０２の登録値に基づいて、検出された人物の向きを判定する。続くＳ８０６では、走査窓の位置が終端位置、例えば処理対象画像の右下端であるか否かを判定し、終端位置でないと判定されると処理はＳ８０７に進む。一方、終端位置であると判定された場合、処理はＳ８０８に進む。Ｓ８０７では、解析部２０６は走査窓の位置を変更した後、Ｓ８０２に戻って上記の処理を繰り返す。また、Ｓ８０８では、解析部２０６は未使用の大きさの走査窓が残っているか否かを判定し、未使用の走査窓があると判定されると処理はＳ８０９に進む。一方、未使用の走査窓がないと判定されると処理はＳ８１０に進む。
【００５３】
Ｓ８０９において解析部２０６は未使用の走査窓のうちのいずれかを選択して、Ｓ８０１に戻って走査開始位置に当該走査窓を設定する。Ｓ８１０では、これまでの処理結果に基づいて、処理対象の画像において検出された人物に関する情報（検出人物情報）を生成する。検出人物情報には、検出された人物ごとに、画像内でそれぞれの人物が位置している領域を特定するための情報（座標情報）、それぞれの人物の向き（右、左、上、下、右上、右下、左下、左上、手前、奥、等）の情報、及び、画像の撮影時刻、画像を撮影したネットワークカメラ１０２の位置、処理対象となった画像を特定するための情報等が含まれる。生成された検出人物情報は記憶部２０４により記憶装置１１４に記憶される。
【００５４】
次に、図７（Ｂ）を参照して、局所探索処理について説明する。解析部２０６は、処理対象の画像７１０に対して、全画面探索処理で検出した人物の近傍の領域のみを走査する。全画面探索処理で複数の人物が検出されていた場合、解析部２０６は、局所探索処理の処理時間を減らすため、局所探索処理の対象とする人物を選別する。図７（Ｂ）を例にすると、全画面探索処理により人物７１１、人物７１２、人物７１３が検出される。ここで、検出された人物は全て右方向を向いており、移動方向は右方向と推定される。各人物と人物検知ライン７１４との位置関係から、解析部２０６は人物７１１と７１２とは移動方向が人物検知ライン７１４の方向を向いており、人物検知ライン７１４に対して近づいていると推定する。一方、人物７１３は移動方向が人物検知ライン７１４の方向を向いておらず、人物７１３は人物検知ライン７１４から遠ざかっていると推定する。人物検知ライン７１４に対して遠ざかる人物は通過カウントに影響しないため、解析部２０６は、人物７１３を局所探索処理の対象から除外する。
【００５５】
また、解析部２０６は、注目した人物７１１、７１２の直前の探索において特定された位置及び向きに基づき、人物７１１、７１２の現在位置を推定する。解析部２０６は、各人物について推定された現在位置に基づき、当該現在位置を包含するように探索範囲７１５及び７１６を設定する。そして、例えば、探索範囲７１５であれば走査窓７１７を設定し、走査窓７１７を探索範囲内で移動させながら推定位置の近傍の画像から特徴量を抽出し、人物を検出する。探索範囲７１６についても同様である。
【００５６】
図７（Ｂ）では、人物検知ライン７１４が画像７１０の縦方向をほぼカバーしている態様で設定されていたが、図７（Ｃ）に示すように人物検知ラインが縦方向の半分のみをカバーしている態様も想定される。この場合、実際には人物は人物検知ラインに向かって移動しているのにもかかわらず、人物の移動方向が人物検知ラインの方向を向いていないため当該人物が処理対象から除外されてしまうおそれがある。このような態様における対処方法は以下のとおりである。
【００５７】
画像７２０には４人の人物が映っており、このうち人物７２１について着目すると、当該人物７２１の位置と向きから推定される移動方向はベクトル７２２で示すようになる。このとき、人物検知ライン７２３は画像７２０の下側から斜め右上方向に延び、中央付近で途切れている。従って、人物検知ライン７２３とベクトル７２２とは交差しておらず、人物７２１の移動方向は人物検知ラインの方向を向いているとは必ずしも言えない。しかし、人物検知ライン７２３を延長した延長線７２４を設定すると、ベクトル７２２と延長線７２４とは交差している。このように、人物の移動方向を示すベクトル７２２が人物検知ライン７２３の方向を向いていない場合であっても、その延長線と交差し、延長線の方向を向いている場合には、当該人物は人物検知ライン７２３に向かっていると判定することができる。
【００５８】
上記方法以外にも、例えば人物検知ライン７２３の線分の端部と、人物７２１とを結ぶ線分７２５を設定し、当該線分７２５とベクトル７２２との間の角度７２６の大きさが、所定の閾値角度以下の場合には、当該人物は人物検知ライン７２３に向かっていると判定してもよい。この場合に、ベクトル７２２と人物検知ライン７２３とが交差していることを更なる条件としてもよい。
【００５９】
次に、図９を参照して、解析部２０６による局所探索処理の流れを説明する。本フローチャートに対応する処理は、ＣＰＵ１１１がＲＯＭ１１３に記憶された処理プログラムを実行して、解析部２０６として動作することにより実現される。
【００６０】
解析部２０６は、Ｓ９０１において記憶部２０４から検出人物情報を取得する。検出人物情報は、全画面探索処理または、先に実行された局所探索処理により生成され、記憶装置１１４に記憶されている。続くＳ９０２において、解析部２０６は、検出人物情報に含まれる複数の人物のうちから、探索対象となる人物を選択する。続くＳ９０３において、解析部２０６は、Ｓ９０２で選択した人物について、検出人物情報に含まれる位置と向きの情報から当該人物の移動方向を推定する。続くＳ９０４において、解析部２０６は、推定した移動方向と、人物検知ラインとの位置関係に基づいて当該人物が人物検知ラインに向かっているかどうか判定する。当該人物が人物検知ラインに向かっていると判定される場合、処理はＳ９０５に進む。一方、当該人物が人物検知ラインに向かっていない、例えば人物検知ラインから遠ざかる方向に移動しているような場合には、当該人物を選択せずに次の選択候補の人物について判定を行うため、処理はＳ９１０に進む。
【００６１】
Ｓ９０５において解析部２０６は、Ｓ９０２で選択した人物の位置及び移動方向に基づいて探索領域を設定する。また、探索領域内に走査窓を設定して、設定された走査窓に含まれる領域の画像から、特徴量テーブル６００に登録されているそれぞれの特徴量データ６０３と対比可能な特徴量を抽出する。続くＳ９０６において解析部２０６は、抽出した特徴量を特徴量テーブル６００の特徴量データ６０３と比較する。ここで、解析部２０６は、局所探索処理において用いる特徴量テーブルを、全画面探索処理で使用した特徴量テーブル６００とは異なるものとしてもよい。続くＳ９０７において一致度が閾値以上の特徴量があるか否かを判定する。Ｓ９０７において、一致度が閾値以上となる特徴量があると判定された場合には処理はＳ９０８に進み、そのような特徴量がないと判定された場合、処理はＳ９０９に進む。
【００６２】
Ｓ９０８では、一致度が閾値以上と判定された特徴量データ６０３の人体モデル６０２の登録値に基づいて、検出された人物の向きを判定する。続くＳ９０９では、走査窓の位置が探索領域における終端位置であるか否かを判定し、終端位置でないと判定されると処理はＳ９０５に進む。解析部２０６はＳ９０５において、走査窓の位置を変更して処理を継続する。一方、終端位置であると判定された場合、処理はＳ９１０に進む。
【００６３】
Ｓ９１０では、検出人物情報に含まれる検出人物のうちで未処理の人物が存在するか否かを判定し、未処理の人物が存在する場合には処理はＳ９０２に戻る。一方、未処理の人物が存在しない場合、Ｓ９１１において解析部２０６はこれまでの処理結果に基づいて、処理対象の画像において検出された人物に関する検出人物情報を生成する。生成された検出人物情報は記憶部２０４により記憶装置１１４に記憶される。
【００６４】
上記の図９のフローチャートに従う処理では、Ｓ９０３及びＳ９０４の処理により、局所探索の対象とする人物を一律に絞り込むこととしていたが、当該絞り込みは特定の条件が成立する場合に実行することとし、条件が成立しない場合には全人物を対象としてもよい。例えば、特定の条件を、検出人物情報に含まれる人物の数が所定数を超えるかどうかとし、人物数が所定数を超える場合に絞り込みを行ってもよい。また、局所探索を開始してからの経過時間が所定の時間を超えた場合に絞り込みを行うようにしてもよい。また、局所探索処理においても、全画面探索処理の場合と同様に、大きさの異なる複数の走査窓を用意し、走査窓を切り替えて探索処理を行ってもよい。
【００６５】
以上に説明した実施形態によれば、全画面探索処理で検出した人物の位置と向きとの情報から、当該人物が人物検知ラインに向かって進んでいるかを判定して、人物検知ラインを通過する見込みのある人物を優先して局所探索処理を実施することができる。これにより、画像に含まれる全人物が一律に探索対象とされることがなくなるので、局所探索の計算負荷を低減してリアルタイム性を確保しつつ、検出漏れを防止して通過人数カウントの精度を維持することができる。
【００６６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６７】
１００：システム、１０１：ネットワーク、１０２：ネットワークカメラ、１０３：情報処理装置
【図１】
2020086961.tif 000003
【図２】
2020086961.tif 000004
【図３】
2020086961.tif 000005
【図４】
2020086961.tif 000006
【図５】
2020086961.tif 000007
【図６】
2020086961.tif 000008
【図７】
2020086961.tif 000009
【図８】
2020086961.tif 000010
【図９】
2020086961.tif 000011