(57)【要約】【課題】人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、人数のカウント漏れを低減して、人数計測の精度を向上させることができるようにする。【解決手段】出入口の周辺の撮像画像に基づいて、出入口通過人数を計測する人数計測装置を、撮像画像から検出された人物ごとの動線を取得する動線取得部２４と、動線に基づいて出入口を通過した人物を計数する人物計数部２６と、人物計数部での計数結果から出入口通過人数を表す表示情報を生成する表示情報生成部２９と、を備え、人物計数部は、動線が出入口の近傍で途切れたことを検知するとともに、出入口の背景画像と人物画像との類似性を判定し、動線が出入口の近傍で途切れ、かつ人物画像と背景画像とが類似する場合には、その人物を出入口を通過したものと見做す見做し計数処理部３３と、を備えたものとする。【選択図】図１１
2015203912.tif 000002
【特許請求の範囲】
【請求項１】
店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する人数計測装置であって、
前記撮像画像から検出された人物ごとの動線を取得する動線取得部と、
この動線取得部により取得した前記動線に基づいて、前記出入口を通過した人物を計数する人物計数部と、
この人物計数部での計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成する出力情報生成部と、
を備え、
前記人物計数部は、
前記動線が前記出入口の近傍で途切れたことを検知する動線途切れ検知部と、
前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定部と、
前記動線途切れ検知部により、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性判定部により、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とする見做し計数処理部と、
を備えたことを特徴とする人数計測装置。
【請求項２】
前記類似性判定部は、人物が退場する方向に移動する場合には、前記動線が消失した後の人物の移動先となる前記撮像画像内の画像領域から前記背景画像を取得し、人物が入場する方向に移動する場合には、前記動線が出現する前の人物の移動元となる前記撮像画像内の画像領域から前記背景画像を取得することを特徴とする請求項１に記載の人数計測装置。
【請求項３】
ユーザの入力操作に応じて、前記撮像画像上に、前記出入口を通過する最中に人物が位置する画像領域を含むように第１エリアを設定するとともに、この第１エリアの近傍の場内側において前記出入口から出入りする人物が位置する画像領域を含むように第２エリアを設定するエリア設定部をさらに備え、
前記人物計数部は、前記第１エリアおよび前記第２エリアに前記動線が順次進入すると、前記出入口を通過したものと判断して、その人物を計数することを特徴とする請求項１または請求項２に記載の人数計測装置。
【請求項４】
前記動線途切れ検知部は、前記第２エリア内で前記動線が途切れたことを検知することを特徴とする請求項３に記載の人数計測装置。
【請求項５】
前記類似性判定部は、前記撮像画像における前記第１エリアの画像領域から前記背景画像を取得して、その背景画像と前記人物画像との類似性を判定することを特徴とする請求項３または請求項４に記載の人数計測装置。
【請求項６】
前記類似性判定部は、輝度情報および色情報のうちの少なくとも１つに関する特徴量を、前記背景画像および前記人物画像からそれぞれ抽出し、各々の特徴量を比較して、前記背景画像と前記人物画像との類似性を判定することを特徴とする請求項１から請求項５のいずれかに記載の人数計測装置。
【請求項７】
前記人物計数部での計数結果を所定の集計期間ごとに集計して、所定の集計期間ごとの人数を取得する集計処理部をさらに備え、
前記人物計数部は、前記動線取得部により取得した前記動線に基づいて、前記出入口を通過する人物の移動方向を判定して、その移動方向に応じて、前記出入口を通過して入場する人物および退場する人物を別々に計数し、
前記集計処理部は、前記人物計数部での計数結果を所定の集計期間ごとに集計して、所定の集計期間ごとの入場人数および退場人数を取得し、
前記出力情報生成部は、前記集計処理部により取得した前記集計期間ごとの入場人数および退場人数に関する前記出力情報を生成することを特徴とする請求項１から請求項６のいずれかに記載の人数計測装置。
【請求項８】
店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する人数計測システムであって、
前記出入口の周辺を撮像するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラによる撮像画像から人物を検出して位置情報を取得する人物追跡部と、
この人物追跡部により取得した前記位置情報に基づいて、人物ごとの動線を取得する動線取得部と、
この動線取得部により取得した前記動線に基づいて、前記出入口を通過した人物を計数する人物計数部と、
この人物計数部での計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成する出力情報生成部と、
を備え、
前記人物計数部は、
前記動線が前記出入口の近傍で途切れたことを検知する動線途切れ検知部と、
前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定部と、
前記動線途切れ検知部により、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性判定部により、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とする見做し計数処理部と、
を備えたことを特徴とする人数計測システム。
【請求項９】
店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する処理を情報処理装置に行わせる人数計測方法であって、
前記撮像画像から検出された人物ごとの動線を取得するステップと、
このステップにより取得した前記動線に基づいて、前記出入口を通過した人物を計数するステップと、
このステップでの計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成するステップと、
を有し、
前記人物を計数するステップは、
前記動線が前記出入口の近傍で途切れたことを検知するステップと、
前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定するステップと、
前記動線の途切れを検知するステップにより、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性を判定するステップにより、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とするステップと、
を有することを特徴とする人数計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、出入口を通過した人物の人数を計測する人数計測装置、人数計測システムおよび人数計測方法に関するものである。
【背景技術】
【０００２】
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、このカメラの映像を利用して、店舗の出入口を通過する人物を検出して、入店する人物や退店する人物を計数することで、入店人数や退店人数を取得するようにすると、これに基づいて店舗を効率的に運営するための改善策などを考えることができ、店舗の売上や利益の向上を図る上で有益である。
【０００３】
このような店舗の出入口を通過する人物の人数を計測することに関連するものとして、従来、カメラによる撮像画像上に、通過する人数を計測するためのカウントラインを設定して、撮像画像から取得した人物の動線がカウントラインを横切ったことが検知されると、その人物がカウントラインを通過したものと判断して、その人物を計数する技術が知られている（特許文献１，２参照）。
【０００４】
また、一般的な監視カメラによる撮像画像から人物を検出するとともに、レーザ光を用いた距離カメラにより測定対象までの距離を計測することで、一般的な監視カメラによる撮像画像よる人物検出では、適切に人物を検出することが難しい状況でも、人物を確実に検出することを可能にした技術が知られている（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２１８５２１号公報
【特許文献２】特開２００９−２１１３１１号公報
【特許文献３】特許第５３９６１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、店舗の出入口を通過する人物を計数する場合、店内側から出入口の周辺を撮像した撮像画像から人物を検出すればよいが、夜間で屋外が暗い状況で、人物が黒色に近い色彩の服装をしている場合のように、人物と背景との識別が困難となるような事象が発生すると、人物検出が失敗して人数のカウント漏れが生じ、人数計測の精度が低下するという問題がある。
【０００７】
このような問題に対して、特許文献１，２に開示された技術では何の考慮もなされておらず、人数のカウント漏れにより人数計測の精度が低下する問題を何ら解決することはできない。
【０００８】
一方、特許文献３に開示された技術では、一般的な監視カメラによる撮像画像よる人物検出では、適切に人物を検出することが難しい状況でも人物検出が可能になるため、人数のカウント漏れを低減することができるが、距離カメラという特殊な装置が必要になるため、コストが嵩むという問題があり、特殊な装置を用いることなく、一般的な監視カメラによる撮像画像のみで人物検出を行う場合でも、人数のカウント漏れを低減して、人数計測の精度を向上させることができる技術が望まれる。
【０００９】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、一般的な監視カメラによる撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができるように構成された人数計測装置、人数計測システムおよび人数計測方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の人数計測装置は、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する人数計測装置であって、前記撮像画像から検出された人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記出入口を通過した人物を計数する人物計数部と、この人物計数部での計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成する出力情報生成部と、を備え、前記人物計数部は、前記動線が前記出入口の近傍で途切れたことを検知する動線途切れ検知部と、前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定部と、前記動線途切れ検知部により、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性判定部により、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とする見做し計数処理部と、を備えた構成とする。
【００１１】
また、本発明の人数計測システムは、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する人数計測システムであって、前記出入口の周辺を撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から人物を検出して位置情報を取得する人物追跡部と、この人物追跡部により取得した前記位置情報に基づいて、人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記出入口を通過した人物を計数する人物計数部と、この人物計数部での計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成する出力情報生成部と、を備え、前記人物計数部は、前記動線が前記出入口の近傍で途切れたことを検知する動線途切れ検知部と、前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定部と、前記動線途切れ検知部により、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性判定部により、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とする見做し計数処理部と、を備えた構成とする。
【００１２】
また、本発明の人数計測方法は、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する処理を情報処理装置に行わせる人数計測方法であって、前記撮像画像から検出された人物ごとの動線を取得するステップと、このステップにより取得した前記動線に基づいて、前記出入口を通過した人物を計数するステップと、このステップでの計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成するステップと、を有し、前記人物を計数するステップは、前記動線が前記出入口の近傍で途切れたことを検知するステップと、前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定するステップと、前記動線の途切れを検知するステップにより、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性を判定するステップにより、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とするステップと、を有する構成とする。
【発明の効果】
【００１３】
本発明によれば、動線が出入口の近傍で途切れ、かつ出入口が写った背景画像と人物が写った人物画像とが類似する場合には、人物が出入口を通過する際に、人物と背景との識別が困難となるような事象が発生した結果、人物検出が失敗して動線が途切れたものと想定され、この場合に、その人物が出入口を通過したものと見做して、その人物を計数対象とする。これにより、一般的な監視カメラによる撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る人数計測システムの全体構成図
【図２】店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図
【図３】人物と背景との識別が困難となる事象を説明する説明図
【図４】モニタ７に表示されるエリア設定画面を示す説明図
【図５】人物が出入口を通過して退店する際の人物検出の状況を示す説明図
【図６】人物が出入口を通過して退店する際の人物検出の状況を示す説明図
【図７】図５および図６の各ケースでの動線の状況を示す説明図
【図８】人物が出入口を通過して入店する際の人物検出の状況を示す説明図
【図９】人物が出入口を通過して入店する際の人物検出の状況を示す説明図
【図１０】図８および図９の各ケースでの動線の状況を示す説明図
【図１１】ＰＣ３の概略構成を示す機能ブロック図
【図１２】ＰＣ３で行われる人数計測処理の手順を示すフロー図
【図１３】モニタ７に表示される人数計測画面を示す説明図
【図１４】第２実施形態において撮像画像上に設定されるカウントラインを示す説明図
【発明を実施するための形態】
【００１５】
前記課題を解決するためになされた第１の発明は、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する人数計測装置であって、前記撮像画像から検出された人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記出入口を通過した人物を計数する人物計数部と、この人物計数部での計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成する出力情報生成部と、を備え、前記人物計数部は、前記動線が前記出入口の近傍で途切れたことを検知する動線途切れ検知部と、前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定部と、前記動線途切れ検知部により、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性判定部により、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とする見做し計数処理部と、を備えた構成とする。
【００１６】
これによると、動線が出入口の近傍で途切れ、かつ出入口が写った背景画像と人物が写った人物画像とが類似する場合には、人物が出入口を通過する際に、人物と背景との識別が困難となるような事象が発生した結果、人物検出が失敗して動線が途切れたものと想定され、この場合に、その人物が出入口を通過したものと見做して、その人物を計数対象とする。これにより、一般的な監視カメラによる撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができる。
【００１７】
また、第２の発明は、前記類似性判定部は、人物が退場する方向に移動する場合には、前記動線が消失した後の人物の移動先となる前記撮像画像内の画像領域から前記背景画像を取得し、人物が入場する方向に移動する場合には、前記動線が出現する前の人物の移動元となる前記撮像画像内の画像領域から前記背景画像を取得する構成とする。
【００１８】
これによると、人物画像と背景画像とが類似しているか否か、すなわち、人物と背景との識別が困難となる事象が発生しているか否かを判定する上で適切な背景画像を取得することができる。
【００１９】
また、第３の発明は、ユーザの入力操作に応じて、前記撮像画像上に、前記出入口を通過する最中に人物が位置する画像領域を含むように第１エリアを設定するとともに、この第１エリアの近傍の場内側において前記出入口から出入りする人物が位置する画像領域を含むように第２エリアを設定するエリア設定部をさらに備え、前記人物計数部は、前記第１エリアおよび前記第２エリアに前記動線が順次進入すると、前記出入口を通過したものと判断して、その人物を計数する構成とする。
【００２０】
これによると、人物と背景との識別が困難となる事象が発生していない場合に、出入口を通過する人物を精度よく計数することができる。なお、第１エリアおよび第２エリアに動線が進入する順序は、出入口を通過して入場する場合と退場する場合とで異なる。
【００２１】
また、第４の発明は、前記動線途切れ検知部は、前記第２エリア内で前記動線が途切れたことを検知する構成とする。
【００２２】
これによると、第１エリアの近傍でこれより場内側の画像領域を含むように設定された第２エリアでは、人物と背景との識別が困難となる事象に起因する動線の途切れが発生する可能性が高いため、この第２エリアで動線の途切れを検知することで、人物と背景との識別が困難となる事象に起因する動線の途切れを確実に検知することができる。
【００２３】
また、第５の発明は、前記類似性判定部は、前記撮像画像における前記第１エリアの画像領域から前記背景画像を取得して、その背景画像と前記人物画像との類似性を判定する構成とする。
【００２４】
これによると、出入口を通過する最中に人物が位置する画像領域を含むように設定された第１エリアでは、出入口を介して場外の状況が写り、この場外の状況と人物の外観とが類似した色彩となることで、人物と背景との識別が困難になって人物検出が失敗することから、この第１エリアの画像領域から取得した背景画像と人物画像との類似性を判定することで、人物検出の失敗の原因、すなわち人物と背景との識別が困難となる事象が発生していることを精度よく検知することができる。
【００２５】
また、第６の発明は、前記類似性判定部は、輝度情報および色情報のうちの少なくとも１つに関する特徴量を、前記背景画像および前記人物画像からそれぞれ抽出し、各々の特徴量を比較して、前記背景画像と前記人物画像との類似性を判定する構成とする。
【００２６】
これによると、背景画像と人物画像との類似性を精度よく判定することができる。特に、人物検出は、通常、輝度情報を用いて行われることから、輝度情報に基づいて類似性を判定することで、人物検出の失敗の原因、すなわち人物と背景との識別が困難となる事象が発生していることを精度よく検知することができる。
【００２７】
また、第７の発明は、前記人物計数部での計数結果を所定の集計期間ごとに集計して、所定の集計期間ごとの人数を取得する集計処理部をさらに備え、前記人物計数部は、前記動線取得部により取得した前記動線に基づいて、前記出入口を通過する人物の移動方向を判定して、その移動方向に応じて、前記出入口を通過して入場する人物および退場する人物を別々に計数し、前記集計処理部は、前記人物計数部での計数結果を所定の集計期間ごとに集計して、所定の集計期間ごとの入場人数および退場人数を取得し、前記出力情報生成部は、前記集計処理部により取得した前記集計期間ごとの入場人数および退場人数に関する前記出力情報を生成する構成とする。
【００２８】
これによると、集計期間ごとの入場人数および退場人数をユーザが把握することができる。そして、集計期間ごとの入場人数および退場人数を時系列で並べるようにすれば、入場人数および退場人数の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の入場人数および退場人数を対比可能に並べるようにすれば、入場人数および退場人数の日時による違いをユーザが簡単に把握することができる。
【００２９】
また、第８の発明は、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する人数計測システムであって、前記出入口の周辺を撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮像画像から人物を検出して位置情報を取得する人物追跡部と、この人物追跡部により取得した前記位置情報に基づいて、人物ごとの動線を取得する動線取得部と、この動線取得部により取得した前記動線に基づいて、前記出入口を通過した人物を計数する人物計数部と、この人物計数部での計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成する出力情報生成部と、を備え、前記人物計数部は、前記動線が前記出入口の近傍で途切れたことを検知する動線途切れ検知部と、前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定部と、前記動線途切れ検知部により、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性判定部により、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とする見做し計数処理部と、を備えた構成とする。
【００３０】
これによると、第１の発明と同様に、一般的な監視カメラによる撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができる。
【００３１】
また、第９の発明は、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、前記出入口を通過した人物の人数を計測する処理を情報処理装置に行わせる人数計測方法であって、前記撮像画像から検出された人物ごとの動線を取得するステップと、このステップにより取得した前記動線に基づいて、前記出入口を通過した人物を計数するステップと、このステップでの計数結果に基づいて、前記出入口を通過した人物の人数を表す出力情報を生成するステップと、を有し、前記人物を計数するステップは、前記動線が前記出入口の近傍で途切れたことを検知するステップと、前記撮像画像において前記出入口が写った背景画像と人物が写った人物画像との類似性を判定するステップと、前記動線の途切れを検知するステップにより、前記動線が前記出入口の近傍で途切れたことが検知され、かつ、前記類似性を判定するステップにより、前記人物画像と前記背景画像とが類似するものと判定された場合には、前記出入口を人物が通過したものと見做して、その人物を計数対象とするステップと、を有する構成とする。
【００３２】
これによると、第１の発明と同様に、一般的な監視カメラによる撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができる。
【００３３】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３４】
（第１実施形態）
図１は、第１実施形態に係る人数計測システムの全体構成図である。この人数計測システムは、コンビニエンスストアなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（画像記録装置）２と、ＰＣ（人数計測装置）３と、を備えている。
【００３５】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内の監視エリアが撮像され、これにより得られた撮像画像がレコーダ２に蓄積される。
【００３６】
ＰＣ３には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。
【００３７】
このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面により、カメラ１で撮像された店舗内の撮像画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の撮像画像を閲覧することができる。
【００３８】
なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮像された店舗内の撮像画像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の撮像画像を閲覧して、本部で店舗内の状況を確認することができる。
【００３９】
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
【００４０】
店舗には、出入口、陳列棚およびレジカウンタなどが設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
【００４１】
また、店舗には、店舗内（監視エリア）を撮像する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮像範囲を有する全方位カメラが採用され、このカメラ１により、出入口から店舗に出入りする人物や店舗内を移動する人物を撮像することができる。
【００４２】
次に、人物と背景との識別が困難となる事象が発生して人物検出が失敗する場合について説明する。図３は、人物と背景との識別が困難となる事象を説明する説明図である。
【００４３】
本実施形態では、カメラ１が店舗の天井に設置され、店内側の斜め上方から出入口の周辺を撮像した撮像画像が得られる。この撮像画像には、出入口、店舗の床面、陳列棚、およびレジカウンタが写っている。特に、出入口の周辺の画像領域には、出入口を介して店舗外の道路などが写っている。ここで、本実施形態では、カメラ１による撮像画像から人物を検出する人物検出が行われるが、人物が出入口を通過する際には、人物の外観、特に服装が、背景となる店舗外の状況と類似した色彩となると、人物と背景との識別が困難になり、人物検出が失敗することがある。
【００４４】
例えば、図３（Ａ）に示すように、夜間で屋外が暗い状況で、人物が黒色に近い色彩の服装をしている場合には、人物の輪郭が不鮮明となって人物と背景との識別が困難となるため、人物検出が失敗する可能性がある。また、図３（Ｂ）に示すように、晴天の昼間で屋外が明るい状況で、出入口を通過する人物が白色に近い色彩の服装をしている場合にも、人物の輪郭が不鮮明となって人物と背景との識別が困難となるため、人物検出が失敗する可能性がある。特に、日射により白飛びが発生する状況では、人物と背景との識別がより一層困難になるため、人物検出が失敗する可能性が高くなる。
【００４５】
なお、人物と背景との識別が困難となる事象としては、図３に示した例の他に、屋外が降雪により白みがかった状況で、人物が白色に近い色彩の服装をしている場合や、道路を走行する車両と人物の服装とが類似する色彩となる場合や、向かいの建造物の壁面と人物の服装とが類似する色彩となる場合など、種々の場合がある。
【００４６】
このように人物と背景との識別が困難となる事象が発生して人物検出が失敗すると、人数のカウント漏れが発生して人数計測の精度が低下する。そこで、本実施形態では、以下に説明するように、出入口の近傍で人物検出が失敗したことが検知されると、その人物検出の失敗の原因となる、人物と背景との識別が困難となる事象が発生しているか否かの検証を行い、人物と背景との識別が困難となる事象が発生していることが確認されると、その人物を、出入口を通過したものと見做して計数するようにしており、これにより、人数のカウント漏れを低減して、人数計測の精度を向上させることができる。
【００４７】
次に、撮像画像上に設定される第１エリアおよび第２エリアについて説明する。図４は、モニタ７に表示されるエリア設定画面を示す説明図である。
【００４８】
本実施形態では、出入口を通過した人物の人数を計測するために、撮像画像上に第１エリアおよび第２エリアが設定され、この第１エリアおよび第２エリアの設定をユーザに行わせるエリア設定画面がモニタ７に表示される。このエリア設定画面には、カメラ１またはレコーダ２から取得した撮像画像が表示され、マウスなどの入力デバイス６を用いて、ユーザが撮像画像上に第１エリアおよび第２エリアの位置を入力する。
【００４９】
第１エリアは、出入口を通過する最中に人物が位置する画像領域を含むように設定される。第２エリアは、第１エリアの近傍でこれより店内側の画像領域を含むように設定される。特に、図４に示す例では、撮像画像が、店内側の斜め上方から出入口の周辺を撮像したものであり、第１エリアは、カメラ１から見て奥側、画像上では上側の画像領域に設定され、第２エリアは、カメラ１から見て手前、画像上では下側の画像領域に設定される。
【００５０】
また、本実施形態では、撮像画像から検出された人物ごとの動線を取得して、この動線が第１エリアおよび第２エリアに順次進入すると、出入口を通過したものと判断して、その人物を計数するようにしており、人物と背景との識別が困難となる事象（図３参照）が発生していない通常の状態における人数のカウント漏れを防ぐため、第１エリアおよび第２エリアは、出入口を通過する人物の動線が全て通過するように設定される。
【００５１】
次に、人物が出入口を通過して退店する際の人物検出の状況について説明する。図５および図６は、人物が出入口を通過して退店する際の人物検出の状況を示す説明図である。図７は、図５および図６の各ケースでの動線の状況を示す説明図である。
【００５２】
ここで、本実施形態では、人物検出により検出された人物の上半身の画像領域に矩形の人物枠が設定され、この人物枠の中心点を人物の位置とする。
【００５３】
人物が出入口を通過して退店する際に、人物と背景との識別が困難となる事象（図３参照）が発生していない状況では、図５（Ａ）に示すように、人物が出入口から離れている時点、図５（Ｂ）に示すように、人物が出入口に近づいて第２エリアに進入した時点、および図５（Ｃ）に示すように、人物が出入口を通過する最中に第１エリアに進入した時点で、継続して人物検出が成功する。このため、図７（Ａ）に示すように、動線が、第２エリアと第１エリアとを順次通過する状態で連続して得られる。
【００５４】
一方、人物と背景との識別が困難となる事象（図３参照）が発生している状況では、図６（Ａ）に示すように、人物が出入口から離れている時点や、図６（Ｂ）に示すように、人物が出入口に近づいて第２エリアに進入した時点では、人物検出が成功するが、図６（Ｃ）に示すように、第２エリアの途中で人物が出入口の暗い画像領域に入ると、人物検出が失敗する。このため、図７（Ｂ）に示すように、動線が、出入口を通過する前に消失する途切れた状態で得られ、特に動線が第２エリア内で途切れた状態となり、動線の消失点（終点）が第２エリアに存在する。
【００５５】
そこで、本実施形態では、人物が退店する方向に移動する場合には、第１エリアをカウントエリアとして、動線が第２エリアに進入した後に第１エリアに進入したことが検知されると、その人物を、出入口を通過した人物として計数する。
【００５６】
また、第２エリアをフラグエリアとして、この第２エリアで動線が途切れた状態となると、動線が第１エリアに進入したことが不明でも、出入口を通過した可能性のある人物としてフラグを立て、人物と背景との識別が困難となる事象が発生しているか否かの検証を行い、人物と背景との識別が困難となる事象が発生していることが確認されると、その人物を、出入口を通過した人物として計数する。
【００５７】
次に、人物が出入口を通過して入店する際の人物検出の状況について説明する。図８および図９は、人物が出入口を通過して入店する際の人物検出の状況を示す説明図である。図１０は、図８および図９の各ケースでの動線の状況を示す説明図である。
【００５８】
人物が出入口を通過して入店する際に、人物と背景との識別が困難となる事象（図３参照）が発生していない状況では、図８（Ａ）に示すように、人物が出入口から店舗内に入る前に第１エリアに進入した時点、図８（Ｂ）に示すように、人物が出入口から店舗内に入って第２エリアに進入した時点、および図８（Ｃ）に示すように、人物が出入口から離れた時点で、継続して人物追跡が成功する。このため、図１０（Ａ）に示すように、動線が、第１エリアと第２エリアとを順次通過する状態で連続して得られる。
【００５９】
一方、人物と背景との識別が困難となる事象（図３参照）が発生している状況では、図９（Ａ）に示すように、人物が出入口から店舗内に入る前に第１エリアに進入した時点では、人物検出が失敗するが、図９（Ｂ）に示すように、人物が出入口から店舗内に入って第２エリアの途中まで進んだ時点では、人物検出が成功し、図９（Ｃ）に示すように、人物が出入口から離れた時点でも、人物検出が成功する。このため、図１０（Ｂ）に示すように、動線が、人物が出入口を通過した後に出現する途切れた状態で得られ、特に動線が第２エリア内で途切れた状態となり、動線の出現点（起点）が第２エリアに存在する。
【００６０】
そこで、本実施形態では、人物が入店する方向に移動する場合には、第２エリアをカウントエリアとして、動線が第１エリアに進入した後に第２エリアに進入したことが検知されると、その人物を、出入口を通過した人物として計数する。
【００６１】
また、第２エリアをフラグエリアとして、この第２エリア内で動線が途切れた状態となると、動線が第１エリアに進入したことが不明でも、出入口を通過した可能性のある人物としてフラグを立て、人物と背景との識別が困難となる事象が発生しているか否かの検証を行い、人物と背景との識別が困難となる事象が発生していることが確認されると、その人物を、出入口を通過した人物として計数する。
【００６２】
人物と背景との識別が困難となる事象が発生している否かの検証は、撮像画像において出入口が写った背景画像と人物が写った人物画像との類似性を判定する類似性判定により行われる。本実施形態では、第１エリアを背景エリアとして、第１エリアの画像領域から背景画像を取得するとともに、人物枠の画像領域から人物画像を取得して、背景画像と人物画像とが類似するか否かを判定する。人物画像と背景画像とが類似する場合には、人物と背景との識別が困難となる事象が発生しているものと判断する。
【００６３】
このように本実施形態では、動線の途切れにより出入口の近傍で人物検出が失敗したことが検知されると、その人物検出の失敗の原因となる、人物と背景との識別が困難となる事象が発生しているか否かの検証を、背景画像と人物画像との類似性の判定により行い、人物と背景との識別が困難となる事象が発生していることが確認されると、その人物を、出入口を通過したものと見做して計数する。
【００６４】
なお、第２エリア（フラグエリア）は、人物が出入口を通過する際に発生する動線の途切れを検知する領域であり、動線の途切れが発生する、すなわち動線の終点または始点が存在する可能性が高くように設定される。これには、人物検出が失敗する可能性の高い領域と、人物検出が成功する可能性の高い領域とに跨るように設定すればよく、具体的には、図３〜図１０に示したように、店内側の斜め上方から出入口の周辺を撮像した撮像画像では、出入口の画像領域と店舗内の床面の画像領域とに跨るように設定すればよい。
【００６５】
次に、図１に示したＰＣ３で行われる人数計測処理について説明する。図１１は、ＰＣ３の概略構成を示す機能ブロック図である。
【００６６】
ＰＣ３は、画像入力部２１と、人物追跡部２２と、追跡情報格納部２３と、動線取得部２４と、動線情報格納部２５と、人物計数部２６と、エリア設定部２７と、集計処理部２８と、表示情報生成部（出力情報生成部）２９と、を備えている。
【００６７】
画像入力部２１では、カメラ１またはレコーダ２から撮像画像を取得する処理が行われる。人数計測をリアルタイムで行う場合にはカメラ１から撮像画像を取得し、過去の撮像画像から人数計測を行う場合にはレコーダ２から撮像画像を取得する。
【００６８】
人物追跡部２２では、カメラ１による撮像画像から人物を検出して、人物ごとの追跡情報（位置情報など）を出力する。この人物追跡処理は、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。この人物追跡部２２で取得した追跡情報は追跡情報格納部２３に格納される。
【００６９】
なお、追跡情報には、カメラ１による撮像画像（フレーム）から検出された人物ごとの検出位置、および人物が検出されたフレームの撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。
【００７０】
動線取得部２４では、人物追跡部２２で生成されて追跡情報格納部２３に格納された人物ごとの位置情報に基づいて、人物ごとの動線を取得する処理が行われる。この動線取得部２４で取得した人物ごとの動線に関する情報は動線情報格納部２５に格納される。
【００７１】
エリア設定部２７では、ユーザの入力操作に応じて、第１エリアおよび第２エリア（図４参照）を設定する処理が行われる。ここで、第１エリアは背景エリアとなり、第２エリアはフラグエリアとなるが、カウントエリアは、退店時と入店時とで異なり、第１エリアおよび第２エリアのいずれをカウントエリアとするかの設定も、ユーザの入力操作に応じて行われる。
【００７２】
人物計数部２６では、動線取得部２４で取得して動線情報格納部２５に格納された人物ごとの動線に基づいて、出入口を通過した人物を計数する処理が行われる。本実施形態では、第１エリアおよび第２エリアに動線が順次進入すると、出入口を通過したものと判断して、その人物を計数する。
【００７３】
なお、人物計数部２６では、第１エリアおよび第２エリアの辺（境界線）と動線との交差状況に基づいて、動線が第１エリアや第２エリアに進入したか否かを判定するが、この判定では、第１エリアや第２エリアの辺と動線との交点を求める必要はなく、時系列で並んだ位置情報のみで判定を行うことも可能である。このため、動線取得部２４で取得する動線情報には、検出位置を連結する線分（ベクトル）情報は必ずしも必要ではない。
【００７４】
また、本実施形態では、カウントエリア（第１エリアまたは第２エリア）に動線が進入したことを検知したところで、人物を計数するようにしたが、カウントエリアから動線が抜け出したことを検知したところで、人物を計数するようにしてもよい。また、人物の歩行速度などに基づいて設定されたカウントエリアでの滞在時間を考慮して出入口の通過を判断するようにしてもよい。また、第１エリアおよび第２エリアに動線が順次進入した場合でも、出入口を通過せずに出入口の近傍を素通りする場合が考えられ、このような人物が計数対象から排除されるように、動線の位置に関する条件を加えて出入口の通過を判断するようにしてもよい。
【００７５】
また、人物計数部２６では、動線取得部２４により取得した動線に基づいて、出入口を通過する人物の移動方向を判定して、その移動方向に応じて、出入口を通過して入店する人物および退店する人物を別々に計数する処理が行われる。すなわち、動線が第２エリアから第１エリアの順に進入した場合には、人物が退店したものと判断し、第１エリアから第２エリアの順に進入した場合には、人物が入店したものと判断する。
【００７６】
また、人物計数部２６では、所定の条件を満足する場合に、その人物を、出入口を通過したものと見做して計数対象とする見做し計数処理が行われ、この見做し計数処理に関連するものとして、人物計数部２６は、動線途切れ検知部３１と、類似性判定部３２と、見做し計数処理部３３と、を備えている。
【００７７】
動線途切れ検知部３１では、動線取得部２４により取得した動線が出入口の近傍で途切れたことを検知する処理が行われる。本実施形態では、第２エリア内で動線が途切れたこと、すなわち、第２エリア内に動線の終点または起点が存在することを検知する。
【００７８】
類似性判定部３２では、撮像画像において出入口が写った背景画像と人物が写った人物画像との類似性を判定する処理が行われる。この類似性判定部３２は、人物画像取得部４１と、背景画像取得部４２と、人物特徴量抽出部４３と、背景特徴量抽出部４４と、類似度算出部４５と、を備えている。
【００７９】
人物画像取得部４１では、人物が検出された直近の撮像画像から人物画像を取得する処理が行われる。本実施形態では、撮像画像上の人物枠の画像領域から人物画像を取得する。背景画像取得部４２では、直近の撮像画像から背景画像を取得する処理が行われる。本実施形態では、第１エリアの画像領域から背景画像を取得する。この背景画像は、人物が写っていないものが望ましいため、人物が検出されない撮像画像から取得するようにするとよい。また、人物画像を除去した複数の撮像画像から背景画像を合成することも可能である。
【００８０】
人物特徴量抽出部４３では、人物画像取得部４１で取得した人物画像から人物特徴量を抽出する処理が行われる。背景特徴量抽出部４４では、背景画像取得部４２で取得した背景画像から背景特徴量を抽出する処理が行われる。この特徴量抽出処理は、輝度情報および色情報のうちの少なくとも１つに関する特徴量を抽出する。輝度情報に関する特徴量としては、例えば、各画素の輝度を平均化した輝度平均値や、輝度（階調）ごとの度数（画素数）を表す輝度ヒストグラムがある。色情報に関する特徴量では、例えば、各画素の各色（チャンネル）の値を色ごとに平均化した色平均値や、各色の値（階調）ごとの度数（画素数）を表す色ヒストグラムがある。
【００８１】
類似度算出部４５では、人物特徴量抽出部４３で取得した人物特徴量と、背景特徴量抽出部４４で取得した背景特徴量とを比較して、人物画像と背景画像との類似度を算出する処理が行われる。この類似度算出処理では、例えば、特徴量を輝度ヒストグラムとする場合には、人物画像および背景画像からそれぞれ取得した輝度ヒストグラムを比較して、その重なり合いの度合いを表す類似度を算出する。
【００８２】
この類似度算出部４５で類似度が算出されると、類似性判定部３２では、類似度に基づいて、背景画像と人物画像との類似性の判定が行われる。この類似性判定では、類似度を所定のしきい値と比較して、類似度がしきい値を超える場合には、背景画像と人物画像とが類似するものと判定する。
【００８３】
見做し計数処理部３３では、動線途切れ検知部３１により、動線が前記出入口の近傍で途切れたことが検知され、かつ、類似性判定部３２により、人物画像と背景画像とが類似するものと判定された場合には、出入口を人物が通過したものと見做して、その人物を計数対象とする処理が行われる。この見做し計数処理部３３で人物が計数対象とされると、人物計数部２６では、その人物を出入口を通過した人物として計数する。
【００８４】
集計処理部２８では、人物計数部２６での計数結果を所定の集計期間（例えば時間帯、１日、１週間、１月など）ごとに集計して、所定の集計期間ごとの出入口通過人数（入店人数および退店人数）を取得する処理が行われる。集計期間は、ユーザが必要に応じて適宜に定めることができ、例えば、集計期間を時間帯や１日として、時間帯や１日ごとの入店人数および退店人数を取得する。また、リアルタイムの人数計測では、開店時から累計人数を取得するようにしてもよい。
【００８５】
また、集計処理部２８では、入店の場合には加算、退店の場合には減算を逐次行うことで、現在あるいは過去の所定の時刻の店舗内滞在人数を求めることができる。さらに、特定の時刻の店舗内滞在人数を所定の集計期間ごとに集計することで、集計期間ごとの店舗内滞在人数を求めることができる。
【００８６】
なお、店舗に複数の出入口が設けられている場合には、人物計数部２６において、各出入口を通過した人物を別々に計数する処理が行われ、集計処理部２８では、人物計数部２６による出入口ごとの計数結果から、出入口ごとの入店人数および退店人数を取得する。これにより、出入口ごとの利用状況の違いをユーザが把握することができる。
【００８７】
表示情報生成部（出力情報生成部）２９では、人物計数部２６での計数結果に基づいて、出入口を通過した人物の人数を表す表示情報（出力情報）を生成する処理が行われる。また、表示情報生成部２９では、集計処理部２８での集計結果、すなわち所定の集計期間ごとの人数を表す表示情報（出力情報）を生成する処理が行われる。この表示情報生成部で生成した表示情報はモニタ７に出力され、出入口を通過した人物の人数がモニタ７に表示される。
【００８８】
なお、図５に示したＰＣ３の各部は、ＰＣ３のＣＰＵで人数計測用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
【００８９】
次に、図１１に示したＰＣ３で行われる人数計測処理の手順について説明する。図１２は、ＰＣ３で行われる人数計測処理の手順を示すフロー図である。
【００９０】
ここで、人物が退店する場合には、第１エリアがカウントエリアとなり、人物が入店する場合には、第２エリアがカウントエリアとなる。また、第２エリアがフラグエリアとなる。また、動線がフラグエリア（第２エリア）に進入したことを示すフラグが人物ごとに設定される。このフラグの初期値はオフ（FlagState＝０）とする。
【００９１】
まず、画像入力部２１において、カメラ１またはレコーダ２から撮像画像（フレーム）が入力され（ＳＴ１０１）、人物追跡部２２において、撮像画像から人物を検出して位置情報を取得する処理が行われ、ついで、動線取得部２４において、人物の動線を取得する処理が行われる（ＳＴ１０２）。なお、撮像画像から複数の人物が検出された場合には、以降の処理を人物ごとに行う。
【００９２】
次に、人物計数部２６において、動線の途切れが発生したか否かの判定が行われ（ＳＴ１０３）、動線の途切れが発生していない場合には（ＳＴ１０３でＮｏ）、動線がフラグエリアに進入したか否かの判定が行われ（ＳＴ１０９）、動線がフラグエリアに進入していれば（ＳＴ１０９でＹｅｓ）、該当する人物のフラグをオン（FlagState＝１）とする（ＳＴ１１０）。
【００９３】
次に、該当する人物のフラグがオン（FlagState＝１）であるか否かの判定が行われ（ＳＴ１１１）、フラグがオンであれば（ＳＴ１１１でＹｅｓ）、動線がカウントエリアに進入したか否かの判定が行われ（ＳＴ１１２）、動線がカウントエリアに進入していれば（ＳＴ１１２でＹｅｓ）、カウント値を１増分する処理（Count++）が行われる（ＳＴ１１３）。
【００９４】
そして、フラグをオフ（FlagState＝０）とした上で（ＳＴ１１４）、全ての撮像画像の入力が終了したか否かの判定が行われ（ＳＴ１１５）、全ての画像の入力が終了していなければ（ＳＴ１１５でＮｏ）、次の撮像画像の処理に進む。
【００９５】
また、動線がフラグエリアに進入していなければ（ＳＴ１０９でＮｏ）、該当する人物のフラグはオフのままで、次の撮像画像の処理に進む。また、動線がフラグエリアに進入したものの（ＳＴ１０９でＹｅｓ）、カウントエリアに進入していなければ（ＳＴ１１２でＮｏ）、カウント値の増分（ＳＴ１１３）およびフラグの初期化（ＳＴ１１４）は行われず、該当する人物のフラグはオンのままで、次の撮像画像の処理に進む。
【００９６】
一方、動線の途切れが発生している場合には（ＳＴ１０３でＹｅｓ）、該当する人物のフラグがオン（FlagState＝１）であるか否かの判定が行われ（ＳＴ１０４）、フラグがオンである、すなわち、以前の撮像画像の処理で動線がフラグエリアに進入したものの、カウントエリアに進入しなかった場合には（ＳＴ１０４でＹｅｓ）、人物画像から特徴量を抽出する処理（ＳＴ１０５）、背景画像から特徴量を抽出する処理（ＳＴ１０６）、および特徴量の類似度を算出する処理（ＳＴ１０７）が行われる。
【００９７】
そして、類似度がしきい値ＴＨより大きいか否かの判定が行われ（ＳＴ１０８）、類似度がしきい値ＴＨより大きい、すなわち、人物画像と背景画像とが類似しているものと判定された場合には（ＳＴ１０８でＹｅｓ）、カウント値を１増分する処理（Count++）が行われる（ＳＴ１１３）。一方、類似度がしきい値ＴＨより大きくなければ（ＳＴ１０８でＮｏ）、フラグをオフ（FlagState＝０）とした上で（ＳＴ１１４）、次の撮像画像の処理に進む。
【００９８】
また、動線の途切れが発生している場合に（ＳＴ１０３でＹｅｓ）、フラグがオフ（FlagState＝０）であれば（ＳＴ１０４でＮｏ）、そのまま、次の撮像画像の処理に進む。
【００９９】
なお、図１２に示した例では、動線に途切れが発生したタイミングで、人物画像および背景画像の特徴量を抽出する処理を行うようにしたが、この処理を、動線の途切れに関係なく、撮像画像（フレーム）ごとに行うようにしてよく、また、定期的に適宜なタイミングで行うようにしてもよい。また、背景画像は、人物が写っていない撮像画像から取得することが望ましく、例えば、撮像画像から人物が検出されない場合に撮像画像から背景画像を取得するようにするとよい。さらに、背景画像は、直近の撮像画像から取得することが望ましく、例えば、人物が検出されない撮像画像が見つかる度に背景画像を更新して、最新の背景画像を用いるようにするとよい。
【０１００】
次に、人数計測結果をユーザが閲覧するための人数計測画面について説明する。図１３は、モニタ７に表示される来店者カウント画面（人数計測画面）を示す説明図である。
【０１０１】
本実施形態では、表示情報生成部２９において、人物計数部２６での計数結果に基づいて、出入口を通過した人物の人数を表す表示情報を生成してモニタ７に出力し、モニタ７に、人数計測結果をユーザが閲覧するための人数計測画面が表示される。この人数計測画面には、撮像画像表示部５１と、人数計測結果表示部５２と、日時表示部５３と、日時設定ボタン５４と、出入口選択ボタン５５と、出入口表示部５６と、が設けられている。
【０１０２】
撮像画像表示部５１には、カメラ１による撮像画像が表示される。人数計測結果表示部５２には、人数計測結果である入店人数（ｉｎ）および退店人数（ｏｕｔ）が表示される。
【０１０３】
日時表示部５３は、日時を表示するものであり、日時設定ボタン５４は、日時を設定するものである。日時設定ボタン５４を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部５３に表示されるとともに、選択した日時の撮像画像が撮像画像表示部５１に表示され、また、選択した日時の人数計測結果が人数計測結果表示部５２に表示される。また、日時を現在に設定することもでき、リアルタイムで撮像画像および人数計測結果がそれぞれ撮像画像表示部５１および人数計測結果表示部５２に表示される。
【０１０４】
出入口選択ボタン５５は、店舗に複数の出入口が設けられている場合に出入口を選択するものであり、この出入口選択ボタン５５で出入口が選択されると、出入口表示部５６に出入口の名称が表示されるとともに、選択された出入口の撮像画像および人数計測結果がそれぞれ撮像画像表示部５１および人数計測結果表示部５２に表示される。また、モニタ７の画面内に、来店者カウントの表示ウィンドウを複数設定して、それぞれで出入口選択した上で、撮像画像および人数計測結果を比較表示するようにしてもよい。
【０１０５】
以上のように本実施形態では、動線途切れ検知部３１において、動線が出入口の近傍で途切れたことを検知し、類似性判定部３２において、撮像画像において出入口が写った背景画像と人物が写った人物画像との類似性を判定し、見做し計数処理部３３において、動線が出入口の近傍で途切れ、かつ人物画像と背景画像とが類似する場合には、出入口を人物が通過したものと見做して、その人物を計数対象とするようにしたため、撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができる。
【０１０６】
また、本実施形態では、類似性判定部３２において、人物が退店する方向に移動する場合には、動線が消失した後の人物の移動先となる撮像画像の画像領域から背景画像を取得し、人物が入店する方向に移動する場合には、動線が出現する前の人物の移動元となる撮像画像の画像領域から背景画像を取得するようにしたため、人物画像と背景画像とが類似しているか否か、すなわち、人物と背景との識別が困難となる事象が発生しているか否かを判定する上で適切な背景画像を取得することができる。
【０１０７】
また、本実施形態では、エリア設定部２７において、ユーザの入力操作に応じて、撮像画像上に、出入口を通過する最中に人物が位置する画像領域を含むように第１エリアを設定するとともに、この第１エリアの近傍の場内側において出入口から出入りする人物が位置する画像領域を含むように第２エリアを設定し、人物計数部２６において、第１エリアおよび第２エリアに動線が順次進入すると、出入口を通過したものと判断して、その人物を計数するようにしたため、人物と背景との識別が困難となる事象が発生していない場合に、出入口を通過する人物を精度よく計数することができる。
【０１０８】
また、本実施形態では、動線途切れ検知部３１において、第２エリア内で動線が途切れたことを検知するようにしており、第１エリアの近傍でこれより店内側の画像領域を含むように設定された第２エリアでは、人物と背景との識別が困難となる事象に起因する動線の途切れが発生する可能性が高いため、この第２エリアで動線の途切れを検知することで、人物と背景との識別が困難となる事象に起因する動線の途切れを確実に検知することができる。
【０１０９】
また、本実施形態では、類似性判定部３２において、撮像画像における第１エリアの画像領域から背景画像を取得して、その背景画像と人物画像との類似性を判定するようにしており、出入口を通過する最中に人物が位置する画像領域を含むように設定された第１エリアでは、出入口を介して店舗外の状況が写り、この店舗外の状況と人物の外観とが類似した色彩となることで、人物と背景との識別が困難になって人物検出が失敗することから、この第１エリアの画像領域から取得した背景画像と人物画像との類似性を判定することで、人物検出の失敗の原因、すなわち人物と背景との識別が困難となる事象が発生していることを精度よく検知することができる。
【０１１０】
また、本実施形態では、類似性判定部３２において、輝度情報および色情報のうちの少なくとも１つに関する特徴量を、背景画像および人物画像からそれぞれ抽出し、各々の特徴量を比較して、背景画像と人物画像との類似性を判定するようにしたため、背景画像と人物画像との類似性を精度よく判定することができる。特に、人物検出は、通常、輝度情報を用いて行われることから、輝度情報に基づいて類似性を判定することで、人物検出の失敗の原因、すなわち人物と背景との識別が困難となる事象が発生していることを精度よく検知することができる。
【０１１１】
また、本実施形態では、人物計数部２６において、動線取得部２４により取得した動線に基づいて、出入口を通過する人物の移動方向を判定して、その移動方向に応じて、出入口を通過して入店する人物および退店する人物を別々に計数し、集計処理部２８において、人物計数部２６での計数結果を所定の集計期間ごとに集計して、所定の集計期間ごとの入店人数および退店人数を取得し、表示情報生成部２９において、集計処理部２８により取得した集計期間ごとの入店人数および退店人数に関する表示情報を生成するようにしたため、集計期間ごとの入店人数および退店人数をユーザが把握することができる。そして、集計期間ごとの入店人数および退店人数を時系列で並べるようにすれば、入店人数および退店人数の時間的な推移状況をユーザが簡単に把握することができ、また、異なる日時の入店人数および退店人数を対比可能に並べるようにすれば、入店人数および退店人数の日時による違いをユーザが簡単に把握することができる。
【０１１２】
（第２実施形態）
次に、第２実施形態について説明する。図１４は、第２実施形態において撮像画像上に設定されるカウントラインを示す説明図である。
【０１１３】
第１実施形態では、撮像画像上に第１エリアおよび第２エリアを離して設定するようにしたが、この第２実施形態では、第１エリアおよび第２エリアが互いに接するように設定されるとともに、第１エリアおよび第２エリアの境界にカウントラインが設定される。
【０１１４】
また、第１実施形態では、人物の進行方向、すなわち人物が退店する方向に進むか、あるいは人物が入店する方向に進むかに応じて、第１エリアおよび第２エリアのいずれかをカウントエリアに設定して、このカウントエリアに動線が進入すると、人物を計数するようにしたが、この第２実施形態では、動線がカウントラインを横切ると、人物を計数する。
【０１１５】
第１エリアは、第１実施形態と同様に、背景画像を取得する背景エリアとなり、第２エリアは、第１実施形態と同様に、動線の途切れを検知して、出入口を通過した可能性のある人物にフラグを立てるフラグエリアとなる。
【０１１６】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、前記の各実施形態に示した本発明に係る人数計測装置、人数計測システムおよび人数計測方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１１７】
例えば、前記の各実施形態では、コンビニエンスストアなどの店舗の例について説明したが、このような店舗に限定されるものではなく、出入口を通過した人物の人数を計測することが有用である場所に広く適用することができる。
【０１１８】
また、前記の各実施形態では、図４などに示したように、第１エリアおよび第２エリアを矩形としたが、この第１エリアおよび第２エリアの形状は、矩形に限定されるものではなく、円や多角形なども可能である。
【０１１９】
また、前記の各実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮像範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
【０１２０】
また、前記の各実施形態では、ＰＣ３に人物追跡部２２を設けたが、ＰＣ３とは別の人物追跡装置として構成することも可能である。また、人物追跡部２２の機能をカメラ１に実装して人物追跡機能付きカメラとして構成することも可能である。さらに、ＰＣ３に設けた動線取得部２４などの機能もカメラ１に一体化して高機能なカメラとして構成することも可能である。このようにＰＣ３の機能をカメラ１に実装するようにすると、ＰＣ３に導入するアプリケーションを簡素化することができ、また、ＰＣ３での処理負荷を大幅に軽減することができる。
【０１２１】
また、前記の各実施形態では、人数計測に必要な処理を店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で人数計測システムが構成される。
【０１２２】
このような構成では、人数計測に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物追跡処理や動線取得処理を、店舗に設けられたＰＣ３などの装置に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
【０１２３】
また、人数計測に必要な処理のうち、少なくとも演算量が大きな処理、例えば人物追跡処理や動線取得処理を、クラウドコンピュータ１２に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
【０１２４】
また、クラウドコンピュータ１２に必要な処理の全部を行わせ、また、少なくともクラウドコンピュータ１２に人数計測結果を出力する機能を与えるようにすると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも、人数計測結果を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で人数計測結果を確認することができる。また、人数計測結果を、店舗や本部などに設置されたプリンタで出力することも可能である。
【産業上の利用可能性】
【０１２５】
本発明にかかる人数計測装置、人数計測システムおよび人数計測方法は、一般的な監視カメラによる撮像画像から人物検出を行う際に、人物と背景との識別が困難となる事象が発生して人物検出が失敗するような状況においても、特殊な装置を用いることなく、人数のカウント漏れを低減して、人数計測の精度を向上させることができる効果を有し、店舗等の所定の場所に出入りするための出入口の周辺を撮像した撮像画像に基づいて、出入口を通過した人物の人数を計測する人数計測装置、人数計測システムおよび人数計測方法などとして有用である。
【符号の説明】
【０１２６】
１  カメラ
２  レコーダ
３  ＰＣ（人数計測装置）
６  入力デバイス
７  モニタ
１２  クラウドコンピュータ
１３  スマートフォン
２１  画像入力部
２２  人物追跡部
２３  追跡情報格納部
２４  動線取得部
２５  動線情報格納部
２６  人物計数部
２７  エリア設定部
２８  集計処理部
２９  表示情報生成部（出力情報生成部）
３１  動線途切れ検知部
３２  類似性判定部
３３  見做し計数処理部
４１  人物画像取得部
４２  背景画像取得部
４３  人物特徴量抽出部
４４  背景特徴量抽出部
４５  類似度算出部
【図１】
2015203912.tif 000003
【図２】
2015203912.tif 000004
【図３】
2015203912.tif 000005
【図４】
2015203912.tif 000006
【図５】
2015203912.tif 000007
【図６】
2015203912.tif 000008
【図７】
2015203912.tif 000009
【図８】
2015203912.tif 000010
【図９】
2015203912.tif 000011
【図１０】
2015203912.tif 000012
【図１１】
2015203912.tif 000013
【図１２】
2015203912.tif 000014
【図１３】
2015203912.tif 000015
【図１４】
2015203912.tif 000016