(57)【要約】【課題】監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができるようにする。【解決手段】監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置を、撮影映像から人物を検出して人物領域に関する位置情報を取得する人物検出部３７、および位置情報に基づき、人物領域における人物の状態を表す領域状態を判定する領域状態判定部３８を有する人物画像解析部３２と、領域状態に対応したマスク画像を設定するマスク画像設定部３５と、人物画像解析部から出力された位置情報および領域状態に基づき、人物領域を領域状態に対応したマスク画像に変更した出力映像を生成して出力する映像出力制御部３４と、を備えたものとする。【選択図】図３
2015222881.tif 000002
【特許請求の範囲】
【請求項１】
監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、
前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、
前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、
前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
を備えたことを特徴とするモニタリング装置。
【請求項２】
前記領域状態は、前記人物領域を構成する人物の人数に応じて分類されていることを特徴とする請求項１に記載のモニタリング装置。
【請求項３】
前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定することを特徴とする請求項２に記載のモニタリング装置。
【請求項４】
前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
【請求項５】
前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、
前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、
前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力することを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
【請求項６】
前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にしたことを特徴とする請求項１から請求項５のいずれかに記載のモニタリング装置。
【請求項７】
前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、
前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成することを特徴とする請求項１から請求項６のいずれかに記載のモニタリング装置。
【請求項８】
監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、
監視エリアを撮影するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、
前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、
前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
を備えたことを特徴とするモニタリングシステム。
【請求項９】
監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する処理を実行するステップと、
前記領域状態に対応した前記マスク画像を設定するステップと、
前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、
を有することを特徴とするモニタリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
【背景技術】
【０００２】
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、監視目的以外、すなわち、マーケティング分析やサービス向上を目的として撮影映像を利用する場合には、顧客のプライバシーを保護する必要がある。
【０００３】
このような顧客のプライバシーを保護する要望に対して、従来、カメラで撮影された映像内の人物領域を特定のマスク画像に変更して表示する技術が知られている（特許文献１，２参照）。特に、特許文献１に開示された技術では、マスク画像に特徴点を表示させることで、人物の身体の動きを把握しやすくしている。また、特許文献２に開示された技術では、マスク画像を透過性とすることで、背景に対して人物の行動を把握しやすくしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１８６８３８号公報
【特許文献２】特許第５１５９３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、映像から人物の行動を把握するには、人物を背景と区別しながら人物を見ることになるが、前記従来の技術のように、人物領域を特定のマスク画像に変更して表示するようにすると、顧客のプライバシーの保護に加えて、背景と人物とを容易に識別することができるため、人物の行動を把握することが容易になる利点も得られる。
【０００６】
しかしながら、カメラから見て複数の人物が重なり合う状態では、映像から検出された人物領域が複数の人物により構成される、すなわち複数の人物の画像領域がつながった状態で検出され、このような場合には、マスク画像を見ただけでは、そこに人物が１人だけいるのか、また複数の人物がいるのかすら判然とせず、マスク画像から人物の状態を簡単に判断することができないという問題があり、特に、映像が長時間に及ぶ場合にはユーザの負担が大きくなるという問題があり、人物の行動を把握する作業を効率的に行うことができる技術が望まれる。
【０００７】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができるように構成されたモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明のモニタリング装置は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【０００９】
また、本発明のモニタリングシステムは、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【００１０】
また、本発明のモニタリング方法は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。
【発明の効果】
【００１１】
本発明によれば、人物領域における人物の状態を表す領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係るモニタリングシステムの全体構成図
【図２】店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図
【図３】ＰＣ３の概略構成を示す機能ブロック図
【図４】モニタ４に表示されるモニタリング画面を示す説明図
【図５】モニタ４に表示されるマスク画像設定画面を示す説明図
【図６】人物領域をマスク画像に変更する前の元の映像を示す説明図
【図７】人物領域をマスク画像に変更した映像を示す説明図
【図８】領域状態判定部３８で行われる領域状態判定の要領を説明する説明図
【図９】群集非表示モードで表示される映像を説明する説明図
【図１０】第２実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図
【図１１】領域状態判定部３８で行われる領域状態判定の要領を説明する説明図
【図１２】第３実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図
【図１３】モニタ４に表示されるモニタリング画面を示す説明図
【図１４】モニタ４に表示されるマスク画像設定画面を示す説明図
【図１５】人物領域をマスク画像に変更した映像を説明する説明図
【図１６】人物領域の領域状態に関する別例を説明する説明図
【図１７】人物領域の領域状態に関する別例を説明する説明図
【図１８】人物領域の領域状態に関する別例を説明する説明図
【図１９】人物領域の領域状態に関する別例を説明する説明図
【発明を実施するための形態】
【００１３】
前記課題を解決するためになされた第１の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【００１４】
これによると、人物領域における人物の状態を表す領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【００１５】
また、第２の発明は、前記領域状態は、前記人物領域を構成する人物の人数に応じて分類されている構成とする。
【００１６】
これによると、領域状態別に表示されるマスク画像により、人物領域を構成する人物の人数を把握することができるため、映像から人物の行動を把握する作業をより一層効率的に行うことができる。
【００１７】
また、第３の発明は、前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定する構成とする。
【００１８】
これによると、孤立のマスク画像は、１人の人物により構成される人物領域であり、人物の形状をなしていることから、人物の状態や動きを把握しやすいため、孤立のマスク画像に注目することで、人物の行動を詳細に観察することができる。一方、群集のマスク画像は、複数の人物により構成される人物領域となり、全体として人物の形状をなしていないため、人物の状態や動きを把握しにくくなるが、この群集のマスク画像に注目することで、監視エリアにおいて人物が集まるエリアを把握することができ、例えば店舗では、顧客の関心が高い商品が陳列されているエリアを把握することができる。
【００１９】
また、第４の発明は、前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定する構成とする。
【００２０】
これによると、ユーザが自由にマスク画像を設定することができるため、ユーザの利便性を高めることができる。そして、マスク画像を適宜に設定することで、用途に応じて注目する領域状態のマスク画像を強調表示させることができるため、人物の行動や監視エリアの状態を把握する作業をユーザが効率的に行うことができる。
【００２１】
また、第５の発明は、前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力する構成とする。
【００２２】
これによると、人物属性別にマスク画像が表示されることから、マスク画像により人物領域の人物属性を簡単に把握することができるため、人物属性ごとに人物の行動を把握する作業をユーザが効率的に行うことができる。
【００２３】
また、第６の発明は、前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にした構成とする。
【００２４】
これによると、マスク画像の違いにより、人物領域の領域状態を容易に識別することができる。
【００２５】
また、第７の発明は、前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成する構成とする。
【００２６】
これによると、マスク画像が透過性であることから、背景画像が透けて見えるため、背景画像に写る監視エリアの状況を見ながら人物の行動を観察することができる。
【００２７】
また、第８の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【００２８】
これによると、第１の発明と同様に、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【００２９】
また、第９の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域における人物の状態を表す領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。
【００３０】
これによると、第１の発明と同様に、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【００３１】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３２】
（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。このモニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ１、レコーダ（映像蓄積装置）２、ＰＣ（モニタリング装置）３、およびモニタ（表示装置）４と、複数の店舗を総括する本部に設けられたＰＣ１１、およびモニタ１２と、を備えている。
【００３３】
カメラ１は店舗内の適所に設置され、カメラ１により店舗内（監視エリア）が撮影され、これにより得られた映像がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ１１では、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
【００３４】
店舗に設置されたＰＣ３は、店舗内での人物や商品の状態を監視するモニタリング装置として構成され、このＰＣ３で生成したモニタリング情報を、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも閲覧することができ、ＰＣ３，１１がモニタリング情報を閲覧する閲覧装置として構成される。
【００３５】
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗のレイアウトおよびカメラ１の設置状況を説明する店舗の平面図である。
【００３６】
店舗には、出入口、陳列棚およびレジカウンタなどが設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。
【００３７】
また、店舗には、店舗内（監視エリア）を撮影する複数のカメラ１が設置されている。このカメラは、店舗内の天井の適宜な位置に設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、出入口から店舗に出入りする人物や店舗内に滞在する人物を撮影することができる。
【００３８】
次に、図１に示したＰＣ３で行われる処理を機能ブロック図に基づいて説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。
【００３９】
ＰＣ３は、監視部３１を備えている。この監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮影された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の映像を閲覧することができる。
【００４０】
また、ＰＣ３は、人物画像解析部３２と、背景画像処理部３３と、映像出力制御部３４と、マスク画像設定部３５と、を備えている。
【００４１】
人物画像解析部３２は、カメラ１による撮影映像を解析して、撮影映像に映る人物に関する情報を取得するものであり、人物検出部３７と、領域状態判定部３８と、を備えている。
【００４２】
人物検出部３７では、撮影映像から人物を検出して人物領域に関する位置情報を取得する処理が行われる。この人物検出部３７で行われる処理は、公知の画像認識技術を用いればよい。
【００４３】
領域状態判定部３８では、人物検出部３７で取得した位置情報に基づいて、人物領域における人物の状態を表す領域状態を判定する処理が行われる。本実施形態では、領域状態として、人物領域が複数の人物により構成される群集と、人物領域が１人の人物により構成される孤立とのいずれであるかを判定する。
【００４４】
マスク画像設定部３５では、領域状態別のマスク画像を設定する処理が行われる。本実施形態では、領域状態ごとにマスク画像を選択するユーザの入力操作に応じて、領域状態別のマスク画像を設定する処理が行われる。なお、領域状態別のマスク画像を予め設定しておくようにしてもよい。
【００４５】
背景画像処理部３３では、撮影映像から背景画像を生成する処理が行われる。この背景画像は、撮影映像から人物の画像（前景画像）を除去したものであり、直近に撮影された複数の映像からそれぞれ人物の画像を除去して、その複数の画像から背景画像を合成するようにすればよい。また、人物が存在しないときの撮影映像、例えば開店前の撮影映像を背景画像として予め用意しておくようにしてもよい。
【００４６】
映像出力制御部３４では、人物画像解析部３２から出力された人物ごとの位置情報および領域状態に基づき、人物領域を、領域状態別のマスク画像に変更した出力映像を生成して出力する処理が行われる。本実施形態では、撮影映像内の人物領域に対応する輪郭を有するマスク画像を生成し、このマスク画像を、背景画像処理部３３で生成した背景画像上に重ね合わせる処理が行われる。
【００４７】
マスク画像は、領域状態に応じて、色、濃淡、パターン（模様）、および輪郭線の少なくともいずれかの表示要素を変更することで、領域状態を識別可能にしたものであり、特に本実施形態では、人物ごとの位置情報（人物領域の位置情報）から、人物領域の輪郭線を生成し、その輪郭線の内部を透過性の画像で塗り潰したものとする。なお、輪郭線を表示しないようにしてもよく、また、色や濃淡などを変えることで輪郭線を塗り潰し領域と識別可能に表示するようにしてもよい。
【００４８】
なお、図３に示したＰＣ３の各部は、ＰＣ３のＣＰＵでモニタリング用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
【００４９】
次に、図３に示したモニタ４に表示されるモニタリング画面について説明する。図４は、モニタ４に表示されるモニタリング画面を示す説明図である。
【００５０】
このモニタリング画面は、マーケティング分析やサービス向上などの目的で店舗内の状況をユーザが確認するものであり、このモニタリング画面には、店舗選択部４１と、開始ボタン４２と、設定ボタン４３と、動作モード選択部４４と、日時表示部４５と、日時設定ボタン４６と、凡例表示部４７と、映像表示部４８と、表示時刻操作部４９と、が設けられている。
【００５１】
店舗選択部４１では、プルダウンメニューにより店舗をユーザが選択する。開始ボタン４２は、ＰＣ３でモニタリング処理を開始させるものである。設定ボタン４３は、モニタリング処理での各種の条件を設定するものであり、本実施形態では、設定ボタン４３を操作すると、ポップアップでマスク画像設定画面（図５参照）が表示される。動作モード選択部４４は、動作モードを選択するものであり、売場モニタリング、商品モニタリング、陳列アラート、および欠品アラートなどの動作モードが用意されており、ここでは売場モニタリングが選択されている。
【００５２】
日時表示部４５は、日時を表示するものである。日時設定ボタン４６は、日時を設定するものである。日時設定ボタン４６を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部４５に表示され、また、選択した日時の映像が映像表示部４８に表示される。
【００５３】
凡例表示部４７は、映像表示部４８に表示されるマスク画像を説明するものである。本実施形態では、凡例表示部４７に、領域状態（群集および孤立）ごとに設定されたマスク画像が表示される。
【００５４】
映像表示部４８には、映像出力制御部３４で生成された出力映像（動画）が表示される。特に図４に示す例では、全方位カメラであるカメラ１により撮影された映像をパノラマ展開した２つの映像が表示されている。この２つの映像に店舗全体が映り、店舗全体の状況を確認することができる。この映像表示部４８には、通常再生モードでは、カメラ１による撮影映像がそのまま表示され、マスク再生モードでは、人物領域をマスク画像に変更した映像が表示される。この映像表示部４８に表示される映像については後に詳しく説明する。
【００５５】
表示時刻操作部４９は、映像表示部４８に表示される映像の時刻を調整するものである。この表示時刻操作部４９を操作することで、映像を所望の時刻の映像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ５０をずらすと、そのスライダ５０が指し示す時刻の映像が映像表示部４８に表示される。これにより、所要の時刻における店舗の状況を映像表示部４８の映像で確認することができる。
【００５６】
また、映像表示部４８の映像を再生する際には、操作ボタン５１を操作すればよく、この操作ボタン５１により、通常再生のほか、早送り再生や巻き戻し再生ができ、これにより、長時間に及ぶ映像をマスク再生モードで再生する際にも、効率的な映像確認ができる。
【００５７】
次に、領域状態別のマスク画像を設定する操作について説明する。図５は、モニタ４に表示されるマスク画像設定画面を示す説明図である。
【００５８】
このマスク画像設定画面は、領域状態（群集および孤立）別のマスク画像をユーザが指定するものであり、このマスク画像設定画面には、領域状態選択部６１と、マスク画像選択部６２と、設定ボタン６３と、設定内容表示部６４と、が設けられている。
【００５９】
領域状態選択部６１では、領域状態（群集および孤立）をプルダウンメニューからユーザが選択する。マスク画像選択部６２では、領域状態選択部６１で選択した領域状態に対応するマスク画像の種類をタイルメニューからユーザが選択する。また、マスク画像選択部６２では、マスク画像の透過率をプルダウンメニューからユーザが選択する。透過率は、０％〜１００％の範囲で選択することができる。
【００６０】
この領域状態選択部６１およびマスク画像選択部６２で領域状態（群集および孤立）とこれに対応するマスク画像の種類および透過率を選択して、設定ボタン６３を操作すると、設定内容表示部６４に、設定内容、すなわち領域状態別のマスク画像が表示される。
【００６１】
次に、人物領域をマスク画像に変更した映像について説明する。図６は、人物領域をマスク画像に変更する前の元の映像を示す説明図である。図７は、人物領域をマスク画像に変更した映像を示す説明図である。この映像は、映像出力制御部３４で生成され、図４に示したモニタリング画面の映像表示部４８に表示される。
【００６２】
図６に示すように、カメラ１による撮影映像には複数の人物Ｐ１〜Ｐ７が写っており、これらの人物Ｐ１〜Ｐ７の画像領域が、図７（Ａ），（Ｂ）に示すように、領域状態（群集および孤立）に対応したマスク画像に変更される。また、マスク画像は透過性であるため、背景画像が透けて見える状態となっている。
【００６３】
この映像では、図６の撮影映像における人物領域が、領域状態別のマスク画像に置き換えられている。具体的には、人物Ｐ２〜Ｐ５は、互いに重なり合った状態となっているため、人物Ｐ２〜Ｐ５の画像領域は１つの人物領域として検出され、この人物領域は、複数の人物により構成される群集と判定されて、群集のマスク画像に変更される。一方、人物Ｐ１，Ｐ６，Ｐ７は、別の人物と重なり合った状態となっておらず、人物Ｐ１，Ｐ６，Ｐ７の画像領域はそれぞれ別の人物領域として検出され、これらの人物領域は、１人の人物により構成される孤立と判定されて、孤立のマスク画像に変更される。
【００６４】
ここで、マスク画像の種類および透過率を適宜に設定することで、注目する特定の領域状態、すなわち群集および孤立のいずれか一方のマスク画像を強調表示させることができる。図７（Ａ）は、群集のマスク画像を透過率を低くして強調表示させた例であり、図７（Ｂ）は、孤立のマスク画像を透過率を低くして強調表示させた例である。
【００６５】
孤立のマスク画像は、１人の人物により構成される人物領域であり、人物の形状をなしているため、人物の状態や動きを把握しやすいことから、人物の行動を把握する用途では、図７（Ｂ）に示すように、孤立を強調表示させるようにするとよい。一方、群集のマスク画像は、複数の人物により構成される人物領域であり、全体として人物の形状をなしていないため、人物の状態や動きを把握しにくくなるが、この群集のマスク画像は、多数の顧客が集まる、すなわち顧客の関心が高い商品が陳列されているエリアを表すものであるため、顧客が集まるエリアを把握する用途では、図７（Ａ）に示すように、群集を強調表示させるようにするとよい。
【００６６】
なお、本実施形態では、カメラ１による撮影映像をそのまま表示する通常再生モードと、人物領域をマスク画像に変更した映像を表示するマスク再生モードとを選択することができ、映像を再生する際には、ユーザがいずれの再生モードで再生されているのかを識別できるように、再生モード識別用のアイコンを映像と重畳表示させるとよい。また、マスク再生モードの映像表示枠の色を通常再生モードでの映像表示枠の色と異なる表示を行うなどして、再生モードの識別ができるようにしてもよい。また、マーケティング分析など、防犯用途以外の目的でモニタリング画面を表示させる場合には、顧客のプライバシーを確実に保護するために、マスク再生モードでのみ再生することができるようにしてもよい。
【００６７】
次に、図３に示した領域状態判定部３８で行われる領域状態判定について説明する。図８は、領域状態判定部３８で行われる領域状態判定の要領を説明する説明図である。
【００６８】
本実施形態では、領域状態判定部３８において、領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定する。この領域状態判定では、人物検出部３７で映像から検出された人物領域の面積に基づいて、人物領域が群集と孤立とのいずれであるかを判定する。具体的には、１人分の人物領域の面積に相当する基準面積を設定し、映像から検出された人物領域の面積と基準面積と比較して、人物領域が群集と孤立とのいずれであるかを判定する。
【００６９】
ここで、カメラ１は、店舗の天井に配置されて、店舗内を斜め上方から撮影するため、カメラ１から見て手前側に位置する人物は撮影映像内の下側の画像領域に大きく写り、奥側に位置する人物は撮影映像内の上側の画像領域に小さく写り、１人分の人物領域は、映像上のＹ方向（上下方向）の位置に応じて変化する。このため、映像上のＹ方向の位置に応じて基準面積を設定する必要がある。そこで、本実施形態では、Ｙ座標値に応じた基準面積を求めるための基準面積取得情報（例えば参照テーブルや関係式など）を予め用意しておき、この基準面積取得情報に基づいてＹ座標値から基準面積を求める。
【００７０】
基準面積取得情報は、予め行われるユーザの設定操作に基づいて作成される。すなわち、図８（Ａ）に示すように、モニタ４に入力画面を表示させ、この入力画面に表示された映像上で、マウスなどの入力デバイス６を用いて、１人分の人物領域を取り囲む人物矩形をユーザに入力させる。このとき、Ｙ方向に大きくずれた位置に存在する少なくとも２人の人物について人物矩形を入力する。すなわち、映像上で手前側に写った人物および奥側に写った人物について人物矩形を入力する。そして、２つの人物矩形の面積およびＹ座標値を用いて、Ｙ座標値に応じた基準面積を求めるための基準面積取得情報を設定する。ここで、Ｙ座標値は、例えば人物矩形の中心のＹ座標値とすればよい。
【００７１】
領域状態を判定する際には、図８（Ｂ）に示すように、映像から検出された人物領域を取り囲む人物矩形を取得してその人物矩形の面積を求める。また、人物矩形のＹ座標値（例えば人物矩形の中心のＹ座標値）を取得して、そのＹ座標値に対応する基準面積を基準面積取得情報を用いて取得する。そして、人物矩形の面積と基準面積とを比較して、人物矩形の面積と基準面積との差が所定のしきい値以上であれば、領域状態を群集と判定し、人物矩形の面積と基準面積との差がしきい値未満であれば、領域状態を孤立と判定する。
【００７２】
次に、群集非表示モードについて説明する。図９は、群集非表示モードで表示される映像を説明する説明図であり、図９（Ａ）に元の映像を示し、図９（Ｂ）に人物領域をマスク画像に変更した映像を示す。この映像は、映像出力制御部３４で生成され、図８に示したモニタリング画面の映像表示部４８に表示される。
【００７３】
図７に示したように、通常のマスク再生モードでは、群集および孤立の各人物領域にマスク画像が表示されるが、群集のマスク画像は、複数の人物により構成される人物領域であり、全体として人物の形状をなしていないため、人物の状態や動きを容易に把握することができないため、人物の行動を観察する用途では、群集のマスク画像は無駄であり、さらに作業の支障となる場合がある。
【００７４】
このような場合、図９に示すように、群集のマスク画像を表示しない群集非表示モードを選択することができる。この群集非表示モードでは、領域状態が孤立と判定された人物領域は、マスク画像に変更して表示されるが、領域状態が群集と判定された人物領域は、映像上に表示されず、マスク画像は孤立用の１種類のみとなる。
【００７５】
このように、ユーザの必要に応じて、群集のマスク画像を表示させないようにすると、人物の行動を観察する際の作業効率を向上させることができ、ユーザの利便性を高めることができる。
【００７６】
なお、本実施形態では、図５に示したように、マスク画像の透過率を選択することができ、この透過率を１００％に設定すると、群集のマスク画像が表示されない状態となるため、特に群集非表示モードを設けずに、透過率の設定で対応するようにしてもよい。
【００７７】
以上のように第１実施形態では、人物画像解析部３２の人物検出部３７において、撮影映像から人物を検出して人物領域に関する位置情報を取得し、領域状態判定部３８において、位置情報に基づき、人物領域における人物の状態を表す領域状態を判定し、マスク画像設定部３５において、領域状態に対応したマスク画像を設定し、映像出力制御部３４において、人物画像解析部３２から出力された位置情報および領域状態に基づき、人物領域を領域状態に対応したマスク画像に変更した出力映像を生成して出力するようにしており、人物領域における人物の状態を表す領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【００７８】
また、この第１実施形態では、領域状態が、人物領域を構成する人物の人数の大小に応じて分類されるようにしており、領域状態別に表示されるマスク画像により、人物領域を構成する人物の人数を把握することができるため、映像から人物の行動を把握する作業をより一層効率的に行うことができる。
【００７９】
また、この第１実施形態では、領域状態判定部３８において、領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定するようにしており、孤立のマスク画像は、１人の人物により構成される人物領域であり、人物の形状をなしていることから、人物の状態や動きを把握しやすいため、孤立のマスク画像に注目することで、人物の行動を詳細に観察することができる。一方、群集のマスク画像は、複数の人物により構成される人物領域となり、全体として人物の形状をなしていないため、人物の状態や動きを把握しにくくなるが、この群集のマスク画像に注目することで、監視エリアにおいて人物が集まるエリアを把握することができ、例えば店舗では、顧客の関心が高い商品が陳列されているエリアを把握することができる。
【００８０】
また、この第１実施形態では、マスク画像設定部３５において、領域状態に対応したマスク画像を選択するユーザの入力操作に応じて、領域状態に対応したマスク画像を設定するようにしており、ユーザが自由にマスク画像を設定することができるため、ユーザの利便性を高めることができる。そして、マスク画像を適宜に設定することで、用途に応じて注目する領域状態のマスク画像を強調表示させることができるため、人物の行動や監視エリアの状態を把握する作業をユーザが効率的に行うことができる。
【００８１】
また、この第１実施形態では、マスク画像が、領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、領域状態を識別可能にしたため、マスク画像の違いにより、人物領域の領域状態を容易に識別することができる。
【００８２】
また、この第１実施形態では、背景画像処理部３３において、撮影映像から背景画像を更新して生成する場合、映像出力制御部３４において、背景画像上に透過性のマスク画像を重畳した出力映像を生成するようにしており、マスク画像が透過性であることから、背景画像が透けて見えるため、背景画像に写る監視エリアの状況を見ながら人物の行動を観察することができる。
【００８３】
さらに、この第１実施形態では、マスク画像の種類に加えて透過率をユーザが適宜に選択することができるようにしたため、注目する領域状態のマスク画像をより適切に強調表示させることができる。
【００８４】
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【００８５】
図１０は、第２実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図である。この第２実施形態では、人物画像解析部３２が、人物検出部３７および領域状態判定部３８の他に、人物追跡部３９を備えている。
【００８６】
人物検出部３７では、撮影映像のフレームごとに人物枠（人物の上半身を取り囲む矩形）を検出し、その人物枠の位置情報（人物枠の位置および大きさなどに関する情報）を取得する。人物追跡部３９では、人物検出部３７において取得した人物枠の位置情報を関連付ける、すなわち同一人物に関する各フレーム（時刻）における人物枠の位置情報を取得する処理が行われる。領域状態判定部３８では、人物追跡部３９で取得した人物ごとの人物枠の位置情報に基づいて人物領域の領域状態を判定する処理が行われる。
【００８７】
次に、図１０に示した領域状態判定部３８で行われる領域状態判定について説明する。図１１は、領域状態判定部３８で行われる領域状態判定の要領を説明する説明図である。
【００８８】
第２実施形態では、第１実施形態と同様に、領域状態判定部３８において、人物領域が群集および孤立のいずれであるかを判定する処理が行われるが、第１実施形態と異なり、この第２実施形態では、人物追跡部３９による人物追跡結果に基づいて領域状態を判定する。
【００８９】
具体的には、図１１（Ａ）に示すように、２人の人物が離れて、映像から検出された各人物の人物枠領域（人物枠で囲まれた領域）が重なり合わない場合には、領域状態を孤立と判定する。また、図１１（Ｂ）に示すように、２人の人物が近づいて、人物枠領域が重なり合う場合には、人物枠領域の重複率（人物枠領域が互いに重なり合う割合）を求めて、その重複率を所定のしきい値（例えば２０％）と比較し、重複率がしきい値以上であれば領域状態を群集と判定し、重複率がしきい値未満であれば領域状態を孤立と判定する。
【００９０】
ここで、映像上で複数の人物が重なり合った状態では、その複数の人物を１人ずつ検出することができない場合があり、この場合、人物検出が失敗して、人物枠を取得することができないため、領域状態判定を行うことができなくなる。そこで、本実施形態では、人物追跡部３９において取得した人物追跡情報に基づいて、領域状態判定を行う。
【００９１】
すなわち、人物追跡部３９において、人物ごとの各フレーム（時刻）での位置情報を取得し、複数の人物が重なり合った状態となるフレームで人物検出が失敗した場合には、そのフレームでの位置情報を、直前の複数のフレームで取得した位置情報から推定する。これにより、映像上で複数の人物が重なり合った状態でも、領域状態判定を確実に行うことができる。
【００９２】
以上のように、この第２実施形態では、人物画像解析部３２の人物追跡部３９において、人物ごとの人物枠の位置情報を取得し、領域状態判定部３８において、人物追跡部３９で取得した人物ごとの人物枠の位置情報に基づいて人物領域の領域状態を判定するようにしたため、人物領域の領域状態を精度良く判定することができる。
【００９３】
（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
【００９４】
図１２は、第３実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図である。この第３実施形態では、第１実施形態と同様に、領域状態（群集および孤立）別のマスク画像を表示させることができるが、さらに、人物属性（男性および女性）別のマスク画像を表示させることができ、人物画像解析部３２が、人物検出部３７、人物追跡部３９および領域状態判定部３８の他に、人物属性判定部４０を備えている。
【００９５】
人物属性判定部４０では、人物領域を構成する人物ごとの人物属性を判定し、この人物ごとの人物属性に基づいて、人物領域全体の人物属性を判定する。なお、人物属性判定部４０で行われる各人物の人物属性の判定処理は、公知の画像認識技術を用いればよい。
【００９６】
ここで、領域状態が孤立の場合には、人物領域を構成する１人の人物の人物属性を、その人物領域の人物属性とする。一方、領域状態が群集の場合には、人物領域を構成する複数の人物ごとの人物属性から、その人物領域全体の人物属性を求める。例えば、人物属性の人数の割合から、人物領域全体の人物属性を求める。すなわち、主に男性で構成される群集は男性グループとして、人物領域全体の人物属性を男性とし、主に女性で構成される群集は女性グループとして、人物領域全体の人物属性を女性とする。
【００９７】
また、映像上で複数の人物が重なり合った状態では、その複数の人物を１人ずつ検出することができない場合があり、この場合、人物検出が失敗して、人物属性を取得することができないため、人物属性判定を行うことができなくなる。そこで、本実施形態では、人物追跡部３９において取得した人物追跡情報に基づいて、人物属性判定を行う。
【００９８】
すなわち、人物追跡部３９において、人物ごとの各フレーム（時刻）での位置情報を取得し、人物属性判定部４０において、人物追跡部３９により追跡される人物ごとの人物属性を判定する。そして、複数の人物が重なり合った状態となるフレームで人物検出が失敗した場合には、人物属性判定部４０において、直前の各人物の位置情報から、複数の人物が重なり合って群集と判定された人物領域を構成する人物を特定して、その人物領域を構成する各人物の人物属性から人物領域全体の人物属性を求める。
【００９９】
マスク画像設定部３５では、領域状態別および人物属性別のマスク画像を選択するユーザの入力操作に応じて、領域状態別および人物属性別のマスク画像を設定する処理が行われる。なお、領域状態別および人物属性別のマスク画像を予め設定しておくようにしてもよい。
【０１００】
映像出力制御部３４では、人物画像解析部３２から出力された人物ごとの位置情報、領域状態および人物属性に基づき、人物領域を、領域状態別および人物属性別のマスク画像に変更した出力映像を生成して出力する処理が行われ、出力映像は、人物領域ごとのマスク画像が、１つの背景画像上に領域状態および人物属性を識別可能に表示されたものとなる。
【０１０１】
この第３実施形態では、マスク画像が、領域状態および人物属性に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、領域状態および人物属性を識別可能にしたものであり、第１本実施形態と同様に、人物領域の輪郭線の内部を透過性の画像で塗り潰したものとすればよい。
【０１０２】
次に、モニタ４に表示されるモニタリング画面について説明する。図１３は、モニタ４に表示されるモニタリング画面を示す説明図である。
【０１０３】
この第３実施形態でも、第１実施形態（図４参照）と略同様のモニタリング画面がモニタ４に表示され、このモニタリング画面では、凡例表示部４７に、領域状態および人物属性ごとに設定されたマスク画像が表示される。映像表示部４８には、映像出力制御部３４で生成される出力映像、すなわち人物領域を領域状態別および人物属性別のマスク画像に変更した映像が表示される。
【０１０４】
次に、領域状態別および人物属性別のマスク画像を設定する操作について説明する。図１４は、モニタ４に表示されるマスク画像設定画面を示す説明図である。
【０１０５】
このマスク画像設定画面は、領域状態別および人物属性別のマスク画像をユーザが指定するものであり、このマスク画像設定画面には、領域状態選択部７１と、人物属性選択部７２と、マスク画像選択部７３と、設定ボタン７４と、設定内容表示部７５と、が設けられている。
【０１０６】
領域状態選択部７１では、領域状態（群集および孤立）をプルダウンメニューからユーザが選択する。人物属性選択部７２では、人物属性（性別）をプルダウンメニューによりユーザが選択する。マスク画像選択部７３では、領域状態選択部７１で選択した領域状態および人物属性選択部７２で選択した人物属性に対応するマスク画像をタイルメニューからユーザが選択する。
【０１０７】
この領域状態選択部７１、人物属性選択部７２、およびマスク画像選択部７３で領域状態および人物属性とこれに対応するマスク画像を選択して、設定ボタン７４を操作すると、設定内容表示部７５に、設定内容、すなわち領域状態別および人物属性別のマスク画像が表示される。
【０１０８】
次に、人物領域をマスク画像に変更した映像について説明する。図１５は、人物領域をマスク画像に変更した映像を説明する説明図であり、図１５（Ａ）に元の映像を示し、図１５（Ｂ）に人物領域をマスク画像に変更した映像を示す。この映像は、映像出力制御部３４で生成され、図１３に示したモニタリング画面の映像表示部４８に表示される。
【０１０９】
第３実施形態では、第１実施形態（図７参照）と同様に、人物領域をマスク画像に変更した出力映像が表示されるが、特に第３実施形態では、人物領域が、領域状態（群集および孤立）別および人物属性（ここでは男性および女性）別のマスク画像に変更される。
【０１１０】
図１５（Ａ）に示すように、映像には、領域状態が群集となる人物領域として、人物Ｐ２〜Ｐ５で構成される人物領域と、人物Ｐ７，Ｐ８で構成される人物領域とがあり、人物Ｐ２〜Ｐ５で構成される人物領域は、主に男性で構成されるため、人物属性が男性と判定されて、図１５（Ｂ）に示すように、人物領域が群集かつ男性のマスク画像に変更される。一方、人物Ｐ７，Ｐ８で構成される人物領域は、女性のみで構成されるため、人物属性が女性と判定されて、人物領域が群集かつ女性のマスク画像に変更される。
【０１１１】
以上のように第３実施形態では、人物画像解析部３２の人物属性判定部４０において、人物領域の人物属性を判定し、マスク画像設定部３５において、領域状態および人物属性に対応したマスク画像を設定し、映像出力制御部３４において、人物領域を領域状態および人物属性に対応したマスク画像に変更した出力映像を生成して出力するようにしており、人物属性別、例えば男性と女性とで別のマスク画像が表示されることから、マスク画像により人物領域の人物属性を簡単に把握することができるため、人物属性ごとに人物の行動を把握する作業をユーザが効率的に行うことができる。
【０１１２】
なお、この第３実施形態では、人物属性を性別のみで分類したが、年齢（世代）、人種、大人および子供、職業（ＯＬやサラリーマン）などの他の人物属性で分類するようにしてもよく、さらに、複数種類の人物属性を組み合わせて分類するようにしてもよい。また、群集のマスク画像の人物属性として、主とする属性（男性または女性）でマスク画像を設定するようにしたが、群集に含まれる複数の属性が均等であるような場合は、属性を混成と判定して別のマスク画像を設定するようにしてもよい。
【０１１３】
次に、人物領域の領域状態に関する別例について説明する。図１６、図１７、図１８および図１９は、人物領域の領域状態に関する別例を説明する説明図であり、各図の（Ａ）に元の映像を示し、各図の（Ｂ）に人物領域をマスク画像に変更した映像を示す。
【０１１４】
前記の第１〜第３の各実施形態では、領域状態判定部３８において、領域状態として、人物領域が複数の人物により構成される群集と、人物領域が１人の人物により構成される孤立とのいずれであるかを判定する、すなわち、人数が１人および２人以上のいずれであるかによって領域状態を分類して判定するようにしたが、この分類の基準となる人数を変更するようにしてもよい。
【０１１５】
図１６は、領域状態分類の基準となる人数を変更した例を示している。この例では、３人以上の場合に領域状態を群集と判定し、２人以下の場合に領域状態を孤立と判定する。この場合、図８に示したように、人物領域を構成する人数を判断する際に、人物矩形の面積と比較される基準面積を、２人分の人物領域の面積に相当する大きさに設定して、領域状態判定を行えばよい。
【０１１６】
具体的には、図１６（Ａ），（Ｂ）に示すように、映像では、４人の人物Ｐ２〜Ｐ５が重なり合っており、また、２人の人物Ｐ６，Ｐ７が重なり合っている。このうち、４人の人物Ｐ２〜Ｐ５で構成される人物領域では、領域状態が群集と判定されて、群集のマスク画像に変更されるが、２人の人物Ｐ６，Ｐ７で構成される人物領域では、領域状態が孤立と判定されて、孤立のマスク画像に変更される。
【０１１７】
ここで、２人の人物により構成される人物領域では、マスク画像で表される人物が１人か２人かは容易に判別することができるため、人物の状態や動きをある程度把握することができる。このため、人物の状態や動きを把握する用途で孤立のマスク画像を強調表示させる場合に、１人の人物により構成される人物領域とともに、２人の人物により構成される人物領域も孤立とすると、より多くの人物のマスク画像が強調表示されて、より多くの人物の状態や動きを把握することができる。
【０１１８】
また、２人の人物がすれ違う場合のように、２人の人物が重なり合う事象は頻繁に発生し、１人の人物により構成される人物領域のみを孤立とすると、映像を再生する際にマスク画像が頻繁に変化して見にくくなるが、２人の人物により構成される人物領域も孤立とすると、マスク画像が頻繁に変化することを避けることができる。
【０１１９】
なお、本実施形態では、人物領域を構成する人物の人数に応じて、人物領域の領域状態を２つに分類するようにしたが、人物領域の領域状態を３つ以上に分類するようにしてもよい。
【０１２０】
図１７は、人物相互の距離に応じて領域状態を分類した例を示している。この例では、人物相互の距離が小さい場合には群集と判定し、人物相互の距離が大きい場合には孤立と判定する。すなわち、映像で人物が重なり合うことで１つの人物領域が複数の人物により構成される場合には群集となり、さらに、１人の人物により構成される人物領域でも、近くに別の人物がいる場合には群集となる。また、近くに別の人物がいない場合には孤立となる。
【０１２１】
具体的には、図１７（Ａ），（Ｂ）に示すように、２人の人物Ｐ３，Ｐ４は重なり合うことで１つの人物領域を構成しているため、群集のマスク画像に変更される。また、人物Ｐ２は単独で人物領域を構成しているが、近くに別の人物Ｐ３，Ｐ４がいるため、群集のマスク画像に変更される。同様に、人物Ｐ６，Ｐ７はそれぞれ単独で人物領域を構成しているが、互いに近接しているため、群集のマスク画像に変更される。一方、人物Ｐ１，Ｐ５は近くに別の人物がいないため、孤立のマスク画像に変更される。
【０１２２】
このように、人物相互の距離に応じて領域状態を分類するようにすると、店舗内における混雑状態、すなわち混雑しているエリアと閑散としているエリアとを一目で判別することができる。
【０１２３】
この場合、人物領域の中心間の距離で領域状態を判定すればよい。すなわち、人物の位置（人物枠の中心位置）から人物相互の距離を求めて、この人物相互の距離を基準距離と比較し、人物相互の距離が所定の基準距離未満であれば群集と判定し、人物相互の距離が所定の基準距離以上であれば孤立と判定する。この場合、映像上の位置に応じて１人分の人物領域の大きさが異なるため、映像上の位置（例えばＹ座標値）に応じた基準距離を設定するようにするとよい。
【０１２４】
さらに、図１７における人物Ｐ３，Ｐ４のように映像で人物が重なり合うことで１つの人物領域を構成している場合と、人物Ｐ２，Ｐ６，Ｐ７のように近くに別の人物が存在する場合と、人物Ｐ１，Ｐ５のように近くに別の人物がいない場合との３つに領域状態を分類するようにしてもよい。これにより、店舗内における混雑状態をより詳しく把握することができる。
【０１２５】
また、前記の第１〜第３の各実施形態および別例では、領域状態を、人物領域を構成する人物の人数の大小に応じて分類するようにしたが、このような人数に基づいて領域状態を分類する他に、種々の人物の状態で領域状態を分類することができる。
【０１２６】
図１８は、人物の動きの有無に応じて領域状態を分類した例である。この例では、静止または動きが殆どない人物で構成される人物領域を、「動きなし」の領域状態とし、動きがある人物で構成される人物領域を、「動きあり」の領域状態として、人物の動きの有無に応じて異なるマスク画像が設定される。
【０１２７】
具体的には、図１８（Ａ），（Ｂ）に示すように、人物Ｐ１，Ｐ３，Ｐ４は、陳列棚の前で立ち止まって品定めをしているため、静止または動きが殆どないので、領域状態が「動きなし」と判定されて、「動きなし」のマスク画像に変更される。一方、人物Ｐ２，Ｐ５，Ｐ６は、商品を探して歩き回っている、またレジカウンタや出口に向かっているため、動きがあるので、領域状態が「動きあり」と判定されて、「動きあり」のマスク画像に変更される。
【０１２８】
このように、人物の動きの有無に応じて領域状態を分類すると、マスク画像により動きのある人物と動きのない人物とを一目で判別することができる。また、映像を再生した際のマスク画像の変化状況から、店舗内において人物の動きが小さくなるエリアと人物の動きが大きくなるエリアとを容易に識別することができる。
【０１２９】
この場合、人物追跡部３９での追跡結果、すなわち人物ごとの各フレーム（時刻）での位置情報に基づいて人物の動きの有無を判定すればよい。
【０１３０】
なお、この例では、人物に動きがあるか否かで２つに領域状態を分類するようにしたが、人物の動きの程度で領域状態を３つ以上に分類するようにしてもよい。
【０１３１】
図１９は、人物の移動方向に応じて領域状態を分類する例である。この例では、動きのある人物のうち、カメラ１から見て手前側から奥側に移動する人物で構成される人物領域を、「奥側に移動」の領域状態とし、奥側から手前側に移動する人物で構成される人物領域を、「手前側に移動」の領域状態として、人物の移動方向に応じて異なるマスク画像が設定される。
【０１３２】
具体的には、図１９（Ａ），（Ｂ）に示すように、人物Ｐ５は手前側から奥側に移動しているため、領域状態が「奥側に移動」と判定されて、「奥側に移動」のマスク画像に変更される。一方、人物Ｐ２，Ｐ６は奥側から手前側に移動しているため、領域状態が「手前側に移動」と判定されて、「手前側に移動」のマスク画像に変更される。人物Ｐ１，Ｐ３，Ｐ４は静止しているため、領域状態が「動きなし」と判定されて、「動きなし」のマスク画像に変更される。
【０１３３】
このように、人物の移動方向に応じて領域状態を分類すると、マスク画像により人物の移動方向を一目で判別することができる。また、映像を再生した際のマスク画像の変化状況から、店舗内における人物の流れを容易に把握することができる。
【０１３４】
この場合、人物追跡部３９での追跡結果、すなわち人物ごとの各フレーム（時刻）での位置情報に基づいて移動方向を判定すればよい。
【０１３５】
以上のように、人物の動きの有無や移動方向に応じて領域状態を分類することができるが、この他に、人物の顔の向きに応じて領域状態を分類するようにしてもよい。人物の顔の向きは、公知の人物認識技術を用いて取得することができ、人物の顔の向きに応じて領域状態を分類すると、マスク画像により商品に対する顧客の関心度などを把握することができる。
【０１３６】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１３７】
例えば、前記の各実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。さらに、店舗以外の監視エリアを対象とした用途も可能である。
【０１３８】
また、前記の各実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
【０１３９】
また、前記の各実施形態では、背景画像上に人物ごとのマスク画像を重畳した出力映像を生成するようにしたが、マスク画像のみを表示させ、背景画像を表示させない構成も可能である。
【０１４０】
また、前記の各実施形態では、必要な設定事項をプルダウンメニューやタイルメニューの選択により入力するようにしたが、これに限定されるものではなく、適宜な入力部を画面に設ければよく、ラジオボタンなどで選択するようにしたり、数値を直接入力することができるようにしたりしてもよい。
【０１４１】
また、前記の各実施形態では、それぞれに特徴のある種々の構成を示したが、これらの構成は、各実施形態で示した組み合わせに限定されるものではなく、各実施形態で別々に示した構成を適宜に組み合わせることも可能である。
【０１４２】
また、前記の各実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。
【０１４３】
このような構成では、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
【０１４４】
また、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ２１に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。
【０１４５】
また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも映像出力制御処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン２２やタブレット端末２３などの携帯型端末でも映像を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で店舗内の状況を確認することができる。
【０１４６】
また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３のモニタ４にモニタリング画面やマスク画像設定画面を表示させて、ＰＣ３で必要な入力および出力を行うようにしたが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末２３などの携帯型端末で必要な入力および出力を行うようにしてもよい。
【０１４７】
また、近年、モニタとして高画質化を追及した４Ｋテレビなどが開発されており、このような４Ｋテレビに対応したカメラを採用することで、人物の識別性能を高めることができ、人物が多数存在するような環境下でも、ユーザはマスク再生映像から人物の行動を容易に把握することができる。
【産業上の利用可能性】
【０１４８】
本発明にかかるモニタリング装置、モニタリングシステムおよびモニタリング方法は、監視エリアの映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる効果を有し、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
【符号の説明】
【０１４９】
１  カメラ
２  レコーダ
３  ＰＣ
４  モニタ
６  入力デバイス
１２  モニタ
２１  クラウドコンピュータ
２２  スマートフォン
２３  タブレット端末
３２  人物画像解析部
３３  背景画像処理部
３４  映像出力制御部
３５  マスク画像設定部
３７  人物検出部
３８  領域状態判定部
３９  人物追跡部
４０  人物属性判定部
【図１】
2015222881.tif 000003
【図２】
2015222881.tif 000004
【図３】
2015222881.tif 000005
【図４】
2015222881.tif 000006
【図５】
2015222881.tif 000007
【図６】
2015222881.tif 000008
【図７】
2015222881.tif 000009
【図８】
2015222881.tif 000010
【図９】
2015222881.tif 000011
【図１０】
2015222881.tif 000012
【図１１】
2015222881.tif 000013
【図１２】
2015222881.tif 000014
【図１３】
2015222881.tif 000015
【図１４】
2015222881.tif 000016
【図１５】
2015222881.tif 000017
【図１６】
2015222881.tif 000018
【図１７】
2015222881.tif 000019
【図１８】
2015222881.tif 000020
【図１９】
2015222881.tif 000021
【手続補正書】
【提出日】平成26年11月18日(2014.11.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、
前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、
前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、
前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
を備えたことを特徴とするモニタリング装置。
【請求項２】
前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定することを特徴とする請求項１に記載のモニタリング装置。
【請求項３】
前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定することを特徴とする請求項１または請求項２に記載のモニタリング装置。
【請求項４】
前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、
前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、
前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
【請求項５】
前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にしたことを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
【請求項６】
前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、
前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成することを特徴とする請求項１から請求項５のいずれかに記載のモニタリング装置。
【請求項７】
監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、
監視エリアを撮影するカメラと、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、
前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、
前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
を備えたことを特徴とするモニタリングシステム。
【請求項８】
監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する処理を実行するステップと、
前記領域状態に対応した前記マスク画像を設定するステップと、
前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、
を有することを特徴とするモニタリング方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明のモニタリング装置は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明のモニタリングシステムは、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明のモニタリング方法は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明によれば、人物領域を構成する人物の人数に応じて分類される領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
前記課題を解決するためになされた第１の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
これによると、人物領域を構成する人物の人数に応じて分類される領域状態に対応したマスク画像が表示され、このマスク画像により、人物領域における人物の状態を簡単に把握することができるため、映像から人物の行動を把握する作業をユーザが効率的に行うことができ、映像が長時間に及ぶ場合のユーザの負担を軽減することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、第２の発明は、前記領域状態判定部は、前記領域状態として、複数の人物により構成される群集と、１人の人物により構成される孤立とのいずれであるかを判定する構成とする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、第３の発明は、前記マスク画像設定部は、前記領域状態に対応した前記マスク画像を選択するユーザの入力操作に応じて、前記領域状態に対応した前記マスク画像を設定する構成とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、第４の発明は、前記人物画像解析部は、前記人物領域の人物属性を判定する人物属性判定部をさらに有し、前記マスク画像設定部は、前記領域状態および前記人物属性に対応した前記マスク画像を設定し、前記映像出力制御部は、前記人物領域を前記領域状態および前記人物属性に対応した前記マスク画像に変更した前記出力映像を生成して出力する構成とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、第５の発明は、前記マスク画像は、前記領域状態に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記領域状態を識別可能にした構成とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、第６の発明は、前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成する構成とする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、第７の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラによる撮影映像から人物を検出して前記人物領域に関する位置情報を取得する人物検出部、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する領域状態判定部を有する人物画像解析部と、前記領域状態に対応した前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、第８の発明は、監視エリアの撮影映像から検出された人物領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して前記人物領域に関する位置情報を取得する処理、および前記位置情報に基づき、前記人物領域を構成する人物の人数に応じて分類される領域状態を判定する処理を実行するステップと、前記領域状態に対応した前記マスク画像を設定するステップと、前記位置情報および前記領域状態に基づき、前記人物領域を前記領域状態に対応した前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。