(57)【要約】【課題】監視カメラによって撮影された撮影画像を解析することによって、例えば、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知できるようにする。【解決手段】店舗ＰＣ３は、監視カメラ１によって店内を撮影した撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が監視テーブルに設定されている「滞在時間」を経過したか否かを判別し、この設定時間が経過した場合に、例えば、担当者所持の携帯端末装置６にメールなどを送信してその旨を通知する。【選択図】  図１
2007074330.tif 000002
【特許請求の範囲】
【請求項１】
監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、
前記撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する特定手段と、
この特定手段によって特定された監視対象者が登場してから現時点までの滞在時間を計時する計時手段と、
この計時手段によって得られた滞在時間が予め設定されている設定時間を経過したか否かを判別する判別手段と、
この判別手段によって設定時間の経過が判別された場合にその旨を通知する通知手段と、
を具備したことを特徴とする人物監視システム。
【請求項２】
前記特定手段は、撮影画像内に含まれている人物の特徴からその年齢層を推測すると共に、この推測年齢層に基づいて監視対象者を特定する、
ようにしたことを特徴とする請求項1記載の人物監視システム。
【請求項３】
前記特定手段は、撮影画像内に含まれている人物の特徴からその性別を推測すると共に、この性別に基づいて監視対象者を特定する、
ようにしたことを特徴とする請求項1あるいは請求項２記載の人物監視システム。
【請求項４】
前記特定手段は、撮影画像の全領域の中から予め設定された領域を監視領域として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定する、
ようにしたことを特徴とする請求項1記載の人物監視システム。
【請求項５】
前記特定手段は、予め設定されている監視時間帯を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行う、
ようにしたことを特徴とする請求項1記載の人物監視システム。
【請求項６】
監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、
人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する監視情報記憶手段と、
予め設定されている監視時間帯を検出する検出手段と、
前記監視時間帯において前記撮影画像内の監視領域に含まれている人物の年齢層を推測する推測手段と、
この推測手段によって推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する特定手段と、
この特定手段によって監視対象者が監視領域内に居ることを通知する通知手段と、
を具備したことを特徴とする人物監視システム。
【請求項７】
前記監視対象者を特定するための特徴情報は、年齢層のほかに性別を含み、
前記推測手段は、人物の年齢層と共に、性別を推測し、
前記特定手段は、推測された年齢層及び性別が前記特徴情報で示される年齢層及び性別に該当する人物である場合に、当該人物を監視対象者として特定する、
ようにしたことを特徴とする請求項６記載の人物監視システム。
【請求項８】
予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中から任意の通知方法を選択して設定する通知方法設定手段を設け、
前記通知手段は、前記任意に選択された通知方法によって通知する、
ようにしたことを特徴とする請求項1あるいは請求項６記載の人物監視システム。
【請求項９】
コンピュータに対して、
監視カメラによって撮影された撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する機能と、
特定された監視対象者が登場してから現時点までの滞在時間を計時する機能と、
計時された滞在時間が予め設定されている設定時間を経過したか否かを判別する機能と、
設定時間の経過が判別された場合に、その旨を通知する機能と、
を実現させるためのプログラム。
【請求項１０】
コンピュータに対して、
人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する機能と、
予め設定されている監視時間帯において監視カメラによって撮影された撮影画像内の監視領域に含まれている人物の年齢層を推測する機能と、
推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する機能と、
この特定された監視対象者が監視領域内に居ることを通知する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システム及びプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムとしては、例えば、顧客の顔、全体像を撮影する監視カメラと、このカメラによって撮影された映像情報をネットワーク経由で映像サーバに転送するシステムと、顧客情報をデータサーバに転送するシステムとを備え、映像情報と顧客情報とをリンクさせて記憶管理するようにした顧客情報管理システムが知られている（特許文献１参照）。また、監視カメラによって事務所内を撮影した画像から不審者の侵入を検出した際にその旨を示すメールを携帯電話へ送信するようにした遠隔監視システムが知られている（特許文献２参照）。
【特許文献１】特開２００２−１８３４１３号公報
【特許文献２】特開２００２−２３０６５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した顧客情報管理システムにあっては、映像情報と顧客情報とをリンクさせて記憶管理することで、常連客を画像認識してサービスを提供するようにしたものであり、常連客を認識できたとしても、それ以外の顧客を認識することは困難であり、購買意欲を持った顧客がせっかく来店したとしても、販売の機会を逃がしてしまうなどの問題があった。また、上述した遠隔監視システムにあっては、不審者の侵入を携帯電話にメール送信することによって不審者の侵入という異常事態を通知することができたとしても、不審者なのか正規な人物なのかを容易に判別することは困難であり、その判断を誤るおそれもあった。
【０００４】
この発明の課題は、監視カメラによって撮影された撮影画像を解析することによって、例えば、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知できるようにすることである。
【課題を解決するための手段】
【０００５】
請求項１記載の発明は、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、前記撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する特定手段と、この特定手段によって特定された監視対象者が登場してから現時点までの滞在時間を計時する計時手段と、この計時手段によって得られた滞在時間が予め設定されている設定時間を経過したか否かを判別する判別手段と、この判別手段によって設定時間の経過が判別された場合にその旨を通知する通知手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項９記載の発明）。
【０００６】
なお、請求項１記載の発明は次ぎのようなものであってもよい。
前記特定手段は、撮影画像内に含まれている人物の特徴からその年齢層を推測すると共に、この推測年齢層に基づいて監視対象者を特定する（請求項２記載の発明）。
【０００７】
前記特定手段は、撮影画像内に含まれている人物の特徴からその性別を推測すると共に、この性別に基づいて監視対象者を特定する（請求項３記載の発明）。
【０００８】
前記特定手段は、撮影画像の全領域の中から予め設定された領域を監視領域として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定する（請求項４記載の発明）。
【０００９】
前記特定手段は、予め設定されている監視時間帯を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行う（請求項５記載の発明）。
【００１０】
予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中かに任意の通知方法を選択して設定する通知方法設定手段を設け、前記通知手段は、前記任意に選択された通知方法によって通知する（請求項８記載の発明）。
【００１１】
請求項６記載の発明は、監視カメラによって撮影された撮影画像に基づいて人物を監視する人物監視システムであって、人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する監視情報記憶手段と、予め設定されている監視時間帯を検出する検出手段と、前記監視時間帯において前記撮影画像内の監視領域に含まれている人物の年齢層を推測する推測手段と、この推測手段によって推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する特定手段と、この特定手段によって監視対象者が特定された場合にその旨を通知する通知手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項６記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。
【００１２】
前記監視対象者を特定するための特徴情報は、年齢層のほかに性別を含み、前記推測手段は、人物の年齢層と共に、性別を推測し、前記特定手段は、推測された年齢層及び性別が前記特徴情報で示される年齢層及び性別に該当する人物である場合に、当該人物を監視対象者として特定するようにしてもよい（請求項７記載の発明）。
予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中から任意の通知方法を選択して設定する通知方法設定手段を設け、前記通知手段は、前記任意に選択された通知方法によって通知するようにしてもよい（請求項８記載の発明）。
【発明の効果】
【００１３】
請求項１記載の発明によれば、監視カメラによって撮影された撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が予め設定されている設定時間を経過したか否かを判別し、この設定時間の経過が判別された場合にその旨を通知するようにしたから、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知することができる。例えば、「デパートなどの店舗において、ある種の顧客がある売り場に３０秒以上滞在しているときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。また、「ある種の人物がある場所に３０秒以上滞在しているときには、不審者である可能性が強い」という規則性がある場合に、不審者を容易に認識することができ、警備担当者に警報すれば、セキュリティ管理上有効なものとなる。
【００１４】
請求項２記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、撮影画像内に含まれている人物の特徴からその年齢層を推測すると共に、この推測年齢層に基づいて監視対象者を特定するようにしたから、２０歳以下、２０〜４０歳、４０〜６０歳、６０〜８０歳のように年齢層別に人物を監視することができる。この場合、人物の顔部分、髪型、衣服、アクセサリなどをも総合的に考慮して年齢層を推測すればよい。
【００１５】
請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、撮影画像内に含まれている人物の特徴からその性別を推測すると共に、この性別に基づいて監視対象者を特定するようにしたから、男女別に人物を監視することができる。この場合においても、人物画像を解析することによって人物の顔、髪型、衣服、アクセサリなどを総合的に考慮して年齢層を推測すればよい。また、年齢層と性別とを組み合わせれば、監視対象者をより細かく特定することが可能となる。
【００１６】
請求項４記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、撮影画像の全領域の中から予め設定された領域を監視領域として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定するようにしたから、例えば、店内全域を撮影した撮影画像の中からある売り場の領域を監視領域として設定しておけば、この売り場への顧客の出入りと共に、その滞在状況を監視することが可能となる。なお、必要に応じて監視領域を任意に変更可能としてもよい。
【００１７】
請求項５記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、予め設定されている監視時間帯を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行うようにしたから、監視時間帯をも加味して監視対象者を特定することができる。
【００１８】
請求項８記載の発明によれば、上述した請求項１記載の発明と同様の効果を有するほか、予め決められている通知先宛に電子メールを送信して通知する方法、撮影画像のモニタ画面上でオペレータに対して通知する方法、予め決められている通話相手先に音声メッセージを送信して通知する方法の中から任意の通知方法を選択して通知するようにしたから、例えば、担当者の現状などを考慮するなど、実情に即した対応が可能となる。
【００１９】
請求項６記載の発明によれば、人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理している状態において、予め設定されている監視時間帯を検出し、この監視時間帯において撮影画像内の監視領域に含まれている人物の年齢層を推測すると共に、この年齢層が特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定し、この監視対象者が監視領域内に居ることを通知するようにしたから、購買意欲を持った顧客かどうか、不審者かどうかなどを適切に認識して通知することができる。例えば、「デパートなどの店舗において、ある種の顧客が１３時００分〜１７時００分にある売り場あるいはポイントに行ったときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。また、「ある種の人物が２１時００分以降の遅い時間帯にある場所に行ったときには、不審者である可能性が強い」という規則性がある場合に、不審者を容易に認識することができ、警備担当者に警報すれば、セキュリティ管理上有効なものとなる。
【００２０】
請求項７記載の発明によれば、上述した請求項６記載の発明と同様の効果を有するほか、監視領域に含まれている人物の年齢層と共に性別を推測し、この年齢層及び性別が特徴情報で示される年齢層及び性別に該当する人物である場合に、当該人物を監視対象者として特定するようにしたから、年齢層と性別との組み合わせによって監視対象者をより細かく特定することが可能となる。
なお、この請求項６記載の発明においても、上述した請求項８記載の発明と同様の効果を有する。
【発明を実施するための最良の形態】
【００２１】
（実施例１）
以下、図１〜図８を参照して本発明の第１実施例を説明する。
図１は、人物監視システムの全体構成の概要を示したブロック図である。
この人物監視システムは、店舗内を撮影して顧客状況を監視する顧客監視システムを構成するもので、監視カメラ１は、静止画撮影も可能なビデオカメラであり、例えば、店舗全域を広角撮影したり、複数の売り場一括して広角撮影するために壁面、天井などに取り付けられているメインカメラのほかに、売り場の陳列棚などの近くに配置することによって顧客の顔部分を中心に拡大撮影が可能な補助カメラを有している。この監視カメラ１から出力されたアナログビデオ信号は、ビデオキャプチャボード２によってデジタル化されたビデオデータに変換されて店舗ＰＣ（パーソナルコンピュータ）３に取り込まれる。
【００２２】
店舗ＰＣ３は、必要に応じてビデオデータ圧縮・伸張処理を施したり、ハードディスク（図示せず）に記録蓄積したり、インターネット４、移動体通信網を構成する基地局５介して担当者などの携帯端末装置６に送信するなどの処理を行う。なお、携帯端末装置６は、内線電話としても使用可能な携帯電話装置である。店舗ＰＣ３は、監視カメラ１によって撮影された撮影画像を１秒間隔毎に取り込み、この撮影画像を解析しながら当該撮影画像内に含まれている顧客の特徴からの性別及び年齢層を推測し、予め設定されている性別及び年齢層に合致する場合には、この顧客を監視対象者として特定するようにしている。
【００２３】
店舗ＰＣ３は、人物の画像部分を解析することによってその顧客の顔、髪型、衣服、身長、アクセサリ、靴などを総合的に考慮して性別、年齢層を推測するが、特定困難な場合には、顔画像を詳細に解析して推測するようにしている。なお、年齢層は、２０歳以下、２０〜４０歳、４０〜６０歳、６０〜８０歳、８０歳以上の５分類を推測するようにしている。そして、店舗ＰＣ３は、上述のようにして特定した監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が予め設定されている設定時間を経過した場合にはその旨を通知（報告）するようにしている。例えば、ある年代、性別の顧客はある売り場に３０秒以上滞在しているときには、この売り場の商品を購入する傾向が強いという規則性がある場合に、その顧客を購買意欲を持った顧客であると認識し、その売り場の担当者所持の携帯端末装置６に対して電子メールを送信して接客業務を要請する旨の通知を行うようにしている。
【００２４】
図２は、店舗ＰＣ３側に設けられている監視テーブルＷＴの内容を例示した図である。
この監視テーブルＷＴには、顧客を監視するための条件として「監視時間帯」、「監視領域」、「性別」、「年齢層」が設定されていると共に、通知するための条件として「滞在時間」が設定され、また、「通知方法」が設定されている。「監視時間帯」は、顧客監視を実行する時間帯を示し、それ以外の時間帯では顧客監視は行われない。「監視領域」は、監視対象のエリアを示し、例えば、図３に示すように撮影画像の全域のうち、売り場Ａ、Ｂを含む領域が監視エリアとして指定されている場合には、売り場Ｃのエリアは監視対象外となる。また、「性別」、「年齢層」は、監視対象者を特定するための条件である。
【００２５】
ここで、例えば、１レコード目の内容は、「監視時間帯」として“１２時００分〜１７時００分”を設定し、「監視領域」として“Ａ売り場（領域）”を設定し、「性別」、「年齢層」として“男性”、“４０歳〜６０歳”の中年者層を設定し、「滞在時間」として“１５秒”を設定し、「通知方法」として“メール送信”を設定した場合である。なお、２レコード目では、「性別」を問わない場合であり、「通知方法」として店舗ＰＣ３のモニタ画面上の一部を点滅表示などによって監視オペレータに対して報知（通知）する“ブリンキング”を設定した場合である。
【００２６】
図４は、監視テーブルＷＴの監視条件、通知条件、通知方法を設定する場合の設定画面を示した図である。
この設定画面は、監視条件の設定用として「性別」、「年齢層」、「監視時間帯」、「監視領域」対応のチェックボックス欄と、通知条件の設定用として「滞在時間」のチェックボックス欄とを有する構成で、各ボックス欄には選択候補が一覧表示されており、その中の任意の項目を選択するためにこの項目位置にチェックを入れると、当該項目データが設定データとして監視テーブルＷＴに書き込まれる。この場合、図示の例では、監視条件として“男性”、“４０〜６０歳”、“０９時００〜１２時００分”及び“１２時００分〜１７時００分”、“Ａ領域”を選択設定した場合であり、通知条件として“１５秒”を選択設定した場合である。ここで、「監視時間帯」は、“０９時００〜１７時００分”となる。
【００２７】
ここで、性別を問わない場合には、“男性”、“女性”の何れの項目にもチェックを入れればよく、また、「年齢層」、「監視時間帯」を問わない場合にもその全ての項目にチェックを入れればよい。また、「監視領域」を問わない場合には、“無し”の項目を選択してチェックすればよい。この例では、「滞在時間」の選択候補として、“１５秒”、“３０秒”、“１分”、“３分”、“１０分”の中からその１つを選択するようにしているが、任意の時間を入力するようにしてもよい。また、監視条件、通知条件の設定画面の下側には、通知方法を設定する設定画面が設けられている。この場合、通知方法としては、「画像領域枠のブリンキング」、「メールメッセージ送信」、「電話メッセージ送信」の３種類が用意されており、その中から何れかの通知方法にチェックを選択するようにしている。
【００２８】
図５は、店舗ＰＣ３の基本的構成要素を示したブロック図である。
ＣＰＵ３１は、記憶部３２内のオペレーティングシステム、各種アプリケーションソフトに応じてこの店舗ＰＣ３の全体動作を制御する中央演算処理装置である。記憶部３２は、プログラム領域とデータ領域とを有し、磁気的メモリ、光学的メモリ、半導体メモリ等のほか、その駆動系を有する構成となっている。この記憶部３２内のプログラム領域には、後述する図６〜図８に示す動作手順に応じて本実施例を実現するためのアプリケーションプログラムが格納され、また、そのデータ領域には、監視テーブルＷＴなどが格納されている。なお、記憶部３２は、ハードディスク等の固定メモリのほか、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体であってもよい。
【００２９】
この記憶部３２内のプログラム、データは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）３３にロードされたり、このＲＡＭ３３内のデータが記憶部３２にセーブされる。なお、ＲＡＭ３３は、プログラム実行領域と作業領域とを有している。ＣＰＵ３１には、その入出力周辺デバイスである通信部３４、入力部３５、表示部３６がバスラインを介して接続されており、入出力プログラムによってＣＰＵ３１は、これらの入出力デバイスの動作制御を行う。
【００３０】
次ぎに、この第１実施例における店舗ＰＣ３の動作概念を図６〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。
【００３１】
図６は、店舗ＰＣ３側で監視テーブルＷＴの内容を編集する際の編集処理を示したフローチャートである。
先ず、ＣＰＵ３１は、監視テーブルＷＴに新たなレコードを新規登録する登録指示を受けたか（ステップＡ１）、登録済みレコードの内容を変更する変更指示を受けたか（ステップＡ２）、登録済みレコードを削除する削除指示を受けたかを調べる（ステップＡ３）。ここで、新規登録指示を受けた場合には（ステップＡ１でＹＥＳ）、監視条件、通知条件、通知方法を設定する設定画面（図４参照）のフォームを読み出して表示出力させる（ステップＡ４）。
【００３２】
この設定画面内ににおいて、「性別」、「年齢層」、「監視時間帯」、「監視領域」、「滞在時間」、「通知方法」の何れかにチェックが入れられると、その位置の項目データを入力データとして取り込み（ステップＡ５）、以下、全てにチェックが入れられるまで（ステップＡ６）、上述のステップＡ５に戻るが、全てにチェックが終了すると、各入力データを組み合わせたレコードを生成し（ステップＡ７）、監視テーブルＷＴに追加登録する（ステップＡ８）。
【００３３】
また、変更指示を受けた場合には（ステップＡ２でＹＥＳ）、監視テーブルＷＴの内容を表示出力させる（ステップＡ９）。ここで、変更対象のレコード及び変更項目が選択指定されると（ステップＡ１０）、当該選択項目対応の設定画面が表示される（ステップＡ１１）。例えば、「監視時間帯」が選択された場合には「監視時間帯」のチェックボックス欄が表示されるので、その中から任意の項目にチェックを入れると、そのチェック位置対応の項目データを入力データとして取り込み（ステップＡ１２）、登録済みの項目内容をこの入力データに変更する（ステップＡ１３）。また、削除指示を受けた場合には（ステップＡ３でＹＥＳ）、監視テーブルＷＴの内容を表示出力させる（ステップＡ１４）。ここで、削除対象のレコードが選択指定されると（ステップＡ１５）、監視テーブルＷＴから当該指定レコードを削除する（ステップＡ１６）。
【００３４】
図７及び図８は、店舗ＰＣ３側での顧客監視処理を示したフローチャートであり、一定時間毎（例えば、１秒毎）に割り込みによって実行開始される。
先ず、ＣＰＵ３１は、監視テーブルＷＴをアクセスして（ステップＢ１）、その先頭から１レコードを読み出す（ステップＢ２）。そして、現在時刻を取得し（ステップＢ３）、読み出した監視レコード内の「監視時間帯」の開始時刻と比較して、その開始時刻に到達したかをチェックし（ステップＢ４）、「監視時間帯」の開始時刻に達していなければ、後述する図８のステップＢ３２に移るが、「監視時間帯」の開始時刻に達した際には、監視カメラ１から現時点の撮影画像を取得する（ステップＢ５）。
【００３５】
そして、ＣＰＵ３１は、上述のようにして読み出した監視レコード内の「監視領域」を参照し、各売り場に対応付けられている領域Ａ〜Ｄのうち少なくともその何れかが設定されているか、“無し”が設定されているかを調べる（ステップＢ６）。ここで、領域Ａ〜Ｄのうち少なくともその何れかが「監視領域」として設定されていれば、撮影画像内の指定領域を監視エリアとして特定するが（ステップＢ７）、“無し”が設定されていれば、撮影画像の全領域を監視エリアとして特定する（ステップＢ８）。
【００３６】
この状態において、ＣＰＵ３１は、前回取得の撮影画像と今回取得の撮影画像とを比較しながら各撮影画像を解析し（ステップＢ９）、監視エリア内に新たな顧客が登場したかを調べる（ステップＢ１０）。すなわち、撮影画像を解析することによって撮影画像内に含まれている顧客の個々を特定すると共に、この特定位置に対応して顧客の特徴を示す情報（髪型、衣服を中心とした特徴情報）を含む顧客識別情報を付加しておき、前回の撮影画像に付加されている顧客識別情報と今回の撮影画像に付加されている顧客識別情報とを比較し、顧客の移動をも考慮して同一顧客か否かをチェックしながら監視エリア内に新たな顧客が登場したかを調べるようにしている。
【００３７】
ここで、監視エリア内の前回の顧客と今回の顧客との間で変化が無く、新たな顧客が居なければ（ステップＢ１０でＮＯ）、後述する図８のフローに移るが、今回、監視エリア内に新たな顧客が登場した場合には、この顧客の画像部分を抽出してその部分を詳細に解析し（ステップＢ１１）、顧客の性別を推定すると共に（ステップＢ１２）、年齢層を推定する処理を実行する（ステップＢ１３）。この性別・年齢層推定処理は、顧客の顔、髪型、衣服、身長、アクセサリ、靴などを総合的に考慮して推測するが、性別、年齢層を特定することが困難な場合には、顔画像を更に詳細に解析して推測するようにしている。
【００３８】
このようにして推定された性別、年齢層と上述した監視レコード内の「性別」、「年齢層」とを比較し（ステップＢ１４）、それらが一致するか否かによって監視対象者が登場したか否かをチェックする（ステップＢ１５）。ここで、「性別」、「年齢層」がそれぞれ一致すれば（ステップＢ１５でＹＥＳ）、この顧客を監視対象者として特定したのち（ステップＢ１６）、この顧客（監視対象者）とその登場時刻とを対応付けてＲＡＭ３３のワーク域に一時記憶しておく（ステップＢ１７）。そして、新たに登場した顧客がほかにも居る場合には（ステップＢ１８でＹＥＳ）、上述のステップＢ１１に戻って監視対象者を特定して登録する処理を繰り返す。
【００３９】
また、前回取得の撮影画像と今回取得の撮影画像とを比較した結果、今回、監視エリア内から退場した顧客が居るか否かを調べ（図８のステップＢ１９）、新たな退場者が居れば、その退場者を特定したのち（ステップＢ２０）、この退場者対応の一時記憶内容を消去する（ステップＢ２１）。つまり、上述したようにＲＡＭ３３のワーク域に一時記憶されている監視対象者（退場者）とその登場時刻を消去する。そして、ＲＡＭ３３のワーク域に監視対象者が一時記憶されているか、つまり、一人でも監視対象者が監視エリア内に居るかを調べ（ステップＢ２２）、監視対象者が居れば、その中から何れか一人を指定し（ステップＢ２３）、この指定客（監視対象者）対応の登場時刻を読み出すと共に（ステップＢ２４）、現在時刻を取得し、現在時刻から登場時刻を減算し、当該顧客が監視エリア内に居た滞在時間を算出する（ステップＢ２５）。
【００４０】
このようにして算出した滞在時間と上述した監視レコード内の「滞在時間」とを比較し、算出した滞在時間は設定されている滞在時間を経過したかをチェックし（ステップＢ２６）、滞在時間が設定時間未満であれば、上述のステップＢ２２に戻り、監視エリア内に未指定の監視対象者が居ることを条件に、次ぎの監視対象者を指定する（ステップＢ２３）、以下、指定した監視対象者の滞在時間を算出しながら設定時間と比較する。この結果、設定時間の経過が検出されると（ステップＢ２６でＹＥＳ）、上述した監視レコードを参照して「通知方法」を決定する（ステップＢ２７）。
【００４１】
いま、「通知方法」が“メールメッセージ送信”であれば、購買意欲がある顧客が来店中であることを示すメール文の作成を指示すると共に、この監視エリア（売り場）の担当者所持の携帯端末装置６を特定し、そのメールアドレス宛に作成メールの送信を指示する（ステップＢ２８）。また、「通知方法」が“画像領域枠のブリンキング”であれば、画像領域枠（該当する売り場を示す監視エリア枠）の全体を点滅表示させる（ステップＢ２９）。この点滅表示に合わせて該当顧客の所在位置を明示するようにしてもよい。また、「通知方法」が“電話メッセージ送信”であれば、購買意欲がある顧客が来店中であることを示す音声メッセージの作成を指示すると共に、この監視エリア（売り場）の担当者所持の携帯端末装置６を特定し、その電話番号宛に音声メッセージの送信を指示する（ステップＢ３０）。なお、この場合、専用のソフトを起動させることによって担当者所持の携帯端末装置６に対してメールの作成送信あるいは音声メッセージの作成送信が行われる。
【００４２】
そして、ステップＢ２２に戻り、全ての監視対象者を指定し終わるまで上述の動作を繰り返される。これによって全ての監視対象者を指定し終わった場合には（ステップＢ２２でＮＯ）、監視時間帯の終了時刻かをチェックし（ステップＢ３２）、終了時刻になるまで図７のステップＢ５に戻るが、終了時刻に達した場合には、監視テーブルＷＴに次ぎのレコードが設定されているかを調べ（ステップＢ３２）、有れば、図７のステップＢ２に戻り、以下、上述の動作が繰り返される。
【００４３】
以上のように、この第１実施例において店舗ＰＣ３は、監視カメラ１によって店内を撮影した撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定すると共に、この監視対象者が登場してから現時点までの滞在時間を計時し、この滞在時間が監視テーブルＷＴに設定されている「滞在時間」を経過したか否かを判別し、この設定時間が経過した場合にその旨を通知するようにしたから、例えば、「ある種の顧客がある売り場に３０秒以上滞在しているときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。
【００４４】
この場合、店舗ＰＣ３は、撮影画像内に含まれている人物の特徴からその性別、年齢層を推測すると共に、推測した性別、年齢層に基づいて監視対象者を特定するようにしたから、性別、年齢層別に顧客を監視することができると共に、監視対象者をより細かく特定することが可能となる。また、店舗ＰＣ３は、撮影画像の全領域の中から予め設定された領域を監視領域（監視エリア）として特定すると共に、この監視領域内に含まれている人物の特徴から監視対象者を特定するようにしたから、例えば、店内全域を撮影した撮影画像の中からある売り場の領域を監視領域として設定しておけば、この売り場への顧客の出入りと共に、その滞在状況を監視することが可能となる。
【００４５】
店舗ＰＣ３は、監視テーブルＷＴに設定されている「監視時間帯」を検出すると共に、この監視時間帯を検出する毎に、監視対象者を特定する動作を行うようにしたから、監視時間帯をも加味して監視対象者を特定することができる。また、「画像領域枠のブリンキング」、「メールメッセージ送信」、「電話メッセージ送信」の３種類の通知方法の中から任意に選択した通知方法で通知するようにしたから、担当者の現状などを考慮するなど、実情に即した対応が可能となる。
（実施例２）
【００４６】
以下、この発明の第２実施例について図９図を参照して説明する。
なお、上述した第１実施例においては、監視対象者が登場してから現時点までの滞在時間が監視テーブルＷＴに設定されている「滞在時間」を経過した場合にその旨を通知するようにしたが、この第２実施例においては、予め監視時間帯及び監視領域が設定されている状態において、監視時間帯内で撮影した撮影画像内の監視領域に含まれている人物の年齢層を推測して監視対象者を特定した場合に、この監視対象者が監視領域内に居ることを通知するようにしたたものである。
【００４７】
ここで、両実施例において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施例の特徴部分を中心に説明するものとする。なお、監視テーブルＷＴは、上述した第１実施例と同様に監視条件として「性別」、「年齢層」、「監視時間帯」、「監視領域」の各項目を有しているが、この第２実施例の監視テーブルＷＴには、通知条件としての「滞在時間」を有しない構成となっている。  
【００４８】
図９は、第２実施例において店舗ＰＣ３での顧客監視処理を示したフローチャートであり、基本的には、上述した図７及び図８のフローチャートと同様であり、一定時間毎に割り込みによって実行開始される。
先ず、上述した第１実施例と同様に、ＣＰＵ３１は、監視テーブルＷＴをアクセスしてその先頭から１レコードを読み出す（ステップＣ１）。そして、この監視レコード内の「監視時間帯」の開始時刻に到達したかをチェックし（ステップＣ２）、この開始時刻に到達した場合には、監視カメラ１から現時点の撮影画像を取得する（ステップＣ３）。
【００４９】
そして、ＣＰＵ３1は、監視レコード内の「監視領域」を参照し、各売り場に対応付けられている領域Ａ〜Ｄのうち、少なくともその何れかが設定されているか、“無し”が設定されているかを判別し（ステップＣ４）、領域Ａ〜Ｄの何れかが「監視領域」として設定されていれば、撮影画像内の指定領域を監視エリアとして特定するが（ステップＣ５）、“無し”が設定されていれば、撮影画像の全領域を監視エリアとして特定する（ステップＣ６）。この状態において、ＣＰＵ３１は、前回取得の撮影画像と今回取得の撮影画像とを比較しながら各撮影画像を解析し（ステップＣ７）、監視エリア内に新たな顧客が登場したかを調べ（ステップＣ８）、新たな顧客が居なければ（ステップＣ８でＮＯ）、後述するステップＣ１４に移るが、今回、監視エリア内に新たな顧客が登場した場合には、この顧客の画像部分を抽出してその部分を詳細に解析することによって当該顧客の性別を推定すると共にその年齢層を推定する（ステップＣ９）。
【００５０】
そして、推定した性別及び年齢層と監視レコード内の「性別」、「年齢層」とを比較し（ステップＣ１０）、それらが一致するか否かによって監視エリア内に監視対象者が登場したか否かをチェックする（ステップＣ１１）。ここで、性別、年齢層がそれぞれ一致すれば、この顧客を監視対象者として特定し、この顧客（監視対象者）をＲＡＭ３３のワーク域に一時記憶しておく（ステップＣ１２）。そして、新たに登場した顧客がほかにも居れば（ステップＣ１３でＹＥＳ）、上述のステップＣ９に戻って監視対象者を特定して登録する処理を繰り返す。
【００５１】
また、前回取得の撮影画像と今回取得の撮影画像とを比較した結果、今回、監視エリア内から退場した顧客が居るか否かを調べ（ステップＣ１４）、新たな退場者が居る場合には、その退場者の一時記憶を消去する（ステップＣ１５）。このように退場者を除く監視対象者が一人でも監視エリア内に居るかを調べ（ステップＣ１６）、監視対象者が居れば、その中から何れか一人を指定したのち（ステップＣ１７）、上述した第１実施例と同様に監視レコードを参照して指定客（監視対象者）に対する「通知方法」を決定して通知する処理を行う（ステップＣ１８）。
【００５２】
そして、ステップＣ１６に戻り、全ての監視対象者を指定し終わるまで上述の動作を繰り返す。これによって全ての監視対象者を指定し終わった場合には、監視時間帯の終了時刻かをチェックし（ステップＣ１９）、終了時刻になるまでステップＣ３に戻るが、監視時間帯の終了時刻に達した場合には、監視テーブルＷＴに次ぎのレコードが設定されているかを調べ（ステップＣ２０）、次ぎのレコードが有れば、ステップＣ１に戻り、以下、上述の動作を繰り返す。
【００５３】
以上のように、この第２実施例において店舗ＰＣ３は、監視テーブルＷＴに「性別」、「年齢層」、「監視時間帯」、「監視領域」が設定されている状態において、この監視時間帯において撮影画像内の監視領域に含まれている人物の性別及び年齢層を推測すると共に、この性別、年齢層が監視レコードの設定内容に該当する場合には、この顧客を監視対象者として特定し、この監視対象者が監視領域内に居ることを通知するようにしたから、例えば、「ある種の顧客が１３時００分〜１７時００分にある売り場あるいはポイントに行ったときには、この売り場の商品を購入する傾向が強い」という規則性がある場合に、購買意欲を持った顧客を容易に認識することができ、その売り場の担当者に対して接客を要請するようにすれば、販売の機会を逃すこともなく、販売促進上有効なものとなる。
【００５４】
なお、上述した第１及び第２実施例においては、年齢層として、２０歳以下、２０〜４０歳、４０〜６０歳、６０〜８０歳、８０歳以上の５分類を推測するようにしたが、若者層、中年層、高齢者層の３分類あるいは２分類を推測するなど、任意である。また、年齢層と性別とを組み合わせて監視対象者を特定するようにしたが、何れか一方によって監視対象者を特定するようにしてもよい。また、監視対象者の特定条件としては、年齢層、性別に限らず、その他の要素として、例えば、身長、肥満度、服装などを考慮して監視対象者を特定するようにしてもよい。
【００５５】
上述した第１及び第２実施例の人物監視システムは、店舗内を撮影して顧客状況を監視する顧客監視システムに適用し、購買意欲を持った顧客を特定して、その売り場の担当者に接客を要請する場合を例示したが、店舗、会社、学校、病院などの構内を撮影して不審者を特定する不審者監視システムに適用するようにしてもよい。例えば、「ある種の人物がある場所に３０秒以上滞在しているときには、不審者である可能性が強い」、「ある種の人物が２１時００分以降の遅い時間帯にある場所に行ったときには、不審者である可能性が強い」という規則性がある場合に、不審者を容易に認識することができ、警備担当者に警報すれば、セキュリティ管理上有効なものとなる。
【００５６】
また、上述した第１及び第２実施例においては、「画像領域枠のブリンキング」、「メールメッセージ送信」、「電話メッセージ送信」の３種類の通知方法の中から任意の通知方法を選択するようにしたが、この中から２種類の通知方法を選択するようにしてもよく、また、通知方法としては、これに限らず、電子掲示板、伝言板などに追加表示する方法であってもよい。また、通知方法を「メールメッセージ送信」、「電話メッセージ送信」などに限ることによってモニタ画面を常時監視する係員を不要とすることが可能となる。また、監視カメラ１は、ビデオカメラに限らず、自動撮影が可能なスチルカメラであってもよい。
【００５７】
その他、店舗ＰＣ３は、スタンドアロンタイプに限らず、その各構成要素が２以上の筐体に物理的に分離され、通信回線、ケーブル等の有線伝送路あるいは電波、マイクロウエーブ、赤外線等の無線伝送路を介してデータを送受信する分散型のシステムを構成するものであってもよい。この場合、性別、年齢層を推測する処理と、通知処理などを別の場所で実行するようにしてもよく、しかも、全体処理をリアルタイムで逐次処理する必要がない場合には、撮影画像を記録メディアなどに蓄積しておき、その後の必要時、性別、年齢層を推測して通知するようにしてもよい。
【００５８】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フレキシブルディスク、ＲＡＭカード等）を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、監視カメラによって撮影された撮影画像を解析しながら当該撮影画像内に含まれている人物の特徴から監視対象者を特定する機能と、特定された監視対象者が登場してから現時点までの滞在時間を計時する機能と、計時された滞在時間が予め設定されている設定時間を経過したか否かを判別する機能と、設定時間の経過が判別された場合に、その旨を通知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、人物の特徴から監視対象者を特定するために年齢層を含む特徴情報と監視エリアを特定するための領域情報とを対応付けて記憶管理する機能と、予め設定されている監視時間帯において監視カメラによって撮影された撮影画像内の監視領域に含まれている人物の年齢層を推測する機能と、推測された年齢層が前記特徴情報で示される年齢層に該当する人物である場合に、当該人物を監視対象者として特定する機能と、この特定された監視対象者が監視領域内に居ることを通知する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【図面の簡単な説明】
【００６０】
【図１】人物監視システムの全体構成の概要を示したブロック図。
【図２】店舗ＰＣ３側に設けられている監視テーブルＷＴの内容を例示した図。
【図３】撮影画像の全域のうち売り場Ａ、Ｂを含む領域が監視エリアとして指定されている場合に、売り場Ｃのエリアは監視対象外となることを示した図。
【図４】監視テーブルＷＴの監視条件、通知条件、通知方法を設定する場合の設定画面を示した図。
【図５】店舗ＰＣ３の基本的構成要素を示したブロック図。
【図６】店舗ＰＣ３側で監視テーブルＷＴの内容を編集する際の編集処理を示したフローチャート。
【図７】店舗ＰＣ３側で一定時間毎に割り込みによって実行開始される顧客監視処理を示したフローチャート。
【図８】図７に続く、フローチャート。
【図９】第２実施例において店舗ＰＣ３で実行される顧客監視処理を示したフローチャート。
【符号の説明】
【００６１】
１  監視カメラ
２  ビデオキャプチャボード
３  店舗ＰＣ
４  インターネット
５  移動体通信網の基地局
６  担当者所持の携帯端末装置
３１  ＣＰＵ
３２  記憶部
３４  通信部
３５  入力部
３６  表示部
ＷＴ  監視テーブル
【図１】
2007074330.tif 000003
【図２】
2007074330.tif 000004
【図３】
2007074330.tif 000005
【図４】
2007074330.tif 000006
【図５】
2007074330.tif 000007
【図６】
2007074330.tif 000008
【図７】
2007074330.tif 000009
【図８】
2007074330.tif 000010
【図９】
2007074330.tif 000011
【手続補正書】
【提出日】平成17年10月25日(2005.10.25)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2007074330.tif 000012