(57)【特許請求の範囲】
【請求項１】
店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、
前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、
分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、
このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、
この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、
を備えたことを特徴とする客層分析装置。
【請求項２】
前記フィルタリング手段は、前記撮像領域に出現した人物が滞留状態にあるか否かの滞留判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１に記載の客層分析装置。
【請求項３】
前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路が、前記分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１または請求項２に記載の客層分析装置。
【請求項４】
前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、グループが１人の人物のみで構成されているか否かの１人グループ判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１から請求項３のいずれかに記載の客層分析装置。
【請求項５】
前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、複数の人物で構成されるグループについて、グループ内で最初に前記撮像領域から退出する人物であるか否かのグループ先頭判定を行うことにより、前記分析対象となる顧客か否かを判定することを特徴とする請求項１から請求項４のいずれかに記載の客層分析装置。
【請求項６】
前記フィルタリング手段は、前記撮像領域内に設定された判定エリアからの退出の有無に基づいて、前記滞留判定を行うことを特徴とする請求項２に記載の客層分析装置。
【請求項７】
前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路と、前記撮像領域の外縁に設定された判定ラインとの交差状態に基づいて、前記移動経路判定を行うことを特徴とする請求項３に記載の客層分析装置。
【請求項８】
前記フィルタリング手段は、前記撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて前記撮像領域への進入位置を推定するとともに、前記撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて前記撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が前記判定ライン上に存在するか否かの判定を行うことにより、前記移動経路判定を行うことを特徴とする請求項７に記載の客層分析装置。
【請求項９】
前記フィルタリング手段は、前記撮像領域で順次検出された人物の検出時刻の間隔に基づいてグループ分けを行うことを特徴とする請求項４または請求項５に記載の客層分析装置。
【請求項１０】
前記フィルタリング手段は、前記撮像領域から退出する直前の移動量を求め、その移動量に基づいて前記撮像領域から退出した時刻を推定することを特徴とする請求項５に記載の客層分析装置。
【請求項１１】
前記出力情報生成部は、前記出力情報として、時系列で取得した所定期間単位の客層別人数に基づいて客層別人数の変動傾向に関する客層傾向情報を生成することを特徴とする請求項１から請求項１０のいずれかに記載の客層分析装置。
【請求項１２】
前記客層傾向情報は、日ごとの店舗営業時間内における前記所定時間単位の顧客の総人数に占める客層別人数を表したものであることを特徴とする請求項１１に記載の客層分析装置。
【請求項１３】
前記客層情報は、性別および年齢のいずれか１つを含むことを特徴とする請求項１から請求項１２のいずれかに記載の客層分析装置。
【請求項１４】
店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、
顧客を撮像する撮像装置と、
複数の情報処理装置と、
を有し、
前記複数の情報処理装置のいずれかが、
前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、
分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、
このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、
この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、
を備えたことを特徴とする客層分析システム。
【請求項１５】
店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、
前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、
分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するステップと、
このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、
このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有することを特徴とする客層分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店舗に来店した顧客の客層に関する分析を行う客層分析装置、客層分析システムおよび客層分析方法に関するものである。
【背景技術】
【０００２】
店舗には、ファミリーレストランなどの飲食店や、コンビニエンスストアなどの小売店などの種々の業務形態があるが、いずれの業務形態でも、客層（性別および年齢など）に応じて嗜好するメニューや商品が異なるため、店舗に来店した顧客の客層に関する分析に基づいて、提供するメニューや商品の品揃えに関する改善策を考えることが、顧客満足度の向上を図り、店舗の売上を伸ばす上で有益である。
【０００３】
このような要望に対して、従来、コンビニエンスストアなどの小売店において、画像認識技術を用いて顧客の客層を判定して、その客層を個々の商品の販売情報に１対１で関連付けた客層付販売情報を生成する技術が知られている（特許文献１参照）。この技術では、顧客の客層を店員に判断させて入力させる手法に比べて、店員の負担を軽減するとともに、店員による判断のばらつきを避けることができる。
【０００４】
さて、前記従来の技術のように、コンビニエンスストアなどの小売店では、レジカウンタで顧客が一人ずつ店員に対面して精算が行われ、客層判定のための撮像は、レジカウンタの前で静止した状態で精算を行う顧客を対象としているため、客層判定で精度よく客層を取得することができ、客層別人数に大きな誤差は発生しない。一方、ファミリーレストランなどの飲食店では、顧客がグループで来店した場合には顧客の一部が精算を行うため、精算時の客層判定では、精算を行わない顧客が客層判定から外れるため、顧客の客層を十分な精度で取得することができない。
【０００５】
このような問題に対して、客層判定における顧客の漏れを避けるため、店舗の出入口から入店する顧客を対象にして客層判定を行うことが考えられるが、ファミリーレストランなどの飲食店では、出入口の付近を店員が行き来する場合があり、また、既に客席に案内された顧客が出入口の付近を通過したり、精算を行う顧客が出入口の付近に滞在したりする場合があり、このような場合には、店員や客層判定から除外すべき顧客が客層判定の対象に含まれるため、顧客の客層に関する分析を精度よく行うことができなくなる。
【０００６】
そこで、客層判定の対象から排除すべき人物を識別することが必要となるが、このような要望に関連するものとして、従来、特定のエリアに所定時間以上静止した状態でいる人物を店員と判定して、店員と顧客とを区別する技術が知られている（特許文献２参照）。また、人物の顔の特徴量を抽出して、その特徴量を比較照合することで、同一の人物を重複して計数することを避ける技術が知られている（特許文献３参照）。また、複数の撮像手段の視差を利用して重なり合った人物を判別して、通過人数を精度よく取得する技術が知られている（特許文献４参照）。また、撮像画像中で出現および消失した人物をその位置に応じて同一の人物か異なる人物かを判断して、同一人物の重複計数や異なる人物の計数漏れを避ける技術が知られている（特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０５５２４８号公報
【特許文献２】特開２０１１−０８６０４５号公報
【特許文献３】特開２００５−２３４９４７号公報
【特許文献４】特開平１０−０４９７１８号公報
【特許文献５】特開２００８−０３５０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ファミリーレストランなどの飲食店では、顧客や店員が入り交じって店舗内を移動するため、前記従来の技術を適用するにしても、店舗内を移動する人物を広範囲にわたって追跡する必要があることから、処理が極めて煩雑になるという問題があり、また、前記のように、店舗の出入口の付近のエリアに限定しても、出入口の付近を店員が行き来したり、既に客席に案内された顧客が出入口の付近を通過したり、精算を行う顧客が出入口の付近に滞在したりする場合があり、このような場合に、前記従来の技術では、店員や対象から除外すべき顧客を精度よく識別する要望に十分に答えることができないという問題があった。
【０００９】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、店員が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けて、店舗に来店した顧客の客層に関する分析を精度よく行うことができるように構成された客層分析装置、客層分析システムおよび客層分析方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の客層分析装置は、店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
【００１１】
また、本発明の客層分析システムは、店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、顧客を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
【００１２】
また、本発明の客層分析方法は、店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するステップと、このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。
【発明の効果】
【００１３】
本発明によれば、店舗の出入口の近傍の案内待ちエリアから客席に向かって移動する行動は、店舗に入店した顧客が必ず１回だけ行う行動であり、この行動と異なる行動をとる人物をフィルタリング手段により検出してその人物を分析対象から排除することで、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。これにより、顧客の客層に関する分析を精度よく行うことができ、顧客満足度や売上および利益の向上を図る改善策を考える上で有益な情報を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る客層分析システムの全体構成図
【図２】店舗のレイアウトの一例を示す平面図
【図３】分析対象となる顧客の移動経路を説明する平面図
【図４】カメラ１で撮像された画像を示す説明図
【図５】店舗に設置されたＰＣ３の概略構成を示す機能ブロック図
【図６】客層傾向情報を表示する分析結果画面の一例を示す説明図
【図７】画像解析部３３およびフィルタリング部３５の概略構成を示す機能ブロック図
【図８】画像解析部３３から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図
【図９】個人行動判定部５６から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図
【図１０】分析対象となる顧客の行動形態について説明する説明図
【図１１】分析対象とならない人物の行動形態について説明する説明図
【図１２】分析対象とならない人物の行動形態について説明する説明図
【図１３】滞留判定を行うために撮像領域に設定される判定エリアの一例を示す説明図
【図１４】移動経路判定を行うために撮像領域に設定される判定ラインの一例を示す説明図
【図１５】判定ラインによる移動経路判定の判定結果の一例を示す説明図
【図１６】進入位置および退出位置の推定処理の要領を説明する説明図
【図１７】グループ分け部６３で行われるグループ分け処理の要領を説明する説明図
【図１８】出入口付近から客席に向かう人物の移動状況を説明する説明図
【図１９】グループ先頭判定部６５で行われるフレームアウト時刻推定処理の概要を説明する説明図
【発明を実施するための形態】
【００１５】
前記課題を解決するためになされた第１の発明は、店舗に来店した顧客の客層に関する分析を行う客層分析装置であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
【００１６】
これによると、店舗の出入口の近傍の案内待ちエリアから客席に向かって移動する行動は、店舗に入店した顧客が必ず１回だけ行う行動であり、この行動と異なる行動をとる人物をフィルタリング手段により検出してその人物を分析対象から排除することで、店員などの顧客以外の人物が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けることができる。これにより、顧客の客層に関する分析を精度よく行うことができ、顧客満足度や売上および利益の向上を図る改善策を考える上で有益な情報を提供することができる。
【００１９】
また、第２の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物が滞留状態にあるか否かの滞留判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
【００２０】
これによると、滞留状態にある人物は、案内待ちエリアで客席案内待ちの状態にある顧客、または精算などのためにレジカウンタの近傍で待機する顧客である可能性が高いため、この滞留状態にある人物を分析対象外の人物と判定することにより、顧客が重複して分析対象に含まれることを避けることができる。
【００２１】
また、第３の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路が、前記分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
【００２２】
これによると、撮像領域に出現した人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と異なる場合には、顧客以外の人物または分析対象とならない顧客である可能性が高いため、この異なる移動経路で移動する人物を分析対象外の人物と判定することにより、顧客以外の人物または分析対象とならない顧客が分析対象に含まれることを避けることができる。
【００２３】
また、第４の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、グループが１人の人物のみで構成されているか否かの１人グループ判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
【００２４】
これによると、グループを１人で構成する人物、すなわち単独で移動する人物は、店員に先導されて客席に向かう顧客でない可能性が高いため、この単独で移動する人物を分析対象外の人物と判定することにより、顧客以外の人物または分析対象とならない顧客が分析対象に含まれることを避けることができる。
【００２５】
また、第５の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物をグループ分けして、複数の人物で構成されるグループについて、グループ内で最初に前記撮像領域から退出する人物であるか否かのグループ先頭判定を行うことにより、前記分析対象となる顧客か否かを判定する構成とする。
【００２６】
これによると、グループ内で最初に撮像領域から退出する人物は、グループの先頭に立って顧客を客席に案内する店員である可能性が高いため、この人物を分析対象外の人物と判定することにより、店員が分析対象に含まれることを避けることができる。
【００２７】
また、第６の発明は、前記フィルタリング手段は、前記撮像領域内に設定された判定エリアからの退出の有無に基づいて、前記滞留判定を行う構成とする。
【００２８】
これによると、撮像領域の状況に応じて、撮像領域内に人物の滞留状態を判定する判定エリアを設定することで、分析対象とならない顧客を精度よく分析対象から排除することができる。
【００２９】
また、第７の発明は、前記フィルタリング手段は、前記撮像領域に出現した人物の移動経路と、前記撮像領域の外縁に設定された判定ラインとの交差状態に基づいて、前記移動経路判定を行う構成とする。
【００３０】
これによると、移動経路判定において、人物の移動経路と判定ラインとの交差状態をみるだけで済むため、移動経路判定を簡単に行うことができ、しかも、十分な精度を確保することができる。
【００３１】
また、第８の発明は、前記フィルタリング手段は、前記撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて前記撮像領域への進入位置を推定するとともに、前記撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて前記撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が前記判定ライン上に存在するか否かの判定を行うことにより、前記移動経路判定を行う構成とする。
【００３２】
これによると、移動経路判定において、撮像領域に対する進入位置および退出位置を推定して、その進入位置および退出位置が判定ライン上に存在するか否かを判定するだけで済むため、移動経路判定をより一層簡単に行うことができ、しかも、十分な精度を確保することができる。
【００３３】
また、第９の発明は、前記フィルタリング手段は、前記撮像領域で順次検出された人物の検出時刻の間隔に基づいてグループ分けを行う構成とする。
【００３４】
これによると、人物のグループ分けを簡単に且つ十分な精度で行うことができる。この場合、撮像領域で続けて検出された２人の人物の検出時刻の間隔を所定のしきい値と比較して、検出時刻の間隔がしきい値より大きい場合にはその２人の人物を別グループと判断するようにすればよい。
【００３５】
また、第１０の発明は、前記フィルタリング手段は、前記撮像領域から退出する直前の移動量を求め、その移動量に基づいて前記撮像領域から退出した時刻を推定する構成とする。
【００３６】
これによると、撮像領域から退出した時刻を簡単に且つ十分な精度で推定することができる。この場合、撮像領域で最後に検出された位置とその直前に検出された位置とに基づいて単位時間あたりの移動量を求め、その単位時間あたりの移動量に基づいて撮像領域から退出した時刻を推定するようにすればよい。
【００３７】
また、第１１の発明は、前記出力情報生成部は、前記出力情報として、時系列で取得した所定期間単位の客層別人数に基づいて客層別人数の変動傾向に関する客層傾向情報を生成する構成とする。
【００３８】
これによると、時間帯に応じて客層がどのように変動したかをユーザが把握することができる。これにより、客層の変動に合うように店舗側の態勢を整えることで、顧客満足度や売上および利益の向上を図ることができる。
【００３９】
また、第１２の発明は、前記客層傾向情報は、日ごとの店舗営業時間内における前記所定時間単位の顧客の総人数に占める客層別人数を表したものである構成とする。
【００４０】
これによると、顧客の総人数とその内訳である客層別人数の所定時間ごとの変動状況をユーザが把握することができる。
【００４１】
また、第１３の発明は、前記客層情報は、性別および年齢のいずれか１つを含む構成とする。
【００４２】
これによると、性別および年齢のいずれか１つまたは双方で区分された客層に基づいて客層分析を精度よく行うことができる。
【００４３】
また、第１４の発明は、店舗に来店した顧客の客層に関する分析を行う客層分析システムであって、顧客を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得する客層判定手段と、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するフィルタリング手段と、このフィルタリング手段により絞り込まれた人物を対象にして前記客層判定手段により取得した前記客層情報を集計する集計手段と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成手段と、を備えた構成とする。
【００４４】
これによると、前記の第１の発明と同様に、顧客の客層に関する分析を精度よく行うことができる。
【００４５】
また、第１５の発明は、店舗内または店舗外に設置された情報処理装置により、店舗に来店した顧客の客層に関する分析を行う客層分析方法であって、前記店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定された撮像領域に出現した人物の客層を判定して、その判定結果である客層情報を取得するステップと、分析対象を前記客席に向かって移動する行動形態をとる顧客に限定する所定の判定条件にしたがって、前記撮像領域に出現した人物の行動形態から、その人物が前記分析対象となる顧客か否かを判定して、該当しない人物を前記分析対象から排除するステップと、このステップにより絞り込まれた人物を対象にして前記客層情報を集計するステップと、このステップでの集計結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。
【００４６】
これによると、前記の第１の発明と同様に、顧客の客層に関する分析を精度よく行うことができる。
【００４７】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００４８】
図１は、本実施形態に係る客層分析システムの全体構成図である。この客層分析システムは、ファミリーレストランなどの飲食チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（客層分析装置、閲覧装置）３、ＰＯＳワークステーション（販売情報管理装置）４、ハンディターミナル（注文入力装置）５、およびプリンタ６と、複数の店舗を総括する本部に設けられたＰＣ（閲覧装置）７、およびＰＯＳサーバ（販売情報管理装置）８と、を備えている。
【００４９】
店舗では、カメラ１、レコーダ２、ＰＣ３、ＰＯＳワークステーション４、およびプリンタ６や、ハンディターミナル５の通信を中継する無線中継器１１、およびＩＰネットワークに接続するためのルータ１２などがＬＡＮ接続されている。ＰＣ３およびＰＯＳワークステーション４にはそれぞれディスプレイ（表示装置）１３，１４が接続されている。本部では、ＰＣ７およびＰＯＳサーバ８や、ＩＰネットワークに接続するためのルータ１６などがＬＡＮ接続されている。ＰＣ７およびＰＯＳサーバ８にはそれぞれディスプレイ（表示装置）１７，１８が接続されている。
【００５０】
店舗に設けられたカメラ１、レコーダ２、およびＰＣ３と、本部に設けられたＰＣ７とは、店舗内を監視する監視システムを構成している。カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ７では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
【００５１】
店舗に設けられたハンディターミナル５、無線中継器１１およびプリンタ６は、顧客の注文を受け付けるオーダーエントリーシステムを構成している。ハンディターミナル５は、店員が携帯し、店員が顧客から注文を受けてその注文内容（注文メニュー、注文個数）をハンディターミナル５に入力する。プリンタ６は厨房に設置され、店員がハンディターミナル５で注文内容を入力すると、その注文内容がプリンタ６から出力され、これにより注文内容が調理員に伝達される。
【００５２】
店舗に設置されたＰＯＳワークステーション４およびオーダーエントリーシステムと、本部に設けられたＰＯＳサーバ８とは、各店舗での売り上げに関する販売情報を管理するＰＯＳ（point of sale）システムを構成している。このＰＯＳシステムでは、販売情報として、注文内容、注文時刻、精算時刻、注文方法、注文人数などの情報が管理される。この販売情報は、ＰＯＳワークステーション４とＰＯＳサーバ８とで共有され、ＰＯＳワークステーション４では、設置された店舗の販売情報が管理され、ＰＯＳサーバ８では、全ての店舗の販売情報が管理される。
【００５３】
オーダーエントリーシステムを構成するハンディターミナル５では、注文内容（注文メニュー、注文個数）の他に、テーブルに着席した顧客の人数や、テーブル番号（客席番号）などの注文情報が入力され、この注文情報がＰＯＳワークステーション４に送信される。ＰＯＳワークステーション４は、販売情報を管理する他に、精算を行うレジスタ機能を併有し、レジカウンタに設置されており、このＰＯＳワークステーション４には、図示しないキャッシュドロアやレシートプリンタが接続される。ＰＯＳワークステーション４では、ハンディターミナル５から取得した注文情報や、精算時に取得した精算情報に基づいて販売情報が生成される。
【００５４】
店舗に設置されたＰＣ３は、店舗に来店した顧客の客層に関する分析を行う客層分析装置として構成される。また、この店舗に設置されたＰＣ３で生成した分析結果情報は、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ７に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，７が分析結果情報を閲覧する閲覧装置として構成される。
【００５５】
図２は、店舗のレイアウトの一例を示す平面図である。店舗には、出入口、案内待ちエリア、レジカウンタ、客席となるテーブル、サラダバー、ドリンクバー、および厨房が設けられている。サラダバーおよびドリンクバーは、飲食物を顧客自らが選び取って配膳するセルフサービス方式でサラダやドリンクなどを顧客に提供するものである。また、店舗内には複数のカメラ１が適所に設置されており、特に図２に示す例では、出入口、客席、サラダバー、および厨房を撮像するようにカメラ１が設置されている。
【００５６】
図３は、分析対象となる顧客の移動経路を説明する平面図である。店舗の出入口から入店した顧客は、矢印Ａで示すように進んで、案内待ちエリアに入り、客席が満席であれば、シートに着席するなどして、この案内待ちエリアで客席案内待ちの状態となる。客席が空くと、店員に案内されて、矢印Ｂで示すように移動し、その後、顧客は矢印Ｃで示すように真っ直ぐに進み、また、案内される客席の位置によっては、矢印Ｄで示すように曲がって進む。
【００５７】
本実施形態では、案内待ちエリアの周辺を客席側から撮像するカメラ１が設置されており、矢印Ｂで示すように、案内待ちエリアから客席に向かう移動の途中にある顧客の顔が正面からカメラ１により撮像され、この案内待ちエリアから客席に向かう顧客を分析対象として選出する。
【００５８】
図４は、図３に示したカメラ１で撮像された画像を示す説明図である。カメラ１による撮像領域の中心部には、案内待ちエリアのシートがあり、このシートの右側手前には、商品を陳列するショーケースの一部があり、左側にはレジカウンタの一部がある。図３の矢印Ａで示すように、店舗の出入口から顧客が入店すると、その顧客は、撮像領域の左側から撮像領域内に進入する。また、図３の矢印Ｂで示すように、案内待ちエリアから客席に向かって顧客が移動すると、その顧客は撮像領域内を下向きに移動して撮像領域から退出する。
【００５９】
次に、図１に示した店舗に設置されたＰＣ３（客層分析装置）について説明する。図５は、店舗に設置されたＰＣ３の概略構成を示す機能ブロック図である。
【００６０】
ＰＣ３は、監視部３１と、客層分析部３２と、を備えている。監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができるようになっている。客層分析部３２は、店舗に来店した顧客の客層に関する分析を行うものである。
【００６１】
なお、監視部３１および客層分析部３２は、ＰＣ３のＣＰＵで監視用および客層分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供することも可能である。
【００６２】
次に、店舗に設置されたＰＣ３の客層分析部３２で行われる客層傾向取得処理について説明する。この客層傾向取得処理は、時間帯（所定期間）ごとの客層別人数の変動傾向に関する客層傾向情報を取得するものである。
【００６３】
図６は、客層傾向情報を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたＰＣ３，７のディスプレイ１３，１７に表示されるものであり、この分析結果画面には、客層傾向情報として、指定された日付の店舗営業時間（１０時〜０時）内における各時間帯の顧客の総人数に占める客層別人数が積み上げ棒グラフで表示されている。この分析結果画面により、顧客の総人数とその内訳である客層別人数の時間帯ごとの変動状況をユーザが把握することができる。
【００６４】
また、この分析結果画面には、日付を指定する操作部７１が表示されており、この操作部７１を操作することで日付を変更することができ、これにより異なる日付の分析結果を確認することができる。なお、本部に設置されたＰＣ７のディスプレイ１７に表示させる場合には、店舗を選択する操作部を分析結果画面に表示させるようにするとよい。
【００６５】
この分析結果画面は、ＰＣ３の客層分析部３２で行われる客層傾向取得処理により生成され、この客層傾向取得処理に関するものとして、図５に示したように、客層分析部３２は、画像解析部３３と、画像解析情報蓄積部３４と、フィルタリング部３５と、集計部３６と、出力情報生成部３７と、を備えている。
【００６６】
画像解析部３３は、フレーム（撮像画像）から人物を検出して、その撮像領域に出現した人物の客層（性別および年齢）を判定するものである。この画像解析部３３で得られた画像解析情報（ログデータ）が画像解析情報蓄積部３４に蓄積される。フィルタリング部３５は、画像解析部３３で検出された人物のうち、分析対象とならない人物を所定の条件にしたがって検出してその人物を分析対象から排除するものである。
【００６７】
集計部３６は、フィルタリング部３５により選別された顧客を対象にして画像解析部３３により取得した人物ごとの客層情報を集計するものであり、特に本実施形態では、客層情報に含まれる顧客ごとの客層を集計単位となる時間帯（１時間）に分けて集計して、各時間帯（所定期間単位）の客層別人数を取得する。
【００６８】
出力情報生成部３７は、集計部３６の集計結果に基づいて分析結果となる出力情報を生成するものであり、特に本実施形態では、時系列で取得した各時間帯（所定期間単位）の客層別人数に基づいて、客層別人数の変動傾向に関する客層傾向情報（出力情報）を生成し、この客層傾向情報に基づく分析結果画面（図６参照）がＰＣ３，７のディスプレイ１３，１７に表示される。
【００６９】
なお、集計部３６で客層別人数を取得するには、フィルタリング部３５で特定された顧客に関する客層情報を、画像解析部３３で取得した人物ごとの客層情報の中から抽出して、その客層情報に基づいて時間帯ごとの客層別人数を集計すればよいが、ＰＯＳシステムの販売情報を利用するようにしてもよい。
【００７０】
すなわち、フィルタリング部３５で特定された顧客に関する客層情報に基づいて時間帯ごとの客層別比率を取得する。そして、ＰＯＳワークステーション４の販売情報蓄積部４１（図５参照）に蓄積された販売情報を取得して、その販売情報に基づいて時間帯ごとの顧客人数（顧客の総人数）を取得し、その時間帯ごとの顧客人数に、時間帯ごとの客層別比率を反映させる、すなわち各時間帯の顧客人数（合計人数）にその時間帯の客層別比率を乗じることで、時間帯ごとの客層別人数を取得するようにしてもよい。このようにすると、ＰＯＳシステムの販売情報は高い精度を有しているため、これを利用することで、客層別人数の精度をよく一層高めることができる。
【００７１】
次に、図５に示した画像解析部３３およびフィルタリング部３５について説明する。図７は、画像解析部３３およびフィルタリング部３５の概略構成を示す機能ブロック図である。
【００７２】
画像解析部３３は、フレーム（撮像画像）から人物を検出して、その撮像領域に出現した人物の客層を判定するものであり、人物検出部５１と、客層判定部５２と、を備えている。この画像解析部３３では、公知の画像認識技術（人物認識技術、人物追跡技術、顔認識技術、および性別年齢推定技術など）が利用される。
【００７３】
人物検出部５１では、公知の人物認識技術を利用して、カメラ１により撮像されたフレームから検出されたオブジェクトが人物か否かを識別し、また、公知の人物追跡技術を利用して、複数のフレームで移動する人物を追跡する処理が行われる。
【００７４】
客層判定部５２は、人物検出部５１で検出された人物の顔画像の領域を検出し、その顔画像に基づいて顧客の性別および年齢を推定する。顔検出処理では、公知の顔認識技術を利用して、人物検出部５１での人物検出結果に基づいて、複数のフレームから同一人物の顔画像を複数収集する処理が行われる。性別年齢推定処理では、公知の性別年齢推定技術を利用して、顔検出処理で収集された人物ごとの顔画像から客層（性別および年齢）を推定する処理が行われる。
【００７５】
図８は、図７に示した画像解析部３３から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図である。
【００７６】
画像解析部３３から出力されるログデータは、時系列で連続する複数のフレーム（撮像画像）で人物オブジェクトが検出される度に生成される追跡ＩＤデータで構成され、この追跡ＩＤデータには、追跡ＩＤ、人物計数ＩＤ、客層情報、タイムスタンプ（時刻情報）、および位置情報が格納されている。このログデータは、所定の形式（例えばＣＳＶ）のログファイルとして出力されて判定結果情報蓄積部５８に蓄積される。
【００７７】
追跡ＩＤは、フレーム（撮像画像）内で検出された人物オブジェクトに付与されるものである。人物の顔の特徴量に基づいて同一の人物と判断された場合には、同じ追跡ＩＤが付与される。人物計数ＩＤは、同一の追跡ＩＤが３回連続して検出された場合にその追跡ＩＤに割り当てられる。客層情報は、客層判定部での判定結果である年齢および性別と、過去に収集した同一の追跡ＩＤに関する追跡ＩＤデータの平均値を示すものである。タイムスタンプは、フレーム（撮像画像）の撮像時刻、すなわち人物が検出された時刻（年、月、日、時、分、秒、ミリ秒）を示すものである。位置情報は、フレーム（撮像画像）内に検出された顔画像枠の位置を示すものである。ここでは、顔画像枠（矩形領域）の中心のＸ座標値およびＹ座標値、ならびに顔画像枠の幅および高さが設定される。
【００７８】
次に、図７に示したフィルタリング部３５について説明する。
【００７９】
フィルタリング部３５は、画像解析部３３で検出された人物のうち、分析対象とならない人物を所定の条件にしたがって検出してその人物を分析対象から排除するものであり、行動形態判定部５４と、対象人物特定部５５と、を備えている。
【００８０】
行動形態判定部５４は、分析対象となる顧客の行動形態に基づく所定の判定条件にしたがって、撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定するものであり、個人行動判定部５６と、グループ行動判定部５７と、を備えている。個人行動判定部５６は、撮像領域に出現した人物１人ずつの行動形態を判定するものである。グループ行動判定部５７は、撮像領域に出現した人物をグループ分けして、各グループに含まれる人物の行動形態を判定するものである。
【００８１】
対象人物特定部５５は、行動形態判定部５４から出力されるログデータに基づいて、分析対象とならない人物を分析対象から排除する、すなわち分析対象となる人物を特定する処理が行われる。行動形態判定部５４から出力されるログデータには、行動形態判定部５４での判定結果に関する情報が格納されており、ユーザにより設定された条件にしたがって、このログデータに含まれる判定結果情報に基づいて分析対象とならない人物を検出する。
【００８２】
なお、行動形態判定部５４では、画像解析部３３で検出された人物を対象にして個人行動判定部５６およびグループ行動判定部５７で個人行動判定およびグループ行動判定を別々に行った上で、両者の判定結果に基づいて、対象人物特定部５５で分析対象となる人物を特定することも可能であるが、個人行動判定部５６の判定結果に基づいて分析対象外の人物を排除した上でグループ行動判定部５７でグループ行動判定を行う、すなわち、個人行動判定で分析対象の顧客と判定された人物を対象にしてグループ行動判定を行うようにするとよい。このようにすると、グループ行動判定の演算負担を軽減するとともにグループ行動判定の精度を高めることができる。
【００８３】
また、個人行動判定部５６およびグループ行動判定部５７での判定条件などを、初期設定でユーザにより変更することができるようにするとよい。
【００８４】
次に、図７に示した個人行動判定部５６について説明する。
【００８５】
個人行動判定部５６は、人物１人ずつの行動形態を判定するものであり、ここでは、店舗に入店した顧客が必ず１回だけ行う特定の行動に注目して、その行動を行う顧客を検出してその顧客を分析対象とすることで、同一の顧客を重複して分析対象とすることを避けることができ、また、店員を分析対象とすることを避けることができる。特に本実施形態では、図３に示したように、店舗の出入口付近、すなわち出入口の近傍の案内待ちエリアから客席に向かって移動する顧客を正面から撮像し、出入口付近から客席に向かう顧客を分析対象としており、個人行動判定部５６では、この出入口付近から客席に向かう顧客を検出する。
【００８６】
個人行動判定部５６は、滞留判定部６１と、移動経路判定部６２と、を備えている。滞留判定部６１では、撮像領域に出現した人物が滞留状態、すなわち同じ位置から殆ど動かない状態にあるか否かを判定する処理が行われる。移動経路判定部６２では、撮像領域に出現した人物の移動経路が分析対象となる顧客の場合に想定される移動経路と異なるか否かを判定する処理が行われる。
【００８７】
図９は、図７に示した個人行動判定部５６から出力されるログデータに含まれる追跡ＩＤデータの一例を示す説明図である。
【００８８】
個人行動判定部５６から出力されるログデータの追跡ＩＤデータには、追跡ＩＤ、人物計数ＩＤ、客層情報、タイムスタンプ（時刻情報）、位置情報、発生エリア情報、および判定結果情報が格納されている。この追跡ＩＤデータでは、追跡ＩＤ、人物ＩＤ、客層情報、タイムスタンプ、および位置情報は、入力された追跡ＩＤデータの内容がそのまま出力され、個人行動判定部５６での判定結果である発生エリア情報、判定結果情報、および移動量情報が新たに格納される。この発生エリア情報、判定結果情報、および移動量情報にいては、後に詳しく説明する。このログデータは、所定の形式（例えばＣＳＶ）のログファイルとして出力されて判定結果情報蓄積部５９に蓄積される。
【００８９】
次に、図７に示した個人行動判定部５６で行われる処理について説明する。図１０は、分析対象となる顧客の行動形態について説明する説明図である。図１１および図１２は、分析対象とならない人物の行動形態について説明する説明図である。
【００９０】
本実施形態では、図３に示したように、店舗の出入口付近、すなわち出入口の近傍の案内待ちエリアから客席に向かって移動する顧客を正面から撮像し、この出入口付近から客席に向かう顧客を分析対象としており、この出入口付近から客席に向かう顧客は、図１０（Ａ）に示すように、撮像領域の中心部から撮像領域の下側の外縁に向かって移動する。また、その移動方向、すなわち撮像領域から退出する位置には多少の違いがあり、例えば、図１０（Ｂ）に示すように、撮像領域の下側の外縁の左寄りの位置から退出する場合もある。
【００９１】
一方、図１１（Ａ）に示すように、人物が撮像領域の上部の位置で殆ど動かない場合や、図１１（Ｂ）に示すように、人物が撮像領域の下部の位置で殆ど動かない場合は、出入口付近から客席に向かう顧客ではない。例えば、案内待ちエリアのシートに着席して客席案内待ちをしている顧客の場合、図１１（Ａ）に示す行動形態をとり、レジカウンタの前で精算待ちをしている顧客の場合、図１１（Ｂ）に示す行動形態をとる。このように同じ位置から殆ど動かない人物は、出入口付近から客席に向かう顧客、すなわち分析対象との顧客ではなく、本実施形態では、このような滞留状態にある人物を個人行動判定部５６の滞留判定部６１で検出する。
【００９２】
また、図１２（Ａ）に示すように、人物が撮像領域を真横に横切る場合や、図１２（Ｂ）に示すように、撮像領域の右側の外縁から撮像領域内に進入して撮像領域を斜めに横切る場合や、図１２（Ｃ）に示すように、撮像領域の右側の外縁から退出する場合は、出入口付近から客席に向かう顧客ではない。店内を移動する店員、例えば、配膳や片付けなどの業務で厨房と客席との間を行き来する店員の場合、図１２（Ａ）に示す行動形態をとる。また、客席に案内された後に店内を移動する顧客、例えば、サラダバーやトイレと客席との間を行き来する顧客の場合、図１２（Ｂ）に示す行動形態をとる。また、退店する顧客の場合、図１２（Ｃ）に示す行動形態をとる。いずれの場合も、図１０に示したように、分析対象となる顧客の場合に想定される移動経路と異なり、本実施形態では、このような分析対象となる顧客と異なる移動経路で移動する人物を個人行動判定部５６の移動経路判定部６２で検出する。
【００９３】
次に、図１に示した滞留判定部６１で行われる滞留判定について説明する。図１３は、滞留判定を行うために撮像領域に設定される判定エリアの一例を示す説明図である。
【００９４】
滞留判定部６１では、撮像領域に出現した人物が滞留状態、すなわち同じ位置から殆ど動かない状態にあるか否かの滞留判定を行うことにより、分析対象となる顧客か否かを判定する処理が行われ、特に本実施形態では、撮像領域に判定エリアを設定し、この判定エリアからの退出の有無に基づいて滞留判定を行う、すなわち、判定エリア内から移動しない人物を滞留状態にあるものと判定する。
【００９５】
具体的には、人物が１つの判定エリア内で新たに出現した後、同じ判定エリア内で消失した場合、すなわち、人物が検出された位置が全て同一の判定エリア内にある場合に、その人物は滞留状態にあるものと判定する。
【００９６】
図１３に示す例では、移動開始エリアが撮像領域の中心部に設定され、その上下に第１判定エリアと第２判定エリアとの２つが設定されている。
【００９７】
判定エリアは、滞留判定処理での演算処理の負荷を軽減するため、矩形をなす撮像画像の互いに直交する２辺に沿った座標軸（Ｘ軸およびＹ軸）に平行となる辺（境界線）で区画された多角形状をなしている。本実施形態では、辺数を最大で８とし、また、判定エリアの数を最大で２つ設定することができるものとする。なお、図１３に示す例では、撮像領域の画像のサイズを４ＶＧＡ（1280×960）としており、撮像領域の左上の端点が原点となる。
【００９８】
第１判定エリアは、案内待ちエリアで客席案内待ちのために滞留状態にある顧客を検出するものであり、図３に示したように、本実施形態では、出入口の近傍には案内待ちエリアがあり、この案内待ちエリアで客席案内待ちをしている顧客の顔の位置に対応するように第１判定エリアが設定されている。
【００９９】
第２判定エリアは、案内待ちエリアの手前側の位置で滞留状態にある顧客を検出するものであり、図３に示したように、本実施形態では、案内待ちエリアの手前側の左右にレジカウンタおよびショーケースがあり、レジカウンタの前で精算待ちをしている顧客や、ショーケースを見ている顧客の顔の位置に対応するように第２判定エリアが設定されている。このように本実施形態では、撮像領域の左右に顧客が滞留する場所があるため、第２判定エリアが凹形状をなしている。
【０１００】
なお、図１３に示した例では、撮像領域の上側の部分の全幅に渡るように第１判定エリアが設定されているが、図４に示した例では、撮像領域の上側の左寄りの部分に第１判定エリアが設定されており、判定エリアの設定範囲は、撮像領域およびその周辺の状況に応じてユーザが適宜に設定すればよい。
【０１０１】
滞留判定部６１で行われる処理は、人物（追跡ＩＤ）ごとに行われ、その判定結果が、図９に示したように、ログデータの各追跡ＩＤデータの発生エリア情報（第１フラグ（Inarea1,x）および第２フラグ（Inarea2,x））および判定結果情報の第１フラグ（Flg a,x,y）に設定される。
【０１０２】
発生エリア情報は、人物（追跡ＩＤ）が最初に出現した判定エリアに関するものである。第１フラグ（Inarea1,x）は、人物が最初に出現した位置が第１判定エリア内にあるか否かを表すものであり、人物が最初に出現した位置が第１判定エリア内にある場合にはｘ値が１となり、そうでない場合には０に設定される。第２フラグ（Inarea2,x）人物が最初に出現した位置が第２判定エリア内にあるか否かを表すものであり、人物が最初に出現した位置が第２判定エリア内にある場合にはｘ値が１となり、そうでない場合には０に設定される。
【０１０３】
判定結果情報の第１フラグ（Flg a,x,y）は、滞留判定に関するものである。この第１フラグのｘ値は、滞留判定条件を満足するか否かを識別するものであり、滞留判定条件を満足する場合は１に設定され、そうでない場合は０に設定される。ｙ値は、滞留判定条件を満足した判定エリアを識別するものであり、滞留判定条件を満足した判定エリアに対応した値が設定される。ここでは、最大で２つの判定エリアを設定することができ、判定エリアに対応した１または２の値に設定される。また、滞留判定条件を満足しない場合は０となる。
【０１０４】
このように本実施形態では、滞留状態にある人物は、案内待ちエリアで客席案内待ちの状態にある顧客、または精算などのためにレジカウンタの近傍で待機する顧客と判断することができ、これらの顧客を分析対象から排除することで、顧客が重複して分析対象に含まれることを避けることができる。
【０１０５】
また、本実施形態では、撮像領域の状況に応じて、撮像領域内に人物の滞留状態を判定する判定エリアを設定するようにしたため、分析対象とならない顧客を精度よく検出することができる。
【０１０６】
次に、図７に示した移動経路判定部６２で行われる移動経路判定について説明する。図１４は、移動経路判定を行うために撮像領域に設定される判定ラインの一例を示す説明図である。図１５は、判定ラインによる移動経路判定の判定結果の一例を示す説明図である。
【０１０７】
移動経路判定部６２では、撮像領域に出現した人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、分析対象となる顧客か否かを判定する処理が行われ、特に本実施形態では、図１４に示すように、撮像領域の外縁に判定ラインを設定し、撮像領域に出現した人物の移動経路と判定ラインとの交差状態に基づいて、移動経路判定を行うようにしている。
【０１０８】
また、本実施形態では、判定ラインが、撮像領域の下側の外縁および左右の外縁に設定されている。すなわち、矩形をなす撮像画像の４辺のうち、上辺を除く３辺に第１判定ライン、第２判定ラインおよび第３判定ラインが設定されている。
【０１０９】
図１４に示す例では、左側の第１判定ラインが、撮像領域の左側の外縁における上寄りの中間位置（0,200）から下端位置（0,960）までの範囲に設定されている。右側の第２判定ラインは、撮像領域の右側の外縁の全体に設定されている。下側の第３判定ラインは、撮像領域の下側の外縁の全体に設定されている。
【０１１０】
本実施形態では、図３に示したように、出入口付近から客席に向かう顧客を分析対象としており、図１０に示したように、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客は、撮像領域の中心部に設定された移動開始エリアから移動を開始して撮像領域の下側の外縁に設定された第３判定ラインを通って撮像領域外に退出する。
【０１１１】
したがって、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客の場合、移動経路は必ず下側の第３判定ラインと交差し、左側の第１判定ラインや右側の第２判定ラインと交差しない。すなわち、出入口付近から客席に向かう顧客の場合、撮像領域外への退出位置が必ず下側の第３判定ライン上に存在し、退出位置が左側の第１判定ラインや右側の第２判定ライン上に存在することはない。
【０１１２】
一方、配膳などの業務で店内を行き来する店員の場合、図１２（Ａ）に示したように、撮像領域を真横に横切ると、移動経路が左側の第１判定ラインと右側の第２判定ラインとに交差し、第１判定ライン上に進入位置が存在し、第２判定ライン上に退出位置が存在する。また、客席に案内された後に店内を移動する顧客の場合、図１２（Ｂ）に示したように、撮像領域を斜めに横切ると、移動経路が右側の第２判定ラインと下側の第３判定ラインとに交差し、第２判定ライン上に進入位置が存在し、下側の第３判定ライン上に退出位置が存在する。また、退店する顧客の場合、本実施形態では撮像領域の左側に出入り口があるため、図１２（Ｃ）に示したように、移動経路が左側の第１判定ラインと交差し、第１判定ライン上に退出位置が存在する。
【０１１３】
このように、退出位置が第３判定ライン上にない場合には、出入口付近から客席に向かう顧客、すなわち分析対象となる顧客ではないと判定することができる。また、進入位置が第１〜第３の判定ライン上にある場合にも、出入口付近から客席に向かう顧客ではない、すなわち分析対象外の人物と判定することができる（図１５参照）。
【０１１４】
なお、本実施形態では、移動経路判定を、フレームアウト時刻、すなわち撮像領域からの退出時刻から所定の対象期間（例えば２秒）以内で検出された人物を対象にして行うようにしており、進入位置が判定対象となるケースは、撮像領域に進入してから退出するまでの時間が対象期間を超えない場合、すなわち、撮像領域に進入してからすぐに退出する場合となる。一方、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客の場合、通常、出入口付近に滞在する時間が対象期間を超えるものと考えられるため、移動開始エリアから移動を開始する以前の行動、すなわち進入位置は判定対象から外れる。したがって、進入位置が判定される人物は分析対象となる顧客に該当しない。
【０１１５】
このように、本実施形態では、判定ラインによる進入位置の判定は、分析対象外の人物を特定する機能を有するものの、分析対象となる顧客を特定する積極的な機能がない。しかしながら、撮像領域とその周辺の状況によっては、撮像領域の外縁に設定される判定ラインの範囲を工夫することで、判定ラインによる進入位置の判定が、分析対象となる顧客を特定する上で大きな意義を有する場合もある。
【０１１６】
なお、第１〜第３の各判定ライン上のいずれに進入位置および退出位置があるかに応じて分析対象とするか否かを判定する際の判定条件は、撮像領域とその周辺の状況に応じて異なるため、ユーザが適宜に設定するようにするとよい。さらに、撮像領域の外縁に設定される判定ラインの範囲も、撮像領域とその周辺の状況に応じて異なり、ユーザが適宜に設定するようにするとよい。
【０１１７】
次に、図７に示した移動経路判定部６２で行われる進入位置および退出位置の推定処理について説明する。図１６は、進入位置および退出位置の推定処理の要領を説明する説明図である。
【０１１８】
移動経路判定部６２では、撮像領域へ進入した直後の移動方向を求めて、その移動方向に基づいて撮像領域への進入位置を推定するとともに、撮像領域から退出する直前の移動方向を求めて、その移動方向に基づいて撮像領域からの退出位置を推定し、これにより得られた進入位置および退出位置が判定ライン上に存在するか否かの判定を行うことにより、移動経路判定を行う。
【０１１９】
図１６（Ａ）は、人物がフレームインする、すなわち撮像領域内に進入する際の進入位置に関するものであり、この進入位置は、人物が撮像領域内に新たに出現した位置、すなわち人物が撮像領域内で最初に検出された位置Ｐ０と、同じ人物が次に検出された位置Ｐ１とに基づいて推定される。具体的には、最初に検出された位置Ｐ０から次に検出された位置Ｐ１までの移動量Ｖを算出し、その移動量Ｖの方向と逆方向に延長した延長線と撮像領域の外縁との交点を求め、この交点を推定進入位置に設定する。
【０１２０】
図１６（Ｂ）は、人物がフレームアウトする、すなわち撮像領域から退出する際の退出位置に関するものであり、この退出位置は、人物が撮像領域内で消失した位置、すなわち人物が撮像領域内で最後に検出された位置Ｐｎと、同じ人物がその直前に検出された位置Ｐｎ−１とに基づいて推定される。具体的には、直前に検出された位置Ｐｎ−１から最後に検出された位置Ｐｎまでの移動量Ｖを算出し、その移動量Ｖの方向と順方向に延長した延長線と撮像領域の外縁との交点を求め、この交点を推定退出位置に設定する。
【０１２１】
この進入位置および退出位置の推定処理は、追跡ＩＤごとに行われ、その判定結果が、図９に示したように、ログデータの各追跡ＩＤデータの判定結果情報の第２フラグ（Flg b.x,y）、第３フラグ（Flg c.x,y）、および移動量情報（dV,xxxx.xx）に設定される。
【０１２２】
第２フラグ（Flg b,x,y）は、進入位置判定に関するものであり、第３フラグ（Ｆｌｇ  ｃ，ｘ，ｙ）は、退出位置判定に関するものである。この第２フラグおよび第３フラグにおけるｘ値は、条件を満足するか否かを識別するものであり、条件を満足する場合は１となり、条件を満足しない場合は０となる。ｙ値は、条件を満足した判定ラインを識別するものであり、条件を満足した判定ラインに対応した値が設定される。ここでは、最大で４つの判定ラインを設定することができ、判定ラインに対応した１から４までのいずれかの値に設定される。条件を満足しない場合は０となる。移動量情報（dV,xxxx.xx）は、移動量であり、人物計数ＩＤが付与されていない場合は、移動量の算出対象でないため、０となる。
【０１２３】
このように本実施形態では、撮像領域に出現した人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と異なるか否かの移動経路判定を行うことにより、注目する人物が分析対象となる顧客か否かの判定を精度よく行うことができる。特に、本実施形態では、移動経路判定において、人物の移動経路と判定ラインとの交差状態をみるだけで済むため、移動経路判定を簡単に行うことができ、しかも、十分な精度を確保することができる。さらに、本実施形態では、移動経路判定において、撮像領域に対する進入位置および退出位置を推定して、その進入位置および退出位置が判定ライン上に存在するか否かを判定するだけで済むため、移動経路判定をより一層簡単に行うことができ、しかも、十分な精度を確保することができる。
【０１２４】
また、本実施形態では、撮像領域を、店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように設定しており、撮像領域の下側の方向に客席があり、客席に向かう顧客は撮像領域の中心部から下向きに移動するため、撮像領域の下側の外縁に判定ラインを設定することで、客席に向かう顧客を識別することができる。また、顧客以外の人物である店員や、顧客のうちの分析対象とならない人物、例えば客席に案内された後に店舗内を移動する顧客は、撮像領域を左右に横切るように移動するため、撮像領域の左右の外縁に判定ラインを設定することで、顧客以外の人物および顧客のうちの分析対象とならない人物を識別することができる。
【０１２５】
次に、図７に示したグループ行動判定部５７について説明する。
【０１２６】
図７に示したように、グループ行動判定部５７は、撮像領域に出現した人物をグループ分けして、グループ内の人物の出現状況や行動形態に基づいて分析対象となる人物か否かを判定するものであり、グループ分け部６３と、１人グループ判定部６４と、グループ先頭判定部６５と、を備えている。
【０１２７】
グループ分け部６３では、撮像領域に出現した人物をグループ分けする処理が行われる。１人グループ判定部６４では、グループ分け部６３で得られた各グループの構成人数に基づいて、１人のみで構成されるグループ、すなわち単独で移動する人物か否かを判定する処理が行われる。グループ先頭判定部６５では、グループが複数の人物で構成される場合に、グループ内で最初にフレームアウトする、すなわち撮像領域から退出する人物か否かを判定する処理が行われる。
【０１２８】
なお、このグループ行動判定は、滞留判定および移動経路判定で分析対象外と判定された人物を予めグループ分けの対象から排除するようにするとよい。
【０１２９】
次に、図７に示したグループ分け部６３で行われるグループ分け処理について説明する。図１７は、グループ分け部６３で行われるグループ分け処理の要領を説明する説明図である。ここで、グループ１とグループ３は構成人数が１人、グループ２が２人の場合を表している。また、HID,00000と記載される人物計数ＩＤは、同一の追跡ＩＤが３回連続して検出されるまでの未確定状態で付与される仮ＩＤである。
【０１３０】
グループ分け部６３では、個人行動判定部５６から出力されるログデータに基づいて、人物（追跡ＩＤ）のグループ分けを行う。このグループ分けは、撮像領域で順次検出された人物の検出時刻の間隔に基づいて行う。すなわち、ログデータには、時系列で連続する複数のフレーム（撮像画像）で人物が検出される度に追跡ＩＤデータが生成され、この追跡ＩＤデータに含まれるタイムスタンプが人物の検出時刻を表しており、グループ分けでは、時系列で隣り合う２つの追跡ＩＤの検出時刻の間隔を算出し、その検出時刻の間隔を所定のしきい値と比較して、検出時刻の間隔がしきい値を超えない場合には２つの追跡ＩＤを同一のグループと判断し、検出時刻の間隔がしきい値を超えた場合には別のグループと判断する。
【０１３１】
図１７に示す例では、しきい値を２．５秒としてグループ分けを行っている。また、グループ内に人物計数ＩＤが付与されていない追跡ＩＤしかない場合、すなわち、同一の追跡ＩＤが３回連続して検出されることなく、仮ＩＤ（HID,00000）のみで構成されるグループは対象外として以降の処理を行わない。
【０１３２】
このように本実施形態では、人物の検出時刻の間隔に基づいてグループ分けを行うため、人物のグループ分けを簡単に且つ十分な精度で行うことができる。
【０１３３】
次に、図７に示した１人グループ判定部６４およびグループ先頭判定部６５で行われる処理について説明する。図１８は、出入口付近から客席に向かう人物の移動状況を説明する説明図である。
【０１３４】
図１８（Ａ）に示す例では、グループが１人の人物で構成され、１人の人物が単独で移動している。図１８（Ｂ），（Ｃ）に示す例では、グループが複数の人物で構成され、この複数の人物がまとまって移動している。
【０１３５】
ここで、本実施形態では、出入口付近から客席に向かう顧客を分析対象としているが、このように出入口付近から顧客が客席に向かう場合、通常、店員に先導されて顧客が移動するため、人物をグループ分けすると、分析対象となる顧客、すなわち出入口付近から客席に向かう顧客は必ず２人以上のグループを構成する。
【０１３６】
そこで、本実施形態では、人物をグループ分けした場合に、図１８（Ａ）に示すように、グループが１人の人物で構成される、すなわち人物が単独で移動する場合には、１人グループ判定部６４において、その人物を分析対象外の人物と判定する。なお、人物計数ＩＤが付与されていない追跡ＩＤは対象外とするため、グループ内に複数の追跡ＩＤがあっても、グループ内に人物計数ＩＤを有する追跡ＩＤが１つしかない場合には、グループを１人で構成するものとする。
【０１３７】
例えば、店員が店内を動き回る場合、通常、１人で移動する。また、客席案内待ちの顧客が店内の様子を覘く場合にも、１人で出入口付近を移動する。このような場合、人物の移動経路が、分析対象となる顧客の場合に想定される移動経路と同じ状態となる場合があるが、人物が１人で移動するため、出入口付近から客席に向かう顧客、すなわち分析対象となる顧客ではないものと判断することができる。
【０１３８】
また、出入口付近から顧客が客席に向かう場合、通常、店員に先導されて顧客が移動するため、人物をグループ分けすると、グループの先頭に立って移動して、グループ内で最初にフレームアウトする、すなわち撮像領域から退出する人物は、顧客を先導して客席に案内する店員と判断することができる。
【０１３９】
そこで、本実施形態では、人物をグループ分けした場合に、図１８（Ｂ），（Ｃ）に示すように、グループが複数の人物で構成される場合には、グループ先頭判定部６５において、グループ内の人物の中から、最初にフレームアウトする、すなわち撮像領域から退出する人物を選出して、その人物を分析対象外の人物と判定する。このグループ先頭判定処理では、グループ内の各人物のフレームアウト時刻を推定して、各人物のフレームアウト時刻を比較して、最初にフレームアウトした人物を選出する。
【０１４０】
このように本実施形態では、グループを１人で構成する人物、すなわち単独で移動する人物は、店員に先導されて客席に向かう顧客でない可能性が高いため、この単独で移動する人物を分析対象外の人物と判定することにより、顧客以外の人物または分析対象とならない顧客が分析対象に含まれることを避けることができる。
【０１４１】
また、本実施形態では、グループ内で最初にフレームアウトする、すなわち撮像領域から退出する人物は、グループの先頭に立って顧客を客席に案内する店員である可能性が高いため、このグループ内で最初にフレームアウトする人物を分析対象外の人物と判定することにより、店員が分析対象に含まれることを避けることができる。
【０１４２】
次に、図７に示したグループ先頭判定部６５で行われるフレームアウト時刻推定処理について説明する。図１９は、グループ先頭判定部６５で行われるフレームアウト時刻推定処理の概要を説明する説明図である。
【０１４３】
フレームアウト時刻推定処理では、撮像領域から退出する直前の移動量を求め、その移動量に基づいてフレームアウト時刻、すなわち撮像領域から退出した時刻を推定する。特に本実施形態では、注目する人物が撮像領域で最後に検出された位置とその直前に検出された位置とに基づいて単位時間あたりの移動量を求め、その単位時間あたりの移動量と、最後に検出された位置および時刻とに基づいて、フレームアウト時刻を推定する。
【０１４４】
図１９に示す例では、直前に検出された位置から最後に検出された位置までのＸ方向およびＹ方向の移動量（Vector x，Vector Y）を算出し、最後に検出された位置に移動量を繰り返し加算して、フレームアウト、すなわちＸ座標値およびＹ座標値のいずれかが撮像領域から外れるまでの移動量の加算回数Ｎを求め、この移動量の加算回数Ｎを、フレーム間隔（例えばフレームレートが5fpsであれば200msec）に乗じた時間を、最後に検出された時刻に加算することで、フレームアウト時刻を求める。
【０１４５】
このように本実施形態では、撮像領域から退出する直前の移動量に基づいてフレームアウト時刻を推定するため、フレームアウト時刻、すなわち撮像領域から退出した時刻を簡単に且つ十分な精度で推定することができる。
【０１４６】
なお、図１９に示す例では、撮像領域の画像のサイズを４ＶＧＡ（1280×960）としており、撮像領域内のＸ座標値の範囲は０〜１２８０、Ｙ座標値の範囲は０〜９６０となり、最後に検出された位置に移動量を繰り返し加算して得られたＸ座標値およびＹ座標値が、撮像領域内のＸ座標値およびＹ座標値の範囲から外れると、フレームアウトしたものと判断する。
【０１４７】
なお、このフレームアウト時刻推定処理は、図１６に示した進入位置および退出位置の推定処理でまとめて行うようにしてもよい。
【０１４８】
このようにしてグループ内の各人物のフレームアウト時刻を推定すると、各人物のフレームアウト時刻を比較して、最初にフレームアウトした人物を選出する。図１９に示す例では、人物Ａ、人物Ｃ、人物Ｂの順にフレームアウトしており、最初にフレームアウトした人物Ａを分析対象外の人物と判定する。
【０１４９】
なお、フレームアウト時刻が複数の人物で等しくなった場合には、移動量が小さい人物を選出する。すなわち、顧客が店員に案内されて客席に向かう場合、通常、顧客が店員を追い越すことはなく、顧客は店員の後について同じ速度で移動するため、平均的な移動速度は基本的に同じグループ内の人物では同一と考えられる。このため、フレームアウトする直前の移動量が小さい人物の方が同じ速度で移動した場合には先にフレームアウトすると想定される。
【０１５０】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る客層分析装置、客層分析システムおよび客層分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【０１５１】
すなわち、本実施形態では、ファミリーレストランなどの飲食店の例について説明したが、コンビニエンスストアなどの小売店など、飲食店以外の業務形態の店舗に適用することも可能である。
【０１５２】
また、本実施形態では、図３に示したように、店舗に設けられたＰＣ３に客層分析処理の全てを行わせる例について説明したが、この客層分析処理の全てを、別の情報処理装置、例えば、図１に示したように、本部に設けられたＰＣ７や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、客層分析処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、客層分析処理を分担する複数の情報処理装置で客層分析システムが構成される。
【０１５３】
この場合、店舗に設けられたＰＣ３に、少なくとも客層判定処理を行わせるようにするとよい。このように構成すると、客層判定処理で取得した客層情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ７に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
【０１５４】
また、クラウドコンピュータ２１に、少なくとも客層判定処理を行わせるようにするとよい。このように構成すると、客層判定処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。
【０１５５】
また、クラウドコンピュータ２１に、客層分析処理の全部を行わせるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，７の他に、スマートフォン２２などの携帯型端末でも分析結果を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で客層分析結果を閲覧することができる。
【０１５６】
また、本実施形態では、店舗や本部に設置されたＰＣ３，７で客層分析結果を閲覧するようにしたが、客層分析結果の閲覧装置をＰＣ３，７とは別に設けることも可能であり、例えば、前記のようにスマートフォン２２を客層分析結果の閲覧装置とする他に、ＰＯＳワークステーション４に客層分析結果の閲覧装置としての機能を付加することも可能である。また、本実施形態では、客層分析結果を閲覧するため、ディスプレイ１３，１７に客層分析結果を画面表示させるようにしたが、客層分析結果をプリンタで出力することも可能である。
【０１５７】
また、本実施形態では、客層を性別および年齢で区分したが、性別および年齢のいずれか一方のみで区分することも可能であり、さらに人種などで区分することも可能である。また、本実施形態では、年齢の区分を１０歳単位の年齢層としたが、これとは異なる幅で年齢層を設定することも可能である。
【０１５８】
また、本実施形態では、集計単位となる期間を１時間単位の時間帯としているが、この集計単位となる期間はこれに限定されるものではなく、１時間〜数時間、１日〜数日、１週間〜数週間、１ヶ月〜数ヶ月など、ユーザの必要に応じて種々に設定することができる。
【産業上の利用可能性】
【０１５９】
本発明にかかる客層分析装置、客層分析システムおよび客層分析方法は、店員が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けて、店舗に来店した顧客の客層に関する分析を精度よく行うことができる効果を有し、店舗に来店した顧客の客層に関する分析を行う客層分析装置、客層分析システムおよび客層分析方法などとして有用である。
【符号の説明】
【０１６０】
１  カメラ（撮像装置）
２  レコーダ（画像記録装置）
３  ＰＣ（客層分析装置、閲覧装置）
７  ＰＣ（閲覧装置）
２１  クラウドコンピュータ
２２  スマートフォン
３１  監視部
３２  客層分析部
３３  画像解析部
３４  画像解析情報蓄積部
３５  フィルタリング部（フィルタリング手段）
３６  集計部（集計手段）
３７  出力情報生成部（出力情報生成手段）
５１  人物検出部
５２  客層判定部（客層判定手段）
５４  行動形態判定部
５５  対象人物特定部
５６  個人行動判定部
５７  グループ行動判定部
６１  滞留判定部
６２  移動経路判定部
６３  グループ分け部
６４  １人グループ判定部
６５  グループ先頭判定部
【要約】
【課題】店員が分析対象に含まれたり、同一の顧客が重複して分析対象に含まれたりすることを避けて、店舗に来店した顧客の客層に関する分析を精度よく行うことができるようにする。
【解決手段】店舗内に設定された撮像領域に出現した人物の客層を判定する客層判定部５２と、分析対象を所定の行動形態をとる顧客に限定する所定の判定条件にしたがって、撮像領域に出現した人物の行動形態から、その人物が分析対象となる顧客か否かを判定して、該当しない人物を分析対象から排除するフィルタリング部３５と、このフィルタリング手段により絞り込まれた人物を対象にして客層判定手段により取得した顧客ごとの客層情報を集計する集計部３６と、この集計手段の集計結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えたものとする。
【選択図】図７【図１】
0005438859.tif 000002
【図２】
0005438859.tif 000003
【図３】
0005438859.tif 000004
【図４】
0005438859.tif 000005
【図５】
0005438859.tif 000006
【図６】
0005438859.tif 000007
【図７】
0005438859.tif 000008
【図８】
0005438859.tif 000009
【図９】
0005438859.tif 000010
【図１０】
0005438859.tif 000011
【図１１】
0005438859.tif 000012
【図１２】
0005438859.tif 000013
【図１３】
0005438859.tif 000014
【図１４】
0005438859.tif 000015
【図１５】
0005438859.tif 000016
【図１６】
0005438859.tif 000017
【図１７】
0005438859.tif 000018
【図１８】
0005438859.tif 000019
【図１９】
0005438859.tif 000020