(57)【要約】【課題】装置構成を複雑化することなく、撮像対象の人物の行動と特徴とを適切に対応付ける。【解決手段】情報処理装置３０は、監視領域を撮像した第一の画像から撮像対象の人物の行動を特定する特定手段と、監視領域内の一部の特定領域を撮像した第二の画像から、特定手段により行動を特定された人物を識別する識別手段と、第二の画像から識別手段により識別された人物の特徴を抽出する抽出手段と、特定手段により特定された人物の行動と、抽出手段により抽出された人物の特徴とを対応付ける対応付け手段と、を備える。【選択図】      図１
2018097412.tif 000002
【特許請求の範囲】
【請求項１】
監視領域を撮像した第一の画像から撮像対象の人物の行動を特定する特定手段と、
前記監視領域内の一部の特定領域を撮像した第二の画像から、前記特定手段により行動を特定された前記人物を識別する識別手段と、
前記第二の画像から前記識別手段により識別された前記人物の特徴を抽出する抽出手段と、
前記特定手段により特定された前記人物の行動と、前記抽出手段により抽出された前記人物の特徴とを対応付ける対応付け手段と、を備えることを特徴とする情報処理装置。
【請求項２】
前記特定手段は、前記人物の購買行動を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記人物の動線を特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記第一の画像は、施設のレジ前領域を含む領域を撮像した画像であり、
前記特定手段は、
前記第一の画像から前記人物が購買を行ったＰＯＳレジと購買を行った時刻とに関する情報を含む購入客情報を取得する第一の取得手段と、
前記ＰＯＳレジから購入商品に関する情報を含む購買情報を取得する第二の取得手段と、を備え、
前記第一の取得手段により取得された購入客情報と、前記第二の取得手段により取得された購買情報とに基づいて、前記購買行動を特定することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記識別手段は、
前記第一の画像をもとに前記人物を追跡する追跡手段と、
前記追跡手段による追跡結果に基づいて、前記人物が前記特定領域に侵入している時刻を検出する検出手段と、を備え、
前記検出手段により検出された時刻に撮像された前記第二の画像において前記特定領域に対応する領域内に存在する人物を、前記特定手段により行動を特定された人物として識別することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記特定領域は、施設の出口領域であることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記抽出手段は、
前記第二の画像から前記識別手段により識別された前記人物の顔を検出し、検出された顔画像に基づいて前記特徴を抽出することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記抽出手段は、前記人物の性別および年齢の少なくとも一方を前記特徴として抽出することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記対応付け手段により対応付けられた情報に基づいて、前記人物の行動を分析したレポートを作成する作成手段をさらに備えることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
監視領域を撮像した第一の画像から撮像対象の人物の行動を特定するステップと、
前記監視領域内の一部の特定領域を撮像した第二の画像から、前記行動を特定された前記人物を識別するステップと、
前記第二の画像から識別された前記人物の特徴を抽出するステップと、
特定された前記人物の行動と、抽出された前記人物の特徴とを対応付けるステップと、を含むことを特徴とする情報処理方法。
【請求項１１】
コンピュータを、請求項１から９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ネットワークカメラ（以下、「ＮＷカメラ」という。）から得られる画像の解析を活用した技術は、店舗内の監視以外にも用いられている。例えば、小売店のレジ前にＮＷカメラを設置しておき、ＮＷカメラから得られる画像から、顧客の特徴（顔、年齢、性別など）を抽出し、その顧客の特徴とレジでの購買情報とを関連付けてマーケティング分析に活用する技術がある。
【０００３】
特許文献１には、店舗内における顧客の行動を分析して、マーケティングに役立つデータを収集する顧客行動記録装置が開示されている。この技術は、施設に入店する人物を撮像する入口カメラと、施設内を移動する人物を撮像する施設内カメラと、商品の購入代金の支払いを行う人物を撮像する会計エリアカメラと、を備える。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１１３６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術では、入口カメラ、施設内カメラおよび会計エリアカメラのそれぞれにおいて撮像された人物の対応付けを、撮像された人物の顔部分の画像を照合することにより行っている。そのため、各カメラは、それぞれ人物の顔を正面から捉えられる位置に設置する必要がある。
レジスペースの天井付近やレジに立つ店員の斜め後ろに防犯用カメラを設置している場合、その防犯用カメラをマーケティング分析用途として流用することも考えられる。しかしながら、そういった場所に設置されている防犯用カメラでは、顧客の顔が正面から捉えられなかったり、店員によって顧客の顔が映らなかったりする場合があるため、顧客の顔検出に失敗したり、人物特徴を抽出する際の精度が低下したりしてしまう。
【０００６】
したがって、レジ前に立つ顧客を正面から撮像するためには、防犯用カメラとは別に、マーケティング専用カメラを設置しなければならない。そして、そのマーケティング専用カメラは、レジごとにそれぞれ設置しなければならない。その理由は、レジが複数存在する場合、１つのレジ本体にカメラを設置しただけでは、画角が足りずに全てのレジ前に存在する顧客を撮像できないためである。つまり、上記特許文献１に記載の技術では、会計エリアカメラとしてレジの台数分のマーケティング専用カメラが必要となり、レジ台数が多い場合、コストが増大してしまう。
そこで、本発明は、装置構成を複雑化することなく、撮像対象の人物の行動と特徴とを適切に対応付けることを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、監視領域を撮像した第一の画像から撮像対象の人物の行動を特定する特定手段と、前記監視領域内の一部の特定領域を撮像した第二の画像から、前記特定手段により行動を特定された前記人物を識別する識別手段と、前記第二の画像から前記識別手段により識別された前記人物の特徴を抽出する抽出手段と、前記特定手段により特定された前記人物の行動と、前記抽出手段により抽出された前記人物の特徴とを対応付ける対応付け手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、装置構成を複雑化することなく、撮像対象の人物の行動と特徴とを適切に対応付けることができる。
【図面の簡単な説明】
【０００９】
【図１】第一の実施形態におけるシステムのネットワーク構成図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】マーケティング分析処理の流れを示すフローチャートである。
【図４】事前設定の流れを示す概念図である。
【図５】映像解析処理の概念図である。
【図６】映像解析処理の流れを示すフローチャートである。
【図７】映像解析処理で使用するデータ構造の一例である。
【図８】マーケティングレポート作成処理の流れを示すフローチャートである。
【図９】マーケティングレポート作成処理で使用するデータ構造の一例である。
【図１０】マーケティングレポートの一例である。
【図１１】第二の実施形態におけるシステムのネットワーク構成図である。
【図１２】第二の実施形態の映像解析処理の概念図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００１１】
（第一の実施形態）
図１は、本実施形態におけるシステムの動作環境の一例を示したネットワーク構成図である。本実施形態では、施設（店舗）内に設置したネットワークカメラを利用してマーケティング分析を行い、マーケティングレポートサービスを提供するマーケティング分析システムについて説明する。
マーケティング分析システム１０は、レジカメラ２０Ａと、出口カメラ２０Ｂと、情報処理装置３０と、ＰＯＳ（Point Of Sales）レジ４０と、クライアント装置５０Ａおよび５０Ｂと、を備える。レジカメラ２０Ａ、出口カメラ２０Ｂ、情報処理装置３０、ＰＯＳレジ４０、クライアント装置５０Ａおよび５０Ｂは、ネットワーク６０によって接続されている。なお、ネットワーク６０は、ＬＡＮ（Local Area Network）やインターネット、ＷＡＮ（Wide Area Network）などとすることができる。なお、ネットワーク６０への物理的な接続形態は、有線であってもよいし、無線であってもよい。
【００１２】
本実施形態では、情報処理装置３０は、クラウドコンピューティング基盤上で構築するものとして説明する。ただし、上記に限ったものではなく、情報処理装置３０をオンプレミスのサーバ上に構築するようにしてもよい。
レジカメラ２０Ａは、店舗内における複数のＰＯＳレジ４０が設置されたレジスペースの天井付近に設置され、各ＰＯＳレジ４０のレジ前領域と店舗の出入口付近に設定された出口領域とを含む監視領域を撮像する。レジカメラ２０Ａは、広角カメラもしくは全方位カメラを用いることができる。レジカメラ２０Ａにより撮像された画像は、監視領域内を移動する撮像対象の人物（顧客）の行動を特定する用途に使用される。なお、レジカメラ２０Ａにより撮像された画像は、防犯を目的とした用途に使用することもできる。
【００１３】
出口カメラ２０Ｂは、監視領域内の一部の特定領域を撮像するカメラである。ここで、監視領域内の一部の特定領域は、店舗の出口領域である。出口カメラ２０Ｂは、店舗の出入口から店内に向けて設置されたカメラであり、店舗の出口領域において、店舗の外に出る顧客の顔を正面から撮像できる位置に設置されている。出口カメラ２０Ｂにより撮像された画像は、顧客の人物特徴を抽出する用途に使用される。
情報処理装置３０は、レジカメラ２０Ａおよび出口カメラ２０Ｂにより撮像された画像（映像）を取得し、マーケティング分析処理を行う。具体的には、情報処理装置３０は、レジカメラ２０Ａの画像から撮像対象の人物の行動を特定し、出口カメラ２０Ｂの画像から上記の行動を特定された人物を識別し、当該人物の特徴を抽出する。そして、情報処理装置３０は、人物の行動と特徴とを対応付けてマーケティングデータとして出力する。さらに、情報処理装置３０は、マーケティングデータに基づいて、人物の行動を分析したマーケティングレポートを作成し、出力する。
【００１４】
本実施形態では、情報処理装置３０は、購入客の購買行動を特定し、購入客の購買行動と人物特徴とを対応付けたマーケティングデータを出力する。ここで、購買行動は、購入客が商品を購入する行動であり、購入客が購買を行ったＰＯＳレジ４０が送信する購買情報により特定することができる。つまり、本実施形態におけるマーケティングデータは、特定の人物特徴を持った購入客の購買傾向を分析するためのデータであるといえる。情報処理装置３０は、レジカメラ２０Ａの画像に対して映像解析処理を行い、その映像解析処理の結果とＰＯＳレジ４０が送信する購買情報とを用いて、購入客の購買行動を特定する。
【００１５】
また、情報処理装置３０は、レジカメラ２０Ａの画像に対して映像解析処理を行い、購買を行った購入客をレジ前領域から出口領域まで追跡し、その追跡結果に基づいて、出口カメラ２０Ｂの画像から上記の追跡した購入客を識別する。そして、情報処理装置３０は、出口カメラ２０Ｂの画像に対して映像解析処理を行い、追跡した購入客の顔を検出し、検出した顔画像に基づいて人物特徴を抽出する。
ＰＯＳレジ４０は、店舗内に１台以上設置され、購買情報を情報処理装置３０に送信する。本実施形態では、店舗内に３台のＰＯＳレジ４０ａ〜４０ｃ（図４）が設置されている場合について説明する。ＰＯＳレジ４０が送信する購買情報は、レジを識別するためのレジＩＤ、購買時刻、購入商品を識別するための商品ＩＤ等を含む。
【００１６】
クライアント装置５０Ａは、映像解析設定用のクライアントＰＣである。クライアント装置５０Ａは、操作者からの操作を受け付け、情報処理装置３０へ映像解析処理の事前設定を送信する。クライアント装置５０Ａは、操作者からレジカメラ２０Ａにより撮像された画像中のレジ前領域および出口領域に対応する領域の設定や、出口カメラ２０Ｂにより撮像された画像中の出口領域に対応する領域の設定に関する情報を受け付ける。
【００１７】
クライアント装置５０Ｂは、サービス利用クライアントＰＣである。クライアント装置５０Ｂは、操作者からの指示を受け付け、情報処理装置３０へマーケティング分析指示を送信する。クライアント装置５０Ｂは、例えば、操作者から分析対象店舗や分析対象レジの選択、分析対象期間の設定に関する情報を受け付ける。また、クライアント装置５０Ｂは、情報処理装置３０により生成されたマーケティングレポートを受信し、操作者へ提示する機能を有する。
なお、クライアント装置５０Ａおよび５０Ｂは、ＰＣに限定されるものではなく、タブレット端末などでも代用可能である。また、クライアント装置５０Ａおよび５０Ｂは、別々の端末である場合に限定されるものではなく、１つの端末であってもよい。
【００１８】
情報処理装置３０は、カメラ制御部３０１と、映像解析部３０２と、ＰＯＳデータ処理部３０３と、分析処理部３０４と、を備える。
カメラ制御部３０１は、レジカメラ２０Ａおよび出口カメラ２０Ｂの動作を制御する。例えば、カメラ制御部３０１は、レジカメラ２０Ａおよび出口カメラ２０Ｂに対して画像送信指示を送信し、画像送信指示を受けて各カメラ２０Ａ、２０Ｂが送信した画像を受信する。そして、カメラ制御部３０１は、各カメラ２０Ａ、２０Ｂから受信した画像を録画映像７１として保存する。また、カメラ制御部３０１は、後述する映像解析部３０２からの指示に従い、録画映像７１を映像解析部３０２に送信する。
【００１９】
映像解析部３０２は、レジカメラ２０Ａおよび出口カメラ２０Ｂにより撮像された画像を解析する。具体的には、映像解析部３０２は、後述する分析処理部３０６から映像解析指示を受け取ると、録画映像７１として保存された画像のうち解析対象の画像を、カメラ制御部３０１を介して受信し、映像解析処理を行う。このとき、映像解析部３０２は、クライアント装置５０Ａから受け取った事前設定に従って映像解析処理を行う。映像解析処理の詳細については後述する。
ＰＯＳデータ処理部３０３は、ＰＯＳサーバとしての機能を有する。ＰＯＳデータ処理部３０３は、ＰＯＳレジ４０から購買情報を受け取り、受け取った購買情報をＰＯＳデータ７２として保存する。
【００２０】
分析処理部３０４は、マーケティングサーバとしての機能を有する。分析処理部３０４は、クライアント装置５０Ｂからマーケティング分析指示を受け取ると、映像解析部３０２に対して映像解析指示を出力する。そして、分析処理部３０４は、映像解析部３０２から受け取った映像解析処理の結果と、ＰＯＳデータ処理部３０３を介して受け取ったＰＯＳデータ７２とを組み合わせ、マーケティングデータ７３を作成し保存する。また、分析処理部３０４は、マーケティングデータ７３をもとにマーケティングレポートを作成するマーケティングレポート作成処理を行い、作成したマーケティングレポートをクライアント装置５０Ｂに出力する。
なお、録画映像７１、ＰＯＳデータ７２およびマーケティングデータ７３は、情報処理装置３０内の記憶領域に保存されてもよいし、ネットワーク６０に接続された不図示のストレージ装置に保存されてもよい。
【００２１】
図２は、情報処理装置３０のハードウェア構成の一例を示す図である。
情報処理装置３０は、ＣＰＵ３１と、ＲＡＭ３２と、ＲＯＭ３３と、ＨＤＤ３４と、出力装置３５と、入力装置３６と、通信装置３７と、システムバス３８とを備える。
ＣＰＵ３１は、情報処理装置３０における動作を統括的に制御するプロセッサであり、システムバス３８を介して、各構成部（３２〜３７）を制御する。ＲＡＭ３２は、ＲＯＭ３３やＨＤＤ３４からロードされたプログラムやデータを一時的に記憶するための領域を有する。さらに、ＲＡＭ３２は、通信装置３７を介して外部装置から受信したデータを一時的に記憶するためのエリアを有する。また、ＲＡＭ３２は、ＣＰＵ３１が各処理を実行する際に用いるワークエリアも有する。
【００２２】
ＲＯＭ３３は、ＣＰＵ３１がマーケティングレポートサービスの機能を実現するために必要なプログラムを記憶する不揮発性メモリである。上記プログラムは、ＯＳ（オペレーティングシステム）上で動作するアプリケーションプログラムであってよい。なお、当該プログラムは、ＨＤＤ３４や不図示の記録媒体に記録されていてもよい。ＣＰＵ３１は、ＯＳとアプリケーションプログラムとをＲＯＭ３３あるいはＨＤＤ３４から読み出してＲＡＭ３２にロードし、実行することで各種の機能動作を実現することができる。
【００２３】
出力装置３５は、各種処理結果やユーザインタフェース画面（ＵＩ画面）を表示するモニタにより構成される。入力装置３６は、キーボードやマウス等のポインティングデバイス、タッチパネル等により構成することができる。情報処理装置３０のユーザ（例えば、システム設定者）は、入力装置３６を操作して情報処理装置３０に対して指示を入力することができる。通信装置３７は、ネットワーク６０に接続された外部装置と通信するためのインタフェースである。システムバス３８は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、ＨＤＤ３４、出力装置３５、入力装置３６および通信装置３７を通信可能に接続する。
【００２４】
図１に示す情報処理装置３０の各部の機能は、ＣＰＵ３１がプログラムを実行することで実現され得る。ただし、図１で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。なお、クライアント装置５０Ａおよび５０Ｂも、図２と同様のハードウェア構成を有することができる。
【００２５】
図３は、情報処理装置３０が実行するマーケティング分析処理の流れを示すフローチャートである。情報処理装置３０は、ＣＰＵ３１が必要なプログラムを読み出して実行することにより、図３に示す各処理を実現することができる。ただし、上述したように、図１に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図３の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。
【００２６】
まずＳ１において、映像解析部３０２は、クライアント装置５０Ａから事前設定を受け付ける。ここで、事前設定は、上述したように、レジカメラ２０Ａにより撮像された画像中のレジ前領域および出口領域に対応する領域の設定、出口カメラ２０Ｂにより撮像された画像中の出口領域に対応する領域の設定を少なくとも含む。事前設定の詳細については、図４を用いて後述する。
Ｓ２では、分析処理部３０４は、クライアント装置５０Ｂからマーケティング分析指示を受け付ける。ここで、マーケティング分析指示は、上述したように、分析対象店舗の識別番号や分析対象レジのレジ番号、分析対象期間を含む。分析処理部３０４は、マーケティング分析指示を受け取ると、映像解析部３０２に対して映像解析指示を出力する。
【００２７】
Ｓ３では、映像解析部３０２は、分析処理部３０４からの映像解析指示を受け、映像解析処理を実行する。映像解析部３０２は、映像解析処理に際し、カメラ制御部３０１を介してレジカメラ２０Ａおよび出口カメラ２０Ｂから解析対象の画像を取得する。ここで、解析対象の画像は、上記分析対象期間に相当する時刻に撮像された画像である。そして、映像解析部３０２は、取得した画像に対して映像解析処理を実行する。映像解析処理の詳細については、図５〜図７を用いて後述する。
Ｓ４では、分析処理部３０４は、Ｓ３における映像解析処理の解析結果とＰＯＳデータ７２とをもとに、マーケティングデータを作成する。また、分析処理部３０４は、マーケティングデータをもとに、マーケティングレポートを作成する。このマーケティングレポート作成処理の詳細については、図８〜図１０を用いて後述する。
【００２８】
（事前設定）
図４は、映像解析部３０２がクライアント装置５０Ａから事前設定を受け付ける処理の流れを説明するための図である。図４（Ａ）は、マーケティングの対象となる店舗とカメラの設置位置とを示す図であり、図４（Ｂ）および図４（Ｃ）は、クライアント装置５０Ａに表示される事前設定画面の一例である。
本実施形態では、映像解析処理において、レジ前領域に侵入した人物の検出と、出口領域に侵入した人物の検出を行う必要がある。そのため、事前設定では、各カメラ２０Ａ、２０Ｂにより撮像された画像中のどの領域がレジ前領域または出口領域に相当するのかを設定する。
【００２９】
図４（Ａ）に示すように、店舗８０内には、レジスペース８１と通路スペース８２とが設けられている。レジカメラ２０Ａは、レジスペース８１の天井付近に設置され、出口カメラ２０Ｂは、出入口付近に設置されている。購入客Ｐ１、Ｐ２は、出入口から店舗８０内に入り、通路スペース８２を移動して商品棚から商品を取り出し、レジ前領域に移動して購入代金を支払った後、出口領域に移動して出入口から店舗８０の外に出る。本実施形態では、クライアント装置５０Ａの操作者は、領域設定画面を操作して、レジ前領域および出口領域に対応する領域をそれぞれ指定する。
【００３０】
図４（Ｂ）は、クライアント装置５０Ａにて表示される、レジカメラ２０Ａに対する領域設定画面５１の例である。クライアント装置５０Ａの操作者は、図４（Ｂ）に示す領域設定画面５１を見ながら、レジカメラ２０Ａにより撮像された画像中のレジ前領域および出口領域に対応する領域を設定する。
領域設定画面５１は、画像表示部５２と指定ボタン５３とを備える。画像表示部５２は、レジカメラ２０Ａにより撮像された画像を表示する領域である。また、指定ボタン５３は、レジ前領域の設定対象とするレジを指定するためのボタンである。指定ボタン５３には、事前に情報処理装置３０から取得したレジ名など、各レジを識別可能な情報を表示する。
【００３１】
クライアント装置５０Ａの操作者は、マウス等を使用して、画像表示部５２に表示された画像内におけるレジ前領域を指定する。操作者は、購入客が購入代金を支払うためにレジ前に侵入したと判断できる領域を、レジ前領域として指定する。続いて、クライアント装置５０Ａの操作者は、指定したレジ前領域がどのレジの前の領域に相当するのかを、指定ボタン５３を用いて指示する。
例えば、図４（Ｂ）において、操作者がレジ前領域８３ａを指定した後、「レジ１」の指定ボタン５３を指定すれば、レジ前領域８３ａがＰＯＳレジ４０ａの前の領域として設定される。同様に、レジ前領域８３ｂをＰＯＳレジ４０ｂの前の領域、レジ前領域８３ｃをＰＯＳレジ４０ｃの前の領域として設定することができる。このように、ＰＯＳレジ４０ａ〜４０ｃとレジ前領域８３ａ〜８３ｃとをそれぞれ紐付けすることができる。
【００３２】
また、クライアント装置５０Ａの操作者は、マウス等を使用して、画像表示部５２に表示された画像内における出口領域に対応する領域を指定する。操作者は、顧客（購入客を含む）が店の外に出ようとしたと判断できる領域を、出口領域８４として指定する。
なお、レジ前領域の指定に際し、クライアント装置５０Ａの操作者は、先に指定ボタン５３によってレジ名を指定し、その後に対応するレジ前領域を指定してもよい。また、画像表示部５２には、レジカメラ２０Ａにより撮像された、ある特定の時刻の静止画像を表示するようにしてもよいし、動画像を表示してもよい。動画像を表示した場合、会計を行う購入客がレジ前のどのあたりに立つのかを見ながらレジ前領域を指定することができる。
【００３３】
図４（Ｃ）は、クライアント装置５０Ａにて表示される、出口カメラ２０Ｂの領域設定画面５４の例である。クライアント装置５０Ａの操作者は、図４（Ｃ）に示す領域設定画面５４を見ながら、出口カメラ２０Ｂにより撮像された画像中の出口領域に対応する領域を設定する。
領域設定画面５４は、画像表示部５５を備える。画像表示部５５は、出口カメラ２０Ｂにより撮像された画像を表示する領域である。この画像表示部５５には、図４（Ｂ）の画像表示部５２と同様に、出口カメラ２０Ｂにより撮像された、ある特定の時刻の静止画像を表示してもよいし、動画像を表示してもよい。クライアント装置５０Ａの操作者は、マウス等を使用して、画像表示部５５に表示された画像内において出口領域８４を指定する。このときクライアント装置５０Ａは、レジカメラ２０Ａの画像に対して設定された出口領域８４と、出口カメラ２０Ｂの画像に対して設定された出口領域８４との対応付けを行う。
クライアント装置５０Ａは、事前設定が完了すると、その事前設定に関する情報を映像解析部３０２に送信する。
【００３４】
（映像解析処理）
以下、映像解析処理について、図５〜図７を用いて具体的に説明する。
図５は、映像解析部３０２が実行する映像解析処理の概念図である。図５（Ａ）は、レジカメラ２０Ａにより撮像された画像２１Ａであり、図５（Ｂ）は、出口カメラ２０Ｂにより撮像された画像２１Ｂである。図５（Ａ）では、レジ前領域８３ｂに侵入した購入客Ｐ３が、レジ前領域８３ｂから出口領域８４に移動した様子を示している。符号Ｐ３´は、出口領域８４における購入客Ｐ３を示している。
【００３５】
映像解析部３０２は、レジカメラ２０Ａの画像から撮像対象の人物の行動（購入客の購買行動）を特定するために、まず、レジ前領域８３ａ〜８３ｃのいずれかに侵入した購入客を検知する。そして、映像解析部３０２は、レジ前領域に侵入した購入客がレジ前領域に侵入している時刻（レジ侵入時刻範囲）と、どのＰＯＳレジ４０に対応するレジ前領域に侵入しているかを検出する。また、映像解析部３０２は、レジカメラ２０Ａの画像をもとに、レジ前領域に侵入した購入客を追跡し、その追跡結果に基づいて、当該購入客が出口領域８４に侵入している時刻（出口侵入時刻範囲）を検出する。
【００３６】
次に、映像解析部３０２は、レジカメラ２０Ａの画像をもとに追跡した購入客を、出口カメラ２０Ｂの画像から識別する。本実施形態では、映像解析部３０２は、上記の出口侵入時刻範囲において出口カメラ２０により撮像された画像における出口領域に対応する領域に存在する人物を、レジカメラ２０Ａの画像をもとに追跡した購入客として識別する。そして、映像解析部３０２は、出口カメラ２０Ｂの画像から、識別した購入客の顔を検出し、その顔画像に基づいて購入客の人物特徴を抽出する。
以上の映像解析処理により、いつ、どのレジ前にいた購入客が、どういった人物特徴を持った人物であるかを解析することができる。
【００３７】
図６は、映像解析処理の流れを示すフローチャートである。この図６の処理は、図３のＳ３において実行される。図６（Ａ）は、レジカメラ２０Ａの画像を解析対象とした映像解析処理、図６（Ｂ）は、出口カメラ２０Ｂの画像を解析対象とした映像解析処理である。
先ず、図６（Ａ）のＳ３１において、映像解析部３０２は、レジカメラ２０Ａにより撮像された解析対象の画像から、図４（Ｂ）に示すレジ前領域８３ａ〜８３ｃのいずれかに侵入した人物（購入客）を検知する。このとき、映像解析部３０２は、購入客情報９１として、図７に示すように、購入客ＩＤ９１ａ、レジＩＤ９１ｂ、レジ侵入時刻範囲９１ｃを記録する。ここで、購入客ＩＤ９１ａは、購入客を一意に特定するためのＩＤであり、Ｓ３１において購入客が検知されるたびに、映像解析部３０２がＩＤを発行する。レジＩＤ９１ｂは、購入客が侵入したレジ前領域に対応するレジを特定するためのＩＤである。レジ侵入時刻範囲９１ｃは、購入客がレジ前領域に入った時刻からレジ前領域から出た時刻までを示す。
【００３８】
Ｓ３２では、映像解析部３０２は、レジカメラ２０Ａにより撮像された解析対象の画像をもとに、Ｓ３１において検知された購入客を追跡する。追跡方法としては、例えば、解析対象の画像と予め格納されたテンプレートとを比較することにより、解析対象の画像中から人物の顔領域（あるいは、頭部領域）を検出して、人物を追跡する方法を用いることができる。なお、人物の追跡処理を実現する方法は、上記に限定されるものではなく、任意の方法を適用可能である。
【００３９】
Ｓ３３では、映像解析部３０２は、レジカメラ２０Ａにより撮像された解析対象の画像をもとに、Ｓ３１において検知した購入客が出口領域８４に侵入したことを検知する。このとき、映像解析部３０２は、図７に示す購入客情報９１として、対応する購入客の出口侵入時刻範囲９１ｄを記録する。出口侵入時刻範囲９１ｄは、購入客が出口領域８４に入った時刻から出口領域８４から出た時刻までを示す。
【００４０】
次に、図６（Ｂ）のＳ３４において、映像解析部３０２は、購入客ＩＤ９１ａごとに、出口侵入時刻範囲９１ｄ付近で撮像された出口カメラ２０Ｂの画像を、解析対象の画像として取得する。Ｓ３５では、映像解析部３０２は、購入客ＩＤ９１ａごとに顔検出を行う。具体的には、Ｓ３５では、映像解析部３０２は、Ｓ３４において取得された解析対象の画像中の出口領域８４内に存在している人物を、顔検出の対象となる購入客として識別し、顔検出を行う。出口領域８４内に存在する人物に対して顔検出を行うことで、偶然その時刻に出口カメラ２０Ｂに映ってしまった別の購入客に対して誤って顔検出を行ってしまうことを回避することができる。
【００４１】
Ｓ３６では、映像解析部３０２は、購入客ＩＤ９１ａごとに人物特徴を抽出する。具体的には、Ｓ３６では、映像解析部３０２は、Ｓ３５において顔検出された購入客の顔画像をもとに、購入客の年齢、性別といった人物特徴を抽出する。人物特徴の抽出方法としては、例えば、解析対象の画像から特徴量を抽出し、抽出した特徴量と予め学習済みの判定基準データとを用いて年齢や性別を推定する方法を用いることができる。なお、人物特徴の推定処理を実現する方法は、上記に限定されるものではなく、任意の方法を適用可能である。
【００４２】
映像解析部３０２は、Ｓ３６において推定された人物特徴（性別、年齢）を、図７に示す購入客情報９１に、対応する購入客の人物特徴９１ｅとして記録する。本実施形態では、購入客の年齢は、「１０代」、「２０代」、「３０代」…のようにクラス分けして記録されるものとする。
以上の映像解析処理により、どのレジで（レジＩＤ９１ｂ）、いつごろ（レジ侵入時刻範囲９１ｃ）購買を行った購入客が、どういった人物特徴９１ｅを持っているのかの情報を得ることができる。
【００４３】
（マーケティングレポート作成処理）
以下、マーケティングレポート作成処理について、図８〜図１０を用いて具体的に説明する。
図８は、マーケティングレポート作成処理の流れを示すフローチャートである。この図８の処理は、図３のＳ４において実行される。分析処理部３０４は、映像解析部３０２による映像解析処理の結果と、ＰＯＳデータ７２とに基づいて、購入客の人物特徴と購買情報とを対応付けてマーケティングデータ７３を作成する。そして、分析処理部３０４は、マーケティングデータ７３を用いてマーケティングレポートを作成する。
【００４４】
先ずＳ４１において、分析処理部３０４は、ＰＯＳデータ処理部３０３を介して、図７の購入客ＩＤ９１ａごとに、対応するＰＯＳデータ７２を取得する。図９（Ａ）は、ＰＯＳデータ７２を構成する購買情報９２のデータ構造を示す図である。購買情報９２は、購買ＩＤ９２ａ、レジＩＤ９２ｂ、購買時刻９２ｃおよび商品ＩＤ９２ｄを含む。分析処理部３０４は、購入客ＩＤ９１ａごとに、購入客情報９１に含まれるレジＩＤ９１ｂおよびレジ侵入時刻範囲９１ｃを参照し、レジＩＤ９２ｂがレジＩＤ９１ｂと一致し、且つ購買時刻９２ｃがレジ侵入時刻範囲９１ｃに含まれる購買情報９２を取得する。
【００４５】
つまり、分析処理部３０４は、購入客が購買を行ったＰＯＳレジ４０と購買を行った時刻とに関する情報を含む購入客情報をもとに、購入客が購買を行ったＰＯＳレジ４０から送信された、購入客の購入商品に関する情報を含む購買情報を取得する。例えば、図７の購入客ＩＤ＝「００１３」の購入客に関しては、「レジ２」で「２０１５年６月１０日の１１：３１：２４−１１：３１：５３」に購買が行われたことを示す購買情報９２を取得する。図９（Ａ）に示す例では、購買ＩＤ＝「０００４１」が、上記条件に適合する。そのため、購買ＩＤ＝「０００４１」の購買情報が、購入客ＩＤ＝「００１３」の購入客の購買情報であると判断することができる。
【００４６】
Ｓ４２では、分析処理部３０４は、購入客の人物特徴と購買情報とを対応付けたマーケティング情報を、マーケティングデータ７３として格納する。図９（Ｂ）は、マーケティングデータ７３を構成するマーケティング情報９３のデータ構造を示す図である。マーケティング情報９３は、購入客ＩＤ９３ａ、人物特徴９３ｂおよび購買ＩＤ９３ｃを含む。マーケティング情報９３は、どういった人物特徴９３ｂを持った購入客が、どういった購買行動（購買ＩＤ９３ｃ）を行ったかを示す情報である。
【００４７】
Ｓ４３では、分析処理部３０４は、Ｓ４２において作成されたマーケティングデータをもとに、マーケティングレポートを作成する。そして、分析処理部３０４は、作成したマーケティングレポートをクライアント装置５０Ｂに送信する。
マーケティングレポートの例を図１０（Ａ）〜図１０（Ｃ）に示す。図１０（Ａ）は、年代性別ごとの購入金額をグラフ化したものである。図１０（Ｂ）は、２０代女性の商品カテゴリ別売り上げをグラフ化したものである。図１０（Ｃ）は、２０代女性のサンダルカテゴリの商品別売り上げをグラフ化したものである。なお、図１０に示すマーケティングレポートは一例であり、レポート内容や表示方法は上記に限定されない。
【００４８】
以上のように、情報処理装置３０は、広角カメラなどのレジカメラ２０Ａにより店舗のレジ前領域と出口領域とを含む監視領域が撮像された画像と、出口カメラ２０Ｂにより監視領域内の一部の特定領域である出口領域が撮像された画像とを取得する。そして、情報処理装置３０は、レジカメラ２０Ａの画像から撮像対象の人物の行動（購入客の購買行動）を特定する。また、情報処理装置３０は、出口カメラ２０Ｂにより撮像された画像から、上記の購買行動を特定された人物を識別して当該人物の人物特徴を抽出し、購買行動と人物特徴とを対応付ける。
【００４９】
このように、情報処理装置３０は、広域画像からは購入客の購買行動のみを特定し、特定領域において撮像された画像から抽出された購入客の人物特徴に、上記購買行動を紐付ける。したがって、購買行動と人物特徴とを紐付けるために、購入客が購買行動を行う領域であるレジ前領域において、購入客を正面から撮像して人物特徴を抽出する必要がない。つまり、複数のレジ本体それぞれに、人物特徴を抽出するためのカメラを設置する必要がない。そのため、レジ台数分のカメラが不要になり、その分のコストを削減することができる。
【００５０】
また、情報処理装置３０は、購入客の購買行動の特定に際し、まず、施設（店舗）のレジ前領域を撮像したレジカメラ２０Ａの画像から購入客が購買を行ったＰＯＳレジと購買を行った時刻とに関する情報を含む購入客情報を取得する。このとき、情報処理装置３０は、レジカメラ２０Ａの画像から、ＰＯＳレジごとに設定されたレジ前領域に侵入した人物を検知し、侵入したレジ前領域に対応するＰＯＳレジと当該レジ前領域に侵入した時刻とを検出する。次に、情報処理装置３０は、購入客が侵入したレジ前領域に対応するＰＯＳレジから、購入商品に関する情報を含む購買情報を取得する。そして、情報処理装置３０は、取得された購入客情報と購買情報とを対応付ける。
【００５１】
これにより、情報処理装置３０は、購入客がいつ、どのレジで購買を行ったかを示す購買行動を特定することができる。したがって、購買行動と人物特徴とを対応付けることで、いつ、どのレジで購買を行った人物が、どのような人物特徴を持った人物であるかといったマーケティングデータを得ることができる。
さらに、情報処理装置３０は、レジカメラ２０Ａの画像から特定された購買行動と、出口カメラ２０Ｂの画像から抽出された人物特徴との紐付けに際し、レジカメラ２０Ａの画像に映る人物と出口カメラ２０Ｂの画像に映る人物との紐付けを行う。その際、情報処理装置３０は、レジカメラ２０Ａの画像をもとに購入客がレジ前領域に侵入したことを検知すると、当該購入客をレジ前領域から出口領域まで追跡する。また、情報処理装置３０は、その追跡結果に基づいて、購入客が特定領域（出口領域）に侵入している時刻を検出する。
【００５２】
そして、情報処理装置３０は、購入客が出口領域に侵入したとされる時刻に撮像された出口カメラ２０Ｂの画像を取得し、その画像における出口領域に対応する領域内に存在する人物を、上記の購買を行った購入客として識別する。つまり、購入客がレジカメラ２０Ａの画像における出口領域に対応する領域に侵入している時刻は、購入客が出口カメラ２０Ｂの画像における出口領域に対応する領域に侵入している時刻と等しいことを利用する。これにより、レジカメラ２０Ａの画像に映る人物と出口カメラ２０Ｂの画像に映る人物との紐付けを適切に行うことができる。
【００５３】
また、情報処理装置３０は、出口カメラ２０Ｂの画像から購入客の顔を検出し、検出された顔画像に基づいて、人物特徴として性別および年齢の少なくとも一方を抽出する。したがって、購買行動と人物特徴とが対応付けられたマーケティングデータをもとに、年代性別ごとの購入金額や２０代女性の商品カテゴリ別もしくは商品別の売り上げなどの分析が可能となる。
さらに、情報処理装置３０は、マーケティングデータに基づいてマーケティングレポートを作成し、これをクライアント装置５０Ｂに出力する。ここで、マーケティングレポートは、購入客の行動を分析した結果をグラフ化したものとすることができる。これにより、クライアント装置５０Ｂの操作者は、マーケティングレポートをもとに顧客の年代層や売れ筋商品等を容易に把握することができる。
【００５４】
以上のように、情報処理装置３０は、レジカメラ２０Ａの画像から購入客と購買情報とを特定し、出口カメラ２０Ｂの画像から購入客の人物特徴を抽出する。したがって、レジ台数が多い場合であっても、装置構成を複雑化することなく、購入客の購買行動と人物特徴とを適切に対応付けることができる。つまり、コストを増大することなくマーケティング分析に役立つ情報を収集することができる。
なお、本実施形態では、出口カメラ２０Ｂの画像を人物特徴の抽出に用いる場合について説明したが、レジカメラ２０Ａの画像を顔検出および人物特徴の抽出に用いてもよい。この場合、レジカメラ２０Ａの画像を用いて顔検出および人物特徴の抽出を行った結果、それらの処理に失敗した場合に、本実施形態で示した追跡処理と、出口カメラ２０Ｂの画像を用いた顔検出および人物特徴推定とを行うようにしてもよい。こうすることで、追跡処理にかかる計算コストを低減することが可能となる。
【００５５】
また、本実施形態では、監視領域内の一部の特定領域を施設（店舗）の出口領域とし、出口領域において購入客の顔を正面から撮像し、人物特徴を抽出する場合について説明したが、特定領域は出口領域に限定されない。特定領域は、各ＰＯＳレジ４０において購買を行った購入客が必ず通過する監視領域内の領域であり、購入客の顔を正面から撮像可能な領域であればよい。
【００５６】
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、情報処理装置３０は、購買情報と人物特徴とを対応付けてマーケティングデータとして保存する場合について説明した。第二の実施形態では、購入客の動線データを、購買情報および人物特徴と対応付けてマーケティングデータとして保存する場合について説明する。
図１１は、本実施形態におけるマーケティング分析システム１０の動作環境の一例を示したネットワーク構成図である。図１１において、上述した第一の実施形態と同様の構成を有する部分には図１と同一符号を付し、以下、構成の異なる部分を中心に説明する。
【００５７】
マーケティング分析システム１０は、店内カメラ２０Ｃをさらに備える。店内カメラ２０Ｃは、店内を広くカバーできるよう、全方位カメラもしくは広角カメラを用いることが望ましい。店内カメラ２０Ｃは、図１２（Ａ）に示すように、例えば店内中央の天井付近に設置され、購入客が買い回る様子を撮像することができる。なお、店内カメラ２０Ｃは、店内の広さに応じて、複数台設置することもできる。店内カメラ２０Ｃを複数台設置した場合、店内カメラ２０Ｃ間の対応関係は既知であるものとする。
【００５８】
カメラ制御部３０１は、レジカメラ２０Ａや出口カメラ２０Ｂにより撮像された画像に加えて、店内カメラ２０Ｃにより撮像された画像を、録画映像７１として保存する。
映像解析部３０２は、レジカメラ２０Ａおよび出口カメラ２０Ｂの画像に対する映像解析処理に加えて、店内カメラ２０Ｃの画像に対する映像解析処理を行う。具体的には、映像解析部３０２は、店内カメラ２０Ｃにより撮像された画像をもとに、店舗内を移動する人物（顧客）の動線を抽出する処理を行う。これにより、例えば、図１２（Ａ）に示すような購入客Ｐ１の動線Ｆ１が抽出される。映像解析部３０２は、映像解析処理により購入客の動線を抽出すると、抽出した動線を示すデータを動線データ７４として保存する。
【００５９】
分析処理部３０４は、映像解析部３０２による映像解析処理の結果として得られる動線データを含む購入客情報と、ＰＯＳデータ処理部３０３を介して得られるＰＯＳデータ７２とを組み合わせ、マーケティングデータ７３を作成する。図１２（Ｂ）は、本実施形態におけるマーケティングデータ７３を構成するマーケティング情報９４の例である。マーケティング情報９４は、購入客ＩＤ９４ａ、人物特徴９４ｂ、購買ＩＤ９４ｃおよび動線データＩＤ９４ｄを含む。購入客ＩＤ９４ａ、人物特徴９４ｂおよび購買ＩＤ９４ｃは、図９（Ｂ）のマーケティング情報９３における購入客ＩＤ９３ａ、人物特徴９３ｂおよび購買ＩＤ９３ｃと同様である。
【００６０】
以上のように、本実施形態における情報処理装置３０は、店内カメラ２０Ｃにより撮像された画像から撮像対象の人物の行動として当該人物の動線を特定し、動線データを人物特徴と対応付ける。したがって、マーケティングレポートを受け取ったユーザは、特定の人物特徴を持った人物が、特定の売り場に多く訪れるなどの傾向を把握することができ、売り場のレイアウト変更などに反映することができる。
なお、本実施形態においては、レジカメラ２０Ａと店内カメラ２０Ｃとを別々に設置する場合について説明したが、店内カメラ２０Ｃによってレジカメラ２０Ａの撮像範囲をカバーできる場合には、レジカメラ２０Ａは必ずしも設置する必要はない。
【００６１】
（変形例）
上記各実施形態においては、情報処理装置３０は、少なくとも購入客の購買情報と人物特徴とを対応付ける場合について説明したが、顧客の動線データのみを人物特徴に対応付けるようにしてもよい。この場合にも、各商品棚に購入客を正面から撮像するカメラを設置する必要がなくなり、コストを増大することなくマーケティング分析に必要な情報を収集することができる。さらに、人物特徴と対応付ける情報は、購買情報や動線データに限定されない。人物特徴と対応付ける情報は、人物の行動を示す情報であればよく、例えば、どのような商品を手に取ったかといった情報であってもよい。
また、上記各実施形態においては、監視領域を店舗内とする場合について説明したが、店舗に限定されない。例えば、遊園地等の娯楽施設や博物館等の展示施設といった店舗以外の施設にも適用可能である。この場合、年代性別ごとの人気アトラクションや人気展示エリアなどを分析可能なマーケティングデータを得ることが可能となる。
【００６２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６３】
１０…マーケティング分析システム、２０Ａ…レジカメラ、２０Ｂ…出口カメラ、３０…情報処理装置、４０…ＰＯＳレジ、５０Ａ，５０Ｂ…クライアント装置、３０１…カメラ制御部、３０２…映像解析部、３０３…ＰＯＳデータ処理部、３０４…分析処理部
【図１】
2018097412.tif 000003
【図２】
2018097412.tif 000004
【図３】
2018097412.tif 000005
【図４】
2018097412.tif 000006
【図５】
2018097412.tif 000007
【図６】
2018097412.tif 000008
【図７】
2018097412.tif 000009
【図８】
2018097412.tif 000010
【図９】
2018097412.tif 000011
【図１０】
2018097412.tif 000012
【図１１】
2018097412.tif 000013
【図１２】
2018097412.tif 000014