(57)【要約】【課題】商品毎にＲＦタグを貼り付けることなく、最終的に購買行動を伴わないマーケティング情報を取得できるようにすること。【解決手段】商品棚１を一部に含む画像を順次撮像する撮像部１０１と、撮像部１０１で撮像された画像に含まれている商品４を特定する商品特定部と、商品特定部で特定された商品４の動き方向を特定する動き方向特定部と、動き方向特定部で特定された動き方向から、商品４が商品棚１から取り上げられたか、又は、商品４が商品棚１に戻されたかを判定し、この判定結果を含むマーケティング情報を生成するマーケティング情報判定部と、マーケティング情報判定部で生成されたマーケティング情報を記憶するデータ記憶部とを備える。【選択図】図１
2016201105.tif 000002
【特許請求の範囲】
【請求項１】
商品棚を一部に含む画像を順次撮像する撮像部と、
前記撮像部で撮像された画像に含まれている商品を特定する商品特定部と、
前記商品特定部で特定された商品の動き方向を特定する動き方向特定部と、
前記動き方向特定部で特定された動き方向から、前記商品が前記商品棚から取り上げられたか、又は、前記商品が前記商品棚に戻されたかを判定し、判定結果を含むマーケティング情報を生成するマーケティング情報判定部と、
前記マーケティング情報判定部で生成されたマーケティング情報を記憶するデータ記憶部と、を備えること
を特徴とする情報処理装置。
【請求項２】
前記商品特定部は、前記撮像部で順次撮像された画像に含まれている商品の商品名及び位置を順次特定し、
前記動き方向特定部は、前記商品特定部で順次特定された位置から、前記商品の動き方向を特定し、
前記マーケティング情報判定部は、前記マーケティング情報に、前記商品特定部で特定された商品名を含めること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記商品棚に陳列されている商品の商品名及び当該商品の特徴量を記憶する商品データ記憶部をさらに備え、
前記商品特定部は、前記撮像部で撮像された画像に含まれる複数の領域の特徴量と、前記商品データ記憶部に記憶されている商品の特徴量との類似度を算出し、当該算出された類似度が最も高い商品の商品名及び領域の位置を、前記撮像部で撮像された画像に含まれている商品の商品名及び位置として特定すること
を特徴とする請求項２に記載の情報処理装置。
【請求項４】
日時を計測する時計部をさらに備え、
前記マーケティング情報判定部は、前記マーケティング情報に、前記時計部で計測された日時を含めること
を特徴とする請求項１から３の何れか一項に記載の情報処理装置。
【請求項５】
前記撮像部で順次撮像された画像において、動きのある領域を順次特定する動領域特定部をさらに備え、
前記商品特定部は、前記動領域特定部で特定された領域に含まれている商品の商品名を特定し、
前記動き方向特定部は、前記動領域特定部で順次特定された領域から、前記商品の動き方向を特定し、
前記マーケティング情報判定部は、前記マーケティング情報に、前記商品特定部で特定された前記商品名を含めること
を特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記商品棚に陳列されている商品の商品名及び特徴量を記憶する商品データ記憶部をさらに備え、
前記商品特定部は、前記動領域特定部で特定された領域の特徴量と、前記商品データ記憶部に記憶されている商品の特徴量との類似度を算出し、当該算出された類似度が最も高い商品の商品名を、前記動領域特定部で特定された領域に含まれている商品の商品名として特定すること
を特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記商品データ記憶部は、前記商品棚における前記商品の陳列位置をさらに記憶しており、
前記商品特定部は、前記動領域特定部で特定された領域の位置と、前記商品データ記憶部に記憶されている陳列位置とに基づいて、前記商品データ記憶部に記憶されている商品の特徴量を絞り込み、前記動領域特定部で特定された領域の特徴量と、当該絞り込まれた特徴量との類似度を算出すること
を特徴とする請求項６に記載の情報処理装置。
【請求項８】
店舗関係者の特徴量を記憶する人物データ保存部と、
前記撮像部で撮像された画像に含まれている店舗関係者の存否を判断する人物判断部と、をさらに備え、
前記人物判断部は、前記撮像部で撮像された画像に含まれる複数の領域の特徴量と、前記人物データ保存部が記憶した店舗関係者を表す特徴量との類似度を算出し、当該算出された類似度が予め定められた閾値を超える場合に、店舗関係者が存在すると判断すること
を特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記人物判断部で店舗関係者が存在すると判断された場合に、前記商品棚への商品陳列動作を検出する陳列動作検出部と、
前記人物判断部で店舗関係者が存在すると判断された場合に、前記陳列動作検出部で検出された商品陳列動作に基づいて、前記商品特定部で特定された商品の陳列位置を前記商品データ記憶部に記憶させる陳列商品情報登録部と、をさらに備えること
を特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記動領域特定部で特定された領域から、当該領域に含まれている商品の属性を判定する属性判定部をさらに備え、
前記商品データ記憶部は、前記商品棚に陳列されている商品の属性をさらに記憶しており、
前記商品特定部は、前記属性判定部で判定された属性で、前記商品データ記憶部に記憶されている商品の特徴量を絞り込み、前記動領域特定部で特定された領域の特徴量と、当該絞り込まれた特徴量との類似度を算出すること
を特徴とする請求項６に記載の情報処理装置。
【請求項１１】
前記属性は、色及び形状の少なくとも何れか一方であること
を特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記マーケティング情報を送信する送信部をさらに備えること
を特徴とする請求項１から１１の何れか一項に記載の情報処理装置。
【請求項１３】
商品棚を一部に含む画像を順次撮像し、
前記撮像された画像に含まれている商品を特定し、
前記特定された商品の動き方向を特定し、
前記特定された動き方向から、前記商品が前記商品棚から取り上げられたか、又は、前記商品が前記商品棚に戻されたかを判定し、判定結果を含むマーケティング情報を生成し、
前記生成されたマーケティング情報を記憶すること
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関し、特に、商品のマーケティング情報を収集する情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
特許文献１には、マーケティング情報を収集するためのＰＯＳ（Ｐｏｉｎｔ  Ｏｆ  Ｓａｌｅｓ）システムとして、一般物体認識技術を活用するシステムが記載されている。このＰＯＳシステムは、対象となる商品を撮像装置により撮像した画像データからその対象商品の特徴量を抽出し、予め用意された商品データと比較して類似度を算出し、算出された類似度に応じて、その対象商品の種別等を検出する。このようなシステムは、青果等の生鮮食品のように、バーコードを付加することができない商品の情報を手軽に収集することができる。
また、ＲＦ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ）タグを使用して、商品棚付近においてマーケティング情報を収集するシステムもある（例えば、特許文献２）。
なお、一般物体認識技術については、非特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０６９８８号公報（段落０００８〜００６５、図２）
【特許文献２】国際公開第２０１４/０８７５５９号（段落００１９〜００６５、図１）
【非特許文献】
【０００４】
【非特許文献１】Ｏｎｃｅｌ  Ｔｕｚｅｌ、Ｆａｔｉｈ  Ｐｏｒｉｋｌｉ、Ｐｅｔｅｒ  Ｍｅｅｒ著「Ｒｅｇｉｏｎ  Ｃｏｖａｒｉａｎｃｅ：  Ａ  Ｆａｓｔ  Ｄｅｓｃｒｉｐｔｏｒ  ｆｏｒ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  （ＥＣＣＶ）、２００６年５月１日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されたシステムは、会計時のレジにてマーケティング情報を収集しているため、例えば、商品棚付近で商品を手に取り選ぶこと等、最終的に購買行動を伴わないマーケティング情報を収集することはできない。
一方、特許文献２に記載されたシステムは、商品棚付近でもマーケティング情報を収集できるが、商品毎にＲＦタグを貼り付ける必要があり、店舗における従業員の作業負担が増加してしまう。
【０００６】
そこで、本発明は、上述のような問題を解決するためになされたもので、商品毎にＲＦタグを貼り付けることなく、最終的に購買行動を伴わないマーケティング情報を取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る情報処理装置は、商品棚を一部に含む画像を順次撮像する撮像部と、前記撮像部で撮像された画像に含まれている商品を特定する商品特定部と、前記商品特定部で特定された商品の動き方向を特定する動き方向特定部と、前記動き方向特定部で特定された動き方向から、前記商品が前記商品棚から取り上げられたか、又は、前記商品が前記商品棚に戻されたかを判定し、判定結果を含むマーケティング情報を生成するマーケティング情報判定部と、前記マーケティング情報判定部で生成されたマーケティング情報を記憶するデータ記憶部と、を備えることを特徴とする。
【０００８】
本発明の一態様に係る情報処理方法は、商品棚を一部に含む画像を順次撮像し、前記撮像された画像に含まれている商品を特定し、前記特定された商品の動き方向を特定し、前記特定された動き方向から、前記商品が前記商品棚から取り上げられたか、又は、前記商品が前記商品棚に戻されたかを判定し、判定結果を含むマーケティング情報を生成し、前記生成されたマーケティング情報を記憶することを特徴とする。
【発明の効果】
【０００９】
本発明の一態様によれば、商品毎にＲＦタグを貼り付けることなく、最終的に購買行動を伴わないマーケティング情報を取得することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１〜６に係るマーケティング情報収集装置の設置例を示す概略図である。
【図２】実施の形態１に係るマーケティング情報収集装置の構成を概略的に示すブロック図である。
【図３】実施の形態１における動き方向算出部での動き方向算出時の処理を示すフローチャートである。
【図４】（Ａ）及び（Ｂ）は、実施の形態１におけるブロックマッチング法を説明するための概略図である。
【図５】実施の形態１における画像の１例を示す概略図である。
【図６】実施の形態２に係るマーケティング情報収集装置の構成を概略的に示すブロック図である。
【図７】実施の形態３に係るマーケティング情報収集装置３００の構成を概略的に示すブロック図である。
【図８】実施の形態３における動領域推定部での動領域を算出する処理を示すフローチャートである。
【図９】実施の形態３における外接矩形の１例を示す概略図である。
【図１０】実施の形態３における動き方向算出部での動き方向算出時の処理を示すフローチャートである。
【図１１】実施の形態４に係るマーケティング情報収集装置の構成を概略的に示すブロック図である。
【図１２】実施の形態４における画像の１例を示す概略図である。
【図１３】実施の形態４における商品棚の商品の配置を示す概略図である。
【図１４】実施の形態４における保管位置情報の１例を示す概略図である。
【図１５】実施の形態４における画像の１例を示す概略図である。
【図１６】実施の形態５に係るマーケティング情報収集装置の構成を概略的に示すブロック図である。
【図１７】実施の形態６に係るマーケティング情報収集装置の構成を概略的に示すブロック図である。
【図１８】実施の形態６における属性判定部の処理の流れを示すフローチャートである。
【図１９】実施の形態６における商品推定部の推定処理を示すフローチャートである。
【図２０】実施の形態７に係るマーケティング情報収集装置の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、実施の形態１〜７に係る情報処理装置としてのマーケティング情報収集装置１００〜７００の設置例を示す概略図である。
図１は、日本国内のコンビニエンスストア店舗をモデルにしている。商品棚１に商品が並んでおり、商品棚１と客２との間の上方の天井３にマーケティング情報収集装置１００〜７００が取り付けられている。マーケティング情報収集装置１００〜７００は、客２が手にした商品４の画像を取得することができるように取り付けられている。
【００１２】
図２は、実施の形態１に係るマーケティング情報収集装置１００の構成を概略的に示すブロック図である。
実施の形態１に係るマーケティング情報収集装置１００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ保存部１０４と、商品推定部１０５と、動き方向算出部１０６と、フレームメモリ１０７と、マーケティング情報判定部１０８と、データ記憶部としてのデータ記録部１０９とを備える。なお、実施の形態１に係る情報処理方法は、実施の形態１に係るマーケティング情報収集装置１００により実行される方法である。
【００１３】
撮像部１０１は、対象の画像を撮像し、その画像の画像データを生成する。ここでは、撮像部１０１は、図１に示されている商品棚１を一部に含む画像を順次撮像する。
例えば、撮像部１０１は、光学レンズ、光学フィルタ、イメージセンサ及び必要であればイメージセンサを制御するプロセッサからなり、時間的に連続したデジタル画像（以下、単に画像ともいう）の画像データを画像取込部１０２へ逐次供給する。撮像部１０１から供給される画像データは、カラーであっても、モノクロであってもよい。但し、商品推定部１０５での推定精度を向上させるためには、カラー画像データの方が望ましい。このため、本実施の形態では、カラー画像データであるものとする。なお、カラー画像データのカラー情報は、ＲＧＢでも、ＹＣｂＣｒでも、ＨＳＶ等でもよいが、以降ではＲＧＢであるものとする。さらに、画像サイズは、（ｗ，ｈ）とする。
【００１４】
画像取込部１０２は、撮像部１０１から与えられた画像データを商品推定部１０５及びフレームメモリ１０３に供給する。ここで、画像取込部１０２の動作について述べる。画像取込部１０２は、撮像部１０１から送られてきた画像データをフレームメモリ１０３に保存する。この動作は、一般に撮像部１０１のタイミングに同期して行われる。この画像保存の動作と並行して、画像取込部１０２は、フレームメモリ１０３から画像データを読み出し、商品推定部１０５へ画像データを供給する。
【００１５】
フレームメモリ１０３は、画像取込部１０２から与えられた画像データを一時的に記憶するメモリである。フレームメモリ１０３は、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式が一般的であるが、ＦＩＬＯ（Ｆｉｒｓｔ  Ｉｎ  Ｌａｓｔ  Ｏｕｔ）方式でもよい。また、フレームメモリ１０３は、商品推定部１０５から指示された順序で画像データを読み出してもよい。
また、マーケティング情報収集装置１００は、フレームメモリ１０３の代わりに、ラインメモリを備えてもよい。この場合、画像取込部１０２にラインメモリが組み入れられていてもよい。以下では、フレームメモリ１０３は、ＦＩＦＯ動作をするものとする。
【００１６】
商品データ保存部１０４は、商品棚１に陳列されている商品を特定するために必要な情報を記憶する商品データ記憶部である。例えば、商品データ保存部１０４には、商品毎に予め計算された特徴量と商品名とが保存されている。
【００１７】
商品推定部１０５は、撮像部１０１で撮像された画像に含まれている商品を特定する商品特定部である。例えば、商品推定部１０５は、撮像部１０１で順次撮像された画像に含まれている商品の商品名及びその商品の画像における位置を順次特定する。
具体的には、商品推定部１０５は、画像取込部１０２から現フレームの画像データを受け取り、受け取った画像データの画像内の商品を推定する。例えば、商品推定部１０５は、一般物体認識技術を使用して、画像データ内の商品領域の特徴量を算出する。そして、商品推定部１０５は、算出された特徴量と、商品データ保存部１０４に保存されている特徴量との類似度を算出し、最も類似度の大きなものを商品の候補とする。しかし、外乱等の原因で商品領域には必ずしも商品があるとは限らないため、商品推定部１０５は、算出された類似度が予め定められた閾値未満の場合は、該当商品なしと判断する。一般物体認識技術を含め、商品推定部１０５の詳細は後述する。
【００１８】
最終的に、商品推定部１０５は、検出された商品の有無、及び、商品があると判断した場合には商品名を示す商品情報を、マーケティング情報判定部１０８に供給する。この時、商品の有無については、商品名に例えば“該当商品なし”というように設定することで、省略することができる。
また、商品推定部１０５は、商品があると判断した場合の商品領域の情報、及び、現フレームの画像データを動き方向算出部１０６に供給する。なお、商品領域の情報は、商品が検出された領域（矩形領域Ｒｅｃｔｃ）を示す情報である。
ここで、マーケティング情報収集装置１００の最終出力として、検出された商品の切りだされたサムネールが取り扱われる場合は、商品推定部１０５は、現フレームの画像データから、商品領域の情報に基づいて切り出した部分画像データをマーケティング情報判定部１０８に供給してもよい。以降では、検出された商品の有無及び商品名の少なくとも何れか一方を示す商品情報をマーケティング情報判定部１０８に、商品領域の情報及び現フレームの画像データを動き方向算出部１０６に供給するものとして説明する。
【００１９】
ここで、この商品領域の情報について補足する。この商品領域の情報は、客２が取り上げた商品の候補領域となる。この領域は、簡単のため矩形として取り扱うが、円形、楕円形、自由形状としてもよい。その場合、商品推定部１０５は、半径等の量をマーケティング情報判定部１０８に供給するか、領域を指し示すマスク画像をマーケティング情報判定部１０８に供給する。
【００２０】
動き方向算出部１０６は、商品推定部１０５で特定された商品の動き方向を特定する動き方向特定部である。
具体的には、動き方向算出部１０６は、商品推定部１０５から与えられる画像データ及び商品領域の情報に基づいて、商品の動く方向を特定する。例えば、動き方向算出部１０６は、商品推定部１０５から画像データを受け取り、フレームメモリ１０７へ保存する。動き方向算出部１０６は、フレームメモリ１０７を制御することで、商品推定部１０５から送られてきた最新の画像データと、最新の画像データから１フレーム時間前の画像データ（以下、現フレーム画像データという）及び２フレーム時間前の画像データ（過去フレーム画像データという）の２つの画像データとを保持させる。１フレーム時間は、撮像間隔を示す時間である。例えば、撮像部１０１の撮影スピードが３０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ：１秒あたりの撮像回数に相当）であるとすると、１フレーム時間は、１／３０秒である。
動き方向算出部１０６では、現フレーム画像データと過去フレーム画像データとから客２が取り上げた商品の動きの方向を算出するが、詳細なアルゴリズムは後述する。
動き方向算出部１０６は、商品の動き方向を示す動きベクトル情報をマーケティング情報判定部１０８に供給する。併せて、動き方向算出部１０６は、商品領域の情報及び現フレーム画像データもマーケティング情報判定部１０８に供給する。
【００２１】
マーケティング情報判定部１０８は、動き方向算出部１０６から与えられる動きベクトル情報に基づいて、商品が商品棚１から取り上げられたか、又は、商品が商品棚１に戻されたかを判定し、その判定結果を含むマーケティング情報を生成して、データ記録部１０９に記憶する。
具体的には、マーケティング情報判定部１０８は、商品推定部１０５から商品情報、動き方向算出部１０６から商品領域の情報、動きベクトル情報及び現フレーム画像データを受け取る。マーケティング情報判定部１０８は、商品推定部１０５から供給される商品情報で示される商品の有無に従い、客２の手に取られた商品がない場合は、データ記録部１０９に何も記録せず、処理を終了するか、又は、商品がないという情報をデータ記録部１０９に記録する。一方、客２の手に取られた商品がある場合は、マーケティング情報判定部１０８は、商品名、商品領域の情報及び商品の動きの判定結果を含むマーケティング情報を生成して、データ記録部１０９に記録する。ここで、動き方向算出部１０６からの動きベクトル情報に基づく、動きの判定については後述する。
【００２２】
データ記録部１０９は、マーケティング情報判定部１０８から与えられるマーケティング情報を記憶する。例えば、データ記録部１０９は、内蔵型ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）又は外付け型ＨＤＤでもよいし、ＳＤカードのような取り外し可能なメディアでもよい。また、データ記録部１０９は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の書き換え可能なメモリであってもよい。また、記録されるマーケティング情報には、現フレーム画像データ又は商品領域の情報から商品部分を切り出したサムネール画像データが含まれてもよい。なお、商品データ保存部１０４も、データ記録部１０９同様、ＨＤＤ、ＲＡＭ、ＲＯＭ等で構成することができる。
【００２３】
以上のように構成されるマーケティング情報収集装置１００の画像取込部１０２、商品推定部１０５、動き方向算出部１０６及びマーケティング情報判定部１０８は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が、メモリ又はＨＤＤ等の外部記憶装置に記憶されているプログラムを実行することで実現することができる。但し、これらは、コンピュータシステム上にソフトウェア的に実現されるものに限定されない。例えば、これらの全部又は一部が、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の集積ロジックＩＣによりハード的に実現されていてもよい。また、これらの一部又は全部が、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等によりソフトウェア的に実現されていてもよい。あるいは、特定の用途に特化した構成要素を、コンピュータシステムに搭載された拡張ボード等のハードウェアで実現し、その他の汎用的な構成要素をコンピュータシステム上でソフトウェア的に実現するようにしてもよい。
【００２４】
以上のように構成されるマーケティング情報収集装置１００の動作の詳細について説明する。
【００２５】
商品推定部１０５は、スライディングウィンドウ方式を用いて、現フレームの画像データに含まれる商品を推定する。スライディングウィンドウ方式は、予め決められたウィンドウサイズ（ｗｃ，ｈｃ）の領域を、現フレームの画像データで示される画像の全域に渡り、スライドさせて全探索をする方式である。なお、ウィンドウサイズ（ｗｃ，ｈｃ）は、複数種類定義したほうがよい。例えば、（ｗｃ，ｈｃ）＝（１６，１６）、（３２，３２）、（４８，４８）、（６４，６４）等である。これは、図１に示されているように、撮像部１０１と、客２及び商品４との位置関係が、店舗毎又は設置位置毎に異なること、又は、撮像部１０１の光学部分、例えば、レンズの倍率等が異なることに起因し、画像中の商品４の大きさが異なるためである。
商品推定部１０５は、スライディングウィンドウ毎に特徴量を算出し、商品データ保存部１０４に保存されている商品の特徴量との類似度を計算し、客２が手にとった、又は、戻した商品を推定する。この一般物体認識の方法は、上述した非特許文献１に開示されている方法を採用すればよい。
【００２６】
ここでは、非特許文献１に開示されている一般物体認識方法について、簡単に概要を述べる。この方法は、画像中の矩形領域の輝度、色及び輝度の一次微分、輝度の２次微分等から特徴量を算出し、２つの矩形から算出された特徴量の距離ｄｉｓｔを求める。この距離ｄｉｓｔは、２つの矩形から算出された特徴量の遠さを示すため、この距離ｄｉｓｔの逆数が類似度となる。即ち、類似度は、下記の（１）式で算出される。
【数１】
2016201105.tif 000003
【００２７】
商品データ保存部１０４には、予め上記方法により算出された商品毎の特徴量が保存されている。商品推定部１０５は、スライディングウィンドウである矩形領域Ｒｅｃｔｃ毎に特徴量を求める。但し、ｃ＝０，・・・，ｋ（ｋは、正の整数）とする。スライディングウィンドウ方式では、特徴量を求める矩形領域が複数あるためである。そして、商品推定部１０５は、これらの特徴量と商品データ保存部１０４に記憶されている特徴量との類似度Ｒｐを求める。商品推定部１０５は、類似度Ｒｐが下記の（２）式を満たす最大の特徴量を持つ商品を、矩形領域Ｒｅｃｔｃに含まれる商品と推定する。
【数２】
2016201105.tif 000004
但し、閾値ＤＲは、「０」よりも大きいものとする。
この処理は、ノイズに対する頑健性を担保するものである。最終的に、商品推定部１０５は、矩形領域Ｒｅｃｔｃの左端位置（ｘｃ，ｙｃ）と、矩形サイズ（ｗｃ，ｈｃ）と、現フレームの画像データとを動き方向算出部１０６に供給する。また、商品推定部１０５は、推定された商品の商品名を、マーケティング情報判定部１０８に供給する。但し、商品推定部１０５は、商品が見つからない矩形領域Ｒｅｃｔｃの場合は、商品名を商品なしとするか、その矩形領域Ｒｅｃｔｃを取り除くこととする。
【００２８】
次に、動き方向算出部１０６での動き方向の算出の詳細について述べる。
図３は、動き方向算出部１０６での動き方向算出時の処理を示すフローチャートである。
動き方向算出部１０６は、前述のように、商品推定部１０５又はフレームメモリ１０７から現フレーム画像データと過去フレーム画像データを取り込む（Ｓ１０）。前述のように、現フレーム画像データ及び過去フレーム画像データは、ＲＧＢ形式のカラー画像の画像データである。
【００２９】
次に、動き方向算出部１０６は、取り込んだ現フレーム画像データ及び過去フレーム画像データに基づいて、商品の動き方向を推定する（Ｓ１１）。例えば、動き方向算出部１０６は、商品推定部１０５から送られてきた左端位置（ｘｃ，ｙｃ）及び矩形サイズ（ｗｃ，ｈｃ）の矩形領域Ｒｅｃｔｃ毎に現フレーム画像データと過去フレーム画像データとの間のブロックマッチング法により、動きベクトルを求める。
【００３０】
図４（Ａ）及び（Ｂ）は、ブロックマッチング法を説明するための概略図である。
図４（Ｂ）に示されているように、過去フレーム画像データの画像Ｉｍ２での探索範囲を示す矩形の左上の座標を（ｘｗｉｎｃ，ｙｗｉｎｃ）、矩形の大きさを（ｗｗｉｎｃ，ｈｗｉｎｃ）とする。これらは、下記の（３）式〜（６）式を満たすものとする。
【数３】
2016201105.tif 000005
【数４】
2016201105.tif 000006
【数５】
2016201105.tif 000007
【数６】
2016201105.tif 000008
【００３１】
動き方向算出部１０６は、図４（Ｂ）に示されている、この探索範囲に含まれる大きさ（ｗｃ，ｈｃ）の矩形と、図４（Ａ）に示されている、現フレーム画像データの画像Ｉｍ１の座標位置（ｘｃ，ｙｃ）及び大きさ（ｗｃ，ｈｃ）の矩形領域Ｒｅｃｔｃとの絶対差分値和を求めて、最も絶対差分値和が小さい座標位置を（ｘ’ｃ，ｙ’ｃ）とする。よって、ｃ番目の矩形領域Ｒｅｃｔｃの動きベクトルは、（ｘｃ−ｘ’ｃ，ｙｃ−ｙ’ｃ）で求められる。ここで、上記では、探索範囲を矩形領域Ｒｅｃｔｃの大きさの３倍としたが、これよりも大きくても小さくてもよい。最終的に動き方向算出部１０６は、動きベクトル（ｖｃｘ，ｖｃｙ）＝（ｘｃ−ｘ’ｃ，ｙｃ−ｙ’ｃ）と現フレーム画像データをマーケティング情報判定部１０８に供給する。
【００３２】
次に、マーケティング情報判定部１０８での動き方向の判定について述べる。
マーケティング情報判定部１０８は、動き方向算出部１０６から与えられるベクトル情報で示される動きベクトル（ｖｃｘ，ｖｃｙ）に基づいて、客２が商品を取り上げた、又は、戻した、を判定する。図１のような配置において、図５に示されているような位置関係で、現フレーム画像データの画像Ｉｍ３が撮影され、動き方向算出部１０６から動きベクトルＶが与えられたとする。図５に示されているように、客２に対して、商品棚１が現フレーム画像データの画像Ｉｍ３において上部に配置されている場合は、動きベクトルＶのｙ成分ｖｃｙが下記の（７）式を満たす場合に、マーケティング情報判定部１０８は、客２が商品を取り上げたと判定する。
【数７】
2016201105.tif 000009
一方、動きベクトルＶのｙ成分ｖｃｙが下記の（８）式を満たす場合に、マーケティング情報判定部１０８は、商品を戻したと判定する。
【数８】
2016201105.tif 000010
また、下記の（９）式を満たす時は、先に（６）式が満たされた場合に限り、マーケティング情報判定部１０８は、客２が商品を見定めていると判定することができる。
【数９】
2016201105.tif 000011
同様に、客２と商品棚１が、図５とは異なる配置の場合でも、マーケティング情報判定部１０８は、動きベクトルＶの傾きにより動きを判定することができる。
【００３３】
また、実施の形態１では、図１に示されているように、マーケティング情報収集装置１００を１つの装置としているが、撮像部１０１とそれ以外の部分を別ユニットとして構成してもよい。例えば、マーケティング情報収集装置１００は、撮像部１０１を備えなくてもよく、別ユニットの撮像部１０１から画像データを受け取るようにしてもよい。また、フレームメモリ１０３及びフレームメモリ１０７は１つのメモリとして構成してもよい。商品データ保存部１０４及びデータ記録部１０９を１つにまとめてもよいし、前述のフレームメモリ１０３及びフレームメモリ１０７とまとめてもよい。
【００３４】
実施の形態１に係るマーケティング情報収集装置１００は、以上のように構成されているので、商品にＲＦタグを貼り付けることなく、直接的に購買につながらない、商品を取り上げた又は戻した等のマーケティング情報を収集することができる。
【００３５】
実施の形態２．
図６は、実施の形態２に係るマーケティング情報収集装置２００の構成を概略的に示すブロック図である。
実施の形態２に係るマーケティング情報収集装置２００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ保存部１０４と、商品推定部１０５と、動き方向算出部１０６と、フレームメモリ１０７と、マーケティング情報判定部２０８と、データ記録部１０９と、時計部２１０とを備える。なお、実施の形態２に係る情報処理方法は、実施の形態２に係るマーケティング情報収集装置２００により実行される方法である。
実施の形態２に係るマーケティング情報収集装置２００は、マーケティング情報判定部２０８及び時計部２１０を除いて、実施の形態１に係るマーケティング情報収集装置１００と同様に構成されている。以下では、主に、実施の形態１とは異なるマーケティング情報判定部２０８及び時計部２１０について説明する。
【００３６】
時計部２１０は、日付及び時刻を計測する。なお、時計部２１０で計測された日付及び時刻が、現在の日付及び時刻として扱われる。時計部２１０は、マーケティング情報判定部２０８の要求を受けると、要求があったタイミングの日付と時刻とを供給する。
【００３７】
マーケティング情報判定部２０８は、実施の形態１のマーケティング情報判定部１０８とほぼ同等の機能を有するが、マーケティング情報をデータ記録部１０９に記録する際、時計部２１０から日付及び時刻を取得し、マーケティング情報に日付及び時刻情報を付加して記録する。
【００３８】
実施の形態２に係るマーケティング情報収集装置２００は、以上のように構成されているため、日付及び時刻といった店舗全体のマーケティング情報を付加することができるという効果がある。
【００３９】
実施の形態２の構成は、図６に示されている時計部２１０が付加されているが、マーケティング情報判定部２０８に時計部２１０が含まれていてもよい。
【００４０】
なお、時計部２１０は、ＣＰＵがプログラムを実行することにより実現されてもよく、ＡＳＩＣ又はＦＰＧＡ等の集積ロジックＩＣによりハード的に実現されていてもよい。また、時計部２１０が、ＤＳＰ等によりソフトウェア的に実現されていてもよい。
【００４１】
実施の形態３．
図７は、実施の形態３に係るマーケティング情報収集装置３００の構成を概略的に示すブロック図である。
実施の形態３に係るマーケティング情報収集装置３００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ保存部１０４と、商品推定部３０５と、動き方向算出部３０６と、フレームメモリ１０７と、マーケティング情報判定部３０８と、データ記録部１０９と、動領域推定部３１１と、フレームメモリ３１２とを備える。なお、実施の形態３に係る情報処理方法は、実施の形態３に係るマーケティング情報収集装置３００により実行される方法である。
実施の形態３に係るマーケティング情報収集装置３００は、商品推定部３０５、動き方向算出部３０６、マーケティング情報判定部３０８、動領域推定部３１１及びフレームメモリ３１２を除いて、実施の形態１に係るマーケティング情報収集装置１００と同様に構成されている。以下では、主に、実施の形態１とは異なる商品推定部３０５、動き方向算出部３０６、マーケティング情報判定部３０８、動領域推定部３１１及びフレームメモリ３１２について説明する。なお、画像取込部１０２は、フレームメモリ１０３から画像データを読み出し、商品推定部３０５及び動領域推定部３１１に画像データを供給する。
【００４２】
動領域推定部３１１は、撮像部１０１で順次撮影された画像において、動きのある領域を順次特定する動領域特定部である。例えば、動領域推定部３１１は、画像取込部１０２から画像データを受け取り、後述する方法を用いて画像データの画像中で動きがあった範囲を推定する。
また、動領域推定部３１１は、画像取込部１０２から送られてきた最新の画像データと、現フレーム画像データと、過去フレーム画像データとを保持するように、フレームメモリ３１２を制御する。
動領域推定部３１１は、現フレーム画像データと過去フレーム画像データとから、客２が取り上げた商品４の領域を推定する。詳細なアルゴリズムは後述するが、動領域推定部３１１は、予め定められた第１のサイズ以上、かつ、予め定められた第２のサイズ以下の領域の画像中の座標位置（以下では、その領域の左上部のｘ座標及びｙ座標とする）と、その領域の縦幅及び横幅とを示す動領域情報を、動き方向算出部３０６及び商品推定部３０５に供給する。また、動領域推定部３１１は、画像取込部１０２から送られてきた最新の画像データも動き方向算出部３０６に供給する。実施の形態３では、動きがあると推定する領域を矩形として取り扱うが、円形、楕円形又は自由形状であってもよい。その場合、半径等の量が動き方向算出部３０６及び商品推定部３０５に供給されるが、領域を指し示すマスク画像が動き方向算出部３０６及び商品推定部３０５に供給されてもよい。
【００４３】
動き方向算出部３０６は、動領域推定部３１１で特定された領域から、この領域に含まれている商品の動き方向を特定する動き方向特定部である。
具体的には、動き方向算出部３０６は、動領域推定部３１１から最新の画像データ及び動領域情報を受け取る。ここで、動き方向算出部３０６は、動領域推定部３１１と同様に、動領域推定部３１１から送られてきた最新の画像データと、現フレーム画像データと、過去フレーム画像データとを保持するようにフレームメモリ１０７を制御する。ここで、フレームメモリ３１２及びフレームメモリ１０７は、同様の画像データを保持しているため、１つにまとめることもできるが、以下では別々のフレームメモリであるものとして説明する。
動き方向算出部３０６は、動領域情報で示される、商品領域の縦幅及び横幅、並びに、座標位置と、現フレーム画像データと、過去フレーム画像データとから、商品の動きベクトルを算出する。そして、動き方向算出部３０６は、動きベクトルと、動領域情報と、現フレーム画像データとをマーケティング情報判定部３０８に供給する。動きベクトルの算出方法は後述する。
【００４４】
商品推定部３０５は、動領域推定部３１１で特定された領域に含まれている商品の商品名を特定する商品特定部である。
具体的には、商品推定部３０５は、動領域推定部３１１から動領域情報を受け取り、実施の形態１及び実施の形態２における商品推定部１０５と同様の方法で、商品名を推定する。商品推定部３０５は、推定結果に応じて、商品情報及び商品領域の情報をマーケティング情報判定部３０８に供給する。
【００４５】
マーケティング情報判定部３０８は、動き方向算出部３０６から動きベクトル、動領域情報及び現フレーム画像データを受け取り、商品推定部３０５から商品情報及び商品領域の情報を受け取る。そして、マーケティング情報判定部３０８は、商品推定部３０５の商品推定結果と、動き方向算出部３０６の動領域情報とを照合することで、動きベクトルを決定する。
マーケティング情報判定部３０８は、商品推定部３０５からの商品情報が客２に手に取られた商品がないことを示す場合は、何も記録せず、処理を終了するか、又は、商品がないという情報をデータ記録部１０９に記録する。一方、マーケティング情報判定部３０８は、商品情報が商品のあることを示す場合は、商品名及び商品領域の情報をデータ記録部１０９に記録する。
【００４６】
なお、商品推定部３０５、動き方向算出部３０６、マーケティング情報判定部３０８及び動領域推定部３１１は、ＣＰＵがプログラムを実行することにより実現されてもよい。また、これらの一部又は全部が、ＡＳＩＣ又はＦＰＧＡ等の集積ロジックＩＣによりハード的に実現されていてもよい。さらに、これらの一部又は全部が、ＤＳＰ等によりソフトウェア的に実現されていてもよい。
【００４７】
以上のように構成される実施の形態３に係るマーケティング情報収集装置３００の動作を、以下説明する。
【００４８】
図８は、動領域推定部３１１での動領域を算出する処理を示すフローチャートである。
動領域推定部３１１は、上述のように、画像取込部１０２又はフレームメモリ３１２から現フレーム画像データと過去フレーム画像データとを取り込む（Ｓ２０）。上述のように、現フレーム画像データ及び過去フレーム画像データは、ＲＧＢ形式のカラー画像の画像データである。
【００４９】
次に、動領域推定部３１１は、現フレーム画像データの画像と、過去フレーム画像データの画像とから、絶対差分画像データを生成する（Ｓ２１）。ここで、絶対差分画像の生成方法について説明する。
【００５０】
絶対差分画像データは、画素単位で、以下の（１０）式に従って算出される。
【数１０】
2016201105.tif 000012
但し、ｘは、水平方向の画素位置、ｙは、垂直方向の画素位置、Ｄｘｙは、（ｘ，ｙ）に位置する画素の絶対差分値である。Ｒｘｙは、現フレーム画像データの（ｘ，ｙ）に位置する画素のコンポーネントＲの値、Ｇｘｙは、現フレーム画像データの（ｘ，ｙ）に位置する画素のコンポーネントＧの値、Ｂｘｙは、現フレーム画像データの（ｘ，ｙ）に位置する画素のコンポーネントＢの値である。また、Ｒ’ｘｙは、過去フレーム画像データの（ｘ，ｙ）に位置する画素のコンポーネントＲの値、Ｇ’ｘｙは、過去フレーム画像データの（ｘ，ｙ）に位置する画素のコンポーネントＧの値、Ｂ’ｘｙは、過去フレーム画像データの（ｘ，ｙ）に位置する画素のコンポーネントＢの値である。
なお、動領域推定部３１１は、画像データをＲＧＢ系からＹＣｂＣｒ系に変換し、輝度（Ｙ）の絶対差分値を求めてもよく、また、ＲＧＢから代表して例えばＧ値を用いて絶対差分値を求めてもよい。以降では、上記（１０）式に基づいて算出したものとして説明する。
【００５１】
次に、動領域推定部３１１は、ステップＳ２０で生成された絶対差分画像データに対して閾値処理を行う（Ｓ２２）。ステップＳ２２での閾値処理は、次の（１１）式を用いて行われる。
【数１１】
2016201105.tif 000013
但し、Ｄ’ｘｙは、（ｘ，ｙ）に位置する画素の閾値処理後の値、ＴＤは、予め定められた閾値である。
ここでは、Ｄ’ｘｙは、８ｂｉｔ整数型としているが、０又は１をとる２値としてもよい。また、動領域推定部３１１は、ステップＳ２１及びＳ２２での計算を便宜上分離して行っているが、まとめて計算してもよい。
動領域推定部３１１は、このようにすべての画素について計算する。そして、計算されたＤ’ｘｙにより構成される画像データを閾値画像データとする。
【００５２】
次に、動領域推定部３１１は、生成された閾値画像データに対して、モルフォロジー演算の画像の膨張と収縮を適用する。この演算は、画像処理の分野において一般的な方法で行われればよく、ここでは特に定義しない。この処理は、近くに存在する領域を接続する作用を持ち、ノイズに対するフィルタ処理である。このため、この画像の膨張及び収縮処理は、省いてもよい。
次に、動領域推定部３１１は、閾値画像データに対して、画素値が２５５となっている箇所に外接する矩形の群を求める。図９に外接矩形の１例を示す。図９の斜線部分がＤ’ｘｙ＝０の部分、空白部分がＤ’ｘｙ＝２５５の部分であるものとする。外接矩形は、図９に示されているように、空白部分の外側に接する矩形ＲＥである。なお、図９に示されているように、外接矩形ＲＥの一部に斜線部分が含まれているが、空白部分に接している場合は、１つの塊とみなされる。
閾値画像データ内には、１つ以上の外接矩形が見つかる場合がある。この時の外接矩形をＲＥｎとすると、ｎは見つかった外接矩形の個数である。但し、ｎ＝０のときは、外接矩形が見つからない場合である。
【００５３】
次に、処理はステップＳ２３に進む。ステップＳ２３では、動領域推定部３１１は、第１の閾値処理と第２の閾値処理でこれらの外接矩形をフィルタする。
第１の閾値処理は、下記の（１２）式に従う。
【数１２】
2016201105.tif 000014
第２の閾値処理は、下記の（１３）式に従う。
【数１３】
2016201105.tif 000015
ここで、ｗｎは、外接矩形ＲＥｎの横幅を示し、ｈｎは、外接矩形ＲＥｎの縦幅を示す。Ｔｗ１及びＴｈ１は、０よりも大きい第１の閾値、Ｔｗ２及びＴｈ２は、０よりも大きい第２の閾値である。これら２つの式を満たす外接矩形を閾値外接矩形ＲＥｃとする。但し、ｃは、ｃ＝０，・・・，ｋ（ｋ≦ｎ）を満たす正の整数である。この場合、閾値処理を満たした外接矩形がｋ個あることになる。
次に、ｋ個の閾値外接矩形ＲＥｃのそれぞれの現フレーム画像データにおける左上の座標位置を（ｘｃ，ｙｃ）、矩形の大きさを（ｗｃ，ｈｃ）とする。最終的に動領域推定部３１１は、閾値外接矩形ＲＥｃを示す（ｘｃ，ｙｃ）及び（ｗｃ，ｈｃ）を動領域情報として、商品推定部３０５及び動き方向算出部３０６に供給し、画像取込部１０２から送られてきた最新の画像データを動き方向算出部３０６に供給する。
【００５４】
次に、動き方向算出部３０６での動き方向の算出について述べる。但し、フレームメモリ１０７の動作については、上述の通りである。
図１０は、動き方向算出部３０６での動き方向算出時の処理を示すフローチャートである。
上述のように、動き方向算出部３０６は、動領域推定部３１１又はフレームメモリ１０７から現フレーム画像データ及び過去フレーム画像データを取り込む（Ｓ３０）。上述のように、現フレーム画像データ及び過去フレーム画像データは、ＲＧＢ形式のカラー画像の画像データである。
【００５５】
次に、動き方向算出部３０６は、動領域推定部３１１から送られてきた動領域情報で示される閾値外接矩形ＲＥｃの座標位置（ｘｃ，ｙｃ）及び大きさ（ｗｃ，ｈｃ）に基づいて、現フレーム画像データと過去フレーム画像データ間のブロックマッチング法により動きベクトルを求める。ブロックマッチング法については、図４を用いて上述した方法と同様である。但し、実施の形態３では、スライディングウィンドウの代わりに、閾値外接矩形が矩形領域Ｒｅｃｔｃとして用いられる。
最終的に動き方向算出部３０６は、動きベクトル（ｖｃｘ，ｖｃｙ）＝（ｘｃ−ｘ’ｃ，ｙｃ−ｙ’ｃ）と現フレーム画像データとをマーケティング情報判定部３０８に供給する。
【００５６】
次に、商品推定部３０５について述べる。ここで、動領域推定部３１１から渡された動領域情報で示される閾値外接矩形毎に、商品データ保存部１０４に保存された商品データとの類似度を算出し、客２が手にとった又は戻した商品を推定する。この商品の推定は、実施の形態１及び実施の形態２の商品推定部１０５での推定と同様に行われる。但し、実施の形態３では、スライディングウィンドウの代わりに、閾値外接矩形が矩形領域Ｒｅｃｔｃとして用いられる。例えば、商品推定部３０５は、閾値外接矩形から算出した特徴量と、商品データ保存部１０４に保存されている特徴量との距離ｄｉｓｔを求める。この距離ｄｉｓｔは、２つの矩形から算出された特徴量の遠さを示すため、この距離ｄｉｓｔの逆数が類似度となる。類似度はＲ＝１／ｄｉｓｔである。
【００５７】
具体的には、商品推定部３０５は、動領域推定部３１１から与えられた閾値外接矩形ＲＥｃ毎に特徴量を求める。次に、商品推定部３０５は、これらの特徴量と商品データ保存部１０４にある特徴量との類似度Ｒｐを求める。類似度Ｒｐが、上述の（２）式を満たす最大の特徴量を持つ商品が、閾値外接矩形ＲＥｃに含まれる商品と推定される。
そして、最終的に、商品推定部３０５は、閾値外接矩形ＲＥｃの左端位置（ｘｃ，ｙｃ）及びサイズ（ｗｃ，ｈｃ）を示す動領域情報と、推定された商品の商品名とを、マーケティング情報判定部３０８に供給する。但し、商品推定部３０５は、商品が見つからない閾値外接矩形ＲＥｃの場合は、商品名を商品なしとするか、その矩形を取り除くこととする。
【００５８】
次に、マーケティング情報判定部３０８での動き方向の判定について述べる。
マーケティング情報判定部３０８は、動き方向算出部３０６から渡される動きベクトル（ｖｃｘ，ｖｃｙ）に基づいて、客２が商品を取り上げた、又は、戻した、を判定する。図１のような配置において、図５に示されているような位置関係で、現フレーム画像データの画像Ｉｍ３が撮影され、動き方向算出部３０６から動きベクトルＶが入力されたとする。図５に示されているように、客２に対して、商品棚１が現フレーム画像データの画像Ｉｍ３において上部に配置されている場合は、動きベクトルＶのｙ成分ｖｃｙが上記の（７）式を満たすときに、マーケティング情報判定部３０８は、客２が商品を取り上げたと判定する。一方、動きベクトルＶのｙ成分ｖｃｙが上記の（８）式を満たす場合に、マーケティング情報判定部３０８は、商品を戻したと判定する。さらに、上記の（９）式を満たすときは、先に（６）式が満たされた場合に限り、マーケティング情報判定部３０８は、客２が商品を見定めていると判定することができる。同様に、客２と商品棚１が、図５とは異なる配置の場合でも、マーケティング情報判定部３０８は、動きベクトルＶの傾きにより動きを判定することができる。
【００５９】
次に、マーケティング情報判定部３０８は、動き方向算出部３０６からの動領域情報で示される閾値外接矩形（ここでは（ｘｃ１，ｙｃ１）及び（ｗｃ１，ｈｃ１）とする）と、商品推定部３０５からの動領域情報で示される閾値外接矩形（ここでは（ｘｃ２，ｙｃ２）及び（ｗｃ２，ｈｃ２）とする）とから、商品推定部３０５で商品なしと判定された情報をフィルタする。基本的に、（ｘｃ１，ｙｃ１）と（ｘｃ２，ｙｃ２）、（ｗｃ１，ｈｃ１）と（ｗｃ２，ｈｃ２）は同じ値になるはずであるが、商品推定部３０５での閾値処理により商品なしと判定された場合は、Ｃ２＜Ｃ１である。そこで、マーケティング情報判定部３０８は、下記の（１４）式を満たすか否かを判定する。
【数１４】
2016201105.tif 000016
（１４）式を満たす場合に、マーケティング情報判定部３０８は、商品名並びに動領域情報（ｘｃ２，ｙｃ２）及び（ｗｃ２，ｈｃ２）を、マーケティング情報としてデータ記録部１０９に保存するか、外部へ配信するか、又は、その両方を実施する。また、マーケティング情報判定部３０８は、実施の形態２で述べたように日付及び時刻情報を付加することもできる。
【００６０】
また、実施の形態３では、図１に示されているように、マーケティング情報収集装置３００を１つの装置として記載しているが、撮像部１０１とそれ以外の部分を別ユニットとして構成してもよい。例えば、マーケティング情報収集装置３００は、撮像部１０１を備えなくてもよく、別ユニットの撮像部１０１から画像データを受け取るようにしてもよい。また、フレームメモリ１０３、フレームメモリ３１２及びフレームメモリ１０７は、１つのメモリとして構成されてもよい。商品データ保存部１０４及びデータ記録部１０９は、１つにまとめられてもよいし、フレームメモリ１０３、フレームメモリ３１２及びフレームメモリ１０７とまとめられてもよい。さらに、動領域推定部３１１と動き方向算出部３０６は、１つにまとめられてもよい。
【００６１】
実施の形態３に係るマーケティング情報収集装置３００は、以上のように構成されているので、商品にＲＦタグを貼り付けることなく、直接的に購買につながらない、商品を取り上げた又は戻した等のマーケティング情報を収集することができる。さらに、動領域推定部３１１を設けたため、実施の形態１のスライディングウィンドウ方式よりも高速にマーケティング情報を収集することができる。
【００６２】
実施の形態４．
図１１は、実施の形態４に係るマーケティング情報収集装置４００の構成を概略的に示すブロック図である。
実施の形態４に係るマーケティング情報収集装置４００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ及び保管位置保存部４０４と、商品推定部４０５と、動き方向算出部３０６と、フレームメモリ１０７と、マーケティング情報判定部３０８と、データ記録部１０９と、動領域推定部３１１と、フレームメモリ３１２とを備える。なお、実施の形態４に係る情報処理方法は、実施の形態４に係るマーケティング情報収集装置４００により実行される方法である。
実施の形態４に係るマーケティング情報収集装置４００は、商品データ及び保管位置保存部４０４、及び、商品推定部４０５を除いて、実施の形態３に係るマーケティング情報収集装置３００と同様に構成されている。以下では、主に、実施の形態３とは異なる商品データ及び保管位置保存部４０４、及び、商品推定部４０５について説明する。なお、画像取込部１０２は、フレームメモリ１０３から画像データを読み出し、商品推定部４０５及び動領域推定部３１１に画像データを供給する。
【００６３】
商品データ及び保管位置保存部４０４は、実施の形態１における商品データ保存部１０４と同様に、商品推定部１０５で商品の推定を行う際に必要となる、商品の特徴量を記憶するとともに、商品の保管位置（陳列位置）を示す保管位置情報を記憶する商品データ記憶部である。
現フレームの画像データの画像が、図１２に示されているような画像Ｉｍ４であるものとする。また、商品棚１の商品は、図１３に示されているように陳列されているものとする。このような場合、画像Ｉｍ４からは、例えば、商品Ａ、商品Ｄ又は商品Ｇといった商品そのものの位置を区別することは難しいが、グループ１１、グループ１２又はグループ１３のように、商品棚１の縦方向の商品郡を識別することは可能である。そこで、商品データ及び保管位置保存部４０４は、商品名及び商品の特徴量に加えて、商品の保管位置を示す保管位置情報を記録する。ここで、保管位置情報は、例えば、図１４に示されているように、それぞれのグループが配置されている領域の端点の座標（ｘｇ，ｙｇ）及びサイズ（ｈｇ，ｗｇ）とする。ここでｇは、各グループを識別するための識別子であり、図１４では、ｇ＝１１〜１３である。
【００６４】
商品推定部４０５は、撮像部１０１で撮像された画像に含まれている商品を特定する商品特定部である。
具体的には、商品推定部４０５は、画像取込部１０２から現フレームの画像データを受け取り、画像データ内の商品を推定する。例えば、商品推定部４０５は、一般物体認識技術を使用して、画像データ内の商品領域の特徴量を算出し、その特徴量と、商品データ及び保管位置保存部４０４に記憶されている商品の特徴量との類似度に基づいて、商品を推定するが、実施の形態４においては、商品の保管位置（陳列位置）に基づいて、類似度を求める商品の特徴量を絞り込む。
以下、商品推定部４０５での商品推定について具体的に述べる。ここで、動領域推定部３１１から渡される動領域情報で示される閾値外接矩形が（ｘｃ，ｙｃ）及び（ｗｃ，ｈｃ）であるとする。例えば、図１２に示されているように、商品４が客２に取り上げられている場合には、画像Ｉｍ４及び閾値外接矩形の左上部座標（ｘｃ，ｙｃ）からは、商品棚１のグループは判定できない。しかしながら、図１５に示されているように、まさに客２が商品４を商品棚１から取り出しているところの画像Ｉｍ５であったとすると、閾値外接矩形の左上部座標（ｘｃ，ｙｃ）、及び、商品データ及び保管位置保存部４０４に保存されている保管位置情報で示される座標（ｘｇ，ｙｇ）及びサイズ（ｈｇ，ｗｇ）に基づいて、グループ１１又はグループ１２から商品４が取り出されたと判定することができる。
【００６５】
例えば、商品推定部４０５は、閾値外接矩形の左上部座標（ｘｃ，ｙｃ）が、保管位置情報で示される座標（ｘｇ，ｙｇ）及びサイズ（ｈｇ，ｗｇ）で特定される、グループが配置されている領域に含まれるか否か、でグループを判定してもよい。このような場合、グループが配置されている領域は、座標（ｘｇ，ｙｇ）及びサイズ（ｈｇ，ｗｇ）で特定される領域を包含する等、座標（ｘｇ，ｙｇ）及びサイズ（ｈｇ，ｗｇ）で特定される領域を拡大した領域としてもよい。さらに、商品推定部４０５は、閾値外接矩形の左上部座標（ｘｃ，ｙｃ）と、保管位置情報で示される座標（ｘｇ，ｙｇ）との間の距離が、予め定められた閾値よりも短い場合に、商品が取り出されたグループであると判定することができる。
【００６６】
そして、商品推定部４０５は、商品が取り出されたと判定されたグループに属する商品の特徴量と、画像データ内の商品領域の特徴量との類似度に基づいて、商品を推定すればよい。このように、商品データ及び保管位置保存部４０４に保存されているすべての商品の特徴量と照合するのではなく、位置関係から照合すべき商品の特徴量を絞り込むことができる。商品の候補を絞り込んだ後の、商品推定は、実施の形態３の商品推定部３０５と同様の方法でよい。また、この時、例えば、図１２に示されているように、グループ情報からの絞り込みは難しいとして、商品データ及び保管位置保存部４０４に保存されているすべての商品を候補としてもよいし、トラッキング技術を使ってグループ情報を保持するような実装としてもよい。
【００６７】
なお、商品推定部４０５は、ＣＰＵがプログラムを実行することにより実現されてもよい。また、商品推定部４０５が、ＡＳＩＣ又はＦＰＧＡ等の集積ロジックＩＣによりハード的に実現されていてもよい。さらに、商品推定部４０５が、ＤＳＰ等によりソフトウェア的に実現されていてもよい。
【００６８】
また、実施の形態４では、図１に示されているように、マーケティング情報収集装置４００を１つの装置としているが、撮像部１０１とそれ以外の部分を別ユニットとして構成してもよい。例えば、マーケティング情報収集装置４００は、撮像部１０１を備えなくてもよく、別ユニットの撮像部１０１から画像データを受け取るようにしてもよい。フレームメモリ１０３、フレームメモリ３１２及びフレームメモリ１０７は、１つのメモリとして構成してもよい。商品データ及び保管位置保存部４０４及びデータ記録部１０９を１つにまとめてもよい。さらに、商品データ及び保管位置保存部４０４、データ記録部１０９、フレームメモリ１０３、フレームメモリ３１２、フレームメモリ１０７を１つにまとめてもよい。さらに、動領域推定部３１１と動き方向算出部３０６を１つにまとめてもよい。
【００６９】
実施の形態４に係るマーケティング情報収集装置４００は、以上のように構成されているので、商品にＲＦタグを貼り付けることなく、直接的に購買につながらない、商品を取り上げた、又は、戻した等のマーケティング情報を収集することができる。さらに、商品データ及び保管位置保存部４０４を設けたため、実施の形態３のよりも高速にマーケティング情報を収集することができる。
【００７０】
実施の形態５．
図１６は、実施の形態５に係るマーケティング情報収集装置５００の構成を概略的に示すブロック図である。
実施の形態５に係るマーケティング情報収集装置５００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ保存部１０４と、商品データ及び保管位置保存部５０４と、商品推定部５０５と、動き方向算出部５０６と、フレームメモリ１０７と、マーケティング情報判定部５０８と、データ記録部１０９と、動領域推定部３１１と、フレームメモリ３１２と、人物データ保存部５１３と、人物推定部５１４と、陳列動作検出部５１５と、陳列商品情報登録部５１６とを備える。
【００７１】
実施の形態５に係るマーケティング情報収集装置５００における撮像部１０１、画像取込部１０２、フレームメモリ１０３、商品データ保存部１０４及びデータ記録部１０９は、実施の形態１に係るマーケティング情報収集装置１００と同様に構成されている。
実施の形態５に係る動領域推定部３１１及びフレームメモリ３１２は、実施の形態３に係るマーケティング情報収集装置３００と同様に構成されている。
以下では、実施の形態１又は実施の形態３とは異なる商品データ及び保管位置保存部５０４、商品推定部５０５、動き方向算出部５０６、マーケティング情報判定部５０８、人物データ保存部５１３、人物推定部５１４、陳列動作検出部５１５及び陳列商品情報登録部５１６について説明する。
なお、画像取込部１０２は、フレームメモリ１０３から画像データを読み出し、商品推定部５０５、動領域推定部３１１及び人物推定部５１４に画像データを供給する。動領域推定部３１１は、動領域情報を商品推定部５０５及び動き方向算出部５０６に供給する。
【００７２】
実施の形態５に係るマーケティング情報収集装置５００は、陳列商品情報を登録する機能と、マーティング情報を生成する機能とを備える。
なお、実施の形態５に係る情報処理方法は、実施の形態５に係るマーケティング情報収集装置５００により実行される方法である。
【００７３】
まず、実施の形態５に係るマーケティング情報収集装置５００の機能のうち、陳列商品情報を登録する機能に関する構成を説明する。
【００７４】
商品推定部５０５は、動領域推定部３１１で特定された領域に含まれている商品の商品名を特定する商品特定部である。具体的には、商品推定部５０５は、動領域推定部３１１から動領域情報を受け取り、実施の形態３における商品推定部３０５と同様の方法で、商品名を推定する。商品推定部５０５は、推定結果に応じて、商品情報、商品領域の情報及び現フレームの画像データを陳列商品情報登録部５１６に供給する。
【００７５】
動き方向算出部５０６は、動領域推定部３１１で特定された領域から、この領域に含まれている商品の動き方向を特定する動き方向特定部である。動き方向算出部５０６は、実施の形態３と同様に、動領域情報で示される、商品領域の縦幅及び横幅、並びに、座標位置と、現フレーム画像データと、過去フレーム画像データとから、商品の動きベクトルを算出する。そして、動き方向算出部５０６は、動きベクトルと、動領域情報と、現フレーム画像データとをマーケティング情報判定部５０８及び陳列動作検出部５１５に供給する。
【００７６】
人物データ保存部５１３は、画像データから店員等の店舗関係者を検出するために必要な情報を記憶する人物データ記憶部である。例えば、人物データ保存部５１３には、店舗関係者が着用する制服のテクスチャ特徴量が保存されている。一般に、コンビニエンスストア等の店舗では、特定の制服を着用する場合が多いため、これらの特徴量を利用して客か店舗関係者かを推定することが可能である。
【００７７】
人物推定部５１４は、撮像部１０１で撮像された画像に含まれている店員等の店舗関係者の存否を判断する人物判断部である。例えば、人物推定部５１４は、撮像部１０１で順次撮像された画像に含まれている店舗関係者の画像における位置を順次特定する。
具体的には、人物推定部５１４は、画像取込部１０２から現フレームの画像データを受け取り、受け取った画像データの画像内の店舗関係者を検出する。例えば、人物推定部５１４は、人物認識技術を使用して、画像データ内の特徴量を算出する。そして、人物推定部５１４は、算出された特徴量と、人物データ保存部５１３に保存されている特徴量との類似度を算出し、類似度が予め定められた閾値を超える場合、店舗関係者であると判断する。人物推定部５１４の詳細は後述する。
【００７８】
陳列動作検出部５１５は、人物推定部５１４で検出された店舗関係者によって商品を商品棚に陳列する動作を検出する。具体的には、陳列動作検出部５１５は、動き方向算出部５０６から与えられる動きベクトル情報に基づいて、商品が商品棚に置かれたか否かを判定する。そして、陳列動作検出部５１５は、陳列動作が行われたと判定した場合、陳列位置情報及び現フレーム画像データを陳列商品情報登録部５１６に供給する。陳列位置情報は、撮像部１０１で撮像された画像における座標情報（ｘ，ｙ）で表わされる。ここで、動き方向算出部５０６からの動きベクトル情報に基づく、陳列動作検出の詳細については後述する。
【００７９】
陳列商品情報登録部５１６は、陳列動作検出部５１５が店舗関係者による陳列動作を検出すると、商品推定部５０５から与えられる商品情報及び陳列動作検出部５１５から与えられる陳列位置情報に基づいて、どの商品が商品棚のどの位置に陳列されたかを示す陳列商品情報を生成して、商品データ及び保管位置保存部５０４に記憶する。
具体的には、陳列商品情報登録部５１６は、陳列動作検出部５１５から陳列位置情報及び商品情報を受け取る。陳列商品情報登録部５１６は、これらの情報から商品名、商品の陳列位置、現フレーム画像データから抽出された商品の部分画像データからなる陳列商品情報を生成して、商品データ及び保管位置保存部５０４に記憶する。
【００８０】
商品データ及び保管位置保存部５０４は、実施の形態４における商品データ及び保管位置保存部４０４と同様に、商品推定部５０５で商品の推定を行う際に必要となる、商品の特徴量を記憶するとともに、商品の保管位置（陳列位置）を示す保管位置情報を記憶する商品データ記憶部である。
なお、商品データ保存部１０４を第１の商品データ記憶部といい、商品データ及び保管位置保存部５０４を第２の商品データ記憶部ともいう。
【００８１】
以上のように構成されるマーケティング情報収集装置５００の陳列商品情報を登録する機能における動作の詳細について説明する。
【００８２】
人物推定部５１４は、スライディングウィンドウ方式を用いて、現フレームの画像データに含まれる店員等の店舗関係者を推定する。スライディングウィンドウ方式は、先述の実施の形態１における商品推定部１０５での方法と同じであるため、説明は省略する。人物推定部５１４は、スライディングウィンドウ毎に特徴量を算出して人物を検出し、その後、人物データ保存部５１３に保存されている店舗関係者の特徴量との類似度を計算し、類似度が予め定められた閾値を超える場合、店舗関係者であると判断する。この人物検出の方法は、例えば、非特許文献２に開示されている人物検出方法と非特許文献１に開示されている一般物体認識の方法とを組み合わせる等により実現できる。
【００８３】
ここでは、非特許文献２に開示されている人物検出方法について、簡単に概要を述べる。例えば、顔検出をベースとした方法がある。これは目又は口等の輝度分布又は位置関係等から、顔か顔以外かを判定するルールベースの方法である。また、近年は統計的学習手法による人物検出方法が主流となっており、この方法を採用することも可能である。これは、人物か人物ではないかを識別するための識別器を学習する学習フェーズと、この識別器を利用して人物を検出する検出フェーズの２つからなる。学習フェーズでは膨大な人物画像とそれ以外の画像とを準備し、それぞれに含まれる局所的な輝度勾配情報又は色情報を統計的に学習する。検出フェーズでは、問い合わせ画像に対してスライディングウィンドウを設定し、スライディングウィンドウ毎に局所的な輝度情報又は色情報を抽出し、学習データとの比較を行うことで、人物か人物ではないかを識別する。
【００８４】
一般物体認識方法については、先述の実施の形態１における商品推定部１０５での方法と同じであるため、説明を省略する。最終的に、人物推定部５１４は、店舗関係者を検出した場合、スライディングウィンドウにおける矩形領域Ｒｅｃｔｃの左端位置（ｘｃ，ｙｃ）と、矩形サイズ（ｗｃ，ｈｃ）とを陳列動作検出部５１５に供給する。
【００８５】
次に、陳列動作検出部５１５での陳列動作の検出について述べる。ここで、陳列動作検出部５１５は、人物推定部５１４によって画像データに店舗関係者が含まれると判断され、人物推定部５１４から矩形領域Ｒｅｃｔｃの左端位置（ｘｃ，ｙｃ）と、矩形サイズ（ｗｃ，ｈｃ）とが送られてきた時にのみ動作する。陳列動作検出部５１５は、人物推定部５１４から与えられる人物領域を示す矩形領域Ｒｅｃｔｃの左端位置（ｘｃ，ｙｃ）と、矩形サイズ（ｗｃ，ｈｃ）、並びに、動き方向算出部５０６から与えられるベクトル情報で示される動きベクトル（ｖｃｘ，ｖｃｙ）、及び座標位置（ｘ’ｃ，ｙ’ｃ）に基づいて、店舗関係者によって商品が陳列されたかを判定する。
【００８６】
例えば、図１のような配置において、図５に示されているように、店舗関係者５に対して、商品棚１が現フレーム画像データの画像Ｉｍ３において上部に配置されている場合は、動きベクトルＶのｙ成分ｖｃｙが下記の（１５）式を満たす場合に、陳列動作検出部５１５は、商品を陳列したと判定する。
【数１５】
2016201105.tif 000017
同様に、店舗関係者５と商品棚１が、図５とは異なる配置の場合でも、陳列動作検出部５１５は、動きベクトルＶの傾きにより動きを判定することができる。
【００８７】
但し、陳列動作検出部５１５は、人物推定部５１４から受信した人物の矩形領域Ｒｅｃｔｃの左端位置（ｘｃ，ｙｃ）と、動き方向算出部５０６から受信した座標位置（ｘ’ｃ，ｙ’ｃ）との距離ｄｉｓｔｈｃが下記の（１６）式を満たす場合にのみ商品を陳列したと判定する。
【数１６】
2016201105.tif 000018
この処理は、動き方向算出部５０６で算出された商品の動きが、店舗関係者５の動作によるものであることを担保するものである。店舗関係者５と座標が大きく異なるところで商品が動いていた場合、店舗関係者５による陳列動作ではないと考えられるため、（１６）式によってその判定が行われる。
【００８８】
次に、実施の形態５に係るマーケティング情報収集装置５００の機能のうち、マーケティング情報を生成する機能に関する構成を説明する。
【００８９】
商品推定部５０５は、撮像部１０１で撮像された画像に含まれている商品を特定する商品特定部である。具体的には、商品推定部５０５は、一般物体認識技術を使用して、画像データ内の商品領域の特徴量を算出し、その特徴量と、商品データ及び保管位置保存部５０４に記憶されている商品の特徴量との類似度に基づいて、商品を推定するが、実施の形態４と同様に、商品の保管位置（陳列位置）に基づいて、類似度を求める商品の特徴量を絞り込む。
【００９０】
人物推定部５１４は、撮像部１０１で撮像された画像に含まれている客を検出する人物検出部である。例えば、人物推定部５１４は、撮像部１０１で順次撮像された画像に含まれている客の画像における位置を順次特定する。例えば、人物推定部５１４は、上述のように、店舗関係者を検出し、店舗関係者以外の人物を客として検出すればよい。
ここで、人物推定部５１４は、客を検出した場合には、客を検出したことを示す客検出情報をマーケティング情報判定部５０８に供給する。なお、人物推定部５１４は、客を検出しなくなった場合には、客検出情報の供給を停止する。
【００９１】
マーケティング情報判定部５０８は、実施の形態３と同様に、マーケティング情報を生成する。但し、マーケティング情報判定部５０８は、人物推定部５１４から客検出情報が供給されている間だけ、マーケティング情報をデータ記録部１０９に記録させる。
【００９２】
以上のように構成されるマーケティング情報収集装置５００の陳列商品情報生成部５００ａにおける画像取込部１０２、商品推定部５０５、動き方向算出部５０６、マーケティング情報判定部５０８、動領域推定部３１１、人物推定部５１４、陳列動作検出部５１５及び陳列商品情報登録部５１６は、ＣＰＵが、メモリ又はＨＤＤ等の外部記憶装置に記憶されているプログラムを実行することで実現することができる。但し、これらは、コンピュータシステム上にソフトウェア的に実現されるものに限定されない。例えば、これらの全部又は一部が、ＡＳＩＣ又はＦＰＧＡ等の集積ロジックＩＣによりハード的に実現されていてもよい。また、これらの一部又は全部が、ＤＳＰ等によりソフトウェア的に実現されていてもよい。あるいは、特定の用途に特化した構成要素を、コンピュータシステムに搭載された拡張ボード等のハードウェアで実現し、その他の汎用的な構成要素をコンピュータシステム上でソフトウェア的に実現するようにしてもよい。
【００９３】
また、実施の形態５では、図１６に示されているように、マーケティング情報収集装置５００を１つの装置としているが、撮像部１０１とそれ以外の部分を別ユニットとして構成してもよい。例えば、マーケティング情報収集装置５００は、撮像部１０１を備えなくてもよく、別ユニットの撮像部１０１から画像データを受け取るようにしてもよい。また、フレームメモリ１０３、フレームメモリ１０７及びフレームメモリ３１２は、１つのメモリとして構成してもよい。人物データ保存部５１３及び商品データ保存部１０４並びに商品データ及び保管位置保存部５０４を１つにまとめてもよいし、前述のフレームメモリ１０３、フレームメモリ１０７及びフレームメモリ３１２とまとめてもよい。
【００９４】
実施の形態５に係るマーケティング情報収集装置５００は、以上のように構成されているので、商品にＲＦタグを貼り付けることなく、直接的に購買につながらない、商品を取り上げた又は戻した等のマーケティング情報を収集することができる。さらに、商品データ及び保管位置保存部５０４に対し、陳列商品のデータを自動で登録することが可能なため、実施の形態４よりも店舗関係者の負荷を要することなく、マーケティング情報を収集することができる。
【００９５】
実施の形態６．
図１７は、実施の形態６に係るマーケティング情報収集装置６００の構成を概略的に示すブロック図である。
実施の形態６に係るマーケティング情報収集装置６００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ及び属性データ保存部６０４と、商品推定部６０５と、動き方向算出部３０６と、フレームメモリ１０７と、マーケティング情報判定部３０８と、データ記録部１０９と、動領域推定部３１１と、フレームメモリ３１２と、属性判定部６１７とを備える。なお、実施の形態６に係る情報処理方法は、実施の形態６に係るマーケティング情報収集装置６００により実行される方法である。
実施の形態６に係るマーケティング情報収集装置６００は、商品データ及び属性データ保存部６０４、商品推定部６０５、及び、属性判定部６１７を除いて、実施の形態３に係るマーケティング情報収集装置３００と同様に構成されている。以下では、主に、実施の形態３とは異なる商品データ及び属性データ保存部６０４、商品推定部６０５、及び、属性判定部６１７について説明する。なお、画像取込部１０２は、フレームメモリ１０３から画像データを読み出し、商品推定部６０５及び動領域推定部３１１に画像データを供給する。また、動領域推定部３１１は、動領域情報と、動領域情報で示される閾値外接矩形の画像データとを属性判定部６１７に供給する。
【００９６】
属性判定部６１７は、動領域推定部３１１で特定された領域から、当該領域に含まれている商品の属性を判定する。
具体的には、属性判定部６１７は、動領域情報及び動領域情報で示される閾値外接矩形の画像データを動領域推定部３１１から渡され、閾値外接矩形の画像データに含まれている商品の属性を判定する。ここで、商品の属性は、例えば、商品の形状又は色等の、画像に現れる商品の特徴である。属性判定部６１７について具体的に述べる。
【００９７】
図１８は、属性判定部６１７の処理の流れを示すフローチャートである。
【００９８】
まず、属性判定部６１７は、動領域推定部３１１から与えられた動領域情報で示される閾値外接矩形の画象データに含まれている商品の形状における属性を特定する（Ｓ４０）。例えば、属性判定部６１７は、閾値外接矩形の縦横比に基づいて、その外形を、縦長、横長又は正方形の３種類に分類する。閾値外接矩形が座標（ｘｃ，ｙｃ）及びサイズ（ｗｃ，ｈｃ）であるとすると、縦横比Ａｓｐｅｃｔは、下記の（１７）式で求められる。
【数１７】
2016201105.tif 000019
【００９９】
また、縦長、横長又は正方形の判定は、下記の（１８）式に従う。
【数１８】
2016201105.tif 000020
ここで、Ｒａｓｐｅｃｔは、商品の形状の判定結果（形状属性）である。Ｄｔｈｉｎは、１よりも小さい閾値であり、Ｄｗｉｄｅは、１よりも大きい閾値である。これらの閾値は、商品の傾き又は撮像部１０１の傾きによる商品の形状変化に対する頑健性を担保するものである。
【０１００】
次に、属性判定部６１７は、動領域推定部３１１から与えられた閾値外接矩形の画像データに含まれている商品の色における属性を特定する（Ｓ４１）。例えば、属性判定部６１７は、閾値外接矩形の画像データの色成分により、商品の色を分類する。閾値外接矩形の画像データは、ＲＧＢ形式であるとする。属性判定部６１７は、下記の（１９）〜（２１）式に従い、閾値外接矩形のＲ、Ｇ、Ｂ値の平均値を求める。
【数１９】
2016201105.tif 000021
【数２０】
2016201105.tif 000022
【数２１】
2016201105.tif 000023
【０１０１】
次に、属性判定部６１７は、Ｒａｖｅ、Ｇａｖｅ及びＢａｖｅを大きい順に並べ替える。ここでは、説明の便宜上、Ｒａｖｅ＞Ｇａｖｅ＞Ｂａｖｅであるものとする。
そして、最大値（ここでは、Ｒａｖｅ）と、２番目に大きな値（ここでは、Ｇａｖｅ）が、下記の（２２）式を満たす場合には、属性判定部６１７は、この画像データに含まれる商品の色が、最大値の色に含まれる商品（ここでは、赤系の商品）であると判断する。
【数２２】
2016201105.tif 000024
但し、Ｄｃｏｌｏｒは、０よりも大きい閾値である。
【０１０２】
以上のように、属性判定部６１７は、最大値と２番目の値の差が閾値Ｄｃｏｌｏｒより大きい場合に最大値の色を候補色とする。一方、この式を満たさない場合は、属性判定部６１７は、支配色なしとする。この閾値Ｄｃｏｌｏｒは、店舗の光源の色、太陽光又は撮像部１０１の色補正等の影響に対する頑健性を担保するものである。
また、この色の候補は、商品の色の判定結果（色属性）であり、Ｒｃｏｌｏｒと表記する。以下では便宜上、Ｒｃｏｌｏｒは、１、２、３又は４の値をとり、Ｒｃｏｌｏｒ＝１のときは、赤系の商品、Ｒｃｏｌｏｒ＝２のときは、青系の商品、Ｒｃｏｌｏｒ＝３のときは、緑系の商品、及び、Ｒｃｏｌｏｒ＝４のときは、支配色なしの商品とする。
【０１０３】
そして、属性判定部６１７は、Ｒａｓｐｅｃｔ及びＲｃｏｌｏｒを判定属性情報として商品推定部６０５に供給する。
なお、ステップＳ４０及びＳ４１の順番は、便宜上、図１８のようにしているが、逆であってもよく、さらに並列処理であってもよい。
【０１０４】
図１７に戻り、商品データ及び属性データ保存部６０４は、実施の形態１における商品データ保存部１０４と同様に、商品推定部６０５で商品の推定を行う際に必要となる、商品の特徴量を記憶するとともに、商品の属性を示す属性データを記憶する商品データ記憶部である。属性データは、各々の商品について、上述の方法で算出された形状属性Ｒ’ａｓｐｅｃｔ及び色属性Ｒ’ｃｏｌｏｒを示すデータである。
【０１０５】
商品推定部６０５は、動領域推定部３１１から渡される動領域情報及び閾値外接矩形の画像データと、属性判定部６１７から渡される判定属性情報とを受け取り、閾値外接矩形に含まれる商品を推定する。例えば、以下のようにして、商品推定部６０５は、商品の推定を行う。
【０１０６】
図１９は、商品推定部６０５の推定処理を示すフローチャートである。
まず、商品推定部６０５は、属性判定部６１７から与えられた判定属性情報で示される形状属性Ｒａｓｐｅｃｔを用いて、商品データ及び属性データ保存部６０４に保存されている形状属性Ｒ’ａｓｐｅｃｔをフィルタすることにより、商品の候補を絞る（Ｓ５０）。言い換えると、Ｒａｓｐｅｃｔ＝Ｒ’ａｓｐｅｃｔを満たす商品を候補として絞る。
【０１０７】
次に、商品推定部６０５は、属性判定部６１７から与えられた判定属性情報で示される色属性Ｒｃｏｌｏｒを用いて、商品データ及び属性データ保存部６０４に保存されている色属性Ｒ’ｃｏｌｏｒをフィルタすることにより、商品の候補を絞る（Ｓ５１）。言い換えると、Ｒｃｏｌｏｒ＝Ｒ’ｃｏｌｏｒを満たす商品を候補として絞る。但し、属性判定部６１７から渡された色属性が、Ｒｃｏｌｏｒ＝４、即ち、色属性なしである場合には、Ｒ’ｃｏｌｏｒ＝４で絞り込んでもよいが、ステップＳ５１における色属性による絞込をキャンセルしてもよい。
【０１０８】
そして、商品推定部６０５は、ステップＳ５０及びＳ５１で絞りこまれた商品の候補について、実施の形態３の商品推定部３０５と同様な方法で商品名を推定する（Ｓ５２）。
なお、ステップＳ５０及びステップＳ５１は、順番を入れ替えても良いし、どちらか一方が行われてもよい。
【０１０９】
また、実施の形態６では、図１に示されているように、マーケティング情報収集装置６００を１つの装置としているが、撮像部１０１とそれ以外の部分を別ユニットとしてもよい。例えば、マーケティング情報収集装置６００は、撮像部１０１を備えなくてもよく、別ユニットの撮像部１０１から画像データを受け取るようにしてもよい。フレームメモリ１０３、フレームメモリ３１２及びフレームメモリ１０７は、１つのメモリとして構成してもよい。商品データ及び属性データ保存部６０４、及び、データ記録部１０９を１つにまとめてもよい。商品データ及び属性データ保存部６０４、データ記録部１０９、フレームメモリ３１２、フレームメモリ１０７をまとめてもよい。さらに、動領域推定部３１１と動き方向算出部３０６を１つにまとめてもよい。
さらに、実施の形態４における商品データ及び保管位置保存部４０４と商品推定部４０５とによる、商品の保存位置による絞込みの機能を、商品データ及び属性データ保存部６０４と、商品推定部６０５とに追加してもよい。
【０１１０】
なお、商品推定部６０５及び属性判定部６１７は、ＣＰＵがプログラムを実行することにより実現されてもよい。また、これらの一部又は全部が、ＡＳＩＣ又はＦＰＧＡ等の集積ロジックＩＣによりハード的に実現されていてもよい。さらに、これらの一部又は全部が、ＤＳＰ等によりソフトウェア的に実現されていてもよい。
【０１１１】
実施の形態６に係るマーケティング情報収集装置６００は、以上のように構成されているので、商品にＲＦタグを貼り付けることなく、直接的に購買につながらない、商品を取り上げたもしくは戻した等のマーケティング情報を収集することができる。さらに、商品データ及び属性データ保存部６０４を設けたため実施の形態３のよりも高速にマーケティング情報を収集できる。
【０１１２】
実施の形態７．
図２０は、実施の形態７に係るマーケティング情報収集装置７００の構成を概略的に示すブロック図である。
実施の形態７に係るマーケティング情報収集装置７００は、撮像部１０１と、画像取込部１０２と、フレームメモリ１０３と、商品データ保存部１０４と、商品推定部１０５と、動き方向算出部１０６と、フレームメモリ１０７と、マーケティング情報判定及び配信部７０８と、データ記録部１０９とを備える。なお、実施の形態７に係る情報処理方法は、実施の形態７に係るマーケティング情報収集装置７００により実行される方法である。
実施の形態７に係るマーケティング情報収集装置７００は、マーケティング情報判定及び配信部７０８を除いて、実施の形態１に係るマーケティング情報収集装置１００と同様に構成されている。以下では、主に、実施の形態１とは異なるマーケティング情報判定及び配信部７０８について説明する。
【０１１３】
マーケティング情報判定及び配信部７０８は、商品推定部１０５から与えられる商品情報と、動き方向算出部１０６から与えられる動きベクトル情報に基づいて、商品の動きを含むマーケティング情報を生成して、データ記録部１０９に記憶するマーケティング情報判定部として機能するとともに、このマーケティング情報を外部装置へ送信する送信部としても機能する。例えば、マーケティング情報判定及び配信部７０８は、Ｅｔｈｅｒｎｅｔ（登録商標）又はＷＩＦＩ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）等のネットワーク、又は、専用のインターフェースを介して、ＰＯＳシステム又は監視レコーダー等に配信する。又は、マーケティング情報判定及び配信部７０８は、コンビニエンスストアチェーンのように、インターネット等を介して、親企業のサーバー等に送信してもよい。
【０１１４】
例えば、マーケティング情報判定及び配信部７０８は、商品推定部１０５から渡された商品の有無に従い、客の手に取られた商品がない場合は、何も記録及び配信せず、処理を終了するか、又は、商品がないという情報を記録及び外部へ配信する。商品がある場合は、マーケティング情報判定及び配信部７０８は、商品名、商品領域情報及び商品の動きの判定結果を含むマーケティング情報を記録及び外部へ配信する。また、記録及び配信されるデータについては、現フレーム画像データと商品領域情報から商品部分を切り出しサムネールとを併せて記録又は配信してもよい。また、記録と配信については、その両方を行っても良いし、どちらかでもよい。
【０１１５】
なお、マーケティング情報判定及び配信部７０８の内、マーケティング情報判定部としての機能については、ＣＰＵがプログラムを実行することにより実現されてもよい。また、マーケティング情報判定部としての機能の一部又は全部が、ＡＳＩＣ又はＦＰＧＡ等の集積ロジックＩＣによりハード的に実現されていてもよい。さらに、マーケティング情報判定部としての機能の一部又は全部が、ＤＳＰ等によりソフトウェア的に実現されていてもよい。さらに、マーケティング情報判定及び配信部７０８の内、配信部としての機能については、ＣＰＵが、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）等の通信装置を制御することで実現することができる。
【０１１６】
実施の形態７に係るマーケティング情報収集装置７００は、以上のように構成されているので、商品にＲＦタグを貼り付けることなく、直接的に購買につながらない、商品を取り上げた、又は、戻した等のマーケティング情報を収集することができる。さらに、マーケティング情報判定及び配信部７０８を設けたことにより、マーケティング情報を外部装置へ配信することができる。
【０１１７】
また、実施の形態２から実施の形態６に係る、マーケティング情報判定部を、実施の形態７におけるマーケティング情報判定及び配信部７０８で置き換えることも可能である。
【符号の説明】
【０１１８】
１００，２００，３００，４００，５００，６００，７００  マーケティング情報収集装置、  １０１  撮像部、  １０２  画像取込部、  １０３  フレームメモリ、  １０４  商品データ保存部、  ４０４，５０４  商品データ及び保管位置保存部、  ６０４  商品データ及び属性データ保存部、  １０５，３０５，４０５，５０５，６０５  商品推定部、  １０６，３０６，５０６  動き方向算出部、  １０７  フレームメモリ、  １０８，２０８，３０８，５０８  マーケティング情報判定部、  ７０８  マーケティング情報判定及び配信部、  １０９  データ記録部、  ２１０  時計部、  ３１１  動領域推定部、  ３１２  フレームメモリ、  ５１３  人物データ保存部、  ５１４  人物推定部、  ５１５  陳列動作検出部、  ５１６  陳列商品情報登録部、  ６１７  属性判定部。
【図１】
2016201105.tif 000025
【図２】
2016201105.tif 000026
【図３】
2016201105.tif 000027
【図４】
2016201105.tif 000028
【図５】
2016201105.tif 000029
【図６】
2016201105.tif 000030
【図７】
2016201105.tif 000031
【図８】
2016201105.tif 000032
【図９】
2016201105.tif 000033
【図１０】
2016201105.tif 000034
【図１１】
2016201105.tif 000035
【図１２】
2016201105.tif 000036
【図１３】
2016201105.tif 000037
【図１４】
2016201105.tif 000038
【図１５】
2016201105.tif 000039
【図１６】
2016201105.tif 000040
【図１７】
2016201105.tif 000041
【図１８】
2016201105.tif 000042
【図１９】
2016201105.tif 000043
【図２０】
2016201105.tif 000044