(57)【要約】【課題】ユーザの棚前心理及び棚前行動を把握して消費者の購買意欲を総合的に分析し、商品陳列棚を介した購買支援を行う。【解決手段】本発明の購買支援システムは、商品陳列棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚の商品に対する消費者の動きを取得する第２センサ機器とを含むセンシングユニットと、所定のコンテンツを表示する出力ユニットとを備える商品陳列棚システムと、センシングユニットで取得された各センサ検出情報を受信して消費者の購買意欲を判別し、棚前に位置する消費者に対して購買意欲に応じたコンテンツを出力ユニットに表示させるための配信処理を行う管理装置と、を有する。管理装置は、顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、商品に対する消費者の動きに基づいて棚前行動パターンを特定し、これら各パターンに対応する消費者の購買意欲パターンを判別する。【選択図】図４
2018045454.tif 000002
【特許請求の範囲】
【請求項１】
商品陳列棚と、
棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚に陳列された商品に対する消費者の動きを取得する第２センサ機器とを含み、商品陳列棚に設けられるセンシングユニットと、
商品陳列棚に設けられ、所定のコンテンツを表示する出力ユニットと、を備える商品陳列棚システムと、
前記商品陳列棚システムとネットワークを介して接続され、前記センシングユニットで取得された各センサ検出情報を受信して消費者の購買意欲を判別し、棚前に位置する消費者に対して前記購買意欲に応じた前記コンテンツを前記出力ユニットに表示させるための配信処理を行う管理装置と、を有し、
前記管理装置は、
前記顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、かつ商品に対する消費者の動きに基づいて棚前行動パターンを特定し、特定された前記棚前心理パターン及び前記棚前行動パターンに対応する消費者の購買意欲パターンを判別する分析制御部と、
複数の前記購買意欲パターン毎に前記コンテンツを関連付けた購買支援情報を記憶する記憶部と、
判別された消費者の前記購買意欲パターンに基づいて前記コンテンツを選択し、前記出力ユニットに表示させるための配信処理を行うコンテンツ制御部と、
を有することを特徴とする購買支援システム。
【請求項２】
前記センシングユニットは、商品陳列棚に陳列された商品の移動を検出する第３センサ機器をさらに備え、
前記分析制御部は、前記第２センサ機器及び前記第３センサ機器のセンサ検出情報を組み合わせて消費者が特定の商品を手に取ったか否かを前記棚前行動パターンとして特定することを特徴とする請求項１に記載の購買支援システム。
【請求項３】
前記コンテンツ制御部は、消費者の前記棚前心理パターン、前記棚前行動パターン及び前記購買意欲パターンに応じた前記コンテンツをそれぞれ選択し、選択された複数の前記コンテンツを前記出力ユニットに表示させるための配信処理を行うことを特徴とする請求項１又は２に記載の購買支援システム。
【請求項４】
前記分析制御部は、前記顔画像から消費者の性別、年齢層を含む消費者属性を所定の顔認識処理に基づいて抽出し、前記顔画像及び前記消費者属性が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、商品陳列棚が設置された店舗への来店履歴と、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴とを、特定された前記ユーザプロファイル情報に関連付けて記憶し、
前記コンテンツ制御部は、前記ユーザプロファイル情報に基づく消費者の前記性別、前記年齢層、前記来店履歴及び前記購買履歴のいずれか１つ又は２以上の組み合わせに基づいて、前記コンテンツを選択し、前記出力ユニットに表示させるための配信処理を行うことを特徴とする請求項１から３のいずれか１つに記載の購買支援システム。
【請求項５】
前記分析制御部は、前記顔画像が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴を前記ユーザプロファイル情報に関連付けて記憶し、
前記出力ユニットに表示させるための配信処理の結果と前記購買履歴とに基づいて、商品の購買に繋がった前記配信処理の結果を消費者の前記棚前心理パターン、前記棚前行動パターン、及び前記購買意欲毎に評価する学習制御部をさらに備えることを特徴とする請求項１から３のいずれか１つに記載の購買支援システム。
【請求項６】
前記出力ユニットは、前記所定のコンテンツを表示する第１ディスプレイ装置及び第２ディスプレイ装置を備え、
前記第２ディスプレイ装置は、複数の表示装置を横並びにユニット化したモニタユニットであり、
前記コンテンツ制御部は、１つ又は複数の前記コンテンツを、前記第１ディスプレイ装置及び第２ディスプレイ装置それぞれに表示させるための配信処理を行うとともに、前記第２ディスプレイ装置の各表示装置に異なる前記コンテンツを表示させるための配信処理を行うことを特徴とする請求項１から５のいずれか１つに記載の購買支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、商品陳列棚を介した購買支援技術に関する。
【背景技術】
【０００２】
特許文献１，２に記載のように、消費者に対して広告情報などを表示して購買意欲を促進させる技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８８１６６号公報
【特許文献２】特開２０１５−１５６２１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１，２に記載のような従来の技術は、商品を手に取ったり、視線を検出するなどして消費者の行動を把握しているものの、その行動の一部分しか検出していなかったり、消費者の心理や購買意欲を総合的に把握しておらず、消費者の心理や行動に適した情報の提供を行うことができなかった。
【０００５】
そこで、本発明の目的は、商品陳列棚に対するユーザの棚前心理及び棚前行動を把握して消費者の購買意欲を総合的に分析し、商品陳列棚を介した購買支援を行う購買支援システムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明の購買支援システムは、商品陳列棚と、棚前に位置する消費者の顔画像を取得する第１センサ機器と、商品陳列棚に陳列された商品に対する消費者の動きを取得する第２センサ機器とを含み、商品陳列棚に設けられるセンシングユニットと、商品陳列棚に設けられ、所定のコンテンツを表示する出力ユニットと、を備える商品陳列棚システムと、前記商品陳列棚システムとネットワークを介して接続され、前記センシングユニットで取得された各センサ検出情報を受信して消費者の購買意欲を判別し、棚前に位置する消費者に対して前記購買意欲に応じた前記コンテンツを前記出力ユニットに表示させるための配信処理を行う管理装置と、を有する。
【０００７】
前記管理装置は、前記顔画像から検出される消費者の表情及び視線に基づいて棚前心理パターンを特定し、かつ商品に対する消費者の動きに基づいて棚前行動パターンを特定し、特定された前記棚前心理パターン及び前記棚前行動パターンに対応する消費者の購買意欲パターンを判別する分析制御部と、複数の前記購買意欲パターン毎に前記コンテンツを関連付けた購買支援情報を記憶する記憶部と、判別された消費者の前記購買意欲パターンに基づいて前記コンテンツを選択し、前記出力ユニットに表示させるための配信処理を行うコンテンツ制御部と、を有する。
【０００８】
（２）上記（１）において、前記センシングユニットは、商品陳列棚に陳列された商品の移動を検出する第３センサ機器をさらに備えることができ、前記分析制御部は、前記第２センサ機器及び前記第３センサ機器のセンサ検出情報を組み合わせて消費者が特定の商品を手に取ったか否かを前記棚前行動パターンとして特定するように構成することができる。
【０００９】
（３）上記（１）又は（２）において、前記コンテンツ制御部は、消費者の前記棚前心理パターン、前記棚前行動パターン及び前記購買意欲に応じた前記コンテンツをそれぞれ選択し、選択された複数の前記コンテンツを前記出力ユニットに表示させるための配信処理を行うように構成することができる。
【００１０】
（４）上記（１）から（３）において、前記分析制御部は、前記顔画像から消費者の性別、年齢層を含む消費者属性を所定の顔認識処理に基づいて抽出し、前記顔画像及び前記消費者属性が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、商品陳列棚が設置された店舗への来店履歴と、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴とを、特定された前記ユーザプロファイル情報に関連付けて記憶することができる。そして、前記コンテンツ制御部は、前記ユーザプロファイル情報に基づく消費者の前記性別、前記年齢層、前記来店履歴及び前記購買履歴のいずれか１つ又は２以上の組み合わせに基づいて、前記コンテンツを選択し、前記出力ユニットに表示させるための配信処理を行うように構成することができる。
【００１１】
（５）上記（１）から（３）において、前記分析制御部は、前記顔画像が関連付けられたユーザプロファイル情報を生成して前記記憶部に記憶するとともに、前記顔画像に基づくパターンマッチングを行って前記記憶部に記憶された前記ユーザプロファイル情報を特定し、店舗の販売履歴を管理する所定の販売管理システムから取得される商品陳列棚に陳列された商品の購買履歴を前記ユーザプロファイル情報に関連付けて記憶することができる。そして、前記出力ユニットに表示させるための配信処理の結果と前記購買履歴とに基づいて、商品の購買に繋がった前記配信処理の結果を消費者の前記棚前心理パターン、前記棚前行動パターン、及び前記購買意欲毎に評価する学習制御部をさらに備えるように構成することができる。
【００１２】
（６）上記（１）から（５）において、前記出力ユニットは、前記所定のコンテンツを表示する第１ディスプレイ装置及び第２ディスプレイ装置を備えるように構成することができる。そして、前記第２ディスプレイ装置は、複数の表示装置を横並びにユニット化したモニタユニットとして構成することができる。このとき、前記コンテンツ制御部は、１つ又は複数の前記コンテンツを、前記第１ディスプレイ装置及び第２ディスプレイ装置それぞれに表示させるための配信処理を行うとともに、前記第２ディスプレイ装置の各表示装置に異なる前記コンテンツを表示させるための配信処理を行うように構成することができる。
【発明の効果】
【００１３】
本発明によれば、商品陳列棚に対するユーザの棚前心理及び棚前行動を把握して消費者の購買意欲を総合的に分析し、商品陳列棚を介した購買支援を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態の商品陳列棚を介した購買支援システムの構成図である。
【図２】第１実施形態の商品陳列棚に設置されるモニタユニットの構成例を示す図である。
【図３】第１実施形態の購買支援システムを構成する商品陳列棚システム及び管理装置の構成ブロック図である。
【図４】第１実施形態の購買支援方法に含まれるセンシングユニット機能、アナリティクスユニット機能及び出力ユニット機能を説明するための図である。
【図５】第１実施形態のユーザプロファイルの一例を示す図である。
【図６】第１実施形態のユーザ行動（消費者行動）に基づく配信コンテンツの制御例を示す図である。
【図７】第１実施形態の棚前心理分析及び棚前行動分析の一例を示す図である。
【図８】第１実施形態の棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対する配信コンテンツパターンの一例を示す図である。
【図９】第１実施形態の商品陳列棚を介した購買支援システムの処理フローを示す図である。
【図１０】第１実施形態の商品陳列棚を介した購買支援システムを「化粧品売り場」に適用した際の購買支援方法の一例を示す図である。
【図１１】第１実施形態の商品陳列棚を介した購買支援システムを「ゲームコーナー」に適用した際の購買支援方法の一例を示す図である。
【図１２】第１実施形態の商品陳列棚を介した購買支援システムを「お弁当コーナー」に適用した際の購買支援方法の一例を示す図である。
【図１３】第１実施形態の商品陳列棚を介した購買支援システムを「洋服コーナー」に適用した際の購買支援方法の一例を示す図である。
【図１４】第１実施形態の商品陳列棚を介した購買支援システムを「お肉コーナー」に適用した際の購買支援方法の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、実施形態につき、図面を参照して説明する。
【００１６】
（第１実施形態）
図１から図１４は、第１実施形態を示す図である。図１は、本実施形態の商品陳列棚を介した購買支援システム（以下、購買支援システムと称する）の構成図である。購買支援システムは、商品陳列棚システム１００と管理装置３００とを含んで構成され、ＩＰ網などのネットワークを介して、無線又は有線で接続される。
【００１７】
図１に示すように、商品陳列棚システム１００は、高さ（Ｚ方向）に延びる棚本体部１と、棚本体部１から前方に延設された商品陳列部２Ａ，２Ｂ，２Ｃとで構成される商品陳列棚をベースとしている。複数の商品陳列部２Ａ，２Ｂ，２Ｃは、所定の間隔で高さ方向に離間して配置されている。商品陳列部２Ａ，２Ｂ，２Ｃは、所定の横幅（Ｘ方向）及び奥行き（Ｙ方向）を有し、棚本体部１からＹ方向に突出している。なお、商品陳列部２Ａ，２Ｂ，２Ｃは、商品陳列部２Ａ，２Ｂ，２Ｃの上面が高さ方向に対して下方に傾くように設けることもできる。図１に示す商品陳列棚は一例であり、少なくとも所定の横幅及び奥行きを有する商品陳列エリアが形成された棚であればよい。
【００１８】
商品陳列棚システム１００は、図１に例示するように、カメラ１１０Ａ（第１センサ機器に相当する），モーションセンサ１１０Ｂ（第２センサ機器に相当する）、静電容量センサ１１０Ｃ（第３センサ機器に相当する）などのセンシングユニット１１０と、ディスプレイ装置１２０Ａ，モニタユニット１２０Ｂ、スピーカ１２０Ｃ、香発生装置１２０Ｄなどの出力ユニット１２０と、コントロールユニット１３０と、が設けられている。
【００１９】
カメラ１１０Ａは、棚前のユーザ（消費者）を撮影する撮影装置であり、ユーザの静止画や動画を撮影する。モーションセンサ１１０Ｂは、赤外線やレーザーを利用した距離画像センサを備えた非接触型のモーションセンサであり、画像内の物体までの距離を検出することができる。距離画像センサとしては、「Light Coding（パターン照射方式）」方式や「TOF（Time of Flight）」方式などがあり、赤外線やレーザーを照射してその反射を読み取ることで距離を測定する。距離画像センサとは別に物体の位置を検出するカメラと組み合わせて、例えば、位置及び距離に基づいて、人物の動きを検出する。
【００２０】
カメラ１１０Ａ及びモーションセンサ１１０Ｂは、少なくとも棚前に位置するユーザの上半身を撮影するために、商品陳列棚の上部に設けられている。一方、静電容量センサ１１０Ｃは、商品陳列部２Ａ，２Ｂ，２Ｃにおいて商品が載置される上面に設けられる。静電容量センサ１１０Ｃは、静電容量形近接センサであり、静電容量センサ１１０Ｃ上に商品が置かれる。ユーザが置かれた商品を手に取ると、静電容量が変化するので、商品陳列棚に置かれた商品の有無を検知することができる。
【００２１】
本実施形態では、モーションセンサ１１０Ｂと静電容量センサ１１０Ｃとの組み合わせにより、棚前行動として、ユーザが商品を手に取ったことを精度良く把握することができる。なお、カメラ１１０Ａ、モーションセンサ１１０Ｂ、又は静電容量センサ１１０Ｃのいずれか１つを利用して、ユーザが商品を手に取ったことを把握することも可能である。例えば、カメラ１１０Ａで撮影されたユーザの画像において手に取った商品を検出したり、モーションセンサ１１０Ｂで物体として商品を検出しつつ、商品がユーザと共に移動するアクションを検出したり、静電容量センサ１１０Ｃで商品の有無を検出したりして、棚前においてユーザが商品を手に取ったことを把握することができる。また、センシングユニット１１０のセンサ検出情報を任意に組み合わせてユーザが商品を手に取ったことを把握することも可能である。
【００２２】
次に、ディスプレイ装置１２０Ａは、商品陳列棚の上部に設けられ、管理装置３００から配信されるコンテンツを表示する。一方、モニタユニット１２０Ｂは、図２に示すように、複数の小型ディスプレイ装置Ｍ１〜Ｍ８を横並びに並べてユニット化したものである。モニタユニット１２０Ｂは、図１に示すように、商品陳列部２Ａ，２Ｂ，２Ｃの端面に設けられ、棚前に位置するユーザに面して配置されている。
【００２３】
スピーカ１２０Ｃは、再生された音声データ（音楽、ＢＧＭ、効果音など）を出力する。音声データは、ディスプレイ装置１２０Ａやモニタユニット１２０Ｂに表示されるコンテンツ（映像、画像、文字情報、広告情報）に付随する音声やコンテンツとは関係のない音声が含まれる。香発生装置１２０Ｄは、化粧品や香水などの香りや食品の香りなどを出力する。例えば、香りの元なる香料（原料）を設置すると共に、ファン等の送風装置で香りを送り出すように構成することができる。複数の香料（原料）を予め設置して、例えば、後述するユーザの棚前心理や棚前行動、購買意欲の分析結果に対して、複数の香りを切り替えて送出するようにしてもよい。
【００２４】
コントロールユニット１３０は、管理装置３００とネットワークを介して接続し、センシングユニット１１０のセンサ検出情報を管理装置３００に伝送し、管理装置３００から提供されるコンテンツ（出力制御情報を含む）を受信する。
【００２５】
図３は、購買支援システムを構成する商品陳列棚システム１００及び管理装置３００の構成ブロック図である。なお、本実施形態の管理装置３００は、１つ又は複数の商品陳列棚システム１００と接続可能である。
【００２６】
商品陳列棚システム１００は、上述のようにセンシングユニット１１０、出力ユニット１２０及びコントロールユニット１３０を含んで構成され、コントロールユニット１３０は、制御装置１３１、通信装置１３２、記憶装置１３３を備えている。通信装置１３２は、ネットワークを介した管理装置３００との間の通信制御を行う。記憶装置１３３は、コントロールユニット１３０での制御に必要な情報や管理装置３００から伝送される各種情報を記憶する。
【００２７】
制御装置１３１のセンサ制御部１３１Ａは、センシングユニット１１０の各センサ機器を制御し、センサ機器それぞれから出力されるセンサ検出情報を収集する。センサ検出情報は、通信装置１３２を介して管理装置３００に送信される。出力制御部１３１Ｂは、管理装置３００から配信されるコンテンツ及び出力制御情報を受信し、出力ユニット１２０の各出力機器に対する出力制御を行う。
【００２８】
管理装置３００は、通信装置３１０、制御装置３２０及び記憶装置３３０を備えている。通信装置３１０は、商品陳列棚システム１００との間の通信制御を行う。記憶装置３３０は、制御装置３２０での制御に必要な情報や商品陳列棚システム１００から伝送されるセンサ検出情報などの各種情報を記憶する。
【００２９】
制御装置３２０は、分析制御部３２１、コンテンツ制御部３２２、及び学習制御部３２３を含んで構成されている。図４は、本実施形態の購買支援方法に含まれるセンシングユニット機能、アナリティクスユニット機能及び出力ユニット機能を説明するための図である。センシングユニット機能及び出力ユニット機能は、商品陳列棚システム１００によって実現され、アナリティクスユニット機能は、管理装置３００で実現される。
【００３０】
図４に示すように、分析制御部３２１は、ユーザ特定処理、棚前心理分析処理、棚前行動分析処理、購買意欲分析処理の各処理を行う。
【００３１】
ユーザ特定処理は、ユーザプロファイル登録・更新処理であり、カメラ１１０Ａで撮影されたユーザの画像データを用いて顔認識処理を行い、ユーザを特定（登録）する。例えば、ユーザの性別や年齢層を顔認識技術で分析し、ユーザプロファイルとして登録することができる。このとき、既に登録されたユーザプロファイルの顔画像とパターンマッチングを行い、新規ユーザかリピーターかを判別することができる。リピーターの場合、来店回数など来店履歴が、ユーザプロファイルとして登録・更新される。
【００３２】
図５は、ユーザプロファイルの一例を示す図である。ユーザプロファイルは、ユーザの顔画像データ、性別、年齢層、表情、視線、商品手に取り情報、滞在時間、来店回数、購買履歴などを含んでいる。分析制御部３２１は、顔認識技術でユーザの性別、年齢層、表情、視線を把握し、ユーザプロファイルに登録する。また、後述する棚前行動分析に基づく商品手に取り情報、センシングユニット１１０を人感センサとして利用して検出した棚前滞在時間、上述した来店回数を登録することができる。
【００３３】
分析制御部３２１で実行される顔認識技術は、既知の手法を適用することができる。例えば、特徴点やパターンを用いて顔画像を解析して性別、年齢層、表情などを検出することができる。また、可視カメラや赤外線カメラで撮影されたユーザの顔画像の目（虹彩、角膜、瞳孔）の位置を検出し、検出された目の位置に基づいて、商品陳列部２Ａ，２Ｂ，２Ｃに陳列されたユーザが見ている特定の商品を把握することができる。なお、商品陳列部２Ａ，２Ｂ，２Ｃに陳列された各商品及びその商品の位置情報は、予め記憶装置３３０に格納しておくことができる。
【００３４】
購買履歴は、販売管理システム（ＰＯＳシステム）から取得することができる。例えば、レジ清算時にユーザの顔画像を取得し、販売管理システムは、レジ清算結果（購買した商品を識別する情報）とユーザの顔画像をセットにして、商品陳列棚システム１００を介してまたは直接に、管理装置３００に送信することができる。なお、ユーザの顔画像は、販売管理システムとは別に管理装置３００に送信してもよい。例えば、レジ清算時にレジから販売管理システムにＰＯＳ情報が送信されるタイミングに同期させて、レジにてユーザの顔画像を撮影し、管理装置３００に送信することができる。管理装置３００は、販売管理システムから取得したＰＯＳ情報のタイムスタンプと、取得されたユーザの顔画像のタイムスタンプとに基づいて両者を紐付けることができる。
【００３５】
分析制御部３２１は、レジ清算結果（ＰＯＳ情報）に付随するユーザの顔画像を用いてユーザプロファイルを検索し、該当するユーザプロファイルに、購買した商品を購買履歴として記憶することができる。
【００３６】
棚前心理分析処理は、上述した顔認識処理によって特定されたユーザの表情や視線の動きに基づいて商品陳列棚システム１００の商品に対するユーザの棚前心理を分析する。
【００３７】
棚前行動分析処理は、モーションセンサ１１０Ｂで検出されたユーザ行動と、静電容量センサ１１０Ｃで検出された商品の移動とを組み合わせて、ユーザが商品を手に取ったこと（商品手に取り情報）を分析する。商品手に取り情報は、棚前行動として把握される。また、上述のように、商品陳列棚システム１００に置かれた商品の位置情報は、予め記憶装置３３０に記憶しておくことができ、静電容量センサ１１０Ｃで検出される商品の位置情報も予め記憶されている。このため、実際に手に取られた商品がどの商品なのかを特定することができる。ユーザプロファイルに登録される商品手に取り情報としては、例えば、「商品Ａを手に取った」など、特定商品に対する手に取り行動を把握することができる。
【００３８】
購買意欲分析処理は、棚前心理分析処理による棚前心理分析結果と、棚前行動分析処理による棚前行動分析結果とを用いて、ユーザの購買意欲を分析する処理である。なお、棚前心理、棚前行動及び購買意欲の各分析処理の詳細については、後述する。
【００３９】
図６は、ユーザ行動（消費者行動）に基づく配信コンテンツの制御例を示す図である。コンテンツ制御部３２２は、ユーザ特定結果、棚前心理分析結果、棚前行動分析結果、購買意欲分析結果を複合的に用いて、商品陳列棚システム１００に提供するコンテンツ及び出力制御情報を抽出して配信する。
【００４０】
図６に示すように、ユーザが商品陳列棚システム１００の前（棚前）に来ると、モーションセンサ１１０Ｂのセンサ検出情報に基づいて、ユーザが棚前に存在していることを把握する。このとき、カメラ１１０Ａでユーザの顔画像を撮影し、顔認識情報を用いてユーザを特定しつつ、ユーザの表情及び視線を把握する。
【００４１】
まず、ユーザの顔画像によるマッチングによりユーザプロファイルを特定する。ユーザプロファイルが存在する場合、既知のユーザとして、ユーザプロファイルの購買履歴を用いて商品候補を抽出し、抽出された商品候補に関係するコンテンツ（商品情報）を選択して商品陳列棚システム１００に送信する。一方、ユーザプロファイルが存在しない場合、新規ユーザであるとして、ユーザの顔画像から把握される性別、年齢層に適した商品候補を抽出し、抽出された商品候補に関係するコンテンツを選択して商品陳列棚システム１００に送信する。
【００４２】
このように、特定されたユーザプロファイルに基づくコンテンツ配信は、ユーザプロファイルに基づく消費者（ユーザ）の性別、年齢層、来店履歴及び購買履歴のいずれか１つ又は２以上の組み合わせに基づいて、コンテンツを選択し、出力ユニットに表示させるための配信処理を行うように構成することができる。例えば、来店回数が５回以上の女性リピーターの場合、来店回数が５回未満の女性リピーターや男性ユーザよりも、限定商品の優先予約情報を提供したり、高い割引が受けられるお得情報を提供したりすることができる。
【００４３】
なお、管理装置３００の記憶部３３０には、商品陳列棚システム１００に提供する情報が格納されており、これらの情報がコンテンツとして提供される。例えば、購買履歴に商品に対して候補の商品を予め選定しておいたり、性別や年齢層毎の候補商品を予め選定しておいたりして、配信するコンテンツ情報を蓄積しておくことができる。
【００４４】
次に、ユーザの視線情報に基づいて、例えば、商品Ｂを見ていると把握することができる。そこで、視線情報に基づいてユーザが見ている商品を特定し、特定された商品Ｂの商品説明情報や広告情報を抽出して商品陳列棚システム１００に送信することができる。このとき、実際にユーザが見ている商品Ｂに関連する商品説明情報や広告情報の表示において、エフェクト（強調や装飾）表示を行うように、出力（表示）制御情報を商品陳列棚システム１００に送信することができる。
【００４５】
また、棚前のユーザ行動として、商品を手に取ったかを把握することができる。商品手に取り情報に基づいて、手に取った商品Ａに関連するコンテンツを抽出して商品陳列棚システム１００に送信したり、手に取った商品Ａに関連するお得情報を抽出して商品陳列棚システム１００に送信したりすることができる。お得情報とは、例えば、商品Ａと同時購入するとお得な（割引適用を受けられたり、組み合わせ効果が高い）商品Ｃを推薦する情報である。
【００４６】
次に、本実施形態では、表情及び視線による棚前心理及び商品手に取り情報による棚前行動に基づいて、ユーザの購買意欲を分析し、分析された購買意欲に関連するコンテンツを抽出して商品陳列棚システム１００に送信する。ユーザの購買意欲に基づくコンテンツ配信及び表示制御は、例えば、表示中のコンテンツを購買意欲を後押しするようなコンテンツに切り替えたり、表示中のコンテンツをエフェクト処理して表示したり、音楽や音声を流したり、お得情報の追加表示したりなどが含まれる。
【００４７】
このように本実施形態では、商品陳列棚システム１００の棚前ユーザアクションに基づいて、単に広告やお得情報を表示するだけではなく、ユーザの棚前心理及び棚前行動を把握して、ユーザの購買意欲に適したきめ細やかなコンテンツ配信及び表示制御を行う。
【００４８】
ユーザの棚前心理や購買意欲を総合的に把握するためには、１つのセンサ機器では不十分であり、本実施形態の商品陳列棚システム１００は、複数のセンサ機器を含むセンシングユニット１１０を備えており、ユーザの棚前心理や購買意欲を総合的に把握している。
【００４９】
本実施形態の購買支援システムは、１つのセンサ機器に依存せずに、複数のセンサ機器を備えるセンシングユニット１１０で、消費者の属性（プロファイル）、棚前心理（心理状況）及び棚前行動を把握して管理装置３００に送信し、管理装置３００のアナリティクスユニットで、商品陳列棚システム１００の棚前のユーザの心理状況及び行動を分析してユーザの購買意欲を総合的に抽出する。そして、ユーザの心理状況や行動から総合的に把握された購買意欲に対して購買を促すコンテンツを、商品陳列棚システム１００の出力ユニット１２０を介して提供し、ユーザの購買行動を促進させることができる。
【００５０】
図７は、本実施形態の棚前心理分析及び棚前行動分析の一例を示す図である。棚前心理分析は、撮影画像を用いてユーザの表情解析及び視線解析を行い、ユーザの表情と視線の両者から、ユーザの棚前心理を分析する。表情解析は、例えば、明るい、迷い、無表情といった表情の特徴点を予めパターン化しておき、ユーザの表情が「明るい」、「迷い」、「無表情」であるかを判別する。この他に「喜び」、「驚き」、「怒り」、「悲しみ」など、多様な表情解析も行うこともできる。
【００５１】
視線解析は、上述したように検出されるユーザの顔画像の目（虹彩、角膜、瞳孔）の位置が、所定の時間、所定範囲内に位置していれば、視線が一点に集中していると判別したり、所定の時間、所定範囲から外れて位置が上下左右に変動していれば、分散していると判別したりすることができる。
【００５２】
棚前心理は、表情解析結果と視線解析結果の組み合わせにより、予めパターン化されており、図７（ａ）に示すように、棚前心理パターンＡ〜Ｅが、予め記憶装置３３０に記憶されている。分析制御部３２１は、表情解析結果及び視線解析結果を用いて、予め設定された棚前心理パターンを抽出し、ユーザの棚前心理を特定する。
【００５３】
棚前行動分析は、上述したように、モーションセンサ１１０Ｂで検出されたユーザ行動と、静電容量センサ１１０Ｃで検出された商品の移動とを組み合わせて、ユーザの商品手に取り行動（棚前行動パターン）を特定する。例えば、商品を手に取っていない、特定の商品を手に取った、手に取った特定の商品を棚に戻した、などを特定することができる。
【００５４】
図８は、本実施形態の棚前心理及び棚前行動に基づく購買意欲分析結果と、購買意欲分析結果に対する配信コンテンツパターンの一例を示す図である。図８に示すように、購買意欲は、特定された棚前心理パターン及び棚前行動パターンの組み合わせにより、予めパターン化されており、パターン化された各分析結果が予め記憶装置３３０に記憶されている。分析制御部３２１は、棚前心理パターン及び棚前行動パターンを用いて、予め設定された購買意欲分析結果パターンを抽出し、ユーザの購買意欲を特定する。
【００５５】
コンテンツ制御部３２２は、分析制御部３２１で特定されたユーザの購買意欲に対応するコンテンツをコンテンツ群から抽出して、商品陳列棚システム１００に伝送する。記憶装置３３０には、購買意欲分析結果と配信するコンテンツとが紐付けられた配信コンテンツパターン（購買支援情報）が予め記憶されており、コンテンツ制御部３２２は、購買意欲分析結果を用いて配信コンテンツパターンを特定し、該当するコンテンツを記憶装置３３０に記憶されているコンテンツ群から抽出して商品陳列棚システム１００に送信する。
【００５６】
なお、コンテンツ群に含まれる各コンテンツは、例えば、商品毎にコンテンツ１を複数用意することができ、分析結果１に対応する配信コンテンツパターンは、各商品に個別に設定することができる。したがって、コンテンツ制御部３２２は、例えば、分析結果１に対応するコンテンツ１を抽出するが、分析制御部３２１で特定されるユーザが手に取った特定の商品に対応するコンテンツ１をコンテンツ群から抽出して商品陳列棚システム１００に送信することができる。
【００５７】
図９は、本実施形態の商品陳列棚を介した購買支援システムの処理フローを示す図である。図９に示すように、商品陳列棚システム１００は、センシングユニット１１０の動作制御を行い、センサ検出結果をリアルタイムに収集（取得）し（Ｓ１０１）、センシング情報として管理装置３００に送信する（Ｓ１０２）。
【００５８】
なお、商品陳列棚システム１００（コントロールユニット１３０）は、商品陳列棚システム１００に近づいてきたユーザが所定範囲内に入ったことを検出し、棚前にユーザがいることが検知されたことをトリガーに、センシングユニット１１０の動作制御や管理装置３００へのセンシング情報の送信制御を行うように構成することもできる。
【００５９】
管理装置３００は、商品陳列棚システム１００から受信したユーザの撮影画像を用いて、ユーザの顔画像を用いて、既に記憶（登録）されているユーザプロファイルの顔画像とマッチングして、ユーザプロファイルの登録有無を判別する（Ｓ３０１）。ユーザプロファイルが存在しない場合（Ｓ３０２のＮＯ）、管理装置３００は、新規ユーザであるとして、ユーザの顔画像から性別、年齢層を算出し（Ｓ３０３）、プロファイルを新規登録する（Ｓ３０４）。
【００６０】
既にユーザプロファイルが存在するとき（Ｓ３０２のＹＥＳ）及びユーザプロファイルが新規に登録されたとき、管理装置３００は、ユーザプロファイルに基づいてコンテンツを抽出する（Ｓ３１１）。
【００６１】
次に、ステップＳ３０５において上述したユーザの棚前心理を特定し、特定された棚前心理に対応するコンテンツを抽出する（Ｓ３０６）。棚前心理が特定された後に又は棚前心理の特定と共に棚前行動が検知されたとき（Ｓ３０７のＹＥＳ）、ユーザの棚前行動を特定する（Ｓ３０８）。その後、特定された棚前心理及び棚前行動に基づくユーザの購買意欲を判別し（Ｓ３０９）、判別された購買意欲に基づくコンテンツを抽出する（Ｓ３１０）。このとき、上述したように、ステップＳ３０８において特定された棚前行動のみに関連するコンテンツを抽出することもできる。
【００６２】
管理装置３００は、ユーザプロファイル、棚前心理、棚前行動、及び購買意欲に関連して抽出された各コンテンツの配信制御を行う（Ｓ３１２）。例えば、抽出されたコンテンツを単一で、又は複数のディスプレイに表示させるための配信処理を行う。
【００６３】
具体的には、モニタユニット１２０Ｂの各小型ディスプレイ装置に、各コンテンツを個別に表示したり、図６で説明したように、時系列にユーザプロファイル、棚前心理、棚前行動、及び購買意欲の順に、各コンテンツを切り替えて表示したりすることができる。また、ディスプレイ装置１２０Ａとモニタユニット１２０Ｂのそれぞれに、異なるコンテンツを表示することもでき、さらには、モニタユニット１２０Ｂを構成する複数の小型ディスプレイ装置Ｍ１〜Ｍ８それぞれに、異なるコンテンツを表示したり、複数の小型ディスプレイ装置Ｍ１〜Ｍ８を１つの表示部として、コンテンツを各小型ディスプレイ装置Ｍ１〜Ｍ８に区画して表示したりすることもできる。
【００６４】
また、モニタユニット１２０Ｂは、複数の小型ディスプレイ装置が横並びに配置されているので、各小型ディスプレイ装置に物語性のある複数のコンテンツを表示したりすることもできる。
【００６５】
商品陳列棚システム１００は、管理装置３００から受信したコンテンツを出力ユニット１２０に表示したり、スピーカ１２０Ｃから音楽、音声、効果音などの音を出力させたり、香発生装置１２０Ｄから香りを出力させたりする制御を行う（Ｓ１０３）。これらの表示及び出力制御の制御情報は、管理装置３００から配信されるコンテンツと共に又は単独で受信することができる。
【００６６】
管理装置３００は、ステップＳ３１２における配信処理後、商品陳列棚システム１００から受信するセンシング情報に基づいて、商品陳列棚前のユーザが所定の棚前エリアから離脱しているか否かを判別し（Ｓ３１３）、離脱していない場合、ステップＳ３０５に戻り、リアルタイムで変化するセンシング情報に基づいて、棚前心理、棚前行動及び購買意欲に基づくコンテンツ抽出及び配信処理を繰り返し行う。なお、モーションセンサ１１０Ｂを人感センサとして用いているが、これに限らず別途の赤外線センサ等の人感センサを備えるように構成してもよい。
【００６７】
一方、商品陳列棚前のユーザが所定の棚前エリアから離脱していると判別された場合、ステップＳ３０１で特定されたユーザのユーザプロファイルを更新する。例えば、ステップＳ３０５で特定された棚前心理、ステップＳ３０８で特定された棚前行動をユーザプロファイルに登録する（Ｓ３１４）。また、販売管理システムから取得された商品購入情報に基づいて、ユーザプロファイルの購買履歴に購入した商品を登録する（Ｓ３１５）。そして、ユーザプロファイルの登録・更新後に、センシング情報に基づいて棚前エリアでユーザ（消費者）が検出されるまで待機する（Ｓ３１６）。なお、棚前エリアは、上述したように、棚前にユーザがいることが検知可能な範囲である。
【００６８】
また、ステップＳ３１４，Ｓ３１５におけるユーザプロファイルの更新処理では、実際に商品陳列棚システム１００に配信されたコンテンツや出力制御情報（コンテンツ配信結果）を、ユーザプロファイルに関連付けて記憶装置３３０に記憶することができる。この処理は、コンテンツ制御部３２２が行うことができる。
【００６９】
次に、図４に戻り、本実施形態の機械学習機能について説明する。学習制御部３２３は、記憶装置３３０に蓄積されたユーザプロファイルの購買履歴及びコンテンツ配信結果を用いて、商品の購買に繋がったコンテンツパターンや商品の購買に繋がったユーザ行動パターンなどを抽出することができる。
【００７０】
例えば、商品Ａを見ていたユーザに対して配信したコンテンツＡと、商品Ａの購買数を比較し、購買数が所定数以上である場合に、コンテンツＡは購買促進に効果があると判別することができる。一方、購買数が所定数未満である場合、コンテンツＡは購買促進に効果がないと判別することができる。
【００７１】
また、表情や視線、商品手に取り情報、性別、年齢層、滞在時間と組み合わせて、各コンテンツの効果を細かく分析し、学習制御部３２３は、ユーザプロファイル、棚前心理、棚前行動、及び購買意欲に関連して抽出される各コンテンツの組み合わせを変更するなどの機械学習を行うことができる。また、購買意欲分析結果を更新・削除したり、新たな購買分析結果を生成して追加したりすることができる。
【００７２】
図１０から図１４は、本実施形態の購買支援システムを適用した購買支援方法の一例を示す図である。図１０は、購買支援システムを「化粧品売り場」に適用した際の購買支援方法の一例を示す図である。
【００７３】
図１０の例では、カメラ１１０Ａで撮影されたユーザの顔画像に、ユーザが手に取った化粧品の質感を重畳させて、ユーザが使用した時の状況を表示したり（ＡＲ技術）、テスター（香発生装置１２０Ｄ）で手に取った商品の香りを出力したりしている。また、ユーザプロファイルに基づいてユーザがリピーターである場合、来店回数に応じた割引情報を出力したりすることもできる。
【００７４】
図１１は、購買支援システムを「ゲームコーナー」に適用した際の購買支援方法の一例を示す図である。図１１の例では、特定される性別や年齢層に基づいて、適切な人気ゲームランキングを表示したり、ユーザが見ているゲーム（商品）の模擬プレイ映像を表示したり、関連グッズを表示したりしている。また、音声出力としては、ゲームキャラクタの音声を出力したりすることもできる。
【００７５】
図１２は、購買支援システムを「お弁当コーナー」に適用した際の購買支援方法の一例を示す図である。図１２の例では、見ているお弁当の栄養やカロリーを表示したり、棚を見渡している場合に各お弁当の調理工程をモニタユニット１２０Ｂの各小型ディスプレイ装置に順次表示したり、動画をディスプレイ装置１２０Ａに表示したりしている。
【００７６】
図１３は、購買支援システムを「洋服コーナー」に適用した際の購買支援方法の一例を示す図である。図１３の例では、特定される性別や年齢層に適切なアクセサリーや洋服情報を表示したり、ユーザプロファイルの購入履歴に基づいてコーディネイト情報などを表示したりしている。また、見ている洋服の色違いの洋服やサイズ情報を表示したり、カメラ１１０Ａで撮影されたユーザの全身画像に、ユーザが手に取った洋服やアクセサリーの画像を重畳させて、ユーザが着用した時の状況を表示したり（ＡＲ技術）することができる。
【００７７】
図１４は、購買支援システムを「お肉コーナー」に適用した際の購買支援方法の一例を示す図である。図１４の例では、焼き肉の香りを香発生装置１２０Ｄから出力したり、お肉を焼いている音をスピーカ１２０Ｃから出力したり、見ているお肉や手に取ったお肉の栄養情報、カロリー、料理レシピを表示したりしている。
【００７８】
そして、図１０から図１４に例示した各購買支援方法においても、商品陳列棚システム１００の棚前ユーザアクションに基づいて、単に広告やお得情報を表示するだけではなく、ユーザの棚前心理及び棚前行動を把握して、ユーザの購買意欲に適したきめ細やかなコンテンツ配信及び表示制御を行うことができる。
【００７９】
以上、実施形態について説明したが、商品陳列棚システム１００のコントロールユニット１３０は、無線又は有線でセンシングユニット１１０及び出力ユニット１２０と接続して、商品陳列棚に対して物理的に外部に設けることも可能である。
【００８０】
また、管理装置３００が、ネットワークを介して商品陳列棚システム１００にコンテンツを配信しているが、これに限らず、例えば、所定のタイミングで管理装置３００から商品陳列棚システム１００にコンテンツデータを一括して配信し、コントロールユニット１３０側にコンテンツを予め記憶しておくことができる。この場合、管理装置３００は、コンテンツデータ（画像、映像、文字情報等の実データ）は送信せずに、各コンテンツの出力制御情報を生成・抽出して商品陳列棚システム１００に送信することができる。コントロールユニット１３０は、受信した出力制御情報に基づいて記憶装置１３３に予め記憶されたコンテンツを抽出して出力ユニット１２０の出力制御を行うことができる。
【００８１】
また、管理装置３００は、ハードウェア構成として上述以外にも、液晶ディスプレイなどの表示装置、装置全体（各部）の制御を司るＣＰＵ、メモリ（主記憶装置）、マウス、キーボード、タッチパネル、スキャナー等の操作入力手段、プリンタ、スピーカなどの出力手段、補助記憶装置（ハードディスク等）等を備えることができる。
【００８２】
また、本発明の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、コンピュータ装置に本発明の各部の機能を動作させることができる。他方、本発明の各機能は、各々個別の制御装置で構成することができ、複数の制御装置を直接に又はネットワークを介して接続して構成することもできる。
【００８３】
また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク、ＤＶＤ−ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。
【符号の説明】
【００８４】
１：棚本体部
２Ａ，２Ｂ，２Ｃ：商品陳列部
１００：商品陳列棚システム
１１０：センシングユニット
１１０Ａ：カメラ
１１０Ｂ：モーションセンサ
１１０Ｃ：静電容量センサ
１２０：出力ユニット
１２０Ａ：ディスプレイ装置
１２０Ｂ：モニタユニット
１２０Ｃ：スピーカ
１２０Ｄ：香発生装置
１３０：コントロールユニット
１３１：制御装置
１３１Ａ：センサ制御部
１３１Ｂ：出力制御部
１３２：通信装置
１３３：記憶装置
３００：管理装置
３１０：通信装置
３２０：制御装置
３２１：分析制御部
３２２：コンテンツ制御部
３２３：学習制御部
３３０：記憶装置
【図１】
2018045454.tif 000003
【図２】
2018045454.tif 000004
【図３】
2018045454.tif 000005
【図４】
2018045454.tif 000006
【図５】
2018045454.tif 000007
【図６】
2018045454.tif 000008
【図７】
2018045454.tif 000009
【図８】
2018045454.tif 000010
【図９】
2018045454.tif 000011
【図１０】
2018045454.tif 000012
【図１１】
2018045454.tif 000013
【図１２】
2018045454.tif 000014
【図１３】
2018045454.tif 000015
【図１４】
2018045454.tif 000016