(57)【要約】販売促進システム（１０）は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部（１１）と、入力画像情報に基づいて、商品に対する顧客の動作をトラッキングするトラッキング部（１２）と、トラッキングした顧客の動作に対応した商品に関連するプロモーション情報を、顧客へ出力するプロモーション情報出力部（１３）と、を備えるものである。これにより、より効果的なプロモーションを行うことを可能にする。
2015033575.tif 000002
【特許請求の範囲】
【請求項１】
商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得手段と、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
を備える販売促進システム。
【請求項２】
前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
請求項１に記載の販売促進システム。
【請求項３】
前記トラッキング手段は、前記顧客が前記商品を把持した動作を検出する、
請求項１または２に記載の販売促進システム。
【請求項４】
前記トラッキング手段は、前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出する、
請求項３に記載の販売促進システム。
【請求項５】
前記トラッキング手段は、前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
請求項４に記載の販売促進システム。
【請求項６】
前記トラッキング手段は、前記顧客が前記商品を見た動作を検出する、
請求項１または２に記載の販売促進システム。
【請求項７】
前記トラッキング手段は、前記顧客の視線をトラッキングし、前記顧客の視線が前記商品へ向いている場合、前記顧客が前記商品を見ていると判断する、
請求項６に記載の販売促進システム。
【請求項８】
前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品との併買を前記顧客に勧めるための併買情報を出力する、
請求項１乃至７のいずれか一項に記載の販売促進システム。
【請求項９】
前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品の購買決定を顧客に促すためのプッシュ情報を出力する、
請求項１乃至８のいずれか一項に記載の販売促進システム。
【請求項１０】
前記プロモーション情報出力手段は、前記トラッキングした顧客の動作に対応した商品が複数存在する場合、前記プロモーション情報として、前記複数の商品を比較する比較情報を出力する、
請求項１乃至９のいずれか一項に記載の販売促進システム。
【請求項１１】
前記顧客を認識する顧客認識手段を備え、
前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記認識した顧客に関連する情報を出力する、
請求項１乃至１０のいずれか一項に記載の販売促進システム。
【請求項１２】
前記顧客の動線を解析する動線解析手段を備え、
前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記解析した顧客の動線に関連する情報を出力する、
請求項１乃至１１のいずれか一項に記載の販売促進システム。
【請求項１３】
前記プロモーション情報出力手段は、前記商品を配置した棚上の表示装置に前記プロモーション情報を表示する、
請求項１乃至１２のいずれか一項に記載の販売促進システム。
【請求項１４】
前記プロモーション情報出力手段は、プロジェクタ装置により、前記商品を配置した棚周辺に前記プロモーション情報を表示する、
請求項１乃至１２のいずれか一項に記載の販売促進システム。
【請求項１５】
前記プロモーション情報出力手段は、前記顧客が使用するショッピングカートまたはショッピングバスケットに配置された表示装置に前記プロモーション情報を表示する、
請求項１乃至１２のいずれか一項に記載の販売促進システム。
【請求項１６】
商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、
販売促進方法。
【請求項１７】
商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、
販売促進処理をコンピュータに実行させるための販売促進プログラムが格納された非一時的なコンピュータ可読媒体。
【請求項１８】
商品を顧客に提示するために配置する棚と、
前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得手段と、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
を備える棚システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関し、特に、商品及び顧客の画像を用いた販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムに関する。
【背景技術】
【０００２】
多くの商品が陳列された店舗などでは、販売促進のため様々なプロモーションが行われている。例えば、売り場に置いたパンフレットなどで商品の情報を顧客へ提供したり、店員が顧客の反応を見ながら値引きの打診等を行っている。【０００３】
関連する技術として、例えば、特許文献１〜５が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０５４５３９号公報
【特許文献２】特開２０１２−０３８０３５号公報
【特許文献３】特開２００９−０４８４３０号公報
【特許文献４】特開２００９−００３７０１号公報
【特許文献５】特開２００６−１８４３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば特許文献１などの関連する技術では、電子棚札端末の赤外線センサに顧客の顔や手が近接すると、電子棚札端末の表示画面の表示内容を変更している。【０００６】
しかしながら、関連する技術では、赤外線センサ等により顧客の接近を単純に検出している程度であるため、顧客が商品に興味を持ったという事象を検知することはできない。このため、定常的なポスターやパンフレット、サンプルなどを置くなどの情報提供にとどまることが多い。また、関連する技術では、顧客が商品を買うかどうか迷った瞬間にタイムリーなプロモーションを実行することができず、店員並みの客の動作に応じた情報提供や値引き打診を行うことができない。【０００７】
したがって、関連する技術では、顧客の商品に対する動作に応じて効果的なプロモーションを行うことが困難であるという問題があった。【０００８】
本発明は、このような問題に鑑み、より効果的なプロモーションを行うことが可能な販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る販売促進システムは、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング部と、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力部と、を備えるものである。【００１０】
本発明に係る販売促進方法は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するものである。【００１１】
本発明に係る販売促進プログラムが格納された非一時的なコンピュータ可読媒体は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、販売促進処理をコンピュータに実行させるためのものである。【００１２】
本発明に係る棚システムは、商品を顧客に提示するために配置する棚と、前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング部と、前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力部と、を備えるものである。
【発明の効果】
【００１３】
本発明によれば、より効果的なプロモーションを行うことが可能な販売促進システム、販売促進方法、販売促進プログラムが格納された非一時的なコンピュータ可読媒体及び棚システムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態に係る販売促進システムの主要な構成を示す構成図である。
【図２】実施の形態１に係る販売促進システムの構成を示す構成図である。
【図３Ａ】実施の形態１に係る３Ｄカメラ及び情報提示装置の構成例を示す図である。
【図３Ｂ】実施の形態１に係る３Ｄカメラ及び情報提示装置の構成例を示す図である。
【図４】実施の形態１に係る距離画像解析部の構成を示す構成図である。
【図５】実施の形態１に係る販売促進システムの動作を示すフローチャートである。
【図６】実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。
【図７】実施の形態１に係る情報提示処理の動作を示すフローチャートである。
【図８】実施の形態２に係る棚システムの構成を示す構成図である。
【図９】実施の形態２に係る棚システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
（実施の形態の概要）
実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係る販売促進システムの主要な構成を示している。
【００１６】
図１に示すように、実施の形態に係る販売促進システム１０は、画像情報取得部１１と、トラッキング部１２と、プロモーション情報出力部１３とを備えている。画像情報取得部１１は、商品を顧客に提示する提示領域を撮像した入力画像情報を取得する。トラッキング部１２は、取得した入力画像情報に基づいて、商品に対する顧客の動作をトラッキング（追跡）する。プロモーション情報出力部１３は、トラッキングした顧客の動作に対応した商品に関連するプロモーション情報を、顧客へ出力する。
【００１７】
このように、実施の形態では、商品に対する顧客の動作をトラッキングし、トラッキングした顧客の動作に基づいてプロモーション情報を顧客へ出力する。例えば、顧客の動作として、顧客の手（手元）や視線などをトラッキングすることにより、顧客が商品に興味を持ったことなどを検出できるため、顧客の興味に応じて効果的なプロモーションを行うことができる。
【００１８】
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係る販売促進システムの構成を示している。この販売促進システムは、店舗等において、顧客の商品に対する動作を検出し、検出した動作に応じて適切なプロモーションを行うシステムである。なお、顧客とは、実際に商品を購入する前（購入決断前）の人物（ショッパー）を含み、例えば、店舗に来店（入店）した任意の人物を含む。
【００１９】
図２に示すように、本実施の形態に係る販売促進システム１は、販売促進装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０、情報提示装置２４０を備えている。例えば、販売促進システム１の各構成は同一の店舗に設けられているが、販売促進装置１００を店舗の外部に設けてもよい。なお、ここでは、販売促進システム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
【００２０】
３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
【００２１】
図３Ａ及び図３Ｂのように、本実施の形態では、３Ｄカメラ２１０は、顧客の商品に対する行動を検出するために、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、さらに、商品棚３００の前で商品３０１を購入しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。例えば、商品３００は実物の商品であるが、実物に限らず、サンプル品や、ラベルなどを印刷した印刷物などでもよい。
【００２２】
なお、商品棚３００及び顧客４００を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
【００２３】
顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店舗における顧客の動線を検出するために、店内の複数の位置に配置され、店内の各売り場を撮像し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や顧客の移動経路を精度よく認識できる。
【００２４】
情報提示装置２４０は、販売促進装置１００が生成したプロモーション情報を顧客へ提示（出力）する装置である。顧客へ提示（出力）する方法は任意の方法でよく、例えば、表示装置による文字や画像等の表示や、スピーカ等による音声出力でもよい。情報提示装置２４０は、顧客４００が視認可能（聞き取り可能）な位置に設置される。
【００２５】
図３Ａのように、情報提示装置２４０をタブレット端末や電子ペーパ（据え付けＰＯＰデバイスんど）で構成して、棚上に設置してもよい。また、図３Ｂのように、情報提示装置２４０をプロジェクタで構成して、棚周辺に設置し、棚に表示するようにしてもよい。顧客に効果的に提示するために、視線の先や商品のすぐ横など、顧客から視認しやすい場所に設置（表示）することが好ましい。さらに、顧客が使用している店内カート（ショッピングカート）やショッピングバスケット（カゴ）に配置してもよい。
【００２６】
図２に示すように、販売促進装置１００は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０、提示情報生成部１４０、商品情報ＤＢ（データベース）１５０、顧客情報ＤＢ１６０を備えている。なお、ここでは、これらの各ブロックを販売促進装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
【００２７】
販売促進装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。例えば、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を外部のネットワーク（クラウド）に接続された記憶装置としてもよい。販売促進装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態における販売促進方法（販売促進処理）を行うための販売促進プログラムを格納し、各機能を、記憶装置に格納された販売促進プログラムをＣＰＵで実行することにより実現してもよい。
【００２８】
この販売促進プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２９】
距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキングし、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客の手元、顧客の視線、顧客が手に取った商品をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる商品を認識するため商品情報ＤＢ１５０を参照する。なお、ここでは、距離画像解析部１１０において、顧客の動作を検出するが、その他、距離画像に基づいて顧客の表情（喜び、驚きなど）や心拍などを検出し、表情や心拍などに応じてプロモーション情報を提示するようにしてもよい。また、３Ｄカメラにマイクを備えておき、音声認識部により、マイクに入力された顧客の音声を認識してもよい。例えば、認識した音声に基づいて、顧客の会話の特徴（声の強弱、高低、テンポなど）を検出し、会話の特徴に応じてプロモーション情報を提示するようにしてもよい。
【００３０】
顧客認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、顧客情報ＤＢ１６０を参照することで、取得した顔画像に含まれる顧客を認識する。動線解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の移動履歴を解析し、顧客の動線（移動経路）を検出する。
【００３１】
提示情報生成部１４０は、距離画像解析部１１０、顧客認識部１２０、動線解析部１３０の検出結果に基づいて、顧客へ提示するプロモーション情報を生成し、生成したプロモーション情報を情報提示装置２４０へ出力する。プロモーション情報は、商品の販売（購入）を促進するための情報であり、顧客に商品購入の決断を推奨する情報である。提示情報生成部１４０は、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を参照し、プロモーション情報として、距離画像解析部１１０により顧客が接触したことを検出した商品に関連する情報や、顧客認識部１２０が認識した顧客に関連する商品の情報、動線解析部１３０が解析した顧客の動線に関連する商品の情報を生成する。
【００３２】
なお、本実施の形態では、動作に応じたプロモーション情報を生成し情報提示装置に出力（表示）する例について説明するが、生成したプロモーション情報をその他の装置やシステムに出力し、さらにプロモーション情報を利用してもよい。例えば、プロモーション情報を顧客情報ＤＢやその他のデータベースに対して、顧客のＷｉｓｈＬｉｓｔ（ほしい物リスト）として格納し、顧客に対してネットワークを介してプロモーション情報を提供するようにしてもよい。
【００３３】
商品情報ＤＢ（商品情報記憶部）１５０は、店舗に配置された商品に関連する商品関連情報を記憶する。商品情報ＤＢ１５０は、商品関連情報として、商品識別情報１５１、特性併買（併売）情報１５２、プッシュ情報１５３、比較情報１５４などを記憶する。
【００３４】
商品識別情報１５１は、商品を識別するための情報（商品マスタ）であり、例えば、商品コード、商品名、商品の種類、商品ラベルのイメージ情報（画像）などを含む。特性併買情報１５２は、商品の特性を示す特性情報や、商品との併買を顧客に勧めるための情報（推奨情報、お勧め情報）であり、例えば、商品の材料や原産地、当該商品と組み合わせて食する食品、当該商品を食材として使うレシピ、コーディネートされた商品などを含む。
【００３５】
プッシュ情報１５３は、商品の購買決定を顧客に促すための情報であり、例えば、割引クーポンなどの割引情報を含む。比較情報１５４は、他の商品との比較を示す情報であり、例えば、商品の特性や価格などを比較した情報を含む。
【００３６】
顧客情報ＤＢ（顧客情報記憶部）１６０は、来店した顧客に関連する顧客関連情報を記憶する。顧客情報ＤＢ１６０は、顧客関連情報として、顧客識別情報１６１、属性情報１６２、嗜好情報１６３、履歴情報１６４などを記憶する。
【００３７】
顧客識別情報１６１は、顧客を識別するための情報であり、例えば、顧客の会員ＩＤ、氏名、住所、生年月日、顔のイメージ情報（画像）などを含む。属性情報１６２は、顧客の属性を示す情報であり、例えば、年齢、性別、職業などを含む。
【００３８】
嗜好情報１６３は、顧客の嗜好を示す情報であり、例えば、趣味、好きな食べ物、色、音楽、映画などを含む。履歴情報１６４は、顧客の履歴に関する情報であり、例えば、商品を購入した購入履歴、来店した来店履歴、店舗内の移動履歴、商品を手に取った／商品を見たなどの接触履歴（アクセス履歴）などを含む。
【００３９】
図４は、販売促進装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４、視線トラッキング部１１５、視線動作認識部１１６、商品トラッキング部１１７、商品認識部１１８を備えている。
【００４０】
距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客及び商品を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客の各部の領域や商品の領域を検出する。
【００４１】
手元トラッキング部１１３は、領域検出部１１２が検出した顧客の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、商品に対する顧客の動作を認識する。手元動作認識部１１４は、例えば、商品を把持した状態で手のひらを顔の方向に向けた場合、顧客が当該商品を手に取って見たと判断する。商品を把持した状態において、商品によって手が隠れていてカメラに撮像されない場合には、把持されている商品の位置・方向やその変化を検知することで、客が当該商品を手に取って見たと判断してもよい。
【００４２】
視線トラッキング部１１５は、領域検出部１１２が検出した顧客の視線（目）の動作をトラッキングする。視線動作認識部１１６は、視線トラッキング部１１５が検出した視線（目）の動作に基づいて、商品に対する顧客の動作を認識する。視線動作認識部１１６は、視線の方向に商品が配置されている場合、顧客が当該商品を見たと判断する。
【００４３】
商品トラッキング部１１７は、領域検出部１１２が検出した商品の動作（状態）をトラッキングする。商品トラッキング部１１７は、手元動作認識部１１４で顧客が手に取ったと判断した商品や、視線動作認識部１１６で顧客が見たと判断した商品をトラッキングする。商品認識部１１８は、商品トラッキング部１１７がトラッキングした商品について、商品情報ＤＢ１５０を参照し、どの商品に該当するか識別する。商品認識部１１８は、検出した商品のラベルと、商品情報ＤＢ１５０に記憶された商品識別情報１５１のラベルのイメージ情報とを比較し、マッチング（一致）を行うことで、商品を認識する。また、商品認識部１１８は、棚の配置位置と商品との関係を商品情報ＤＢ１５０に記憶しておき、顧客が手に取った商品、または、顧客が見た商品の棚の位置に基づいて商品を識別する。
【００４４】
次に、図５を用いて、本実施の形態に係る販売促進システム（販売促進装置）で実行される販売促進方法（販売促進処理）について説明する。
【００４５】
図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、販売促進装置１００が、顔画像に基づいて顧客属性や顧客ＩＤを認識する（Ｓ１０２）。すなわち、販売促進装置１００の顧客認識部１２０は、顧客情報ＤＢ１６０に記憶された顧客識別情報１６１の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する顧客を検索することで、顧客を認識し、顧客識別情報１６１から認識した顧客の顧客属性や顧客ＩＤを取得する。
【００４６】
続いて、顧客が棚に配置された商品を手に取る（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、販売促進装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きと商品種別を認識する（Ｓ１０４）。すなわち、販売促進装置１００の距離画像解析部１１０は、顧客の手元（視線）及び商品を撮像した距離画像をトラッキングし、顧客が商品を手に取って見た（顧客が商品を見た）動作を検出するとともに、商品情報ＤＢ１５０を参照してマッチング（一致）する商品を検出し、顧客が手に取って見た商品（顧客が見た商品）を認識する。
【００４７】
続いて、販売促進装置１００は、Ｓ１０４で認識した商品の情報や割引などのプロモーション情報（関連情報）を情報提示装置２４０に提示する（Ｓ１０５）。そうすると、顧客は情報提示装置２４０に提示された提示情報（提供情報）を読むことで、手に取った商品（見た商品）の購買を決断する（Ｓ１０６）。すなわち、販売促進装置１００の提示情報生成部１４０は、商品情報ＤＢ１５０、顧客情報ＤＢ１６０を参照し、認識した商品に関連するプロモーション情報を提示する。また、提示情報生成部１４０は、プロモーション情報として、Ｓ１０２で認識した顧客に関連する商品の情報を提示し、さらに、後述のＳ１０８で解析した顧客の動線に関連する商品の情報も提示する。
【００４８】
続いて、顧客が他の売り場へ移動する（Ｓ１０７）。そうすると、店内カメラ２３０が顧客の売り場間の移動を撮像し、販売促進装置１００が、他の売り場での購買行動を把握する（Ｓ１０８）。すなわち、販売促進装置１００の動線解析部１３０は、複数の売り場の画像に基づいて、顧客の移動履歴を解析し、顧客の導線を検出することで、顧客の購買行動を把握する。その後、Ｓ１０３以降が繰り返され、顧客が移動先の売り場で商品を手に取ると、顧客の動線（購買行動）に基づいた商品に関連する情報が顧客に提示される。
【００４９】
図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作、視線の動作、商品を認識してもよい。
【００５０】
図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客及び商品を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる人物及び棚を検出し（Ｓ２０２）、さらに人物及び棚の各領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）や顔（目）などの各部の領域を検出する。また、領域検出部１１２は、識別器を用いて、距離画像に含まれる画像及び距離に基づき、棚及び棚の各段を検出し、さらに各棚上の商品の配置領域を検出する。
【００５１】
続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づき、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
【００５２】
続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて商品に対する顧客の手元の動作、すなわち、商品を把持している動作、商品を見ている動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、手のひらの法線方向が顔に向かっている場合、顧客が商品を見ていることを検出する。また、商品を握っている状態や商品を手に取って見ている状態を予め学習しておき、学習した特徴量と比較することで、手元の動作を識別してもよい。
【００５３】
Ｓ２０３に続いて、視線トラッキング部１１５は、Ｓ２０３で検出した顧客の視線の動作をトラッキングする（Ｓ２０７）。視線トラッキング部１１５は、距離画像に含まれる画像及び距離に基づいて、顧客の顔周辺の骨格をトラッキングし、顔、目、瞳孔の動作を検出する。
【００５４】
続いて、視線動作認識部１１６は、Ｓ２０７でトラッキングした視線の動作に基づいて、視線の動作の特徴を抽出し（Ｓ２０８）、抽出した特徴に基づいて商品に対する顧客の視線の動作、すなわち、顧客が商品を見ている動作を認識する（Ｓ２０９）。視線動作認識部１１６は、顔、目、瞳孔の向き、角度、移動量の変化を特徴量として抽出する。例えば、視線動作認識部１１６は、顔、目、瞳孔の動きから視線の方向を検出し、視線の方向が商品に向いているか否かを検出する。また、商品を見ている状態を予め学習しておき、学習した特徴量と比較することで、視線の動作を識別してもよい。
【００５５】
Ｓ２０３に続いて、商品トラッキング部１１７は、Ｓ２０３で検出した商品の動作（状態）をトラッキングする（Ｓ２１０）。また、商品トラッキング部１１７は、Ｓ２０６で顧客が手に取ったと判断した商品や、Ｓ２０９で顧客が見たと判断した商品をトラッキングする。商品トラッキング部１１７は、距離画像に含まれる画像及び距離に基づいて、商品のラベルの向き、位置などを検出する。
【００５６】
続いて、商品認識部１１８は、Ｓ２１０でトラッキングした商品について、商品の特徴を抽出し（Ｓ２１１）、抽出した特徴に基づき、商品情報ＤＢ１５０から該当する商品を認識する（Ｓ２１２）。商品認識部１１８は、商品のラベルの文字や画像を特徴量として抽出する。例えば、商品認識部１１８は、抽出したラベルの特徴量と、商品情報ＤＢ１５０のラベルの特徴量とを比較し、特徴量が一致する商品を検索することで商品を識別する。また、棚の配置位置と商品との関係を商品情報ＤＢ１５０に記憶している場合には、距離画像に含まれる画像及び距離に基づいて、顧客が手に取った、または、顧客が見た商品の棚の位置を取得し、棚の位置を商品情報ＤＢ１５０から検索することで、該当する商品を検出する。
【００５７】
図７は、図５のＳ１０４、Ｓ１０５において実行される情報提示処理の詳細を示している。
【００５８】
図７に示すように、まず、距離画像解析部１１０において、顧客が商品を手に取って見たか否か、または、顧客が商品を見たか否か判断する（Ｓ３０１）。例えば、手のひらが顔の方を向いた、箱／瓶などを持って見た、一定時間見続けている、２つの商品を両手に取って見た、等の動作を判断する。顧客が該当する動作を行った場合、動作に応じたプロモーション情報を表示するため、以下の処理を行う。
【００５９】
すなわち、提示情報生成部１４０は、顧客情報を取得し（Ｓ３０２）、動線情報を取得する（Ｓ３０３）。提示情報生成部１４０は、顔認識カメラ２２０の顔画像による顧客認識結果に基づいた情報を顧客へ提供するため、顧客認識部１２０から顧客情報を取得する。また、提示情報生成部１４０は、店内カメラ２３０の店内画像による動線解析結果に基づいた情報を顧客へ提供するため、動線解析部１３０から動線情報を取得する。なお、顧客を認識する前や、顧客が移動する前、各情報が不要な場合においては、顧客情報の取得や動線情報の取得は省略してもよい。
【００６０】
続いて、提示情報生成部１４０は、Ｓ３０４〜Ｓ３０６によりプロモーション情報（商品関連情報）を生成し顧客へ提示する。なお、Ｓ３０４〜Ｓ３０６は、提示する情報の一例であり、その他のプロモーション情報を提示してもよい。Ｓ３０４〜Ｓ３０６の提示は、まとめて一度に提示してもよいし、任意の順番に提示してもよい。また、Ｓ３０４〜Ｓ３０６のうち任意に選択された情報を提示してもよいし、その他の別の情報とともに提示してもよい。
【００６１】
Ｓ３０４では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連する特性併買情報１５２を取得し、取得した特性併買情報１５２を提示情報として生成し、情報提示装置２４０へ出力する。
【００６２】
例えば、提示情報生成部１４０は、顧客が手に取って見た商品の産地や原材料、顧客が手に取って見た商品と組み合わせて食する食品（ワインを手に取った場合にワインに合うチーズなど）、産地や原材料が類似する食品、当該商品を食材として使うレシピ（チーズを手に取った場合にピザなど）、このレシピに含まれる食材や調理器具（ピザに関する生地やトッピング、オーブンレンジなど）、コーディネートされた商品（洋服や靴、ベルト、バッグなど）などの情報を生成する。また、関連する商品について、店内での買い方のルート指示や誘導するような情報を提示してもよい。
【００６３】
また、特性併買情報１５２のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。例えば、認識した顧客の性別、年齢など属性や、あるいは会員顧客ＩＤにより提供情報を適応化し、また、動線解析による他の売り場での購買・興味の知見により提供情報を適応化する。例えば、属性、嗜好、履歴などに基づいて、ダイエットやアレルギー情報、健康に関する情報を提示してもよい。例えば、店内に複数のサイネージ（電子看板）が設置されている場合、認識した動線に沿って複数のサイネージにプロモーション情報を連動して提示してもよい。
【００６４】
Ｓ３０５では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連するプッシュ情報１５３を取得し、取得したプッシュ情報１５３を提示情報として生成し、情報提示装置２４０へ出力する。特に、顧客が商品を一定時間見続けている場合、購入を迷っていると推測されるため、プッシュ情報（後押し情報）を提示することが好ましい。
【００６５】
例えば、提示情報生成部１４０は、顧客が手に取って見た商品について、「２つ目は５割引き」などの割引提案、割引クーポン、口コミ情報、ランキング情報などを生成する。割引クーポンの情報を表示し、スマートフォンと連動することでクーポンを使用可能としてもよい。ショッピングカートの読み取り装置などにより、商品のバーコードを読み取らせて、現在の買い上げ額の小計を表示し、さらに割引きを反映した金額を表示するようにしてもよい。
【００６６】
また、Ｓ３０４と同様に、プッシュ情報１５３のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。
【００６７】
Ｓ３０６では、提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、顧客が手に取って見た／顧客が見た対象商品に関連する比較情報１５４を取得し、取得した比較情報１５４を提示情報として生成し、情報提示装置２４０へ出力する。
【００６８】
例えば、提示情報生成部１４０は、顧客が２つの商品を手に取って見た場合、これらの２つの商品の特性、機能、価格、割引、ランキングを比較した情報を生成する。特に２つの商品のうち購入を勧めたい商品がある場合は、Ｓ３０５と同様に割引情報などのプッシュ情報を提示する。顧客が商品ラベルの賞味期限の表示を見ていることが検出された場合、古い方（賞味期限が早く切れる方）の割引情報を表示してもよい。
【００６９】
また、Ｓ３０４と同様に、比較情報１５４のうち、Ｓ３０２で取得した顧客情報で絞り込んだ情報や、Ｓ３０３で取得した動線情報で絞り込んだ情報のように適応化した情報を提示情報とする。
【００７０】
このように、本実施の形態では、商品棚とその前の顧客（ショッパー）が見える位置に配置した３Ｄカメラにより顧客の手元の動きを観察し、どの商品を手に取ったかを認識する。そして、商品に隣接する情報提示装置（表示デバイス）上に、その商品に関する情報や割引提案、関連する推奨情報などのプロモーション情報を表示する。
【００７１】
したがって、３Ｄカメラにより手の動きが精密に把握でき、商品に触れた、手に取った、回してラベルを読んでいるなどの商品に対する動作を把握できるため、その動作に適応したプロモーション情報をタイムリー（リアルタイム）に表示することができる。すなわち、このような動作により顧客が商品に興味を持ったことを正確に検出できるため、商品に興味を持った顧客に対して、効果的にプロモーションを行うことができ、商品の購入を促進し売上に結びつけることができる。
【００７２】
例えば、２つの商品を両手に持って見比べていることを検知した場合に、両商品の比較情報や、売りたい方の商品のクーポン提示などを表示し、商品の購入を迷っている顧客に対して購入決断を後押し（プッシュ）することができる。
【００７３】
また、顔認識カメラを用いて認識した顧客の情報によってプロモーション情報を適応化したり、店内カメラを用いて解析した顧客の動線によってプロモーション情報を適応化することで、さらに効果的な情報を提示することができる。
【００７４】
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１を１つの棚システムに適用した例について説明する。図８は、本実施の形態に係る棚システムの構成を示している。
【００７５】
図８に示すように、本実施の形態に係る棚システム２は、商品棚３００を備えている。商品棚３００は、図３Ａ及び図３Ｂなどのように、商品３０１を配置する棚である。本実施の形態では、この商品棚３００に、実施の形態１で説明した、３Ｄカメラ２１０、情報提示装置（情報提示部）２４０、距離画像解析部１１０、提示情報生成部１４０、商品情報ＤＢ１５０を備えている。なお、必要に応じて顔認識カメラ２２０、顧客認識部１２０、顧客情報ＤＢ１６０を備えてもよい。
【００７６】
提示情報生成部１４０は、距離画像解析部１１０の検出結果に基づいて、顧客へ提示するプロモーション情報を生成し、生成したプロモーション情報を情報提示装置２４０へ出力する。提示情報生成部１４０は、商品情報ＤＢ１５０を参照し、プロモーション情報として、距離画像解析部１１０により顧客が接触したことを検出した商品に関連する情報を生成する。
【００７７】
図９は、本実施の形態に係る棚システム２の動作を示している。図９に示すように、実施の形態１と同様に、距離画像解析部１１０において、顧客が商品を手に取って見たか否か、または、顧客が商品を見たか否か判断する（Ｓ３０１）。
【００７８】
顧客が該当する動作を行った場合、提示情報生成部１４０は、Ｓ３０４〜Ｓ３０６によりプロモーション情報（商品関連情報）を生成し顧客へ提示する。なお、実施の形態１と比べて顧客情報、動線情報に基づいた情報の生成を行わないものの、その他については、実施の形態１と同様である。
【００７９】
すなわち、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連する特性併買情報１５２を取得し、組み合わせて食する食品などの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０４）。また、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連するプッシュ情報１５３を取得し、割引クーポンなどの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０５）。さらに、提示情報生成部１４０は、顧客が手に取って見た／顧客が見た対象商品に関連する比較情報１５４を取得し、両手に持った２つの商品の特性などを比較した情報などの提示情報を生成して情報提示装置２４０へ出力する（Ｓ３０６）。
【００８０】
このように、本実施の形態では、１つの商品棚において、実施の形態１における主要な構成を備えることとした。これにより、実施の形態１と同様に、顧客の商品に対する動作を正確に検出し、顧客の動作に応じたプロモーション情報をタイムリーに表示することができる。
【００８１】
さらに、本実施の形態は、１つの商品棚のみで実現可能であるため、棚以外の装置やシステムが不要である。したがって、ＰＯＳシステムやネットワークなど高度なシステムが無い店舗においても、簡易にシステムを導入することが可能である。
【００８２】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００８３】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８４】
この出願は、２０１３年９月６日に出願された日本出願特願２０１３−１８５１２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８５】
１      販売促進システム
２      棚システム
１０    販売促進システム
１１    画像情報取得部
１２    トラッキング部
１３    プロモーション情報出力部
１００  販売促進装置
１１０  距離画像解析部
１１１  距離画像取得部
１１２  領域検出部
１１３  手元トラッキング部
１１４  手元動作認識部
１１５  視線トラッキング部
１１６  視線動作認識部
１１７  商品トラッキング部
１１８  商品認識部
１２０  顧客認識部
１３０  動線解析部
１４０  提示情報生成部
１５０  商品情報ＤＢ
１５１  商品識別情報
１５２  特性併買情報
１５３  プッシュ情報
１５４  比較情報
１６０  顧客情報ＤＢ
１６１  顧客識別情報
１６２  属性情報
１６３  嗜好情報
１６４  履歴情報
２１０  ３Ｄカメラ
２２０  顔認識カメラ
２３０  店内カメラ
２４０  情報提示装置
３００  商品棚
３０１  商品
４００  顧客
【図１】
2015033575.tif 000003
【図２】
2015033575.tif 000004
【図３Ａ】
2015033575.tif 000005
【図３Ｂ】
2015033575.tif 000006
【図４】
2015033575.tif 000007
【図５】
2015033575.tif 000008
【図６】
2015033575.tif 000009
【図７】
2015033575.tif 000010
【図８】
2015033575.tif 000011
【図９】
2015033575.tif 000012
【手続補正書】
【提出日】平成28年2月29日(2016.2.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
商品を顧客に提示する提示領域を撮像した入力画像情報を取得する画像情報取得手段と、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
を備える販売促進システム。
【請求項２】
前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
請求項１に記載の販売促進システム。
【請求項３】
前記トラッキング手段は、前記顧客が前記商品を把持した動作を検出する、
請求項１または２に記載の販売促進システム。
【請求項４】
前記トラッキング手段は、前記顧客が前記商品を把持した状態で、当該商品を見た動作を検出する、
請求項３に記載の販売促進システム。
【請求項５】
前記トラッキング手段は、前記顧客の手のひらをトラッキングし、前記顧客の手のひらが前記顧客の顔を向いている場合、前記顧客が前記商品を手に取って見たと判断する、
請求項４に記載の販売促進システム。
【請求項６】
前記トラッキング手段は、前記顧客が前記商品を見た動作を検出する、
請求項１または２に記載の販売促進システム。
【請求項７】
前記トラッキング手段は、前記顧客の視線をトラッキングし、前記顧客の視線が前記商品へ向いている場合、前記顧客が前記商品を見ていると判断する、
請求項６に記載の販売促進システム。
【請求項８】
前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品との併買を前記顧客に勧めるための併買情報を出力する、
請求項１乃至７のいずれか一項に記載の販売促進システム。
【請求項９】
前記プロモーション情報出力手段は、前記プロモーション情報として、前記商品の購買決定を顧客に促すためのプッシュ情報を出力する、
請求項１乃至８のいずれか一項に記載の販売促進システム。
【請求項１０】
前記プロモーション情報出力手段は、前記トラッキングした顧客の動作に対応した商品が複数存在する場合、前記プロモーション情報として、前記複数の商品を比較する比較情報を出力する、
請求項１乃至９のいずれか一項に記載の販売促進システム。
【請求項１１】
前記顧客を認識する顧客認識手段を備え、
前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記認識した顧客に関連する情報を出力する、
請求項１乃至１０のいずれか一項に記載の販売促進システム。
【請求項１２】
前記顧客の動線を解析する動線解析手段を備え、
前記プロモーション情報出力手段は、前記プロモーション情報として、前記顧客の動作に対応した商品、及び、前記解析した顧客の動線に関連する情報を出力する、
請求項１乃至１１のいずれか一項に記載の販売促進システム。
【請求項１３】
前記プロモーション情報出力手段は、前記商品を配置した棚上の表示装置に前記プロモーション情報を表示する、
請求項１乃至１２のいずれか一項に記載の販売促進システム。
【請求項１４】
前記プロモーション情報出力手段は、プロジェクタ装置により、前記商品を配置した棚周辺に前記プロモーション情報を表示する、
請求項１乃至１２のいずれか一項に記載の販売促進システム。
【請求項１５】
前記プロモーション情報出力手段は、前記顧客が使用するショッピングカートまたはショッピングバスケットに配置された表示装置に前記プロモーション情報を表示する、
請求項１乃至１２のいずれか一項に記載の販売促進システム。
【請求項１６】
商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、
販売促進方法。
【請求項１７】
商品を顧客に提示する提示領域を撮像した入力画像情報を取得し、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングし、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力する、
販売促進処理をコンピュータに実行させるための販売促進プログラム。
【請求項１８】
商品を顧客に提示するために配置する棚と、
前記商品及び前記顧客を撮像した入力画像情報を取得する画像情報取得手段と、
前記入力画像情報に基づいて、前記商品に対する前記顧客の動作をトラッキングするトラッキング手段と、
前記トラッキングした顧客の動作に対応した前記商品に関連するプロモーション情報を、前記顧客へ出力するプロモーション情報出力手段と、
を備える棚システム。
【国際調査報告】
2015033575.tif 000013
2015033575.tif 000014
2015033575.tif 000015
2015033575.tif 000016