(57)【要約】【課題】限られた場面だけでなく、広く活用することが可能な情報を蓄積する技術を提供する。【解決手段】情報処理装置１０は、撮像画像から、商品を購入する顧客に対応する画像領域である購入者画像領域を特定する特定部１１０と、購入者画像領域に対応する情報である購入者画像情報と顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成部１２０と、を有する。【選択図】図１
2016024601.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段と、
前記顧客画像領域の少なくとも１つに対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段と、
を有する情報処理装置。
【請求項２】
前記特定手段は、前記撮像画像に含まれる複数の顧客の各々を示す各画像領域のうち、少なくとも１人の顧客に対応する少なくとも１つの画像領域を前記顧客画像領域として特定する、
請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記顧客に前記購入商品情報を表示させるタイミングに応じて撮像された前記撮像画像から、前記顧客に対応する前記顧客画像領域を特定する、請求項１または２に記載の情報処理装置。
【請求項４】
前記特定手段は、
前記撮像画像とは異なる位置で撮像され、前記商品を購入する顧客が写る他の撮像画像を、前記撮像画像に基づいて取得し、
前記取得された他の撮像画像から前記顧客画像領域を特定する、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記特定手段は、複数の商品をそれぞれ示す商品画像が示す前記複数の商品の各々について、複数の顧客のうち該商品の各々を購入する顧客に対応する前記顧客画像領域を、前記撮像画像からそれぞれ特定する、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記撮像画像に含まれる顧客に関する画像である顧客画像を表示する表示手段と、
前記表示された顧客画像から前記顧客画像領域を特定するための入力を受け付ける入力手段と、を備え、
前記特定手段は、前記入力手段からの入力に基づいて前記顧客画像領域を特定する、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記表示手段は、商品を購入する複数の顧客が含まれる少なくとも１つの前記撮像画像と、購入される複数の商品をそれぞれ示す画像である商品画像とを表示し、
前記特定手段は、顧客に対応する顧客画像領域と商品に対応する画像領域である商品画像領域との対応付けを示す情報の入力を受け、当該顧客画像領域と当該商品画像領域とを対応付けて特定する、請求項６に記載の情報処理装置。
【請求項８】
前記特定手段は、前記撮像画像に含まれる各顧客の画像領域の大きさに基づいて前記顧客画像領域を特定する、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項９】
前記特定手段は、前記撮像画像に含まれる各顧客の画像領域の前記撮像画像における位置に基づいて前記顧客画像領域を特定する、請求項１から５のいずれか１項に記載の情報処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の情報処理装置と、推薦装置と、を備え、
前記推薦装置は、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得する取得部と、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する推薦情報出力手段とを有する、
情報処理システム。
【請求項１１】
前記情報処理装置は、
前記推薦装置から前記顧客画像情報と前記推薦商品情報とを受け取り、当該顧客画像情報が、前記特定手段により特定された顧客画像情報に対応する場合に、前記推薦商品情報と前記購入商品情報との差分または積を出力する比較結果出力手段をさらに有する、
請求項１０に記載の情報処理システム。
【請求項１２】
前記情報処理装置は、
前記購入商品情報と前記推薦商品情報との前記差分または積に基づいて、前記購入商品情報に対応する商品の割引情報を特定する割引情報特定手段をさらに有する、
請求項１１に記載の情報処理システム。
【請求項１３】
前記推薦情報出力手段は、前記推薦商品に設定されている割引情報と前記推薦商品情報とを出力する、
請求項１０から１２のいずれか１項に記載の情報処理システム。
【請求項１４】
情報処理装置が、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定し、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する
ことを含む情報処理方法。
【請求項１５】
情報処理装置を、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段、
として機能させるためのプログラム。
【請求項１６】
請求項１から９のいずれか１項に記載の情報処理装置と、当該情報処理装置と連携する推薦装置と、を有する情報処理システムにより実行される商品推薦方法であって、
前記推薦装置が、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得し、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する、
ことを含む商品推薦方法。
【請求項１７】
請求項１から９のいずれか１項に記載の情報処理装置と連携する推薦装置を、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得する取得手段、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する推薦情報出力手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＰＯＳ（Point Of Sale）端末及びＰＯＳシステムに関する。
【背景技術】
【０００２】
下記特許文献１には、施設の利用予約時に予約者の顔画像を撮像し、該撮像された顔画像と予約された部屋番号と予め紐付けて登録しておき、チェックイン後に施設内の売店で商品を購入した場合に、購入時に撮像された画像と登録画像とを比較して部屋番号を特定し、購入された商品の情報と部屋番号とを紐付けた情報を生成する手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０５４５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１に記載の手法では、購入された商品に関する情報と、購入した人物が利用する部屋番号とが紐付けられている。即ち、実際の人物の情報と購入された商品に関する情報とが紐付けられているわけではない。このため、あくまで部屋番号と商品情報との紐付けという、施設のチェックアウト時の清算という限られた場面でのみ利用可能な情報が収集されているに過ぎない。
【０００５】
本発明は、上述の課題に鑑みてなされたものであり、限られた場面だけでなく、様々な場面で活用することができる顧客の購入商品情報を生成する技術を提供する。
【課題を解決するための手段】
【０００６】
本発明によれば、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段と、
前記顧客画像領域の少なくとも１つに対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段と、
を有する情報処理装置が提供される。
【０００７】
本発明によれば、
情報処理装置と、推薦装置と、を備え、
前記情報処理装置は、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段と、
前記顧客画像領域の少なくとも１つに対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段と、を有し、
前記推薦装置は、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得する取得部と、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する推薦情報出力手段とを有する、
情報処理システムが提供される。
【０００８】
本発明によれば、
情報処理装置が、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定し、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する、
ことを含む情報処理方法が提供される。
【０００９】
本発明によれば、
情報処理装置を、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段、
として機能させるためのプログラムが提供される。
【００１０】
本発明によれば、
情報処理装置と、当該情報処理装置と連携する推薦装置と、を有する情報処理システムにより実行される商品推薦方法であって、
情報処理装置が、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定し、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成し、
前記推薦装置が、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得し、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する、
ことを含む商品推薦方法が提供される。
【００１１】
本発明によれば、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段と、
前記顧客画像領域の少なくとも１つに対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段と、を有する情報処理装置と連携する推薦装置を、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得する取得手段、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する推薦情報出力手段、
として機能させるためのプログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、限られた場面だけでなく、様々な場面で活用することができる顧客の購入商品情報を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における情報処理装置の処理構成を概念的に示すブロック図である。
【図２】特定部が顧客画像領域を特定する動作の一例を説明するための図である。
【図３】情報処理装置のハードウェア構成例を示す図である。
【図４】第１実施形態におけるＰＯＳシステムの処理の流れを示すフローチャートである。
【図５】第１実施形態の変形例における情報処理装置の処理構成を概念的に示すブロック図である。
【図６】第１実施形態の変形例における情報処理装置の処理の流れを示すフローチャートである。
【図７】第２実施形態におけるＰＯＳシステムの処理構成を概念的に示すブロック図である。
【図８】第２実施形態におけるＰＯＳシステムの処理の流れを示すシーケンス図である。
【図９】ＰＯＳレジスタ装置の構成例を示す図である。
【図１０】ＰＯＳシステムの構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１５】
〔処理構成〕
図１は、第１実施形態における情報処理装置１０の処理構成を概念的に示すブロック図である。本実施形態の情報処理装置１０は、特定部１１０と生成部１２０とを有する。
【００１６】
特定部１１０は、撮像手段で撮像された画像（撮像画像）から、商品を購入する顧客に対応する画像領域である顧客画像領域を特定する。特定部１１０が顧客画像領域を特定するタイミングは、当該顧客が商品を精算しているときであってもよいし、当該顧客が商品を精算する前（例えば、顧客が精算待ちの列に並んでいるときなど）であってもよい。
【００１７】
また、特定部１１０は、１つ以上の撮像画像から複数の顧客画像領域を特定してもよい。具体的には、特定部１１０は、撮像画像に含まれる複数の顧客の各々を示す各画像領域のうち、少なくとも１人の顧客に対応する少なくとも１つの画像領域を顧客画像領域として特定する。ここで特定される複数の顧客画像領域は、同一人物を示すものであってもよいし、何らかの関係を示すグループに属する複数の人物をそれぞれ示すものであってもよい。複数の顧客が同一グループに属するか否かについては、例えば、情報処理装置１０のオペレータから同一グループに属する複数の顧客を選択する入力情報を受け付けることにより判断できる。また、複数の撮像画像を分析して、特定の人物の組み合わせが一定以上出現した場合に、その特定の人物の組み合わせを１つのグループと判断することもできる。特定部１１０は、上述したような入力情報や分析結果に基づいて、同一グループに属する複数の顧客に関する顧客画像領域を特定することができる。
【００１８】
ここで、本発明における「撮像画像」とは、少なくとも１人の顧客の少なくとも頭部が写っている画像のことを示す。撮像画像は、情報処理装置１０が有する撮像手段（図示せず）、または、情報処理装置１０の外部に備えられた撮像手段（図示せず）によって撮像される。ここで「情報処理装置１０の外部」とは、例えば、情報処理装置１０が設置される店舗の出入口、情報処理装置１０の設置された場所の近傍、または、店舗の商品棚などであるが、その具体的な位置はこれらの例に制限されない。また、上述の撮像手段で撮像される撮像画像は、静止画であっても動画であってもよい。
【００１９】
顔検出アルゴリズムなどの処理結果の精度に鑑みると、上述した撮像手段で撮像される撮像画像は、正面を向いた状態の人物が写る画像であることが好ましい。よって、上述の撮像手段が設けられる場所としては、顧客が正面を向いた状態を撮像できる可能性の高い場所が好ましい。言い換えると、上述の撮像手段の設定場所としては、不特定多数の顧客が目線を向ける（より好ましくは注視する）可能性の高い場所が好ましい。「不特定多数の顧客が目線を向ける可能性の高い場所」とは、例えば、商品の金額などを表示するレジ端末の表示手段の近傍、店舗内のデジタルサイネージなどの広告媒体の近傍、店舗の案内図の近傍などが考えられるが、具体的な場所はこれらの例に制限されない。また、ここでいう「近傍」とは、顧客が任意の基準となる位置に目線を向けた場合に、ほぼ正面を向いた状態の顔が撮像手段の視野に含まれる範囲をいう。このような場所に設置された撮像手段は、顧客が目線を向けるタイミング、あるいは、顧客が目線を向けていると推測されるタイミングに応じて顧客の画像を撮像する。具体的には、撮像手段は、例えば、人物の目線や顔の向きを検知するアルゴリズムを用いて顧客の顔の動向を検知し、正面を向いた状態、あるいは、それに近い状態の顧客の顔が撮像手段の視野に含まれるタイミングに応じて撮像画像を撮像する。また、図示しない表示処理手段によって上述のレジ端末の表示手段やデジタルサイネージなどに何らかの情報が表示された場合、顧客がその内容を確認するために目線を向ける可能性が高いと考えられる。この考えに基づき、特定部１１０は、表示処理手段が各情報を表示するタイミングに応じて撮像された撮像画像から、顧客に対応する顧客画像領域を特定してもよい。このような場合において撮像手段が撮像画像を撮像するタイミングは、各情報を表示したタイミングと同時であってもよいし、各情報を表示してから所定の時間が経過したタイミングであってもよい。この撮像手段の撮像タイミングは、情報処理装置１０が有する撮像制御部（図示せず）によって制御される。これらの方法により、撮像手段は、顔検出アルゴリズムや顔画像を用いた個人認証アルゴリズムの処理結果の精度を向上させ得る、ほぼ正面を向いた状態の顧客の画像を撮像できる。
【００２０】
また、本発明における「顧客画像領域」は、顧客の顔を少なくとも部分的に含む領域であればその具体的な内容は制限されない。例えば、顧客画像領域としては、顧客の全身を示す領域、顧客の上半身を示す領域、顧客の顔周辺を示す領域など、様々な領域を採用することができる。但し、データ容量などに鑑みて、顧客の顔周辺など限られた領域を顧客画像領域とすることが好ましい。また、「顧客画像領域」として特定される顧客は、商品を購入する本人であることが望ましい。以下では、特定部１１０が顧客の顔の周辺を顧客画像領域として特定する場合を例に説明する。
【００２１】
特定部１１０は、顔検出アルゴリズムなどを用いて、撮像画像に含まれる各顧客について、その顔を示す画像領域をそれぞれ検出する。そして、特定部１１０は、撮像画像から検出された各顧客に対応する画像領域のうちの少なくとも１つを、顧客画像領域として特定する。
【００２２】
詳細な例の１つとして、特定部１１０は、撮像画像から検出された各顧客を示す各画像領域の大きさ（例えば撮像画像における面積）を算出し、各画像領域の大きさが所定の基準値以上である場合に、その画像領域を顧客画像領域として特定する。「所定の基準値」は、撮像手段が撮像可能な範囲と、その範囲において対象の顧客が写ったときに予測される大きさとの関係に基づいて、適切な値に設定される。所定の基準値は、例えば、情報処理装置１０または情報処理装置１０と通信可能に接続された他の装置に予め保持される。
【００２３】
また他の例として、特定部１１０は、検出された各顧客の画像領域の撮像画像における座標が所定の条件を満たす場合に、その画像領域を顧客画像領域として特定してもよい。「所定の条件」は、撮像手段が撮像可能な範囲と、その範囲において対象の顧客が写ると予測される位置との関係に基づいて適宜設定される。これを、図２を用いて説明する。図２は、特定部１１０が顧客画像領域を特定する動作の一例を説明するための図である。具体的には、図２には、撮像手段が精算待ちの顧客の列を正面右寄りの方向から撮像する例が示されている。この場合、先頭の顧客（すなわち、次に商品を購入する顧客）が左側に写る可能性が高いと考えられ、例えば、一点鎖線で区切られた左側の領域が、顧客画像領域を特定する際の対象領域として設定される。そして、特定部１１０は、検出された各顧客の画像領域のうち、例えば「対象領域において所定値以上の面積を有する」などの条件を満たす画像領域を顧客画像領域として特定する。所定の条件は、例えば、情報処理装置１０または情報処理装置１０と通信可能に接続された他の装置に予め保持される。
【００２４】
また、特定部１１０は、上述したような各顧客の画像領域の大きさ及び座標を総合的に判断して、顧客画像領域を特定してもよい。
【００２５】
生成部１２０は、特定部１１０で特定された顧客画像領域に対応する情報（顧客画像情報）と、顧客が購入する商品に関する情報（購入商品情報）とを関連させた情報を生成する。
【００２６】
「顧客画像情報」とは、顧客画像領域の画素値やエッジ部分などから抽出される特徴量であってもよいし、顧客画像領域に対応する画像データそのものであってもよい。ただし、プライバシー保護などの観点から、顧客画像情報は顧客画像領域から抽出可能な特徴量であることが望ましい。
【００２７】
また、「購入商品情報」は顧客がこれから購入しようとする商品、または、顧客が購入した商品に関する何らかの情報である。例えば、購入商品情報としては、支払合計金額、商品の名称および数量などが挙げられるが、これらの例に制限されない。
【００２８】
生成部１２０はこの購入商品情報を図示しない購入商品情報生成手段から取得する。購入商品情報生成手段は、例えば、バーコードリーダーやイメージスキャナなどのスキャン手段またはキーボードやタッチパネルなどの入力手段を介して取得した商品に関する情報に基づいて、購入商品情報を生成する。このような購入商品情報生成手段は、情報処理装置１０が備えていてもよいし、情報処理装置１０と通信可能に接続された他の装置が備えていてもよい。生成部１２０は、特定部１１０で特定された顧客画像領域と、購入商品情報生成手段で生成された購入商品情報とをそのまま纏めた情報を生成してもよいし、顧客画像領域に対応する情報と購入商品情報とを少なくとも含む新たな情報を生成してもよい。
【００２９】
情報処理装置１０は、生成部１２０で生成された情報を、通信可能に接続されたサーバ（図示せず）に送信してもよいし、情報処理装置１０自身に備えられた記憶部に保持してもよい。
【００３０】
また、撮像画像に複数の顧客に関する画像領域が含まれる場合、特定部１１０は、購入される商品ごと（購入商品情報ごと）に顧客画像領域を特定してもよい。例えば、購入される商品の画像と、各顧客を示す画像領域（顧客画像）とを情報処理装置１０の図示しない表示部に並べて表示し、その対応関係を示す情報を情報処理装置１０のオペレータに入力させることで、特定部１１０は該入力を基に購入商品情報ごとの顧客画像領域を特定できる。また、情報処理装置１０の近傍に備えらえた撮像手段に、購入商品情報が生成されたタイミングに応じて商品を購入する顧客を撮像させることで、特定部１１０は、オペレータの入力がなくても購入商品情報ごとの顧客画像領域を特定できる。具体的には、特定部１１０は、購入商品情報が生成されたタイミングと各顧客画像領域を含む撮像画像が撮像されたタイミングとに基づいて、購入商品情報ごとの顧客画像領域を特定することも可能である。
【００３１】
〔ハードウェア構成〕
図３は、情報処理装置１０のハードウェア構成例を示す図である。図１に示されるように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、１０２、入出力インタフェース（Ｉ／Ｆ）１０３、通信装置１０４などを有する。これらの情報処理装置１０の構成要素はバス１０５を介して相互に接続される。メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどである。通信装置１０４は、ネットワークを介して接続された、外部に位置する他の装置や機器と通信する。また、通信装置１０４には、可搬型記録媒体等も接続され得る。入出力Ｉ／Ｆ１０３は、表示部１０６、入力部１０７、撮像部１０８などと接続される。
【００３２】
表示部１０６は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１０１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。入力部１０７は、ユーザからの入力操作を受け付ける装置であり、例えば、キーボード、マウス、音声入力用のマイクロフォン、あるいはタッチセンサなどで実現される。また、表示部１０６および入力部１０７は一体化され、タッチパネルとして実現されてもよい。撮像部１０８は、レンズおよび撮像素子などを含むカメラであり、静止画像または動画像を撮像する。
【００３３】
なお、情報処理装置１０のハードウェア構成は図３に示される構成に限定されない。情報処理装置１０は、図３に示される構成以外の構成をさらに有していてもよい。また、情報処理装置１０は、表示部１０６、入力部１０７または撮像部１０８を有していなくてもよい。この場合、情報処理装置１０は、通信装置１０４を介して外部の他の装置と通信し、当該他の装置の表示装置に描画データを表示させたり、当該他の装置の入力部を介してユーザからの入力操作を受け付けたり、当該他の装置の撮像部により撮像された画像を取得したりする。
【００３４】
先に説明した情報処理装置１０の各処理部は、例えば、ＣＰＵ１０１によってメモリ１０２に格納されるプログラムが実行されることにより実現される。当該プログラムは、例えば、ＣＤ（Compact Disc）やメモリカード等のような可搬型記録媒体、あるいはネットワーク上の他のコンピュータから通信装置１０４等を介してインストールされ、メモリ１０２に格納される。
【００３５】
〔動作例〕
図４を用いて、本実施形態におけるＰＯＳシステム１の動作例を説明する。図４は、第１実施形態におけるＰＯＳシステム１の処理の流れを示すフローチャートである。
【００３６】
特定部１１０は撮像手段から撮像画像を取得する（Ｓ１０１）。Ｓ１０１で取得する画像は、対象の顧客が購入する商品の精算処理を行っている間に撮像されたものであってもよいし、対象の顧客が購入する商品の精算処理を行う前に撮像されたものであってもよい。そして、特定部１１０は、人物検出アルゴリズムや顔検出アルゴリズムなどを用いて、Ｓ１０１で取得された撮像画像から、商品を購入する顧客に対応する画像領域である顧客画像領域を特定する（Ｓ１０２）。生成部１２０は、購入商品情報生成手段から、対象とする顧客に関連する購入商品情報を取得する（Ｓ１０３）。さらに、生成部１２０は、Ｓ１０２で特定された顧客画像領域と、Ｓ１０３で取得した購入商品情報とを関連させた情報を生成する（Ｓ１０４）。Ｓ１０４で生成された情報は、情報処理装置１０の記憶部または情報処理装置１０と通信可能に接続されたサーバの記憶部に出力される。
【００３７】
〔第１実施形態の作用と効果〕
以上、本実施形態では、購入商品に関する情報と紐付けられる情報は、顧客画像情報である。顧客画像情報は、撮像画像において特定された顧客に対応する画像領域に対応する情報であるため、顧客自身を示す情報であるといえる。よって、本実施形態によれば、顧客毎の購入商品情報を生成することができ、上述した特許文献１と比較して、より多彩な場面で利用可能な情報を生成することができる。
【００３８】
また、本実施形態では、好ましくは、顧客が概ね正面を向いた状態で写る撮像画像を取得できるような位置に撮像手段が設置される。これにより、顔検出アルゴリズムや顔画像を用いた個認証アルゴリズムの処理結果の精度を向上させ得る情報と、購入商品情報とを関連付けることができる。結果として、生成された情報を用いて後にマーケティングなどを行うときに、より精度よく個人を特定可能となり、マーケティングによって得られる効果の向上が見込める。
【００３９】
［第１実施形態の変形例１］
〔処理構成〕
図５は、第１実施形態の変形例における情報処理装置１０の処理構成を概念的に示すブロック図である。図５に示されるように、情報処理装置１０は、表示部１３０および入力受付部１４０をさらに有する。
【００４０】
表示部１３０は顧客画像を表示する。「顧客画像」とは、撮像手段によって撮像された撮像画像そのものであってもよいし、顔検出アルゴリズムなどを用いて、当該撮像画像から抽出された顧客を示す部分画像であってもよい。
【００４１】
入力受付部１４０は、表示された顧客画像から顧客画像領域を特定するための入力を受け付ける。具体的には、入力受付部１４０は、キーボード、マウス、タッチパネルなどの入力装置を介して、オペレータから顧客画像領域を特定するための入力情報を受け付ける。
【００４２】
特定部１１０は、入力受付部１４０で受け付けた入力に基づいて、顧客画像領域を特定する。
【００４３】
〔動作例〕
図６を用いて、本変形例における情報処理装置１０の動作例を説明する。図６は、第１実施形態の変形例における情報処理装置１０の処理の流れを示すフローチャートである。
【００４４】
表示部１３０は撮像手段から撮像画像を取得し（Ｓ２０１）、オペレータ用の表示装置に顧客画像を表示する（Ｓ２０２）。Ｓ２０１で取得する画像は、対象の顧客が購入する商品の精算処理を行っている間に撮像されたものであってもよいし、対象の顧客が購入する商品の精算処理を行う前に撮像されたものであってもよい。また、表示部１３０は、人物検出アルゴリズムや顔検出アルゴリズムなどを用いてＳ２０１で取得された撮像画像に含まれる顧客の画像領域を検出し、Ｓ２０２で撮像画像の一部を表示するようにしてもよい。
【００４５】
入力受付部１４０はＳ２０２で表示された顧客画像に対する入力を受け付ける（Ｓ２０３）。具体的には、オペレータがキーボードやタッチパネルなどの入力装置を操作することにより、顧客画像に対する入力情報が入力受付部１４０に入力される。
【００４６】
特定部１１０は、Ｓ２０３で受け付けた入力情報に基づいて顧客画像領域を特定する（Ｓ２０４）。そして、生成部１２０は、上述したように、Ｓ１０３で取得された購入商品情報と、Ｓ２０４ｖで特定された顧客画像領域とを関連させた情報を生成する（Ｓ１０４）。
【００４７】
このような構成によっても、上述の効果を得ることができる。また、本変形例では、オペレータから受け付けた入力情報に基づいて、表示部１３０によって表示された顧客画像の中から顧客画像領域が特定される。言い換えると、購入商品情報と関連させる顧客画像情報を抽出するための顧客画像領域が、オペレータの判断によって選ばれる。これにより、個人をより良好に示す顧客画像領域をオペレータの判断に基づいて選択することができ、結果として個人を特定する精度の高い顧客画像情報を購入商品情報に関連付けることができる。
【００４８】
［第１実施形態の変形例２］
第１実施形態において、撮像手段は複数備えられていてもよい。この構成によれば、例えば、情報処理装置１０に備えられる撮像手段によって撮像された撮像画像が、正面を向いていないなどの理由で後の処理に適さない画像である場合、特定部１１０は他の撮像手段で撮像された撮像画像から顧客画像領域を特定できる。例えば、特定部１１０は、ある位置に設置された撮像手段で撮像された撮像画像から良好な顔の領域を特定できなかった場合に、該撮像手段とは異なる位置に設置された他の撮像手段で撮像された他の撮像画像を取得する。特定部１１０は、例えば、顧客の服装、顧客の持ち物、顧客の装飾品、顧客の家族構成などの特徴を撮像画像から検出し、それを検索キーとして対象の顧客に関連する他の撮像画像を他の撮像手段によって撮像された撮像画像の中から取得する。そして、特定部１１０は、取得した他の撮像画像に顔検出アルゴリズムなどを適用し、顧客画像領域を特定する。このようにすることで、購入商品情報と関連付ける顧客画像情報を抽出する際、例えば、ほぼ正面を向いた状態などの良好な顧客の画像を用いることができ、結果として個人を特定する精度の高い顧客画像情報を購入商品情報に関連付けることができる。
【００４９】
［第２実施形態］
本実施形態は、情報処理装置１０と連携する推薦装置５０をさらに有する点を除いて、第１実施形態と同様である。
【００５０】
〔処理構成〕
図７は、第２実施形態におけるＰＯＳシステム１の処理構成を概念的に示すブロック図である。図７に示されるように、本実施形態のＰＯＳシステム１は、情報処理装置１０と推薦装置５０と含む。本実施形態の情報処理装置１０は、第１実施形態の構成に加えて、比較結果出力部１５０および割引情報特定部１６０をさらに有する。また、本実施形態の情報処理装置１０は、第１実施形態の変形例で説明した構成をさらに有していてもよい。推薦装置５０は、取得部５１０および推薦情報出力部５２０を有する。
【００５１】
本実施形態において、生成部１２０で生成された顧客画像情報と購入商品情報とを関連させて生成した情報は情報記憶部４０に記憶される。また、情報記憶部４０は、情報処理装置１０に備えられていてもよいし、情報処理装置１０に通信可能に接続された他の装置に備えられていてもよい。
【００５２】
取得部５１０は、ある顧客が含まれる画像を取得し、当該画像に含まれる顧客を示す画像領域に対応する画像情報に基づいて、情報記憶部４０から購入商品情報を取得する。具体的には、取得部５１０は次のように購入商品情報を取得する。まず、取得部５１０は、店舗内に設置された撮像手段などから、顧客が含まれる画像を取得する。そして、取得部５１０は、人物検出アルゴリズムや顔検出アルゴリズムなどを用いて、取得された画像に含まれる顧客を示す画像領域を特定する。そして、取得部５１０は、特定された画像領域に対応する画像情報を検索キーとして情報記憶部４０を検索し、当該検索キーの画像情報に対応する顧客画像情報を特定する。ここで、「画像領域に対応する画像情報」は、画像に含まれる顧客を示す画像領域から抽出可能な特徴量であってもよいし、画像に含まれる顧客を示す画像領域に対応する画像データそのものであってもよい。そして、取得部５１０は、該特定された顧客画像情報に関連付けて情報記憶部４０に記憶された購入商品情報を特定して取得する。
【００５３】
推薦情報出力部５２０は、取得部５１０で取得された購入商品情報に基づいて、推薦商品に関する情報（推薦商品情報）を出力する。詳細には、推薦情報出力部５２０は、情報記憶部４０に記憶された購入商品情報によって示される商品と推薦候補商品との間の紐付け情報に基づいて、当該推薦候補商品に関する推薦商品情報を取得する。また、推薦情報出力部５２０は、各商品の在庫状況に基づいて、推薦候補商品および推薦候補情報を取得してもよい。そして、推薦情報出力部５２０は、情報処理装置１０に推薦商品情報を出力する。また、推薦情報出力部５２０は、推薦商品情報を顧客が所有する端末（顧客端末）に対して出力してもよい。この場合、顧客と顧客端末との対応関係を示す情報を図示しない記憶部に保持しておけばよい。推薦情報出力部５２０は、取得部５１０で取得された画像を基に抽出される画像情報、または、取得部５１０で特定された顧客画像情報から顧客を特定し、当該特定された顧客と記憶部に保持された対応関係とに基づいて、推薦商品情報を送信すべき顧客端末を判別できる。
【００５４】
ここで、「推薦商品情報」は、推薦商品に関する情報であり、その具体的な内容は制限されない。例えば、推薦商品情報としては、購入された商品に関連する商品の情報や、推薦商品に基づいた店内動線を示す情報などが挙げられるが、これらの例に制限されない。またこれに限らず、推薦情報出力部５２０は、例えば、各商品の在庫情報に基づいておすすめの店内動線を示す情報を出力してもよい。また、推薦情報出力部５２０は、日々値段が変わり得る推薦商品について、ある特定の日の値段（例えば、最安値）を取り置き、後日顧客が来店したときにその取り置いた値段で推薦商品情報を出力し、顧客が取り置き価格で推薦商品を購入できるようにしてもよい。
【００５５】
また、推薦情報出力部５２０は、推薦候補商品に関して割引情報が設定されている場合、その割引情報と推薦商品情報とを出力してもよい。
【００５６】
比較結果出力部１５０は、購入商品情報と推薦商品情報との差分または積を出力する。ここでいう「差分」や「積」は、例えば、購入商品情報と推薦商品情報との類似度に応じて算出される。具体的には、購入商品情報の属性によって表される集合と推薦商品情報の属性によって表される集合とが重なりあう領域の大きさなどを、「差分」または「積」として出力する。詳細には、比較結果出力部１５０は、以下のように購入商品情報と推薦商品情報との差分または積を出力する。まず、比較結果出力部１５０は、推薦装置５０から顧客画像情報と推薦商品情報とを受け取る。そして、比較結果出力部１５０は、特定部１１０により特定された顧客画像情報と推薦装置５０から取得した顧客画像情報とを比較する。比較した結果、例えば、２つの顧客画像情報が所定の閾値以上の類似度を示すなど、対応する場合、上述したように購入商品情報と推薦商品情報との差分または積を算出して出力する。比較結果出力部１５０は、例えば、推薦する商品を選択する際の学習情報として、推薦装置５０に購入商品情報と推薦商品情報との差分または積を出力してもよい。また、比較結果出力部１５０は、後述する割引情報特定部１６０に、購入商品情報と推薦商品情報との差分または積を、割引情報を生成するための情報として出力してもよい。
【００５７】
割引情報特定部１６０は、購入商品情報と推薦商品情報との差分または積に基づいて、購入商品情報に対応する商品の割引情報を特定する。具体的には、割引情報特定部１６０は、例えば、図示しない記憶部に保持される、購入商品情報と推薦商品情報との差分または積の大きさと購入商品に対する割引率との関係を示す情報に基づいて、比較結果出力部１５０で出力された購入商品情報と推薦商品情報との差分または積に応じた割引率を、割引情報として特定する。割引情報特定部１６０で特定される、ある購入商品に対する割引情報は、今回の会計で即座に利用可能であってもよいし、次回の会計時に利用可能であってもよい。ある購入商品に対する割引情報を次回の会計時に利用可能とする場合、情報処理装置１０は、当該割引情報を、例えば、特定部１１０で特定された顧客画像情報に関連させて保持しておく。そして、推薦情報出力部５２０は、その顧客が次回来店した際に撮像された画像から得られる画像情報を基に保持された割引情報を取得して、推薦商品情報と共に出力する。これにより、顧客が次回来店時に購入商品の割引情報を利用できる。
【００５８】
〔動作例〕
図８を用いて、本実施形態におけるＰＯＳシステム１の動作例を説明する。図８は、第２実施形態におけるＰＯＳシステム１の処理の流れを示すシーケンス図である。
【００５９】
まず、情報処理装置１０で生成された、顧客画像情報と購入商品情報とを含む情報が情報記憶部４０に蓄積される（Ｓ３０１）。そして、推薦装置５０が、顧客を含む撮像画像を取得し（Ｓ３０２）、取得された撮像画像に含まれる顧客の画像情報を生成する（Ｓ３０３）。さらに、推薦装置５０は、Ｓ３０３で生成された画像情報を検索キーとして情報記憶部４０を検索し、該画像情報に対応する顧客画像情報を特定する（Ｓ３０４）。そして、推薦装置５０は、Ｓ３０４で特定され顧客画像情報に関連付けられた購入商品情報を特定して取得する（Ｓ３０５）。そして、推薦装置５０は、Ｓ３０５で取得された購入商品情報と基に、上述したような推薦商品情報を特定し、情報処理装置１０や顧客端末（不図示）に出力する（Ｓ３０６）。
【００６０】
情報処理装置１０は、Ｓ３０６で取得した推薦商品情報と、顧客が今回購入した商品に関する情報とを比較し（Ｓ３０７）、その結果から、上述したように購入商品に対する割引情報を特定する（Ｓ３０８）。Ｓ３０８で特定された割引情報が今回の精算時に利用可能である場合、情報処理装置１０は、Ｓ３０８で特定した割引情報を今回の精算に適用させる。また、Ｓ３０８で特定された割引情報が次回の精算時に利用可能である場合、情報処理装置１０は、Ｓ３０８で特定された割引情報と、例えば、特定部１１０で特定された顧客画像情報とを関連させて図示しない記憶部に保持する。
【００６１】
〔第２実施形態の作用と効果〕
以上、本実施形態では、入店時などに撮像された顧客の画像に基づいて、情報記憶部４０に蓄積された購入商品情報が特定される。さらに、特定された購入商品情報から推薦商品情報が特定されて情報処理装置１０や顧客端末に対して出力される。これにより、第１実施形態で説明したような情報処理装置１０によって生成および蓄積された情報を活用し、顧客の購買意欲を促すような推薦商品情報を出力するシステムが提供可能となる。
【００６２】
以下に複数の実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の各実施例から何ら限定を受けない。
【実施例１】
【００６３】
図９は、ＰＯＳレジスタ装置の構成例を示す図である。図９に示されるように、実施例１は、上述の情報処理装置１０の各機能が、ＰＯＳレジスタ装置６０に適用された例を示す。実施例１におけるＰＯＳレジスタ装置６０は、チェッカ装置６１０及びキャッシャ装置６２０から構成される。チェッカ装置６１０は、商品を精算対象に登録し、精算対象商品の情報をキャッシャ装置６２０に送る。キャッシャ装置６２０は、精算対象の商品の決済処理を行う。精算対象は、チェッカ装置６１０及びキャッシャ装置６２０のいずれにおいても登録可能である。
【００６４】
実施例１におけるチェッカ装置６１０及びキャッシャ装置６２０、図３と同様に、ＣＰＵ１０１、メモリ１０２、入出力Ｉ／Ｆ１０３及び通信装置１０４等を有する。上述の情報処理装置１０は、チェッカ装置６１０及びキャッシャ装置６２０のいずれにも適用可能であり、上述の各実施形態で説明した情報処理装置１０で実行される処理は、チェッカ装置６１０及びキャッシャ装置６２０のいずれでも実行可能である。
【００６５】
上述の表示部１０６は、タッチパネルユニット６１１の表示部６１１ａ、顧客用表示部６１２、表示部６２１、及び顧客用表示部６２２の少なくとも１つに相当する。上述の入力部１０７は、タッチパネルユニット６１１のタッチパネル６１１ｂ及びキーボード６１３、並びに、キーボード６２３の少なくとも１つに相当する。上述の撮像部１０８は、少なくともスキャナ装置６１４に相当する。スキャナ装置６１４は、読取窓６１５にかざされた商品の外観を映し出す商品画像を撮像する。
【００６６】
実施例１によれば、図示しない撮像手段で撮像された撮像領域から特定される顧客画像領域がタッチパネルユニット６１１などに表示される。ＰＯＳレジスタ装置６０のオペレータは、表示された顧客画像領域を参照して、購入商品と関連させるのに適したものを判断して選択することができる
【００６７】
実施例１では、図９に示されるように、ＰＯＳレジスタ装置６０がチェッカ装置６１０及びキャッシャ装置６２０を有したが、ＰＯＳレジスタ装置６０は、キャッシャ装置６２０のみで構成されてもよい。この場合、キャッシャ装置６２０が、スキャナ装置６１４を有していればよい。
【実施例２】
【００６８】
図１０は、ＰＯＳシステムの構成例を示す図である。図１０に示されるように、実施例２は、第２実施形態で説明したＰＯＳシステム１が、ＰＯＳシステム７０に適用された例を示す。実施例２におけるＰＯＳシステム７０は、サーバ装置７１０及び店舗側構成７２０から構成され、サーバ装置７１０と店舗側構成７２０とは、通信網７３０により通信可能に接続される。店舗側構成７２０には、通信中継装置を介して通信網７３０に接続可能な店舗端末７４０、スタンド７５０等が含まれる。スタンド７５０は、店舗端末７４０と、他の機器（ハンディスキャナ、キャッシュドロア、レシートプリンタ等）とを通信可能に接続するための機器である。
【００６９】
店舗端末７４０は、ＰＣ（Personal Computer）、ノートＰＣ、タブレット型端末、スマートフォン等のような汎用コンピュータであり、サーバ装置７１０との間でデータのやり取りをすることにより、上述のＰＯＳレジスタ装置６０と同様の機能を実現する。店舗端末７４０は、タッチパネルユニット７６０、撮像部７７０等を有する。上述の表示部１０６は、タッチパネルユニット７６０の表示部に相当する。上述の入力部１０７は、タッチパネルユニット７６０のタッチパネルに相当する。上述の撮像部１０８は、少なくとも撮像部７７０に相当する。
【００７０】
サーバ装置７１０は、一般的なサーバコンピュータであり、ＷＥＢサーバ、アプリケーションサーバ等として実現される。店舗端末７４０及びサーバ装置７１０は、図２と同様に、ＣＰＵ１０１、メモリ１０２、入出力Ｉ／Ｆ１０３及び通信装置１０４等を有する。
【００７１】
上述の情報処理装置１０は、サーバ装置７１０のみ、店舗端末７４０のみ、又は、それら両方として実現され得る。また、上述の推薦装置５０は、サーバ装置７１０のみ、店舗端末７４０のみ、又は、それら両方として実現され得る。同様に、上述の各実施形態で説明した情報処理装置１０または推薦装置５０で実行される処理は、サーバ装置７１０のみ、店舗端末７４０のみ、又は、それら両方により実行可能である。例えば、サーバ装置７１０と店舗端末７４０との間のインタフェースとしてＷＥＢシステムが利用される場合、上述の全処理部がサーバ装置７１０で実現され、店舗端末７４０は、単なる表示部として動作してもよい。逆に、店舗端末７４０において全処理部が実現されてもよい。また、一部の処理部がサーバ装置７１０で実現され、残りの処理部が店舗端末７４０で実現されてもよい。
【実施例３】
【００７２】
また、本発明の情報処理装置は防犯システムに組み込むこともできる。具体的には、情報処理装置は、撮像画像に含まれる顧客の画像情報に基づいて、その顧客に対して購入商品情報が関連付けられているか否かを確認し、商品を持って退店しようとしている顧客の中で会計の済んでいない顧客がいないかどうか判断することもできる。
【００７３】
本発明における情報処理装置は、複数の装置（複数のコンピュータ、複数のＣＰＵを持つ筐体）で実現されることを排除するものではない。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００７４】
また、上述の説明で用いた複数のフローチャートやシーケンス図では、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
【００７５】
以下、参考形態の例を付記する。
１．
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段と、
前記顧客画像領域の少なくとも１つに対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段と、
を有する情報処理装置。
２．
前記特定手段は、前記撮像画像に含まれる複数の顧客の各々を示す各画像領域のうち、少なくとも１人の顧客に対応する少なくとも１つの画像領域を前記顧客画像領域として特定する、
１．に記載の情報処理装置。
３．
前記特定手段は、前記顧客に前記購入商品情報を表示させるタイミングに応じて撮像された前記撮像画像から、前記顧客に対応する前記顧客画像領域を特定する、１．または２．に記載の情報処理装置。
４．
前記顧客に前記購入商品情報を表示する商品情報表示手段と、
前記商品情報表示手段に前記購入商品情報を表示させる表示処理手段と、
前記顧客を撮像し、前記商品情報表示手段の近傍に備えられる撮像手段と、
前記表示処理手段が前記購入商品情報を表示させるタイミングに応じて前記撮像画像を前記撮像手段に撮像させる撮像制御手段と、を備える、３．に記載の情報処理装置。
５．
前記特定手段は、
前記撮像画像とは異なる位置で撮像され、前記商品を購入する顧客が写る他の撮像画像を、前記撮像画像に基づいて取得し、
前記取得された他の撮像画像から前記顧客画像領域を特定する、
１．から４．のいずれか１つに記載の情報処理装置。
６．
前記特定手段は、複数の商品をそれぞれ示す商品画像が示す前記複数の商品の各々について、複数の顧客のうち該商品の各々を購入する顧客に対応する前記顧客画像領域を、前記撮像画像からそれぞれ特定する、
１．から５．のいずれか１つに記載の情報処理装置。
７．
前記撮像画像に含まれる顧客に関する画像である顧客画像を表示する表示手段と、
前記表示された顧客画像から前記顧客画像領域を特定するための入力を受け付ける入力手段と、を備え、
前記特定手段は、前記入力手段からの入力に基づいて前記顧客画像領域を特定する、１．から６．のいずれか１つに記載の情報処理装置。
８．
前記表示手段は、商品を購入する複数の顧客が含まれる少なくとも１つの前記撮像画像と、購入される複数の商品をそれぞれ示す画像である商品画像とを表示し、
前記特定手段は、顧客に対応する顧客画像領域と商品に対応する画像領域である商品画像領域との対応付けを示す情報の入力を受け、当該顧客画像領域と当該商品画像領域とを対応付けて特定する、７．に記載の情報処理装置。
９．
前記特定手段は、前記撮像画像に含まれる各顧客の画像領域の大きさに基づいて前記顧客画像領域を特定する、１．から６．のいずれか１つに記載の情報処理装置。
１０．
前記特定手段は、前記撮像画像に含まれる各顧客の画像領域の前記撮像画像における位置に基づいて前記顧客画像領域を特定する、１．から６．のいずれか１つに記載の情報処理装置。
１１．
１．から１０．のいずれか１つに記載の情報処理装置と、推薦装置と、を備え、
前記推薦装置は、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得する取得部と、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する推薦情報出力手段とを有する、
情報処理システム。
１２．
前記情報処理装置は、
前記推薦装置から前記顧客画像情報と前記推薦商品情報とを受け取り、当該顧客画像情報が、前記特定手段により特定された顧客画像情報に対応する場合に、前記推薦商品情報と前記購入商品情報との差分または積を出力する比較結果出力手段をさらに有する、
１１．に記載の情報処理システム。
１３．
前記情報処理装置は、
前記購入商品情報と前記推薦商品情報との前記差分または積に基づいて、前記購入商品情報に対応する商品の割引情報を特定する割引情報特定手段をさらに有する、
１２．に記載の情報処理システム。
１４．
前記推薦情報出力手段は、前記推薦商品に設定されている割引情報と前記推薦商品情報とを出力する、
１１．から１３．のいずれか１つに記載の情報処理システム。
１５．
情報処理装置が、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定し、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する
ことを含む情報処理方法。
１６．
前記情報処理装置が、前記撮像画像に含まれる複数の顧客の各々を示す各画像領域のうち、少なくとも１人の顧客に対応する少なくとも１つの画像領域を前記顧客画像領域として特定する、
ことを含む１５．に記載の情報処理方法。
１７．
前記情報処理装置が、前記顧客に前記購入商品情報を表示させるタイミングに応じて撮像された前記撮像画像から、前記顧客に対応する前記顧客画像領域を特定する、
ことを含む１５．または１６．に記載の情報処理方法。
１８．
前記状処理装置が、
前記顧客に前記購入商品情報を表示する商品情報表示手段に前記購入商品情報を表示させ、
前記表示処理手段が前記購入商品情報を表示させるタイミングに応じて、前記撮像画像を前記商品情報表示手段の近傍に備えられる撮像手段に撮像させる、
ことを含む１７．に記載の情報処理方法。
１９．
前記情報処理装置が、
前記撮像画像とは異なる位置で撮像され、前記商品を購入する顧客が写る他の撮像画像を、前記撮像画像に基づいて取得し、
前記取得された他の撮像画像から前記顧客画像領域を特定する、
ことを含む１５．から１８．のいずれか１つに記載の情報処理方法。
２０．
前記情報処理装置が、複数の商品をそれぞれ示す商品画像が示す前記複数の商品の各々について、複数の顧客のうち該商品の各々を購入する顧客に対応する前記顧客画像領域を、前記撮像画像からそれぞれ特定する、
ことを含む１５．から１９．のいずれか１つに記載の情報処理方法。
２１．
前記情報処理装置が、
前記撮像画像に含まれる顧客に関する画像である顧客画像を表示手段に表示し、
前記表示された顧客画像から前記顧客画像領域を特定するための入力を受け付け、
前記入力に基づいて前記顧客画像領域を特定する、
ことを含む１５．から２０．のいずれか１つに記載の情報処理方法。
２２．
前記情報処理装置が、
前記表示手段に、商品を購入する複数の顧客が含まれる少なくとも１つの前記撮像画像と、購入される複数の商品をそれぞれ示す画像である商品画像とを表示させ、
顧客に対応する顧客画像領域と商品に対応する画像領域である商品画像領域との対応付けを示す情報の入力を受け、当該顧客画像領域と当該商品画像領域とを対応付けて特定する、
ことを含む２１．に記載の情報処理方法。
２３．
前記情報処理装置が、前記撮像画像に含まれる各顧客の画像領域の大きさに基づいて前記顧客画像領域を特定する、
ことを含む１５．から２０．のいずれか１つに記載の情報処理装置。
２４．
前記情報処理装置が、前記撮像画像に含まれる各顧客の画像領域の前記撮像画像における位置に基づいて前記顧客画像領域を特定する、
ことを含む１５．から２０．のいずれか１つに記載の情報処理方法。
２５．
情報処理装置を、
撮像画像から、顧客に対応する画像領域である顧客画像領域を特定する特定手段、
前記顧客画像領域に対応する情報である顧客画像情報と前記顧客の購入する商品に対応する情報である購入商品情報とを関連させた情報を生成する生成手段、
として機能させるためのプログラム。
２６．
前記情報処理装置に、前記特定手段において、
前記撮像画像に含まれる複数の顧客の各々を示す各画像領域のうち、少なくとも１人の顧客に対応する少なくとも１つの画像領域を前記顧客画像領域として特定させる処理を実行させる、
２５．に記載のプログラム。
２７．
前記情報処理装置に、前記特定手段において、前記顧客に前記購入商品情報を表示させるタイミングに応じて撮像された前記撮像画像から、前記顧客に対応する前記顧客画像領域を特定させる処理を実行させる、
２５．または２６．に記載のプログラム。
２８．
前記情報処理装置を、
前記顧客に前記購入商品情報を表示する商品情報表示手段、
前記商品情報表示手段に前記購入商品情報を表示させる表示処理手段、
前記顧客を撮像し、前記商品情報表示手段の近傍に備えられる撮像手段、
前記表示処理手段が前記購入商品情報を表示させるタイミングに応じて前記撮像画像を前記撮像手段に撮像させる撮像制御手段、
としてさらに機能させるための２７．に記載のプログラム。
２９．
前記情報処理装置に、前記特定手段において、
前記撮像画像とは異なる位置で撮像され、前記商品を購入する顧客が写る他の撮像画像を、前記撮像画像に基づいて取得する処理、
前記取得された他の撮像画像から前記顧客画像領域を特定する処理、
を実行させる２５．から２８．のいずれか１つに記載のプログラム。
３０．
前記情報処理装置に、前記特定手段において、複数の商品をそれぞれ示す商品画像が示す前記複数の商品の各々について、複数の顧客のうち該商品の各々を購入する顧客に対応する前記顧客画像領域を、前記撮像画像からそれぞれ特定する処理を実行させる、
２５．から２９．のいずれか１つに記載のプログラム。
３１．
前記コンピュータを、
前記撮像画像に含まれる顧客に関する画像である顧客画像を表示する表示手段、
前記表示された顧客画像から前記顧客画像領域を特定するための入力を受け付ける入力手段と、してさらに機能させ、
前記情報処理装置に、前記特定手段において、前記入力手段からの入力に基づいて前記顧客画像領域を特定する処理を実行させる、
２５．から３０．のいずれか１つに記載のプログラム。
３２．
前記情報処理装置に、
前記表示手段において、商品を購入する複数の顧客が含まれる少なくとも１つの前記撮像画像と、購入される複数の商品をそれぞれ示す画像である商品画像とを表示させる処理を実行させ、
前記特定手段において、顧客に対応する顧客画像領域と商品に対応する画像領域である商品画像領域との対応付けを示す情報の入力を受け、当該顧客画像領域と当該商品画像領域とを対応付けて特定する処理を実行させる、
３１．に記載のプログラム。
３３．
前記情報処理装置に、前記特定手段において、前記撮像画像に含まれる各顧客の画像領域の大きさに基づいて前記顧客画像領域を特定する処理を実行させる、
２５．から３０．のいずれか１つに記載のプログラム。
３４．
前記情報処理装置に、前記特定手段において、前記撮像画像に含まれる各顧客の画像領域の前記撮像画像における位置に基づいて前記顧客画像領域を特定する処理を実行させる、
２５．から３０．のいずれか１つに記載のプログラム。
３５．
１．から１０．のいずれか１つに記載の情報処理装置と、当該情報処理装置と連携する推薦装置と、を有する情報処理システムにより実行される商品推薦方法であって、
前記推薦装置が、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得し、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する、
ことを含む商品推薦方法。
３６．
１．から１０．のいずれか１つに記載の情報処理装置と連携する推薦装置を、
顧客が含まれる撮像画像から特定される当該顧客の顧客画像情報に基づいて購入商品情報を取得する取得手段、
前記取得された購入商品情報に基づいて、推薦商品に関する情報である推薦商品情報を特定して出力する推薦情報出力手段、
として機能させるためのプログラム。
【符号の説明】
【００７６】
１  ＰＯＳシステム
１０  情報処理装置
４０  情報記憶部
５０  推薦装置
６０  ＰＯＳレジスタ装置
７０  ＰＯＳシステム
１０１  ＣＰＵ
１０２  メモリ
１０３  入出力Ｉ／Ｆ
１０４  通信装置
１０５  バス
１０６  表示部
１０７  入力部
１０８  撮像部
１１０  特定部
１２０  生成部
１３０  表示部
１４０  入力受付部
１５０  比較結果出力部
１６０  割引情報特定部
５１０  取得部
５２０  推薦情報出力部
６１０  チェッカ装置
６１１  タッチパネルユニット
６１１ａ  表示部
６１１ｂ  タッチパネル
６１２  顧客用表示部
６１３  キーボード
６１４  スキャナ装置
６１５  読取窓
６２０  キャッシャ装置
６２１  表示部
６２２  顧客用表示部
６２３  キーボード
７１０  サーバ装置
７２０  店舗側構成
７３０  通信網
７４０  店舗端末
７５０  スタンド
７６０  タッチパネルユニット
７７０  撮像部
【図１】
2016024601.tif 000003
【図２】
2016024601.tif 000004
【図３】
2016024601.tif 000005
【図４】
2016024601.tif 000006
【図５】
2016024601.tif 000007
【図６】
2016024601.tif 000008
【図７】
2016024601.tif 000009
【図８】
2016024601.tif 000010
【図９】
2016024601.tif 000011
【図１０】
2016024601.tif 000012