(57)【要約】【課題】顧客に対して適切にサービスを提供する。【解決手段】生成部２０２０は、状態情報を生成する。状態情報は、商品登録処理の開始を待つ顧客の状態を表す。状態情報は、商品登録処理の開始を待つ顧客が撮像された１つ以上の画像（以下、第１画像）を解析することで生成される。生成部２０２０は第１特定情報を取得する。第１特定情報は、商品登録処理の開始を待つ顧客を特定する。生成部２０２０は、状態情報と第１特定情報とを対応づけて記憶装置１０に記憶させる。決定部２０６０は、第２特定情報を取得する。第２特定情報は、商品登録処理が開始された顧客を特定する。決定部２０６０は、取得した第２特定情報によって特定される顧客と同じ顧客を特定する第１特定情報を特定する。決定部２０６０は、その第１特定情報と対応づけられている状態情報を記憶装置１０から取得し、その状態情報を用いて、顧客に提供すべきサービスを決定する。【選択図】図１
2018055233.tif 000002
【特許請求の範囲】
【請求項１】
精算対象商品の商品登録処理の開始を待つ顧客の状態を表す状態情報と、前記商品登録処理の開始を待つ顧客を特定する第１特定情報とを対応づけて記憶装置に記憶させる生成手段と、
前記商品登録処理が開始された顧客を特定する第２特定情報を取得し、前記第２特定情報によって特定される顧客と同じ顧客を特定する前記第１特定情報に対応づけられている前記状態情報を用いて、前記商品登録処理が開始された顧客に提供すべきサービスを決定する決定手段と、
を有し、
前記生成手段は、前記商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで前記状態情報を生成する、情報処理装置。
【請求項２】
前記状態情報は、顧客がストレスを感じているか否か、又は顧客が感じているストレスの大きさを表す、請求項１に記載の情報処理装置。
【請求項３】
前記生成手段は、前記第１画像を解析することで、顧客によって行われている所定の動作を検出し、その検出結果に基づいて前記状態情報を生成する、請求項１又は２に記載の情報処理装置。
【請求項４】
前記生成手段は、前記第１画像から前記顧客の特徴量を算出し、その特徴量を示す前記第１特定情報を生成し、
前記決定手段は、前記商品登録処理が開始された顧客が撮像された第２画像を用いて前記顧客の特徴量を算出し、前記算出された特徴量を示す前記第２特定情報を生成する、請求項１乃至３いずれか一項に記載の情報処理装置。
【請求項５】
前記生成手段は、前記第１画像に加え、前記顧客の体温に関する体温情報をさらに用いて前記顧客の状態情報を生成する、請求項１乃至４いずれか一項に記載の情報処理装置。
【請求項６】
前記決定手段が行う前記サービスの決定は、クーポンの提供の有無、ポイントの提供の有無、又は前記商品登録処理において登録された商品の精算金額に対して行う割引の有無を決定することを含む、請求項１乃至５いずれか一項に記載の情報処理装置。
【請求項７】
前記決定手段が行う前記サービスの決定は、前記顧客に提供すべきクーポンの内容、前記顧客に提供すべきポイントの大きさ、又は前記商品登録処理において登録された商品の精算金額に対して行う割引の大きさを決定することを含む、請求項６に記載の情報処理装置。
【請求項８】
コンピュータによって実行される制御方法であって、
精算対象商品の商品登録処理の開始を待つ顧客の状態を表す状態情報と、前記商品登録処理の開始を待つ顧客を特定する第１特定情報とを対応づけて記憶装置に記憶させる生成ステップと、
前記商品登録処理が開始された顧客を特定する第２特定情報を取得し、前記第２特定情報によって特定される顧客と同じ顧客を特定する前記第１特定情報に対応づけられている前記状態情報を用いて、前記商品登録処理が開始された顧客に提供すべきサービスを決定する決定ステップと、
を有し、
前記生成ステップにおいて、前記商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで前記状態情報を生成する、制御方法。
【請求項９】
請求項８に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
店舗で買い物をする顧客は、購入したい商品の精算を行う必要がある。そのため、商品の精算を行うレジには、精算待ちの顧客の列ができることが多い。一般に、列に並ばなければならない状況は顧客にとって好ましくない。そのため、レジに並ぶことによって顧客がストレスを感じてしまうことがある。
【０００３】
このような精算待ちの顧客の列ができることに関連する発明を開示している先行技術文献には、例えば特許文献１がある。特許文献１は、精算待ちの列に並んだ顧客に対し、列に並んだ時間に応じたサービスを提供する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２６６２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
顧客が感じるストレスは、レジに並んでいる時間に応じて大きくなるとは限らない。例えば、急いでいる顧客は、列に２〜３分並んだだけでもストレスを感じることがある一方で、時間に余裕がある顧客は、列に５分並んでもあまりストレスを感じないこともある。
【０００６】
本発明は、以上の課題に鑑みてなされたものである。本発明の目的の一つは、顧客に対して適切にサービスを提供する技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、（１）精算対象商品の商品登録処理の開始を待つ顧客の状態を表す状態情報と、前記商品登録処理の開始を待つ顧客を特定する第１特定情報とを対応づけて記憶装置に記憶させる生成手段と、（２）前記商品登録処理が開始された顧客を特定する第２特定情報を取得し、前記第２特定情報によって特定される顧客と同じ顧客を特定する前記第１特定情報に対応づけられている前記状態情報を用いて、前記商品登録処理が開始された顧客に提供すべきサービスを決定する決定手段と、を有する。
前記生成手段は、前記商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで前記状態情報を生成する。
【０００８】
本発明の制御方法は、コンピュータによって実行される。
当該制御方法は、（１）精算対象商品の商品登録処理の開始を待つ顧客の状態を表す状態情報と、前記商品登録処理の開始を待つ顧客を特定する第１特定情報とを対応づけて記憶装置に記憶させる生成ステップと、（２）前記商品登録処理が開始された顧客を特定する第２特定情報を取得し、前記第２特定情報によって特定される顧客と同じ顧客を特定する前記第１特定情報に対応づけられている前記状態情報を用いて、前記商品登録処理が開始された顧客に提供すべきサービスを決定する決定ステップと、を有する。
前記生成ステップにおいて、前記商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで前記状態情報を生成する。
【０００９】
本発明のプログラムは、本発明の制御方法の各ステップをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、顧客に対して適切にサービスを提供する技術が提供される。
【図面の簡単な説明】
【００１１】
【図１】実施形態１の情報処理装置を例示するブロック図である。
【図２】実施形態１の情報処理装置によって行われる処理を概念的に例示する図である。
【図３】実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。
【図４】情報処理装置を実現するための計算機を例示する図である。
【図５】ストレスレベルと、第１画像から所定動作が検出される回数の範囲との対応付けを例示する図である。
【図６】所定動作ごとに定められたスコアを例示する図である。
【図７】スコアとストレスレベルとの対応付けを例示する図である。
【図８】状態情報と第１特定情報の対応付けをテーブル形式で例示する図である。
【図９】サービス情報をテーブル形式で例示する図である。
【図１０】状態情報の生成方法のバリエーションを示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
【００１３】
［実施形態１］
図１は、実施形態１の情報処理装置２０００を例示するブロック図である。情報処理装置２０００は、生成部２０２０、及び決定部２０６０を有する。生成部２０２０は、状態情報を生成する。状態情報は、商品登録処理の開始を待つ顧客の状態を表す。商品登録処理は、顧客が購入する商品を精算対象として登録する処理である。例えば店員が、商品登録処理を行うレジ端末（以下、商品登録装置）に設けられているバーコードリーダを用いて、商品に付されているバーコードを読み取ることにより、その商品が精算対象として登録される。商品登録処理の開始を待つ顧客は、商品登録装置において精算対象の商品の登録を受けるために並んでいる顧客（商品登録装置に並んでいる顧客）とも言うことができる。
【００１４】
なお、生成部２０２０は、商品登録処理の開始を待つ顧客が撮像された１つ以上の画像（以下、第１画像）を解析することで、その顧客の状態情報を生成する。状態情報の生成方法の詳細については後述する。
【００１５】
さらに生成部２０２０は、第１特定情報を取得する。第１特定情報は、商品登録処理の開始を待つ顧客を特定する情報である。そして生成部２０２０は、状態情報と第１特定情報とを対応づけて記憶装置１０に記憶させる。なお、第１特定情報は、生成部２０２０によって生成されてもよいし、情報処理装置２０００以外の装置によって生成されてもよい。
【００１６】
決定部２０６０は、第２特定情報を取得する。第２特定情報は、商品登録処理が開始された顧客を特定する情報である。ここで、「商品登録処理が開始された顧客」とは、例えば、商品登録装置を操作する店員に商品を渡し、店員による商品の登録操作が終了するのを待っている顧客を意味する。また例えば、商品の登録を顧客が行う場合、「商品登録処理が開始された顧客」とは、商品登録装置を操作して商品の登録を行っている顧客を意味する。なお、第２特定情報は、決定部２０６０によって生成されてもよいし、情報処理装置２０００以外の装置によって生成されてもよい。
【００１７】
次に決定部２０６０は、取得した第２特定情報によって特定される顧客と同じ顧客を特定する第１特定情報を特定する。さらに決定部２０６０は、その第１特定情報と対応づけられている状態情報を記憶装置１０から取得する。そして決定部２０６０は、取得された状態情報を用いて、顧客に提供すべきサービスを決定する。
【００１８】
図２は、本実施形態の情報処理装置２０００によって行われる処理を概念的に例示する図である。図２（ａ）は、顧客Ａが商品登録装置に並んでいる様子を表している。情報処理装置２０００は、顧客Ａについて第１特定情報の取得及び状態情報の生成を行い、記憶装置１０に記憶させる。状態情報は、図２（ａ）における顧客Ａの状態として、状態Ｘを示している。
【００１９】
図２（ｂ）は、図２（ａ）からしばらく後の様子を表している。具体的には、図２（ｂ）において、店員が、顧客Ａが購入しようとしている商品を商品登録装置に登録している。この際、情報処理装置２０００は、顧客Ａを特定する第２特定情報を取得する。次に、情報処理装置２０００は、記憶装置１０に記憶されている第１特定情報の中から、この第２特定情報によって特定される顧客と同じ顧客（顧客Ａ）を特定する第１特定情報を特定する。そして、情報処理装置２０００は、特定した第１特定情報に対応づけられている状態情報を取得する。こうすることで、情報処理装置２０００は、商品登録装置に並んでいる際の顧客Ａの状態である状態Ｘを把握することができる。そして情報処理装置２０００は、この状態Ｘに基づいて、顧客Ａに提供するサービスを決定する。
【００２０】
＜作用・効果＞
本実施形態の情報処理装置２０００によれば、商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで顧客の状態が把握され、その顧客の状態に応じて顧客に対するサービスが決定される。こうすることで、商品登録処理の開始を待つ顧客の状態に応じ、顧客に対して適切にサービスを提供することができる。
【００２１】
例えば顧客の状態は、顧客がストレスを感じているか否か、又は顧客が感じているストレスの大きさなどによって表される。以下、顧客が感じているストレスのことを単に「顧客のストレス」とも表記する。このように顧客のストレスを把握することで、情報処理装置２０００は、商品を購入する顧客に対し、その顧客が商品登録処理の開始を待っている時（商品登録装置に並んでいる時）に感じたストレスに応じたサービスを適切に提供できるようになる。
【００２２】
前述したように、特許文献１は、顧客が商品登録装置に並んだ時間に応じてサービスを提供する。しかし、顧客が商品登録装置に並んだ時間では、顧客のストレスの有無や顧客のストレスの大きさを精度よく把握できない。例えば、列に並ぶ時間が同じであっても、顧客に時間の余裕があるか否かによって顧客のストレスが変わりうる。具体的には、急いでいる顧客は、列に２〜３分並んだだけでもストレスを感じることがある一方で、時間に余裕がある顧客は、列に５分並んでもあまりストレスを感じないこともある。また、ストレスの感じ方は、顧客の性格にも依存しうる。
【００２３】
本実施形態の情報処理装置２０００は、顧客が撮像された画像を解析するため、列に並んだ時間（商品登録処理の開始を待っていた時間）という要素を用いる場合と比較して、顧客の状態を精度よく把握することができる。よって、本実施形態の情報処理装置２０００によれば、顧客に対してより適切にサービスを提供できる。
【００２４】
以下、本実施形態についてさらに詳細を述べる。
【００２５】
＜処理の流れ＞
図３は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。情報処理装置２０００によって実行される処理は、商品登録処理の開始を待つ顧客について行われる処理（図２（ａ）参照）と、商品登録処理が開始された顧客について行われる処理（図２（ｂ）参照）とを含む。以下、前者の処理を第１処理と呼び、後者の処理を第２処理と呼ぶ。第１処理は、生成部２０２０によって行われる処理である。一方、第２処理は、決定部２０６０によって行われる処理である。
【００２６】
図３（ａ）は、第１処理の流れを例示するフローチャートである。生成部２０２０は、第１画像を取得する（Ｓ１０２）。生成部２０２０は、第１画像を用いて状態情報を生成する（Ｓ１０４）。生成部２０２０は、第１特定情報を取得する（Ｓ１０６）。生成部２０２０は、状態情報と第１特定情報とを対応づけて記憶装置１０に記憶させる（Ｓ１０８）。
【００２７】
図３（ｂ）は、第２処理の流れを例示するフローチャートである。決定部２０６０は第２特定情報を取得する（Ｓ１１０）。決定部２０６０は、取得した第２特定情報によって特定される顧客と同じ顧客を特定する第１特定情報を特定する（Ｓ１１２）。決定部２０６０は、特定した第１特定情報に対応づけられている状態情報を記憶装置１０から取得する（Ｓ１１４）。決定部２０６０は、取得された状態情報を用いて、顧客に提供すべきサービスを決定する（Ｓ１１６）。
【００２８】
＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【００２９】
図４は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は種々の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【００３０】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）や GPU（Graphics Processing Unit）などの演算処理装置である。メモリ１０６０は、RAM（Random Access Memory）などのメモリである。ストレージ１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などの記憶装置である。
【００３１】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。図４では、入出力インタフェース１１００に、カメラ２０が接続されている。カメラ２０は、商品登録装置に並んでいる顧客を撮像して、第１画像を生成する。なお、カメラ２０は情報処理装置２０００と接続されていなくてもよい。
【００３２】
ネットワークインタフェース１１２０は、通信網に接続するためのインタフェースである。ネットワークインタフェース１１２０は、無線回線で通信網に接続するインタフェースであってもよいし、有線回線で通信網に接続するインタフェースであってもよい。
【００３３】
ストレージ１０８０は情報処理装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、そのプログラムモジュールに対応する各機能を実現する。
【００３４】
計算機１０００のハードウエア構成は図４に示した構成に限定されず、他の様々な構成をとりうる。例えば、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。
【００３５】
＜情報処理装置２０００の実現例＞
情報処理装置２０００を実現する計算機１０００は、例えば、商品登録装置や、店舗の管理を行うための店舗サーバなどとして実現される。
【００３６】
なお、商品登録装置は、精算装置（精算対象として登録された商品の精算の処理を行う装置）と一体となっているものでもよいし、精算装置とは別体となっているものでもよい。前者の場合、商品を精算対象として登録する処理と、精算対象として登録された商品の精算処理（代金の支払いなど）が、同じ場所で行われる。このケースにおいて、商品登録装置の操作は店員によって行われてもよいし、顧客によって行われてもよい。商品登録装置の操作が顧客によって行われる形式は、セルフ形式などと呼ばれる。
【００３７】
商品登録装置と精算装置とが別体となっている場合、商品を精算対象として登録する処理と、精算対象として登録された商品の精算処理とが、別の場所で行われる。このケースでは、例えば商品登録装置の操作は店員によって行われ、精算装置の操作は顧客によって行われる。商品登録装置と精算装置がこのように操作される形式は、セミセルフ形式などと呼ばれる。
【００３８】
情報処理装置２０００は、複数の計算機を用いて実現されてもよい。例えば情報処理装置２０００は、図３（ａ）に示した第１処理（生成部２０２０によって実行される処理）を実行する計算機Ａと、図３（ｂ）に示した第２処理（決定部２０６０によって実行される処理）を実行する計算機Ｂによって実現される。この場合、計算機Ａのストレージ１０８０には、生成部２０２０の機能を実現するプログラムが記憶されている。一方、計算機Ｂのストレージデバイス１０８０には、決定部２０６０の機能を実現するプログラムが記憶されている。例えば、計算機Ａを店舗サーバで実現し、計算機Ｂを商品登録装置で実現するといった実現方法がある。
【００３９】
＜第１画像の取得：Ｓ１０２＞
生成部２０２０は、第１画像を取得する（Ｓ１０２）。第１画像は、商品登録処理の開始を待つ顧客をカメラ２０で撮像することによって生成される。言い換えれば、第１画像は、商品登録装置に並んでいる顧客を含む画像である。
【００４０】
第１画像を生成するカメラ２０は、動画を生成してもよいし、静止画を生成してもよい。前者の場合、第１画像は、カメラ２０によって生成された動画を構成するフレームである。後者の場合、第１画像は、カメラ２０によって生成される静止画である。
【００４１】
生成部２０２０が第１画像を取得する方法は任意である。例えば生成部２０２０は、第１画像が記憶されている記憶装置にアクセスすることで、第１画像を取得する。第１画像が記憶されている記憶装置は、第１画像を生成したカメラ２０の内部に設けられていてもよいし、カメラ２０の外部に設けられていてもよい。また例えば、生成部２０２０は、カメラ２０などから送信される第１画像を受信することで、第１画像を取得してもよい。
【００４２】
＜状態情報の生成：Ｓ１０４＞
生成部２０２０は、第１画像を用いて状態情報を生成する（Ｓ１０４）。前述したように、状態情報は、商品登録処理の開始を待つ顧客の状態を表す。状態情報は、例えば顧客が感じているストレスに関する情報である。この場合、例えば状態情報は、顧客のストレスの有無や、顧客のストレスの大きさなどを示す。
【００４３】
生成部２０２０は、第１画像を解析することで状態情報を生成する。その生成方法は様々である。例えば生成部２０２０は、１つ以上の第１画像を解析することで、顧客の動作を解析する。そして、顧客の動作に基づいて、顧客のストレスの有無の判定や、顧客のストレスの大きさの算出を行う。この場合、第１画像から検出すべき１つ以上の所定動作を予め定めておく。この所定動作は、ストレスを感じている顧客が行うと予想される動作である。例えば所定動作は、（１）前に並んでいる人の商品を除き込む動作、（２）足を上下に揺する動作、（３）仰け反るような姿勢をとる動作、又は（４）眉間にしわを寄せる動作などである。
【００４４】
生成部２０２０は、第１画像を個々に解析することで所定動作の検出を行ってもよいし、複数の第１画像の比較（例えば差分検出）を行うことで所定動作の検出を行ってもよい。どちらの方法を利用するかは、例えば検出したい動作の種類に応じて適宜定めておく。なお、１つ又は複数の画像から所定の動作を検出する技術には、既存の技術を利用することができる。
【００４５】
以下、第１画像から所定動作を検出することで状態情報を生成する方法について、（１）ストレスの有無を判定するケース、及び（２）ストレスの大きさを算出するケースに分けてさらに説明する。
【００４６】
＜＜ストレスの有無の判定するケース＞＞
生成部２０２０は、例えばいずれかの所定動作が第１画像から検出されたら、顧客がストレスを感じていると判定する。この場合、生成部２０２０は、いずれの所定動作も第１画像から検出されないときに、顧客がストレスを感じていないと判定する。
【００４７】
また例えば、生成部２０２０は、いずれかの所定動作が所定回数以上検出されたら、顧客がストレスを感じていると判定してもよい。この場合、生成部２０２０は、所定回数以上検出される所定動作がなければ、顧客がストレスを感じていないと判定する。この所定回数は、各動作に共通の回数であってもよいし、動作ごとに異なる回数であってもよい。この所定回数を示す情報は、生成部２０２０に予め設定されていてもよいし、生成部２０２０からアクセス可能な記憶装置に記憶されていてもよい。
【００４８】
また例えば、生成部２０２０は、所定数以上の種類の所定動作が検出されたら、顧客がストレスを感じていると判定してもよい。この場合、生成部２０２０は、検出される所定動作の種類の数が所定数より少なければ、顧客がストレスを感じていないと判定する。この所定数を示す情報は、生成部２０２０に予め設定されていてもよいし、生成部２０２０からアクセス可能な記憶装置に記憶されていてもよい。
【００４９】
＜＜ストレスの大きさを算出するケース＞＞
例えば生成部２０２０は、所定動作が検出される回数に基づいて、顧客のストレスの大きさを算出する。この場合、例えば顧客のストレスの大きさを、所定動作が検出された回数で表す。例えば所定動作が３回検出された場合、生成部２０２０は、顧客のストレスの大きさを３とする。
【００５０】
また例えば、生成部２０２０は、顧客のストレスの大きさを５段階などのレベルで表してもよい。以下、このレベルをストレスレベルと呼ぶ。この場合、検出される所定動作の回数の範囲とストレスレベルとの対応づけを予め定めておく。
【００５１】
図５は、ストレスレベルと、第１画像から所定動作が検出される回数の範囲との対応付けを例示する図である。図５のケースでは、例えば所定動作が検出された回数が１回から３回の範囲内であれば、ストレスレベルは１となる。また例えば、所定動作が検出された回数が４回から６回の範囲内であれば、ストレスレベルは２となる。
【００５２】
ここで、顧客の動作によって表されるストレスの大きさは、その動作ごとに異なることが考えられる。そこで、各所定動作によって表されるストレスの大きさを予め定義しておいてもよい。以下、或る所定動作によって表されるストレスの大きさを、その所定動作のスコアと呼ぶ。図６は、所定動作ごとに定められたスコアを例示する図である。例えば図６において、動作１には３というスコアが対応づけられている。
【００５３】
所定動作にスコアが定められている場合、生成部２０２０は、第１画像から検出された各所定動作に対応するスコアを取得する。さらに生成部２０２０は、取得されたこのスコアの合計値を算出する。そして生成部２０２０は、このスコアの合計値に基づいて、顧客のストレスの大きさを定める。例えば生成部２０２０は、スコアの合計値を、顧客のストレスの大きさとする。
【００５４】
また例えば、スコアの合計値の範囲とストレスレベルとの対応付けを定義しておいてもよい。図７は、スコアとストレスレベルとの対応付けを例示する図である。この例の場合、例えばスコアの合計値が５であれば、ストレスレベルは１である。
【００５５】
＜＜利用する第１画像について＞＞
前述したように、生成部２０２０は、商品登録処理の開始を待つ顧客が写っている１つ以上の第１画像を用いて、その顧客の状態情報を生成する。顧客の状態情報の生成に用いられる第１画像は、商品登録処理の開始を待つその顧客が含まれる全ての第１画像であってもよいし、一部の第１画像であってもよい。後者の場合、例えば生成部２０２０は、商品登録処理が開始される直前の顧客が撮像された第１画像を利用して、その顧客の状態情報を生成する。ここで、「或る顧客について商品登録処理が開始される直前である」という状況は、例えば、その顧客の１つ前に並んでいる顧客が商品登録装置において精算対象の商品の登録を受けている状況である。
【００５６】
また生成部２０２０は、各顧客について１つの状態情報を生成してもよいし、複数の状態情報を生成してもよい。後者の場合、例えば生成部２０２０は、顧客が商品登録装置に並び始めてから所定時間ごとに、その顧客の状態情報を生成する。例えば１０秒ごとに顧客の状態情報を生成する場合、顧客が商品登録装置に並び始めた時点 t から t+10 秒までの顧客が撮像された第１画像を用いて１つ目の状態情報が生成され、t+10 秒からt+20 秒までの顧客が撮像された第１画像を利用して２つ目の状態情報が生成される。
【００５７】
＜第１特定情報の取得：Ｓ１０６＞
生成部２０２０は、商品登録処理の開始を待つ顧客を特定する第１特定情報を取得する（Ｓ１０６）。前述したように、第１特定情報は、生成部２０２０によって生成されてもよいし、情報処理装置２０００以外の装置によって生成されてもよい。まず、生成部２０２０が第１特定情報を生成する方法について説明する。
【００５８】
例えば生成部２０２０は、商品登録の開始を待つ顧客を含む画像を用いて顧客の特徴量を算出し、算出した特徴量を示す第１特定情報を生成する。顧客の特徴量は、例えば、顧客の顔、体型、服装、又は持ち物などの特徴を表すスカラー値やベクトル値である。なお、画像に含まれている人の特徴量を算出する技術には、既存の技術を利用することができる。
【００５９】
ここで、第１特定情報の生成に利用される画像は、状態情報の生成に利用される画像と同じであってもよいし、異なってもよい。後者の場合、第１特定情報の生成に利用される画像を生成するカメラと、状態情報の生成に利用されるカメラとは、同じであってもよいし、異なっていてもよい。異なるカメラを利用する場合、第１特定情報の生成に利用されるカメラについては、顧客の顔が大きく撮像されるようにカメラを配置又は設定することが好適である。こうすることで、顧客の特徴が表れやすい顧客の顔について、特徴量を精度よく算出することができる。一方、状態情報の生成に利用されるカメラについては、顧客の身体全体を撮像するようにカメラを配置又は設定することが好適である。こうすることで、顧客の頭、胴体、又は手足などの様々な部分で行われる動作を解析することができる。ただし、各カメラの配置や設定は、上述の配置や設定に限定されない。
【００６０】
情報処理装置２０００以外の装置が第１特定情報を生成する方法も、生成部２０２０が第１特定情報を生成する方法と同様である。なお、生成部２０２０が第１特定情報を取得する方法は任意である。例えば生成部２０２０は、第１特定情報が記憶されている記憶装置にアクセスすることで、第１特定情報を取得する。第１特定情報が記憶されている記憶装置は、第１特定情報を生成した装置の内部に設けられていてもよいし、その装置の外部に設けられていてもよい。また例えば、生成部２０２０は、第１特定情報を生成した装置から送信される第１特定情報を受信することで、第１特定情報を取得してもよい。
【００６１】
＜状態情報と第１特定情報の対応付け：Ｓ１０８＞
生成部２０２０は、状態情報と第１特定情報を対応づけて記憶装置１０に記憶させる（Ｓ１０８）。図８は、状態情報と第１特定情報の対応付けをテーブル形式で例示する図である。例えば１行目のレコードは、f1 という第１特定情報で特定される顧客が、商品登録処理の開始を待っている際に s1 という状態であったことを表す。
【００６２】
ここで商品登録処理の開始を待っている顧客が複数いると、複数の顧客それぞれについて状態情報と第１特定情報が生成される。この場合、生成部２０２０は、どの状態情報とどの第１特定情報とを対応づけるかを決定する必要がある。この決定方法は様々である。例えば、状態情報と第１特定情報が同じ第１画像を用いて生成されるとする。この場合、生成部２０２０は、同じ第１画像を用いて生成された状態情報と第１特定情報とを対応づける。
【００６３】
また例えば、第１特定情報の生成に、第１画像とは異なる画像を利用するとする。この場合、生成部２０２０は、複数の顧客それぞれの状態情報の生成に利用された各第１画像について、第１画像に含まれる顧客の特定情報（以下、第３特定情報）を生成する。生成部２０２０は、第１特定情報と、その第１特定情報との類似度が高い第３特定情報とを対応づける。そして生成部２０２０は、第１特定情報と、対応づけられた第３特定情報の生成に利用された第１画像から生成された状態情報とを対応づける。
【００６４】
記憶装置１０は、情報処理装置２０００の内部に設けられていてもよいし、情報処理装置２０００の外部に設けられていてもよい。前者の場合、例えば記憶装置１０は、ストレージデバイス１０８０によって実現される。後者の場合、記憶装置１０は、情報処理装置２０００と通信可能に接続されている。例えば記憶装置１０は、NAS（Network Attached Storage）として実現される。
【００６５】
ここで、一人の顧客について複数の状態情報が生成されている場合、その顧客の第１特定情報に対応づけられる状態情報は、これら複数の状態情報の内の全てであってもよい、一部であってもよい。後者の場合、例えば生成部２０２０は、最新の状態情報を第１特定情報に対応づける。
【００６６】
＜第２特定情報の取得：Ｓ１１０＞
決定部２０６０は、第２特定情報を取得する（Ｓ１１０）。第２特定情報は、商品登録処理が開始された顧客を特定する情報である。前述したように、第２特定情報は、決定部２０６０によって生成されてもよいし、情報処理装置２０００以外の装置によって生成されてもよい。まず、決定部２０６０が第２特定情報を生成する方法について説明する。
【００６７】
例えば第２特定情報の生成は、商品登録処理が開始された顧客（商品登録装置において精算対象の商品の登録を受けている顧客）が含まれている画像（以下、第２画像）を解析することで行われる。第２画像を取得する方法は、第１画像を取得する方法と同様である。また、第２画像を用いて顧客の第２特定情報を生成する方法は、第１画像を用いて顧客の第１特定情報を生成する方法と同様である。
【００６８】
第２画像は、例えば商品登録装置の付近に設置されたカメラによって生成される。ただしこのカメラは、商品登録装置において精算対象の商品の登録を受けている顧客を撮像できる位置に設けられていればよく、商品登録装置の付近に設けられていなくてもよい。
【００６９】
情報処理装置２０００以外の装置が第２特定情報を生成する方法も、決定部２０６０が第２特定情報を生成する方法と同様である。またこの場合に決定部２０６０が第２特定情報を取得する方法は、情報処理装置２０００以外の装置によって生成された第１特定情報を生成部２０２０が取得する方法と同様である。
【００７０】
＜状態情報の取得：Ｓ１１２＞
決定部２０６０は、記憶装置１０に記憶されている第１特定情報の中から、Ｓ１１０において取得した第２特定情報によって特定される顧客と同じ顧客を特定するものを特定する（Ｓ１１２）。そして、決定部２０６０は、特定した第１特定情報と対応づけられている状態情報を記憶装置１０から取得する。
【００７１】
第２特定情報によって特定される顧客と同じ顧客を特定する第１特定情報を特定する方法は様々である。例えば決定部２０６０は、記憶装置１０に記憶されている第１特定情報のうち、第２特定情報と同一の情報（例えば、第２特定情報に示されている顧客の特徴量と同一の特徴量）を示している第１特定情報を、その第２特定と同じ顧客を特定している第１特定情報として特定する。また例えば、決定部２０６０は、記憶装置１０に記憶されている第１特定情報のうち、第２特定情報との類似度が最も高い第１特定情報を、その第２特定情報と同じ顧客を特定している第１特定情報とする。
【００７２】
＜サービスの決定：Ｓ１１４＞
決定部２０６０は、Ｓ１１２において取得された状態情報を用いて、顧客に提供するサービスを決定する（Ｓ１１４）。顧客に提供するサービスは、例えば、顧客のストレスを緩和するためのサービスである。例えばサービスは、商品の精算金額に対する割引、クーポン、ポイント、又はプレゼントの提供などである。
【００７３】
以下、状態情報が顧客のストレスの有無を示すケースと、状態情報が顧客のストレスの大きさを示すケースの２つを例として、決定部２０６０が行う処理を具体的に説明する。
【００７４】
＜＜状態情報が顧客ストレスの有無を示すケース＞＞
状態情報が顧客のストレスの有無を示すケースについて説明する。このケースにおいて、「顧客がストレスを感じている」という状態を示す状態情報を取得した場合、決定部２０６０は、顧客にサービスを提供することを決定する。一方、「顧客がストレスを感じていない」という状態を示す状態情報を取得した場合、決定部２０６０は、顧客にサービスを提供しないことを決定する。
【００７５】
顧客に対して提供するサービスは、予め定められていてもよいし、店員がその場で決定してもよい。前者の場合、提供するサービスを示す情報は、予め決定部２０６０に設定されていてもよいし、決定部２０６０からアクセス可能な記憶装置に記憶しておいてもよい。また、店員が顧客に対して手動でサービスを提供する場合、店員がサービスの内容を把握しておくようにしてもよい。
【００７６】
＜＜状態情報が顧客のストレスの大きさを示すケース＞＞
状態情報によって顧客のストレスの大きさが示されている場合、例えば決定部２０６０は、そのストレスの大きさに基づいて、サービスを提供するか否かを決定する。
【００７７】
例えば、顧客のストレスの大きさが所定値以上である場合、決定部２０６０は、顧客に対してサービスを提供することを決定する。一方、顧客のストレスの大きさが所定値未満である場合、決定部２０６０は、顧客に対してサービスを提供しないことを決定する。
【００７８】
例えばストレスの大きさがストレスレベルで表され、上記所定値が２であるとする。この場合、決定部２０６０は、状態情報に示されているストレスレベルが２以上であれば、顧客に対してサービスを提供することを決定する。
【００７９】
顧客に対して提供するサービスは、顧客のストレスの大きさにかかわらず同じであってもよいし、顧客のストレスの大きさに応じて異なってもよい。後者の場合、例えば、精算金額に対する割引の割引率、ポイントの大きさ、クーポンの内容、又はプレゼントの内容などが、顧客のストレスの大きさに基づいて決定される。以下、ストレスの大きさに応じてサービスが異なるケースについて説明する。
【００８０】
このケースでは、顧客のストレスの大きさに対して、顧客へ提供すべきサービスを予め対応づけておく。この対応付けを示す情報をサービス情報と呼ぶ。図９は、サービス情報をテーブル形式で例示する図である。図９において、ストレスの大きさは前述したストレスレベルで表されている。なおこの例では、全てのストレスレベルに対してサービスが対応づけられている。そのため決定部２０６０は、「顧客に対してサービスを提供するか否か」の判定を行わなくてよい
【００８１】
図９（ａ）では、各ストレスレベルに対して同じ種類のサービスが対応づけられている。具体的には、いずれのストレスレベルに対しても、精算金額に対する割引というサービスが対応づけられている。ただし、割引率がストレスレベルに応じて異なっている。
【００８２】
一方図９（ｂ）では、各ストレスレベルに対して互いに異なる種類のサービスが対応づけられている。具体的には、ストレスレベル１、２、及び３それぞれに対し、精算金額に対する割引、ポイント、及びクーポンという互いに異なるサービスが対応づけられている。
【００８３】
ここで、ポイントやクーポンのように次回の来店時に利用されるサービスは、ストレスを感じてしまった顧客に対し、再度店舗を訪れることへのインセンティブを与えることができる。そこで、サービス情報を図９（ｂ）のように構成することにより、顧客が感じているストレスが比較的大きい場合に、上述したインセンティブを与えるサービスを顧客へ提供することができる。ただし、図９の例はあくまで一例であり、サービス情報の構成を限定するものではない。
【００８４】
顧客のストレスの大きさとサービスとの対応付けは、顧客のストレスの大きさに基づいてサービスを算出する演算式によって表されてもよい。例えば、サービスは以下の数式（１）によって算出される。
【数１】
2018055233.tif 000003
Vc は、顧客に対して提供するサービスの大きさを表す。サービスの大きさは、精算金額の割引率、付与するポイントの大きさ、又はクーポンの金額などである。Vmax は、顧客のストレスの大きさが最大値である場合に提供するサービスの大きさを表す。Sc は、状態情報によって示される顧客のストレスの大きさを表す。Smax は、ストレスの大きさの最大値を表す。なお、数式（１）を利用する場合、顧客に対して提供するサービスの種類は、予め定めておく。また、Vmax や Smax の値も予め定めておく。
【００８５】
＜＜状態情報が複数存在する場合＞＞
前述したように、第１特定情報に対して複数の状態情報が対応づけられる場合もある。この場合、サービスの決定には、１つの状態情報が用いられてもよいし、複数の状態情報（例えば全ての状態情報）が用いられてもよい。前者の場合、例えば決定部２０６０は、第１特定情報に対応づけられている状態情報の内の最新の状態情報を利用する。最新の状態情報は、例えば、商品登録処理が開始される直前における顧客の状態を表している。このように最新の状態情報を利用することで、例えば、商品登録装置に並び始めた時にはあまりストレスを感じていなかったが最終的には大きなストレスを感じた顧客に対して、適切なサービスを提供することができる。
【００８６】
複数の状態情報を利用する場合、例えば決定部２０６０は、これら複数の状態情報を統計処理することで、顧客のストレスの有無の判断やストレスの大きさの算出を行う。例えば状態情報が顧客のストレスの有無を示している場合、決定部２０６０は、各状態情報によって示される顧客のストレスの有無の統計値（単純平均値や重み付き平均値など）を算出することで、顧客のストレスの有無を総合的に判断する。また例えば、状態情報が顧客のストレスの大きさを示している場合、決定部２０６０は、各状態情報によって示される顧客のストレスの大きさの統計値（単純平均値や重み付き平均値など）を算出することで、総合的な顧客のストレスの大きさを算出する。
【００８７】
なお、重み付き平均において各状態情報に対して付加する重みを決定する方法は任意である。例えば決定部２０６０は、より新しい状態情報に対してより大きい重みを付加する。こうすることで、精算対象の商品の登録を受けるタイミングに近いタイミングにおける顧客の状態ほど、サービスの決定に大きく寄与することとなる。
【００８８】
＜サービスの提供方法＞
決定部２０６０によって決定されたサービスを顧客に提供する方法は様々である。例えば決定部２０６０は、決定したサービスを商品登録装置や精算装置に設けられているディスプレイ装置に表示させる。この場合、例えば、ディプレイ装置に表示されたサービスを店員が閲覧し、店員がそのサービスを顧客に提供する。例えば、精算金額に対する割引をサービスとすることが決定されたとする。この場合、決定部２０６０は、商品登録装置のディスプレイ装置に割引額を表示させる。店員は、表示された割引額を精算金額から差し引く。
【００８９】
また例えば、クーポンの提供がサービスとして決定されたとする。この場合、決定部２０６０は、商品登録装置のディスプレイ装置に、顧客に提供すべきクーポンを表示する。店員は、表示されたクーポンを顧客に提供する。なおこのクーポンは、紙媒体等として店員の手元に予め用意されていてもよいし、店員が商品登録装置を操作することによってその場で発行されてもよい。
【００９０】
また例えば、ポイントの付与がサービスとして決定されたとする。この場合、決定部２０６０は、商品登録装置のディスプレイ装置に、顧客に付与するポイントを表示する。店員は、商品登録装置を操作することで顧客にポイントを付与する。なお、顧客に対してポイントを付与する方法には、既存の技術を利用できる。
【００９１】
なお店員は、ディスプレイ装置に表示されたサービスが妥当であるか否かを判断し、その判断結果に応じて提供するサービスを任意に変更したり、サービスの提供をやめたりしてもよい。この判断の基準は、例えば店員のマニュアルなどにおいて予め定めておく。
【００９２】
クーポンやポイントなどのように顧客に対して何かを付与するサービスである場合、これらのサービスは顧客が持っている携帯端末などを通じてデジタルデータとして提供されてもよい。例えば商品登録装置や精算装置のディスプレイ装置が、顧客も閲覧できるように設置されているとする。この場合、決定部２０６０は、顧客の携帯端末によって読み取り可能なクーポンやポイントのデータをディスプレイ装置に表示させる。例えばこのデータは、ＱＲコード（登録商標）で表示される。顧客は、自身の携帯端末を操作してこのデータを読み取る。これにより、クーポンやポイントに関する情報が顧客の携帯端末に記憶される。
【００９３】
顧客に対するサービスは、店員や顧客の操作を介さず、自動的に商品登録装置や精算装置によって実行されてもよい。例えば、サービスとして精算金額に対する割引を提供する場合、精算装置は、決定部２０６０によって決定された割引額を精算金額から差し引き、差し引いた金額を精算金額として扱う。また例えば、サービスとしてクーポンを提供する場合、決定部２０６０は、商品登録装置や精算装置にクーポンを発行させたり、顧客の情報（例えば会員情報）を管理しているサーバに対して、顧客に提供するクーポンの情報を送信したりする。また例えば、サービスとしてポイントを提供する場合、決定部２０６０は、顧客の情報を管理しているサーバに対して、顧客に付与するポイントの情報を送信する。なお、クーポンやポイントを顧客の情報として管理する技術には、既存の技術を利用することができる。
【００９４】
［実施形態２］
実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様に、例えば図１で表される。以下で説明する点を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。
【００９５】
実施形態の生成部２０２０は、第１画像に加え、顧客の体温に関する情報（以下、体温情報）を用いて、顧客の状態情報を生成する。
【００９６】
顧客の体温情報は、例えばその顧客の体温の分布を表す情報である。顧客の体温の分布は、例えば赤外センサを使って計測することができる。この場合、商品登録処理の開始を待っている顧客から放射される赤外線を受光できる位置に、赤外線センサを設置しておく。なお、赤外線センサを使って人の体温の分布を生成する技術には既存の技術を利用することができる。
【００９７】
また例えば、顧客の体温情報は、顧客の身体の所定の位置の温度を表す情報である。例えば所定の位置は、顧客の手のひらである。この場合、例えば店舗で顧客が利用するカートや買い物カゴの持ち手などに、温度センサを設けておく。生成部２０２０は、この温度センサによって計測された、顧客の手のひらの温度を示す体温情報を取得する。
【００９８】
第１画像及び体温情報を用いて状態情報を生成する方法は様々である。例えば生成部２０２０は、第１画像と体温情報のそれぞれを用いて、顧客のストレスの有無を判定する。ここで、第１画像を用いて行われる判定の結果を第１判定結果と呼び、体温情報を用いて行われる判定の結果を第２判定結果と呼ぶ。そして生成部２０２０は、第１判定結果及び第２判定結果を用いて状態情報を生成する。
【００９９】
例えば生成部２０２０は、第１判定結果及び第２判定結果の結果を用いて、顧客のストレスの有無を示す状態情報を生成する。図１０は、状態情報の生成方法のバリエーションを示す図である。図１０において、チェックマークは、「顧客がストレスを感じている」という判定結果を意味する。一方、バツ印は、「顧客がストレスを感じていない」という判定結果を意味する。
【０１００】
図１０（ａ）の場合、生成部２０２０は、第１判定結果と第２判定結果の双方によって「顧客がストレスを感じている」と示されている場合のみ、「顧客がストレスを感じている」ということを示す状態情報を生成する。この場合、少なくとも一方の判定結果により、「顧客がストレスを感じていない」と示されている場合、生成部２０２０は、「顧客がストレスを感じていない」ということを示す状態情報を生成する。
【０１０１】
図１０（ｂ）の場合、生成部２０２０は、少なくとも一方の判定結果によって「顧客がストレスを感じている」と示されている場合、「顧客がストレスを感じている」ということを示す状態情報を生成する。この場合、双方の判定結果によって「顧客がストレスを感じていない」と示されている場合のみ、生成部２０２０は、「顧客がストレスを感じていない」ということを示す状態情報を生成する。
【０１０２】
図１０（ｃ）の場合、生成部２０２０は、「顧客がストレスを感じている」という結果を示す判定結果の数を用いて、ストレスレベルを示す状態情報を生成する。例えば、双方の判定結果が「顧客がストレスを感じている」という結果を示す場合、生成部２０２０は、ストレスレベル２を示す状態情報を生成する。
【０１０３】
また例えば生成部２０２０は、第１画像と体温情報のそれぞれを用いて、顧客のストレスレベルを算出してもよい。ここで、第１画像を用いて算出されるストレスレベルを第１ストレスレベルと呼び、体温情報を用いて算出されるストレスレベルを第２ストレスレベルと呼ぶ。生成部２０２０は、第１ストレスレベル及び第２ストレスレベルを用いて状態情報を生成する。
【０１０４】
例えば生成部２０２０は、以下の数式（２）を用いて、顧客のストレスの大きさを表す総合的な指標値（以下、総合ストレスレベル）を算出する。It、I1、及び I2 はそれぞれ総合ストレスレベル、第１ストレスレベル、及び第２ストレスレベルを表す。w1 と w2 はそれぞれ、第１ストレスレベルと第２ストレスレベルに与える重みを表す。
【数２】
2018055233.tif 000004
【０１０５】
生成部２０２０は、上述の総合ストレスレベル It を示す状態情報を生成する。
【０１０６】
なお、人の体温の分布や特定の部位の温度を用いて、人がストレスを感じているか否かを判定したり、人が感じているストレスの大きさを把握したりする技術には、既知の技術を利用することができる。
【０１０７】
＜ハードウエア構成＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図２によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージ１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。
【０１０８】
＜作用・効果＞
顧客によっては、ストレスが外見に表れにくい場合もある。具体的には、ストレスを感じてもそれをあまり行動に表さない顧客や、実際に感じているストレスに比べて行動から把握できるストレスの大きさが小さい顧客などがいる可能性がある。逆に顧客によっては、外見上はストレスを感じているように見えても、実際にはあまりストレスを感じていない可能性もある。例えば、顧客が足を上下に揺っていたとしても、その動作が単にその顧客の癖であり、その顧客のストレスの大きさとの相関が低い可能性もありうる。
【０１０９】
本実施形態によれば、画像を使って解析される顧客の外見に加え、外見以外の要素である顧客の体温も用いて顧客の状態を推測する。こうすることで、顧客の状態をより高い精度で推測することができる。
【０１１０】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
【０１１１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．  精算対象商品の商品登録処理の開始を待つ顧客の状態を表す状態情報と、前記商品登録処理の開始を待つ顧客を特定する第１特定情報とを対応づけて記憶装置に記憶させる生成手段と、
前記商品登録処理が開始された顧客を特定する第２特定情報を取得し、前記第２特定情報によって特定される顧客と同じ顧客を特定する前記第１特定情報に対応づけられている前記状態情報を用いて、前記商品登録処理が開始された顧客に提供すべきサービスを決定する決定手段と、
を有し、
前記生成手段は、前記商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで前記状態情報を生成する、情報処理装置。
２．  前記状態情報は、顧客がストレスを感じているか否か、又は顧客が感じているストレスの大きさを表す、１．に記載の情報処理装置。
３．  前記生成手段は、前記第１画像を解析することで、顧客によって行われている所定の動作を検出し、その検出結果に基づいて前記状態情報を生成する、１．又は２．に記載の情報処理装置。
４．  前記生成手段は、前記第１画像から前記顧客の特徴量を算出し、その特徴量を示す前記第１特定情報を生成し、
前記決定手段は、前記商品登録処理が開始された顧客が撮像された第２画像を用いて前記顧客の特徴量を算出し、前記算出された特徴量を示す前記第２特定情報を生成する、１．乃至３．いずれか一つに記載の情報処理装置。
５．  前記生成手段は、前記第１画像に加え、前記顧客の体温に関する体温情報をさらに用いて前記顧客の状態情報を生成する、１．乃至４．いずれか一つに記載の情報処理装置。
６．  前記決定手段が行う前記サービスの決定は、クーポンの提供の有無、ポイントの提供の有無、又は前記商品登録処理において登録された商品の精算金額に対して行う割引の有無を決定することを含む、１．乃至５．いずれか一つに記載の情報処理装置。
７．  前記決定手段が行う前記サービスの決定は、前記顧客に提供すべきクーポンの内容、前記顧客に提供すべきポイントの大きさ、又は前記商品登録処理において登録された商品の精算金額に対して行う割引の大きさを決定することを含む、６．に記載の情報処理装置。
【０１１２】
８．  コンピュータによって実行される制御方法であって、
精算対象商品の商品登録処理の開始を待つ顧客の状態を表す状態情報と、前記商品登録処理の開始を待つ顧客を特定する第１特定情報とを対応づけて記憶装置に記憶させる生成ステップと、
前記商品登録処理が開始された顧客を特定する第２特定情報を取得し、前記第２特定情報によって特定される顧客と同じ顧客を特定する前記第１特定情報に対応づけられている前記状態情報を用いて、前記商品登録処理が開始された顧客に提供すべきサービスを決定する決定ステップと、
を有し、
前記生成ステップにおいて、前記商品登録処理の開始を待つ顧客が撮像された第１画像を解析することで前記状態情報を生成する、制御方法。
９．  前記状態情報は、顧客がストレスを感じているか否か、又は顧客が感じているストレスの大きさを表す、８．に記載の制御方法。
１０．  前記生成ステップにおいて、前記第１画像を解析することで、顧客によって行われている所定の動作を検出し、その検出結果に基づいて前記状態情報を生成する、８．又は９．に記載の制御方法。
１１．  前記生成ステップにおいて、前記第１画像から前記顧客の特徴量を算出し、その特徴量を示す前記第１特定情報を生成し、
前記決定ステップにおいて、前記商品登録処理が開始された顧客が撮像された第２画像を用いて前記顧客の特徴量を算出し、前記算出された特徴量を示す前記第２特定情報を生成する、８．乃至１０．いずれか一つに記載の制御方法。
１２．  前記生成ステップにおいて、前記第１画像に加え、前記顧客の体温に関する体温情報をさらに用いて前記顧客の状態情報を生成する、８．乃至１１．いずれか一つに記載の制御方法。
１３．  前記決定ステップにおいて行う前記サービスの決定は、クーポンの提供の有無、ポイントの提供の有無、又は前記商品登録処理において登録された商品の精算金額に対して行う割引の有無を決定することを含む、８．乃至１３．いずれか一つに記載の制御方法。
１４．  前記決定ステップにおいて行う前記サービスの決定は、前記顧客に提供すべきクーポンの内容、前記顧客に提供すべきポイントの大きさ、又は前記商品登録処理において登録された商品の精算金額に対して行う割引の大きさを決定することを含む、１３．に記載の制御方法。
【０１１３】
１５．  ８．乃至１４．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
【符号の説明】
【０１１４】
１０  記憶装置
２０  カメラ
１０００  計算機
１０２０  バス
１０４０  プロセッサ
１０６０  メモリ
１０８０  ストレージ
１０８０  ストレージデバイス
１１００  入出力インタフェース
１１２０  ネットワークインタフェース
２０００  情報処理装置
２０２０  生成部
２０６０  決定部
【図１】
2018055233.tif 000005
【図２】
2018055233.tif 000006
【図３】
2018055233.tif 000007
【図４】
2018055233.tif 000008
【図５】
2018055233.tif 000009
【図６】
2018055233.tif 000010
【図７】
2018055233.tif 000011
【図８】
2018055233.tif 000012
【図９】
2018055233.tif 000013
【図１０】
2018055233.tif 000014