(57)【特許請求の範囲】
【請求項１】
店舗に居る客の顔の向きを検出する向き検出部と、
少なくとも、検出された前記顔の向きの時間的な変化に基づいて、前記客が接客行為を必要としていることを示す心理状態を推定する推定部と、
推定された前記心理状態に基づいて、前記客に対する前記接客行為を案内する案内情報を出力する出力部と
を備える情報処理装置。
【請求項２】
前記客の位置を検出する位置検出部を備え、
前記推定部は、
前記顔の向きの時間的な変化と、検出された前記客の位置とに基づいて、前記心理状態を推定する
ことを特徴する請求項１に記載の情報処理装置。
【請求項３】
前記推定部は、
複数の前記位置の各々において、前記客の顔の向く方向に前記店舗の店員が居た場合に、前記客が前記接客行為を必要としていることを示す前記心理状態であると推定する
ことを特徴する請求項２に記載の情報処理装置。
【請求項４】
前記店舗に置かれた商品が陳列される商品陳列部の位置と、当該商品陳列部に陳列された商品とを対応付けて記憶するデータベースに基づいて、前記顔の向く方向に存在する前記商品陳列部に陳列された商品を特定する特定部
を備え、
前記出力部は、
特定された前記商品を含む前記案内情報を出力する
ことを特徴する請求項１から請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
前記出力部は、
複数の客の各々に関する前記案内情報を、当該複数の客の各々の前記心理状態に応じた順番で出力する
ことを特徴する請求項１から請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記出力部は、
前記案内情報を、先に出力した前記案内情報に応じて行われた前記接客行為に基づいて変化させる
ことを特徴する請求項１から請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
コンピュータに、
店舗に居る客の顔の向きを検出するステップと、
少なくとも、検出された前記顔の向きの時間的な変化に基づいて、前記客が接客行為を必要としていることを示す心理状態を推定するステップと、
推定された前記心理状態に基づいて、前記客に対する前記接客行為を案内する案内情報を出力するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
人の顔の動きをカメラ等で監視し、その人の心理状態や行動の類型を推定する技術が、従来から提案されている。特許文献１から特許文献５には、人の顔又は視線の方向の時間的な変化を監視して、その人の心理状態を推定したり、不審者の存在等の異常を検出したりすることが記載されている。特許文献６には、ユーザの顔の動きに応じたイベントが実行されるゲームについて記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６４２７号公報
【特許文献２】特開２００８−４０７５８号公報
【特許文献３】特開２００８−５２６８３号公報
【特許文献４】特開２００８−２４５１６８号公報
【特許文献５】特開２００８−２８８７０７号公報
【特許文献６】特開２００８−１５９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、店舗を訪れた客の心理状態を踏まえた接客を支援する技術を提供することである。
【課題を解決するための手段】
【０００５】
本発明の請求項１に係る情報処理装置は、店舗に居る客の顔の向きを検出する向き検出部と、少なくとも、検出された前記顔の向きの時間的な変化に基づいて、前記客が接客行為を必要としていることを示す心理状態を推定する推定部と、推定された前記心理状態に基づいて、前記客に対する前記接客行為を案内する案内情報を出力する出力部とを備える。
【０００６】
本発明の請求項２に係る情報処理装置は、請求項１に係る構成において、前記客の位置を検出する位置検出部を備え、前記推定部は、前記顔の向きの時間的な変化と、検出された前記客の位置とに基づいて、前記心理状態を推定することを特徴することを特徴する。
【０００７】
本発明の請求項３に係る情報処理装置は、請求項２に係る構成において、前記推定部は、複数の前記位置の各々において、前記客の顔の向く方向に前記店舗の店員が居た場合に、前記客が前記接客行為を必要としていることを示す前記心理状態であると推定することを特徴する。
【０００８】
本発明の請求項４に係る情報処理装置は、請求項１から請求項３のいずれか１項に係る構成において、前記店舗に置かれた商品が陳列される商品陳列部の位置と、当該商品陳列部に陳列された商品とを対応付けて記憶するデータベースに基づいて、前記顔の向く方向に存在する前記商品陳列部に陳列された商品を特定する特定部を備え、前記出力部は、特定された前記商品を含む前記案内情報を出力することを特徴する。
【０００９】
本発明の請求項５に係る情報処理装置は、請求項１から請求項４のいずれか１項に係る構成において、前記出力部は、複数の客の各々に関する前記案内情報を、当該複数の客の各々の前記心理状態に応じた順番で出力することを特徴する。
【００１０】
本発明の請求項６に係る情報処理装置は、請求項１から請求項５のいずれか１項に係る構成において、前記出力部は、前記案内情報を、先に出力した前記案内情報に応じて行われた前記接客行為に基づいて変化させることを特徴する。
【００１１】
本発明の請求項７に係るプログラムは、コンピュータに、店舗に居る客の顔の向きを検出するステップと、少なくとも、検出された前記顔の向きの時間的な変化に基づいて、前記客が接客行為を必要としていることを示す前記客の心理状態を推定するステップと、推定された前記心理状態に基づいて、前記客に対する前記接客行為を案内する案内情報を出力するステップとを実行させるためのプログラムである。
【発明の効果】
【００１２】
請求項１，７に係る発明によれば、店舗を訪れた客の心理状態を踏まえた接客を支援することができる。
請求項２に係る発明によれば、客の位置によらずに接客する場合と比較して、その位置に居る客の心理状態により適した接客行為を案内することができる。
請求項３に係る発明によれば、客の位置だけを使って心理状態を推定する場合に比べて、客が接客を求めているという心理状態に適合した接客行為を案内することができる。
請求項４に係る発明によれば、客が探している商品の情報を案内情報に含めることができる。
請求項５に係る発明によれば、接客行為の必要度合いに応じた順番で、複数の客の各々に関する案内情報を出力することができる。
請求項６に係る発明によれば、実際に行われた接客行為を学習して、出力する案内情報に反映させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る情報処理システムの概要の説明図。
【図２】同実施形態に係る情報処理装置の構成を示すブロック図。
【図３】同実施形態に係る心理状態データベースの構成を示す図。
【図４】同実施形態に係る商品管理データベースの構成を示す図。
【図５】同実施形態に係る案内情報データベースの構成を示す図。
【図６】同実施形態に係る情報処理装置が実行する処理を示すフローチャート。
【図７Ａ】同実施形態に係る客の挙動と心理状態との関係の説明図。
【図７Ｂ】同実施形態に係る客の挙動と心理状態との関係の説明図。
【図８】本発明の第２実施形態に係る情報処理装置が実行する処理を示すフローチャート。
【図９】同実施形態に係る接客行為の特定の方法の一例を示す図。
【発明を実施するための形態】
【００１４】
図１は、本発明の第１実施形態に係る情報処理システム１の概要を説明する図である。図１は、店舗５００の屋内を平面的に見た図である。図１では、客Ｈと店員Ｍとの区別を分かりやすくするため、店員Ｍに斜線を付している。図１に示す客Ｈ、及び店員Ｍの人数はあくまで一例で、それぞれ複数存在してもよい。
店舗５００は、各種の商店、具体的にはコンビニエンスストアやスーパーマーケット、デパートその他の商店である。店舗５００は、本実施形態では、衣類等を販売する服飾店である。店舗５００には、商品が陳列される商品陳列部の一例である複数の陳列棚５１０が置かれている。ここでは、陳列棚５１０として、計８つの陳列棚５１０（陳列棚５１０Ａから５１０Ｈ）が置かれている。店舗５００の出入口５２０から店内に入った客Ｈは、陳列棚５１０に陳列された商品の中から、自身が購入したい商品を選んで、それを購入する。店員Ｍは、店舗５００で販売されている商品を客Ｈに案内する等の接客行為を行う。接客行為は、店舗５００や商品に関する案内（例えば、商品やその売り場の場所の案内）や相談、商品の購入のための会計等の、店員が客に対して行う様々な行為を含む。店員Ｍは、店員用の無線通信端末である店員用端末３００を携帯している。店員用端末３００は、例えばスマートフォンやトランシーバ等の携帯型の無線通信端末であるが、ヘッドセットや腕時計等の着用可能な無線通信端末であってもよい。
【００１５】
店舗５００には、店内を上方から撮像する撮像装置１００が設置されている。撮像装置１００は、ここでは、店内の全体を撮像するものとする。必要に応じて、撮像装置１００は複数台設置されてもよい。陳列棚５１０Ａから５１０Ｈの各々には、客Ｈの動線の方向を撮像する撮像装置２００が設けられている。撮像装置１００，２００は、動画像を撮像するカメラである。
【００１６】
情報処理システム１は、客Ｈの心理状態を踏まえた接客を支援するためのシステムである。情報処理システム１の情報処理装置２は、撮像装置１００，２００の撮像画像に基づいて、接客行為の支援のための処理を行う。情報処理装置２は、例えば、店舗５００の会計所に置かれたコンピュータ装置であるが、これ以外のコンピュータ装置であってもよい。
【００１７】
図２は、本実施形態の情報処理装置２の構成を示すブロック図である。情報処理装置２は、制御部１０と、インタフェース２０と、操作部３０と、表示部４０と、通信部５０と、心理状態データベース６０と、商品管理データベース７０と、案内情報データベース８０とを備える。
制御部１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を有するプロセッサや、ＡＳＩＣ（Application Specific Integrated Circuit）で例示される画像処理回路を備える。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、情報処理装置２の各部を制御する。画像処理回路は、ＣＰＵによって制御され、各種の画像処理を実行する。
【００１８】
インタフェース２０は、撮像装置１００，２００の各々と接続するインタフェースである。撮像装置１００，２００は、撮像し、撮像により得た撮像画像を、インタフェース２０に出力する。操作部３０は、例えばタッチセンサ又は物理キーを備え、ユーザにより行われた操作を受け付ける。表示部４０は、例えば液晶ディスプレイを備え、表示面に画像を表示する。通信部５０は、例えばモデムを備え、インターネットやＬＡＮ（Local Area Network）等の通信回線に接続して通信を行う。通信部５０は、例えば、店員用端末３００と無線通信を行う。
【００１９】
心理状態データベース６０と、商品管理データベース７０と、案内情報データベース８０とは、１又は複数の記憶装置（例えばハードディスク装置）によって構成される。
図３は、心理状態データベース６０の構成を示す図である。心理状態データベース６０は、「顔向き」と、「位置・移動」と、「心理状態」と、「優先度」との各情報を対応付けたデータベースである。
「顔向き」は、顔向きの時間的な変化、又は一の時点における顔の向きを表す。顔向きの時間的な変化とは、例えば、単位時間に顔の向きが変化した回数をいう。又は、顔向きの時間的な変化とは、顔向きの角度の変化量をいってもよい。この場合、顔向き角度の変化量とは、単位時間当たりの角度の変化量の絶対値の総和をいう。「位置・移動」は、客Ｈの一の時点における位置、又は移動（つまり、客Ｈの位置の時間的な変化）を表す。「心理状態」は、「顔向き」及び「位置・移動」の情報により推定される、客Ｈの心理状態を表す。「優先度」は、客Ｈの心理状態により特定される、接客行為を行うべき優先度合いを表す。ここでは、優先度の値が小さい場合ほど、接客行為を優先して行うべき度合いが高いことを意味する。
心理状態データベース６０には、例えば、設計段階で決められた情報、又は操作部３０の操作により設定された情報が登録される。
【００２０】
図４は、商品管理データベース７０の構成を示す図である。商品管理データベース７０は、「陳列棚」と、「棚位置」と、「商品」と、「在庫」との各情報を対応付けたデータベースである。
「陳列棚」は、陳列棚５１０を一意に特定する情報である。図４では、陳列棚５１０Ａから５１０Ｈの各々の符号で表す。「棚位置」は、店舗５００における陳列棚５１０が置かれた位置を表す。棚位置は、図１に示すＸＹ座標系で表される。ＸＹ座標系は、店舗５００における水平面上の位置を表す直交座標系である。「商品」は、陳列棚５１０に陳列されている商品を表す。「商品」の欄には、陳列棚５１０に陳列されている複数の商品（例えば、全ての商品）の情報が登録されていてよい。「在庫」は、商品の在庫の状況（例えば、在庫の有無や数量）を表す。
商品管理データベース７０には、操作部３０の操作により設定された情報が登録されてもよいし、別途設けられた商品の在庫管理用のコンピュータ装置との連係によって情報が登録されてもよい。
【００２１】
図５は、案内情報データベース８０の構成を示す図である。案内情報データベース８０は、「接客順」と、「客位置」と、「案内情報」との各情報を対応付けた構成である。
「接客順」は、複数の客Ｈの各々に対する接客行為を行うべき順番を表す。「客位置」は、接客行為が行われる対象の客Ｈの位置を表す。客位置は、棚位置と同じく、ＸＹ座標系を用いて表される。「案内情報」は、店員が行うべき接客行為を案内する情報である。案内情報は、少なくとも、客Ｈの心理状態に応じた接客行為の情報を含む。更に、客Ｈの心理状態が或る商品を探していることを示す場合には、案内情報には、その商品に関する情報が含まれることがある。
【００２２】
図２に戻って説明する。制御部１０は、向き検出部１１と、位置検出部１２と、推定部１３と、特定部１４と、出力部１５とに相当する機能を実現する。
向き検出部１１は、店舗５００に居る客Ｈの顔の向きを検出する。向き検出部１１は、ここでは、撮像装置１００，２００の撮像画像を、公知の画像認識技術を用いて解析し、客Ｈ毎に顔の向きを検出する。
【００２３】
位置検出部１２は、店舗５００に居る客Ｈの位置を検出する。位置検出部１２は、ここでは、撮像装置１００，２００の撮像画像を、公知の画像認識技術を用いて解析し、客Ｈ毎にその位置を検出する。本実施形態では、位置検出部１２は、店員Ｍの位置についても、同じ方法で検出するものとする。客Ｈと店員Ｍとの区別については、例えば店員Ｍの外観上の特徴（例えば、ユニフォームの特徴）を認識することで行われてもよいし、操作部３０の操作に従って行われてもよい。
【００２４】
ここで、店員Ｍの認識の具体的な方法の例を説明する。店舗においては、客が立ち入らない領域、つまり店員等の店舗の関係者だけが立ち入れる特定の領域が設けられていることが多い。特定の領域として、例えば、会計所の内部がある。そこで、位置検出部１２は、店舗５００における特定の領域に立ち入った人を、店員Ｍとして認識する。又は、店員は、客とは異なる出入口から入店することが多い。そこで、位置検出部１２は、店員用の出入口の開閉を検出した場合に、そのときに店員用の出入口から入店した人又は出入口周辺に居る人を、店員Ｍとして認識してもよい。又は、店員用の出入口の周辺に、操作部３０の一例としてのボタン若しくはカードリーダを設置しておき、そのボタンが操作されたこと、若しくは店員Ｍだけが保有する店員証をそのカードリーダに読み取らせたことを検知した場合に、位置検出部１２は、ボタン若しくはカードリーダの周辺に居る人を店員Ｍと認識してもよい。
位置検出部１２は、一旦店員Ｍとして認識した人については、撮影画像上で、店員Ｍである旨の属性情報を付与して追跡することで、以降も店員Ｍと認識する。反対に、店舗の客は通常、客用の出入口から入店する。このため、位置検出部１２は、客用の出入口から入店した人を、客Ｈとして認識して追跡してもよい。
【００２５】
店員の位置の検出方法として、撮像画像を用いない方法もある。位置検出部１２は、店員用端末３００から発信された特定の信号を受信し、受信した信号に基づいて、店員用端末３００、及びそれを携帯する店員Ｍの位置を特定してもよい。位置検出部１２は、例えば、特定の信号としてＧＰＳ（全地球測位システム；Global Positioning System）による測位信号と、店員用端末３００の識別情報と対応付けて管理することで、どの店員Ｍがどの位置に居るのかを検知してもよい。また、ＧＰＳを用いなくとも、位置検出部１２は、店員用端末３００が無線により接続するアクセスポイントを検出することで、どの店員Ｍがどの位置に居るのかを検知してもよい。
【００２６】
推定部１３は、向き検出部１１により検出された客Ｈの顔の向き、及び位置検出部１２により検出されたその客Ｈの位置に基づいて、客Ｈの心理状態を推定する。具体的には、推定部１３は、客Ｈの顔の向きの時間的な変化、一の時点における顔の向き、一の時点における客Ｈの位置、及び客Ｈの移動の状況と、心理状態データベース６０とを照らし合わせることで、その客Ｈの心理状態を推定する。
【００２７】
特定部１４は、客Ｈが或る商品を探していることを示す心理状態である場合には、その商品を特定する。具体的には、特定部１４は、検出された客Ｈの顔の向く方向に陳列棚５１０が置かれている場合、その陳列棚５１０に陳列された商品を、商品管理データベース７０に基づいて特定する。この特定された商品の中に、客Ｈが探している商品があると推定される。
【００２８】
出力部１５は、推定部１３により推定された客Ｈの心理状態に基づいて、その客Ｈに対する接客行為を案内する案内情報を出力する。客Ｈが或る商品を探していることを示す心理状態である場合は、出力部１５は、特定部１４により特定された商品を含む案内情報を出力する。
【００２９】
具体的には、出力部１５は、推定部１３によって接客行為が必要な心理状態であることが推定された客Ｈについては、その心理状態に応じた接客順と、客位置とに関連付けて、案内情報を案内情報データベース８０に登録する。また、出力部１５は、案内情報データベース８０から、接客順に従って、客位置及び案内情報を読み出して、これを出力する。客位置、及び案内情報の出力は、本実施形態では、表示部４０への表示、店員用端末３００への送信、又はこれらの組み合わせにより行われる。
【００３０】
図６は、情報処理装置２が実行する処理を示すフローチャートである。情報処理装置２では、案内情報を案内情報データベース８０に登録する処理と、案内情報データベース８０から案内情報を読み出して出力する処理とを並行して行う。情報処理装置２は、図６に示す処理を、実行するものとする。図７Ａ、及び図７Ｂは、客Ｈの挙動と心理状態との関係を説明する図である。
【００３１】
まず、案内情報の登録について説明する。
制御部１０は、撮像装置１００，２００からの撮像画像を、インタフェース２０を介して取得する（ステップＳ１）。次に、制御部１０は、ステップＳ１で取得した撮像画像を解析して、客Ｈ、及び店員Ｍの位置を検出する（ステップＳ２）。次に、制御部１０は、その時点での客Ｈの顔の向きを検出する（ステップＳ３）。次に、制御部１０は、客Ｈの顔の向きの時間的な変化を特定する（ステップＳ４）。制御部１０は、例えば、顔の向きが単位時間に何回変化したかを特定する。次に、制御部１０は、客Ｈの心理状態を推定する（ステップＳ５）。
【００３２】
図３の心理状態データベース６０の第１行に示すように、単位時間に客の顔向きが変化した回数が閾値回数以上であり、且つその期間における客の移動距離が閾値以下である場合、制御部１０は、心理状態として「店員を探している。」と推定する。図７Ａの左側の図に示すように、店員Ｍを探している客Ｈは、周囲を見回しながら店員Ｍを探すため、単位時間に顔向きが変化する回数が多くなると推定される。また、客Ｈは、付近に居る店員Ｍを探すため、移動距離がさほど大きくならないと推定される。反対に、客Ｈが目的の商品が陳列されている陳列棚５１０の位置が分かっていて、店員Ｍの接客行為を特に必要としていないような場合は、図７Ａの右側の図に示すように、単位時間に顔の向きが変化する回数が少なく、且つその期間における移動距離は長くなると推定される。
【００３３】
図３の心理状態データベース６０の第２行に示すように、客の顔が陳列棚５１０を向いていて、且つ客位置がその陳列棚５１０付近である場合、制御部１０は、心理状態として「商品を探している。」と推定する。この場合、客Ｈは、その陳列棚５１０に陳列されているいずれかの商品を探していると推定される。
【００３４】
図３の心理状態データベース６０の第３行に示すように、複数位置で客Ｈの顔が向く方向に店員Ｍが居て、且つその期間における客Ｈの移動距離が閾値以下である場合、制御部１０は、心理状態として「店員に尋ねたいことがある。」と推定する。
図７Ｂの上側の図に示すように、客Ｈが、店員Ｍの接客行為を希望とする場合、店員Ｍの方向を見ると考えられる。しかしながら、図７Ｂの上側の図に示すような、客Ｈ、陳列棚５１０Ａ、及び店員Ｍの位置関係である場合、客Ｈが、陳列棚５１０Ａ越しに店員Ｍを見ているのか、又は陳列棚５１０Ａに陳列された商品を見ているのかについて、正確な判別が困難な可能性がある。そこで、制御部１０は、一の客Ｈについて、複数位置で顔の向く方向に店員Ｍが居た場合に、心理状態として「店員に尋ねたいことがある。」と推定する。例えば、制御部１０は、或る位置で客の向く方向Ｄ１を基準とした角度範囲Ｒ１内に店員Ｍが存在し、且つ別の位置で客の向く方向Ｄ２を基準とした角度範囲Ｒ２内に店員Ｍが存在した場合、心理状態として「店員に尋ねたいことがある。」と推定する。
なお、角度範囲Ｒ１，Ｒ２は、ここでは、中心角が決められた角度の扇型の範囲である。つまり、角度範囲Ｒ１，Ｒ２は、客Ｈの位置を基準とした決められた方向の、決められた距離以下の範囲を示す。
【００３５】
図３の心理状態データベース６０の第４行に示すように、単位時間に客Ｈの顔向きが変化した回数が閾値回数以上であり、且つ客位置が会計所付近である場合、制御部１０は、心理状態として「会計をしたい。」と推定する。会計による接客を希望する客Ｈは、会計所付近に移動し、且つ近くの店員Ｍを探すために、周囲を見回す顔の動きをすると推定されるからである。
【００３６】
図３の心理状態データベース６０の第５行に示すように、単位時間に客Ｈの顔向きが変化した回数が閾値回数以上であり、且つ客位置が鏡の付近である場合、制御部１０は、心理状態として「試着をしたい。」と推定する。試着を希望する客Ｈは、鏡付近に移動し、且つ近くの店員Ｍを探すために周囲を見回す顔の動きをすると推定されるからである。
なお、上記のいずれにも該当しない客については、制御部１０は、図３の心理状態データベース６０の第６行に示すように、心理状態として「接客不要」と推定する。
なお、単位時間に客の顔向きが変化した回数が閾値回数以上であるという顔向きの時間的な変化の条件は、顔向きの角度の変化量が閾値以上である、つまり、単位時間当たりの角度の変化量の絶対値の総和が閾値以上である、という条件とされてもよい。
【００３７】
図６に戻って説明する。
制御部１０は、客Ｈの心理状態を推定すると、その心理状態に応じて客が商品を探していることを示すかを判定する（ステップＳ６）。ステップＳ６で「ＮＯ」と判定した場合は、制御部１０は、客位置、及び推定した心理状態に応じた案内情報を、その心理状態に応じた接客順として、案内情報データベース８０に登録する（ステップＳ８）。客位置は、ステップＳ２の客Ｈの位置の検出結果により特定される。
【００３８】
ステップＳ６で「ＹＥＳ」と判定した場合は、制御部１０は、客Ｈの顔の向きにある陳列棚５１０と、商品管理データベース７０とを照らし合わせて、客Ｈが探している商品を特定する（ステップＳ７）。具体的には、制御部１０は、心理状態として「商品を探している。」と推定した場合に、ステップＳ７の処理に進む。ステップＳ７で商品を特定すると、制御部１０は、ステップＳ８に進む。
【００３９】
ここで、案内情報データベース８０に登録される案内情報の具体例を説明する。
制御部１０は、心理状態として「店員を探している。」、又は「店員に尋ねたいことがある。」と推定した場合には、そのときに客Ｈが居る店舗５００内の売り場の領域を特定し、特定した売り場の領域の情報を含む案内情報を登録する。制御部１０は、心理状態として「試着をしたい。」と推定した場合には、試着室の空き状況を特定した上で、案内情報を登録する。制御部１０は、心理状態として「会計をしたい。」と推定した場合には、会計所の空き状況を特定した上で、又は会計所が複数かある店舗の場合には空いている会計所を特定した上で、案内情報を登録する。
このように、制御部１０は、客Ｈの心理状態を推定した上で、その心理状態に合った案内情報を出力するために、客Ｈが必要とする情報を予め特定しておくことが望ましい。
【００４０】
次に、案内情報の出力について説明する。
制御部１０は、案内情報データベース８０における接客順に従って、案内情報データベース８０に登録された客位置、及び案内情報を出力する（ステップＳ９）。制御部１０は、表示部４０に案内情報を出力してその内容を表示させたり、店員用端末３００に送信してその内容を店員Ｍに報知したりする。客Ｈが或る陳列棚５１０で商品を探している場合、制御部１０は、その陳列棚５１０に陳列されている商品、及び在庫の一覧を、案内情報に含めて出力する。店員Ｍは、出力された案内情報の内容に基づいて、接客行為を行う。そして、制御部１０は、接客行為が完了したことが、操作部３０の操作、又は店員用端末３００との通信を介して店員Ｍから通知されると、接客順が次である案内情報を出力する。
なお、制御部１０は、心理状態毎に決められた優先度に応じて接客順を決定するが、接客行為の待ち時間が長くなり過ぎないように、例えば、案内情報データベース８０への登録から決められた時間内に、案内情報を出力するようにしてもよい。
【００４１】
ここで、出力される案内情報の具体例を説明する。
制御部１０は、客Ｈの心理状態として「商品を探している。」と推定した場合には、ステップＳ７で特定した商品の売り場に近い店員Ｍの店員用端末３００に宛てて、この心理状態の客Ｈが居る旨を報知するための案内情報を出力する。情報処理システム１では、前述したように、撮影画像又は店員用端末３００の発信する特定の信号に基づいて、店員Ｍを認識又は検出し得る。このため、例えば、複数の店員Ｍの各々が各時点にどこに居るのかを把握することで、制御部１０は、店員Ｍがどの売り場に居るのか、また、或る陳列棚の近傍に居る店員Ｍが誰なのかを特定し得る。そこで、制御部１０は、客Ｈが探している商品を特定した後に、その商品が陳列されている陳列棚５１０及び棚位置を、商品管理データベース７０に基づいて特定し、更に、その陳列棚５１０の近くに居る店員Ｍの店員用端末３００に宛てて案内情報を出力する。
これにより、制御部１０は、客Ｈが必要としている接客行為を行うことが可能な店員Ｍを的確に判別して、店員Ｍに報知し得る。この際、客Ｈが探して居る商品が複数特定されている場合や、商品は特定したとしてもサイズや色等の商品に関する詳細な情報が不明である場合には、制御部１０は、客Ｈが探している商品の在庫に関する情報を商品管理データベース７０から抽出して、商品毎、サイズ毎、色毎の在庫の情報を一括して出力してもよい。
【００４２】
心理状態として「店員を探している。」、又は「店員に尋ねたいことがある。」が推定された場合、客Ｈが現在居る売り場の領域で扱っている商品に関して知りたがっている可能性がある。このため、制御部１０は、その売り場で扱う商品（商品群）に対する知見のある店員Ｍの店員用端末３００に宛てて、客位置を含むその客Ｈに関する情報を、案内情報に含めて出力してもよい。
更に、店員Ｍ毎に得意とする商品群（例えば商品のジャンル）の情報が登録されたデータが存在する場合には、制御部１０は、そのデータを基に、案内情報を出力する店員用端末３００を決定してもよい。又は、店員Ｍ毎に、担当する売り場の領域や商品群が決まっている場合には、制御部１０は、その担当に関する情報に基づいて、案内情報を出力する先の店員用端末３００を決定してもよい。また、客Ｈが特定の店員Ｍの方を見ている状態が検出された場合には、制御部１０は、その店員Ｍの店員用端末３００に宛てて案内情報を出力してもよい。これにより、制御部１０は、客Ｈが接客を希望する可能性の高い店員Ｍに、この客Ｈの存在を報知してもよい。
【００４３】
心理状態として「試着をしたい。」と推定した場合、制御部１０は、試着室の空き情報を特定した上で、空いている試着室の情報を含む案内情報を、店員用端末３００に出力してもよい。これにより、客Ｈの待ち時間の増大を抑えつつ、利用可能な試着室に客Ｈを案内することが可能となる。この際、試着室を担当する店員Ｍが決まっている場合には、制御部１０は、その店員Ｍの店員用端末３００に案内情報を出力してもよい。更に、制御部１０は、客Ｈが試着したと考えているであろう商品を特定した上で、その商品を担当する店員Ｍの店員用端末３００に、案内情報を出力してもよい。これにより、試着した後に客Ｈに対して適切な接客をする店員Ｍに接客行為を担当させやすくなる。
【００４４】
心理状態として「会計をしたい。」と推定した場合、制御部１０は、会計所をそのときに担当する店員Ｍの店員用端末３００に対して、会計を希望する客Ｈの存在を報知するための案内情報を出力してもよい。しかし、会計所が混雑しているような場合には、その客Ｈのところに会計所の担当の店員Ｍが接客行為を行えない場合がある。この場合には、制御部１０は、その時点で客Ｈの近傍に居る店員Ｍを特定し、その店員Ｍの店員用端末３００に対して、会計所の空き状況の情報を含む案内情報を出力してもよい。
以上説明したように、制御部１０が、客Ｈの心理状態に応じて、店員Ｍに出力する案内情報や、案内情報を出力する店員Ｍを決定することによって、単に客Ｈに対して店員Ｍが接客行為を行う以上に、より適した店員Ｍが、客Ｈの必要とする情報を提供することが可能となる。
【００４５】
以上説明した第１実施形態の情報処理装置２は、店舗５００を訪れた客Ｈの心理状態を推定し、その推定結果に応じて、接客行為を案内する案内情報を出力する。このため、情報処理装置２によって、客Ｈの心理状態を踏まえた接客行為が支援される。
【００４６】
［第２実施形態］
情報処理装置２は、実際に行われた接客行為を学習して心理状態データベース６０を更新することで、案内情報の出力の条件や案内情報の内容を変化させてもよい。
図８は、情報処理装置２が実行する処理を示すフローチャートである。ステップＳ１からＳ９の処理は、上述した第１実施形態と同じである。
ステップＳ９の処理を実行する、制御部１０は、このステップＳ９の案内情報の出力の後に行われた接客行為を特定する（ステップＳ１０）。制御部１０は、例えば、出力された案内情報の内容を基に店員Ｍにより行われた接客行為や、その案内情報の内容が的確なものであったか等を入力する操作を、操作部３０を介して受け付ける。
【００４７】
そして、制御部１０は、ステップＳ９で出力した案内情報と、ステップＳ１０で特定した接客行為との関係に基づいて、心理状態データベース６０を更新する（ステップＳ１１）。例えば、制御部１０が、心理状態が「店員を探している。」と推定した場合に、実際は接客行為が必要でなかったときは、この心理状態と推定する条件とするための顔の向く方向の回数に対する閾値や、移動距離に対する閾値を小さくするように更新する。また、この更新の方法は、例えば、心理状態「店員に尋ねたいことがある。」や「会計をしたい。」、「試着をしたい。」の各心理状態にも適用し得る。また、制御部１０は、心理状態として「接客不要」と推定した場合でも、実際には接客行為が必要であったときは、この推定の基となった客Ｈの顔の向き、及び客Ｈの位置若しくは移動の特徴を特定し、特定した特徴と、接客行為が必要であることを示す心理状態とを対応付けて、心理状態データベース６０に登録してもよい。
【００４８】
ステップＳ１０の接客行為の特定は、制御部１０による撮像画像の解析結果に基づいて行われてもよい。図８に示すように、客Ｈの向く方向Ｄ３を基準とした角度範囲Ｒ３内に店員Ｍが存在し、且つ店員Ｍの向く方向Ｄ４を基準とした角度範囲Ｒ４内に客Ｈが存在した場合、制御部１０は、店員Ｍにより客Ｈに対する接客行為が行われていることを特定する。客Ｈと店員Ｍとの距離が近く、且つ互いに向き合っているため、接客行為が行われていると推定されるからである。
なお、角度範囲Ｒ３，Ｒ４は、角度範囲Ｒ１，Ｒ２と同じ方法で決められればよい。
【００４９】
以上説明した第２実施形態の情報処理装置２により、実際に行われた接客行為を学習して案内情報の出力に反映させることで、より的確な接客の支援が行われる。
【００５０】
［変形例］
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
上述した実施形態では、制御部１０は、主に客Ｈの顔向き、客位置、及び客Ｈと陳列棚５１０との位置関係を用いて、その客Ｈの心理状態を推定していたが、更に別の情報を用いて客Ｈの心理状態を推定してもよい。例えば、制御部１０は、心理状態として「商品を探している。」と推定した客Ｈに関して、その時点で客Ｈの近傍にある陳列棚５１０に陳列された商品に関連する商品を客Ｈが探していると推定し、更に、その客Ｈがそれまでにどの売り場（例えば動線）を通ってきたのかを示す情報を用いて、より詳細な心理状態を推定してもよい。また、その客Ｈがまだ商品を手にしていない、又は商品かごが空の状態で、陳列棚５１０付近でその陳列棚５１０を見ている場合には、制御部１０は、心理状態として「商品を探している。」と推定してもよい。
また、上述した実施形態では、制御部１０は、客位置が鏡付近を示す場合、心理状態として「試着をしたい。」と推定したが、そのときに客Ｈが商品を持っているかどうかを示す情報を用いることで、客Ｈのより詳細に心理状態を推定してもよい。
【００５１】
上述した実施形態で説明した心理状態は、一例に過ぎない。また、本発明が適用される店舗は、服飾店に限られない。例えば、飲食店の場合、「店員を探している。」という心理状態は「注文をしたい。」に置き換えられる。例えば店舗の業種に応じて、客の行動と、その客が必要としている接客行為との関係は異なるので、店舗の業種等に応じた方法で心理状態の推定が行われればよい。
【００５２】
上述した実施形態では、情報処理装置２は、複数の位置の各々において、客Ｈの顔の向く方向に店員Ｍが居た場合に、心理状態として「店員に尋ねたいことがある。」と推定していた。情報処理装置２は、一の位置において、客Ｈの顔の向く方向に店員Ｍが居た場合に、この心理状態を推定してもよい。
【００５３】
客の顔の向きは、例えば当該客の視線の向きによって特定されてもよいし、当該客の体（胴体）の向きによって特定されてもよい。
【００５４】
客の顔の向きや位置の検出は、撮像画像の認識を伴う検出方法に限られない。例えば、客がとったジェスチャを認識する装置（例えば３Ｄセンサ）や距離センサが、撮像装置に代えて又は組み合わせて用いられてもよい。
【００５５】
情報処理装置２のハードウェア構成や機能構成は、上述した実施形態で説明した構成に限られない。上述した実施形態で説明した情報処理システムの構成や動作の一部を省略してもよい。例えば、情報処理装置２は、案内情報に客が探している商品の情報や在庫の情報を含めなくてもよい。この場合、商品管理データベース７０が不要である。情報処理装置２は、接客行為が必要である旨を少なくとも含む案内情報を出力すればよい。
また、情報処理装置２は、案内情報を案内情報データベース８０に登録せずに、直ちに出力してもよい。この場合、案内情報データベース８０が不要である。
【００５６】
上述した実施形態の情報処理装置２の制御部１０が実現する各機能は、１又は複数のハードウェア回路により実現されてもよいし、１又は複数のプログラムを演算装置が実行することにより実現されてよいし、これらの組み合わせにより実現されてもよい。また、制御部１０の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk））等）、光記録媒体（光ディスク等）、光磁気記録媒体、半導体メモリ等のコンピュータ読取可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、コンピュータが行う情報処理方法として把握し得る。
【符号の説明】
【００５７】
１…情報処理システム、２…情報処理装置、１０…制御部、１１…向き検出部、１２…位置検出部、１３…推定部、１４…特定部、１５…出力部、２０…インタフェース、３０…操作部、４０…表示部、５０…通信部、６０…心理状態データベース、７０…商品管理データベース、８０…案内情報データベース、１００，２００…撮像装置、３００…店員用端末、５００…店舗、５１０，５１０Ａ〜５１０Ｈ…陳列棚。
【図１】
0006707940.tif 000002
【図２】
0006707940.tif 000003
【図３】
0006707940.tif 000004
【図４】
0006707940.tif 000005
【図５】
0006707940.tif 000006
【図６】
0006707940.tif 000007
【図７Ａ】
0006707940.tif 000008
【図７Ｂ】
0006707940.tif 000009
【図８】
0006707940.tif 000010
【図９】
0006707940.tif 000011