(57)【要約】      （修正有）【課題】接客中の顧客の理解度に基づいて店員を支援することができる接客支援システム、接客支援装置及び接客支援方法を提供する。【解決手段】顧客１に対応する係員２を支援する接客支援システムを、画像を取得する情報取得装置１０と、情報取得装置が取得した画像から顧客の表情を認識して、該表情に基づいて顧客の理解度を評価した評価結果を出力する評価装置とによって構成する。【選択図】図１
2018124604.tif 000002
【特許請求の範囲】
【請求項１】
顧客に対応する係員を支援する接客支援システムであって、
画像を取得する情報取得装置と、
前記情報取得装置が取得した画像から顧客の表情を認識して、該表情に基づいて前記顧客の理解度を評価した評価結果を出力する評価装置と
を備えることを特徴とする接客支援システム。
【請求項２】
前記情報取得装置は、さらに音声を取得して、
前記評価装置は、顧客の表情及び音声に基づいて前記顧客の理解度を評価する
ことを特徴とする請求項１に記載の接客支援システム。
【請求項３】
前記評価装置は、前記係員が前記顧客との対応中にリアルタイムに評価結果を出力することを特徴とする請求項１又は２に記載の接客支援システム。
【請求項４】
前記評価装置は、評価結果が更新前の評価結果に対して上昇したか低下したかを示す情報を出力することを特徴とする請求項３に記載の接客支援システム。
【請求項５】
前記評価装置は、評価結果に基づく前記係員への助言を出力することを特徴とする請求項１〜４のいずれか１項に記載の接客支援システム。
【請求項６】
前記評価装置は、前記係員の接客対応を評価した評価結果を出力することを特徴とする請求項１〜５のいずれか１項に記載の接客支援システム。
【請求項７】
前記評価装置から出力された情報を表示する表示装置をさらに備えることを特徴とする請求項１〜６のいずれか１項に記載の接客支援システム。
【請求項８】
前記評価装置は、
前記表示装置の画面が前記係員に向けられている間は画面上に評価結果を表示して、
前記表示装置の画面が前記顧客に向けられると画面上の評価結果を非表示にする
ことを特徴とする請求項７に記載の接客支援システム。
【請求項９】
前記評価装置は、前記情報取得装置で取得した前記係員の発話内容から所定ワードを検出すると前記表示装置の評価結果を非表示にすることを特徴とする請求項８に記載の接客支援システム。
【請求項１０】
顧客に対応する係員を支援する接客支援装置であって、
画像を取得する情報取得部と、
前記情報取得部が取得した画像から顧客の表情を認識して、該表情に基づいて前記顧客の理解度を評価する評価部と、
前記評価部による評価結果を出力する出力部と、
前記出力部が出力した評価結果を表示する表示部と
を備えることを特徴とする接客支援装置。
【請求項１１】
顧客に対応する係員を支援する接客支援方法であって、
画像を取得する情報取得工程と、
前記情報取得工程で取得した画像から顧客の情報を認識して、該表情に基づいて前記顧客の理解度を評価する評価工程と、
前記評価工程で得られた評価結果を出力する出力工程と
を含んだことを特徴とする接客支援方法。
【請求項１２】
前記出力工程で出力された情報を表示装置の画面上に表示する表示工程
をさらに含んだことを特徴とする請求項１１に記載の接客支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顧客と該顧客に接客対応する店員の音声及び映像を取得して店員を支援する接客支援システム、接客支援装置及び接客支援方法に関する。
【背景技術】
【０００２】
従来、会話する音声のデータを取得して会話の内容を解析する技術が利用されている。例えば、特許文献１には、接客中の店員と顧客の会話を解析して店員を支援する接客支援装置が開示されている。この装置は、店員と顧客の会話を音声データとして取得して、顧客の音声に含まれるキーワード、音声強度、音声速度等に基づいて顧客の満足度を算出し、これを店員に通知することにより店員の接客を支援する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２２１６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術では、音声データのみを利用するため顧客の満足度を正確に評価できない場合がある。また、例えば、法律によって説明義務が課せられている商品を販売する際には、顧客が説明内容を理解したことが重要となるが、上記従来技術では、顧客の理解度等に基づく接客支援を行うことができない。
【０００５】
本発明は、上述した従来技術による問題点を解消するためになされたもので、接客中の顧客の理解度に基づいて店員を支援することができる接客支援システム、接客支援装置及び接客支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、本発明は、顧客に対応する係員を支援する接客支援システムであって、画像を取得する情報取得装置と、前記情報取得装置が取得した画像から顧客の表情を認識して、該表情に基づいて前記顧客の理解度を評価した評価結果を出力する評価装置とを備えることを特徴とする。
【０００７】
また、本発明は、上記発明において、前記情報取得装置は、さらに音声を取得して、前記評価装置は、顧客の表情及び音声に基づいて前記顧客の理解度を評価することを特徴とする。
【０００８】
また、本発明は、上記発明において、前記評価装置は、前記係員が前記顧客との対応中にリアルタイムに評価結果を出力することを特徴とする。
【０００９】
また、本発明は、上記発明において、前記評価装置は、評価結果が更新前の評価結果に対して上昇したか低下したかを示す情報を出力することを特徴とする。
【００１０】
また、本発明は、上記発明において、前記評価装置は、評価結果に基づく前記係員への助言を出力することを特徴とする。
【００１１】
また、本発明は、上記発明において、前記評価装置は、前記係員の接客対応を評価した評価結果を出力することを特徴とする。
【００１２】
また、本発明は、上記発明において、前記評価装置から出力された情報を表示する表示装置をさらに備えることを特徴とする。
【００１３】
また、本発明は、上記発明において、前記評価装置は、前記表示装置の画面が前記係員に向けられている間は画面上に評価結果を表示して、前記表示装置の画面が前記顧客に向けられると画面上の評価結果を非表示にすることを特徴とする。
【００１４】
また、本発明は、上記発明において、前記評価装置は、前記情報取得装置で取得した前記係員の発話内容から所定ワードを検出すると前記表示装置の評価結果を非表示にすることを特徴とする。
【００１５】
また、本発明は、顧客に対応する係員を支援する接客支援装置であって、画像を取得する情報取得部と、前記情報取得部が取得した画像から顧客の表情を認識して、該表情に基づいて前記顧客の理解度を評価する評価部と、前記評価部による評価結果を出力する出力部と、前記出力部が出力した評価結果を表示する表示部とを備えることを特徴とする。
【００１６】
また、本発明は、顧客に対応する係員を支援する接客支援方法であって、画像を取得する情報取得工程と、前記情報取得工程で取得した画像から顧客の情報を認識して、該表情に基づいて前記顧客の理解度を評価する評価工程と、前記評価工程で得られた評価結果を出力する出力工程とを含んだことを特徴とする。
【００１７】
また、本発明は、上記発明において、前記出力工程で出力された情報を表示装置の画面上に表示する表示工程をさらに含んだことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、係員が顧客に商品やサービスについて説明する際に、説明に対する顧客の理解度を顧客の表情に基づいて評価して、評価結果を出力することができる。顧客の理解度を示す評価結果を表示装置の画面に表示すれば、係員は、評価結果を参考にしながら接客することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、接客支援システムの概要を説明するための模式図である。
【図２】図２は、接客支援システムの構成を示すブロック図である。
【図３】図３は、接客支援システムの設置例を示す図である。
【図４】図４は、支援情報表示装置に表示される画面例を示す図である。
【図５】図５は、接客評価装置が作成するレポートの例を示す図である。
【発明を実施するための形態】
【００２０】
以下に、添付図面を参照して、本発明に係る接客支援システム、接客支援装置及び接客支援方法について説明する。接客支援システム、接客支援装置及び接客支援方法は、係員が顧客に接客対応して商品やサービスを提供する金融機関や小売店舗等、様々な場所で利用することができる。本実施形態では、銀行で金融商品の販売を担当する係員が顧客に対応する場合を例に説明する。
【００２１】
まず、本実施形態に係る接客支援システムの概要について説明する。図１は、接客支援システムの概要を説明するための模式図である。接客支援システムは、顧客情報取得装置１０で顧客１の音声及び画像を取得し、係員情報取得装置２０で係員２の音声及び画像を取得する。そして、接客評価装置３０で顧客１の音声及び画像を解析し、顧客１の発話、表情、動き等に基づいて顧客１の理解度、納得度等を評価する評価値を算出する。また、接客評価装置３０で係員２の音声及び画像を解析し、係員２の発話、表情、動き等に基づいて、説明の内容や接客態度等、係員２の接客内容を評価する評価値を算出する。接客支援システムは、接客中にリアルタイムに評価値を算出して、算出した評価値、評価値の変動、評価値が変動した理由、評価値を上げるための注意事項等の助言など、係員２を支援するための情報を支援情報表示装置４０に表示する。これにより、顧客１が係員２の説明を理解できるように、係員２を支援することができる。また、係員２が良好な態度で接客できるように、係員２を支援することができる。
【００２２】
どのような発話、表情及び動作を検出したときに、顧客の理解度、納得度等を評価する評価値、及び係員の説明内容、接客態度等を評価する評価値に、それぞれ何点を加算又は減算するかついては、ディープラーニング等の機械学習を利用して設定されている。そして、該設定に基づいて、人工知能を利用して音声及び画像を解析するようになっている。商品説明を行う係員には、笑顔で、商品の理解に必要な情報を顧客に明確に伝えることが求められる。係員の説明を聞いた顧客は、説明を受けた内容を理解し、理解した内容に納得するという段階を経て商品購入に至る。以下、係員の説明内容及び説明時の態度を示す評価値を係員評価値、顧客の理解度及び納得度を示す評価値を顧客評価値として両者を区別する。
【００２３】
次に、接客支援システムの構成及び機能について説明する。図２は、接客支援システムの構成を示すブロック図である。図２に示すように、接客支援システムは、顧客情報取得装置１０、係員情報取得装置２０、接客評価装置３０及び支援情報表示装置４０を含む。接客評価装置３０が、顧客の理解度等を示す評価値を算出して支援情報として出力する評価装置として機能し、支援情報表示装置４０が評価値や助言を含む支援情報を表示する表示装置として機能する。
【００２４】
顧客情報取得装置１０は、カメラ１０ａ及びマイク１０ｂを含み、顧客１の音声及び画像を取得して接客評価装置３０に入力する機能を有する。係員情報取得装置２０は、カメラ２０ａ及びマイク２０ｂを含み、係員２の音声及び画像を取得して接客評価装置３０に入力する機能を有する。なお、顧客情報取得装置１０及び係員情報取得装置２０が取得する画像は、動画像及び静止画像を含む。顧客１の音声及び画像と、係員２の音声及び画像とを取得することができれば、顧客情報取得装置１０と係員情報取得装置２０を１台の装置で実現する態様であってもよい。
【００２５】
接客評価装置３０は、会話認識部３１、表情認識部３２、動作認識部３３、評価値算出部３４、支援情報出力部３５、レポート作成部３６、操作部３７、表示部３８及び記憶部３９を含む。例えば、コンピュータ装置を利用して接客評価装置３０を構成する。操作部３７は、例えばキーボード及びマウスから成り、接客評価装置３０に情報を入力するために利用される。表示部３８は、例えば液晶表示装置から成り、接客評価装置３０が各種情報を出力表示するために利用される。ただし、操作部３７及び表示部３８を、１台のタッチパネル式液晶表示装置を利用して実現する態様であってもよい。
【００２６】
記憶部３９は、不揮発性のハードディスクや半導体メモリ等から成る記憶装置である。記憶部３９には、画像データ３９ａ、音声データ３９ｂ、会話データ３９ｃ、ワードデータ３９ｄ、評価基準データ３９ｅ、レポートデータ３９ｆ等のデータが保存される。
【００２７】
画像データ３９ａは、顧客情報取得装置１０のカメラ１０ａで取得した顧客１の画像、係員情報取得装置２０のカメラ２０ａで取得した係員２の画像を記録したデータである。動作を検出するための顧客１の上半身の画像及び係員２の上半身の画像、表情を検出するための顧客１の顔部分の画像及び係員２の顔部分の画像等が、画像データ３９ａとして保存される。音声データ３９ｂは、顧客情報取得装置１０のマイク１０ｂで取得した顧客１の音声と、係員情報取得装置２０のマイク２０ｂで取得した係員２の音声とを、スピーカ等で再生可能な形式で記録したデータである。画像データ３９ａ及び音声データ３９ｂを残すことにより、後で操作部３７を操作して、接客評価装置３０で画像及び音声を再生確認できるようになっている。
【００２８】
会話データ３９ｃは、顧客１と係員２の間で行われた会話の内容等を、表示部３８の画面上にテキストで表示可能な形式で記録したデータである。音声認識技術を利用して、音声データ３９ｂをテキスト化することにより、会話の内容を記録できるようになっている。
【００２９】
ワードデータ３９ｄは、係員２が商品説明時に使用するワード、係員２が商品説明時に使用してはいけないワード（ＮＧワード）、顧客１が説明内容を理解した際に使用するであろうワード、顧客１が説明内容に納得した際に使用するであろうワード等を、予め登録したデータである。ワードは、例えば、単語や文章から成る。ワードデータ３９ｄには、顧客１の音声から検出する顧客用ワードと、係員２の音声から検出する係員用ワードとが区別して登録されている。
【００３０】
評価基準データ３９ｅは、顧客評価値及び係員評価値を算出する際の評価基準を示すデータである。評価基準として、顧客１の音声から、ワードデータ３９ｄに登録されているワードを検出した際に、顧客評価値に加算又は減算する点数が、ワード毎に設定されている。同様に、係員２の音声から、ワードデータ３９ｄに登録されているワードを検出した際に、係員評価値に加算又は減算する点数が、ワード毎に設定されている。また、評価基準として、顧客１の顔画像から所定の表情を検出した際に、顧客評価値に加算又は減算する点数が、表情の種類毎に設定されている。同様に、係員２の顔画像から所定の表情を検出した際に、係員評価値に加算又は減算する点数が、表情の種類毎に設定されている。さらに、評価基準として、顧客１の上半身の動画像から所定の動作を検出した際に、顧客評価値に加算又は減算する点数が、動きの種類毎に設定されている。同様に、係員２の上半身の動画像から所定の動作を検出した際に、係員評価値に加算又は減算する点数が、動きの種類毎に設定されている。
【００３１】
評価基準データ３９ｅには、顧客１の理解度を示すワード、表情及び動作と、納得度を示すワード、表情及び動作と、これらを検出した際に加算又は減算する点数が設定されている。また、ワード、表情及び動作と、加算又は減算する点数とは、後述するステージ毎に分けて設定できるようになっている。
【００３２】
レポートデータ３９ｆは、係員２が接客対応を終えた後、接客内容を評価するために作成したレポートのデータである。レポートは、顧客評価値及び係員評価値に基づいて作成されるが詳細は後述する。
【００３３】
図２に示す会話認識部３１は、発話のスピード、トーン、音量、沈黙時間等を認識する機能を有する。また、会話認識部３１は、顧客１と係員２の発話の内容をテキスト化する機能を有する。具体的には、顧客情報取得装置１０で取得した顧客１の発話内容の音声認識、及び係員情報取得装置２０で取得した係員２の発話内容の音声認識を行ってテキスト化する。このとき、会話認識部３１は、係員２の発話内容をテキスト化した際の文字数と、発話にかかった時間から、係員２の発話スピードを認識する。会話認識部３１は、顧客１の発話日時及び発話内容と、係員２の発話時刻、発話内容及び発話スピードとを、会話データ３９ｃとして記憶部３９に保存する。
【００３４】
また、会話認識部３１は、発話内容に含まれるワードを検出する機能を有する。具体的には、顧客１の発話内容をテキスト化したデータから、顧客用ワードとしてワードデータ３９ｄに登録されているワードを検出する。また、係員２の発話内容をテキスト化したデータから、係員用ワードとしてワードデータ３９ｄに登録されているワードを検出する。
【００３５】
また、会話認識部３１は、発話内容から検出したワードに基づいて、係員２による説明がどのステージにあるかを認識する機能を有する。係員２が顧客１に説明を行うステージは、例えば、「雑談」、「嗜好聞き取り」、「リスク説明」、「商品説明」、「感触聞き取り」、「質疑説明」、「決め手」の複数ステージに分けられている。「嗜好聞き取り」とは、顧客１に説明する商品の種類を選択するために、顧客１の希望や嗜好を聞き取るステージである。「リスク説明」とは、商品に関するリスクを顧客１に説明するステージで、「商品説明」とは、商品について説明するステージである。「感触聞き取り」とは、顧客１が商品を購入する意思があるか感触を聞き取るステージである。「質疑応答」とは、顧客１からの質問に係員２が答えるステージである。「決め手」とは、顧客１が商品の購入を決めたステージである。評価基準データ３９ｅに登録されている係員用ワードの中には、各ステージを検出するための検出用ワードが含まれている。会話認識部３１は、係員２の発話内容から検出用ワードを検出してステージを認識する。
【００３６】
具体的には、例えば、「お探しですか」、「お好みですか」等のワードが、嗜好聞き取りステージの検出用ワードとして予め登録されている。会話認識部３１は、係員２の発話内容から、これらのワードを検出すると、このワードを検出した発話を含む係員２と顧客１の間の一連の会話は、嗜好聴き取りステージで行われたものであると認識する。また、例えば、「リスクがあります」、「可能性があります」等のワードが、リスク説明ステージの検出用ワードとして予め登録されている。会話認識部３１は、係員２の発言内容から、これらのワードを検出すると、このワードを検出した発話を含む係員２と顧客１の間の一連の会話は、リスク説明ステージで行われたものであると認識する。
【００３７】
表情認識部３２は、顧客１の表情及び係員２の表情を認識する機能を有する。具体的には、顧客情報取得装置１０で取得した顧客１の顔部分の画像解析を行って、顧客１の表情を認識する。同様に、係員情報取得装置２０で取得した係員２の顔部分の画像解析を行って、係員２の表情を認識する。例えば、眉、目、口等の位置、位置の変化等に基づいて、笑った表情（笑顔）、理解した表情、納得した表情、怒った表情、落胆した表情、思案する表情（思案顔）、顔をしかめる表情等、様々な表情を認識する。
【００３８】
動作認識部３３は、顧客１の動作及び係員２の動作を認識する機能を有する。具体的には、顧客情報取得装置１０で取得した顧客１の画像解析を行って、顧客１の頭の動き、手の動き、目線の動き等を認識する。同様に、係員情報取得装置２０で取得した係員２の画像解析を行って、係員２の頭の動き、手の動き、目線の動き等、様々な動作を認識する。例えば、うなずく動作、首をかしげる動作、腕を組む動作、ため息をつく動作、視線をそらす動作、きょろきょろする動作等を認識する。なお、会話認識、表情認識、動作認識は、ＡＩ（人工知能）を利用して行うが、これは従来技術であるため詳細は省略する。
【００３９】
評価値算出部３４は、会話認識部３１、表情認識部３２、動作認識部３３で認識された会話、表情及び動作の内容に基づいて、顧客評価値及び係員評価値を算出する。記憶部３９の評価基準データ３９ｅには、人工知能によるディープラーニング等の機械学習を利用して予め準備された、顧客１の理解度及び納得度を示す発話、表情及び動作の内容と、各内容検出時に加算又は減算する点数とが設定されている。同様に、係員２の説明内容や接客態度を示す発話、表情及び動作の内容と、各内容検出時に加算又は減算する点数とが予め設定されている。人工知能を利用した会話認識部３１、表情認識部３２及び動作認識部３３が、予め設定された顧客１及び係員２の発話、表情及び動作を検出すると、評価基準データ３９ｅに基づいて、評価値算出部３４が顧客評価値及び係員評価値を算出する。なお、顧客評価値及び係員評価値の初期値は０点となっている。
【００４０】
例えば、評価基準データ３９ｅには、リスク説明ステージ及び商品説明ステージで、顧客１の発話内容から「はい」、「なるほど」等、理解したこと又は納得したことを示す肯定的なワードを検出したら顧客評価値に１点加算するように評価基準が設定されている。リスク説明ステージ及び商品説明ステージで、顧客１の発話内容から「どういう意味」、「分からない」等、理解できないこと又は納得できないことを示す否定的なワードを検出したら顧客評価値から１点減算するように評価基準が設定されている。このため、リスク説明ステージ又は商品説明ステージで、会話認識部３１が顧客１の発話内容から肯定的なワードを検出する度に、評価値算出部３４は顧客評価値に１点を加算する。また、リスク説明ステージ又は商品説明ステージで、会話認識部３１が顧客１の発話内容から否定的なワードを検出する度に、評価値算出部３４は顧客評価値から１点を減算する。ステージ毎に、顧客１の理解度及び納得度に関する肯定的なワード及び否定的なワードを設定して、ワード毎に、加算又は減算する点数を設定することができる。
【００４１】
例えば、評価基準データ３９ｅには、ステージによらず、係員２の発話内容から、係員２が使用してはいけないＮＧワードを検出したら係員評価値から１点を減算するよう評価基準が設定されている。このため、ステージによらず、会話認識部３１が係員２の発話内容からＮＧワードを検出する度に、評価値算出部３４は係員評価値から１点を減算する。ステージ毎に、係員２のＮＧワードを設定して、ＮＧワード毎に減算する点数を設定することができる。
【００４２】
例えば、評価基準データ３９ｅには、ステージによらず、顧客１の笑顔、理解した表情、納得した表情等、理解したこと又は納得したことを示す肯定的な表情を検出したら顧客評価値に１点加算するよう評価基準が設定されている。商品説明ステージでは、顧客１の思案顔、怒った表情、落胆する表情、顔をしかめる表情等、理解できないこと又は納得できないことを示す否定的な表情を検出したら顧客評価値から１点減算するよう評価基準が設定されている。このため、ステージによらず、表情認識部３２が顧客１の肯定的な表情を検出する度に、評価値算出部３４は顧客評価値に１点を加算する。また、商品説明ステージでは、表情認識部３２が顧客１の否定的な表情を検出する度に、評価値算出部３４は顧客評価値から１点を減算する。ステージ毎に、顧客１の理解度及び納得度に関する肯定的な表情及び否定的な表情を設定して、表情毎に、加算又は減算する点数を設定することができる。例えば、雑談ステージで顧客１の思案顔を検出しても減点せず、商品説明ステージで顧客１の思案顔を検出した場合は減点するというようにステージ毎に評価を変更することができる。また、例えば、雑談ステージで顧客１が理解したことを示す表情を検出した場合は１点を加算して、商品説明ステージで顧客１が理解したことを示す表情を検出した場合は２点を加算するというように評価を変更することも可能である。
【００４３】
例えば、評価基準データ３９ｅには、リスク説明ステージを除く他のステージで、係員２の笑顔を検出したら係員評価値に１点を加算し、リスク説明ステージで係員２の笑顔を検出したら係員評価値から１点を減算するよう評価基準が設定されている。ステージによらず、係員２の怒った表情を検出したら係員評価値から１点を減算するよう設定されている。このため、リスク説明ステージ以外のステージでは、表情認識部３２が係員２の笑顔を検出する度に、評価値算出部３４は係員評価値に１点を加算する。また、リスク説明ステージで表情認識部３２が係員２の笑顔を検出すると、評価値算出部３４は、係員評価値から１点を減算する。また、ステージによらず、表情認識部３２が係員２の怒った表情を検出する度に、評価値算出部３４は係員評価値から１点を減算する。ステージ毎に、係員２の説明内容及び接客態度に関する肯定的な表情及び否定的な表情を設定して、表情毎に、加算又は減算する点数を設定することができる。これにより、リスク説明ステージで係員２の笑顔を検出したら減点して、他のステージで係員２の笑顔を検出したら加点することができる。
【００４４】
例えば、評価基準データ３９ｅには、リスク説明ステージ及び商品説明ステージで、顧客１がうなずく動作等、理解したこと又は納得したことを示す肯定的な動作を検出したら顧客評価値に１点加算するよう評価基準が設定されている。リスク説明ステージ及び商品説明ステージで、顧客１が首をかしげる等、理解できないこと又は納得できないことを示す否定的な動作を検出したら顧客評価値から１点減算するよう評価基準が設定されている。このため、リスク説明ステージ又は商品説明ステージで、動作認識部３３が顧客１の肯定的な動作を検出する度に、評価値算出部３４は顧客評価値に１点を加算する。また、リスク説明ステージ又は商品説明ステージで、動作認識部３３が顧客１の否定的な動作を検出する度に、評価値算出部３４は顧客評価値から１点を減算する。ステージ毎に、顧客１の理解度及び納得度に関する肯定的な動作及び否定的な動作を設定して、動作毎に、加算又は減算する点数を設定することができる。これにより、例えば、雑談ステージで顧客１が首をかしげる動作を検出しても減点せず、商品説明ステージで顧客１が首をかしげる動作を検出した場合は減点することができる。
【００４５】
例えば、評価基準データ３９ｅには、ステージによらず、腕を組む動作、ため息をつく動作等、係員２がしてはいけない動作（ＮＧ動作）を検出したら係員評価値から１点を減算するよう評価基準が設定されている。このため、ステージによらず、動作認識部３３が係員２のＮＧ動作を検出する度に、評価値算出部３４は係員評価値から１点を減算する。ステージ毎に、係員２のＮＧ動作を設定して、ＮＧ動作毎に減算する点数を設定することができる。
【００４６】
このように、評価値算出部３４は、顧客１の理解度及び納得度を評価するために予め設定したワード、表情及び動作の認識結果に基づく総合点として顧客評価値を算出する。また、係員２の説明内容や接客態度等、接客内容を評価するために予め設定したワード、表情及び動作の認識結果に基づく総合点として係員評価値を算出する。
【００４７】
この他、操作部３７を操作して項目を指定して、評価値算出部３４が、指定された項目に係る評価値を算出するように設定することもできる。具体的には、例えば、顧客１の理解度及び納得度とは別に、顧客１の笑顔及び係員２の笑顔を評価したい場合がある。このような場合に、初期値が０点の笑顔点数を設定する。そして、表情認識部３２が顧客１の笑顔を認識したら評価値算出部３４が１点を加算して顧客の笑顔点数を算出するように設定する。同様に、表情認識部３２が係員２の笑顔を認識したら評価値算出部３４が１点を加算して係員の笑顔点数を算出するように設定する。このように、ワード、表情、動作を指定して、これらを検出した際に加算又は減算する点数を設定することにより、顧客評価値及び係員評価値に加えて、異なる評価指標に基づく評価値を得ることができる。
【００４８】
図２に示す支援情報出力部３５は、評価値算出部３４がリアルタイムに算出した顧客評価値及び係員評価値、評価値の変動、評価値変動の理由、評価値を上げるための注意事項等の助言など、係員２を支援するための支援情報を支援情報表示装置４０に出力する機能を有する。
【００４９】
レポート作成部３６は、係員２が接客した際の記録をレポートとして出力する機能を有する。レポート作成部３６は、係員２が操作部３７を操作して商品、顧客１等について入力した情報、会話認識部３１が認識した会話内容及びステージ、表情認識部３２が認識した表情、動作認識部３３が認識した動作、評価値算出部３４が算出した評価値等に基づいてレポートを作成する。作成したレポートは、レポートデータ３９ｆとして記憶部３９で管理される。また、作成したレポートは、表示部３８又は支援情報表示装置４０の画面上に表示して確認することができる。
【００５０】
支援情報表示装置４０は、接客評価装置３０の支援情報出力部３５が出力する支援情報を受信して表示する機能を有する。支援情報表示装置４０は、例えばタブレット端末から成り、無線又は有線で接客評価装置３０とデータ通信可能に接続されている。
【００５１】
図３は、接客支援システムの設置例を示す図である。図３に示すように、係員２が顧客１の接客対応に利用するテーブル上に、顧客情報取得装置１０、係員情報取得装置２０、接客評価装置３０及び支援情報表示装置４０が設置されている。顧客情報取得装置１０は、カメラ１０ａによる撮像範囲を顧客１に向けた状態で設置されている。係員情報取得装置２０は、カメラ２０ａによる撮像範囲を係員２に向けた状態で設置されている。接客評価装置３０及び支援情報表示装置４０は、画面を係員２に向けた状態で設置されている。
【００５２】
支援情報表示装置４０の画面上には、評価値や係員２への助言等、係員２を支援するための支援情報が表示される。このため、支援情報表示装置４０は、画面を係員２の方へ向けて、顧客１から画面上の表示が見えないように設置される。
【００５３】
コンピュータ装置から成る接客評価装置３０を、接客対応に利用して、表示部３８を顧客に見せる場合がある。例えば、係員２が顧客１から聞き取って入力した顧客１の氏名等の情報を表示部３８に表示して顧客１に確認を求める際や、商品に関する情報を表示部３８に表示して顧客１に紹介する際に、接客評価装置３０の画面を顧客１の方へ向ける。接客評価装置３０から独立した支援情報表示装置４０を設置することにより、接客評価装置３０の画面表示を顧客１に見せる場合にも、支援情報表示装置４０の画面表示は顧客から見えないようにすることができる。
【００５４】
ただし、接客評価装置３０とは別に支援情報表示装置４０を設ける態様に限定されるものではなく、接客評価装置３０を、支援情報表示装置４０として利用する態様であってもよい。この場合、通常は、表示部３８の画面を係員２の方へ向けて接客評価装置３０を支援情報の表示に利用して、画面を顧客１の方へ向ける際には、支援情報を非表示にする。
【００５５】
支援情報の表示と非表示との切り替えは、操作部３７で所定操作を行う手動操作によって行うことができる。また、接客評価装置３０が、係員２が画面を顧客１の方へ向けることを検知して自動的に支援情報の表示と非表示とを切り替える設定とすることもできる。また、手動切替と自動切替とを併用する設定とすることもできる。
【００５６】
具体的には、係員２が画面切り替えを指示するための指示ワード及び指示動作を記憶部３９の評価基準データ３９ｅに登録しておく。会話認識部３１が係員２の発話内容から指示ワードを検出した場合、及び動作認識部３３が係員２の動作内容から指示動作を検出した場合、支援情報出力部３５は、表示部３８に出力表示していた支援情報の表示と非表示とを切り替える。
【００５７】
例えば、「画面」等、支援情報の非表示を指示する指示ワードと、「次に」等、支援情報の表示を指示する指示ワードとを予め登録しておく。これにより、係員２が商品情報を見せたり顧客情報の確認を求めたりする際に「画面を確認して下さい」等と発話するだけで表示部３８の支援情報を非表示にすることができる。また、顧客１が画面の確認を終えた後に「それでは次に」等と発話するだけで、非表示としていた支援情報を表示部３８に再表示することができる。同様に、支援情報の非表示を指示する動作及び再表示を指示する動作を予め登録しておいて、これらの指示動作の検出結果に応じて、支援情報の表示と非表示とを自動で切り替えることができる。また、手動切替と自動切替とを併用して、必要に応じて、自動切替を待たずに操作部３７で所定の指示操作を行って、支援情報を非表示にしたり再表示させたりすることもできる。なお、このような支援情報の表示と非表示との切り替えは、接客評価装置３０から独立して設けられた支援情報表示装置４０でも実行可能となっている。
【００５８】
次に、支援情報表示装置４０に表示される支援情報について具体的に説明する。図４は、支援情報表示装置４０に表示される画面例を示す図である。図４に示すように、支援情報表示装置４０の画面上には、顧客評価値、係員評価値（説明員評価値）、評価値の変動理由及び対応評価が表示される。顧客評価値及び係員評価値の枠内には、それぞれの評価値の変動を示す矢印が表示される。評価値変動理由の表示は、顧客評価値が変動した理由を示す情報である。対応評価の表示は、係員評価値が変動した理由を示す情報や、係員２への注意事項等の助言を示す情報である。
【００５９】
顧客評価値及び係員評価値の数値表示は、初期値の０点から始まって、点数の加算又は減算が行われる度に更新される。評価値の変動を示す矢印は、直前に行われた評価値算出によって評価値が上がったか下がったかを示している。直前に点数が加算されて評価値が上がった場合は、右斜め上向きの青色の矢印が表示される。直前に点数が減算されて評価値が下がっていれば右斜め下向きの赤色の矢印が表示される。所定時間を経過しても点数の加算及び減算がなく、評価値の変化がなければ水平右向きの青色の矢印が表示される。ただし、加算、減算、変化無しの違いを認識することができれば評価値変動を示す表示態様は限定されない。例えば、減算を下向き矢印、加算を上向き矢印としてもよいし、矢印を表示せずに枠内の色の違いのみで加算と減算とを示す態様であってもよい。
【００６０】
例えば、表情認識部３２が顧客１の思案顔を認識して、評価値算出部３４が顧客評価値の減算を行った直後、支援情報出力部３５は、減算後の顧客評価値を示す数値と、顧客評価値が低下したことを示す斜め下向きの赤色の矢印とを出力する。また、支援情報出力部３５は、評価値変動理由として、顧客１の思案顔を検出したことが評価値低下の理由であることを示す情報を出力する。この結果、支援情報表示装置４０の画面上段は図４に示す表示となる。支援情報表示装置４０の画面を確認した係員２は、顧客１に不明点がないか聴き取ったり、再説明を行ったりすることができる。
【００６１】
この他にも、例えば、接客評価装置３０が、顧客１が顔をしかめる表情、首をかしげる動作等、顧客評価値が低下する表情や動作を認識すると、支援情報表示装置４０によって係員２に報知される。係員２は、支援情報表示装置４０の画面表示を確認して、必要な対応をとることができる。
【００６２】
係員評価値が、数秒を経過しても変化しなければ、支援情報出力部３５は、係員評価値を示す数値と、水平方向右向きの青色の矢印とを出力する。また、会話認識部３１が認識した係員２の発話スピードが、予め設定された閾値を超えた場合、支援情報出力部３５は、対応評価として、説明のスピードが速くなっていることを示す情報を出力する。この結果、支援情報表示装置４０の画面下段は図４に示す表示となる。支援情報表示装置４０の画面を確認した係員２は、発話速度をゆっくりにしたり、説明が早すぎて不明な点がなかったか顧客に聴き取ったりすることができる。
【００６３】
このように、接客支援システムでは、顧客１の理解度を示す発話、表情及び動作の認識結果、顧客１の納得度を示す発話、表情及び動作の認識結果に基づいて、顧客１の理解度及び納得度を数値化した顧客評価値をリアルタイムに算出して係員２に報知することができる。また、係員２の発話、表情及び動作の認識結果に基づいて、係員２の説明内容や接客態度等の接客内容を数値化した係員評価値をリアルタイムに算出して係員２に報知することができる。
【００６４】
接客支援システムでは、通常は係員２が気付かないような顧客１の眉、目線、口角等の僅かな動きから表情を認識して、顧客の理解度、納得度等を評価することができる。また、顧客１が口に出さなくとも表情や動作から顧客の理解度、納得度等を評価することができる。手元資料や接客評価装置３０の画面を確認するために係員２が顧客１から目線を外す間も、顧客１の表情や動作から、顧客１の理解度、納得度等を評価することができる。そして、係員２に対する注意事項等の助言、評価値等の支援情報を支援情報表示装置４０に表示して、係員２の接客対応を支援することができる。
【００６５】
なお、支援情報表示装置４０に表示する情報は、設定により変更することができる。例えば、顧客評価値及び係員評価値に加えて、又は代えて、笑顔を検出する度に点数が加算される笑顔点数を表示することもできる。支援情報表示装置４０の画面上に、支援情報として、顧客１の笑顔点数及び係員２の笑顔点数を表示することにより、係員２は点数に応じた対応をとることができる。
【００６６】
次に、接客評価装置３０が作成するレポートについて具体的に説明する。図５は、接客評価装置３０が作成するレポートの例を示す図である。レポートには、係員２が操作部３７を操作して入力した商品名等の商品情報１０１と、顧客１の氏名等の関連情報１０２とが表示される。また、会話認識部３１が認識した各ステージの時間、ステージの名称等のステージ情報１０３が表示される。ステージ情報１０３の右端に、接客対応に要した合計時間が表示される。ステージ情報１０３の下側には、各ステージにおける顧客１の発話と係員２の発話とを色を変えて示した割合情報１０４が表示される。顧客１の発話は、顧客情報１０６の項目名と同じ色で表示され、係員２の発話は、係員情報１０５の項目名と同じ色で表示される。割合情報１０４の右端には、係員２の発話の合計時間及び顧客１の発話の合計時間と、接客対応に要した合計時間に対する係員２の発話の合計時間の割合とが表示される。
【００６７】
割合情報１０４の下側には、横軸を時間軸、縦軸を評価点数として、各ステージにおける係員評価値の変動を折線で示した係員情報１０５が表示される。係員情報１０５の右端には、接客対応終了時の係員評価値が表示される。係員情報１０５の下側には、横軸を時間軸、縦軸を評価点数として、各ステージにおける顧客評価値の変動を折線で示した顧客情報１０６が表示される。顧客情報１０６の右端には、接客対応終了時の顧客評価値が表示される。
【００６８】
顧客情報１０６の下側には、接客評価装置３０が検出するワード、表情及び動作の中から選択した１つ又は複数の検出情報１０７を表示できるようになっている。図５は、顧客１が係員２から目線を外す動作と、顧客１がうなずく動作とを検出情報１０７として設定した場合の例を示している。検出情報１０７は、各ステージで各動作を検出したタイミングが分かるように、時間軸を示す横軸上に、各動作を検出したタイミングをプロットすることによって示される。検出情報１０７の右端には各動作を検出した合計回数が表示される。
【００６９】
検出情報１０７の下側には、項目別評価結果１１０が表示される。項目別評価結果１１０は、接客評価装置３０が、係員２の発話、表情及び動作を検出して評価した結果を示している。リスク説明の項目は、例えば、顧客１にリスク説明を行う際に使用するワードを予め設定しておいて、設定ワードの合計数に対する、係員２の発話内容から検出したワード数の割合に基づいて評価する。同様に、商品説明の項目は、商品の種類に応じて、説明に使用するワードを予め設定しておいて、設定ワードの合計数に対する、係員２の発話内容から検出したワード数の割合に基づいて評価する。ＮＧワードの項目は、係員２の発話内容から検出したＮＧワードの数に基づいて評価する。また、スピードの項目は、接客対応中の係員２の発話スピードの平均値又は最大値に基づいて評価する。間合いの項目は、発話と発話の間の沈黙時間に基づいて評価する。明瞭さの項目は、係員２の発話の合計時間に対する、音声認識できなかった発話時間の割合、発話音声の周波数分析結果等に基づいて評価する。
【００７０】
項目別評価結果１１０の右側には、係員２の接客対応を評価して得られた評価内容１１１及び総合点１１２を含む総合評価結果が表示される。評価内容１１１には、各評価が番号を付した状態で表示される。各評価の根拠となったワード、表情、動作等を検出したタイミングが、係員情報１０５及び顧客情報１０６の折線グラフ上に番号１０９で表示される。また、この検出タイミングに撮像した係員２の画像１０８が表示される。これにより、係員２は、各評価を得られたステージ及び自身の画像を確認することができる。係員２が接客対応を行う度に図５に示すレポートを作成することで、係員２の接客対応における問題点、係員２の接客対応能力の向上等を確認することができる。
【００７１】
なお、本実施形態では、係員２が接客対応するテーブル上に接客評価装置３０を設置する例を示したが、接客評価装置３０を離れた場所に設置する態様であってもよい。例えば、接客評価装置３０として機能するサーバ装置を別室に設置して、ネットワークを介して顧客情報取得装置１０、係員情報取得装置２０及び支援情報表示装置４０と接続する態様であってもよい。
【００７２】
上述してきたように、本実施形態に係る接客支援システムによれば、係員２が顧客１に商品について説明する際に、顧客１の発話、表情及び動作に基づいて、顧客１の理解度及び納得度を示す顧客評価値をリアルタイムに算出することができる。また、係員２の発話、表情及び動作に基づいて、係員２の説明内容や接客態度等の接客内容を示す係員評価値をリアルタイムに算出することができる。そして、顧客評価値及び係員評価値、これらの評価値の変動、変動に基づく注意事項等の助言を支援情報として係員２に報知することができる。これにより、顧客１の理解度及び納得度が向上し、係員２の説明内容や接客態度が向上するように、係員２の接客対応を支援することができる。
【産業上の利用可能性】
【００７３】
以上のように、本発明に係る接客支援システム、接客支援装置及び接客支援方法は、接客中の顧客の理解度に基づいて店員の接客対応を支援するために有用である。
【符号の説明】
【００７４】
１０  顧客情報取得装置
２０  係員情報取得装置
１０ａ、２０ａ  カメラ
１０ｂ、２０ｂ  マイク
３０  接客評価装置
３１  会話認識部
３２  表情認識部
３３  動作認識部
３４  評価値算出部
３５  支援情報出力部
３６  レポート作成部
３７  操作部
３８  表示部
３９  記憶部
４０  支援情報表示装置
【図１】
2018124604.tif 000003
【図２】
2018124604.tif 000004
【図３】
2018124604.tif 000005
【図４】
2018124604.tif 000006
【図５】
2018124604.tif 000007