(57)【特許請求の範囲】
【請求項１】
店員と顧客の会話を取得する会話取得部と、
取得した前記会話から、前記店員の話し掛けによる音声区間である店員話し掛け区間と、前記顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出部と、
前記店員話し掛け区間の長さと前記顧客話し掛け区間の長さとで会話比率のデータを算出する会話比率算出部と、
前記顧客話し掛け区間の音声に基づいて、顧客の感情を認識する顧客感情認識部と、
前記顧客感情認識部の認識結果に基づいて、顧客満足度のデータを算出する顧客満足度算出部と、
算出した前記会話比率のデータと算出した前記顧客満足度のデータとを関連付けた接客データをデータベースに記録する接客データ記録部と、
を備えることを特徴とする接客データ記録装置。
【請求項２】
前記会話比率は、前記店員話し掛け区間の長さと前記顧客話し掛け区間の長さとの比率、前記店員話し掛け区間の長さの前記店員話し掛け区間の長さと前記顧客話し掛け区間の長さとの合計に対する比率、もしくは前記顧客話し掛け区間の長さの前記店員話し掛け区間の長さと前記顧客話し掛け区間の長さとの合計に対する比率である請求項１に記載の接客データ記録装置。
【請求項３】
息継ぎのない連続する音声区間を１の発話区間、所定時間以上途切れないまま繰り返される前記店員または前記顧客の前記発話区間の集合体を１の話し掛け区間、としたとき、
前記会話比率算出部は、前記店員話し掛け区間の長さもしくは前記顧客話し掛け区間として、１の前記話し掛け区間に含まれる前記発話区間の長さの合計を算出する請求項１または２に記載の接客データ記録装置。
【請求項４】
前記店員の前記話し掛け区間と前記顧客の話し掛け区間とが所定時間以上途切れないまま交互に繰り返される前記話し掛け区間の集合体を１の会話区間としたとき、
前記会話比率算出部は、前記会話区間に含まれる前記店員の話し掛け区間及び前記顧客の話し掛け区間に基づいて、当該会話区間の会話比率を算出する請求項３に記載の接客データ記録装置。
【請求項５】
前記顧客感情認識部は、前記発話区間単位で感情認識を行うと共に、
前記顧客満足度算出部は、前記発話区間単位で顧客満足度のデータを算出し、前記顧客話し掛け区間の顧客満足度は、当該顧客話し掛け区間に含まれる前記発話区間単位の顧客満足度のデータの平均値である請求項４に記載の接客データ記録装置。
【請求項６】
所定時間以上途切れないまま繰り返される前記会話区間の集合体を１の接客区間としたとき、
前記会話比率算出部は、前記接客区間に含まれる前記会話区間の会話比率の平均値を、当該接客区間の会話比率として算出し、
前記接客データ記録部は、前記会話比率データとして、前記接客区間の会話比率と、前記会話区間の会話比率と、を記録する請求項４または５に記載の接客データ記録装置。
【請求項７】
前記接客データを確認するビューアー画面を表示する画面表示部を備え、
前記画面表示部は、前記店員および／または前記顧客を識別する人物識別情報の選択または入力により、当該人物識別情報を含む前記接客データを抽出して、前記ビューアー画面に表示する請求項１乃至６のいずれか１項に記載の接客データ記録装置。
【請求項８】
店員と顧客の会話を取得する会話取得ステップと、
取得した前記会話から、前記店員の話し掛けによる音声区間である店員話し掛け区間と、前記顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出ステップと、
前記店員話し掛け区間の長さと前記顧客話し掛け区間の長さとで会話比率のデータを算出する会話比率算出ステップと、
前記顧客話し掛け区間の音声に基づいて、顧客の感情を認識する顧客感情認識ステップと、
前記顧客感情認識ステップによる認識結果に基づいて、顧客満足度のデータを算出する顧客満足度算出ステップと、
算出した前記会話比率データと、算出した前記顧客満足度のデータとを関連付けた接客データをデータベースに記録する接客データ記録ステップと、
を実行することを特徴とする接客データ記録方法。
【請求項９】
コンピューターに、請求項８に記載の接客データ記録方法における各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
マーケティングデータとして利用するための接客データを記録する接客データ記録装置、接客データ記録方法およびプログラムに関するものである。
【背景技術】
【０００２】
近年、販売促進に活用するためのマーケティングデータとして、顧客データや売り上げデータを収集する試みが行われている。例えば、特許文献１では、ＰＯＳデータを分析して消費者の併売傾向を数量的に把握し、販売促進に反映させるマーケティングデータ収集分析技術が提案されている。
【０００３】
一方、会話状況を推定する技術として、人物の音声に基づいて感情を認識する感情認識技術が知られている。例えば、特許文献２では、被験者が入力した音声信号から、音声の強度、テンポおよび抑揚などの変化量を、「怒り」、「悲しみ」および「喜び」などそれぞれの感情状態に対応付けて感情認識を行っている。
【０００４】
ところで、マーケティングの分野では、生産性や効率を多少犠牲にしてでも顧客満足度を高めた方が、消費者のリピーター化などを通じて結果的には良いと言われている。また、小売店を初めとするホスピタリティを重視する店舗では、売り上げと顧客満足度には密接な関連性があるため、顧客満足度を高めるために、接客スキルのトレーニングや、顧客に対する印象を良くするための笑顔や挨拶のトレーニングを行っている。中でも、接客スキルの一つである会話テクニックは重要視され、顧客との会話比率に着目したトレーニングが行われている。一般的に、店員と顧客の会話比率は、顧客の割合が大きい方が好ましいとされており（例えば、２：８など）、これを維持することで、顧客満足度に好影響を与えると言われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９４５９２号公報
【特許文献２】特開２００２−９１４８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、接客に好ましいとされる会話比率が分かっていても、会話比率を測定する方法が無いため、各店員がそれを実践できているか否かは不明である。また、会話比率がどの程度顧客満足度に影響するかの影響度も明確ではない。このため、会話比率に着目したトレーニングを行って、仮に売り上げが向上した場合でも、その関連性を証明できないという問題がある。また、小売業界では、マーケティングデータとして、実際に接客している最中の会話比率や顧客満足度に関する情報を収集して経営戦略に役立てたいという要望があるが、未だ実現されていない。
【０００７】
本発明は、上記の問題点に鑑み、マーケティングデータの一つとして、会話比率と顧客満足度の関連性を把握するための接客データを記録可能な接客データ記録装置、接客データ記録方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の接客データ記録装置は、店員と顧客の会話を取得する会話取得部と、取得した会話から、店員の話し掛けによる音声区間である店員話し掛け区間と、顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出部と、店員話し掛け区間の長さと顧客話し掛け区間の長さとで会話比率のデータを算出する会話比率算出部と、顧客話し掛け区間の音声に基づいて、顧客の感情を認識する顧客感情認識部と、顧客感情認識部の認識結果に基づいて、顧客満足度のデータを算出する顧客満足度算出部と、算出した会話比率のデータと算出した顧客満足度のデータとを関連付けた接客データをデータベースに記録する接客データ記録部と、を備えたことを特徴とする。
ここで、会話比率は、店員話し掛け区間の長さと顧客話し掛け区間の長さとの比率、店員話し掛け区間の長さの店員話し掛け区間の長さと顧客話し掛け区間の長さとの合計に対する比率、もしくは顧客話し掛け区間の長さの店員話し掛け区間の長さと顧客話し掛け区間の長さとの合計に対する比率であることが望ましい。
【０００９】
本発明の接客データ記録方法は、コンピューターが、店員と顧客の会話を取得する会話取得ステップと、取得した会話から、店員の話し掛けによる音声区間である店員話し掛け区間と、顧客の話し掛けによる音声区間である顧客話し掛け区間と、を抽出する話し掛け区間抽出ステップと、店員話し掛け区間と顧客話し掛け区間の長さの比率、若しくは店員話し掛け区間または顧客話し掛け区間の長さの、店員話し掛け区間と顧客話し掛け区間の長さの合計に対する比率である会話比率を算出する会話比率算出ステップと、顧客話し掛け区間の音声に基づいて、顧客の感情を認識する顧客感情認識ステップと、顧客感情認識ステップによる認識結果に基づいて、顧客満足度を算出する顧客満足度算出ステップと、算出した会話比率に基づく会話比率データと、顧客満足度に基づく満足度データとを関連付け、接客データとしてデータベースに記録する接客データ記録ステップと、を実行することを特徴とする。
【００１０】
これらの構成によれば、会話比率データと満足度データとを関連付けた接客データを記録するため、これをマーケティングデータとして利用することができる。また、当該接客データにより、会話比率がどの程度顧客満足度に影響するかを推定でき、会話トレーニングの成果を証明できる。また、本発明を個人で利用することで、個人間の会話スキル（会話テクニック）の向上に役立てることができる。なお、会話比率は、（１）店員話し掛け区間の長さをＬａ、顧客話し掛け区間の長さをＬｂとしたとき、ＬａとＬｂの比率、（２）ＬａまたはＬｂの（Ｌａ＋Ｌｂ）に対する比率、のいずれかとして算出できる。
なお、店員と顧客の音声は必ずしも１の会話取得部（マイクなど）によって取得される必要はなく、２つの会話取得部によって個別に取得しても良い。この場合、話し掛け区間抽出部は、取得した会話取得部によって、店員と顧客の音声を区別し、各話し掛け区間を抽出する。
【００１１】
上記に記載の接客データ記録装置において、店員に取り付けられ、当該店員が発話したことを検出する発話検出部をさらに備え、話し掛け区間抽出部は、発話検出部の検出結果に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別し、当該判別結果に基づいて各話し掛け区間を抽出することが好ましい。
【００１２】
上記に記載の接客データ記録方法において、コンピューターは、店員に取り付けられ、当該店員が発話したことを検出する発話検出部と接続されており、話し掛け区間抽出ステップでは、発話検出部の検出結果に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別し、当該判別結果に基づいて各話し掛け区間を抽出することが好ましい。
【００１３】
これらの構成によれば、発話検出部を用いることで、正確に店員と顧客の音声を判別し、ひいては、より正確に会話比率および顧客満足度を算出することができる。
なお、発話検出部としては、例えば、人物の音声が骨や肉を伝わって体表に届く体導音を検出する体導音センサーが挙げられる。この場合、体導音センサーは、頭頚部の体表に装着されることが好ましい。
【００１４】
上記に記載の接客データ記録装置において、息継ぎのない連続する音声区間を１発話区間、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を１話し掛け区間、としたとき、会話比率算出部は、各話し掛け区間の長さとして、１話し掛け区間に含まれる発話区間の長さの合計を算出することが好ましい。
【００１５】
この構成によれば、店員と顧客の発話区間の長さの合計に基づいて会話比率を算出できる。つまり、息継ぎ（ブレス）などによって発話区間が途切れた場合、そのインターバルを除いて、店員話し掛け区間の長さおよび顧客話し掛け区間の長さを特定できる。
【００１６】
上記に記載の接客データ記録装置において、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を１会話区間としたとき、会話比率算出部は、会話区間に含まれる１以上の話し掛け区間に基づいて、当該会話区間ごとに会話比率を算出し、顧客満足度算出部は、会話区間に含まれる各顧客話し掛け区間の顧客満足度に基づいて、会話区間ごとの顧客満足度を算出することが好ましい。
【００１７】
この構成によれば、一連の話し掛け区間の集合体である会話区間ごとに会話比率を算出するため、単位時間ごとに算出する場合と比較して、信頼度の高い会話比率を算出できる。また、会話比率と同じ区間で顧客満足度を算出するため、両者の相関関係をより正確に推定できる。
【００１８】
上記に記載の接客データ記録装置において、顧客感情認識部は、発話区間単位で感情認識を行うと共に、顧客満足度算出部は、発話区間単位で顧客満足度を算出し、顧客話し掛け区間の顧客満足度は、当該顧客話し掛け区間に含まれる各発話区間単位の顧客満足度の平均値であることが好ましい。
【００１９】
この構成によれば、発話区間単位で感情認識を行うため、話し掛け区間や会話区間単位で感情認識を行う場合と比較して、高精度な感情認識が可能となる。
【００２０】
上記に記載の接客データ記録装置において、所定時間以上途切れないまま繰り返される会話区間の集合体を１接客区間としたとき、会話比率算出部は、接客区間に含まれる各会話区間の会話比率の平均値を、当該接客区間における会話比率として算出し、顧客満足度算出部は、接客区間に含まれる各会話区間の顧客満足度の平均値を、当該接客区間における顧客満足度として算出し、接客データ記録部は、会話比率データとして、接客区間における会話比率と、各会話区間における会話比率と、を記録し、満足度データとして、接客区間における顧客満足度と、各会話区間における顧客満足度と、を記録することが好ましい。
【００２１】
この構成によれば、会話比率データとして、各会話区間における会話比率を記録し、満足度データとして、各会話区間における顧客満足度を記録するため、これらの接客データから、１接客内における会話状況の変化や顧客の感情の変化を確認できる。また、接客データとして、各接客区間における会話比率および顧客満足度を記録するため、各接客の総合的な評価を容易に把握できる。
【００２２】
上記に記載の接客データ記録装置において、接客データを確認するためのビューアー画面を表示する画面表示部をさらに備え、画面表示部は、店員および／または顧客を識別する人物識別情報の選択または入力により、当該人物識別情報を含む接客データを抽出して、ビューアー画面に表示することが好ましい。
【００２３】
この構成によれば、店員および顧客の少なくとも一方を識別する人物識別情報を検索条件として選択または入力することにより、ビューアー画面上で、所望する接客データを確認することができる。
【００２４】
上記に記載の接客データ記録装置において、画面表示部は、接客区間内の、各会話区間における会話比率の推移と、各会話区間における顧客満足度の推移とを、共通する時間軸上でグラフ化した重ね合わせグラフを、ビューアー画面に表示することが好ましい。
【００２５】
この構成によれば、重ね合わせグラフにより、１接客内における会話状況の変化や顧客の感情の変化、並びにそれらの相関関係を一目で把握できる。
【００２６】
本発明のプログラムは、コンピューターに、上記に記載の接客データ記録方法における各ステップを実行させることを特徴とする。
【００２７】
このプログラムを用いることにより、マーケティングデータの一つとして、会話比率と顧客満足度の関連性を把握するための接客データを記録可能な接客データ記録方法を実現できる。
【図面の簡単な説明】
【００２８】
【図１】第１実施形態に係る接客支援システムのシステム構成図である。
【図２】店員用端末の制御ブロック図である。
【図３】レシートプリンターの制御ブロック図である。
【図４】管理サーバーの制御ブロック図である。
【図５】発話区間、話し掛け区間、会話区間および接客区間の説明図である。
【図６】第１実施形態に係る接客支援システムの機能ブロック図である。
【図７】第１実施形態に係る管理サーバー用データベースの説明図である。
【図８】会話比率の算出アルゴリズムを示す図である。
【図９】音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。
【図１０】第１実施形態に係る音声データ保存処理を示すフローチャートである。
【図１１】第１実施形態に係る接客区間特定処理を示すフローチャートである。
【図１２】第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。
【図１３】第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。
【図１４】第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。
【図１５】重複回数の計測方法を示す図である。
【図１６】ビューアー画面（会話比率一覧表）の一例を示す図である。
【図１７】ビューアー画面（会話比率−売り上げ実績相関図）の一例を示す図である。
【図１８】接客点数の算出アルゴリズム、並びに会話比率判定テーブルおよび重複回数判定テーブルを示す図である。
【図１９】第２実施形態に係る接客支援システムの機能ブロック図である。
【図２０】第２実施形態に係る管理サーバー用データベースの説明図である。
【図２１】顧客満足度の算出アルゴリズムを示す図である。
【図２２】ビューアー画面（満足度−会話比率一覧表）の一例を示す図である。
【図２３】ビューアー画面（満足度−会話比率重ね合わせグラフ）の一例を示す図である。
【図２４】第３実施形態に係る接客支援システムの機能ブロック図である。
【図２５】第３実施形態に係る管理サーバー用データベースの説明図である。
【図２６】切替検出データの一例を示す図、および接客切替期間のイメージ図である。
【図２７】接客会話区間特定結果の一例を示す図、および接客会話区間のイメージ図である。
【図２８】接客区間特定パターンＡの説明図である。
【図２９】接客区間特定パターンＢの説明図である。
【図３０】接客区間特定パターンＣの説明図である。
【図３１】接客区間設定の説明図である。
【発明を実施するための形態】
【００２９】
［第１実施形態］
以下、添付の図面を参照し、本発明の会話比率算出装置、接客データ記録装置、会話比率算出方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の会話比率算出装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、人物（顧客，来場者）の音声を取得し、その結果を顧客満足度の向上や接客スキルの向上に生かすべく構築されたものである。そこで、以下の各実施形態では、アパレル店や宝飾品店などの小売店舗内に、接客支援システムＳＹを導入する場合を例示する。
【００３０】
図１は、第１実施形態に係る接客支援システムＳＹ１のシステム構成図である。同図に示すように、接客支援システムＳＹ１は、店員に装着された体導音センサー１、音声取得用マイク２および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point  Of  Sales）端末１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。なお、請求項におけるコンピューターは、体導音センサー１以外の各装置から成る。
【００３１】
体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員（人物Ａ）のものであるか顧客（人物Ｂ）のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。
【００３２】
店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２と接続されている。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。店内カメラ１１は、店内各所の天井や壁に設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan  Tilt  Zoom）カメラを採用可能である。
【００３３】
ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスタ１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。なお、商品マスタ１８は、ＰＯＳ端末１２に接続されたＰＯＳサーバー（図示省略）内に備えても良い。
【００３４】
レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。
【００３５】
管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データに基づいて、音声データの録音、会話比率の算出および重複回数の計測などを行う。また、管理サーバー１５は、算出した会話比率や、録音した音声データを確認するためのビューアー画面Ｄ（図１６等参照）を、表示端末１６の表示画面１６ａに表示する。
【００３６】
次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio  Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を取得するためのアンプ部２８およびＡ／Ｄコンバータ２９と、音声取得用マイク２から音声データを取得するためのアンプ部３２およびＡ／Ｄコンバータ３３と、を有している。
【００３７】
また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データ（音声取得用マイク２から音声データも含む）を記憶するメモリ２６と、店員用端末５に電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバータ２９およびＡ／Ｄコンバータ３３から取得した検出データおよび音声データに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、音声データに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。
【００３８】
図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力インターフェイス部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線ＬＡＮを介して接続される有線ＬＡＮインターフェイス部４９と、を有している。
【００３９】
制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、有線ＬＡＮインターフェイス部４９を介して、管理サーバー１５に転送する。
【００４０】
図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するための有線ＬＡＮインターフェイス部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、接客区間（店員が顧客に対して接客を行っている時間帯）を特定する接客区間特定機能と、接客区間あたりの店員と顧客の会話比率を算出する会話比率算出機能と、接客区間あたりの会話の重複回数を計測する重複回数計測機能と、入力装置５５からの情報入力に基づいてビューアー画面Ｄ（図１６等参照）の表示制御を行うビューアー画面表示制御機能と、を有している。また、記憶部５４は、ハードディスクにより実現され、音声抽出プログラムや会話比率算出プログラムなどの各種制御プログラムを記憶する他、後述する管理サーバー用データベースＤＢ１として機能する。
【００４１】
次に、図５を参照し、音声区間の定義について説明する。まず、同一人物（店員または顧客）により連続して発声される音声の区間、つまりブレスなどが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、全て２つの発話区間から成る場合を示している。
【００４２】
また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の話し掛け区間の集合体を言う（但し、ＹはＹ≧Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。
【００４３】
また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。なお、Ｚの値は、数分〜数十分程度など、ＸやＹの値と比較して明らかに大きな値とすることが好ましい。
【００４４】
次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹ１の機能構成について説明する。図６は、接客支援システムＳＹ１のブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。
【００４５】
体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、会話取得部１０２を有している。会話取得部１０２は、店員および顧客の会話に基づく音声（音声信号）を取得する。店員用端末５は、主な機能構成として、音声データ送信部１０５を有している。音声データ送信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、発話検出部１０１の検出結果および会話取得部１０２の音声取得結果に基づいて店員発話区間を特定し（店員発話区間特定機能）、当該店員発話区間の発生を管理サーバー１５に通知する。なお、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行う。
【００４６】
レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。
【００４７】
管理サーバー１５は、主な機能構成として、映像記録部１５１、人物識別部１５２、音声データ録音部１５３、音声抽出部１５４、会話比率算出部１５５、重複回数計測部１５６、変換データ取得部１５７、接客データ記録部１５８、画面表示部１５９および管理サーバー用データベースＤＢ１を有している。
【００４８】
映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢ１に記録する。人物識別部１５２は、映像データに含まれる顔特徴量に基づいて店員および顧客を識別する。例えば、店員については、予め店員識別情報と店員の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておく（図７の店員情報記憶部８２参照）。また、店内カメラ１１の撮像結果を解析して顔検出を行い、検出した当該顔部分の画像を正規化して算出された顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員であると判定する。同様に、顧客についても、予め顧客識別情報と顧客の顔特徴量とを関連付けて管理サーバー用データベースＤＢ１内に記憶しておき（図７の顧客情報記憶部８１参照）、算出された顧客の顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。なお、人物識別部１５２の識別結果である店員識別情報と顧客識別情報は紐付けされ、後述する接客データ記憶部８８に記憶される。
【００４９】
音声データ録音部１５３は、店員と顧客の会話、すなわち音声データ送信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢ１に記録する）。音声抽出部１５４は、取得した会話（音声データ）から、店員音声と顧客音声をそれぞれ抽出する。具体的には、発話検出部１０１の検出結果に基づいて、会話に含まれる音声が店員音声であるか顧客音声であるかを判別し、当該判別結果に基づいて各音声を抽出する。なお、各音声は、発話区間単位または話し掛け区間単位で抽出する。詳細については後述する。
【００５０】
会話比率算出部１５５は、制御部５３の会話比率算出機能を指すものであり、店員と顧客の会話比率を算出する。具体的には、会話区間ごとに会話比率を算出し、当該会話区間ごとの算出結果に基づいて、接客区間ごとの会話比率（平均会話比率）を算出する。算出された会話比率は、接客データの一部として、接客データ記憶部８８に記憶される。なお、会話比率の算出アルゴリズムについては後述する。
【００５１】
重複回数計測部１５６は、制御部５３の重複回数計測機能を指すものであり、接客区間において、店員の音声と顧客の音声とが重複した回数（重複区間の個数）である重複回数を計測する。計測された重複回数は、接客データの一部として、接客データ記憶部８８に記憶される。なお、重複区間の検出方法および重複区間の計測方法についても後述する。
【００５２】
変換データ取得部１５７は、レシートプリンター１３の変換データ送信部１１３から送信された変換データを取得し、管理サーバー用データベースＤＢ１に記録する。なお、変換データは、上記の接客データの一部として記録する、売り上げ情報を得るために用いられる。なお、変換データの記録は、変換データに含まれる情報の中から、顧客識別情報（会員番号など）、レシート番号（売り上げＮｏ．）および合計金額など、売り上げの有無や売り上げ金額を特定可能な情報のみを抽出し、これを売り上げ情報として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢ１に記録しても良い。
【００５３】
接客データ記録部１５８は、接客区間ごとに、人物識別部１５２の識別結果である店員識別情報および顧客識別情報、並びに会話比率算出部１５５の算出結果などを含む接客データを紐付けして、管理サーバー用データベースＤＢ１に記録する。なお、顧客識別情報および店員識別情報は、上記のとおり顔特徴量から特定される。また、店員識別情報と、店員用端末５のＭＡＣアドレスとは、対応付けて記憶されており（図７の店員情報記憶部８２参照）、管理サーバー１５が取得した映像データと音声データの紐付けができるようになっている。
【００５４】
画面表示部１５９は、記録した接客データを確認するためのビューアー画面Ｄ（図１６等参照）を表示画面１６ａ上に表示する。なお、ビューアー画面Ｄについても、具体例を挙げて後に詳述する。
【００５５】
図７は、第１実施形態に係る管理サーバー用データベースＤＢ１の説明図である。管理サーバー用データベースＤＢ１は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７および接客データ記憶部８８として機能する。なお、管理サーバー用データベースＤＢ１は、店舗ごとに設けても良いし、複数店舗で共有しても良い。
【００５６】
顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、音声データ録音部１５３により常時録音された音声データをタイムスタンプと共に記憶する。また、映像データ記憶部８４は、接客撮像部１１１により常時撮像された映像データをタイムスタンプと共に記憶する。
【００５７】
また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図９（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図９（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図９（ｃ）参照）。
【００５８】
また、接客データ記憶部８８は、人物識別部１５２の識別結果である顧客識別情報および店員識別情報と、音声データ記憶部８３に記憶された音声データのうち、接客区間分の音声データに相当する録音データと、映像データ記憶部８４に記憶された映像データのうち、接客区間分の映像データに相当する撮像データと、会話比率算出部１５５の算出結果である、当該接客区間の会話比率と、重複回数計測部１５６の計測結果である、当該接客区間の重複回数と、当該接客による（接客区間内または接客区間終了後所定時間以内に発生した）売り上げの有無および売り上げ金額を示す売り上げ情報と、接客日並びに接客開始時刻および接客終了時刻を示す接客日時と、を関連付けて記憶する。なお、売り上げ情報については、精算場所に設置された店内カメラ１１により撮影された顧客の映像から算出された顧客の顔特徴量と、予め管理サーバー用データベースＤＢ１内に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客の顧客識別情報によって、紐付けされる接客データを特定可能である。また、レシートプリンター１３から送信された変換データに含まれる顧客識別情報によって、紐付けされる接客データを特定することも可能である。また、変換データに店員識別情報（オペレーター氏名または店員番号など）が含まれる場合は、顧客識別情報および店員識別情報の両方が合致する接客データに、紐付けされることが好ましい。
【００５９】
次に、図８を参照し、各種会話比率の算出アルゴリズム（計算式）について説明する。図８（ａ）に示すように、会話区間における会話比率としては、「店員：顧客の相対会話比率」、「店員の会話比率」および「顧客の会話比率」の３つのパターンを算出可能である。例えば、「店員：顧客の相対会話比率」は、会話区間に含まれる各店員話し掛け区間の長さの合計をＬａ、会話区間に含まれる各顧客話し掛け区間の長さの合計をＬｂとしたとき、Ｌａ：Ｌｂの値を指す。また、「店員の会話比率」は、Ｌａ／（Ｌａ＋Ｌｂ）の値を指し、顧客の会話比率は、「Ｌｂ／（Ｌａ＋Ｌｂ）」の値を指す。ここで、「話し掛け区間の長さ」とは、話し掛け区間の開始時刻から終了時刻までの長さを言う。
【００６０】
なお、Ｌａを、会話区間に含まれる各店員発話区間の長さの合計として規定しても良い。つまり、図５（ａ）に示すように、話し掛け区間には、インターバルＸが含まれる場合があるが、そのインターバルの長さを差し引いた長さとしてＬａを規定しても良い。例えば、図５（ａ）に示す顧客話し掛け区間Ａの場合、Ｌａは、発話区間１の開始時刻から終了時刻までの長さと、発話区間２の開始時刻から終了時刻までの長さの合計となる。Ｌｂについても同様である。
【００６１】
一方、図８（ｂ）に示すように、接客区間における会話比率は、接客区間に含まれる各会話区間の会話比率の平均値によって算出可能である。なお、各会話区間の会話比率の平均値に代えて、最高値、最低値、中間値などの各種統計量を、接客区間における会話比率として算出しても良い。また、接客区間における会話比率も、会話区間における会話比率（図８（ａ）参照）としてどのパターンを採用したかに応じて、「店員：顧客の相対会話比率」、「店員の会話比率」および「顧客の会話比率」の３つのパターンを算出可能である。
【００６２】
また、接客区間における会話比率の算出方法の変形例として、図８（ｃ）のアルゴリズムを用いても良い。この場合、「店員：顧客の相対会話比率」は、接客区間に含まれる各店員話し掛け区間の長さの合計をΣＬａ、接客区間に含まれる各顧客話し掛け区間の長さの合計をΣＬｂとしたとき、ΣＬａ：ΣＬｂの値を指す。また、「店員の会話比率」は、ΣＬａ／（ΣＬａ＋ΣＬｂ）の値を指し、「顧客の会話比率」は、ΣＬｂ／（ΣＬａ＋ΣＬｂ）の値を指す。
【００６３】
なお、Ｌａを、会話区間に含まれる各店員発話区間の長さの合計として規定したのと同様に、ΣＬａを、接客区間に含まれる各店員発話区間の長さの合計として規定しても良い。ΣＬｂについても同様である。
【００６４】
次に、図９を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図９（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される「音声データＮｏ．」と、連続発話区間の開始時間に相当する「録音開始時間」と、連続発話区間の終了時間に相当する「録音終了時間」と、顧客の発声に基づく音声データか、店員の発声に基づく音声データか、または両方の発声に基づく音声データかを示す「重複フラグ」と、音声データを保存する「音声データ保存先アドレス」と、を関連付けたものである。例えば、「音声データＮｏ．：２０１」の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の発声が重複していることを示している。
【００６５】
図９（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、店員発話区間ごとに付与される「店員発話Ｎｏ．」と、店員発話区間の開始時間である「店員発話開始時間」と、店員発話区間の終了時間である「店員発話終了時間」と、どの店員話し掛け区間に属するかを示す「話し掛けＮｏ．」と、顧客の発声との重複区間の開始時間である「重複開始時間」と、顧客の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「店員発話Ｎｏ．：１００」と「店員発話Ｎｏ．：１０１」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、「店員発話Ｎｏ．：１００」の発話区間は、その区間全体が顧客の発声と重複していることを示している。
【００６６】
図９（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、顧客発話区間ごとに付与される「顧客発話Ｎｏ．」と、顧客発話区間の開始時間である「顧客発話開始時間」と、顧客発話区間の終了時間である「顧客発話終了時間」と、どの顧客話し掛け区間に属するかを示す「話し掛けＮｏ．」と、店員の発声との重複区間の開始時間である「重複開始時間」と、店員の発声との重複区間の終了時間である「重複終了時間」と、を関連付けたものである。例えば、「顧客発話Ｎｏ．：１０１」と「顧客発話Ｎｏ．：１０２」の発話区間は、インターバルが所定時間Ｘ（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付与されている。また、「顧客発話Ｎｏ．：１００」の発話区間は、１３秒の区間長さのうち６秒間が店員の発声と重複していることを示している。
【００６７】
次に、図１０のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。
【００６８】
店員用端末５（制御部２５）は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリ２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。
【００６９】
続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。
【００７０】
管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図９（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。
【００７１】
次に、図１１ないし図１４のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１１は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１２ないし図１４は、そのサブルーチンを示すフローチャートである。図１１に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。その後、これらＳ２１〜Ｓ２３の工程により特定された話し掛け区間に基づいて、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４の工程を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。
【００７２】
次に、図１２のフローチャートを参照し、図１１のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話開始時間として確定し、メモリ２６内に記録する（Ｓ３２）。続いて、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、一定時間以上所定レベル未満の状態が保持された場合（無信号区間が発生した場合）、所定レベル以上の検出レベルがあった最後の検出時間を店員発話区間終了時間として確定し、メモリ２６内に記録する（Ｓ３３）。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリ２６内に記録されている店員発話開始時間および店員発話終了時間も送信する。
【００７３】
一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図９（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。
【００７４】
次に、図１３のフローチャートを参照し、図１１のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。
【００７５】
その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないものとして、処理を終了する。
【００７６】
次に、図１４のフローチャートを参照し、図１１のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５は、顧客話し掛け区間Ｂの特定が終了した後、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、顧客の発声に基づく未処理の音声データが存在するか否かを判別する（Ｓ５１）。ここで、未処理の音声データが存在しない場合は（Ｓ５１：Ｎｏ）、顧客話し掛け区間Ａが存在しないものとして、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５１：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５２）。
【００７７】
その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５３）、存在する場合は（Ｓ５３：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５２）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５３：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないものとして、処理を終了する。
【００７８】
以上、図１０ないし図１４に示した各処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話し掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図９（ａ）の重複フラグ欄における「客・店」に相当）。
【００７９】
次に、図１５を参照し、重複回数の計測方法について説明する。図１５（ａ）に示す例では、店員話し掛け区間と顧客話し掛け区間とが重複する重複区間が、４つ存在している。但し、２つ目の重複区間は、短い発話区間（所定時間以下の話し掛け区間）であるため、重複計測の対象とならない。したがって、同図の例では、重複計測区間（１）〜（３）の３回が、重複回数として計測される。
【００８０】
なお、重複計測区間（２），（３）は、１話し掛け区間に含まれる区間であるため、これを１重複計測区間として計測しても良い。この場合、図１５（ａ）に示す例では、重複回数が２回と計測される。
【００８１】
また、所定時間以下の話し掛け区間についても、全ての重複区間を重複計測の対象としても良い。この場合、図１５（ａ）に示す例では、重複回数が４回と計測される。
【００８２】
また、図１５（ｂ）に示す例のように、店員側からの話し掛けにより重複した区間のみを重複計測の対象としても良い。同図の例では、店員話し掛け区間と顧客話し掛け区間とが重複する重複区間が、４つ存在している。但し、２つ目と４つ目の重複区間は、顧客側からの話し掛けにより重複した区間であるため、重複計測の対象とならない。つまり、店員話し掛け区間が先行して開始されている状態で顧客の話し掛けが開始したような場合は、重複区間が発生しても、それを重複計測の対象としない。したがって、同図の例では、重複計測区間（１），（２）の２回が、重複回数として計測される。このように、店員側からの話し掛けにより重複した区間のみを重複計測の対象とすることで、店員の接客手法が良否を正確に判定することができる。
【００８３】
次に、図１６および図１７を参照し、接客データを確認するためのビューアー画面Ｄについて説明する。なお、ビューアー画面Ｄは、表示端末１６の表示画面１６ａに表示される。図１６は、会話比率一覧表のビューアー画面Ｄ０１を示す図である。当該ビューアー画面Ｄ０１には、照会条件を選択する照会条件選択領域Ｅ１１と、会話比率の一覧を表示する一覧表示領域Ｅ１２と、接客データに含まれる録音データの再生操作を行うための再生操作領域Ｅ１３と、が含まれる。
【００８４】
照会条件選択領域Ｅ１１は、「店舗」、「日付」、「店員（人物識別情報）」を選択（入力）可能となっている。ここで選択（入力）された条件に合致する接客データが、一覧表示領域Ｅ１２に表示される。なお、「店員」ではなく、「顧客（人物識別情報）」を選択（入力）可能とし、当該顧客に関連付けられた接客データを、一覧表示領域Ｅ１２に表示させても良い。また、「店員」と「顧客」の両方を選択（入力）可能とし、これらのａｎｄ条件またはｏｒ条件を満たす接客データを、一覧表示領域Ｅ１２に表示させても良い。
【００８５】
一覧表示領域Ｅ１２は、接客データごとに、「店舗」、「日付」、「店員」、「接客区間Ｎｏ．」、「接客開始」、「接客終了」、「相対会話比率」、「重複回数」、「顧客」、「売り上げ金額」、「売り上げＮｏ．」を関連付け、表形式で表示する。なお、「接客区間Ｎｏ．」は、接客区間ごとに自動付与される識別番号であり、「接客開始」および「接客終了」は、接客区間の開始時刻および終了時刻を指す。また、「相対会話比率」および「重複回数」は、当該接客区間における相対会話比率および重複回数を指す。また、「顧客」としては、当該接客の対象となった顧客氏名を表示し、「売り上げ金額」および「売り上げＮｏ．」は、変換データから得られた、会計レシートＲの合計金額およびレシートＮｏ．を指す。なお、一覧表示領域Ｅ１２では、いずれか１の接客データ（行）を選択可能となっており（枠２１１参照）、選択した接客データに含まれる録音データを、再生操作領域Ｅ１３により再生可能である。
【００８６】
再生操作領域Ｅ１３は、接客区間における録音データおよび撮像データの再生操作を行うためのボタン群２１２と、再生位置を示すプログレスバー２１３と、音量調節スライダ２１４と、を表示する。なお、特に図示しないが、管理サーバー１５は、再生操作領域Ｅ１３の操作にしたがって、録音データおよび撮像データを再生するための再生部（スピーカー等の音声出力部を含む）を備えている。プログレスバー２１３は、横軸方向に分単位の時間目盛りが記されている。また、プログレスバー２１３は、店員話し掛け区間と、顧客話し掛け区間と、重複区間と、これらいずれにも該当しない非会話区間と、を区別して表示する。同図では、異なるハッチと空白によって、これらを識別可能としているが、色分け表示、マーク付加表示、テキスト付加表示など、ユーザーが各区間を識別できれば、その表示形態を問わない。なお、プログレスバー２１３の目盛りは、分単位ではなく時間単位としても良い。また、接客データ内の録音データ全体の再生状況を把握できるように、録音データの長さに応じて、目盛りの単位および目盛り間隔を可変しても良い。
【００８７】
図１７は、会話比率−売り上げ実績相関図のビューアー画面Ｄ０２を示す図である。当該ビューアー画面Ｄ０２には、照会条件を選択する照会条件選択領域Ｅ２１と、会話比率と売り上げ実績（売り上げ情報）の相関図を表示する相関図表示領域Ｅ２２と、が含まれる。
【００８８】
照会条件選択領域Ｅ２１は、「店舗」、「日付区間」、「店員（人物識別情報）」を選択（入力）可能となっている。また、「店員」は、「ＡＬＬ（全ての店員）」を選択可能となっている。ここで選択（入力）された条件に合致する接客データに基づいて、相関図表示領域Ｅ２２が表示される。
【００８９】
相関図表示領域Ｅ２２は、横軸を顧客会話比率（単位：％）、縦軸を客単価（単位：円）とした散布図である。ここでは、全店員の３月５日に接客した全ての接客データに基づいて、平均会話比率と売り上げ情報（客単価）の交点となる「点」がプロットされている。これにより、ユーザーは、その店舗にとって、会話比率をどの程度にすれば売り上げが向上するかを一目で把握できる。例えば、同図の例では、顧客会話比率を７０％程度にすることにより、売り上げ向上に繋がると推測できる。
【００９０】
以上説明したとおり、第１実施形態に係る接客支援システムＳＹ１によれば、店員と顧客の会話比率を算出することにより、これを収集して経営戦略に役立てたり、接客スキルのトレーニングに利用したりすることができる。また、接客データには、店員識別情報および顧客識別情報が関連付けられるため、算出された会話比率が、どの店員のどの顧客に対する接客であったかを特定できる。これにより、個々の店員に対して適切な接客トレーニングを行うことができる。さらに、接客データには、売り上げ情報が関連付けられるため、会話比率と売り上げとの相関関係を、マーケティングデータとして収集できる。
【００９１】
また、接客区間ごとに会話比率を算出し、これをビューアー画面Ｄに表示するため、各接客について、総合的に好ましい接客であったか否か（例えば、店員音声の長さ：顧客音声の長さが２：８に近い値となったか否か）を把握できる。また、接客データには、録音データが関連付けられるため、例えば、好ましい会話比率が関連付けられた録音データを抽出して再生することで、接客トレーニングの教材として利用できる。つまり、会話スキルの高い店員の接客状況を、それ以外の店員に対して効率的に示すことができるため、会話スキルの水平展開に役立つ。
【００９２】
また、接客データには、重複回数が関連付けられるため、会話比率だけでなく、当該重複回数からも、好ましい接客であったか否かを推測できる。例えば、重複回数が多い場合は、会話比率が好ましい値であったとしても、好ましい接客ではなかったと判断できる。
【００９３】
なお、第１実施形態の変形例として、会話比率と重複回数とに基づく接客点数を算出し、これをビューアー画面Ｄに表示させても良い。以下、図１８を参照し、当該変形例について説明する。図１８（ａ）に示すように、接客点数は、“会話比率レベル”および“重複回数レベル”をパラメーターとして算出される。また、“会話比率レベル”および“重複回数レベル”には、それぞれ重み付けＰ１およびＰ２が乗算され、それらの合計値が、接客点数となる。なお、一般的に重み付けは、０≦Ｐ２≦Ｐ１≦１となり、Ｐ２よりもＰ１の方が大きな値となる。つまり、接客点数は、“会話比率レベル”の方が“重複回数レベル”よりも重み付けを大きくして算出される。但し、利用される店舗の状況により、利用者が任意に設定できることが好ましい。
【００９４】
ここで、“会話比率レベル”とは、店員と顧客の会話比率が２：８に近いほど高い値となる。つまり、図１８（ｂ）に示すように、“会話比率レベル”は、顧客会話比率に応じて「０〜３」のいずれかの数値となる。また、“重複回数レベル”とは、重複回数が少ないほど高い値となる。つまり、図１８（ｃ）に示すように、“重複回数レベル”は、重複回数に応じて「０〜３」のいずれかの数値となる。
【００９５】
このように、接客点数を算出することで、接客についての判定を客観的に行うことができる。また、その判定結果や接客点数を、接客データの一部として記録してビューアー画面Ｄに表示することで、店長やマネージャーなどの管理者が、一目で接客結果を確認することができる。
【００９６】
なお、会話区間の終了ごと、若しくは接客区間の終了ごとに、好ましい接客であったか否かの判定結果および／または接客点数を、対象となる店員に対して通知しても良い。この場合、管理サーバー１５によって、接客の判定および接客点数の算出を行い、レシートプリンター１３および店員用端末５を介して、店員に装着された音声指示用イヤホン（図示省略）から、それらの情報を通知することが好ましい。この構成によれば、店員自身が接客中に、好ましい接客を行っているか否かを把握できるため、接客手法の向上が期待できる。
【００９７】
また、上記の実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話区間」と定義したが、「１会話区間」に含まれる話し掛け区間の数の制限を無くしても良い。すなわち、店員と顧客の話し掛け区間が所定時間（インターバルＹ）以上途切れないまま交互に繰り返される話し掛け区間の集合体を「１会話区間」としても良い。
【００９８】
また、上記の実施形態では、店員と顧客の会話比率を算出する場合を例示したが、人物間の関係は、これに限定されるものではない。つまり、会社の上司と部下、夫婦やカップル、友人同士などであっても良い。
【００９９】
また、上記の実施形態では、会話区間または接客区間ごとに会話比率を算出したが、所定時間内における会話比率を算出しても良い。例えば、所定時間１０分間の間に発声された店員と顧客の音声に基づいて会話比率を算出しても良い。また、店員の１日の勤務における会話比率を算出しても良い。
【０１００】
また、上記の実施形態では、会話区間ごと、または接客区間ごとに会話比率を算出したが、単純に、隣り合う店員と顧客の話し掛け区間に基づいて（２つの話し掛け区間の比に基づいて）、会話比率を算出しても良い。
【０１０１】
また、上記の実施形態において、人物識別部１５２は、顔認識技術を用いて顧客を識別したが、他の方法を採用しても良い。例えば、無線ＩＣ（ＲＦＩＤ：Radio  Frequency  Identificationなど）が組み込まれた会員カードを各顧客が所持し、これを店舗の入り口に設置したＩＣリーダーで読み取って顧客識別情報を取得することで、顧客を識別しても良い。また、店員にも無線ＩＣが組み込まれた店員カードの所持を義務付け、当該店員カードを読み取ることで店員を識別可能としても良い。この方法により、読み取った店員カードと会員カードを同時期に読み取った場合、当該店員が当該顧客を接客しているものとして、両者を紐付けることができる。また、磁気情報が記録された会員カード（磁気カード）を、ＰＯＳ端末１２に付属の磁気カードリーダーで読み取ることで、顧客を識別しても良い。この場合は、接客を担当する店員が、同時に自分の店員カードを読み取らせることで、顧客と店員を紐付けることができる。なお、磁気カードリーダーは、管理サーバー１５に直接接続しても良い。さらに、顔認識技術ではなく音声認識技術を用いても良い。この場合、顧客情報記憶部８１および店員情報記憶部８２は、顔特徴量に代えて、声紋を記憶する必要がある。
【０１０２】
また、上記の実施形態では、店内カメラ１１の撮像結果を、有線ＬＡＮを介して直接管理サーバー１５に送信する構成としたが、レシートプリンター１３を介して管理サーバー１５に送信しても良い。逆に、店員用端末５は、レシートプリンター１３を介して管理サーバー１５に音声データを送信する構成としたが、店員用端末５から直接管理サーバー１５に送信しても良い。また、管理サーバー１５の各機能を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。
【０１０３】
［第２実施形態］
次に、図１９ないし図２３を参照し、本発明の接客データ記録装置、接客データ記録方法およびプログラムについて、第２実施形態として説明する。本実施形態に係る接客支援システムＳＹ２は、会話比率データと満足度データとを関連付けた接客データを記録し、これをマーケティングデータとして利用することを特徴とする。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【０１０４】
図１９は、第２実施形態に係る接客支援システムＳＹ２の機能ブロック図である。本実施形態に係る管理サーバー１５は、第１実施形態と比較して、話し掛け区間抽出部１６１、顧客感情認識部１６２および顧客満足度算出部１６３が追加されている。
【０１０５】
話し掛け区間抽出部１６１は、第１実施形態の音声抽出部１５４に相当し、取得した会話（音声データ）から、店員話し掛け区間および顧客話し掛け区間を抽出する。
【０１０６】
顧客感情認識部１６２は、録音データ（接客区間に相当する音声データ）から抽出した顧客話し掛け区間に対し、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて、感情認識を行う。具体的には、録音データに含まれる顧客の発話区間ごとに感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客感情認識部１６２は、図１５）に示したように、顧客話し掛け区間と店員話し掛け区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客話し掛け区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない重複区間を除いて感情認識を行うことで、誤認識を防止することができる。
【０１０７】
顧客満足度算出部１６３は、顧客感情認識部１６２の認識結果に基づいて、顧客満足度を算出する。また、顧客感情認識部１６２が発話区間ごとに感情認識を行うことに伴い、顧客満足度算出部１６３も、発話区間ごとに顧客満足度を算出する。なお、顧客満足度の具体的な算出方法については、後述する。
【０１０８】
本実施形態の接客データ記録部１５８は、会話比率算出部１５５により算出された会話比率に基づく会話比率データ、および顧客満足度算出部１６３により算出された顧客満足度に基づく満足度データを関連付け、接客データの一部として管理サーバー用データベースＤＢ２に記録する。
【０１０９】
図２０は、第２実施形態に係る管理サーバー用データベースＤＢ２の説明図である。管理サーバー用データベースＤＢ２は、第１実施形態と比較して、接客データ記憶部９１の記憶内容が異なる。本実施形態の接客データ記憶部９１は、顧客識別情報、店員識別情報、録音データ、撮像データ、売り上げ情報および接客日時の他、会話比率算出部１５５の算出結果に基づく会話比率データと、顧客満足度算出部１６３の算出結果に基づく満足度データと、を関連付けて記憶する。ここで、会話比率データとは、接客区間における会話比率と、各会話区間における会話比率と、を指す。また、満足度データとは、接客区間における顧客満足度と、各会話区間における顧客満足度と、を指す。
【０１１０】
次に、図２１を参照し、顧客満足度の算出アルゴリズム（計算式）について説明する。同図に示すように、顧客満足度は、発話区間、会話区間、接客区間の順に算出される。まず、発話区間別満足度は、図２１（ａ）に示すように、計算式「“発話区間別満足度”＝“喜データ”＋“笑データ”×Ａ」により算出される。ここで、“喜データ”は「喜び」の感情データ（例えば、０〜５０までの数値、以下同様）、“笑データ”は「笑い」の感情データ、Ａは０≦Ａ≦１となる定数を意味する。なお、当該算出アルゴリズムは、人物の満足度が、「快」の心理状態と、その心理的強度の乗算結果とに基づくという発想から導き出したものである。
【０１１１】
また、図２１（ｂ）に示すように、発話区間別実満足度は、計算式「“発話区間別実満足度”＝“発話区間別満足度”−“発話区間別不満足度”×Ｃ」、すなわち「（“喜データ”＋“笑データ”×Ａ）−（“怒データ”＋“悲データ”×Ｂ）×Ｃ」により算出される。ここで、“怒データ”は「怒り」の感情データ、“悲データ”は「悲しみ」の感情データ、Ｂは０≦Ｂ≦１となる定数、Ｃは０≦Ｃ≦１となる定数を意味する。このように、「喜び」および「笑い」の他に、「怒り」および「悲しみ」の感情データを用いることで、複雑な感情を考慮した、より信頼度の高い満足度を算出することができる。なお、当該算出アルゴリズムは、人物の不満足度が、「不快」の心理状態と、その心理的強度の乗算結果とに基づくという発想と、実満足度が、「快」および「不快」の心理状態に基づくという発想から導き出したものである。
【０１１２】
また、図２１（ｃ）に示すように、会話区間別満足度は、「“会話区間別満足度”＝会話区間に含まれる各顧客発話区間の“発話区間別実満足度”の平均値」から得られる。また、図２１（ｄ）に示すように、接客区間別満足度は、「“接客区間別満足度”＝接客区間に含まれる各会話区間の“会話区間別満足度”の平均値」から得られる。
【０１１３】
次に、図２２および図２３を参照し、第２実施形態に係るビューアー画面Ｄについて説明する。図２２は、満足度−会話比率一覧表のビューアー画面Ｄ０３を示す図である。当該ビューアー画面Ｄ０３は、例えば図１６に示したビューアー画面Ｄ０１から、「満足度−会話比率一覧表」を表示するための不図示のボタン操作により表示されるものであり、接客区間Ｎｏ．を示す区間Ｎｏ．表示領域Ｅ３１と、顧客満足度と顧客会話比率とを関連付けた一覧を表示する一覧表示領域Ｅ３２とが含まれる。一覧表示領域Ｅ３２は、接客区間の開始時刻および終了時刻を示す「時刻」の他、接客区間に含まれる各会話区間の「会話区間Ｎｏ．」、各会話区間の「顧客満足度」および各会話区間の「顧客会話比率」を関連付け、表形式で表示している。ここで、各会話区間の「顧客満足度」とは、図２１（ｃ）に示した会話区間別満足度を指す。
【０１１４】
図２３は、満足度−会話比率重ね合わせグラフのビューアー画面Ｄ０４を示す図である。当該ビューアー画面Ｄ０４は、例えば図１６または図２２に示したビューアー画面Ｄ０１，Ｄ０３から、「満足度−会話比率重ね合わせグラフ」を表示するための不図示のボタン操作により表示されるものであり、接客データに含まれる一部の情報を表示する接客データ表示領域Ｅ４１と、顧客満足度と会話比率との関係をグラフ化したグラフ表示領域Ｅ４２と、が含まれる。
【０１１５】
接客データ表示領域Ｅ４１は、「日付」、「店員」、「顧客」、「接客時間」、「売り上げＮｏ．」、「売り上げ金額」、「顧客の平均会話比率」、「平均顧客満足度」および「接客区間Ｎｏ．」を表示する。ここで、「接客時間」とは、接客開始時刻および接客終了時刻を指す。また、「平均顧客満足度」とは、図２１（ｄ）に示した接客区間別満足度を指す。
【０１１６】
グラフ表示領域Ｅ４２は、横軸を「会話区間Ｎｏ．」、縦軸を「顧客満足度」とした第１の折れ線グラフ（実線、黒丸にて図示）と、横軸を「会話区間Ｎｏ．」、縦軸を「会話比率」とした第２の折れ線グラフ（破線、白丸にて図示）と、を重ね合わせた重ね合わせグラフを表示する。ここで、横軸の「会話区間Ｎｏ．」は、時系列に並べられている。なお、「会話区間Ｎｏ．」に代えて、横軸を時間（時刻）としても良い。また、「顧客満足度」は、０〜１００の数値で表されるように、感情データおよび定数Ａ，Ｂ，Ｃの値が定められているものとする。また、「会話比率」は、顧客会話比率を単位％で示したものであり、０〜１００％で表される。このように、接客区間内の、各会話区間における顧客満足度の推移と、各会話区間における会話比率の推移とを、共通する時間軸上でグラフ化して表示することにより、ユーザーは、１接客内における会話状況の変化や顧客の感情の変化、並びにそれらの相関関係を一目で把握することができる。
【０１１７】
以上説明したとおり、第２実施形態に係る接客支援システムＳＹ２によれば、会話比率データと満足度データとを関連付け、接客データとして記録するため、これをマーケティングデータとして利用することができる。また、当該接客データにより、会話比率がどの程度顧客満足度に影響するかを推定でき、会話トレーニングの成果を証明できる。また、会話比率データとして各会話区間における会話比率を記録すると共に、満足度データとして各会話区間における顧客満足度を記録し、これらをビューアー画面Ｄ０３，Ｄ０４に表示することで、１接客内における会話状況の変化や顧客の感情の変化を確認できる。さらに、接客データとして、各接客区間における平均会話比率および平均顧客満足度を記録・表示するため（図２３のＥ４１参照）、各接客の総合的な評価を容易に把握することができる。
【０１１８】
なお、上記の実施形態では、接客管理を目的として、店員と顧客の会話比率および顧客満足度を算出したが、個人で利用しても良い。これにより、収集した会話比率データや満足度データを、個人間の会話スキル（会話テクニック）の向上に役立てることができる。
【０１１９】
［第３実施形態］
次に、図２４ないし図３１を参照し、本発明の接客支援装置、接客支援方法およびプログラムについて、第３実施形態として説明する。本実施形態に係る接客支援システムＳＹ３は、店員や顧客を監視する監視部の監視結果に基づいて、接客対象となる顧客別に接客区間を特定することを特徴とする。そこで、上記の各実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【０１２０】
図２４は、第３実施形態に係る接客支援システムＳＹ３の機能ブロック図である。本実施形態では、音声取得用マイク２が監視部として機能する。つまり、監視部は、会話取得部１０２を含んでおり（監視部の他の例については後述する）、会話取得部１０２は、店員と顧客の会話を取得する。
【０１２１】
また、本実施形態に係る管理サーバー１５は、第２実施形態と比較し、接客切替検出部１７１、切替検出データ記録部１７２、接客切替区間特定部１７３、接客会話区間特定部１７４および接客区間特定部１７５が追加されている。
【０１２２】
接客切替検出部１７１は、監視部の監視結果、すなわち会話取得部１０２によって取得した会話に含まれる顧客の音声に基づいて、店員の接客対象となっている対象顧客の切り替わりを検出する。本実施形態では、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果の変化により、対象顧客の切り替わりを検出する。なお、顧客の音声から、声紋以外の声の特徴量（声の高さや早さなど）を判別し、当該特徴量の変化によって、対象顧客の切り替わりを検出しても良い。
【０１２３】
切替検出データ記録部１７２は、店員を識別する店員識別情報と、接客切替検出部１７１の検出時刻（タイムスタンプ）と、を関連付け、切替検出データとして管理サーバー用データベースＤＢ３に記録する。
【０１２４】
接客切替区間特定部１７３は、記録した切替検出データに基づいて、検出開始からＮ番目（但し、ＮはＮ≧１となる整数）の検出時刻を区間開始時刻とし、且つＮ＋１番目の検出時刻を区間終了時刻とする接客切替区間を特定する。つまり、「接客切替区間」は、切替検出データに基づいて特定される区間である。
【０１２５】
接客会話区間特定部１７４は、話し掛け区間抽出部１６１により抽出された話し掛け区間に基づいて、接客会話区間を特定する。なお、第１実施形態および第２実施形態に係る「接客区間」は、本実施形態に係る「接客会話区間」に相当する。前述の通り、会話区間は、店員と顧客による話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体であるから、所定時間以上途切れないまま繰り返される会話区間の集合体を、１接客会話区間として特定する。つまり、「接客会話区間」は、接客データに含まれる録音データに基づいて特定される区間である。
【０１２６】
また、接客区間特定部１７５は、接客切替区間特定部１７３により特定された接客切替区間と、接客会話区間特定部１７４により特定された接客会話区間と、に基づいて接客区間を特定する。具体的には、接客会話区間と接客切替区間とを、ａｎｄ演算またはｏｒ演算することにより、接客区間を特定する。なお、接客区間特定部１７５は、店員識別情報によって、任意の切替検出データと、録音データを紐付けし、比較演算を行う。接客区間特定部１７５による接客区間の特定方法については、後に詳述する。
【０１２７】
上記の構成により、本実施形態の会話比率算出部１５５は、接客区間特定部１７５により特定された接客区間における会話比率を算出する。また、本実施形態の接客データ記録部１５８は、接客区間特定部１７５により特定された接客区間に相当する音声データである録音データや、同じく接客区間特定部１７５により特定された接客区間に相当する映像データである撮像データを、接客データとして記録する。また、本実施形態の画面表示部１５９は、ユーザーの操作に基づいて、接客切替区間特定部１７３により特定された接客切替区間、接客会話区間特定部１７４により特定された接客会話区間、および接客区間特定部１７５により特定された接客区間を、ビューアー画面Ｄに表示する（例えば、図２６ないし図３０参照）。また、ユーザーの操作に基づき、ビューアー画面Ｄ上で、接客区間の開始時間および終了時間の修正ができるようになっている。
【０１２８】
図２５は、第３実施形態に係る管理サーバー用データベースＤＢ３の説明図である。管理サーバー用データベースＤＢ３は、第１実施形態および第２実施形態で示した各部の他に、さらに切替検出データ記憶部９３として機能する。当該切替検出データ記憶部９３は、切替検出データ記録部１７２により記録された切替検出データを記憶する。また、本実施形態の接客データ記憶部９４は、顧客識別情報、店員識別情報、接客区間分の音声データに相当する録音データ、接客区間分の映像データに相当する撮像データ、接客区間における会話比率の他、接客区間データを記憶する。当該接客区間データは、接客区間の区間開始時刻および区間終了時刻を含むデータを指す。
【０１２９】
次に、図２６を参照し、切替検出データおよび切替検出期間について説明する。図２６（ａ）に示すように、切替検出データは、「店員識別情報」、「日付」および「切替検出時刻」が関連付けられた情報である。なお、「切替検出時刻」は、接客切替検出部１７１により、対象顧客の切り替わりが検出された時刻を指す。本実施形態では、顧客の音声に対して、定期的に声紋認証を行い、当該声紋認証結果が変化したとき（異なる顧客の声紋を認識したとき）、対象顧客が切り替わったと判定する。
【０１３０】
図２６（ｂ）は、接客切替区間を時間軸上で示したイメージ図である。接客切替区間は、切替検出ごとに新たな区間が発生するものとして定義されるため、同図に示すように、隣り合う区間の間に間隙が生じることがなく、連続した区間となる。
【０１３１】
次に、図２７を参照し、接客会話区間について説明する。図２７（ａ）は、接客会話区間特定結果の一例を示す図である。なお、接客会話区間は、第１実施形態で示した接客区間の特定方法によって特定される。ここでは、特定結果として、「店員識別情報」、「日付」、「顧客識別情報」および「接客会話区間」を示している。また、接客会話区間のインターバルの基準長さ（図５（ｂ）におけるインターバルＺ）は、１分３０秒であるものとする。
【０１３２】
図２７（ｂ）は、接客会話区間を時間軸上で示したイメージ図である。接客会話区間は、所定時間以上途切れないまま繰り返される会話区間の集合体として定義されるため、同図に示すように、隣り合う区間の間に間隙が生じる。
【０１３３】
次に、図２８ないし図３０を参照し、接客区間の特定方法について説明する。接客区間の特定方法として、ここでは３つのパターン（接客区間特定パターンＡ〜Ｃ）を例示する。図２８は、接客区間特定パターンＡを示す図である。接客区間特定パターンＡは、接客会話区間を基準にして接客区間を特定する。但し、複数の連続する接客会話区間が、１の接客切替区間に含まれる場合（接客会話区間（１），（２）と接客切替区間（１）の関係）、当該複数の接客会話区間の開始時刻から終了時刻までを、１接客区間とする（接客区間（１））。また、接客会話区間の途中で、接客切替区間が途切れる場合（接客会話区間（３）と接客切替区間（２），（３）の関係）、当該接客切替区間が途切れた時刻によって接客区間を分割する。つまり、同図の例では、接客会話区間（３）の開始時刻から接客切替期間（２）の終了時刻までを、接客区間（２）とし、接客切替区間（２）の終了時刻（接客会話区間（３）の開始時刻）から接客会話区間（３）の終了時刻までを、接客区間（３）とする。なお、これらの特定方法によって特定された接客区間の区間長が、所定時間未満の場合、その区間を接客区間として特定しない（無視する）ことが好ましい。
【０１３４】
このように接客区間特定パターンＡでは、本実施形態のように、顧客の声紋の変化によって対象顧客の切り替わりを検出する構成において、顧客別の接客区間を、正確に特定することができる。例えば、接客切替区間のみによって接客区間を特定する（接客切替区間＝接客区間とする）と、既に対象顧客が切り替わっているが、顧客の発声がないために前の接客が続いていると誤判定される可能性がある（例えば、接客切替区間（１）で接客会話区間（２）がないケースでは、接客会話区間（２）に相当する時間が接客会話区間（１）に加算されてしまう）。したがって、接客会話区間を基準に接客区間を特定することで、接客区間終了時刻の誤差を無くすことができる。
【０１３５】
また、接客会話区間のみによって接客区間を特定する（接客会話区間＝接客区間とする）と、同じ対象顧客であるにも拘らず、会話が所定時間以上途切れたために、異なる接客であると誤判定されてしまう（例えば、接客会話区間（１），（２）と接客切替区間（１）の関係）。また、逆に、対象顧客が切り替わったにも拘らず、会話が所定時間以上途切れなかったために、同じ接客であると誤判定されることもある（例えば、接客会話区間（３）と接客切替区間（２），（３）の関係）。したがって、接客会話区間と接客切替区間のいずれか一方のみではなく、両方を比較演算して接客区間を特定することで、正確な接客区間を特定できる。
【０１３６】
なお、本実施形態の接客切替検出部１７１は、定期的に声紋認証を行い、当該声紋認証結果が変化したとき、対象顧客が切り替わったと判定するものとしたが、所定時間内における同一声紋の出現率が所定値以下となったことにより、対象顧客の切り替わりを検出しても良い。この構成によれば、接客対象が家族連れの場合など、対象顧客が一人であるとは限らないため、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出することで、対象顧客別の接客区間を正確に特定することができる。例えば、同一人物の声紋が１分間に１回以上認識できている間は、対象顧客の切り替わりを検出しない、などが考えられる。なお、所定時間内における同一声紋の出現率に応じて、対象顧客の切り替わりを検出するのではなく、所定時間以上継続して同一声紋を検出しない場合、対象顧客が切り替わったと判定しても良い。
【０１３７】
続いて、図２９を参照し、接客区間特定パターンＢについて説明する。接客区間特定パターンＢは、接客会話区間と接客切替区間とが重複する区間を抽出して（ａｎｄ条件で比較演算を行い）、接客区間を特定する。例えば、接客区間（１），（２）については、いずれも接客切替区間（１）に含まれる区間であるため、接客会話区間（１），（２）と同じ区間となる。また、接客切替区間（２）は、接客会話区間（３）に含まれる区間であるため、接客切替区間（２）が接客区間（３）となる。さらに、接客会話区間（３）と接客切替区間（３）とを比較し、その重複部分を抽出して接客区間（４）とする。なお、本例においても、区間長が所定時間未満の接客区間を特定しないことが好ましい。
【０１３８】
続いて、図３０を参照し、接客区間特定パターンＣについて説明する。接客区間特定パターンＣは、接客切替区間を基準にして接客区間を特定する。例えば、接客区間（１）については、接客切替区間（１）と同じ区間となる。但し、接客切替区間よりも接客会話区間が長い場合は（接客会話区間（３）と接客切替区間（２）との関係）、当該接客切替区間の終了時刻を接客区間の切替時刻としない。つまり、同図の例では、接客切替区間（２），（３）を合計した区間を接客区間（２）とする（接客区間（２）の開始時刻は、接客切替区間（２）の開始時刻となり、接客区間（２）の終了時刻は、接客切替区間（３）の終了時刻となる）。なお、本例においても、区間長が所定時間未満の接客区間を特定しないことが好ましい。
【０１３９】
次に、図３１を参照し、接客区間設定（本実施形態の変形例）について説明する。本実施形態では、監視手段を音声取得用マイク２とし、顧客の声紋の変化を検出したとき、対象顧客が切り替わったと判定した。つまり、監視手段（監視内容）として、同図（ａ−１）を採用した。また、この場合、接客区間特定方法としては、接客区間特定パターンＡを採用することが好ましいと記載したが（同図（ｂ−１））、他の特定パターンを採用しても良い。つまり、接客区間特定パターンＢ（同図（ｂ−２））や、接客区間特定パターンＣ（同図（ｂ−３））を採用しても良い。さらに、その他の接客区間特定方法として、接客切替区間＝接客区間とする方法（同図（ｂ−４））や、接客会話区間＝接客区間とする方法（同図（ｂ−５））を採用しても良い。
【０１４０】
また、同図（ａ−２）に示すように、監視内容として、店員のキーワードを監視しても良い。この場合、接客切替検出部１７１は、店員の音声に対して、音声認識を行い、当該音声認識によって所定のキーワードを検出することにより、対象顧客の切り替わりを検出する。また、管理サーバー１５は、音響分析部、音響モデル、言語モデル、単語辞書およびテキスト変換部を含む音声認識部を備えることが前提となる。なお、音声認識部は、録音データに含まれる店員の音声を、発話区間ごとに認識することが好ましい。この構成によれば、所定のキーワードを検出することにより、対象顧客の切り替わりを容易に検出できる。例えば、接客区間の開始を示す「いらっしゃいませ」を検出した時刻を切替検出時刻としても良い。また、接客区間の終了を示す「またのご来店をお待ちしております」、「お買い上げありがとうございます」、「少々お待ちください」を検出した時刻を切替検出時刻としても良い。また、店舗ごとに、接客終了時に発声するキーワードを決めておき、そのキーワードを検出した時刻を切替検出時刻としても良い。この場合のキーワードとしては、例えば「終わり」、「バイバイ」など、通常接客時に使用しないキーワードを採用することが好ましい。さらに、接客区間の開始を示す開始キーワードと、接客区間の終了を示す終了キーワードとの両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「いらっしゃいませ」キーワード検出によって接客切替区間の開始と看做し、「またのご来店をお待ちしております」のキーワード検出によって接客切替区間の終了と看做しても良い。この場合、上記の実施形態の例とは異なり、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１４１】
また、同図（ａ−３）に示すように、監視手段として店内カメラ１１を利用し、店員の行動を監視しても良い。この場合、店員と顧客の接客状況を撮像する接客撮像部１１１が監視部として機能し、接客切替検出部１７１は、接客撮像部１１１により撮像された映像に基づいて、対象顧客の切り替わりを検出する。具体的には、映像の画像認識により、店員を特定し、当該店員の所定の行動を検出することにより、対象顧客の切り替わりを検出する。なお、店内カメラ１１は、天井や机に取り付けても良いし、店内カメラ１１に代えて、店員の服や体に小型カメラを装着しても良い。また、所定の行動としては、接客終了時に行うお辞儀など、自然発生するアクションが考えられ、この場合の、お辞儀の検出時刻を切替検出時刻としても良い。また、店舗ごとに、接客終了時に行うアクション（合図）を決めておき、そのアクションの検出により、対象顧客の切り替わりを検出しても良い。この場合のアクションとしては、例えば「カメラに向かいＶサインを行う」、「所定の場所に移動する」など、通常接客時に行わないアクションを採用することが好ましい。さらに、接客区間の開始を示す開始アクションと、接客区間の終了を示す終了アクションとの両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「カメラに向かいＶサインを行う」行動の検出によって接客切替区間の開始と看做し、「お辞儀」の行動検出によって接客切替区間の終了と看做しても良い。この場合も、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１４２】
また、同図（ａ−４）に示すように、監視手段として角度センサー（図示省略）を利用し、店員の動作を監視しても良い。この場合、店員に取り付けられ、当該店員の動作を検出する動作検出部（図示省略）が監視部として機能し、接客切替検出部１７１は、動作検出部の検出結果に基づいて、対象顧客の切り替わりを検出する。なお、動作検出部は、店員の上半身に取り付けられることが好ましい。また、角度センサーに代えて、重力センサーやジャイロセンサーを採用しても良い。また、動作検出部は、店員用端末５にその検出結果を出力し、店員用端末５から管理サーバー１５に出力結果が送信されることが好ましい。この場合、接客切替検出部１７１は、動作検出部により店員の上半身が傾く動作を検出したことにより、対象顧客の切り替わりを検出する。この構成によれば、店員の上半身が傾く動作により、接客終了時に行うお辞儀が行われたと判定できるため、当該動作検出により、対象顧客の切り替わりを正確に検出できる。
【０１４３】
なお、店員の動作としては、上記のような、自然発生する動作の他、店舗ごとに、予め接客終了時に行う動作を決めておき、その動作の検出により、対象顧客の切り替わりを検出しても良い。この場合の動作としては、例えば「店員カードをさわる」、「ポケットをたたく」など、通常接客時に行わない動作が考えられる。また、動作検出部としては、接触センサーや赤外線センサーなど他のセンサーを採用しても良い。また、センサー以外にも、店員によって操作されるタッチ式ボタンなど、各種操作手段を、動作検出部として用いても良い。さらに、接客区間の開始を示す開始動作と、接客区間の終了を示す終了動作との両方を検出することにより、対象顧客の切り替わりをより正確に検出しても良い。つまり、「店員カードをさわる」動作の検出によって接客切替区間の開始と看做し、「お辞儀」の動作検出によって接客切替区間の終了と看做しても良い。この場合も、隣り合う接客切替区間の間に、間隙が生じることとなる。
【０１４４】
このように、ユーザーは、管理サーバー１５に備えられた入力装置５５等により、監視手段および接客区間特定方法として、複数の選択肢から任意の候補を選択可能となっている。また、監視手段と接客区間特定方法の組み合わせは任意であり、使用状況やユーザーのニーズに応じて変更可能である。
【０１４５】
以上説明したとおり、第３実施形態に係る接客支援システムＳＹ３によれば、店員および顧客の少なくとも一方の監視結果から、接客対象となっている対象顧客の切り替わりを検出し、その検出時刻を店員識別情報と関連付け、切替検出データとして記録しておくため、当該切替検出データから、接客切替区間を特定できる。また、切替検出データを記録しておくため、これをマーケティングデータとして集計し、各店員の接客スキルの向上に役立てることができる。
【０１４６】
また、切替検出データに基づいて特定した接客切替区間と、録音データに基づいて特定した接客会話区間とを、比較演算して接客区間を特定するため、接客対象となる顧客別の接客区間を正確に特定することができる。また、正確な接客区間を特定することで、信頼性の高い会話比率を算出できる。また、算出した会話比率は、接客データの一部として記録されるため、これを接客手法の教材として利用できると共に、各接客（接客データ）について良い接客であったか否かを判別できる。これにより、例えば、会話比率から良い接客と考えられる接客状況を、各店員に示すなど、接客スキルの水平展開に役立てることができる。
【０１４７】
なお、上記の実施形態では、接客区間特定部１７５により特定された接客区間における会話比率を算出したが、当該接客区間における顧客満足度を算出し、これらに基づく会話比率データと満足度データとを関連付け、接客データとして記録しても良い。つまり、第２実施形態と第３実施形態を組み合わせた構成としても良い。
【０１４８】
以上、第１実施形態ないし第３実施形態を示したが、これらの各実施形態に示した接客支援システムＳＹ１，ＳＹ２，ＳＹ３の各処理をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、接客支援システムＳＹ１，ＳＹ２，ＳＹ３の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。その他、上述した実施例によらず、各接客支援システムＳＹ１，ＳＹ２，ＳＹ３のシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
【符号の説明】
【０１４９】
１…体導音センサー  ２…音声取得用マイク  ５…店員用端末  ６…ビューアー画面  １１…店内カメラ  １２…ＰＯＳ端末  １３…レシートプリンター  １４…レジカウンター  １５…管理サーバー  １６…表示端末  １６ａ…表示画面  １８…商品マスタ  １９…ネットワーク  ２１２…ボタン群  ２１３…プログレスバー  ２１４…音量調節スライダ  Ｄ…ビューアー画面  ＤＢ…管理サーバー用データベース  Ｅ１１…照会条件選択領域  Ｅ１２…一覧表示領域  Ｅ１３…再生操作領域  Ｅ２１…照会条件選択領域  Ｅ２２…相関図表示領域  Ｅ３２…一覧表示領域  Ｅ４１…接客データ表示領域  Ｅ４２…グラフ表示領域  Ｒ…会計レシート  ＳＹ…接客支援システム
【図１】
0005477153.tif 000002
【図２】
0005477153.tif 000003
【図３】
0005477153.tif 000004
【図４】
0005477153.tif 000005
【図５】
0005477153.tif 000006
【図６】
0005477153.tif 000007
【図７】
0005477153.tif 000008
【図８】
0005477153.tif 000009
【図９】
0005477153.tif 000010
【図１０】
0005477153.tif 000011
【図１１】
0005477153.tif 000012
【図１２】
0005477153.tif 000013
【図１３】
0005477153.tif 000014
【図１４】
0005477153.tif 000015
【図１５】
0005477153.tif 000016
【図１６】
0005477153.tif 000017
【図１７】
0005477153.tif 000018
【図１８】
0005477153.tif 000019
【図１９】
0005477153.tif 000020
【図２０】
0005477153.tif 000021
【図２１】
0005477153.tif 000022
【図２２】
0005477153.tif 000023
【図２３】
0005477153.tif 000024
【図２４】
0005477153.tif 000025
【図２５】
0005477153.tif 000026
【図２６】
0005477153.tif 000027
【図２７】
0005477153.tif 000028
【図２８】
0005477153.tif 000029
【図２９】
0005477153.tif 000030
【図３０】
0005477153.tif 000031
【図３１】
0005477153.tif 000032