(57)【要約】【課題】マーケティングデータとして、顧客にとって「興味があるキーワード」や「興味がないキーワード」を、適切に記録することができる【解決手段】キーワードを記憶しておくキーワードテーブル８９と、店員と顧客との会話における音声データを取得する音声取得部１０２と、会話に含まれる顧客の音声データに基づいて、発話区間ごとに顧客満足度を算出する顧客満足度算出部１５６と、取得した音声データから、顧客満足度が閾値に達した会話区間の音声データを抽出する区間データ抽出部と、抽出した会話区間の音声データを音声認識する音声認識部１５４と、区間データから、所定のキーワードを抽出するキーワード抽出部と、抽出した所定のキーワードを、満足キーワードとしてデータベースに記録する満足キーワード記録部１６１と、を備えた。【選択図】図１７
2011221891.tif 000002
【特許請求の範囲】
【請求項１】
所定のキーワードを記憶しておくキーワード記憶部と、
店員と顧客との会話における音声データを取得する音声データ取得部と、
前記会話に含まれる前記顧客の音声データに基づいて、連続する音声データの区間である発話区間ごとに顧客満足度を算出する顧客満足度算出部と、
取得した前記音声データから、前記顧客満足度が所定の閾値に達した一部の区間データを抽出する区間データ抽出部と、
抽出した前記区間データを音声認識する音声認識部と、
前記音声認識部の音声認識結果に基づいて、前記区間データから、前記キーワード記憶部に記憶されている前記所定のキーワードを抽出するキーワード抽出部と、
抽出した前記所定のキーワードを、満足キーワードとしてデータベースに記録する満足キーワード記録部と、を備えたことを特徴とするキーワード記録装置。
【請求項２】
前記顧客を識別する顧客識別部を、更に備え、
前記満足キーワード記録部は、前記満足キーワードを、識別した前記顧客に関連付けて記録することを特徴とする請求項１に記載のキーワード記録装置。
【請求項３】
前記満足キーワード記録部は、前記満足キーワードを、前記区間データ内の前記発話区間ごとに算出された前記顧客満足度の統計量に、関連付けて記録することを特徴とする請求項２に記載のキーワード記録装置。
【請求項４】
前記顧客満足度の統計量に基づいて、前記満足キーワードの好印象キーワードレベルを算出する好印象レベル算出部を、更に備え、
前記満足キーワード記録部は、前記満足キーワードを、前記好印象キーワードレベルに関連付けて記録することを特徴とする請求項２または３に記載のキーワード記録装置。
【請求項５】
前記満足キーワード記録部は、前記満足キーワードを、当該満足キーワードを抽出した前記発話区間の開始時刻および／または終了時刻に、関連付けて記録することを特徴とする請求項２ないし４のいずれかに記載のキーワード記録装置。
【請求項６】
前記満足キーワード記録部は、前記満足キーワードを、当該満足キーワードの顧客別の記録回数に、関連付けて記録することを特徴とする請求項２ないし５のいずれかに記載のキーワード記録装置。
【請求項７】
話題ごとに分類された話題キーワードを記憶する話題キーワード記憶部と、
前記音声データを音声認識する全域音声認識部と、
前記全域音声認識部の音声認識結果に基づいて、前記発話区間単位で、前記キーワード記憶部に記憶されている前記所定のキーワードを抽出する単位キーワード抽出部と、
前記話題キーワード記憶部を参照して、前記発話区間ごとに抽出した前記キーワードに対応する前記話題キーワードを特定し、当該話題キーワードが属する分類が変化しない前記発話区間の集合体を、話題区間として特定する話題区間特定部と、
前記話題区間ごとの話題キーワードを、前記データベースに記憶する話題キーワード記録部と、を更に備えたことを特徴とする請求項１ないし６のいずれかに記載のキーワード記録装置。
【請求項８】
前記発話区間ごとに算出した前記顧客満足度に基づいて、前記話題区間ごとの顧客満足度の統計量を算出する区間満足度算出部と、
前記統計量が所定値に達した前記話題区間を抽出する話題区間抽出部と、
前記全域認識部による音声認識結果に基づいて、抽出した前記各話題区間から、前記キーワード記憶部に未記憶であって且つ名詞である未記憶キーワードを抽出する未記録キーワード抽出部と、を更に備え、
前記キーワード記憶部は、抽出した前記未記憶キーワードを新たに記憶することを特徴とする請求項７に記載のキーワード記録装置。
【請求項９】
特定した複数の前記話題区間の中から、１の話題区間を選択する話題区間選択部と、
複数のキーワードの分類の中から、１の分類を選択する分類選択部と、
前記全領域認識部による音声認識結果に基づいて、選択した前記話題区間から、選択した前記分類に該当すると共に前記キーワード記録部に未記憶であって且つ名詞である未記憶キーワードを抽出する未記憶キーワード抽出部と、を更に備え、
前記キーワード記憶部は、抽出した前記未記憶キーワードを新たに記憶することを特徴とする請求項７に記載のキーワード記録装置。
【請求項１０】
前記キーワード記憶部は、前記所定のキーワードとして、前記音声認識結果として得られる１以上の音声キーワードと、前記１以上の音声キーワードに関連する１以上の関連キーワードを記憶し、
前記キーワード抽出部は、前記音声認識結果として得られた音声キーワードが、前記関連キーワードが関連付けられた音声キーワードである場合には、当該音声キーワードに関連する関連キーワードを抽出することを特徴とする請求項１ないし９のいずれかに記載のキーワード記録装置。
【請求項１１】
前記関連キーワードは、前記音声キーワードによって特定される商品の名称を示す特定商品名称であることを特徴とする請求項１０に記載のキーワード記録装置。
【請求項１２】
前記音声キーワードは、商品種別を示すキーワードであり、
前記キーワード抽出部は、前記音声認識結果として得られた１以上の音声キーワードがそれぞれ商品種別を示すキーワードである場合、前記１以上の音声キーワードが示す１以上の商品種別に該当する商品名称である特定商品名称を、抽出することを特徴とする請求項１１に記載のキーワード記録装置。
【請求項１３】
会計処理データを取得する会計処理データ取得部を、更に備え、
前記満足キーワード記録部は、前記特定商品名称を、前記会計処理データに含まれる購入商品名称と、前記会計処理データに含まれない非購入商品名称とに分類して、前記データベースに記録することを特徴とする請求項１１または１２に記載のキーワード記録装置。
【請求項１４】
請求項１３に記載のキーワード記録装置における各部と、
記録した前記特定商品名称の商品種別を判別する商品種別判別部と、
判別した商品種別に該当する１以上の商品名称を、前記データベースから抽出する商品名称抽出部と、
前記データベースにおいて前記１以上の商品名称に関連付けられた情報に基づいて、前記１以上の商品名称からお勧め商品の商品名称を選択するお勧め商品選択部と、
選択した前記お勧め商品の商品名称を前記店員に通知するお勧め商品通知部と、を備えたことを特徴とする接客支援装置。
【請求項１５】
所定のキーワードを記憶しておくキーワード記憶部を用い、満足キーワードをデータベースに記録するキーワード記録方法であって、
店員と顧客との会話における音声データを取得する音声データ取得工程と、
前記会話に含まれる前記顧客の音声データに基づいて、連続する音声データの区間である発話区間ごとに顧客満足度を算出する顧客満足度算出工程と、
取得した前記音声データから、前記顧客満足度が所定の閾値に達した一部の区間データを抽出する区間データ抽出工程と、
抽出した前記区間データを音声認識する音声認識工程と、
前記音声認識部の音声認識結果に基づいて、前記区間データから、前記キーワード記憶部に記憶されている前記所定のキーワードを抽出するキーワード抽出工程と、
抽出した前記所定のキーワードを、前記満足キーワードとして前記データベースに記録する満足キーワード記録工程と、を備えたことを特徴とするキーワード記録方法。
【請求項１６】
コンピューターに、請求項１５に記載のキーワード記録方法における各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、店員と顧客との会話の音声認識結果に基づいて、販売促進に寄与するキーワードを記録するキーワード記録装置、接客支援装置、キーワード記録方法およびプログラムに関するものである。
【背景技術】
【０００２】
従来、小売店などの店舗では、販売促進を目的として、顧客データや売り上げデータを収集し、マーケティングデータとして利用する試みが行われている。例えば、特許文献１では、ＰＯＳデータの分析から消費者の併売傾向を数量的に的確に把握し、販売促進に反映させることができるマーケティングデータ収集分析技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−９４５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、マーケティングデータとして、顧客にとって「興味があるキーワード」を収集することが求められている。販売能力の高い店員は、１つのマーケティングテクニックとして、顧客との会話から、顧客にとって「興味があるキーワード」を推測し、これを活用することで、顧客の購買意欲を向上させる方法を用いている。例えば、「興味があるキーワード」に関連する商品を提供し、または、当該「興味があるキーワード」を顧客との会話に盛り込むことで顧客の親近感を高めて、顧客の購買意欲を向上させている。このような「興味があるキーワード」をマーケティングデータとして収集することで、販売促進に寄与することが考えられる。また、「興味がないキーワード（ＮＧキーワード）」についても同様であり、「興味がないキーワード」を収集することで、販売促進に寄与することが考えられる。
しかしながら、上記のキーワード収集方法では、店員ごとの勘や分析能力に頼らざるを得ず、厳密性を持って「興味があるキーワード」や「興味がないキーワード」を収集することができないという問題があった。例えば、店員の分析能力によっては、顧客にとって「興味がないキーワード」を「興味があるキーワード」として、収集してしまうことがある。
【０００５】
本発明は、マーケティングデータとして、顧客にとって「興味があるキーワード」や「興味がないキーワード」を、適切に記録することができるキーワード記録装置、接客支援装置、キーワード記録方法およびプログラムを提供することを課題としている。
【課題を解決するための手段】
【０００６】
本発明のキーワード記録装置は、所定のキーワードを記憶しておくキーワード記憶部と、店員と顧客との会話における音声データを取得する音声データ取得部と、会話に含まれる顧客の音声データに基づいて、連続する音声データの区間である発話区間ごとに顧客満足度を算出する顧客満足度算出部と、取得した音声データから、顧客満足度が所定の閾値に達した一部の区間データを抽出する区間データ抽出部と、抽出した区間データを音声認識する音声認識部と、音声認識部の音声認識結果に基づいて、区間データから、キーワード記憶部に記憶されている所定のキーワードを抽出するキーワード抽出部と、抽出した所定のキーワードを、満足キーワードとしてデータベースに記録する満足キーワード記録部と、を備えたことを特徴とする。
【０００７】
本発明のキーワード記録方法は、所定のキーワードを記憶しておくキーワード記憶部を用い、満足キーワードをデータベースに記録するキーワード記録方法であって、店員と顧客との会話における音声データを取得する音声データ取得工程と、会話に含まれる顧客の音声データに基づいて、連続する音声データの区間である発話区間ごとに顧客満足度を算出する顧客満足度算出工程と、取得した音声データから、顧客満足度が所定の閾値に達した一部の区間データを抽出する区間データ抽出工程と、抽出した区間データを音声認識する音声認識工程と、音声認識部の音声認識結果に基づいて、区間データから、キーワード記憶部に記憶されている所定のキーワードを抽出するキーワード抽出工程と、抽出した所定のキーワードを、満足キーワードとしてデータベースに記録する満足キーワード記録工程と、を備えたことを特徴とする。
【０００８】
これらの構成によれば、店員と顧客との会話における音声データから、顧客満足度の高いまたは低い区間を抽出し、抽出した区間の音声データ（区間データ）の音声認識結果に基づいて、キーワードを抽出することにより、顧客満足度の高いまたは低いキーワード（満足キーワード）、すなわち、顧客にとって「興味があるキーワード」や「興味がないキーワード」を厳密に抽出することができる。ゆえに、顧客にとって「興味があるキーワード」や「興味がないキーワード」を厳密に記録することができる。
【０００９】
この場合、顧客を識別する顧客識別部を、更に備え、満足キーワード記録部は、満足キーワードを、識別した顧客に関連付けて記録することが好ましい。
【００１０】
この構成によれば、満足キーワードを、顧客ごとに記録することができるため、各顧客に合ったマーケティングを行うことができる。
【００１１】
この場合、満足キーワード記録部は、満足キーワードを、区間データ内の発話区間ごとに算出された顧客満足度の統計量に、関連付けて記録することが好ましい。
【００１２】
この場合、顧客満足度の統計量に基づいて、満足キーワードの好印象キーワードレベルを算出する好印象レベル算出部を、更に備え、満足キーワード記録部は、満足キーワードを、好印象キーワードレベルに関連付けて記録することが好ましい。
【００１３】
これらの構成によれば、満足キーワードを、顧客満足度の統計量に関連付けて記録し、またこれに基づく好印象キーワードレベルを記録することで、顧客がどの程度、当該満足キーワードに興味があるかを記録することができる。これによって、より高度なマーケティングを行うことができる。例えば、満足キーワードが複数種記録してあった場合、当該統計量や好印象キーワードレベルに基づいて、複数の満足キーワードから、最も興味がある満足キーワードを判別することができる。
【００１４】
この場合、満足キーワード記録部は、満足キーワードを、当該満足キーワードを抽出した発話区間の開始時刻および／または終了時刻に、関連付けて記録することが好ましい。
【００１５】
この構成によれば、満足キーワードを、当該満足キーワードを抽出した発話区間の開始時刻や終了時刻に関連付けて記録することにより、当該発話区間の時刻（開始時刻や終了時刻）を、マーケティングデータとして活用することができる。また、飲食物の販売等では、１日における時間帯によって、顧客にとって「興味があるキーワード」や「興味がないキーワード」が変化する場合がある。上記構成によれば、１日の時間帯ごとの、顧客にとって「興味があるキーワード」や「興味がないキーワード」（満足キーワード）を判別することができるため、適切なマーケティングを行うことができる。
【００１６】
この場合、満足キーワード記録部は、満足キーワードを、当該満足キーワードの顧客別の記録回数に、関連付けて記録することが好ましい。
【００１７】
この構成によれば、満足キーワードを、顧客別の記録回数に関連付けて記録することにより、記録回数がそのまま、顧客における興味の度合いとなるため、これを用いて、より高度なマーケティングを行うことができる。
【００１８】
この場合、話題ごとに分類された話題キーワードを記憶する話題キーワード記憶部と、音声データを音声認識する全域音声認識部と、全域音声認識部の音声認識結果に基づいて、発話区間単位で、キーワード記憶部に記憶されている所定のキーワードを抽出する単位キーワード抽出部と、話題キーワード記憶部を参照して、発話区間ごとに抽出したキーワードに対応する話題キーワードを特定し、当該話題キーワードが属する分類が変化しない発話区間の集合体を、話題区間として特定する話題区間特定部と、話題区間ごとの話題キーワードを、データベースに記憶する話題キーワード記録部と、を更に備えたことが好ましい。
【００１９】
この構成によれば、話題キーワードが属する分類が変化しない発話期間の集合体を、話題区間として特定し、話題区間ごとの話題キーワードを記録することにより、顧客にとって「興味がある話題」や「興味がない話題」を記録することができ、より高度なマーケティングを行うことができる。
【００２０】
上記のキーワード記録装置において、発話区間ごとに算出した顧客満足度に基づいて、話題区間ごとの顧客満足度の統計量を算出する区間満足度算出部と、統計量が所定値に達した話題区間を抽出する話題区間抽出部と、全域認識部による音声認識結果に基づいて、抽出した各話題区間から、キーワード記憶部に未記憶であって且つ名詞である未記憶キーワードを抽出する未記録キーワード抽出部と、を更に備え、キーワード記憶部は、抽出した未記憶キーワードを新たに記憶することが好ましい。
【００２１】
この構成によれば、顧客満足度の統計量が高いまたは低い話題区間を抽出し、これに含まれる未記録キーワードを、キーワード記録部に記憶することにより、キーワード記録部への所定のキーワードの新規登録を自動的に行うことができる。
【００２２】
上記のキーワード記録装置において、特定した複数の話題区間の中から、１の話題区間を選択する話題区間選択部と、複数のキーワードの分類の中から、１の分類を選択する分類選択部と、全領域認識部による音声認識結果に基づいて、選択した話題区間から、選択した分類に該当すると共にキーワード記録部に未記憶であって且つ名詞である未記憶キーワードを抽出する未記憶キーワード抽出部と、を更に備え、キーワード記憶部は、抽出した未記憶キーワードを新たに記憶することが好ましい。
【００２３】
この構成によれば、ユーザーが選択した話題区間から、選択した分類の未記録キーワードを抽出し、キーワード記録部に記憶することにより、キーワード記録部への所定のキーワードの新規登録を容易に行うことができる。
【００２４】
これらの場合、キーワード記憶部は、所定のキーワードとして、音声認識結果として得られる１以上の音声キーワードと、１以上の音声キーワードに関連する１以上の関連キーワードを記憶し、キーワード抽出部は、音声認識結果として得られた音声キーワードが、関連キーワードが関連付けられた音声キーワードである場合には、当該音声キーワードに関連する関連キーワードを抽出することが好ましい。
【００２５】
この場合、関連キーワードは、音声キーワードによって特定される商品の名称を示す特定商品名称であることが好ましい。
【００２６】
これらの構成によれば、音声認識結果として得られた音声キーワードに関連する関連キーワードを抽出することにより、同じものを示す複数の音声キーワードを、関連キーワードとして統合して記録することができる。例えば、「しろ」や「ホワイト」といった音声キーワードが音声認識結果として得られた場合、これらを統合した関連キーワードである「白」を記録する。
【００２７】
この場合、音声キーワードは、商品種別を示すキーワードであり、キーワード抽出部は、音声認識結果として得られた１以上の音声キーワードがそれぞれ商品種別を示すキーワードである場合、１以上の音声キーワードが示す１以上の商品種別に該当する商品名称である特定商品名称を、抽出することが好ましい。
【００２８】
この構成によれば、キーワード抽出部が、音声認識結果として得られた１以上の音声キーワードに対し、これらが示す１以上の商品種別に該当する商品名称（特定商品名称）を抽出することにより、顧客によって発声された１以上の商品種別に該当する商品名称を記録することができる。
【００２９】
この場合、会計処理データを取得する会計処理データ取得部を、更に備え、満足キーワード記録部は、特定商品名称を、会計処理データに含まれる購入商品名称と、会計処理データに含まれない非購入商品名称とに分類して、データベースに記録することが好ましい。
【００３０】
この構成によれば、特定商品名称を、その商品が購入されたか否かを関連付けて記録するため、より高度なマーケティングを行うことができる。
【００３１】
本発明の接客支援装置は、上記のキーワード記録装置における各部と、記録した特定商品名称の商品種別を判別する商品種別判別部と、判別した商品種別に該当する１以上の商品名称を、データベースから抽出する商品名称抽出部と、データベースにおいて１以上の商品名称に関連付けられた情報に基づいて、１以上の商品名称からお勧め商品の商品名称を選択するお勧め商品選択部と、選択したお勧め商品の商品名称を店員に通知するお勧め商品通知部と、を備えたことを特徴とする。
【００３２】
この構成によれば、キーワード記録装置によって生成されたデータベースに基づいて、お勧め商品を選択し、店員に通知することによって、店員の接客能力を向上することができる。
【００３３】
本発明のプログラムは、コンピューターに、上記のキーワード記録方法における各工程を実行させることを特徴とする。
【００３４】
この構成によれば、コンピューターに本プログラムを搭載するだけで、上記のキーワード記録方法における各工程を実行させることができる。
【図面の簡単な説明】
【００３５】
【図１】第１実施形態に係る接客支援システムのシステム構成図である。
【図２】店員用端末の制御ブロック図である。
【図３】レシートプリンターの制御ブロック図である。
【図４】管理サーバーの制御ブロック図である。
【図５】発話区間、話し掛け区間、会話区間および接客区間の説明図である。
【図６】第１実施形態に係る接客支援システムの機能ブロック図である。
【図７】第１実施形態に係る管理サーバー用データベースの説明図である。
【図８】音声データ管理テーブル、店員発話区間管理テーブル、顧客発話区間管理テーブルの一例を示す図である。
【図９】商品キーワード用テーブルの一例を示す図である。
【図１０】非商品キーワード用テーブルの一例を示す図である。
【図１１】商品満足キーワード管理テーブル、非商品満足キーワード管理テーブルの一例を示す図である。
【図１２】第１実施形態に係る音声データ保存処理を示すフローチャートである。
【図１３】第１実施形態に係る接客区間特定処理を示すフローチャートである。
【図１４】第１実施形態に係る店員話し掛け区間特定処理を示すフローチャートである。
【図１５】第１実施形態に係る顧客話し掛け区間Ｂ特定処理を示すフローチャートである。
【図１６】第１実施形態に係る顧客話し掛け区間Ａ特定処理を示すフローチャートである。
【図１７】第１実施形態に係るキーワード記録処理を示すフローチャートである。
【図１８】第１実施形態に係る発話区間ごとのキーワード処理を示すフローチャートである。
【図１９】第１実施形態に係るお勧め商品通知処理を示すフローチャートである。
【図２０】第１実施形態に係る好印象キーワード通知処理を示すフローチャートである。
【図２１】第２実施形態に係る接客支援システムの機能ブロック図である。
【図２２】第２実施形態に係る管理サーバー用データベースの説明図である。
【図２３】第２実施形態に係る話題区間特定処理を示したフローチャートである。
【図２４】第２実施形態に係る会話区間ごとの話題キーワード抽出処理を示したフローチャートである。
【図２５】第２実施形態に係る話題キーワード記録処理を示すフローチャートである。
【図２６】第２実施形態に係るキーワード登録処理を示すフローチャートである。
【発明を実施するための形態】
【００３６】
［第１実施形態］
以下、添付の図面を参照し、本発明のキーワード記録装置、接客支援装置、キーワード記録方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明のキーワード記録装置を、接客支援システムＳＹに適用した場合について例示する。当該接客支援システムＳＹは、小売業、飲食業およびサービス業などに関する店舗や会場内において、顧客の感情認識を行い、その結果を顧客満足度の向上や売り上げ向上に生かすべく構築されたものである。そこで、以下の実施形態では、衣料品店の店舗内において、店員に接客されている顧客の感情認識を行う場合を例示する。
【００３７】
図１は、第１実施形態に係る接客支援システムＳＹ１のシステム構成図である。同図に示すように、接客支援システムＳＹ１は、店員に装着された体導音センサー１、音声取得用マイク２、音声指示用イヤホン３、および店員用端末５と、店舗の入り口および店内各所に配置された店内カメラ１１（同図では、１台のみ図示）と、レジカウンター１４に設置されたＰＯＳ（Point  Of  Sales）端末（会計処理データ取得部）１２およびレシートプリンター１３と、店舗のバックヤードに設置された管理サーバー１５および表示端末１６と、から成る。
【００３８】
体導音センサー１は、店員の頭頚部に装着され、店員の音声が骨や肉を伝わって体表に届く体導音を検出する。本実施形態では、音声取得用マイク２により取得された音声が、店員のものであるか顧客のものであるかを識別するために用いられる。音声取得用マイク２は、店員の制服（胸元近傍）に取り付けられ、店員および顧客の音声を取得する。なお、体導音センサー１および音声取得用マイク２に代えて、店員と顧客に対してそれぞれ指向性を有するマイクを用いても良い。すなわち、店員音声取得用と顧客音声取得用との２つのマイクを使用し、いずれのマイクで取得されたかによって、店員の音声と顧客の音声を識別しても良い。
【００３９】
音声指示用イヤホン３は、店員の耳に取り付けられ、音声指示用の音声データに基づく音声を出力する。具体的には、音声指示用の音声データとして、お勧め商品や好印象のキーワードを通知するメッセージ、例えば、「お勧め商品は、ストレッチスリムフィットシャツです。」や「好印象のキーワードは、子供の誕生日会です。」等のメッセージを、音声として出力する。
【００４０】
店員用端末５は、店員の制服（ベルトなど）に取り付けられ、専用ケーブルを介して体導音センサー１および音声取得用マイク２の出力データを取得すると共に、音声指示用イヤホン３に、管理サーバー１５からの音声指示用の音声データを出力する。また、レシートプリンター１３との無線通信機能を有しており、当該レシートプリンター１３を介して、管理サーバー１５と情報の授受を行う。
【００４１】
店内カメラ１１は、店内各所の天井などに設けられ、来店した顧客、並びに接客中の店員および顧客を撮像する。なお、店内カメラ１１としては、ＣＣＤカメラやＰＴＺ（Pan  Tilt  Zoom）カメラを採用可能である。
【００４２】
ＰＯＳ端末１２は、一般的なレジスターの構成を有しており、ＰＯＳアプリケーションにしたがって会計処理を行う。また、不図示のバーコードスキャナーまたはキーボードから商品コードを取得し、商品マスタ１８を参照して、会計レシートＲ（図３参照）に印刷するためのレシートデータを生成する。
【００４３】
レシートプリンター１３は、ＰＯＳ端末１２と専用ケーブルを介して接続され、ＰＯＳ端末１２から取得したレシート印刷データをレシート用紙に印刷する。また、レシートプリンター１３は、店員用端末５との無線通信機能および管理サーバー１５との有線通信機能を有している。このように、レシートプリンター１３を主幹として各種情報の入出力を行うことで（レシートプリンター１３が、取得した各種情報をフィルタリングして必要な情報を出力することで）、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１２を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。なお、本実施例では店員用端末５のデータは、レシートプリンター１３を介して管理サーバー１５と通信する手段を記載したが、ＰＯＳ基幹ネットワークとは別回線を用い、直接、管理サーバー１５と通信してもよい。
【００４４】
管理サーバー１５は、レシートプリンター１３と、イントラネット等のネットワーク１９を介して接続されており、当該レシートプリンター１３を介して、店員用端末５と各種情報の授受を行う。また、店員用端末５から取得した音声データを初めとする各種データに基づいて、音声認識、感情認識および顧客満足度の算出などを行う。また、算出した顧客満足度などに基づいた音声指示用の音声データを生成する。
【００４５】
次に、図２ないし図４を参照し、店員用端末５、レシートプリンター１３および管理サーバー１５のハードウェア構成について説明する。図２は、店員用端末５の制御ブロック図である。店員用端末５は、レシートプリンター１３との無線通信機能を実現するための無線ＬＡＮアンテナ２１、無線ＬＡＮＲＦ（Radio  Frequency）部２２、無線ＬＡＮ変復調部２３および無線ＬＡＮベースバンド部２４を有している。無線ＬＡＮベースバンド部２４は、店員用端末５を識別するためのＭＡＣアドレスを記憶している。また、店員用端末５は、体導音センサー１の検出結果を得るためのアンプ部２８およびＡ／Ｄコンバーター２９と、音声取得用マイク２によって取得された音声データを得るためのアンプ部３２およびＡ／Ｄコンバーター３３と、音声指示用イヤホン３に対し音声指示用の音声データを出力するためのアンプ部３５およびＤ／Ａコンバーター３６と、を有している。また、店員用端末５は、各部の統括制御を行う制御部２５と、ファームウェアを初めとする各種データを記憶するメモリ２６と、電力供給を行うバッテリー３４と、を有している。制御部２５は、Ａ／Ｄコンバーター２９およびＡ／Ｄコンバーター３３から取得したデータに基づいて、店員の発話区間（連続する音声の時間帯）を特定する店員発話区間特定機能と、Ａ／Ｄコンバーター３３から取得したデータに基づいて、音声レベルを判定する音声レベル判定機能と、を有している。
【００４６】
続いて、図３は、レシートプリンター１３の制御ブロック図である。レシートプリンター１３は、店員用端末５との無線通信機能を実現するための無線ＬＡＮアンテナ４１、無線ＬＡＮＲＦ部４２、無線ＬＡＮ変復調部４３および無線ＬＡＮベースバンド部４４を有している。無線ＬＡＮベースバンド部４４は、レシートプリンター１３を識別するためのＭＡＣアドレスを記憶している。また、レシートプリンター１３は、ＰＯＳ端末１２からレシートデータが入力される入力Ｉ／Ｆ部４５と、文字パターンを記憶するＣＧ−ＲＯＭ４６と、各部の統括制御を行う制御部４７と、印刷ヘッド、ヘッド駆動機構およびレシート用紙搬送機構などを含む印刷機構４８と、管理サーバー１５と有線あるいは無線ＬＡＮ（以下、「ＬＡＮ」と称する）を介して接続されるＬＡＮＩ／Ｆ部４９と、を有している。
【００４７】
制御部４７は、所定のコマンドを含むレシートデータの解析や、会計レシートＲに印刷するための印刷データの生成などを行うメイン処理部４７ａと、本実施形態特有の構成であるレシートデータ意味解析部４７ｂと、を有している。レシートデータ意味解析部４７ｂは、レシートデータから、ＰＯＳ端末１２の端末番号、レシート番号、商品コード、商品名称、商品単価、金額、オペレーター氏名などを認識し、上位システムとなる管理サーバー１５が解釈可能な所定のデータ形式（例えば、ＸＭＬ形式）に変換する。なお、当該レシートデータの認識結果を所定のデータ形式に変換したものを、以下「変換データ」と称する。また、制御部４７は、店員用端末５から無線ＬＡＮを介して受信した音声データ（無線ＬＡＮベースバンド部４４から取得した音声データ）を、ＬＡＮＩ／Ｆ部４９を介して、管理サーバー１５に転送する。
【００４８】
続いて、図４は、管理サーバー１５の制御ブロック図である。管理サーバー１５は、レシートプリンター１３から、音声データおよび変換データを取得すると共に、店内カメラ１１から映像データを取得するためのＬＡＮＩ／Ｆ部５１と、表示端末１６に各種情報を表示させるための表示処理部５２と、マウスやキーボードなどの入力装置５５から入力データを取得すると共に各部の統括制御を行う制御部５３と、各種情報を記憶する記憶部５４と、を有している。制御部５３は、取得した音声データに基づいて、会話区間（店員と顧客との会話の１単位区間）を特定する会話区間特定機能と、会話区間あたりの顧客満足度を算出する満足度算出機能と、顧客満足度が高い会話区間の音声データに基づいて、顧客満足度が高いキーワード（満足キーワード）を記録する満足キーワード記録機能と、記録した満足キーワードに基づいて、音声指示用の音声データを生成する音声データ生成機能と、を有している。
【００４９】
次に、図５を参照し、各区間の定義について説明する。上記のとおり、同一人物による連続する音声の区間、つまりブレス（息継ぎ）などが入らない１フレーズの区間を「発話区間」と称する。本実施形態では、当該発話区間単位で、感情認識や音声認識を行う。また、図５（ａ）に示すように、所定時間以上途切れないまま繰り返される店員または顧客の発話区間の集合体を「話し掛け区間」と称する。つまり、インターバルが所定時間Ｘ未満となる１以上の発話区間の集合体を言う（但し、ＸはＸ＞０となる定数）。同図の例は、店員の話し掛け区間（以下、「店員話し掛け区間」と称する）、並びに当該店員の話し掛け区間に前後する２つの顧客の話し掛け区間（以下、「顧客話し掛け区間」と称する）が、いずれも２つの発話区間から成る場合を示している。
【００５０】
また、同じく図５（ａ）に示すように、店員と顧客の話し掛け区間が所定時間以上途切れないまま交互に繰り返される話し掛け区間の集合体を「会話区間」と称する。つまり、インターバルが所定時間Ｙ未満となる１以上の発話区間の集合体を言う（但し、ＹはＹ＞Ｘとなる定数）。なお、本実施形態では、店員話し掛け区間を中心とした前後の顧客話し掛け区間の集合体（すなわち最低１つ、最大３つの話し掛け区間の集合体）を「１会話パターン」＝「１会話区間」と定義する。
【００５１】
また、図５（ｂ）に示すように、所定時間以上途切れないまま繰り返される会話区間の集合体を「接客区間」と称する。つまり、インターバルが所定時間Ｚ未満となる１以上の会話区間の集合体を言う（但し、ＺはＺ＞Ｙとなる定数）。同図の例は、２つの会話区間から成る接客区間１と、３つの会話区間から成る接客区間２と、を示している。このように、接客区間に含まれる会話区間の数は任意である。
【００５２】
次に、図６および図７を参照し、第１実施形態に係る接客支援システムＳＹ１の機能構成について説明する。図６は、接客支援システムＳＹ１のブロック図である。店内カメラ１１は、主な機能構成として、接客撮像部１１１を有している。接客撮像部１１１は、店員および顧客を含む接客状況を撮像する。本実施形態において、接客撮像部１１１は常時撮像を行っており、その映像データは、随時管理サーバー１５に出力される。
【００５３】
体導音センサー１は、主な機能構成として、発話検出部１０１を有している。発話検出部１０１は、体導音に基づいて、店員が発話したこと、およびその発話区間を検出する。音声取得用マイク２は、主な機能構成として、音声取得部（音声データ取得部）１０２を有している。音声取得部１０２は、店員および顧客の音声（音声信号）を取得する。音声指示用イヤホン３は、主な機能構成として、音声出力部（お勧め商品通知部）１０３を有している。音声出力部１０３は、音声指示用の音声データに基づいて、音声を出力する。店員用端末５は、主な機能構成として、音声データ通信部１０５を有している。音声データ通信部１０５は、音声レベル判定機能にあるパワーフィルターにより音声の有無を判定し、所定の音声レベル以上（例えば、アンプ増幅後１．５ｖ以上など）の音声データを管理サーバー１５に送信する。また、店員発話区間特定機能により、発話検出部１０１の検出結果および音声取得部１０２の音声取得結果に基づいて店員発話区間を特定し、当該店員発話区間の発生を管理サーバー１５に通知する。さらに、管理サーバー１５から、音声指示用の音声データを受信する。なお、実際には、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。
【００５４】
レシートプリンター１３は、主な機能構成として、変換データ送信部１１３を有している。変換データ送信部１１３は、ＰＯＳ端末１２から出力されたレシートデータをＸＭＬ形式に変換した変換データを、管理サーバー１５に送信する。
【００５５】
管理サーバー１５は、主な機能構成として、映像記録部１５１、顧客識別部１５２、会話録音部１５３、音声認識部１５４、顧客感情認識部１５５、顧客満足度算出部１５６、変換データ受信部１５８、満足キーワード記録部１６１、お勧めレベル算出部１６２、好印象レベル算出部１６３、音声データ生成部１６４、および管理サーバー用データベースＤＢ１を有している。
【００５６】
映像記録部１５１は、接客撮像部１１１から、映像データを取得し、これを管理サーバー用データベースＤＢ１に記録する。顧客識別部１５２は、映像データに含まれる顔特徴量に基づいて顧客を識別する。具体的には、予め顧客識別情報と顧客の顔特徴量を管理サーバー用データベースＤＢ１内に記憶しておき（図７の顧客情報記憶部８１参照）、撮像された顧客の顔特徴量（店内カメラ１１の撮像結果を解析して顔検出を行い、当該顔部分の画像を正規化して算出された顔特徴量）と、管理サーバー用データベースＤＢ１に記憶されている多数の顧客の顔特徴量とを照合し、それらの中から最も類似度の高い顧客であると判定する。なお、店員が店内に複数存在する場合は、店員と顧客との紐付けが必要となるため、店員についても、映像データに含まれる顔特徴量から識別しても良い。つまり、予め店員識別情報と店員の顔特徴量を管理サーバー用データベースＤＢ１内に記憶しておき、撮像された店員の顔特徴量と、管理サーバー用データベースＤＢ１に記憶されている各店員の顔特徴量とを照合し、それらの中から最も類似度の高い店員が接客を行っていると判定する。なお、顔の画像認識以外に店員のＩＤカードに格納された無線タグや店員用端末５のＭＡＣアドレスを用いて店員を判別することも可能である。
【００５７】
会話録音部１５３は、店員と顧客の会話、すなわち音声データ通信部１０５から送信された音声データを録音する（管理サーバー用データベースＤＢ１に記録する）。音声認識部１５４は、会話録音部１５３により録音された録音データに含まれる店員および顧客の音声を認識する。当該音声認識部１５４には、音響分析部、音響モデル、言語モデル、単語辞書およびテキスト変換部が含まれる（いずれも図示省略）。当該音声認識部１５４は、これらを用いて、取得した音声信号を、テキスト情報に変換し、管理サーバー用データベースＤＢ１に記録する。
【００５８】
顧客感情認識部１５５は、会話に含まれる顧客の音声に基づいて、顧客の感情を認識する。具体的には、音声の強度、音声の発生速度（単位時間当たりのモーラ数など）、単語別の強度、音量、音声スペクトルなどの変化量に基づいて感情認識を行う。この場合、顧客感情認識部１５５は、発話検出部１０１の検出結果（音声データ通信部１０５により特定された店員発話区間）に基づいて、会話に含まれる音声が、店員の音声であるか顧客の音声であるかを判別する。また、顧客感情認識部１５５は、会話録音部１５３の録音データに含まれる顧客の発話区間ごとに感情認識を行う。このように、１フレーズごとに感情認識を行うことで、高精度な感情データを得ることができる。さらに、顧客発話区間と店員発話区間とが時間軸上で重複する重複区間を特定し、当該重複区間を「感情認識非対象区間」として、当該重複区間を除く顧客発話区間に対して感情認識を行う。このように、顧客の音声と店員の音声が混合しており正確な感情認識を行うことができない感情認識非対象区間（重複区間）を除いて感情認識を行うことで、誤認識を防止することができる。
【００５９】
顧客満足度算出部１５６は、顧客感情認識部１５５の認識結果に基づいて、顧客満足度を算出する。また、顧客感情認識部１５５が発話区間ごとに感情認識を行うことに伴い顧客満足度算出部１５６も、発話区間ごとに顧客満足度を算出する。
【００６０】
変換データ受信部１５８は、変換データ送信部１１３から送信された変換データを受信し、管理サーバー用データベースＤＢ１に記録する。なお、変換データは、上記の接客データとして記録する売り上げ実績に関する情報を得るために用いられる。したがって、変換データに含まれる情報の中から、レシート番号や合計金額など、売り上げの有無や売り上げ金額を特定可能な情報のみを抽出し、これを売り上げ実績として記録しても良いし、変換データの全てを管理サーバー用データベースＤＢ１に記録しても良い。
【００６１】
満足キーワード記録部１６１は、顧客満足度が所定の閾値に達した会話区間の音声認識結果（テキスト情報）を、管理サーバー用データベースＤＢ１内のキーワードテーブル８９と照合し、その照合結果に基づいて、顧客満足度の高いキーワード（満足キーワード）と、その関連情報とを、管理サーバー用データベースＤＢ１に記録する。なお、満足キーワードは、取扱商品を示す商品キーワードと、それ以外の非商品キーワードに分類されている。
【００６２】
お勧めレベル算出部１６２は、満足キーワード記録部１６１によって記録した各商品キーワードのお勧めレベルを算出して、管理サーバー用データベースＤＢ１に記録する。好印象レベル算出部１６３は、満足キーワード記録部１６１によって記録した各非商品キーワードの好印象レベル（好印象キーワードレベル）を算出して、管理サーバー用データベースＤＢ１に記録する。お勧めレベルとは、各商品キーワードが示す各商品のお勧め度合いを示す数値である。一方、好印象レベルとは、各非商品キーワードが顧客に与える好印象の度合いを示す数値である。
【００６３】
音声データ生成部１６４は、管理サーバー用データベースＤＢ１内の各種データに基づいて、お勧め商品や好印象キーワードを通知するための音声指示用の音声データを生成し、店員用端末５に送信する。
【００６４】
図７は、第１実施形態に係る管理サーバー用データベースＤＢ１の説明図である。管理サーバー用データベースＤＢ１は、顧客情報記憶部８１、店員情報記憶部８２、音声データ記憶部８３、映像データ記憶部８４、音声データ管理テーブル８５、店員発話区間管理テーブル８６、顧客発話区間管理テーブル８７、テキスト情報記憶部８８、キーワードテーブル（キーワード記憶部）８９、商品種別キーワード記憶部９０、満足キーワード管理テーブル（データベース）９１として機能する。なお、管理サーバー用データベースＤＢ１は、店舗ごとに設けられても良いし、複数店舗のデータを一括管理するものであっても良い。
【００６５】
顧客情報記憶部８１は、顧客識別情報（顧客ＩＤなど）と、顧客の顔特徴量と、顧客データ（氏名、住所、電話番号、生年月日、性別などの個人情報を含む）と、を関連付けて記憶する。また、店員情報記憶部８２は、店員識別情報（店員ＩＤなど）と、店員の顔特徴量と、店員用端末５のＭＡＣアドレスと、を関連付けて記憶する。また、音声データ記憶部８３は、会話録音部１５３により常時録音された音声データを記憶する。また、映像データ記憶部８４は、接客撮像部１１１により常時撮像された映像データを記憶する。
【００６６】
また、音声データ管理テーブル８５は、店員と顧客を区別することなく、取得した音声データを、連続する音声の区間（以下、「連続発話区間」と称する）ごとに記録したテーブルである（図８（ａ）参照））。また、店員発話区間管理テーブル８６は、店員の発話区間を記録したテーブルである（図８（ｂ）参照）。また、顧客発話区間管理テーブル８７は、顧客の発話区間を記録したテーブルである（図８（ｃ）参照）。
【００６７】
次に、図８を参照し、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７について説明する。図８（ａ）は、音声データ管理テーブル８５の一例を示す図である。音声データ管理テーブル８５は、店員と顧客の音声を区別しない連続する音声の区間である連続発話区間（少なくとも１の発話区間が含まれる区間）ごとに付与される音声データＮｏ．と、連続発話区間の開始時間に相当する録音開始時間と、連続発話区間の終了時間に相当する録音終了時間と、顧客の発声に基づく音声データか、店員の発生に基づく音声データか、または両方の発声に基づく音声データかを示す重複フラグと、音声データの保存先アドレスと、を関連付けたものである。例えば、音声データＮｏ．２０１の音声データは、１２時３６分０３秒を開始時間とし１２時３６分１６秒を終了時間とする連続発話区間であり、少なくとも一部の区間において、顧客の音声と店員の音声が重複していることを示している。
【００６８】
図８（ｂ）は、店員発話区間管理テーブル８６の一例を示す図である。店員発話区間管理テーブル８６は、発話区間ごとに付与される店員発話Ｎｏ．と、発話区間の開始時間である店員発話開始時間と、発話区間の終了時間である店員発話終了時間と、どの話し掛け区間に属するかを示す話し掛けＮｏ．と、顧客の発声との重複区間の開始時間である重複開始時間と、顧客の発声との重複区間の終了時間である重複終了時間と、を関連付けたものである。例えば、店員発話Ｎｏ．１００と店員発話Ｎｏ．１０１の発話区間は、インターバルが所定時間（例えば、３秒）未満であるため、一連の話し掛け区間と看做され、同一の話し掛けＮｏ．が付加されている。また、店員発話Ｎｏ．１００の発話区間は、その区間全体が顧客の発生と重複していることを示している。
【００６９】
図８（ｃ）は、顧客発話区間管理テーブル８７の一例を示す図である。顧客発話区間管理テーブル８７は、発話区間ごとに付与される顧客発話Ｎｏ．と、発話区間の開始時間である顧客発話開始時間と、発話区間の終了時間である顧客発話終了時間と、どの話し掛け区間に属するかを示す話し掛けＮｏ．と、店員の発声との重複区間の開始時間である重複開始時間と、店員の発声との重複区間の終了時間である重複終了時間と、を関連付けたものである。例えば、顧客発話Ｎｏ．１０１と顧客発話Ｎｏ．１０２の発話区間は、インターバルが所定時間（例えば、３秒）を超えているため、異なる話し掛け区間と看做され、異なる話し掛けＮｏ．が付加されている。また、顧客発話Ｎｏ．１００の発話区間は、１３秒の区間長さのうち６秒間が店員の発生と重複していることを示している。なお、本実施例では会話の順番を利用して店員と顧客の発声を区別する形態を記載したが、体導音センサー１を感知している間の発声を店員の発声と識別する、事前に登録されている店員の声紋を識別する、音声取得用マイク２で取得する音量により識別することも可能である。
【００７０】
次に、図９ないし図１１を参照して、キーワードテーブル８９および満足キーワード管理テーブル９１について説明する。キーワードテーブル８９は、商品キーワード（商品名称）を記憶する商品キーワード用テーブル８９ａと、非商品キーワードを記憶する非商品キーワード用テーブル８９ｂと、を有している。図９は、商品キーワード用テーブル８９ａの一例を示した図である。商品キーワード用テーブル８９ａは、取扱商品を示す商品キーワード（関連キーワード）と、当該取扱商品が該当する商品種別を示す複数の商品種別キーワード（音声キーワード）と、を関連付けて記憶している。各商品キーワードには、「品目」、「サイズ」、「色」、「形状」および「加工方法」といった項目毎に１以上の商品種別キーワードが登録されている。例えば、商品キーワード「ストレッチスリムフィットシャツ」に対し、「品目」として、「ワイシャツ」、「長袖シャツ」、「シャツ」が、「サイズ」として、「Ｓ」、「Ｍ」、「Ｌ」等が、色として、「ＯＦＦ」、「ＷＨＩＴＥ」、「ＬＩＧＨＴ」、「ＧＲＡＹ」等が、「形状」として、「スリム」、「フィット」、「細め」等が、「加工方法」として、「イージーケアー」、「形状記憶」、「ストレッチ」等が、商品種別キーワードとして、関連付けて記憶されている。項目別の各商品種別キーワードには、取扱商品との関連の度合いを示す関連レベルが設定されている。例えば、「ワイシャツ」、「長袖シャツ」には、「レベル３」が設定され、「シャツ」には、「レベル２」が設定されている。また、各項目には、配点が付加されており、各関連レベルには、係数が付加されている。これらは、後述のマッチング度を算出する際に用いられる。
【００７１】
図１０は、非商品キーワード用テーブル８９ｂの一例を示した図である。非商品キーワード用テーブル８９ｂは、カテゴリー別に非商品キーワードを記録したテーブルである。カテゴリーとして、「人間関係」、「勤務先・通学先関連」、「趣味関連」、「イベント関連」、「身分関連」、「地名関連」、「日時関連」といったメインカテゴリーと、その各サブカテゴリーと、を有しており、非商品キーワード用テーブル８９ｂは、メインカテゴリーごとのテーブルによって構成されている。例えば、メインカテゴリー「人間関係」は、「家族」「友人」といった第１サブカテゴリーを有し、さらに、第１サブカテゴリー「家族」は、「父親」「母親」「兄」等といった第２サブカテゴリーを有している。「人間関係」−「家族」−「父親」のカテゴリーには、「父親」「お父さん」「父」「親父」といった非商品キーワードが登録されている。他のカテゴリーにおいても同様に、サブカテゴリーがあり、また、非商品キーワードが複数登録されている。なお、「所定のキーワード」は、「商品キーワード」「商品種別キーワード」および「非商品キーワード」である。
【００７２】
テキスト情報記憶部８８は、音声認識部１５４による音声認識結果として得られたテキスト情報を記憶する。商品種別キーワード記憶部９０は、後述のキーワード記録処理の際、抽出した商品種別キーワードを記憶する。
【００７３】
満足キーワード管理テーブル９１は、顧客（顧客識別情報）毎に生成されるものであり、商品満足キーワード管理テーブル９１ａと、非商品満足キーワード管理テーブル９１ｂと、を有している。図１１（ａ）は、商品満足キーワード管理テーブル９１ａの一例を示した図である。商品満足キーワード管理テーブル９１ａは、満足キーワード記録部１６１によって記録された商品キーワードと、その関連情報とを関連付けて記憶するテーブルである。厳密には、商品満足キーワード管理テーブル９１ａは、複数回、同じ商品キーワードを記録する場合、統合して記録するものであり、複数の商品キーワードと、当該各商品キーワードの、品目、お勧めレベル、複数回の記録処理に亘るマッチング度の平均値、記録回数、複数回の記録処理に亘る顧客満足度の平均値、最終発声年月日、購入済みフラグの有無、発話済みフラグの有無および発話経過時間を記録する。なお、複数回の記録処理に亘るマッチング度の平均値、複数回の記録処理に亘る顧客満足度の平均値、最終発声年月日、購入済みフラグの有無、発話済みフラグの有無および発話経過時間については、後述する。
【００７４】
図１１（ｂ）は、非商品満足キーワード管理テーブル９１ｂの一例を示した図である。非商品満足キーワード管理テーブル９１ｂは、第１キーワードの非商品キーワードと第２キーワードの非商品キーワードとの組ごとに、その関連情報を記憶し、また複数回、同じ非商品キーワードの組を記録する場合、統合して記録するテーブルである。非商品満足キーワード管理テーブル９１ｂは、第１キーワードの非商品キーワードと、第２キーワードの非商品キーワードと、この非商品キーワードの組に対する、好印象レベル、記録回数、複数回の記録処理に亘る顧客満足度の平均値、最終発声年月日および発話済みフラグの有無と、を記憶している。
【００７５】
次に、図１２のフローチャートを参照し、音声データ保存処理について説明する。なお、上記のとおり、店員用端末５と管理サーバー１５は、レシートプリンター１３を介して通信を行うが、レシートプリンター１３は単に情報を経由しているだけなので、図示を省略する。
【００７６】
店員用端末５は、音声取得用マイク２から音声信号（音声）を取得すると（Ｓ１１）、音声レベル判定機能のパワーフィルターにより音声レベルを判定する（Ｓ１２）。ここで、音声レベルが所定レベル以上の場合、音声「有」と判定し、メモリ２６内の音声データ保存領域（図示省略）に音声データのバッファリングを開始する（Ｓ１３）。また、このとき、音声データ保存領域に録音開始時間を記録する。
【００７７】
続いて、音声信号を受信しなくなると、録音終了時間を確定して音声データ保存領域に記録すると共に、バッファリングを終了する（Ｓ１４）。その後、管理サーバー１５に対して、音声データの送信を宣言し（Ｓ１５）、音声データ保存領域にバッファリングされた音声データを、録音開始時間および録音終了時間と共に送信する（Ｓ１６）。
【００７８】
管理サーバー１５（制御部５３）は、店員用端末５から音声データを受信すると（Ｓ１７）、音声データ管理テーブル８５（図８（ａ）参照)に、一意に定めた音声データＮｏ．と、録音開始時間および録音終了時間を登録する（Ｓ１８）。また、音声データ管理テーブル８５で指定された音声データ保存先（所定のフォルダ）に、音声データを保存する（Ｓ１９）。
【００７９】
次に、図１３ないし図１６のフローチャートを参照し、接客区間特定処理の一連の流れについて説明する。図１３は、メイン処理（接客区間特定処理）を示すフローチャートであり、図１４ないし図１６は、そのサブルーチンを示すフローチャートである。図１３に示すように、管理サーバー１５（制御部５３）は、まず店員話し掛け区間を特定した後（Ｓ２１）、店員話し掛け区間の後に発生した顧客話し掛け区間Ｂを特定する（Ｓ２２）と共に、店員話し掛け区間の前に発生した顧客話し掛け区間Ａを特定する（Ｓ２３）。これらＳ２１〜Ｓ２３の工程により、会話区間を特定する（Ｓ２４，図５（ａ）参照）。また、Ｓ２１〜Ｓ２４を繰り返すことにより、接客区間を特定する（Ｓ２５，図５（ｂ）参照）。
【００８０】
次に、図１４のフローチャートを参照し、図１３のＳ２１に相当する店員話し掛け区間特定処理について説明する。店員用端末５は、体導音センサー１からその検出データを取得すると（Ｓ３１）、店員発話区間特定機能のパワーフィルターにより検出レベルを判定し、所定レベル以上の場合、その検出時間を店員発話区間開始時間として確定し、メモリ２６内に記録する（Ｓ３２）。続いて、音声レベル判定機能のパワーフィルターにより音声レベルを判定し、所定レベル以上の場合、音声発話による検出データであることを確定する（Ｓ３３）。なお、フローチャートには特に図示しないが、検出レベルまたは音声レベルが所定レベル未満の場合は、処理を終了する。音声発話による検出データであることを確定する。また、音声発話による検出データであることを確定すると、音声発話に続く無音声区間から店員発話区間終了時間を確定し、メモリ２６内に記録する。その後、管理サーバー１５に対して、店員発話区間の発生通知を行う（Ｓ３４）。このとき、メモリ２６内に記録されている店員発話区間開始時間および店員発話区間終了時間も送信する。
【００８１】
一方、管理サーバー１５（制御部５３）は、店員用端末５から店員発話区間の発生通知を受信すると（Ｓ３５）、店員発話区間管理テーブル８６（図８（ｂ）参照)に、一意に定めた店員発話データＮｏ．と、店員話し掛け区間ごとに定めた店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。その後、所定時間内に次の店員発話区間の発生通知を受信したか否かを判別し（Ｓ３７）、受信した場合は（Ｓ３７：Ｙｅｓ）、一意に定めた店員発話データＮｏ．と、上記と同じ店員話し掛けＮｏ．と、店員発話開始時間および店員発話終了時間を登録する（Ｓ３６）。これにより、前に発生した店員発話区間と今回発生した店員発話区間とを、一連の話し掛け区間として定義することができる。なお、所定時間内に次の店員発話区間の発生通知を受信しなかった場合は（Ｓ３７：Ｎｏ）、店員による一連の話し掛け区間が終了したとして、処理を終了する。
【００８２】
次に、図１５のフローチャートを参照し、図１３のＳ２２に相当する顧客話し掛け区間Ｂ特定処理について説明する。管理サーバー１５（制御部５３）は、店員による一連の話し掛け区間の特定が終了した後、音声データ管理テーブル８５を参照し、最後の店員発話区間の店員発話終了時間から所定時間内に音声データが存在するか否かを判別する（Ｓ４１）。ここで、音声データが存在しない場合は（Ｓ４１：Ｎｏ）、顧客話し掛け区間Ｂは存在しないものとして処理を終了する。また、音声データが存在する場合は（Ｓ４１：Ｙｅｓ）、音声データ管理テーブル８５から、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ４２）。その後、音声データ管理テーブル８５を参照し、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在するか否かを判別し（Ｓ４３）、存在する場合は（Ｓ４３：Ｙｅｓ）、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ４２）。これにより、前に発生した顧客発話区間と今回発生した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、最後の顧客発話区間の顧客発話終了時間から所定時間内に音声データが存在しない場合は（Ｓ４３：Ｎｏ）、顧客によるその後の話し掛け区間は存在しないと看做して、処理を終了する。
【００８３】
次に、図１６のフローチャートを参照し、図１３のＳ２３に相当する顧客話し掛け区間Ａ特定処理について説明する。管理サーバー１５（制御部５３）は、顧客話し掛け区間Ｂの特定が終了した後、顧客発話区間管理テーブル８７を参照し、図１４の処理にて特定された店員発話区間の店員発話開始時間から所定時間前までに、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在するか否かを判別する（Ｓ５１）。ここで、顧客発話区間が存在する場合は（Ｓ５１：Ｙｅｓ）、顧客の話し掛け区間特定処理が既に終了しているものと看做し、処理を終了する。また、既に顧客発話Ｎｏ．が与えられた顧客発話区間が存在しない場合は（Ｓ５１：Ｎｏ）、音声データ管理テーブル８５を参照し、店員発話区間の店員発話開始時間から所定時間前までに、未処理の音声データが存在するか否かを判別する（Ｓ５２）。ここで、未処理の音声データが存在しない場合は（Ｓ５２：Ｎｏ）、顧客話し掛け区間Ａが存在しないものと看做し、処理を終了する。また、未処理の音声データが存在する場合は（Ｓ５２：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、顧客話し掛け区間ごとに定めた顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を顧客発話区間管理テーブル８７に登録する（Ｓ５３）。
【００８４】
その後、音声データ管理テーブル８５を参照し、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在するか否かを判別し（Ｓ５４）、存在する場合は（Ｓ５４：Ｙｅｓ）、その音声データの録音開始時間と録音終了時間を読み込み、一意に定めた顧客発話Ｎｏ．と、上記と同じ顧客話し掛けＮｏ．と、顧客発話開始時間および顧客発話終了時間を登録する（Ｓ５４）。これにより、前に登録した顧客発話区間と今回特定した顧客発話区間とを、一連の話し掛け区間として定義することができる。なお、登録した顧客発話区間の顧客発話開始時間から所定時間前までに未処理の音声データが存在しない場合は（Ｓ５４：Ｎｏ）、顧客によるそれ以前の話し掛け区間は存在しないと看做して、処理を終了する。
【００８５】
以上、図１２ないし図１６の処理により、音声データ管理テーブル８５、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７への登録を行い、店員話し掛け区間、その前後における顧客話し掛け区間Ａおよび顧客話し掛け区間Ｂを特定することができる。ここで、店員話し掛け区間と顧客話し掛け区間との重複区間の検出について簡単に説明する。管理サーバー１５は、各話掛け区間を特定した後、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７を参照し、重複区間の検出と、各テーブル８５，８６，８７への記録を行う。具体的には、まず、店員発話区間管理テーブル８６を参照し、同一話し掛けＮｏ．の最も早い店員発話開始時間と最も遅い店員発話終了時間を、店員話し掛け区間の開始時間と終了時間に設定する。同様に、顧客発話区間管理テーブル８７を参照し、同一話し掛けＮｏ．の最も早い顧客発話開始時間と最も遅い顧客発話終了時間を、顧客話し掛け区間の開始時間と終了時間に設定する。そして、店員話し掛け区間と顧客話し掛け区間とに重複区間が存在しないかを判定し、存在する場合は、店員発話区間管理テーブル８６および顧客発話区間管理テーブル８７に、重複区間（重複開始時間および重複終了時間）を登録すると共に、音声データ管理テーブル８５に重複フラグを立てる（図８（ａ）の重複フラグ欄における「客・店」に相当）。
【００８６】
次に、図１７のフローチャートを参照し、キーワード記録処理について説明する。このキーワード記録処理は、満足キーワード管理テーブル９１を、接客区間ごとにリアルタイムで更新する処理である。すなわち、１接客区間を特定する都度に、接客区間単位でキーワード記録処理を行う。まず、管理サーバー１５（制御部５３）は、上記接客区間特定処理で特定した接客区間内の各会話区間における顧客満足度を算出する（Ｓ６１）。具体的には、まず、顧客発話区間管理テーブル８７により、各会話区間に含まれる複数の発話区間を抽出し、音声データ管理テーブル８５により、抽出した各発話区間の音声データを抽出する。次に、顧客感情認識部１５５により、当該発話区間ごとの音声データに基づいて、当該発話区間ごとに感情認識を行う。その後、顧客満足度算出部１５６により、顧客感情認識部１５５の認識結果に基づいて、当該発話区間ごとの顧客満足度を算出する（顧客満足度算出工程）。最後に、会話区間内の複数の発話区間における顧客満足度の平均値を算出して、各会話区間の顧客満足度とする。
【００８７】
各会話区間の顧客満足度を算出したら、顧客満足度が所定の閾値（例えば、７０）に達した会話区間を抽出する（Ｓ６２）。当該会話区間が抽出されなかった場合（Ｓ６３：Ｎｏ）には、本処理を終了する。
【００８８】
顧客満足度が所定の閾値に達した会話区間を１以上抽出した場合（Ｓ６３：Ｙｅｓ）には、音声データ管理テーブル８５により、抽出した各会話区間に含まれる全発話区間の音声データ（区間データ）を抽出する（Ｓ６４）（区間データ抽出工程）。その後、抽出した各発話区間の音声データに対し、音声認識部１５４により音声認識を行い（音声認識工程）、音声認識結果として得られたテキスト情報をテキスト情報記憶部８８に記憶する（Ｓ６５）。
【００８９】
発話区間ごとのテキスト情報を抽出・記憶したら、当該テキスト情報に基づいて、発話区間ごとのキーワード処理を行う（Ｓ６６）。ここで図１８を参照し、発話区間ごとのキーワード処理（Ｓ６６）について詳しく説明する。
【００９０】
図１８に示すように、管理サーバー１５（制御部５３）は、まず、商品キーワード用テーブル８９ａに登録された商品種別キーワードから、発話区間ごとのテキスト情報に含まれる１以上の商品種別キーワードを抽出する（Ｓ７１）。例えば、「私、ボタンダウンのシャツが好きなんですよ」という発言の音声データに基づき、「ボタンダウン」および「シャツ」という商品種別キーワードを抽出して、商品種別キーワード記憶部９０に記憶する。いずれの商品種別キーワードも抽出されなかった場合（Ｓ７２：Ｎｏ）には、後述の非商品キーワードの抽出処理（Ｓ７９〜Ｓ８２）に移行する。
【００９１】
一方、１以上の商品種別キーワードが抽出された場合（Ｓ７２：Ｙｅｓ）には、抽出した１以上の商品種別キーワードに基づいて、商品キーワード用テーブル８９ａに記憶された１以上の商品キーワードを抽出する（Ｓ７３）（キーワード抽出部）（キーワード抽出工程）。具体的には、商品キーワード用テーブル８９ａにおいて、当該１以上の商品種別キーワードを関連付けて記憶している商品キーワード（特定商品名称）を抽出する。例えば、商品種別キーワードとして、「ボタンダウン」および「シャツ」という商品種別キーワードが抽出された場合には、これを商品種別キーワードとして記憶した商品キーワード「ファインオックスフォードシャツ」を抽出する。なお、同一項目に属する複数の商品種別キーワードが抽出された場合には、関連レベルや抽出数に基づいて、いずれか１の商品種別キーワードを参考キーワードとする。また、上記１以上の商品種別キーワードを関連付けて記憶した商品キーワードが複数存在する場合には、複数の商品キーワードを抽出する。
【００９２】
１以上の商品キーワードを抽出したら、当該各商品キーワードのマッチング度を算出する（Ｓ７４）。マッチング度は、抽出した上記１以上の商品種別キーワードの組が、当該各商品キーワードを示すものであったか否かの度合いを示す数値である。具体的には、抽出した各商品種別キーワードに対し、当該各商品種別キーワードが属する項目の配点と、当該各商品種別キーワードの関連レベルにおける係数とを乗算し、その全商品種別キーワードの乗算値を合計した数値を、マッチング度とする（マッチング度＝Σ｛項目の配点×関連レベルの係数｝）。
【００９３】
抽出した各商品キーワードのマッチング度を算出したら、各商品キーワードのマッチング度が所定の閾値に達しているか否かを判別する（Ｓ７５）。抽出した各商品キーワードのマッチング度が、いずれも所定の閾値に達しなかった場合（Ｓ７６：Ｎｏ）には、後述の非商品キーワード抽出処理（Ｓ７９〜Ｓ８２）に移行する。一方、いずれかの商品キーワードが所定の閾値に達している場合（Ｓ７６：Ｙｅｓ）には、お勧めレベル算出部１６２により、所定の閾値に達した商品キーワードのお勧めレベルを算出する（Ｓ７７）。具体的には、以下の式に示すように、お勧めレベルを、複数回の記録処理に亘るマッチング度の平均値と、複数回の記録処理に亘る顧客満足度の平均値と、記録回数と、に基づいて算出する（お勧めレベル＝（Ａ×平均マッチング度）×（Ｂ×平均顧客満足度−５０）×（Ｃ×記録回数）（０≦（Ａ，Ｂ，Ｃ）≦１）。ここにいう「複数回の記録処理に亘るマッチング度の平均値」（平均マッチング度）とは、本キーワード処理による当該キーワードに対し算出したマッチング度と、過去のキーワード処理において当該キーワードを記録した際に算出した各マッチング度との平均値を示すものである。また、「複数回の記録処理に亘る顧客満足度の平均値」（平均顧客満足度）とは、本キーワード処理において当該キーワードを抽出した発話区間の顧客満足度と、過去のキーワード処理において当該キーワードを抽出した発話区間の各顧客満足度との平均値を示すものである。平均顧客満足度は０から１００の値を取り、５０の場合が「満足でもなく不満足でもない」状態を示している。なお、過去に一度も当該キーワードを記録していない場合には、本キーワード処理のマッチング度、発話区間の顧客満足度をそのまま、上記各値とする。また、上記のＡ、Ｂ、Ｃは利用者が任意に設定できる係数であり、お勧めレベルの優先項目を決定する際に用いられる。
【００９４】
その後、満足キーワード記録部１６１により、当該各商品キーワードを満足キーワードとして、その関連情報に関連付けて、商品満足キーワード管理テーブル９１ａに記録する（Ｓ７８）（満足キーワード記録工程）。具体的には、関連情報として、当該各商品キーワードの品目、お勧めレベル、複数回の記録処理に亘るマッチング度の平均値、記録回数、複数回の記録処理に亘る顧客満足度の平均値、最終発話年月日、購入済みフラグの有無、発話済みフラグの有無および発話経過時間を記録する。購入済みフラグの有無は、当該商品キーワードの商品が購入済みか否かを示すものであり、レシートプリンター１３からの変換データを参照し、これに基づいて記録する。最終発声年月日は、最後に発声した日付を示し、発話済みフラグの有無は、現日付（今日の日付）において当該商品キーワードを店員または顧客が発声したか否かを示し、また発話経過時間とは、現日付において当該商品キーワードを発声した後の経過時間を示すものであり、音声データ記憶部８３の音声データ（厳密には、現日付において特定した全接話区間における音声データを音声認識して得られたテキスト情報）に基づいて、これらを記録する。これにより、本処理を終了する。
【００９５】
次に、非商品キーワード抽出処理（Ｓ７９〜８２）について説明する。非商品キーワード抽出処理では、まず、管理サーバー１５（制御部５３）は、非商品キーワード用テーブル８９ｂに登録された非商品キーワードから、発話区間ごとのテキスト情報に含まれる非商品キーワードを抽出する（Ｓ７９）（キーワード抽出部）（キーワード抽出工程）。例えば、「先週、札幌のスキー場に行きました。」という発言の音声データに基づき、「先週」、「札幌」および「スキー場」という非商品キーワードを抽出する。いずれの非商品キーワードも抽出されなかった場合（Ｓ８０：Ｎｏ）には、本処理を終了する。
【００９６】
一方、１以上の非商品キーワードが抽出された場合（Ｓ８０：Ｙｅｓ）には、抽出した１以上の非商品キーワードから、第１キーワードと第２キーワードとを決定する（Ｓ８１）。具体的には、まず、「人間関係」、「勤務先・通学先関連」、「趣味関連」の順に照合し、１の非商品キーワードが各メインカテゴリーに該当すると判定された場合には、判定された時点で、これを第１キーワードとして決定する。
【００９７】
第１キーワードを決定したら、続いて、第２キーワードを決定する。具体的には、第１キーワード以外の非商品キーワードを、「イベント関連」、「日時関連」、「身分関連」、「地名関連」の順に照会し、そのメインカテゴリーに該当するか否かを判別する。該当すると判別された時点で、該当した非商品キーワードを、第２キーワードとして決定する。なお、本フローチャートでは省略するが、第１キーワードもしくは第２キーワードに決定される非商品キーワードがなかった場合には、本処理を終了する。
【００９８】
第１キーワードと第２キーワードが決定したら、好印象レベル算出部１６３により、この非商品キーワードの組（第１キーワードおよび第２キーワードの組）に対する好印象レベルを算出する。具体的には、以下の式に示すように、複数回の記録処理に亘る顧客満足度の平均値と、記録回数とに基づいて算出する（好印象レベル＝（Ｂ×平均顧客満足度―５０）×（Ｃ×記録回数）（０≦（Ｂ，Ｃ）≦１））。その後、当該非商品キーワードの組を満足キーワードとして、その関連情報に関連付けて、非商品満足キーワード管理テーブル９１ｂに記録する（Ｓ８２）（満足キーワード記録工程）。関連情報として、好印象レベル、記録回数、複数回の記録に亘る顧客満足度の平均値、最終発声年月日および発話済みフラグの有無を記録する。この発話区間ごとの本キーワード処理（Ｓ６６）によって、キーワード記録処理を終了する。
【００９９】
次に図１９のフローチャートを参照し、お勧め商品通知処理について説明する。お勧め商品通知処理は、接話区間の開始時に行われる。図１９に示すように、管理サーバー１５（制御部５３）は、音声データ生成部１６４により、商品満足キーワード管理テーブル９１ａを参照し、音声指示用のテキストデータを生成する（Ｓ９１）。具体的には、商品満足キーワード管理テーブル９１ａから、購入フラグおよび発話フラグがなく、且つ現時点でお勧めレベルが最も高い商品キーワードを抽出し、それを付加したメッセージ、例えば、「お勧め商品は、『ストレッチスリムシャツ』です。」というメッセージのテキストデータを作成する。次に、当該テキストデータに基づいて、そのメッセージを発声する音声指示用の音声データを生成する（Ｓ９２）。音声指示用の音声データを生成したら、当該音声データを店員用端末５に送信する（Ｓ９３）。店員用端末５を介して音声指示用の音声データを受信した音声指示用イヤホン３は、当該音声指示用の音声データを出力する（Ｓ９４）。これによって、お勧め商品を店員に通知する。これにより本処理を終了する。
【０１００】
次に図２０のフローチャートを参照し、好印象キーワード通知処理について説明する。好印象キーワード通知処理は、お勧め商品通知処理と同様、接話区間の開始時に行われる。図２０に示すように、管理サーバー１５（制御部５３）は、非商品満足キーワード管理テーブル９１ｂを参照し、音声指示用のテキストデータを生成する（Ｓ９６）。具体的には、非商品満足キーワード管理テーブル９１ｂから、発話フラグがなく、且つ現時点で好印象レベルが最も高い非商品キーワードの組を抽出し、これを付加したメッセージ、例えば、「子供」が第１キーワード、「誕生日会」が第２キーワードである場合、「好印象キーワードは、『子供』の『誕生日会』です。」というメッセージのテキストデータを生成する。次に、当該テキストデータに基づいて、そのメッセージを発声する音声指示用の音声データを生成する（Ｓ９７）。音声データを生成したら、当該音声データを店員用端末５に送信する（Ｓ９８）。店員用端末５を介して音声指示用の音声データを受信した音声指示用イヤホン３は、音声指示用の音声データを出力する（Ｓ９９）。これによって、好印象キーワードを店員に通知する。これにより本処理を終了する。
【０１０１】
［第２実施形態］
次に、図２１ないし図２６を参照して第２実施形態について特に異なる部分のみについて説明する。本実施形態では、管理サーバー１５は、図４の構成に加え、会話区間ごとの話題キーワードを抽出し、当該話題キーワードが変化しない会話区間の集合体を、話題区間として特定する話題区間特定機能と、顧客満足度の高い話題キーワードを登録・記録する話題キーワード記録機能と、キーワードをキーワードテーブル８９に新規登録する新規登録機能と、を備えている。また、図２１に示すように、管理サーバー１５は、図６の構成に加え、顧客満足度の高い話題キーワードを記録する話題キーワード記録部２０３と、キーワードテーブル８９に新規キーワードを登録するキーワード登録部２０４と、を有し、図２２に示すように、管理サーバー用データベースＤＢ１は、図７の構成に加え、話題キーワード管理テーブル２０１により構成されている。なお、話題キーワードは、１会話区間内で話題となったキーワードであり、話題区間は、当該話題キーワードに変化のない連続する会話区間の集合体とする。すなわち、話題区間は、接客区間を複数に区分する区間である。
【０１０２】
話題キーワード管理テーブル２０１は、顧客（顧客識別情報）ごとに生成されるものであり、商品キーワードの話題キーワードを記憶する商品話題キーワード管理テーブル２０１ａと、非商品キーワードの話題キーワードを記憶する非商品話題キーワード管理テーブル２０１ｂと、により構成されている。商品話題キーワード管理テーブル２０１ａおよび非商品話題キーワード管理テーブル２０１ｂは、対応する分類の複数の話題キーワードと、その関連情報とを記憶するテーブルである。具体的には、複数回、同じ話題キーワードを記録する際、統合して記録するものであり、複数の話題キーワードと、当該各話題キーワードの、お勧めレベルまたは好印象レベル、複数回の記録処理に亘る平均継続時間、および記録回数と、を関連付けて記憶する。「数回の記録処理に亘る平均継続時間」については後述する。
【０１０３】
ここで図２３のフローチャートを参照し、話題区間特定処理について説明する。話題区間特定処理は、接客区間内の各話題区間を特定する処理である。図２３に示すように、管理サーバー１５は、まず、接客区間内の各会話区間の顧客満足度を算出する（Ｓ１０１）。具体的には、音声データ管理テーブル８５により、会話区間に含まれる各発話区間の音声データを抽出し、顧客感情認識部１５５により、発話区間ごとの感情認識を行う。その後、顧客満足度算出部１５６により、顧客感情認識部１５５の認識結果に基づいて、発話区間ごとの顧客満足度を算出し、この平均値を会話区間の顧客満足度とする。
【０１０４】
次に、各会話区間に対し話題キーワード抽出処理を実施する（Ｓ１０２）。ここで図２４のフローチャートを参照し、会話区間ごとの話題キーワード抽出処理について説明する。図２４に示すように、まず、管理サーバー１５（制御部５３）は、図１８（Ｓ７１〜Ｓ７８）と同様の方法で、会話区間に含まれる各発話区間の商品キーワードを抽出する（Ｓ１１１）（単位キーワード抽出部）。具体的には、音声データ管理テーブル８５により、当該会話区間に含まれる各発話区間の音声データを抽出し、音声認識部１５４により、当該音声データの音声認識を行う。その後、音声認識部１５４の音声認識結果として得られたテキスト情報を、テキスト情報記憶部８８に記憶する。テキスト情報を抽出・記憶したら、商品キーワード用テーブル８９ａから、テキスト情報に含まれる１以上の商品種別キーワードを抽出する。その後、抽出した１以上の商品種別キーワードに基づいて、商品キーワードを抽出する。
【０１０５】
次に、図１８（Ｓ７９〜Ｓ８２）と同様の方法で、会話区間に含まれる各発話区間において、非商品キーワードの組を抽出する（Ｓ１１２）（単位キーワード抽出部）。具体的には、非商品キーワード用テーブル８９ｂにより、上記テキスト情報に含まれる１以上の非商品キーワードを抽出する。その後、抽出した非商品キーワードから、第１キーワードと第２キーワードとを決定することで、非商品キーワードの組を抽出する。
【０１０６】
これらによって、会話区間全体として、いずれかのキーワード（商品キーワードもしくは非商品キーワードの組）が抽出された場合（Ｓ１１３：Ｙｅｓ）には、会話区間全体における、商品キーワードと、非商品キーワードの組と、の抽出数を比較する（Ｓ１１４）。非商品キーワードの組の抽出数が多い場合（Ｓ１１５：Ｂ）には、抽出した１以上の非商品キーワードの組のうち、最も抽出数の多い非商品キーワードの組を話題キーワードに決定する（Ｓ１１６）。一方、商品キーワードの抽出数が多い場合（Ｓ１１５：Ａ）には、抽出した１以上の商品キーワードの各マッチング度を算出する（Ｓ１１７）。抽出した１以上の商品キーワードのうち、マッチング度が所定の閾値を超える商品キーワードがある場合（Ｓ１１８：Ｙｅｓ）には、当該商品キーワードを話題キーワードに決定する（Ｓ１１９）。
【０１０７】
いずれのキーワード（商品キーワードもしくは非商品キーワードの組）も抽出されなかった場合（Ｓ１１３：Ｎｏ）や、マッチング度が所定の閾値を越える商品キーワードがないと判定された場合（Ｓ１１８：Ｎｏ）には、時系列的に隣接する会話区間の話題キーワードを、当該会話区間の話題キーワードに決定する（Ｓ１１０）。これらによって、会話区間ごとの話題キーワードが抽出される。
【０１０８】
会話区間ごとの話題キーワードを抽出したら、時系列的に話題キーワードに変化がない会話区間の集合体を、話題区間として特定する（Ｓ１０３）（話題区間特定部）。すなわち、時系列的に会話区間を走査し、話題キーワードが変化したら、その前までの発話区間の集合体を１話題区間とする。これにより本処理を終了する。
【０１０９】
次に、図２５のフローチャートを参照し、話題キーワード記録処理について説明する。この話題キーワード記録処理は、話題キーワード管理テーブル２０１を、接客区間ごとにリアルタイムで更新する処理である。すなわち、１接客区間を特定する都度に、接客区間単位で話題キーワード記録処理を行う。図２５に示すように、まず、管理サーバー１５（制御部５３）は、話題区間ごとの顧客満足度を算出する（Ｓ１２１）。具体的には、各話題区間に属する全会話区間における平均顧客満足度を、話題区間の顧客満足度として算出する（区間満足度算出部）。話題区間ごとの顧客満足度を算出したら、各話題キーワードのお勧めレベルまたは好印象レベルを算出する（Ｓ１２２）。すなわち、話題キーワードが商品キーワードである場合には、お勧めレベル算出部１６２により、お勧めレベルを算出し、話題キーワードが非商品キーワードである場合には、好印象レベル算出部１６３により、好印象レベルを算出する。その後、話題キーワード記録部２０３により、各話題キーワードを、その関連情報に関連付けて話題キーワード管理テーブル２０１に記録する（Ｓ１２３）（話題キーワード記録部）。これにより本処理を終了する。なお、お勧めレベルおよび好印象レベルは、「複数回の記録処理に亘る平均継続時間」を加味して算出する。「複数回の記録処理に亘る平均継続時間」とは、本記録処理において、当該話題キーワードが属した話題区間の継続時間と、過去の記録処理において、当該話題キーワードが属した各話題区間の各継続時間と、の平均値である。
【０１１０】
次に、図２６のフローチャートを参照し、キーワード登録処理について説明する。このキーワード登録処理は、キーワードテーブル８９に新規キーワードを登録する処理である。図２６に示すように、まず、管理サーバー１５（制御部５３）は、接話区間から、話題区間ごとの顧客満足度が所定値に達した話題区間を抽出する（Ｓ１３１）（話題区間抽出部）。次に、抽出した各話題区間内から、顧客満足度が所定値に達した発話区間を抽出する（Ｓ１３２）。その後、キーワードテーブル８９に未記憶であって且つ名詞である未記憶キーワードを抽出する未記録キーワードを抽出する（Ｓ１３３）。その後、キーワード登録部２０４により、抽出した未記憶キーワードを新たにキーワードテーブル８９（厳密には、非商品キーワード用テーブル８９ｂ）に登録する（Ｓ１３４）。これにより本処理を終了する。
【０１１１】
以上の各実施形態の構成によれば、店員と顧客との会話における音声データから、顧客満足度の高い区間を抽出し、抽出し会話区間の音声データ（区間データ）の音声認識結果に基づいて、キーワードを抽出することにより、顧客満足度の高いキーワード（満足キーワード）、すなわち、顧客にとって「興味があるキーワード」を厳密に抽出することができる。ゆえに、顧客にとって「興味があるキーワード」を厳密に記録することができる。なお、本実施形態においては、「興味があるキーワード」（満足度の高いキーワード）を記録する構成であったが、「興味がないキーワード」（満足度の低いキーワード）を記録する構成で合っても良い。かかる場合、当該「興味がないキーワード」をＮＧワードとして、該当ＮＧワードの商品をお勧めしないように注意する指示や、そのキーワードを避けるように指示を通知することが好ましい。
【０１１２】
また、顧客ごとの満足キーワード管理テーブル９１により、顧客ごとに満足キーワードを記録することができるため、各顧客に合ったマーケティングを行うことができる。例えば、顧客ごとの満足キーワードが示す商品を提供することで、顧客の好み合わせた商品を提供することができ、顧客ごとの満足キーワードを会話に盛り込むことで、顧客の好みに合わせた会話を行うことができる。
【０１１３】
さらに、満足キーワードを、顧客満足度の平均値（統計量）に関連付けて記録し、またこれに基づく好印象レベルを記録することで、顧客がどの程度、当該満足キーワードに興味があるかを記録することができる。これによって、より高度なマーケティングを行うことができる。なお、顧客満足度の平均値と共に、他の統計量、例えば、最大値や最小値、中央値を記録する構成であっても良い。
【０１１４】
またさらに、満足キーワードを、当該満足キーワードを抽出した発話区間の開始時刻や終了時刻に関連付けて記録することにより、当該発話区間の時刻（開始時刻や終了時刻）を、マーケティングデータとして活用することができる。また、１日の時間帯ごとの、顧客にとって「興味があるキーワード」（満足キーワード）を判別することができるため、適切なマーケティングを行うことができる。
【０１１５】
また、満足キーワードを、顧客別の記録回数に関連付けて記録することにより、記録回数がそのまま、顧客における興味の度合いとなるため、これを用いて、より高度なマーケティングを行うことができる。
【０１１６】
さらに、音声認識結果として得られた音声キーワード（商品種別キーワード）に関連する関連キーワード（商品キーワード）を抽出することにより、同じものを示す複数の音声キーワードを、関連キーワードとして統合して記録することができる。
【０１１７】
またさらに、音声認識結果として得られた１以上の商品種別キーワードに対し、これらが示す１以上の商品種別に該当する商品名称（特定商品名称）を抽出することにより、顧客によって発声された１以上の商品種別に該当する商品名称を記録することができる。
【０１１８】
また、商品キーワードに、その商品が購入されたか否か（購入フラグ）を関連付けて記録するため、より高度なマーケティングを行うことができる。
【０１１９】
さらに、音声指示用イヤホン３を有し、生成した満足キーワード管理テーブル９１に基づいて、お勧め商品を選択し、店員に通知することによって、店員の接客能力を向上することができる。
【０１２０】
また、上記第２実施形態の構成によれば、話題区間特定機能および話題キーワード記録機能によって、話題キーワードが属する分類が変化しない発話区間の集合体を、話題区間として特定し、話題区間ごとの話題キーワードを記録することにより、顧客にとって「興味がある話題」を記録することができ、より高度なマーケティングを行うことができる。
【０１２１】
また、新規登録機能により、顧客満足度の統計量が高い話題区間を抽出し、これに含まれる未記録キーワードを、キーワードテーブル８９に記憶することにより、キーワードテーブル８９へのキーワードの新規登録を自動的に行うことができる。
【０１２２】
なお、上記第２実施形態においては、キーワードを自動的に新規登録する構成であったが、ユーザーに話題区間とキーワードのカテゴリーとを選択させ、この選択結果に基づいて、キーワードの新規登録を行う構成であっても良い。具体的には、管理サーバー１５（制御部５３）は、特定した複数の話題区間の中から、１の話題区間を選択する選択画面を表示して、ユーザーに話題区間を選択させる（話題区間選択部）と共に、複数のキーワードのカテゴリーの中から、１のカテゴリーを選択するカテゴリー選択画面を表示して、ユーザーにカテゴリーを選択させる（分類選択部）。その後、選択した話題区間から、選択したカテゴリーに該当すると共にキーワード記録部に未記憶であって且つ名詞である未記憶キーワードを抽出し（未記録キーワード抽出部）、キーワード登録部２０４により、抽出した未記憶キーワードを、キーワードテーブル８９に登録・記憶する。キーワードテーブル８９へのキーワードの新規登録を容易に行うことができる。
【０１２３】
なお、上記各実施形態においては、購入フラグおよび発話フラグがなく、且つ現時点でお勧めレベルが最も高い商品キーワードを通知する構成であったが、記録した商品キーワードの商品種別を判別し（商品種別判別部）、判別した商品種別に該当する１以上の商品キーワードを、商品満足キーワード管理テーブル９１ａから抽出する（商品名称抽出）と共に、上記１以上の商品キーワードから、お勧めレベルが最も高いキーワードを選択して（お勧め商品選択部）、通知する構成であっても良い。
【０１２４】
また、本実施形態においては、顧客ごとの満足キーワード管理テーブル９１を生成する構成であったが、顧客全員において１つ満足キーワード管理テーブル９１を共有する構成であっても良い。かかる場合、顧客全体での満足キーワードを記録することができる。
【符号の説明】
【０１２５】
１２：ＰＯＳ端末、  １５：管理サーバー、  ５３：制御部、  ８９：キーワードテーブル、  ９１：満足キーワード管理テーブル、  １０２：音声取得部、  １０３：音声出力部、  １５２：顧客認識部、  １５４：音声認識部、  １５５：顧客感情認識部、  １５６：顧客満足度算出部、  １６１：満足キーワード記録部、  １６２：お勧めレベル算出部、  ２０１：話題キーワード管理テーブル、  ２０３：話題区間特定部、  ２０４：話題キーワード記録部、  ＳＹ：接客支援システム
【図１】
2011221891.tif 000003
【図２】
2011221891.tif 000004
【図３】
2011221891.tif 000005
【図４】
2011221891.tif 000006
【図５】
2011221891.tif 000007
【図６】
2011221891.tif 000008
【図７】
2011221891.tif 000009
【図８】
2011221891.tif 000010
【図９】
2011221891.tif 000011
【図１０】
2011221891.tif 000012
【図１１】
2011221891.tif 000013
【図１２】
2011221891.tif 000014
【図１３】
2011221891.tif 000015
【図１４】
2011221891.tif 000016
【図１５】
2011221891.tif 000017
【図１６】
2011221891.tif 000018
【図１７】
2011221891.tif 000019
【図１８】
2011221891.tif 000020
【図１９】
2011221891.tif 000021
【図２０】
2011221891.tif 000022
【図２１】
2011221891.tif 000023
【図２２】
2011221891.tif 000024
【図２３】
2011221891.tif 000025
【図２４】
2011221891.tif 000026
【図２５】
2011221891.tif 000027
【図２６】
2011221891.tif 000028