(57)【要約】【課題】コールセンタサービスの提供において、利用者の感情に応じた対応を、より少ない人的リソースで行うこと。【解決手段】コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識部と、前記音声データをテキストデータに変換する音声変換部と、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答部と、を備える。【選択図】図１
2015211403.tif 000002
【特許請求の範囲】
【請求項１】
コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識部と、
前記音声データをテキストデータに変換する音声変換部と、
前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答部と、
を備える応答システム。
【請求項２】
前記応答部は、利用者への応答の種別を表す応答種別情報とテキストデータとを対応づけて記憶する記憶部から、前記テキストデータに基づいて前記応答種別情報を取得し、取得した前記応答種別情報と、前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する、
請求項１に記載の応答システム。
【請求項３】
前記応答部は、利用者への応答において実行すべき処理の内容を表す応答内容情報と応答種別情報とを対応づけて記憶する前記記憶部から、前記応答種別情報に基づいて前記応答内容情報を取得し、取得した前記応答内容情報と、前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する、
請求項２に記載の応答システム。
【請求項４】
コールセンタのオペレータが過去に利用者に対して応答したメッセージのうち、利用者の感情を変化させたメッセージを、前記メッセージ候補に追加又は前記メッセージ候補から削除する追加部をさらに備える、
請求項１から３のいずれか一項に記載の応答システム。
【請求項５】
前記追加部は、コールセンタのオペレータが過去に利用者に対して応答したメッセージのうち、利用者の感情をより良い感情に変えることができたメッセージを前記メッセージ候補に追加する、
請求項４に記載の応答システム。
【請求項６】
前記応答部は、前記利用者感情情報をコールセンタのオペレータに提供する、
請求項１から５のいずれか一項に記載の応答システム。
【請求項７】
コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識ステップと、
前記音声データをテキストデータに変換する音声変換ステップと、
前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答ステップと、
を有する応答方法。
【請求項８】
コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識ステップと、
前記音声データをテキストデータに変換する音声変換ステップと、
前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を自動認識し応答する技術に関する。
【背景技術】
【０００２】
従来、コールセンタでは、利用者が音声ガイダンスに従ってプッシュダイヤルすることによって、希望するサービスメニューを選択している。
一方で、音声データを解析することによって話者の感情を認識する技術や、音声データをテキストデータに変換する技術などの音声認識技術が実用化されている（例えば、非特許文献１及び２参照。）。
近年では、音声認識技術を用いて通話中の利用者の感情をモニタリングすることによって、感情が怒りの状態にある利用者にはベテランのオペレータをアサインする技術が提案されている。また、音声認識技術を用いて通話内容をテキストデータに変換することによって、通話内容に関連する情報をオペレータに即座に提供する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１１３５４２号公報
【特許文献２】特開２０１２−４７８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のコールセンタでは、上記のような音声認識技術を用いて利用者の感情を認識したとしても、利用者の感情を考慮して応対するのはオペレータであり、そのような応対が可能な人的リソースを確保しなければいけないという問題があった。
【０００５】
上記事情に鑑み、本発明は、コールセンタサービスの提供において、利用者の感情に応じた対応を、より少ない人的リソースで行うことができる技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識部と、前記音声データをテキストデータに変換する音声変換部と、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答部と、を備える応答システムである。
【０００７】
本発明の一態様は、上記の応答システムであって、前記応答部は、利用者への応答の種別を表す応答種別情報とテキストデータとを対応づけて記憶する記憶部から、前記テキストデータに基づいて前記応答種別情報を取得し、取得した前記応答種別情報と、前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する。
【０００８】
本発明の一態様は、上記の応答システムであって、前記応答部は、利用者への応答において実行すべき処理の内容を表す応答内容情報と応答種別情報とを対応づけて記憶する前記記憶部から、前記応答種別情報に基づいて前記応答内容情報を取得し、取得した前記応答内容情報と、前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する。
【０００９】
本発明の一態様は、上記の応答システムであって、コールセンタのオペレータが過去に利用者に対して応答したメッセージのうち、利用者の感情を変化させたメッセージを、前記メッセージ候補に追加又は前記メッセージ候補から削除する追加部をさらに備える。
【００１０】
本発明の一態様は、上記の応答システムであって、前記追加部は、コールセンタのオペレータが過去に利用者に対して応答したメッセージのうち、利用者の感情をより良い感情に変えることができたメッセージを前記メッセージ候補に追加する。
【００１１】
本発明の一態様は、上記の応答システムであって、前記応答部は、前記利用者感情情報をコールセンタのオペレータに提供する。
【００１２】
本発明の一態様は、コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識ステップと、前記音声データをテキストデータに変換する音声変換ステップと、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答ステップと、を有する応答方法である。
【００１３】
本発明の一態様は、コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識ステップと、前記音声データをテキストデータに変換する音声変換ステップと、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答ステップと、をコンピュータに実行させるためのコンピュータプログラムである。
【発明の効果】
【００１４】
本発明により、コールセンタサービスの提供において、利用者の感情に応じた対応を、より少ない人的リソースで行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の音声自動応答システム１のシステム構成を示すシステム構成図。
【図２】音声情報テーブル３１０の具体例を示す図。
【図３】テキスト情報テーブル５１０の第１の具体例を示す図。
【図４】フロー管理テーブル７１０の具体例を示す図。
【図５】アクション管理テーブル７２０の具体例を示す図。
【図６】応答管理テーブル７３０の具体例を示す図。
【図７】自動応答装置６００の機能構成を示す機能ブロック図。
【図８】音声自動応答システム１における音声自動応答の処理の流れを示すフローチャート。
【図９】音声自動応答システム１と利用者との通話の具体例を示す図。
【図１０】第２実施形態の音声自動応答システム１ａのシステム構成を示すシステム構成図。
【図１１】自動応答装置６００ａの機能構成を示す機能ブロック図。
【図１２】応答履歴テーブル７４０の具体例を示す図。
【図１３】第２実施形態の音声自動応答システム１ａにおけるテンプレート生成の処理の流れを示すフローチャート。
【図１４】テキスト情報テーブル５１０の第２の具体例を示す図。
【発明を実施するための形態】
【００１６】
［第１実施形態］
図１は、第１実施形態の音声自動応答システム１のシステム構成を示すシステム構成図である。
電話機２−１〜２−３は、利用者がコールセンタ３−１〜３−３に発信するために使用する電話機である。電話機２−１〜２−３は、携帯電話やスマートフォンなどの無線通信によって通話発信する電話機であってもよいし、固定電話などの有線通信によって通話発信する電話機であってもよい。電話機２−１〜２−３はネットワーク４に接続され、ネットワーク４を介して音声自動応答システム１と通信する。以下の説明では、説明を簡単にするために、特に区別しない限り電話機２−１〜２−３を電話機２と記載する。なお、電話機２の数は、図１と異なる数であってもよい。
【００１７】
コールセンタ３−１〜３−３は、事業者が顧客への電話対応業務を専門に行うために設けられた事業所や施設である。コールセンタ３−１〜３−３は、同一の事業者が複数拠点に持つコールセンタであってもよいし、異なる事業者が運営するコールセンタであってもよい。以下の説明では、説明を簡単にするために、特に区別しない限りコールセンタ３−１〜３−３をコールセンタ３と記載する。コールセンタ３には、オペレータが配置される。オペレータとは、利用者に電話応対する人員である。なお、コールセンタ３の数は、図１と異なる数であってもよい。
【００１８】
ネットワーク４は、電話機２が音声自動応答システム１に接続するためのネットワークである。ネットワーク４は、電話機２の通信方式によって複数種類のネットワークで構成されてもよい。例えば、ネットワーク４は携帯電話網であってもよいし、固定電話回線網であってもよいし、ＶｏＩＰ（Voice over Internet Protocol）網であってもよい。
【００１９】
コールセンタ管理装置５−１〜５−３は、それぞれコールセンタ３−１〜３−３を管理及び制御する装置である。例えば、コールセンタ管理装置５−１〜５−３は、顧客管理システムなどの外部システムに接続され、コールセンタ３のオペレータに情報提供を行う。また、例えば、コールセンタ管理装置５−１〜５−３は、音声自動応答システム１の要求に応じて音声通信をコールセンタ３のオペレータに中継する。以下の説明では、説明を簡単にするために、特に区別しない限りコールセンタ管理装置５−１〜５−３をコールセンタ管理装置５と記載する。なお、コールセンタ管理装置５の数は、コールセンタ３の数に応じて、図１と異なる数であってもよい。また、コールセンタ管理装置５は、複数のコールセンタ３を管理及び制御してもよい。
【００２０】
音声自動応答システム１は、各コールセンタ３と利用者の各電話機２との間にあって、利用者の通話発信に対して一次応答する。すなわち、音声自動応答システム１は、利用者の通話に対して音声による自動応答を行う機能をコールセンタ３に提供するシステムである。音声自動応答システム１は、利用者の通話を必要に応じてコールセンタ３に転送する。
【００２１】
音声自動応答システム１は、中継装置１００、感情認識装置２００、音声ＤＢ３００、音声変換装置４００、テキストＤＢ５００、自動応答装置６００及び応答ＤＢ７００を備える。
中継装置１００は、電話機２から送信された音声信号を受信する。中継装置１００は、受信した音声信号に含まれる利用者の音声とオペレータの音声とを分離する。中継装置１００は、音声信号を分離することによって取得された音声データを感情認識装置２００に中継する。また、中継装置１００は、自動応答装置６００の要求に応じて、利用者の通話をオペレータに転送する。中継装置１００は、オペレータの音声や、音声自動応答システム１の自動応答機能によって生成された音声データを電話機２に中継する。
【００２２】
感情認識装置２００は、中継装置１００によって中継された音声データを受信する。感情認識装置２００は、受信した音声データを発話ごとに分割する。１つの発話は、ある人が発言を開始し、他者が発言を開始するまでに行った発言を表す。感情認識装置２００は、分割した音声データごとに、その音声データに含まれる音声を発したときの利用者の感情を認識する。音声データから話者の感情を認識する手法には、既存のどのような技術が用いられてもよい。感情認識装置２００は、音声データと、その音声データから認識された利用者の感情を表す情報（以下、「利用者感情情報」という。）とを対応づけて音声ＤＢ３００に登録する。
【００２３】
音声ＤＢ３００は、音声データを蓄積するデータベースである。音声ＤＢ３００は、音声データを記憶するための音声情報テーブル３１０を保持する。音声ＤＢ３００は、音声データと利用者感情情報とを対応づけて記憶する。音声ＤＢ３００は、感情認識装置２００及び音声変換装置４００に接続される。音声情報テーブル３１０は感情認識装置２００によって登録される。
【００２４】
図２は、音声情報テーブル３１０の具体例を示す図である。
音声情報テーブル３１０は、音声ＩＤごとに音声情報レコードを有する。音声情報レコードは、音声ＩＤ、通話ＩＤ、通話区分、音声情報及び感情情報の各値を有する。音声ＩＤは、音声情報テーブル３１０に記憶される音声データの識別情報である。通話ＩＤは、音声ＩＤが示す通話の識別情報である。通話区分は、音声ＩＤが示す音声データの音声を発した主体を表す識別情報である。具体的には、通話区分は、利用者による通話か、オペレータによる通話か、音声自動応答システム１による自動応答かを示す情報である。音声情報は、音声ＩＤが示す音声データの実データである。感情情報は、音声ＩＤが示す音声データに基づいて認識された利用者感情情報である。音声情報レコードは、感情認識装置２００によって音声情報テーブル３１０に登録される。
【００２５】
図１の説明に戻る。
音声変換装置４００は、音声ＤＢ３００の音声情報テーブル３１０を参照し、音声データを取得する。音声変換装置４００は、取得した音声データに含まれる音声をテキストデータに変換する。音声データをテキストデータに変換する手法には、既存のどのような技術が用いられてもよい。
【００２６】
音声変換装置４００は、取得したテキストデータからコールセンタ３が提供するサービスに関連するキーワードを抽出する。テキストデータからキーワードを抽出する手法には、既存のどのような技術が用いられてもよい。例えば、音声変換装置４００は、コールセンタ３を運用する事業者の事業や業種に関する情報などを辞書情報として予め保持し、辞書情報との関連性が強い語をキーワードとして抽出してもよい。また、例えば、音声変換装置４００は、蓄積されたテキストデータに統計処理を行うことによって、辞書情報を自ら学習するように構成されてもよい。音声変換装置４００は、音声データの識別情報と、音声データから取得したキーワードとを対応づけてテキストＤＢ５００に登録する。
【００２７】
テキストＤＢ５００は、音声データから取得されたテキストデータを蓄積するデータベースである。テキストＤＢ５００は、音声データごとのテキストデータを記憶するためのテキスト情報テーブル５１０を保持する。テキストＤＢ５００は、音声データと、音声データから取得されたテキストデータとを対応づけてテキスト情報テーブル５１０に記憶する。テキストＤＢ５００は、音声変換装置４００及び自動応答装置６００に接続される。テキスト情報テーブル５１０は音声変換装置４００によって登録される。
【００２８】
図３は、テキスト情報テーブル５１０の第１の具体例を示す図である。
テキスト情報テーブル５１０は、音声ＩＤごとにテキスト情報レコードを有する。テキスト情報レコードは、音声ＩＤ、通話ＩＤ、通話区分、テキスト情報、キーワード及び感情情報の各値を有する。音声ＩＤ、通話ＩＤ、通話区分及び感情情報は、音声情報テーブル３１０の音声情報レコードが有する音声ＩＤと同様である。テキスト情報は、音声ＩＤが示す音声データが変換されたテキストデータである。キーワードは、テキスト情報が示すテキストデータから、音声変換装置４００によって抽出されたキーワードを表す。テキスト情報レコードは、音声変換装置４００によってテキスト情報テーブル５１０に登録される。
【００２９】
図１の説明に戻る。
自動応答装置６００は、音声データから取得されたキーワード及び利用者感情情報に基づいて、利用者に応答するメッセージを選択する。具体的には、自動応答装置６００は、キーワード及び利用者感情情報に基づいて、応答ＤＢ７００が記憶する応答メッセージのテンプレートの中から、利用者に応答するメッセージを取得する。自動応答装置６００は、取得した応答メッセージを音声データに変換する。自動応答装置６００は、応答メッセージの変換によって生成された音声データを利用者の電話機２に送信する。なお、自動応答装置６００は、応答メッセージを示すテキストデータを取得する代わりに、予めに変換された音声データを取得するように構成されてもよい。
なお、自動応答装置６００は、利用者への応答に用いるメッセージを示すテキストデータが取得できない場合は、利用者の通話を発信先のコールセンタ３のオペレータに転送するように中継装置１００に要求する。
【００３０】
応答ＤＢ７００は、自動応答装置６００が自動応答するために必要となる情報を保持するデータベースである。例えば、応答ＤＢ７００は、フロー管理テーブル７１０、アクション管理テーブル７２０及び応答管理テーブル７３０を保持する。応答ＤＢ７００は、自動応答装置６００に接続される。応答管理テーブル７３０は自動応答装置６００によって更新される。
【００３１】
図４は、フロー管理テーブル７１０の具体例を示す図である。
フロー管理テーブル７１０は、音声自動応答システム１によって利用者に提供されるサービスが定義されたテーブルである。フロー管理テーブル７１０は、フローＩＤごとにフロー管理レコードを有する。フロー管理レコードは、フローＩＤ、関連情報及びサービス情報の各値を有する。フローＩＤは、サービスの識別情報であり、音声自動応答システム１が利用者に提供するサービスに対応する。関連情報は、フローＩＤが示すサービスに関連するテキストデータを値に持つ。サービス情報は、フローＩＤが示すサービスの内容を表す。フロー管理レコードは、音声自動応答システム１の管理者によって予めフロー管理テーブル７１０に登録される。
【００３２】
図５は、アクション管理テーブル７２０の具体例を示す図である。
アクション管理テーブル７２０は、利用者に提供されるサービスごとに、自動応答装置６００が行うべき応答の流れが定義されたテーブルである。以下では、サービスごとに定義された個々の応答をアクションと呼ぶ。アクション管理テーブル７２０は、アクションＩＤごとにアクション管理レコードを有する。アクション管理レコードは、フローＩＤ、アクションＩＤ、アクション情報及び実行フラグの各値を有する。フローＩＤは、フロー管理テーブル７１０のフロー管理レコードが有するフローＩＤと同様である。アクションＩＤは、自動応答装置６００が選択されたサービスにおいて実行するアクションの識別情報である。アクション情報は、アクションＩＤが示すアクションの内容を表す。実行フラグは、選択されたサービスにおいて、自動応答装置６００が次に実行するアクションを示す情報である。
【００３３】
なお、アクション管理レコードは、音声自動応答システム１の管理者によって予めマスタとなるアクション管理テーブル７２０に登録される。そして、アクション管理テーブル７２０は、利用者に提供されるサービスごとに実行フラグの値が初期化された状態で生成される。例えば、図５の例は、図４におけるフローＩＤの値“Ｆ００１”が示すサービスに対して生成されたアクション管理テーブル７２０を表す。
【００３４】
図６は、応答管理テーブル７３０の具体例を示す図である。
応答管理テーブル７３０は、アクション管理テーブル７２０に登録されたアクションＩＤごとに応答するメッセージのテンプレート（メッセージ候補の一例）を記憶するテーブルである。応答管理テーブル７３０は、応答ＩＤごとに応答履歴レコードを有する。応答履歴レコードは、応答ＩＤ、アクションＩＤ、アクション情報、応答情報及び感情情報の各値を有する。応答ＩＤは、応答履歴レコードの識別情報である。アクションＩＤは、アクション管理テーブル７２０のアクション管理レコードが有するアクションＩＤと同様である。アクション情報は、アクション管理テーブル７２０のアクション管理レコードが有するアクション情報と同様である。応答情報は、応答ＩＤが示す応答メッセージを表す。すなわち、応答情報は、アクションＩＤが示すアクションに用いられる音声データを生成するためのテンプレートとなるテキストデータである。感情情報は、音声情報テーブル３１０の音声情報レコード及びテキスト情報テーブル５１０のテキスト情報レコードが有する感情情報と同様である。応答履歴レコードは、音声自動応答システム１の管理者によって予め応答管理テーブル７３０に登録される。
【００３５】
図７は、自動応答装置６００の機能構成を示す機能ブロック図である。
自動応答装置６００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、自動応答プログラムを実行する。自動応答装置６００は、自動応答プログラムの実行によって通信部６１０、応答判断部６２０及び応答生成部６３０（応答部の一例）を備える装置として機能する。
なお、自動応答装置６００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。自動応答プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。自動応答プログラムは、電気通信回線を介して送信されてもよい。
【００３６】
通信部６１０は、ＬＡＮ（Local Area Network）等の通信インターフェースを用いて構成される。通信部６１０は、中継装置１００、感情認識装置２００、音声変換装置４００及びコールセンタ管理装置５との間で通信する。
【００３７】
応答判断部６２０は、音声データから取得されたキーワードに基づいて、利用者に応答すべき応答の種別を判断する。例えば、応答判断部６２０は、利用者が希望するサービスを判断する。応答判断部６２０は、キーワードに基づいて判断された応答の種別を表す情報（以下、「応答種別情報」という。）を応答生成部６３０に出力する。
【００３８】
応答生成部６３０は、応答判断部６２０から出力された応答種別情報に基づいて、応答するアクションを表す情報（以下、「応答内容情報」という。）を取得する。応答生成部６３０は、応答内容情報と、利用者感情情報とに基づいて、利用者への応答に用いる応答メッセージを応答ＤＢ７００から取得する。例えば、応答生成部６３０は、応答判断部６２０から出力された応答種別情報に基づいて、アクション管理テーブル７２０から応答するアクションを選択する。応答判断部６２０は、選択したアクションの識別情報を応答内容情報として取得する。応答生成部６３０は、応答内容情報と、利用者感情情報とに基づいて、応答管理テーブル７３０から利用者に応答するメッセージのテキストデータを取得する。応答生成部６３０は、取得したテキストデータを音声データに変換する。応答生成部６３０は、音声データを利用者の電話機２に送信する。
【００３９】
図８は、音声自動応答システム１における音声自動応答の処理の流れを示すフローチャートである。
まず、利用者が電話機２を操作してコールセンタ３に発信する。中継装置１００は、電話機２の発信を着信する。中継装置１００は着信した通話から音声データを取得する。中継装置１００は、音声データを感情認識装置２００に中継する。感情認識装置２００は、中継された音声データを取得する（ステップＳ１０１）。感情認識装置２００は、音声データの識別情報となる音声ＩＤを生成する。また、感情認識装置２００は、中継された音声データの通話の識別情報となる通話ＩＤを生成する。
【００４０】
例えば、通話ＩＤは、発信元の電話機２の電話番号や時刻などの情報に基づいて生成されてもよい。感情認識装置２００は、音声データから音声データに含まれる音声を発したときの利用者の感情を認識する（ステップＳ１０２）。感情認識装置２００は、音声ＩＤと、通話ＩＤと、音声データと、利用者感情情報とを音声ＤＢ３００に出力する。音声ＤＢ３００は、感情認識装置２００から出力された情報を値に持つ音声情報レコードを生成する。音声ＤＢ３００は生成した音声情報レコードを音声情報テーブル３１０に登録する。感情認識装置２００は、新規の音声情報レコードを登録したことを音声変換装置４００に通知する。
【００４１】
音声変換装置４００は、感情認識装置２００によって新規の音声情報レコードが登録されたことの通知を受けると、音声情報テーブル３１０を参照し、新規登録された音声情報レコードの各値を取得する。音声変換装置４００は、取得した音声データに含まれる音声をテキストデータに変換する。音声変換装置４００は、取得したテキストデータからキーワードを抽出する。そして、音声変換装置４００は、音声情報レコードから取得した音声ＩＤの値と、音声情報レコードから取得した感情情報の値と、音声データから取得したテキストデータ及びキーワードをテキストＤＢ５００に出力する。テキストＤＢ５００は、音声変換装置４００から出力された情報を値に持つテキスト情報レコードを生成する。テキストＤＢ５００は、生成したテキスト情報レコードをテキスト情報テーブル５１０に登録する。音声変換装置４００は、新規のテキスト情報レコードを登録したことを自動応答装置６００に通知する。
【００４２】
自動応答装置６００の応答判断部６２０は、音声変換装置４００によって新規のテキスト情報レコードが登録されたことの通知を受けると、テキスト情報テーブル５１０を参照し、新規登録されたテキスト情報レコードの各値を取得する。応答判断部６２０は、フロー管理テーブル７１０を参照し、取得したテキスト情報の値と関連性が強いテキストデータを関連情報の値に持つフロー管理レコードを選択する。応答判断部６２０は、選択したフロー管理レコードからフローＩＤの値を取得する。応答判断部６２０は、取得したフローＩＤの値を応答種別情報として応答生成部６３０に出力する。このように、応答判断部６２０は、音声データから取得したキーワードに基づいて、利用者が希望するサービスを判断する（ステップＳ１０３）。
【００４３】
次に、応答生成部６３０は、応答判断部６２０から出力された応答種別情報が示すサービスに対応するアクション管理テーブル７２０を選択する。応答生成部６３０は、選択したアクション管理テーブル７２０から実行フラグの値を取得する。応答生成部６３０は、実行フラグの値に基づいて、選択されたサービスにおいて次に実行すべきアクションを判断する（ステップＳ１０４）。
【００４４】
次に、応答生成部６３０は、応答管理テーブル７３０を参照し、ステップＳ１０４において判断されたアクションを示す応答内容情報をアクションＩＤの値に持つ応答管理レコードを選択する。さらに、応答生成部６３０は、選択した応答管理レコードの中から、ステップＳ１０２において判断された利用者感情情報を感情情報の値に持つ応答管理レコードを選択する。応答生成部６３０は、選択した応答管理レコードから応答情報の値を取得する。応答生成部６３０は、取得した応答情報の値を音声データに変換する。応答生成部６３０は、音声データを発信元の利用者の電話機２に送信する。このように、応答生成部６３０は、利用者の感情に基づいて選択された応答メッセージを利用者に応答する（ステップＳ１０５）。
【００４５】
次に、応答生成部６３０は、選択されたサービスにおけるアクションのフローにおいて、全てのアクションが行われたか否かを判定する（ステップＳ１０６）。実行していないアクションが存在する場合（ステップＳ１０６−ＮＯ）、応答判断部６２０はステップＳ１０１に処理を移し、利用者との通話を継続する。一方、全ての応答が行われた場合（ステップＳ１０６−ＹＥＳ）、応答判断部６２０は、利用者との通話を終了する。
【００４６】
図９は、音声自動応答システム１と利用者との通話の具体例を示す図である。
図９において、通話１、３、５、７及び通話９に示された通話は、音声自動応答システム１に対して利用者が行った通話を表す。また、通話２、４、６及び通話８に示された通話は、利用者に対する音声自動応答システム１の応答を表す。図９に示された通話は、通話１から通話９の順に、利用者と音声自動応答システム１との間でやり取りされる。なお、利用者の通話における（）内の記載は、その通話を行ったときの利用者の感情を表す。
【００４７】
利用者の通話が図９の例に示された内容である場合、例えば、図２に示された内容が感情認識装置２００によって音声情報テーブル３１０に登録される。音声変換装置４００は、音声情報レコードの音声情報として保持された音声データをテキストデータに変換する。音声変換装置４００は、音声データが変換されたテキストデータからキーワードを抽出する。その結果、例えば、図３に示された内容が音声変換装置４００によってテキスト情報テーブル５１０に登録される。
【００４８】
フロー管理テーブル７１０が図４に示された内容で登録されている場合、自動応答装置６００の応答判断部６２０は、例えば、“Ｖ００１”を音声ＩＤの値に持つ音声データに基づいて、利用者が“クレジットカードの利用再開“を希望していることを認識する。また、自動応答装置６００は、テキスト情報テーブル５１０を参照し、“Ｖ００１”を音声ＩＤの値に持つテキスト情報レコードが持つ感情情報の値に基づいて、その通話における利用者の感情が“怒り”であることを認識する。そして、アクション管理テーブル７２０が図５に示された内容で登録されている場合、自動応答装置６００は、“Ａ００１”をアクションＩＤの値に持つアクション管理レコードが持つアクション情報の値“顧客情報の確認”が選択されたサービスに対して実行すべきアクションであることを認識する。
【００４９】
そして、応答管理テーブル７３０が図６に示された内容で登録されている場合、自動応答装置６００は、“Ａ００１”をアクションＩＤの値に持ち、“怒り”を感情情報の値に持つ応答履歴レコード、すなわち“Ｒ００１”を応答ＩＤの値に持つ応答履歴レコードの応答情報の値が、利用者に応答するメッセージであることを認識する。このとき、利用者の感情が“平常”であったと仮定すると、“Ｒ００２”を応答ＩＤの値に持つ応答履歴レコードの応答情報の値が利用者に応答するメッセージとして選択される。すなわち、同じ内容のメッセージであっても、そのときの利用者の感情に適したメッセージが選択される。このように、自動応答装置６００は、利用者の感情に応じて、利用者に応答するメッセージを選択する。
【００５０】
このように構成された第１実施形態の音声自動応答システム１では、自動応答装置６００は、音声データから取得された利用者の感情を表す情報に基づいて、利用者に応答するメッセージを選択する。自動応答装置６００を備える音声自動応答システム１は、例えば、“怒り”の感情を持つ利用者にはより丁寧な言葉づかいで応答し、“焦り”の感情を持つ利用者にはより短い言葉で応答することが可能となる。
そのため、実施形態の音声自動応答システム１によって、コールセンタ３の事業者は、コールセンタサービスの提供において、利用者の感情に応じた対応をより少ない人的リソースで行うことが可能となる。
【００５１】
また、第１実施形態の自動応答装置６００は、音声データから抽出されたキーワードに基づいて、利用者が希望するサービスを認識し、サービスに応じた応答メッセージを生成する。そのため、自動応答装置６００を備える音声自動応答システム１は、情報伝達のための利用者の入力操作の負担を軽減し、利用者との情報のやり取りを円滑に行うことが可能となる。
【００５２】
第１実施形態の音声自動応答システム１が上記の自動応答装置６００を備えることによって、コールセンタ３の事業者は、夜間などのオペレータがいない状況であっても、利用者にコールセンタのサービスを提供することが可能となる。また、夜間対応が可能なコールセンタであっても、夜間に配置されるオペレータの人員は昼間よりも少ない場合がある。その結果、コールセンタの夜間の利用において、利用者がサービスを受けるまでの待ち時間が長くなる可能性があった。また、日中の利用であってもコールセンタが混雑している状況においては、利用者は時間をおいて電話をかけ直し、混雑が解消されるまで待つ必要があった。第１実施形態の音声自動応答システム１が上記の自動応答装置６００を備えることによって、コールセンタ３の事業者は、より短い待ち時間で利用者にサービスを提供することが可能となる。
【００５３】
また、第１実施形態の音声自動応答システム１は、コールセンタが混雑している状況において実施形態による自動応答を行うことによって、オペレータによる応対が可能となるまでの待ち時間を活用し利用者から情報収集を行うように構成されてもよい。このように収集された情報が応対可能となったオペレータに引き継がれることによって、第１実施形態の音声自動応答システム１では、オペレータの応対時間を短縮することが可能となる。
【００５４】
＜変形例＞
音声データの実データが音声情報テーブル３１０以外に保持される場合、音声情報テーブル３１０に登録される音声情報の値は、音声データの実データの格納場所を示す情報であってもよい。
自動応答装置６００において、応答判断部６２０及び応答生成部６３０は、両方の機能を持つ１つの機能部として構成されてもよい。
【００５５】
応答判断部６２０が出力する応答種別情報は、利用者への応答における次のアクション（応答内容情報）を取得する以外の用途に用いられてもよい。本実施形態では、応答種別情報は、利用者に提供されるサービスの種別を表す。そのため、例えば、自動応答装置６００は、カウンタ機能を備えることによって、サービスごとの利用回数を取得するように構成されてもよい。自動応答装置６００がこのように構成されることによって、コールセンタ３の事業者は、サービスの利用回数の統計を分析してサービス改善の活動につなげることができる。また、上記の自動応答装置６００は、さらに通話ＩＤを用いることによって、利用者ごとにサービスの利用回数を取得するように構成されてもよい。自動応答装置６００がこのように構成されることによって、コールセンタ３の事業者は、利用者ごとのサービスの利用回数の統計を分析して、例えば不正利用の監視などを行うことができる。
【００５６】
自動応答装置６００は、ステップＳ１０５において、利用者への応答に用いる応答メッセージが取得できなかった場合、過去にオペレータが他の利用者に応答した音声を含む音声データを送信することによって、利用者への応答を行ってもよい。例えば、この場合、自動応答装置６００は、新規登録されたテキスト情報レコードのキーワードの値と関連性が強いテキスト情報の値を持つテキスト情報レコードを選択してもよい。自動応答装置６００は、選択されたテキスト情報レコードからテキスト情報の値を取得する。自動応答装置６００は、取得したテキスト情報の値を音声データに変換する。自動応答装置６００は、変換された音声データを利用者の電話機２に送信する。
【００５７】
なお、過去にオペレータが他の利用者に応答した音声を含む音声データに、名前や住所、クレジットカード番号などの個人情報が含まれる場合、自動応答装置６００は、これらの個人情報を除外するか、応答の対象となる利用者の個人情報に置き換えて音声データを送信するように構成されてもよい。また、過去にオペレータが他の利用者に応答した音声を含む音声データに個人情報が含まれる場合、自動応答装置６００は自動応答を行わず、利用者の通話をコールセンタ３のオペレータに転送することを中継装置１００に要求するように構成されてもよい。
【００５８】
自動応答装置６００は、通話開始時の利用者の感情が“怒り”の状態にある場合や、自動応答によって利用者の感情が悪化した場合には、自動応答を行わず利用者の通話をコールセンタ３のオペレータに転送することを中継装置１００に要求するように構成されてもよい。
【００５９】
自動応答装置６００は、利用者の通話をオペレータに転送する際、通話開始から転送までの間に利用者とやり取りされた情報をオペレータに提供してもよい。この機能によって、例えば、オペレータは、利用者から聞き出した情報を再度利用者に質問する必要がなくなり、サービスの効率を向上させることができるとともに、利用者の感情が悪化するのを抑制することができる。
【００６０】
音声自動応答システム１は、自動応答装置６００によって選択された応答メッセージを自動応答以外の用途に用いてもよい。例えば、自動応答装置６００は、選択した応答メッセージを応答の例としてオペレータに提供するように構成されてもよい。自動応答装置６００がこのように構成されることによって、例えば、経験の浅いオペレータでもより適切な応答を行うことが可能となる。さらに、自動応答装置６００は、応答メッセージの選択に用いた利用者感情情報をオペレータに提供してもよい。例えば、利用者感情情報が提供されることによって、オペレータは、把握することが難しい他国の利用者の感情を知ることが可能となる。
【００６１】
音声自動応答システム１は、音声データに基づいて利用者の言語種別を判断し、利用者の言語に応じた応答メッセージを選択するように構成されてもよい。この場合、例えば、感情認識装置２００は、利用者の言語種別を判断する。音声ＤＢ３００及びテキストＤＢ５００は、音声データの識別情報と言語種別とを対応づけて記憶する。応答ＤＢ７００は、応答メッセージの識別情報と言語種別とを対応づけて記憶する。自動応答装置６００は、応答内容情報、感情情報及び言語種別に基づいて、応答ＤＢ７００から応答メッセージを取得する。
【００６２】
なお、利用者の言語種別に応じて取得された応答メッセージは、利用者への自動応答に用いられてもよいし、上述したように、応答の例としてオペレータに提供されてもよい。言語種別に応じた応答メッセージがオペレータに提供されることによって、母国語以外の言語で対応するオペレータの応対の品質を向上させることができる。
【００６３】
音声自動応答システム１は、利用者の通話をオペレータの母国語に翻訳する機能を備えてもよい。この場合、例えば、音声変換装置４００は、テキストデータに変換した利用者の通話をオペレータの母国語に翻訳する。テキストＤＢ５００は、音声データの識別情報と翻訳されたテキストデータとを対応づけて記憶する。自動応答装置６００は、母国語に翻訳された利用者の通話をオペレータに提供する。利用者の通話が母国語に翻訳されてオペレータに提供されることによって、母国語以外の言語で対応するオペレータが利用者の通話の内容をより正確に理解することが可能となる。
【００６４】
［第２実施形態］
図１０は、第２実施形態の音声自動応答システム１ａのシステム構成を示すシステム構成図である。
音声自動応答システム１ａは、自動応答装置６００に代えて自動応答装置６００ａを備える点、応答ＤＢ７００に代えて応答ＤＢ７００ａを備える点で第１実施形態の音声自動応答システム１と異なる。音声自動応答システム１ａのその他の構成は、音声自動応答システム１と同様である。図１０では、音声自動応答システム１と同様の構成要素には、図１と同様の符号を付すことによって説明を省略する。
【００６５】
図１１は、自動応答装置６００ａの機能構成を示す機能ブロック図である。
自動応答装置６００ａは、応答生成部６３０に代えて応答生成部６３０ａを備える点、テンプレート生成部６４０をさらに備える点で第１実施形態の自動応答装置６００と異なる。自動応答装置６００ａのその他の構成は、自動応答装置６００と同様である。図１１では、自動応答装置６００と同様の機能を有する機能部には、図７と同様の符号を付すことによって説明を省略する。
【００６６】
応答生成部６３０ａは、応答生成部６３０の機能に加えて、利用者への応答の履歴を応答ＤＢ７００ａに登録する機能を有する。この機能により応答生成部６３０ａは、オペレータの音声データの識別情報と、オペレータが実行したアクションを示す応答内容情報とを対応づけて応答ＤＢ７００ａに登録する。
【００６７】
テンプレート生成部６４０は、オペレータによる過去の応答の履歴を参照し、品質の高い応答を自動応答に用いられる応答メッセージのテンプレートに追加する。例えば、テンプレート生成部６４０は、利用者の感情をより良い感情に変化させることができた応答を品質の高い応答として抽出する。例えば、テンプレート生成部６４０は、通話開始時に“怒り”の状態にあった利用者の感情を、通話終了時に“喜び”に変えることができた応答を抽出してもよい。テンプレート生成部６４０は、抽出した応答を新規テンプレートとして、応答管理テーブル７３０に追加する。
【００６８】
応答ＤＢ７００ａは、応答履歴テーブル７４０をさらに備える点で第１実施形態の応答ＤＢ７００と異なる。
図１２は、応答履歴テーブル７４０の具体例を示す図である。
応答履歴テーブル７４０は、利用者への応答において実行されたアクションの履歴を保持するテーブルである。応答履歴テーブル７４０は、通話ＩＤごとに応答履歴レコードを有する。応答履歴レコードは、通話ＩＤ、音声ＩＤ及びアクションＩＤの各値を有する。通話ＩＤ及び音声ＩＤは、音声情報レコード及びテキスト情報レコードが有する通話ＩＤ及び音声ＩＤと同様である。アクションＩＤは、アクション管理レコードが有するアクションＩＤと同様である。応答履歴レコードは、利用者への応答のアクションが実行されると応答生成部６３０ａによって応答履歴テーブル７４０に登録される。
【００６９】
図１３は、第２実施形態の音声自動応答システム１ａにおけるテンプレート生成の処理の流れを示すフローチャートである。
まず、利用者がオペレータとの間で通話を行うと、感情認識装置２００は、ステップＳ１０２と同様の処理を行い、音声データから利用者の感情を認識する。また、音声変換装置４００は、ステップＳ１０３と同様の処理を行い、音声データをテキストデータに変換する。自動応答装置６００の応答判断部６２０は、ステップＳ１０３と同様の処理を行い、利用者が希望するサービスを判断する。応答判断部６２０は、利用者が希望するサービスとして判断されたサービスの識別情報を応答種別情報として応答生成部６３０ａに出力する。応答生成部６３０ａは、応答種別情報に対応するアクション管理テーブル７２０を参照し、オペレータの応答に対応するアクションを判断する。応答生成部６３０ａは、対象の通話の識別情報、音声データの識別情報及び応答のアクションを示す応答内容情報を値に持つ応答履歴レコードを生成する。応答生成部６３０ａは、生成した応答履歴レコードを応答履歴テーブル７４０に登録する。
【００７０】
テンプレート生成部６４０は、テキスト情報テーブル５１０を参照し、過去の通話において通話終了時の感情情報が通話開始時の感情情報よりもより良い感情に変化した通話ＩＤに対応する応答履歴テーブル７４０を選択する（ステップＳ２０１）。
テンプレート生成部６４０は、選択した応答履歴テーブル７４０に登録されている応答履歴レコードの音声ＩＤの値を取得する。テンプレート生成部６４０は、テキスト情報テーブル５１０を参照し、応答履歴レコードから取得した音声ＩＤの値を音声ＩＤの値に持つテキスト情報レコードを選択する。テンプレート生成部６４０は、選択したテキスト情報レコードからテキスト情報の値と、感情情報の値とを取得する。このように、テンプレート生成部６４０は、オペレータの応答履歴に基づいて、オペレータが応答したメッセージを取得する（ステップＳ２０２）。
【００７１】
テンプレート生成部６４０は、テキスト情報レコードから取得したテキスト情報及び感情情報の値を応答ＤＢ７００ａに出力する。応答ＤＢ７００ａは、テンプレート生成部６４０から出力された値を持つ応答管理レコードを生成する。応答ＤＢ７００ａは、生成した応答管理レコードを応答管理テーブル７３０に登録する（ステップＳ２０３）。
【００７２】
図１４は、テキスト情報テーブル５１０の第２の具体例を示す図である。
図１４では、利用者とオペレータとの間で図３の例のテキスト情報テーブル５１０が示す通話が行われたことを表している。
例えば、テンプレート生成部６４０は、過去の通話における応答履歴テーブル７４０のうち、通話終了時の感情情報が、通話開始時の感情情報よりもより良い感情となったテーブルとして、図１２の例に示す内容の応答履歴テーブル７４０を選択する。テンプレート生成部６４０は、選択した応答履歴テーブル７４０から、応答履歴レコードの各値を取得する。
【００７３】
テンプレート生成部６４０は、テキスト情報テーブル５１０を参照し、応答履歴レコードから取得した音声ＩＤ及び通話ＩＤの値を音声ＩＤ及び通話ＩＤの値にもつテキスト情報レコードを選択する。テンプレート生成部６４０は、選択したテキスト情報レコードからテキスト情報の値と、感情情報の値とを取得する。テンプレート生成部６４０は、テキスト情報レコードから取得したテキスト情報及びテキスト情報レコードから取得した感情情報の値を応答ＤＢ７００ａに出力する。応答ＤＢ７００ａは、テンプレート生成部６４０から出力された応答情報及び感情情報の値に持つ応答管理レコードを生成する。応答ＤＢ７００ａは、生成した応答管理レコードを応答管理テーブル７３０に登録する。
【００７４】
上記の処理によって、図１４の例において“Ｖ００２”、“Ｖ００４”、“Ｖ００６”及び“Ｖ００８”を音声ＩＤの値に持つテキスト情報レコードのテキスト情報の値が応答管理テーブル７３０に追加されるメッセージとして選択される。
【００７５】
このように構成された第２実施形態の音声自動応答システム１ａでは、自動応答装置６００ａは、過去のオペレータの応答において利用者の感情をより良い感情にすることができた応答を、自動応答装置６００ａが選択する応答メッセージのテンプレートに追加する。そのため、音声自動応答システム１ａは、自動応答機能の精度を自律的に向上させることが可能となる。
【００７６】
＜変形例＞
自動応答装置６００ａは、ステップＳ２０１において、過去の通話における感情の変化の度合いに基づいて、応答履歴テーブル７４０を選択するように構成されてもよい。また、自動応答装置６００ａは、選択された応答履歴テーブル７４０に含まれる応答メッセージに所定の重み付けを行い、重みに応じて応答メッセージをテンプレートに追加するように構成されてもよい。例えば、選択された応答メッセージが複数の応答履歴テーブル７４０に存在する場合、自動応答装置６００ａは、その応答メッセージによって利用者の感情が変化した回数で重み付けを行ってもよい。
【００７７】
自動応答装置６００ａは、過去のオペレータの応答において、利用者の感情をより悪い感情にしてしまった応答メッセージを、応答管理テーブル７３０から削除するように構成されてもよい。また、自動応答装置６００ａが、そのような応答をＮＧ集として保持しオペレータに提供すれば、オペレータの応答品質を向上させることも可能となる。自動応答装置６００ａによるテンプレートの応答メッセージの追加において、同一のアクションＩＤ及び感情情報に対応するテンプレートが複数登録された場合、自動応答装置６００ａは、選択された複数のテンプレートから最新のテンプレートを用いて応答するように構成されてもよい。
【００７８】
自動応答装置６００は、ステップＳ２０２において取得されたメッセージに名前や住所、クレジットカード番号などの個人情報が含まれる場合、自動応答装置６００は、これらの個人情報を除外するか、応答の対象となる利用者の個人情報に置き換えたメッセージを生成してもよい。
【００７９】
上述した実施形態における自動応答装置６００及び６００ａをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００８０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８１】
１、１ａ…音声自動応答システム，  ２、２−１〜２−３…電話機，  ３、３−１〜３−３…コールセンタ，  ４…ネットワーク，  ５、５−１〜５−３…コールセンタ管理装置，  １００…中継装置，  ２００…感情認識装置，  ３００…音声ＤＢ，  ３１０…音声情報テーブル，  ４００…音声変換装置，  ５００…テキストＤＢ，  ５１０…テキスト情報テーブル，  ６００、６００ａ…自動応答装置，  ６１０…通信部，  ６２０…応答判断部，  ６３０、６３０ａ…応答生成部，  ６４０…テンプレート生成部，  ７００、７００ａ…応答ＤＢ，  ７１０…フロー管理テーブル，  ７２０…アクション管理テーブル，  ７３０…応答管理テーブル，  ７４０…応答履歴テーブル
【図１】
2015211403.tif 000003
【図２】
2015211403.tif 000004
【図３】
2015211403.tif 000005
【図４】
2015211403.tif 000006
【図５】
2015211403.tif 000007
【図６】
2015211403.tif 000008
【図７】
2015211403.tif 000009
【図８】
2015211403.tif 000010
【図９】
2015211403.tif 000011
【図１０】
2015211403.tif 000012
【図１１】
2015211403.tif 000013
【図１２】
2015211403.tif 000014
【図１３】
2015211403.tif 000015
【図１４】
2015211403.tif 000016