(57)【要約】【課題】多角的なデータ分析を行うことができるコールセンターのデータベースシステム、その情報管理方法及び情報管理プログラムを提供する。【解決手段】コールセンターシステム１は、オペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化したテキストデータを生成する音声認識装置１１と、通話音声のうち認識対象区間の音声の特徴量を検出し、特徴量に基づき発話者の感情を推測した感情検出値を生成し、認識対象区間に対応するテキストデータに、該認識対象区間の感情検出値を関連付ける感情認識装置１４と、テキストデータ及び感情検出値を関連付けした状態で記憶するＤ／Ｂ管理装置１２とを備えた。【選択図】図１
2009175336.tif 000002
【特許請求の範囲】
【請求項１】
コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを生成する音声認識手段と、
前記通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する感情検出手段と、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付ける登録手段と、
前記文字データ及び前記感情検出情報を関連付けした状態で記憶する通話情報記憶手段と
を備えたことを特徴とするコールセンターのデータベースシステム。
【請求項２】
請求項１に記載のコールセンターのデータベースシステムにおいて、
前記音声認識手段は、
少なくとも前記顧客の通話音声、及び前記オペレータの通話音声に対して音声認識を行って、前記顧客の発話に基づく文字データ及び前記オペレータの発話に基づく前記文字データを生成し、
前記感情検出手段は、
前記顧客の通話音声のうち対象区間の前記感情検出情報、及び前記オペレータの通話音声のうち前記対象区間の前記感情検出情報を検出し、
前記登録手段は、
前記顧客の通話音声に基づき、前記対象区間に対応した前記文字データに、該対象区間で検出された前記顧客の前記感情検出情報を関連付けるとともに、前記オペレータの通話音声に基づき、前記対象区間に対応した前記文字データに、該対象区間で検出された前記オペレータの前記感情検出情報を関連付けることを特徴とするコールセンターのデータベースシステム。
【請求項３】
請求項１又は２に記載のコールセンターのデータベースシステムにおいて、
前記音声認識手段は、
前記顧客の通話音声及び前記オペレータの通話音声が混在した両者通話音声に対して音声認識を行った前記文字データを生成し、
前記感情検出手段は、
前記両者通話音声に基づいて前記感情検出情報を生成し、
前記登録手段は、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付けることを特徴とするコールセンターのデータベースシステム。
【請求項４】
請求項１〜３のいずれか１項に記載のコールセンターのデータベースシステムにおいて、
前記感情検出手段は、通話開始時から終了時までの間に複数の前記感情検出情報を検出し、
前記登録手段は、前記各感情検出情報を、該感情検出情報を検出した前記文字データの前記対象区間にそれぞれ関連付けることを特徴とするコールセンターのデータベースシステム。
【請求項５】
請求項１〜４のいずれか１項に記載のコールセンターのデータベースシステムにおいて、
顧客との応対内容を示す応対履歴データを、前記特徴量検出データ及び前記文字データに関連付けて前記通話情報記憶手段に格納する応対履歴登録手段をさらに備えたことを特徴とするコールセンターのデータベースシステム。
【請求項６】
データベースを管理する制御手段を用いた前記データベースの情報管理方法であって、
前記制御手段が、
コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得するステップと、
通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を取得するステップと、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付けて通話情報記憶手段に記憶するステップと
を有することを特徴とする情報管理方法。
【請求項７】
データベースを管理する制御手段を用いた前記データベースの情報管理プログラムであって、
前記制御手段を、
コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得する文字データ取得手段と、
通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する検出データ取得手段と、
前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付け、通話情報記憶手段に記憶する登録手段として機能させることを特徴とする情報管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コールセンターのデータベースシステム、その情報管理方法及び情報管理プログラムに関する。
【背景技術】
【０００２】
コールセンターは、例えば商品に対する顧客からの商品に対する問い合わせ、商品の注文の受付等といった電話応対業務を専門に行う部門である。一般的に、コールセンターシステムは、構内電話交換機（ＰＢＸ、Private Branch eXchange、着信呼自動分配（ＡＣ
Ｄ  Automatic Call Distribution）装置、オペレータが使用する端末、各種データベー
スを備えている（例えば特許文献１参照）。従来より、このコールセンターでは、オペレータが電話応対の内容を端末に入力し、端末に入力した応対履歴情報をデータベースに蓄積していた。コールセンターの管理部門では、この応対履歴情報を分析し、製品改良又はサービス改善等に利用していた。
【特許文献１】特開２００７−２２８２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来のデータベースでは、例えば顧客満足度やオペレータの対応等を多角的に分析することは困難だった。また、通話内容を分析するために、通話内容のキーワード等をオペレータが端末に入力しても、オペレータの主観が入り、通話内容を客観的に評価することは困難であった。
【０００４】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、多角的なデータ分析を行うことができるコールセンターのデータベースシステム、その情報管理方法及び情報管理プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを生成する音声認識手段と、前記通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する感情検出手段と、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付ける登録手段と、前記文字データ及び前記感情検出情報を関連付けした状態で記憶する通話情報記憶手段とを備えた。
【０００６】
この発明によれば、オペレータと顧客との間の通話を音声認識して生成された文字データと、通話音声の特徴量から求められた感情検出情報とを関連付けした状態で通話情報記憶手段に記憶する。従って、発話者の感情検出情報と、その情報を検出した対象区間の文字データとを、データベースに格納することができるので、多角的なデータ分析を行うことができる。このため、データ分析の自由度を向上させることができる。
【０００７】
このコールセンターのデータベースシステムにおいて、前記音声認識手段は、少なくとも前記顧客の通話音声、及び前記オペレータの通話音声に対して音声認識を行って、前記顧客の発話に基づく文字データ及び前記オペレータの発話に基づく前記文字データを生成し、前記感情検出手段は、前記顧客の通話音声のうち対象区間の前記感情検出情報、及び前記オペレータの通話音声のうち前記対象区間の前記感情検出情報を検出し、前記登録手段は、前記顧客の通話音声に基づき、前記対象区間に対応した前記文字データに、該対象
区間で検出された前記顧客の前記感情検出情報を関連付けるとともに、前記オペレータの通話音声に基づき、前記対象区間に対応した前記文字データに、該対象区間で検出された前記オペレータの前記感情検出情報を関連付ける。
【０００８】
この発明によれば、顧客及びオペレータの感情検出情報を、顧客及びオペレータの発話に基づく文字データにそれぞれ関連付けることができるので、顧客側及びオペレータ側の両方の方向からデータ分析を行うことができる。このため、多角的なデータ分析を行うことができる。
【０００９】
このコールセンターのデータベースシステムにおいて、前記音声認識手段は、前記顧客の通話音声及び前記オペレータの通話音声が混在した両者通話音声に対して音声認識を行った前記文字データを生成し、前記感情検出手段は、前記両者通話音声に基づいて前記感情検出情報を生成し、前記登録手段は、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付ける。
【００１０】
この発明によれば、両者による通話全体における感情検出情報を、両者の通話音声に基づく文字データにそれぞれ関連付けることができるので、全体的なデータ分析を行うことができる。
【００１１】
このコールセンターのデータベースシステムにおいて、前記感情検出手段は、通話開始時から終了時までの間に複数の前記感情検出情報を検出し、前記登録手段は、前記各感情検出情報を、該感情検出情報を検出した前記文字データの前記対象区間にそれぞれ関連付ける。
【００１２】
この発明によれば、複数の感情検出情報を、文字データの対象区間にそれぞれ関連付ける。このため、単語単位、文節単位又は文章単位等で感情検出情報を関連付けられるので、感情の強い単語、文節又は文章単位等を抽出する等、データ分析の自由度を向上させることができる。
【００１３】
このコールセンターのデータベースシステムにおいて、顧客との応対内容を示す応対履歴データを、前記感情検出データ及び前記文字データに関連付けて前記通話情報記憶手段に格納する応対履歴登録手段をさらに備えた。
【００１４】
この発明によれば、応対履歴データを感情検出データ及び文字データに関連付けて格納するので、例えば問い合わせがあった製品毎にデータ分析を行うことができる。
本発明は、データベースを管理する制御手段を用いた前記データベースの情報管理方法であって、前記制御手段が、コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得するステップと、通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を取得するステップと、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付けて通話情報記憶手段に記憶するステップとを有する。
【００１５】
この方法によれば、オペレータと顧客との間の通話を音声認識して生成された文字データと、通話音声の特徴量から求められた感情検出情報とを関連付けした状態で通話情報記憶手段に記憶する。従って、発話者の感情検出情報と、その情報を検出した対象区間の文字データとを、データベースに格納することができるので、多角的なデータ分析を行うことができる。このため、データ分析の自由度を向上させることができる。
【００１６】
本発明は、データベースを管理する制御手段を用いた前記データベースの情報管理プロ
グラムであって、前記制御手段を、コールセンターのオペレータと顧客とが通話する際の通話音声に対し音声認識を行い、通話内容を文字化した文字データを取得する文字データ取得手段と、通話音声のうち対象区間の音声の特徴量を検出し、前記特徴量に基づき発話者の感情を推測した感情検出情報を生成する検出データ取得手段と、前記対象区間に対応する前記文字データに、該対象区間の前記感情検出情報を関連付け、通話情報記憶手段に記憶する登録手段として機能させる。
【００１７】
この発明によれば、情報管理プログラムに従って、オペレータと顧客との間の通話を音声認識して生成された文字データと、通話音声の特徴量から求められた感情検出情報とを関連付けした状態で通話情報記憶手段に記憶する。従って、発話者の感情検出情報と、その情報を検出した対象区間の文字データとを、データベースに格納することができるので、多角的なデータ分析を行うことができる。このため、データ分析の自由度を向上させることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を具体化した一実施形態を図１〜図６に従って説明する。図１は、データベースシステムとしてのコールセンターシステム１の概略図である。
コールセンターシステム１は、ＰＢＸ装置５、オペレータ端末６、センター管理装置７、管理者端末８を有している。ＰＢＸ装置５、センター管理装置７及び各端末６，８は、ＬＡＮ（Local Area Network）９を介して、各種データを送受信可能に接続されている。
【００１９】
ＰＢＸ装置５は、公衆電話回線網Ｎ１を介して、顧客の電話機（以下、顧客電話機２という）と接続されている。また、ＰＢＸ装置５は、オペレータが用いる各電話機３と接続されている。各電話機３の操作部には、ログインボタンＢ１、保留ボタンＢ２、準備中ボタンＢ３が設けられている。ログインボタンＢ１は、電話機３で着呼を受けるためのボタンである。保留ボタンＢ２は、接続中の電話を保留させるためのボタンであり、準備中ボタンＢ３は、電話応対の準備に掛かっているときにオン操作される。
【００２０】
また、オペレータ端末６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信Ｉ／Ｆ等を備え、ＬＡＮ９に複数台接続されている。オペレータ端末６には、マウス、キーボード等の入力装置Ｉと、ディスプレイＤＩが接続されている。オペレータは、電話機３からの音声が出力され、オペレータの通話音声を入力するヘッドセット（図示略）を用いて、顧客と通話しながら入力装置Ｉを操作する。
【００２１】
センター管理装置７は、電話機３をコールセンターシステム１に接続するＣＴＩ（Computer Telephony Integration）機能を有し、コールセンターへの電話着信及びコールセンターからの電話の発信を処理するサーバである。具体的には、センター管理装置７は、ＡＣＤ機能、ＩＶＲ（音声自動応答  Interactive Voice Response）機能を有し、ＰＢＸ装置５の制御を行う。ＡＣＤ機能は、コールセンターにかかってきた電話を待機中のオペレータに自動的に割り振る機能である。ＩＶＲ機能は、音声による自動応答機能である。
【００２２】
このセンター管理装置７は、図示しない顧客情報記憶部を有している。顧客情報記憶部に格納された顧客情報は、過去にコールセンターに電話を掛けた顧客に関する情報、或いは予め登録した顧客に関する情報である。センター管理装置７は、オペレータの操作により入力された氏名等の顧客識別データ、又は顧客電話機２を介して入力された顧客識別データに基づき、対応する顧客情報を読み出してオペレータ端末６のディスプレイＤＩに表示する。
【００２３】
また、センター管理装置７は、図２に示す履歴情報記憶部２０を備えている。履歴情報記憶部２０には、着呼毎の履歴データ２１が格納されている。履歴データ２１は、センタ
ー管理装置７が着呼毎に生成したデータであって、応対の履歴を示す。本実施形態では、履歴データ２１は、着呼ＩＤ２１Ａ、着呼日２１Ｂ、通話開始時間２１Ｃ、通話終了時間２１Ｄ、オペレータＩＤ２１Ｅ、製品グループ２１Ｆ、製品型番２１Ｇ、顧客ＩＤ２１Ｈ、保留履歴２１Ｊを有している。尚、履歴データ２１のデータ構成は、この構成に限定されず、他の構成でもよい。
【００２４】
着呼ＩＤ２１Ａは、センター管理装置７が着呼毎に割り振った番号であって、着呼日２１Ｂは、顧客からの電話をコールセンターが受信した年月日及び時刻を示す。通話開始時間２１Ｃ及び通話終了時間２１Ｄは、オペレータが通話を開始した時刻及び終了した時刻をそれぞれ示す。オペレータＩＤ２１Ｅは、その電話を受けたオペレータの識別番号である。
【００２５】
製品グループ２１Ｆは、問い合わせがあった製品のカテゴリである。例えば、プリンタやプロジェクタ、スキャナ等といった電化製品に対する問い合わせ業務を行う場合、製品グループ２１Ｆには、「インクジェットプリンタ」、「レーザプリンタ」等の製品カテゴリ、或いは「個人向け」又は「ビジネス向け」等の目的別のカテゴリ等が格納される。製品型番２１Ｇは、問い合わせがあった製品の型番を示す。尚、商品の注文を受け付ける場合には、製品グループ２１Ｆ及び製品型番２１Ｇには、注文された商品のグループ及び型番が格納される。コールセンターから顧客に対して発呼を行う場合には、その通話内容に応じたサービス、製品の識別子が格納される。
【００２６】
顧客ＩＤ２１Ｈは、応対した顧客の識別子であって、上記顧客情報と対応している。保留履歴２１Ｊは、保留回数、保留開始から保留終了までの保留時間等のデータである。
管理者端末８は、コールセンターのスーパーバイザー等が用いる端末であって、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、通信Ｉ／Ｆ等を有している。図１に示すように、管理者端末８には、マウスやキーボード等の入力装置Ｉが接続されており、スーパーバイザーの入力操作に応じて、指定された情報を履歴情報記憶部２０及び他のデータベースから抽出し、抽出したデータを閲覧画面としてディスプレイＤＩに表示する。
【００２７】
さらに、図１に示すように、コールセンターシステム１は、音声データ登録装置１０、音声認識手段としての音声認識装置１１、通話情報記憶手段、制御手段、文字データ取得手段、検出データ取得手段としてのデータベース（Ｄ／Ｂ）管理装置１２、録音装置１３及び感情検出手段、登録手段としての感情認識装置１４を有している。これらの各装置１０〜１４は、上記ＬＡＮ９に接続され、各装置１０〜１４間だけでなく、ＰＢＸ装置５、センター管理装置７等との間で、後述する処理のためのデータを送受信可能に接続されている。尚、本実施形態では、処理を分散させるために装置１０〜１４を設けたが、各装置１０〜１４のうち複数の装置を一つの装置に統合したり、全ての装置１０〜１４を一つの装置にしてもよい。
【００２８】
図３に示すように、音声データ登録装置１０には、制御部３０、全体音声記憶部３２、顧客音声記憶部３３、オペレータ音声記憶部３４を備えている。制御部３０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信Ｉ／Ｆ等を備え、ＰＢＸ装置５又はオペレータが用いる電話機３等から顧客の発話のみによる音声信号を取得する。また、電話機３又は上記ヘッドセットのマイク等の音声入力部ＩＶ（図１参照）から、オペレータの発話のみによる音声信号を取得する。さらに、ＰＢＸ装置５、電話機３又は音声入力部ＩＶ等から、顧客の発話による音声及びオペレータの発話による音声が混在した両者通話音声の音声信号を取得する。
【００２９】
制御部３０は、顧客の発話のみによる音声信号、オペレータの発話のみによる音声信号、両者の音声が混合した音声信号を取得すると、音声信号をＡ／Ｄ変換してＷＡＶ形式等のデジタルデータに変換する。尚、音声データへの変換はリアルタイム処理で行ってもよ
く、バッチ処理で行うようにしてもよい。或いは、顧客の発話のみによる音声と、オペレータの発話のみによる音声と、両者の発話による音声とをそれぞれ録音装置１３又はセンター管理装置７（図１参照）に録音し、録音装置１３によってＡ／Ｄ変換を行い、その録音装置１３から音声データを取得してもよい。
【００３０】
音声データを生成すると、制御部３０は、着呼毎に生成された識別子を、音声データに付与する。識別子は、データベースのレコードを他のレコードから一意に識別する主キーとなるデータで、着呼ＩＤ２１Ａ等、履歴データ２１を構成するデータ要素を用い、音声データと履歴データ２１との対応付けが可能な状態にする。また、音声データが、顧客、オペレータ及びその両方のうち、どの発話者によるデータであるのかを示す発話者コードを、各音声データに付与する。そして、識別子及び発話者コードが付与された音声データを、対応する各記憶部３２〜３４にそれぞれ記憶する。
【００３１】
その結果、全体音声記憶部３２には、顧客及びオペレータの発話による全体音声データ３２Ａが記憶され、顧客音声記憶部３３には、顧客の発話のみによる顧客音声データ３３Ａが記憶される。また、オペレータ音声記憶部３４には、オペレータ音声データ３４Ａが記憶される。
【００３２】
図４に示すように、音声認識装置１６は、音声認識処理部４１、認識用情報記憶部４２、両者発話情報記憶部４３、顧客発話情報記憶部４４、オペレータ発話情報記憶部４５を備えている。
【００３３】
音声認識処理部４１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信Ｉ／Ｆ等を格納し、図示しない記憶部に格納された音声認識プログラムに従って、音声認識処理を行う。音声認識処理は、通話時等に順次行うリアルタイム処理でもよく、複数の音声データに対して一括して行うバッチ処理でもよい。認識用情報記憶部４２には、音声認識処理に用いられる認識用情報４２Ａが格納されている。認識用情報４２Ａとしては、例えば、音声の特徴量と音素とを関連付けた音響モデル、音素列と対応付けられた単語を数万〜数十万語格納した認識辞書、文頭・文末に位置する確率や、連続する単語間の接続確率や、係り受け関係をモデル化した言語モデルといった各種データがある。
【００３４】
音声認識処理部４１は、音声認識プログラムに従って、認識用情報４２Ａを用いて、上記各音声データ３２Ａ〜３４Ａを文字データに変換する。この処理は公知の方法を用いることができる。例えば、音声認識処理部４１は、音声データ３２Ａ〜３４Ａを用いて、音声の波形の特徴を算出し、この特徴量と音響モデルとを照合して音素をそれぞれ選択する。また、これらの各音素列と認識辞書とを照合して、認識候補の単語を選択する。さらに、音声認識処理部４１は、言語モデルを用いて、接続関係の確率を算出し、整合性を判断する。認識結果が確定されると、テキストと、テキストが発話された時間等を関連付けて格納する。
【００３５】
また、図５に示すように、音声認識処理部４１は、音声データと同様に、通話内容を文字化したテキストＴＸＴに対し、識別子Ｃ１及び発話者コードＣ２を付与して、文字データとしてのテキストデータＴＸを生成する。さらに生成したテキストデータＴＸを、各記憶部４３〜４５に格納する。
【００３６】
即ち、顧客及びオペレータの発話による全体音声データ３２Ａを音声認識した文字データは、両者テキストデータＴＸ１として両者発話情報記憶部４３に記憶する。両者テキストデータＴＸ１は、顧客とオペレータが発話した内容が混合された状態で文字データ化されている。また、顧客の発話のみによる顧客音声データ３３Ａを音声認識した文字データは、顧客テキストデータＴＸ２として顧客発話情報記憶部４４に記憶する。また、オペレ
ータ音声データ３４Ａを音声認識した文字データは、オペレータテキストデータＴＸ３として、オペレータ発話情報記憶部４５に記憶する。尚、両者テキストデータＴＸ１、顧客テキストデータＴＸ２、オペレータテキストデータＴＸ３をそれぞれ区別しない場合には、テキストデータＴＸとして説明する。
【００３７】
感情認識装置１４は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信Ｉ／Ｆ等を有し、図示しない記憶部に格納された感情認識プログラムに従って、通話音声の特徴量から求められる感情検出値を算出する。感情認識装置１４は、顧客及びオペレータの音声が混在した通話音声に基づく感情認識と、顧客の通話音声に基づく感情認識と、オペレータの通話音声に基づく感情認識を行う。感情認識処理は、通話終了時等に順次行うリアルタイム処理でもよく、複数の音声データに対して一括して行うバッチ処理でもよい。この感情認識処理では、「怒り」、「喜び」、「悲しみ」等といった各感情の種類のそれぞれに対し、感情の強さを示す値を特定する。
【００３８】
感情認識方法としては、公知の方法を用いることができる。例えば、感情認識装置１４は、顧客、オペレータ又はその両方の音声データ３２Ａ〜３４Ａ（又は音声信号）に基づき、音声強度を取得する。
【００３９】
また、感情認識装置１４は、感情認識の認識対象区間を取得する。この認識対象区間は、テキストデータＴＸの単語又は文節又は文章の区切り等でもよく、５秒等の所定時間毎に区切られた区間でもよい。或いは、音声データ３２Ａ〜３４Ａの波形に基づき、所定のパターンが含まれる区域を認識対象区間としてもよい。そして認識対象区間毎の音声の強度を検出し、強度変化パターンに基づき音声の抑揚を算出する。
【００４０】
さらに、音声認識処理部４１等が算出した、音素データを取得して、音素の数をテンポとして取得する。その他に、音階、音程、旋律、周波数等といった音声の物理特徴量を検出してもよい。
【００４１】
また、感情認識装置１４は、怒りの状態における音声の特性パターンと、喜びの状態における音声の特性パターンと、悲しみの状態における音声の特性パターン等を予め格納している。感情認識装置１４は、各音声信号に基づくパターンを、予め格納したパターンと比較し、現在の感情の強さを特定する。例えば、「怒り」、「喜び」、「悲しみ」の各感情に対して、「−２」、「−１」、「０」、「＋１」、「＋２」の値がそれぞれ設定され、感情認識装置１４は、これらの値のいずれかを感情の強さとして特定する。
【００４２】
その結果、顧客の発話に対する感情検出値Ｖ１と、オペレータの発話に対する感情検出値Ｖ２と、顧客及びオペレータの発話が混在した全体の発話に対する両者感情検出値Ｖ３とが得られる。尚、感情検出値Ｖ１，Ｖ２及び両者感情検出値Ｖ３を互いに区別しないで説明する場合には、単に感情検出値Ｖとして説明する。
【００４３】
感情検出値Ｖを生成すると、感情認識装置１４は、感情検出値Ｖと、感情認識を行った認識対象区間とを用いて図５に模式的に示す感情検出データＤを生成する。感情検出データＤは、テキストデータＴＸと同様に識別子Ｃ１が付与されている。また、感情検出データＤは、どの発話者による感情であるのかを示す発話者コードＣ２が付与されている。さらに、その感情検出データＤが、「怒り」、「悲しみ」、「喜び」等の種別のうちどの種別のデータであるのかを示す感情種別Ｃ３が付与されている。また、感情検出データＤに含まれる感情検出値Ｖは、その値を検出した上記認識対象区間Ｓとそれぞれ関連付けられている。
【００４４】
従って、図５に示すように、識別子Ｃ１及び発話者コードＣ２によって感情検出データ
ＤとテキストデータＴＸとを対応付けすることができる。また、テキストデータＴＸのテキストＴＸＴに含まれる文字は、各感情検出値Ｖ１の認識対象区間Ｓと対応しているので、「怒り」、「喜び」、「悲しみ」等に対する感情検出値Ｖと、単語又は文節又は文章等の文字データとを対応付けることができる。例えば、顧客が「エラーが起きた」と発話した文字データに対し、「怒り」の感情が「＋２」であった場合には、エラーが発生したことに対して顧客が強い怒りを感じていると推定することができる。一方、異なる顧客が「エラーが起きた」と発話した場合、「怒り」の感情が「０」であった場合には、その顧客はエラーが発生したことに対してあまり怒りを感じていないと推定することができる。また、通話を開始してから終了するまでの感情検出値Ｖの時系列的な推移を判定し、顧客の感情がどのように変化したかを判断できる。
【００４５】
また、感情認識装置１４は、通話が開始されてから終了されるまでの間を感情認識の対象区間として、通話全体の感情検出値を特定する。このとき、感情認識装置１４は、通話全体の音声に対する特徴量に基づき、上記したように感情検出値を特定する。これにより、「怒り」、「喜び」、「悲しみ」等といった各感情の種類のそれぞれに対し、顧客の発話全体に対する全体感情検出値ＶＴと、オペレータの発話全体に対する全体感情検出値ＶＴと、両者の発話全体に対する全体感情検出値ＶＴとが生成される。全体感情検出値ＶＴを生成すると、感情認識装置１４は、図６に示すように、全体感情検出値ＶＴに対し、識別子Ｃ１、発話者コードＣ２及び感情種別Ｃ３を付与して、顧客の全体感情検出データＴと、オペレータの全体感情検出データＴと、両者の全体感情検出データＴとを生成する。
【００４６】
Ｄ／Ｂ管理装置１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信Ｉ／Ｆ等を有し、図示しない記憶部に格納された情報管理プログラムに従って、センター管理装置７、感情認識装置１４から所定のタイミングで各種情報を取得してデータベースを作成する。Ｄ／Ｂ管理装置１２は、センター管理装置７からは、履歴データ２１を取得する。また、感情認識装置１４から感情検出データＤ及び全体感情検出データＴを取得する。そして、これらのデータを統合して、データベースに新たなレコードとして追加する。
【００４７】
図６は、データベース構造の模式図である。データベース１００は、テキストデータＴＸ、履歴データ２１、感情検出データＤ、全体感情検出データＴとを識別子Ｃ１によって関連付けて格納している。また、識別子Ｃ１によって、音声データ登録装置１０の音声データ３２Ａ〜３４Ａが関連付けられる。この音声データ３２Ａ〜３４Ａは、音声データ登録装置１０に分散させて格納してもよいし、Ｄ／Ｂ管理装置１２に格納してもよい。
【００４８】
また、上記したように感情検出値Ｖは、テキストデータＴＸのテキストＴＸＴの各文字データに関連付けられるので、単語、文節又は文章等を発話した際の発話者の感情を推測することができる。
【００４９】
コールセンターのスーパーバイザーは、管理者端末８を操作して、データベース１００を用いてデータ分析を行う。このとき、データベースのパラメータとして感情検出値Ｖ及び全体感情検出値ＶＴ及び文字データが付加されるとともに、形態素解析及び感情認識を、顧客の音声、オペレータの音声及び両者の音声に基づいて行うことで、多角的な分析を行うことができる。
【００５０】
例えば、履歴データ２１、感情検出データＤ及びテキストデータＴＸを用いて、感情の強さが所定値以上である感情検出値Ｖを有するデータを、製品毎、所定期間毎等に抽出し、抽出数又は感情検出値Ｖを製品毎又は所定期間毎に比較することができる。さらに、抽出した感情検出データＤに関連付けられた文字データをテキストデータＴＸから抽出することができる。例えば「怒り」又は「喜び」が「＋２」の文字データを抽出することで、顧客が何に対して強い「怒り」又は「喜び」を感じていたのか、客観的に評価することが
できる。このように音声認識によってテキストデータＴＸを生成することで、オペレータが通話内容を要約したキーワードを入力する場合に比べて、キーワードのばらつきの発生を抑制することができる。
【００５１】
また例えば、異なる製品に対して、「紙詰まり」という単語を含むテキストデータＴＸが複数蓄積された場合でも、「紙詰まり」に対する感情検出値Ｖ１の大きさによって、その製品に対する顧客満足度を客観的に評価し、この顧客満足度を製品開発にフィードバックさせることができる。このため、オペレータが顧客の感情に関する事項を入力する手間を省くことができるとともに、顧客の感情を判定する判定者の主観を取り除くことができる。
【００５２】
また、発話者コードＣ２がオペレータの識別子である感情検出データＤのうち、感情検出値Ｖが所定値以上のデータがあるか否かを判断し、検出された場合には、その感情検出値Ｖに関連付けられた文字データを判断することで、どのタイミングでオペレータにかかるストレスが増大したかを客観的に判定することができる。また、通話全体に対する感情検出値Ｖの推移に基づき、顧客とオペレータの感情の変化を計測し、「怒り」の感情検出値Ｖを小さくし、「喜び」の感情検出値Ｖを大きくするためのノウハウを蓄積し、そのノウハウを電話応対業務に反映させることができる。また、同一のオペレータＩＤ２１Ｅを有する履歴データ２１に関連付けられた感情検出データＤ又は全体感情検出データＴを抽出し、日毎、月毎、或いはそれ以外の期間で、所定の計算式に当てはめて、期間毎のオペレータの評価を行うことができる。
【００５３】
上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、コールセンターシステム１は、コールセンターのオペレータと顧客との通話による音声に対し音声認識を行い、通話内容を文字化したテキストデータＴＸを生成する音声認識装置１１を備える。また、通話音声の特徴量から求められる感情検出値Ｖ及び全体感情検出値ＶＴを検出し、テキストデータＴＸのうち、感情検出値Ｖを検出した認識対象区間Ｓに感情検出値Ｖを関連付ける感情認識装置１４を備える。さらに、テキストデータＴＸ及び感情検出値Ｖ及び全体感情検出値ＶＴを関連付けした状態で記憶するＤ／Ｂ管理装置１２を備える。従って、発話者の感情を推測することができる感情検出値Ｖと、その情報を検出した認識対象区間Ｓの文字データとをデータベースに格納することで、顧客満足度、オペレータのストレス判定、オペレータ評価等、多角的なデータ分析を行うことができる。
【００５４】
（２）上記実施形態では、音声認識装置１１は、顧客の通話音声、及びオペレータの通話音声に対して音声認識を行って顧客の発話による顧客テキストデータＴＸ２及びオペレータの発話によるオペレータテキストデータＴＸ３を生成する。感情認識装置１４は、各通話音声に基づいて、顧客の通話音声の感情検出値Ｖ１及び全体感情検出値ＶＴ及びオペレータの通話音声の感情検出値Ｖ２及び全体感情検出値ＶＴを検出する。また、感情認識装置１４は、テキストデータＴＸのうち、感情検出値Ｖを検出した認識対象区間Ｓに対応する区間に、顧客及びオペレータの感情検出値Ｖ１，Ｖ２を関連付ける。さらに、全体感情検出値ＶＴをテキストデータＴＸにそれぞれ関連付ける。このため、顧客側及びオペレータ側の両方の方向からデータ分析を行うことができるので、データ分析の自由度を向上させることができる。
【００５５】
（３）上記実施形態では、顧客の通話音声及びオペレータの通話音声が混在した両者通話音声に対して音声認識を行った両者テキストデータＴＸ１を生成する。また、感情認識装置１４は、両者通話音声に基づいて感情検出値Ｖ及び全体感情検出値ＶＴを検出し、両者テキストデータＴＸ１のうち、感情検出値Ｖを検出した認識対象区間Ｓに感情検出値Ｖを関連付ける。また、両者テキストデータＴＸ１に、全体感情検出値ＶＴを関連付ける。
このため、全体的な評価を行う際に、該データを用いることで、扱うデータ量を縮小し、検索処理等の処理量を軽減することができる。
【００５６】
（４）上記実施形態では、Ｄ／Ｂ管理装置１２は、テキストデータＴＸ及び感情検出データＤに、履歴データ２１を関連付けて格納する。このため、例えば、製品グループ２１Ｆ、製品型番２１Ｇ、オペレータＩＤ２１Ｅ、保留履歴２１Ｊ等に基づき検索を行い、製品グループ又は製品、オペレータ、保留履歴からみたデータ分析を行うことができる。このため、多角的なデータ分析を行うことができる。
【００５７】
（５）上記実施形態では、感情認識装置１４は、通話開始時から終了時までの間に設定された複数の認識対象区間Ｓに対し感情検出値Ｖを検出し、それらの感情検出値Ｖを、該感情検出値Ｖを検出した認識対象区間Ｓにそれぞれ関連付ける。即ち、単語単位、文節単位又は文章単位等で感情検出値Ｖを関連付けられるので、感情検出値Ｖが所定値以上又は以下の単語、文節又は文章単位等を抽出するなど、データ分析の自由度を向上させることができる。
【００５８】
尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、感情認識装置１４が、感情検出値Ｖと文字データとを関連付けるようにしたが、Ｄ／Ｂ管理装置１２が感情検出値Ｖと文字データとを関連付けるようにしてもよい。この場合、感情認識装置１４は、所定区間毎に感情検出値Ｖを検出し、Ｄ／Ｂ管理装置１２は、所定区間と認識対象区間Ｓとを照合して、感情検出値Ｖ及び文字データを関連付ける。
【００５９】
・履歴データ２１は、オペレータが通話内容を要約してオペレータ端末６に入力した応対内容データを含むようにしてもよい。
・上記実施形態では、テキストＴＸＴに感情検出値Ｖを関連付けたが、周波数、テンポ、強度等の音声の特徴量を関連付けてもよい。この場合でも、特徴量から顧客の感情の状態を推測することができるので、テキスト及び感情をパラメータとするデータ分析を行うことができる。
【図面の簡単な説明】
【００６０】
【図１】本実施形態のコールセンターシステムの概略図。
【図２】履歴情報記憶部の模式図。
【図３】音声データ登録装置のブロック図。
【図４】音声認識装置のブロック図。
【図５】テキストデータ及び感情検出データの模式図。
【図６】データベースの模式図。
【符号の説明】
【００６１】
１…データベースシステムとしてのコールセンターシステム、７…応対履歴登録手段としてのセンター管理装置、１１…音声認識手段としての音声認識装置、１２…通話情報記憶手段、制御手段、文字データ取得手段、検出データ取得手段としてのＤ／Ｂ管理装置、１５…感情検出手段、登録手段としての感情認識装置、２０…履歴情報記憶部、２１…応対履歴データとしての履歴データ、１００…データベース、Ｄ…感情検出データ、Ｓ…認識対象区間、ＴＸ…文字データとしてのテキストデータ、Ｖ…感情検出情報としての感情検出値、ＶＴ…感情検出情報としての全体感情検出値。
【図１】
2009175336.tif 000003
【図２】
2009175336.tif 000004
【図３】
2009175336.tif 000005
【図４】
2009175336.tif 000006
【図５】
2009175336.tif 000007
【図６】
2009175336.tif 000008