(57)【要約】【課題】従来よりも高い精度で発話の満足性の判定を行うことができる技術を提供する。【解決手段】通話に含まれる各発話を構成する各フレームの基本周波数を抽出する基本周波数抽出部と、抽出された基本周波数の変化量である局所変化量を計算する局所変化量計算部と、計算された通話に含まれる各発話の基本周波数の局所変化量の平均及び分散である局所変化量統計量を計算する局所変化量統計量計算部と、計算された局所変化量統計量に基づいて、計算された局所変化量が特異であるかを判定する局所変化量特異判定部と、発話に特異であると判定された局所変化量が所定の閾値以上含まれている場合には、発話は発話をした者が満足していない発話であると判定する満足判定部と、を備えている。【選択図】図１
2018081125.tif 000002
【特許請求の範囲】
【請求項１】
通話に含まれる各発話を構成する各フレームの基本周波数を抽出する基本周波数抽出部と、
上記抽出された基本周波数の変化量である局所変化量を計算する局所変化量計算部と、
上記計算された上記通話に含まれる各発話の基本周波数の局所変化量の平均及び分散である局所変化量統計量を計算する局所変化量統計量計算部と、
上記計算された局所変化量統計量に基づいて、上記計算された局所変化量が特異であるかを判定する局所変化量特異判定部と、
上記発話に上記特異であると判定された局所変化量が所定の閾値以上含まれている場合には、上記発話は上記発話をした者が満足していない発話であると判定する満足判定部と、
を含む満足判定装置。
【請求項２】
請求項１の満足判定装置において、
上記発話から韻律特徴を抽出する韻律特徴抽出部と、
上記発話から言語特徴量を抽出する言語特徴量抽出部と、を更に含み、
上記満足判定部は、上記抽出された韻律特徴及び言語特徴量の少なくとも一方を更に用いて、上記発話は上記発話をした者が満足した発話であるか否かを判定する、
満足判定装置。
【請求項３】
基本周波数抽出部が、通話に含まれる各発話を構成する各フレームの基本周波数を抽出する基本周波数抽出ステップと、
局所変化量計算部が、上記抽出された基本周波数の変化量である局所変化量を計算する局所変化量計算ステップと、
局所変化量統計量計算部が、上記計算された上記通話に含まれる各発話の基本周波数の局所変化量の平均及び分散である局所変化量統計量を計算する局所変化量統計量計算ステップと、
局所変化量特異判定部が、上記計算された局所変化量統計量に基づいて、上記計算された局所変化量が特異であるかを判定する局所変化量特異判定ステップと、
満足判定部が、上記発話に上記特異であると判定された局所変化量が所定の閾値以上含まれている場合には、上記発話は上記発話をした者が満足していない発話であると判定する満足判定ステップと、
を含む満足判定方法。
【請求項４】
請求項１又は２の満足判定装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声技術に関する。特に発話の満足性を判定する技術に関する。
【背景技術】
【０００２】
コールセンタの運営において、発話から顧客が満足しているかを判定する（以降、顧客満足判定と呼ぶ。）技術が求められている。この技術は、顧客が満足した頻度をオペレータごとに集計することでオペレータ評価を自動化する、満足した発話を音声認識しテキスト解析することで顧客の要望を調査する、などに応用可能である。
【０００３】
上記の類似技術として、通話から顧客の満足や不満、怒りを推定する技術が非特許文献１，２で提案されている。非特許文献１では、顧客の話速などの話し方特徴と、競合他社の製品名の有無などの言語的特徴を用いて顧客の満足／不満推定を行う。非特許文献２では、顧客の声の高さや大きさなどの韻律特徴と、相槌の頻度などの対話特徴を用いて顧客の怒り／非怒りを推定する。いずれの技術でも、機械学習技術を用いて大量の通話から各特徴量と顧客の満足／不満・怒りとの関係性を学習し、推定に利用する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Youngja Park, Stephen C. Gates, “Towards Real-Time Measurement of Customer Satisfaction Using Automatically Generated Call Transcripts”, in Proceedings of the 18th ACM conference on Information and knowledge management, p.1387-1396, 2009.
【非特許文献２】野本済央、小橋川哲、田本真詞、政瀧浩和、吉岡理、高橋敏、”発話の時間的関係性を用いた対話音声からの怒り感情推定,” 電子情報通信学会論文誌、Vol.J96-D, No. 1, p. 15-24, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
顧客の満足は、声の高さの局所的な変化との関連性が深い。例えば、顧客が満足した発話では喜びの表出として声の高さが急激に上昇するなど、声の高さの局所的な変化が特異的となる傾向がある。しかし、従来技術では、発話単位での声の高さの統計量を韻律特徴量として利用しており、声の高さの局所的な変化は韻律特徴量に反映されにくい。結果として、満足判定の精度が低下している恐れがある。
【０００６】
この発明の目的は、従来よりも高い精度で発話の満足性の判定を行うことができる満足判定装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
この発明の一態様による満足判定装置は、通話に含まれる各発話を構成する各フレームの基本周波数を抽出する基本周波数抽出部と、抽出された基本周波数の変化量である局所変化量を計算する局所変化量計算部と、計算された通話に含まれる各発話の基本周波数の局所変化量の平均及び分散である局所変化量統計量を計算する局所変化量統計量計算部と、計算された局所変化量統計量に基づいて、計算された局所変化量が特異であるかを判定する局所変化量特異判定部と、発話に特異であると判定された局所変化量が所定の閾値以上含まれている場合には、発話は発話をした者が満足していない発話であると判定する満足判定部と、を備えている。
【発明の効果】
【０００８】
声の高さの局所的な変化が特異的かどうかに基づいて発話の満足性を判定することにより、従来よりも高い精度で発話の満足性の判定を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】満足判定装置の例を説明するためのブロック図。
【図２】満足判定方法の例を説明するための流れ図。
【図３】局所変化量の計算の例を説明するための図。
【発明を実施するための形態】
【００１０】
［実施形態］
以下、この発明の実施形態について説明する。
【００１１】
満足判定装置は、図１に示すように、音声区間検出部１０１、基本周波数抽出部１０２、局所変化量計算部１０３、局所変化量統計量計算部１０４、局所変化量特異判定部１０５及び満足判定部１０６を例えば備えている。
【００１２】
満足判定方法は、満足判定装置の各部が、図２及び以下に説明するステップＳ１０１からステップＳ１０６の処理により例えば実現される。
【００１３】
＜暗号化部１１＞
＜音声区間検出部１０１＞
音声区間検出部１０１には、通話の音声信号が入力される。通話の例は、例えば、コールセンタに電話をした顧客とそのコールセンタのオペレータとの間の通話である。
【００１４】
音声区間検出部１０１は、入力された通話の音声信号に音声区間検出技術を適用することにより、顧客の発話を少なくとも１つ得る（ステップＳ１０１）。得られた顧客の各発話は、基本周波数抽出部１０２に出力される。
【００１５】
音声区間検出技術として、パワーの閾値処理に基づく手法、音声／非音声モデルの尤度比に基づく手法等の既存の音声区間検出技術を用いることができる。パワーの閾値処理に基づく手法では、音声信号のパワーが所定の閾値以上である区間を、顧客の発話とする。
【００１６】
＜基本周波数抽出部１０２＞
基本周波数抽出部１０２には、顧客の各発話が入力される。
【００１７】
基本周波数抽出部１０２は、入力された顧客の各発話に対し、発話に対応する基本周波数系の列を抽出する。言い換えれば、基本周波数抽出部１０２は、通話に含まれる発話を構成する各フレームの基本周波数を抽出する（ステップＳ１０２）。抽出された基本周波数は、局所変化量計算部１０３に出力される。
【００１８】
例えば、基本周波数を抽出するために、自己相関に基づく手法（例えば、参考文献１）を用いることができる。もちろん、他の基本周波数抽出手法を用いてもよい。
【００１９】
〔参考文献１〕
板橋秀一、「音声工学」, 森北出版株式会社, 2006, pp.104-105
抽出後の基本周波数系の列に対して、平滑化を行ってもよい。平滑化の手法として、例えばメディアンフィルタを用いる手法を用いることができる。
【００２０】
＜局所変化量計算部１０３＞
局所変化量計算部１０３には、基本周波数抽出部１０２が抽出した基本周波数が入力される。
【００２１】
局所変化量計算部１０３は、基本周波数系の列から、基本周波数の局所変化量を求める。言い換えれば、局所変化量計算部１０３は、抽出された基本周波数の変化量である局所変化量を計算する（ステップＳ１０３）。計算された局所変化量は、局所変化量統計量計算部１０４及び局所変化量特異判定部１０５に出力される。
【００２２】
局所変化量は、例えば基本周波数の一次回帰による勾配とする。すなわち、例えば図２に示すように、ある時刻から前後（例えば前後50ミリ秒）に含まれる基本周波数を用いて一次の回帰分析を行い、得られた回帰直線の傾きを局所変化量とする。この処理を発話全体の基本周波数に適用することで発話全体の基本周波数の局所変化量を得ることができる。局所変化量計算部１０３は、通話を構成する各発話について、この処理を行う。
【００２３】
＜局所変化量統計量計算部１０４＞
局所変化量統計量計算部１０４には、局所変化量計算部１０３が計算した基本周波数の局所変化量が入力される。
【００２４】
局所変化量統計量計算部１０４は、通話全体の基本周波数の局所変化量から平均と分散を求め、通話全体の基本周波数の局所変化量統計量とする。言い換えれば、局所変化量統計量計算部１０４は、通話に含まれる各発話の基本周波数の局所変化量の平均及び分散である局所変化量統計量を計算する（ステップＳ１０４）。計算された局所変化量統計量は、局所変化量特異判定部１０５に出力される。
【００２５】
この通話全体の基本周波数の局所変化量統計量は、「その通話においてその発話をした者がどのような抑揚の付け方をするか」を表現する。例えば分散が大きい場合は、抑揚をつけた話し方をする者であると考えられる。
【００２６】
＜局所変化量特異判定部１０５＞
局所変化量特異判定部１０５には、局所変化量計算部１０３が計算した基本周波数の局所変化量及び局所変化量統計量計算部１０４が計算した局所変化量統計量が入力される。
【００２７】
局所変化量特異判定部１０５は、時刻ごとの基本周波数の局所変化量から、その時刻の局所変化量が特異であったかどうかを判定する。言い換えれば、局所変化量特異判定部１０５は、局所変化量計算部１０３で計算された局所変化量統計量に基づいて、局所変化量統計量計算部１０４で計算された局所変化量が特異であるかを判定する（ステップＳ１０５）。判定結果は、満足判定部１０６に出力される。局所変化量が特異であった場合の判定結果を「特異判定」と呼び、局所変化量が特異であった場合の判定結果を「非特異判定」と呼ぶことにする。
【００２８】
特異であると判定された場合、その時刻では通話している者において特異的な声の高さの上昇または下降が発生したといえ、これらはその者が満足したかどうかに関連する。
【００２９】
特異であったかどうかの判定には、通話全体の基本周波数の局所変化量統計量（例えば、平均及び分散）により求まる正規分布と所定の信頼水準を例えば利用する。通話全体の基本周波数の局所変化量統計量と信頼水準から、信頼区間の範囲が定まる。時刻ごとの基本周波数の局所変化量について、信頼区間に入る場合は特異でない、入らない場合は特異として判定結果を返す。信頼水準は例えば95%とする。
【００３０】
＜満足判定部１０６＞
満足判定部１０６には、局所変化量特異判定部１０５による得られた判定結果が入力される。
【００３１】
満足判定部１０６は、時刻ごとの特異であるか否かの判定に基づき、発話ごとに満足判定結果を返す（ステップＳ１０６）。満足判定結果は、例えば、その発話において発話をした者が満足しているか否かの2値とする。
【００３２】
例えば、ある顧客の発話において、その発話内に時刻ごとの特異判定が所定の閾値以上含まれる場合は、その発話を、発話をした者が満足していない発話とみなす。そうでない場合は、その発話を、発話をした者が満足した発話であるとみなす。所定の閾値は例えば２とする。これは声の高さの急激な上昇と下降が少なくとも一組以上発生したケースに対応する。所定の閾値は２以外の正の整数であってもよい。
【００３３】
［第二実施形態］
第二実施形態の満足判定装置及び方法は、従来技術で利用されている発話ごとの韻律特徴や言語特徴を更に利用して満足判定を行う。発話ごとの韻律特徴や言語特徴を更に利用することにより、判定の精度の更なる向上が期待できる。
【００３４】
以下、第一実施形態と異なる部分を中心に説明する。第一実施形態と同様の部分については重複説明を省略する。
【００３５】
第二実施形態の満足判定装置は、図１に点線で示す、韻律特徴抽出部２０１及び言語特徴抽出部２０２を更に備えている。
【００３６】
＜韻律特徴抽出部２０１＞
韻律特徴抽出部２０１には、音声区間検出部１０１で得られた顧客の各発話が入力される。
【００３７】
韻律特徴抽出部２０１は、顧客の各発話から韻律特徴を求める。求まった韻律特徴は、満足判定部１０６に出力される。
【００３８】
韻律特徴は、声の高さや大きさ、話速の統計量（例えば、平均、分散等）を少なくとも１つ以上含む情報である。
【００３９】
＜言語特徴抽出部２０２＞
言語特徴抽出部２０２には、音声区間検出部１０１で得られた顧客の各発話が入力される。
【００４０】
言語特徴抽出部２０２は、顧客の各発話から言語特徴を求める。求まった言語特徴は、満足判定部１０６に出力される。
【００４１】
言語特徴は、フィラー数や競合製品名、競合他社名などの出現数を少なくとも１つ以上含む情報である。
【００４２】
＜満足判定部１０６＞
第二実施形態の満足判定部１０６には、韻律特徴抽出部２０１で求まった韻律特徴及び言語特徴抽出部２０２で求まった言語特徴が入力される。
【００４３】
第二実施形態の満足判定部１０６は、時刻ごとの特異判定に加え、発話ごとの韻律特徴及び言語特徴の少なくとも一方を更に利用して、発話ごとに顧客満足判定結果を求める。言い換えれば、第二実施形態の満足判定部１０６は、韻律特徴及び言語特徴量の少なくとも一方を更に用いて、発話は発話をした者が満足した発話であるか否かを判定する。
顧客満足判定結果とは、その発話において顧客が満足しているか否かの２値とする。
【００４４】
顧客満足判定結果は、１つ以上の特徴量のしきい値判定の結果の組合せにより例えば決定する。例えば、発話内に時刻ごとの特異判定が所定の閾値以上含まれており、かつ、韻律特徴のうち基本周波数の平均値がしきい値以上である場合に満足であると判定する。これは、平均的に声が高く、かつ、声の高さの急激な上昇現象が発生した場合に顧客が満足したと判定していることに相当する。
【００４５】
所定の閾値は、所望の結果が得られるように適宜決定される。所定の閾値は、機械学習により決定されてもよい。
【００４６】
[プログラム及び記録媒体]
満足判定装置における各処理をコンピュータによって実現する場合、満足判定装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、満足判定装置の処理がコンピュータ上で実現される。
【００４７】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４８】
また、各処理手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４９】
[変形例]
その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【符号の説明】
【００５０】
１０１  音声区間検出部
１０２  基本周波数抽出部
１０３  局所変化量計算部
１０４  局所変化量統計量計算部
１０５  局所変化量特異判定部
１０６  満足判定部
２０１  韻律特徴抽出部
２０２  言語特徴抽出部
【図１】
2018081125.tif 000003
【図２】
2018081125.tif 000004
【図３】
2018081125.tif 000005