(57)【要約】【課題】喜怒哀楽などが激しい、聞き手に苦痛となるような音声の、感情成分を緩和し、心理的ストレスの少ない音声に変えてコールセンターのオペレータ等に聞かせる。【解決手段】入力音声信号から音量及びピッチ変動量を算出し、音量及びピッチ変動量が所定値を越える場合に、音量及びピッチ変動量が所定内に収まるように音量及びピッチを変換して出力するように制御する。【選択図】      図１
2004252085.tif 000002
【特許請求の範囲】
【請求項１】
入力音声信号から音量及びピッチ変動量を算出し、音量又はピッチ変動量が所定値を越える場合に、制御信号として音量・ピッチ変換手段に渡す音量・ピッチ変換制御手段と、
制御信号の値に従って、入力音声信号の音量又はピッチを変換して出力する音量・ピッチ変換手段と、
を有することを特徴とする音声変換システム。
【請求項２】
入力音声信号から音量及びピッチ変動量を算出し、音量又はピッチ変動量が所定値を越える場合に、制御信号として音量・ピッチ変換手段に渡す音量・ピッチ変換制御手段と、
前記制御信号の値に従って、入力音声信号の音量又はピッチを変換して出力する音量・ピッチ変換手段として機能させるための音声変換プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コールセンターなどのテレフォンオペレータ向け等に、利用者からの音声の感情部分を軽減する機能を持つ音声変換装置に関し、さらに詳しくは、入力された音声に含まれる喜怒哀楽などの感情を軽減または削除する変換を行う音声変換装置に係わる。
【０００２】
【従来の技術】
近年、各種の通信技術、連絡方法、会話手段が発達し、テレコミュニケーションやマルチメディア化などの更なる進展が予想されるが、顧客サービスや顧客満足度向上のためには、旧来からの、電話等の音声によるリアルタイムでの会話による方法が重要な場合が多い。このため、顧客からの質問、要望と共に、特に苦情等のクレーム対応を、電話で受け付ける各種のコールセンターが運用されているが、このようなコ−ルセンタ−で受けとる電話には、顧客の怒りに満ちた音声のものも多い。
【０００３】
ところで、このような音声に含まれる感情を把握しようとするものには、音量や音声信号のピッチやアクセント等の韻律などの音声情報に注目して、喜怒哀楽を認識しようとする例が開示されている（例えば、特許文献１、及び非特許文献１）。非特許文献１には、例えば、平静時の音声に対して「怒り」の音声では、音量に相当する「パワ−パタ−ン」が強く、単音内での変化も激しいこと、更には、ピッチの振幅の差が激しく高低差が見られること等が記載されている。また、一般的な音声応答システムのうち、入力音声の音声認識処理に関わるもので、更なる音声認識精度向上を目的としたものとして、音素単位の音声パターンを持つ音響モデルや音韻スペクトルなどに含まれる発声感情モデル部などから、話者の感情の度合いを認識する例、さらに、これら感情情報を同意、関心、つなぎ等の意図と併せ、音声認識理解に役立てる例が開示されている（例えば、特許文献２，３）。
【０００４】
さて、前記コールセンターの運用に関しては、最初に電話で応答するオペレータは各種の事情から女性であることが多い。顧客からの苦情、抗議などの場合には通常、怒りの感情が強く音声に含まれているため、女性オペレータにとっての苦痛はかなりのものになると考えらる。しかし、従来のコールセンターでは、利用者からの電話の音声をそのまま、オペレータに聞かせている。
【０００５】
【特許文献１】
特開平１１−１１９７９１号公報（第２−６頁、図１）
【０００６】
【特許文献２】
特開平９−８１６３２号公報（第２−３頁、図１）
【０００７】
【特許文献３】
特開２０００−７５８９４号公報（第２−３頁、図１）
【０００８】
【非特許文献１】
金城  良治、中村  かおり、長山  格  （琉球大学）
平成１２年度  電気学会・電子情報通信学会合同講演会論文集
”音声情報における感情表現の分析”（ＯＫＩ−２０００−１６）
【０００９】
【発明が解決しようとする課題】
従って、コールセンター等で、怒りの感情等が含まれている利用者からの電話の音声をそのまま、オペレータに聞かせた場合には、オペレータにとって苦痛になり、心理的に動揺することなどにより、回答がスムーズに行えなくなるなどの問題がある。そこで、本発明ではオペレータに心理的動揺を与えるような音声に含まれている感情成分を、軽減するかその部分を削除し、感情を抑えた音声に聞こえるように、所定以上の音量又は、所定以上のピッチ変動量に対して音声を変換し、オペレータに変換後の音声を聞かせることができるような機能を持たせることを目的としている。
【００１０】
【課題を解決するための手段】
入力音声信号から音量及びピッチ変動量を算出し、音量又はピッチ変動量が所定値を越える場合に、制御信号として音量・ピッチ変換手段に渡す音量・ピッチ変換制御手段と、制御信号の値に従って、入力音声信号の音量又はピッチを変換して出力する音量・ピッチ変換手段とから音声変換システムを構成する。また、請求求項２では、入力音声信号から音量及びピッチ変動量を算出し、音量又はピッチ変動量が所定値を越える場合に、制御信号として音量・ピッチ変換手段に渡す音量・ピッチ変換制御手段と、前記制御信号の値に従って、入力音声信号の音量又はピッチを変換して出力する音量・ピッチ変換手段として機能させるための音声変換プログラムとする。
【００１１】
音声信号に含まれる音声情報は大きく分けて韻律・音韻・音質の３つの要素から構成され、音声の感情を特徴づける要素は韻律であるとされる。さらに韻律は、振幅構造、ピッチ構造、時間構造の３つの概念からなる。振幅構造は、音声のパワ−（強勢）であり、音量である。ピッチ構造は、アクセント、イントネ−ション（抑揚）を含むもので、有声音の声帯振動によるピッチ（基本周波数）であり、音声の高さを示すものである。時間構造は、テンポ、リズムを特徴づけるものである。感情は話し方（韻律）と音質の両方に現れるが、より韻律に多く現れ、とくに音量や抑揚（イントネーション）の変動が大きくなったりする。このため、たとえば音量や抑揚の変動を抑えることにより、過度の感情が軽減されて聞こえる。本発明では、例えば、怒った声の場合には、抽出したピッチ成分の変動幅が非常に大きいので、平静状態の平均的ピッチ成分の変動幅を基準として、その基準値内の変動幅に圧縮するように音声をピッチ変換して、感情成分を抑えた音声をオペレータに聞かせるようにする。
【００１２】
【発明の実施の形態】
図１にコ−ルセンタ−での本発明の音声変換システムの１実施例を示す。図１において、１は発信者側の電話器、２は公衆回線、３は音声入力部、４は音量・ピッチ成分算出部、５は音量・ピッチ変動量許容値、６は音量・ピッチ変換制御部、７は音量・ピッチ変換部、８は音声出力部である。顧客である発信者側の電話器１からは、公衆回線２を通して、図示しないコ−ルセンタ−の内線交換機等を経由して、音声入力部３に音声が入力され、入力された音声は音量・ピッチ変換部７に渡されると同時に、音量・ピッチ成分算出部４に入力される。怒り等の感情成分を多く含んだ音声のピッチ成分は、周波数の変動が大きい、即ち振幅の大きな波形として抽出される。コ−ルセンタ−で受けた、怒りを含む音声の入力波形の例を図２に示す。本例では、『時間通りに来ない訳を教えて下さい』の発話音声の場合であるが、図２（ａ）は、入力波形そのものであり、縦軸は音量のレベル、横軸は時間であり、実質的には音声のパワ−（音量）を示すものである。図２（ｂ）は怒りを含む音声の入力波形のピッチ成分を抽出したものであり、縦軸は、指数表示での周波数、横軸は時間である。ピッチ成分は、有声音発生時の声帯の振動周波数を示すもので、波形の中断箇所は無声音のところであり、この波形の振幅は基本振動周波数の変化を示すことになる。
【００１３】
同じ言葉の平静時の発話音声の波形を図３に示す。図３（ａ）は平静時の音声のパワ−（音量）を示し、図３（ｂ）は平静時の音声の入力波形のピッチ成分を抽出したものを示す。この両波形から、一般的に怒りを含む場合の音量波形は振幅が大きく、また、ピッチ成分については、そのピッチ成分の上下幅が大きいことが分かる。ここでは、音量とピッチ成分に注目し、たとえば、音量を抑えピッチ成分の変動を抑えることにより、過度の感情が軽減されて聞こえることを利用する。即ち、音量・ピッチ成分算出部４の算出結果を入力された音量・ピッチ変換制御部６が、所定の音量・ピッチ変動量許容値５を参照して、その許容値を越える場合には、音量・ピッチ変換部７に制御信号を出力し、ピッチ変換手法により基準内のピッチ変動内に収めるように制御すると共に、音量もある基準値の範囲に抑えて音声を再生させ、音声出力部８から音声が出力される。即ち、音量波形については、例えば、閾値として、平静時の音量振幅の１．２倍とし、これ以上の音量を閾値を最大レベルとするように圧縮する。また、ピッチ成分に関しては、平静時の連続した有声音のピッチ成分の最大値と最低値との差分の周波数変化分をピッチ成分変動幅として、例えば、平静時の変動幅の１．１倍を許容値として、これを超える部分に関し許容値基準内に収めるようにピッチ変換を行う。また、ピッチ成分を抽出しピッチ変動量の算出を行う所定期間、及び、その所定時間に対応してピッチ変換を行う所定期間は同一期間であり、この期間を１つの解析区間とし、解析区間内を所定サンプリング周期で、入力された音声に含まれる基本周波数を求めてピッチ変動量を算出する。また対応する解析区間を同一の所定サンプリング周期で、ピッチ変換を行う。入力された音声が出力される迄に、最低この所定期間とコンピュ−タプログラムの演算処理時間を加算した遅延を生じるが、相対的に演算処理時間はごく短時間であり、相手への応答を考慮して、解析区間としての適切な所定期間を設定すればよい。また、所定サンプリング周期は、８ｋＨｚ／１１．０２５ｋＨｚ程度でも可能ではあるが、高品位の音声とするためには、４４．１ｋＨｚ程度とすることが望ましい。
【００１４】
【発明の効果】
以上説明したように、本発明によれば、音声部分から感情成分を軽減するか、あるいは削除することにより、聞き手の心理的ストレスを軽減することができる。
【図面の簡単な説明】
【図１】コ−ルセンタ−での本発明の１実施例
【図２】怒りを含む音声波形
【図３】平静時の音声波形
【符号の説明】
１  発信者側電話器
２  公衆回線
３  音声入力部
４  音量・ピッチ成分算出部
５  音量・ピッチ変動許容基準値
６  音量・ピッチ変換制御部
７  音量・ピッチ変換部
８  音声出力部
【図１】
2004252085.tif 000003
【図２】
2004252085.tif 000004
【図３】
2004252085.tif 000005