(57)【要約】【課題】発話者の困惑状態を定量評価する感情解析装置を提供する。【解決手段】人の発話音声をサンプリングして得たデジタル音声データから音圧レベル値を抽出する手段と、デジタル音声データの時系列を測定期間に区分する手段と、測定期間毎に音圧レベル値の平均値を算出する手段と、音圧レベル値が所定時間以上継続して基準値以下となっている状態を間（ま）として認識するとともに、測定期間毎に間の占める時間割合を求める手段と、音圧レベル値に応じて発話状態と無音状態とを認識するとともに、無音状態によって区切られる発話状態の単位時間当たりの発現回数を発話速度として測定期間毎に求める手段と、測定期間毎に平均音圧レベル値に応じた点数と発話速度に応じた点数と間の時間割合に応じた点数の合計点に応じた困惑の程度を示す評価点を適宜に出力する評価結果出力手段とを備えた感情解析装置としている。【選択図】  図１
2006267464.tif 000002
【特許請求の範囲】
【請求項１】
発話者の困惑状態を定量解析する感情解析装置であって、
マイクロホンから採取した人の発話音声をサンプリングして得たデジタル音声データから音圧レベル値を抽出する音圧抽出手段と、
デジタル音声データの時系列を所定の時間間隔毎の測定期間に区分する測定期間設定手段と、
測定期間毎に、音圧抽出手段が抽出した音圧レベル値の平均値を平均音圧レベル値として算出する平均音圧取得手段と、
音圧抽出手段が抽出する音圧レベル値が所定時間以上継続して基準値以下となっている状態を間（ま）として認識するとともに、測定期間毎に間の占める時間割合を求める間割合取得手段と、
音圧抽出手段が抽出する音圧レベル値に応じて発話状態と無音状態とを認識するとともに、無音状態によって区切られる発話状態の単位時間当たりの発現回数を発話速度として測定期間毎に求める話速取得手段と、
測定期間毎に、平均音圧レベル値に応じた点数と発話速度に応じた点数と間の時間割合に応じた点数とを求めるとともに、困惑の程度として各点数の合計点の値に応じた評価点を付与し、当該評価点に基づく評価結果を適宜に出力する評価結果出力手段と、
を備えた感情解析装置。
【請求項２】
発話者の困惑状態を定量解析する感情解析装置であって、
マイクロホンから採取した人の発話音声をサンプリングして得たデジタル音声データから音圧レベル値を抽出する音圧抽出手段と、
デジタル音声データの時系列を所定の時間間隔毎の測定期間に区分する測定期間設定手段と、
測定期間毎に、音圧抽出手段が抽出した音圧レベル値の平均値Ｂを求める平均音圧取得手段と、
音圧抽出手段からの音圧レベル値が所定の基準音圧レベル値ＢＳ１以下となる状態が所定の時間ｔ以上継続した状態を間（ま）として認識し、測定期間内における間の総時間Ｄ、間以外の状態の総時間をＣとして、測定期間内に占める間の割合ＥをＥ＝Ｄ／（Ｃ＋Ｄ）の式により求める間割合取得手段と、
音圧抽出手段からの音圧レベル値が所定の基準音圧レベル値ＢＳ２以上となる状態を発話状態とし、測定期間内に検出される単位時間当たりの発話状態の発現回数を発話速度Ｇとして求める話速取得手段と、
音声データの時系列において、初回の測定期間、あるいは初回から所定回数分の測定期間における部分を基準音声とし、当該基準音声における、平均音圧レベル値ＢＳ、間の割合ＥＳ、発話速度ＧＳを取得する基準値取得手段と、
測定期間毎に、平均音圧レベル値ＢとＢＳとの比に応じた点数と、間の割合ＥとＥＳとの比に応じた点数と、発話速度ＧとＧＳとの比に値に応じた点数とを取得するとともに、困惑の程度として各点数の合計点の値の範囲に応じた段階的な評価点を付与し、当該評価点に基づく評価結果を適宜に出力する評価結果出力手段と、
を備えた感情解析装置。
【請求項３】
コンピュータにインストールされるコンピュータプログラムであって、当該コンピュータに、
アナログ音声信号をＡ／Ｄ変換して得たデジタル音声データを取得する音声データ取得ステップと、
デジタル音声データの時系列を所定の時間間隔毎の測定期間に区分する測定期間設定ステップと、
測定期間毎に、音圧抽出手段が抽出した音圧レベル値の平均値を平均音圧レベル値として算出する平均音圧取得ステップと、
音圧抽出手段が抽出する音圧レベル値が所定時間以上継続して基準値以下となっている状態を間（ま）として認識するとともに、測定期間毎に間の占める時間割合を求める間割合取得ステップと、
音圧抽出手段が抽出する音圧レベル値に応じて発話状態と無音状態とを認識するとともに、無音状態によって区切られる発話状態の単位時間当たりの発現回数を発話速度として測定期間毎に求める話速取得ステップと、
測定期間毎に、平均音圧レベル値に応じた点数と発話速度に応じた点数と間の時間割合に応じた点数とを求めるとともに、困惑の程度として各点数の合計点の値に応じた評価点を付与し、当該評価点に基づく評価結果を適宜に出力する評価結果出力ステップと、
を実行させる感情解析プログラム。
【請求項４】
請求項３に記載の感情解析プログラムを記録したプログラム格納媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は人が発話したときの音声信号に基づいて発話者の感情を解析する感情解析装置に関する。
【背景技術】
【０００２】
発話した音声に基づいて感情を解析する技術は、例えば、以下の特許文献１に記載されている。感情解析は、例えば、コールセンターにおける顧客とオペレータとの通話音声を解析し、顧客の感情やオペレータの動揺などを素早く察知して適切な対応を行う、という用途、オペレータの適正判断や能力判定の用途などに適応可能である。
【特許文献１】特表２００３−５０８８０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来の感情解析は、主に、喜怒哀楽の感情を抽出することを目的としていた。しかし、コールセンターのオペレータは、顧客に対して平静に対応することが望ましく、喜怒哀楽を表面に出さないように訓練されている場合が多い。そのため、オペレータが何らかの「不安」を感じていたとしても、その感情を喜怒哀楽として顧客にぶつけるわけにはいかない。不安な状態が持続すれば、オペレータは、いずれ顧客に対して曖昧な応対をせざるを得なくなり、最終的には会話に破綻をきたす。そうなれば、顧客を激怒させ、企業に対する信用を失うことにもなりかねない。
【課題を解決するための手段】
【０００４】
本発明者らは、喜怒哀楽に比べ極めて繊細な感情である「不安」すなわち「困惑」を精度良く抽出しようと試みた。そして、この試みのために用意されたコールセンターにおけるオペレータと顧客との電話による会話の録音音声を企業におけるコールセンター部門の責任者など、顧客との応対技術に秀でた複数の人間に何度もその録音音声を試聴してもらい、オペレータの精神状態を指摘してもらった。その一方で、録音音声のサンプリングデータから抽出される音の特徴情報（音圧レベル、周波数など）を詳しく解析した。その結果、オペレータが困惑していると思われる状態では、サンプリングデータから抽出される所定の特徴情報に特定の変化があることが知見できた。本発明は、この知見に基づきなされたもので、その目的は、発話音声から「困惑」という感情を精度良く抽出し、その困惑の程度を定量評価できる感情解析装置を提供することにある。
【０００５】
上記目的を達成するための本発明は、発話者の困惑状態を定量解析する感情解析装置であって、
マイクロホンから採取した人の発話音声をサンプリングして得たデジタル音声データから音圧レベル値を抽出する音圧抽出手段と、
デジタル音声データの時系列を所定の時間間隔毎の測定期間に区分する測定期間設定手段と、
測定期間毎に、音圧抽出手段が抽出した音圧レベル値の平均値を平均音圧レベル値として算出する平均音圧取得手段と、
音圧抽出手段が抽出する音圧レベル値が所定時間以上継続して基準値以下となっている状態を間（ま）として認識するとともに、測定期間毎に間の占める時間割合を求める間割合取得手段と、
音圧抽出手段が抽出する音圧レベル値に応じて発話状態と無音状態とを認識するとともに、無音状態によって区切られる発話状態の単位時間当たりの発現回数を発話速度として測定期間毎に求める話速取得手段と、
測定期間毎に、平均音圧レベル値に応じた点数と発話速度に応じた点数と間の時間割合に応じた点数とを求めるとともに、各点数の合計点の値に応じた評価点に基づいて評価結果を適宜に出力する評価結果出力手段と、
を備えている。
【０００６】
また、マイクロホンから採取した人の発話音声をサンプリングして得たデジタル音声データから音圧レベル値を抽出する音圧抽出手段と、
デジタル音声データの時系列を所定の時間間隔毎の測定期間に区分する測定期間設定手段と、
測定期間毎に、音圧抽出手段が抽出した音圧レベル値Ｂの平均値を求める平均音圧取得手段と、
音圧抽出手段からの音圧レベル値Ｂが所定の基準音圧レベル値ＢＳ１以下となる状態が所定の時間ｔ以上継続した状態を間（ま）として認識し、測定期間内における間の総時間Ｄ、間以外の状態の総時間をＣとして、測定期間内に占める間の割合ＥをＥ＝Ｄ／（Ｃ＋Ｄ）の式により求める間割合取得手段と、
音圧抽出手段からの音圧レベル値Ｂが所定の基準音圧レベル値ＢＳ２以上となる状態を発話状態とし、測定期間内に検出される単位時間当たりの発話状態の発現回数を発話速度Ｇとして求める話速取得手段と、
音声データの時系列において、初回の測定期間、あるいは初回から所定回数分の測定期間における部分を基準音声とし、当該基準音声における、平均音圧レベル値ＢＳ、間の割合ＥＳ、発話速度ＧＳを取得する基準値取得手段と、
測定期間毎に、音圧レベルＢの平均値とＢＳとの比に応じた点数と、間の割合ＥとＥＳとの比に応じた点数と、発話速度ＧとＧＳとの比に値に応じた点数とを取得するとともに、困惑の程度として各点数の合計点の値の範囲に応じた段階的な評価点を付与し、当該評価点に基づく評価結果を適宜に出力する評価結果出力手段と、
を備えた感情解析装置とすればより好ましい。
【０００７】
本発明は、コンピュータにインストールされるコンピュータプログラムにも及んでおり、当該プログラムは、コンピュータに、
アナログ音声信号をＡ／Ｄ変換して得たデジタル音声データを取得する音声データ取得ステップと、
デジタル音声データの時系列を所定の時間間隔毎の測定期間に区分する測定期間設定ステップと、
測定期間毎に、音圧抽出手段が抽出した音圧レベル値の平均値を平均音圧レベル値として算出する平均音圧取得ステップと、
音圧抽出手段が抽出する音圧レベル値が所定時間以上継続して基準値以下となっている状態を間（ま）として認識するとともに、測定期間毎に間の占める時間割合を求める間割合取得ステップと、
音圧抽出手段が抽出する音圧レベル値に応じて発話状態と無音状態とを認識するとともに、無音状態によって区切られる発話状態の単位時間当たりの発現回数を発話速度として測定期間毎に求める話速取得ステップと、
測定期間毎に、平均音圧レベル値に応じた点数と発話速度に応じた点数と間の時間割合に応じた点数とを求めるとともに、困惑の程度として各点数の合計点の値に応じた評価点を付与し、当該評価点に基づく評価結果を適宜に出力する評価結果出力ステップと、
を実行させる感情解析プログラムとしている。また、当該感情解析プログラムを記録したプログラム格納媒体も本発明の範囲としている。
【発明の効果】
【０００８】
本発明の感情解析装置によれば、喜怒哀楽に比べ極めて繊細な感情である「困惑」状態を精度良く抽出し、その困惑の程度を定量評価することができる。
【発明を実施するための最良の形態】
【０００９】
＝＝＝感情の定量評価について＝＝＝
発話している人の感情やその発話の適正さは、音響出力された人の発話状態を学識経験者や専門家が試聴することで判断することができる。しかし、その判断結果を実際に数値として出力しない限り、コールセンター業務におけるオペレータや顧客の感情を自動的に察知して適切に対処したり、オペレータのスキルを客観的に評価したりすることが出来ない。
【００１０】
周知のごとく、入力した音声信号から音の特徴情報を抽出し、例えば、基本周波数（ピッチ）や音圧レベルの時間遷移、音声信号をフーリエ変換して得られる単位時間当たりの周波数分析結果（特徴パラメータ）などをグラフにして、発話状態を可視化するための音声分析装置がある（例えば、Kay Elemetrics Corp.製、CSL Computerized Speech Lab Model 4500など）。
【００１１】
そこで本発明者らは、コールセンターのオペレータが顧客と電話で会話したときの発話音声を音響出力しながら、音声分析装置による音の特性に関するグラフを表示し、学識経験者や専門家がこれらの情報について検討し、感情と所定の特徴情報の時間変位状態との相関関係を求め、感情や発話の適正さを定量化した。本発明の感情解析装置は、上記方法により知見した相関関係に基づいて発話音声に含まれる各種感情や発話の適正さを数値化して出力するものである。
【００１２】
＝＝＝感情解析装置の構成＝＝＝
本発明の感情解析装置は、例えば、オーディオカードが実装されたパーソナルコンピュータをハードウエアとし、そのコンピュータにインストールされた感情解析用のアプリケーションプログラム（以下、感情解析ソフト）を実行することで実現される。
【００１３】
図１に本発明の本実施例における感情解析装置の機能ブロック構成を示した。オーディオ信号処理部１０は、上記ハードウエア構成では、コンピュータに実装されたサウンドカードに相当する。オーディオ信号処理部１０は、マイクロホン１１から入力した発話者の音声信号をＡ／Ｄ変換してデジタル音声データを出力する。具体的には、サンプリング周波数８ｋＨｚ、量子化数１６ｂｉｔ、１チャンネル（モノラル）でサンプリングしたデジタル音声データに変換する。
【００１４】
音声分析部２０は、感情解析ソフトウエアによるデジタル音声データ処理に相当し、オーディオ信号処理部１０から順次転送されてくるデジタル音声データから基本周波数（ピッチ）、音圧レベルなどの音の特徴情報を抽出する機能２１と、特徴情報と特徴情報に基づいて求められる発話や間（ま）の持続時間、間の時間割合、特徴パラメータなどの２次情報とを音声分析パラメータとして取得する機能２２などを含んでいる。本実施例では、各音声分析パラメータのそれぞれについての重み付けや限定条件などを初期設定パラメータとし、その初期設定パラメータがユーザインタフェース４０におけるキーボードやマウスなどの操作入力部４１を介して入力されると、そのパラメータを所定形式のファイル（初期設定ファイル）５２としてコンピュータの外部記憶５０に記憶する。
【００１５】
音声分析部２０は、特定の音声分析パラメータと対応する初期設定パラメータとに基づいて、音声分析パラメータを抽出／取得するとともに、その音声分析パラメータに基づいて各種発話状態（感情：怒りや困惑など、発話の適正さ：発話速度、間の時間割合、明瞭さ、語尾の発音特徴など）を抽出する機能２３と、抽出した発話状態の程度や評価結果を求める機能２４とを備えている。音声分析部２０から出力される評価結果は、分析結果出力部３０により、適宜な形式のデータ（テキストや数値など）に変換され、例えば、ユーザインタフェース４０の出力装置（表示装置、印刷装置など）４２や外部記憶５０に評価結果ファイル５３として出力される。もちろん、音声信号出力や評価結果に相当するデータを他のコンピュータへ転送するなど、評価結果は、適宜な装置に、あるいは適宜な形式で出力することもできる。
【００１６】
なお、音声分析部２０は、オーディオ信号処理部１０にてリアルタイムでサンプリングされたデジタル音声データの他に、外部記憶５０に記録されているＷＡＶ形式などの所定形式の録音済み音声データファイル５１も処理対象とすることができる。また、マイクロホン１１から採取された発話音声を音声データファイル５０に作成して記録する機能２５も備えている。
【００１７】
＝＝＝音声分析パラメータ＝＝＝
音声分析部２０は、サンプリング周期毎に採取されるデジタル音声データの時間変位から特徴情報を抽出する。本実施例では、デジタル音声データの時系列をサンプリング周期より充分に長い期間（例えば、数秒間）を測定期間として区切り、各測定期間におけるデジタル音声データの時系列から、ピッチＡ、音圧レベルＢ、発話持続時間Ｃ、間の持続時間Ｄ、間の全体割合Ｅ、特徴パラメータＦ、発話速度Ｇを音声分析パラメータとして取得する。図２に測定期間の概念を示した。ある測定期間の終了時点と次の測定期間の開始時点とを時系列上で重複させることで、判定を均一化させている。また本実施例では、発話を開始した当初は、話者の感情が安定していると見なし、デジタル音声データにおける上記時系列において、最初あるいは初期の所定の測定期間、あるいは初期の所定回数分の測定期間に相当分を基準音声としている。そして、基準音声から取得される上記各分析パラメータの値を基準値として採用している。以下に各音声分析パラメータについて説明する。
【００１８】
＜ピッチ（Ａ）＞
音声の基本周波数（Ｈｚ）で、声の第1 倍音である。基準音声の平均ピッチをＡＳとする。測定期間あるいは所定の期間におけるピッチの平均値（平均ピッチ）をＡとする。
【００１９】
＜音圧レベル（Ｂ）＞
基準音声の平均音圧レベル（基準音圧レベル）をＢＳとする。単位はｄＢ（デシベル）であり、基準となる音圧を２０μＰａとし、音圧レベル値は、基準音圧レベルＢＳに対する倍数で示される。測定期間あるいは所定の期間における音圧レベルの平均値（平均音圧レベル）をＢとする。
【００２０】
＜持続時間（Ｃ）＞
一連の発話が続いている時間、音声群の持続時間を音圧の閾値より算出する。デジタル音声データから抽出される音圧レベルの時間変位より求める。単語、音節、文章のそれぞれの会話終了後、所定時間（例えば、０．３ 秒間）閾値以下の音圧レベルであれば、無音と判断する。なお、音圧レベルの閾値はユーザ入力により設定可能となっている。
【００２１】
＜間の持続時間（Ｄ）＞
会話において発話していない時間。すなわち、音圧レベルが上記ユーザ入力された音圧レベルの閾値以下で上記所定時間以上継続した状態を「間（ま）」とし、その間の持続時間を求める。
【００２２】
＜間の全体割合（Ｅ）＞
間の割合基準値をＥＳとする。会話の持続時間（Ｃ）と間の持続時間（Ｄ）から間の全体割合をＥ＝Ｄ／（Ｃ＋Ｄ）により算出する。
【００２３】
＜特徴パラメータ（Ｆ）＞
単位時間あたりの周波数を分析したものであり、話者のデジタル音声データをフーリエ変換することにより算出する。なお、特徴パラメータ基準値をＦＳとする。周知の通り、人間の声に含まれる周波数は、６０Ｈｚ〜1 万数千Ｈｚ まで広がっている。また、人の声の周波数を分析することで、話者の性別、年齢、身長、職業意識、体調等を読みとることができる。コールセンターのオペレータの適正を判断する際には、周波数分析を利用することにより、「通る声」かどうかを判定することが可能となる。「通る声」は、腹式発声ができていることが前提となり、腹式発声ができていると、声の周波数は２５００Ｈｚ〜３０００Ｈｚ周辺に集まってくる。なお、本実施例では、サンプリング周波数が８ｋＨｚであることから、分析可能な周波数の上限は４０００Ｈｚとなる。
【００２４】
＜発話速度（Ｇ）＞
単位時間あたりの単語の要素数。発話速度基準値をＧＳとする。発話速度は、音圧レベルが上記音圧レベルの閾値以下になった時点を境界とし、次の境界までを「発語の要素」と定義する。そして、単位時間当たりの発語の要素の数を発話速度としている。
【００２５】
＝＝＝困惑の定量化＝＝＝
本発明の感情解析装置は「困惑」という極めて繊細な感情を定量解析できる点に大きな特徴がある。図３は発話時の音圧レベルの変動を示すグラフである。このグラフ６０では、通常（初期）状態における音圧レベルの変動６１と、困惑状態であると専門家が判断したときの音圧レベルの変動６２とが示されている。「困惑状態」は「通常状態」と比べ、音圧レベルが１／９ 程度に下がっている。また、発話速度が低下し、間の割合が増加していることがこのグラフから見て取れる。感情解析装置１は、これらの変化を定量解析して困惑の度合いを数値出力する。
【００２６】
本実施例では、測定期間における音圧レベルＢ、発話速度Ｅ、間の全体割合Ｇの各音声分析パラメータの値について、その値の範囲に応じて所定の点数を付与する。そして、各音声分析パラメータについて付与された点数の合計点に応じた評価結果を出力する。図４に、本実施例における、上記各音声分析パラメータの値と点数との対応関係と、合計点数と困惑度との対応関係とを示した。音声分析部２０は、困惑状態を抽出するのに採用される上記各音声分析パラメータについて、測定期間における値が初期値に対してどの程度の比であるのかに応じ、段階的に点数（point）を出力するとともに、各音声分析パラメータに対する点数の合計値を算出する。そして、合計点の範囲に応じて困惑の程度を５段階で評価している。なお感情解析装置１は、各分析パラメータの値とポイントとの対応関係や合計点と評価点との対応関係を上述の初期設定パラメータとしてユーザ入力により受け付ける。
【００２７】
＝＝＝その他の感情・発話状態の評価＝＝＝
本実施例の感情解析装置は、上記困惑に加え、怒り、発話速度の適正さ、発話の間の適正さ、発話の明瞭さ、語尾の発音の特徴、語気の適正さ、抑揚の適正さの程度を数値出力する。
【００２８】
＜怒り＞
怒りの感情を含んだ発話状態には、ピッチＡの上昇、音圧レベルＢの上昇、発話速度Ｇの上昇が見られる。図５にこれらの音声分析パラメータの数値範囲に応じた点数の対応関係と、その点数の合計である怒りの点数に応じた段階評価点の対応関係とを例示した。
【００２９】
＜発話速度の適正さ＞
本実施例では、発話速度Ｇがある範囲以内に収まっているかどうかを評価する。図  ６に、本実施例における、発話速度の値と発話速度の適正さの段階評価点との対応関係を示した。
【００３０】
＜発話の間の適正さ＞
本実施例では、間の全体割合Ｅと発話速度Ｇとにより間の適正さを評価している。図７に発話の間の全体割合Ｅの値の範囲と点数と対応関係と、発話速度Ｇの値の範囲と点数との対応関係と、これらの音声分析パラメータの合計点と間の適正さの評価点との対応関係の例を示した。
【００３１】
＜発話の明瞭さ＞
発話が「明瞭」であると、「不明瞭」に比べ、音声の基本ピッチの変化が多くなるとともに、音圧も大きくなることが知見できた。本実施例では、ピッチの上下幅、音圧レベルの上下幅、特徴パラメータの分布状況に基づいて発話の明瞭さを評価している。図８にピッチの上下幅Ａ１の値の範囲と点数と対応関係と、音圧レベルの上下幅Ｂ１の値の範囲と点数との対応関係と、特徴パラメータＦ値の範囲と点数と対応関係と、これらの音声分析パラメータの合計点と発話の明瞭さの評価点との対応関係を示した。なお、ここでは、ピッチの上下幅Ａ１＝（最大ピッチ −最小ピッチ）、音圧レベルの上下幅Ｂ１＝（最大音圧レベル−最小音圧レベル）とし、基準音声についてのピッチの上下幅と音圧レベルの上下幅を、それぞれ、Ａ１Ｓ、Ｂ１Ｓとしている。
【００３２】
＜語尾の発音の特徴＞
本実施例では、間の直前２秒前から間の状態に至るまでの時間を「語尾」とし、その語尾におけるデジタル音声データを解析し、語尾におけるピッチＡ、音圧レベルＢ、特徴パラメータＦの値に基づいて、話者の発音の特徴として「問題なし」「幼稚」「事務的」「暗い」「その他」の５つの特徴に分類する。図９に上記各発話の特徴に該当するときの音声分析パラメータの値と点数との対応関係を例示した。
【００３３】
なお、発音の特徴は「問題なし（通常）」であれば、全てにおいて適性範囲内であり、「幼稚」であれば、音圧レベルの低下やピッチの上下動が認められる。「事務的」は、音圧レベル一定でピッチの上下動が無い。「暗い」は、特徴パラメータにおける周波数分布が狭い。すなわち複式発声ができておらず「通る声」になっていない。「その他」は前記いずれの特徴にも該当しない場合である。すなわち、各音声分析パラメータの値に応じた点数の合計が最も高い点数となった発話の特徴を評価結果とする。  具体的な評価手順としては、それぞれの発音の特徴ごとに、各音声分析パラメータの値に応じた点数を組にして設定しておく。そして、各発音の特徴毎に各音声分析パラメータに応じた点数を合計し、最も高い合計点となった発音の特徴を評価結果とする。例えば、語尾の平均音圧レベルＡ、語尾の平均ピッチＢ、語尾の平均特徴パラメータ値Ｆがそれぞれの基準値ＡＳ、ＢＳ、ＦＳに対する割合として、それぞれ８０％、５０％、２０％であったとする。「幼稚」では、音圧とピッチの数値が点数との対応関係に示された数値範囲に該当し、音圧に対する点数４０点とピッチに対する点数５０点を合計した９０点が「幼稚」の点数となる。
【００３４】
以下「事務的」「暗い」「問題なし」について同様に計算すると、それぞれの合計点は０点、１２０点、５０点となり、評価結果は「暗い」となる。なお、全ての発音の特徴について合計点が０〜７０点であった場合には「その他」となる。また、この例では「問題なし」「幼稚」「事務的」「暗い」「その他」の発音の特徴に対し、それぞれ０、１、２、３、４の評価点を出力することとしている。
【００３５】
＜語気の適正さ＞
語気の適正さは、上記発話の特徴を評価する際に採用した音声分析パラメータと同じパラメータに基づいて評価している。上記発話の特徴では、語尾部分を解析したのに対し、語気は「間」以外の全て会話部分を解析する。そして、ピッチの上下動変化、音圧レベルの適正さ、周波数分析による腹式発声の有無を総合的に判定し、評価点として出力するものである。図１０にピッチＡ）、音圧レベルＢ、特徴パラメータＦのそれぞれの音声分析パラメータについて、値と点数との対応関係、および合計点と評価点との対応関係を示した。
【００３６】
＜抑揚の適正さ＞
ピッチの上下幅によって抑揚の適正さを評価する。図１１に、本実施例における、ピッチの上下幅Ａ１の値の範囲と点数と対応関係と、点数と抑揚の適正さの評価点との対応関係とを示した。なお、ピッチの上下幅Ａ１は（最大ピッチ −最小ピッチ）である。
【００３７】
＝＝＝ユーザインタフェース＝＝＝
感情解析装置は、感情や発話状態の評価基準をユーザ入力により受け付ける設定パラメータ入力機能と、入力した設定パラメータとデジタル音声データとに基づいて各種感情や発話状態の評価結果を出力する結果提示機能とをＧＵＩにより提供している。図１２にデジタル音声データから特徴情報を抽出するなど基本的な初期設定パラメータを入力するための画面概略を示した。この画面７０には、ピッチを抽出する際に必要な各種設定パラメータを入力するための複数のテキストボックス群７１や、その他の設定パラメータを入力欄するためのテキストボックス群７２などが配設されている。この例では、ピッチを抽出するために、サンプリング周波数、窓関数の指定やその窓関数に適用するフレーム長、フレーム周期などを設定する。また、その他の設定パラメータとして、発話速度を測定する際に無音と判断すべき音圧レベルの閾値、間を検出する際に無音と判断すべき音圧レベルの閾値、間として判断するための閾値の継続期間の閾値、測定期間（ピリオド）の長さや、ピリオドにおける重複期間、あるいは、特徴パラメータを算出する際のフーリエ変換（ＦＦＴ）のフレーム長などの指定入力を受け付ける。
【００３８】
図１３は、特定の感情あるいは発話状態について各種設定パラメータを受け付けるための画面概略である。ここでは「困惑」に関する各種パラメータを入力するための画面８０を示した。この画面８０には、困惑を抽出するのに採用される、音圧レベル、発話速度、間の割合のそれぞれの各音声分析パラメータについて、閾値や重み付け、すなわち音声分析パラメータの値の範囲と点数との対応付けの指定を受け付けるためのテキストボックス群（８１〜８３）、および合計点と評価結果との対応関係を指定するための入力欄８４などが含まれている。
【００３９】
＝＝＝コールセンターでの適用例＝＝＝
本実施例の感情解析装置の応用形態として、実際にコールセンター業務への適用例を挙げる。オペレータが使用する電話機のマイクロホンからの通話音声を感情解析装置のオーディオ信号処理部へ入力する。感情解析装置は顧客の電話からの着信に応答した時点からデジタル音声データの処理を開始する。そして、顧客との通話中にオペレータの困惑状態の評価点を逐次出力する。
【００４０】
評価点の出力先をコールセンターの責任者が使用するコンピュータとすれば、責任者は、各オペレータの困惑状態を自身のコンピュータに表示出力される評価点により随時監視することができる。そして、あるオペレータについて重度の困惑状態を認めたならば、電話回線を自身の電話機に切り換える構成が考えられる。それによって、オペレータが顧客との会話に行き詰まる前に経験豊富な責任者を顧客に応対させ、顧客に不快な思いをさせずにコミュニケーションを円滑に継続させることができる。あるいは、困惑の評価点が所定以上（例えば、４以上）になると、その旨を責任者のコンピュータに通知したり、あるいは、自動的に電話回線を他のオペレータなどに切り換えたりするようにしてもよい。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施例における感情解析装置の機能ブロック図である。
【図２】上記感情解析装置における音声データの測定期間の概念図である。
【図３】発話者の通常状態と困惑状態での音圧レベルの変動グラフである。
【図４】困惑状態を評価するときの採点方法の概略図である。
【図５】怒りを評価するときの採点方法の概略図である。
【図６】発話速度の適正さを評価するときの採点方法の概略図である。
【図７】発話の間の正確さを評価するときの採点方法の概略図である。
【図８】発話の明瞭さを評価するときの採点方法の概略図である。
【図９】語尾の発話の特徴を評価するときの採点方法の概略図である。
【図１０】語気の適正さを評価するときの採点方法の概略図である。
【図１１】抑揚の適正さを評価するときの採点方法の概略図である。
【図１２】上記感情解析装置のＧＵＩにおいて全般的な設定パラメータを入力するための画面概略図ある。
【図１３】上記感情解析装置のＧＵＩにおいて困惑に関する設定パラメータを入力するための画面概略図である。
【符号の説明】
【００４２】
１  感情解析装置
１０  オーディオ信号処理部
１１  マイクロホン
２０  音声分析部
３０  分析結果出力部
４０  ユーザインタフェース
【図１】
2006267464.tif 000003
【図２】
2006267464.tif 000004
【図３】
2006267464.tif 000005
【図４】
2006267464.tif 000006
【図５】
2006267464.tif 000007
【図６】
2006267464.tif 000008
【図７】
2006267464.tif 000009
【図８】
2006267464.tif 000010
【図９】
2006267464.tif 000011
【図１０】
2006267464.tif 000012
【図１１】
2006267464.tif 000013
【図１２】
2006267464.tif 000014
【図１３】
2006267464.tif 000015