2-P-27
対話音声の感情認識における音響的特徴と言語的特徴の効果 ∗☆横山雅季, 森大毅 (宇都宮大), 有本泰子 (芝浦工大)
はじめに

1

Table 2: 感情ラベル推定精度

音声が伝達する感情の研究には, 感情ラベルが付与された音声対話コーパスが必要になる。様々な状況で言語的特徴のみの発話を得るためにはコーパスの併用が有効である

音響的特徴のみが, そのためには複数のコーパスで共通な感情ラベル

言語的特徴+音響的特徴

WAR(%)

UAR(%)

33.3
38.6
40.4

23.6
31.3
34.5を付与する必要がある。感情音声コーパスの共通化のため, 音響的特徴から感情ラベル推定を行う研究があるが, その推定精度は十分ではない [1]。
ところで, 既存のコーパスの感情ラベル推定には,コーパスが持つ転記テキストが利用できる。言語メッセージの選択には話者の感情が反映される [2] ため,転記テキストに含まれる言語情報の利用は感情ラベ
ル推定に有効だと考えられる [3, 4]。
本研究では, 既存の自然な感情音声コーパスに対する感情ラベル推定において, 音響的特徴に加えて言語的特徴を用いることの有効性を検討する。

感情ラベル推定実験

3.1

推定精度の比較

OGVC の 2 名以上一致ラベルを目的変数とした分類器 (SVM) を構築し, その性能を評価した。10 分割交差検証で評価した推定精度を Table 2 に示す。
WAR (Weighted Average Recall) は単純な正解率,
UAR (Unweighted Average Recall) は各感情ごとの正解率の平均である。言語的特徴または音響的特徴を単独で用いた場合に比べ, それらを組み合わせた場合の推定精度が向上していることがわかる。

音声資料と特徴量

2

3

3.2

音響的特徴の効果

感情ラベル推定のための学習・評価用のコーパスとFig. 1 に, 音響的特徴を単独で用いた場合の混同行して, 感情評定値付きオンラインゲーム音声チャット

列を示す。正解ラベルが FEA である発話 (1 行目) に

コーパス (OGVC)[5] を用いた。OGVC の感情ラベル

注目すると, SUR, SAD, NEU, JOY に誤る発話が多が付与されている 6578 発話のうち, 異なる 3 名の評いことが分かる。これは, 恐れ (FEA) と驚き (SUR),価者のうち 2 名以上が同一のラベルを付与した 3845

驚き (SUR) と悲しみ (SAD) が, プルチックの感情の発話を使用した。含まれているラベルは, 恐れ (FEA),円環において隣接しているため, もともと近い感情だ

驚き (SUR), 悲しみ (SAD), 嫌悪 (DIS), 怒り (ANG),ということが関係しており, 人間の混同傾向とも類似

期待 (ANT), 喜び (JOY), 受容 (ACC), 平静 (NEU),している [5]。

その他 (OTH) の 10 種類である。使用した発話の感情ラベルの内訳を Table 1 に示した。
各発話の転記テキストに対して形態素解析を行い,正解ラベルが FEA である発話のうち, 分類結果がFEA, JOY または SAD となった 66 発話を対象として, 音響的特徴を目的変数, 分類結果を説明変数(Bag-of-Words: BoW) を作成し, これを言語的特徴とした。予備実験の性能比較の結果を踏まえ, ストップとして t 検定による多重比較を行った (有意水準 5%，Bonferroni 補正)。その結果, 平均値の差が有意であった音響的特徴は 1581 次元中 501 次元であった。これ

ワード (極めて高頻度に出現する, 情報の少ない語) はらのうち, ラウドネスの 1%点 (音響的特徴 1) および除外していない。ただし, 今回は名詞を使用しなかっ

第 1 線スペクトル周波数の差分の最小位置 (音響的特た。本実験では 473 次元の特徴量ベクトルを用いた。

徴 2) の分布を Fig. 2 に示す。

各単語に対応する位置の値が 1 になるようなベクトル

音響的特徴には, Interspeech 2010 パラ言語チャレ
ンジのベースライン特徴量 (1581 次元)[6] を用いた。

Fig. 2(a) より, 誤って SAD または JOY に分類された発話はラウドネスの 1%点の値が小さい傾向があることがわかる。すなわち, これらの発話は, 無音区間を含む傾向がある。

Table 1: 感情ラベルの内訳 [%]
FEA
3.69

∗

SUR
14.7

SAD
6.32

DIS
8.71

ANG
6.16

ANT
11.1

JOY
15.5

ACC
7.88

NEU
20.8

OTH
5.20

一方, Fig. 2(b) より, 誤って JOY に分類された発話は, 第 1 線スペクトル周波数の差分の最小位置の値

Eﬀects of acoustic and linguistic features on the accuracy of emotion recognition from dialogue speech. byYOKOYAMA, Masaki, MORI, Hiroki (Utsunomiya University), ARIMOTO, Yoshiko (Shibaura Instituteof Technology)

日本音響学会講演論文集- 341 -

2017年3月

Fig. 1: 音響的特徴のみによる感情ラベル推定

Fig. 3: 言語的特徴+音響的特徴による感情ラベル推
定

**

*

0.3

取り除いた単語

FEA(%)

SAD(%)

JOY(%)なし (baseline)
「きゃあ」

19.1
17.0
17.0

17.0
19.9
20.6

14.9
17.0
17.0

「死ぬ」

17.0

20.6

17.7

0.1

Table 3: 恐れ (FEA) の推定精度に影響する単語

0.2

0.4

**

「やばい」

0.0

lspFreq_sma_de[0]_minPos

0.00 0.05 0.10 0.15 0.20 0.25 0.30

pcm_loudness_sma_percentile1.0

*

FEA

SAD

JOYFEA

SAD

Predicted labelPredicted label(a) 音響的特徴1(b) 音響的特徴2

JOYが大きい傾向がある。この特徴量は, スペクトルの変化が最小となる時刻を意味していると考えられ, 発話末の音節が引き伸ばされた場合に値が大きい傾向がある。JOY に分類された発話には, 「あー」, 「待ってー」, 「ひゃー」のように発話末の音節が引き伸ばされているものが多く存在していた。

3.3

おわりに

4

Fig. 2: FEA の推定に関連する特徴量

本稿では, 音響的特徴に加えて言語的特徴を用いることで感情ラベル推定の精度が向上することを示した。また, 正解ラベルが FEA の発話に対して, 推定に寄与する音響的特徴と言語的特徴を調べた。今後の課題として，単語の埋め込み表現を利用した言語的特徴による推定精度の向上が挙げられる。

参考文献

言語的特徴の効果

Fig. 3 に, 音響的特徴と言語的特徴を組み合わせた場合の混同行列を示す。言語的特徴を加える事で, 正解ラベルが FEA である発話が正しく分類された割合は 7.8%から 19.1%に向上した。そこでどのような単語が FEA の推定に貢献したかを, 実際の発話に含まれる単語を確認して調べたところ,「やばい」, 「きゃあ」, 「死ぬ」などがあった。この単語を 1 つずつ削除して結果がどう変わるか調べた。その結果を Table 3に示す。どの単語も削除することで FEA と推定され[1] 永岡 他，音講論 (春), 415–416, 2015.
[2] 東中 他，人工知能，31(5), 664–670, 2016.
[3] 有本 他，自然言語処理，14(3), 147–163, 2007．
[4] Nomoto et al., in Proc. Interspeech 2011, 1545–1548, 2011.
[5] Arimoto et al., Acoust. Sci. Tech., 32(1), 26–29,
2011．
[6] Schuller et al., in Proc. Interspeech 2010, 2794–2797, 2010．

た発話の割合が低下し, SAD や JOY と判定された発話の割合が増加した。したがって, これらの単語はFEA の推定に寄与していると考えられる。

日本音響学会講演論文集- 342 -

2017年3月