情報処理学会研究報告
IPSJ SIG Technical Report

ボトルネック特徴量を用いた感情音声の認識
向原 康平1,a)

サクリアニ サクティ1

グラム ニュービック1

戸田 智基1

中村 哲1

概要：音声認識システムは一般に広く使われるようになっており，感情のこもった音声を自動認識する機会が多くなってきた．しかし，感情の揺らぎは音声に影響を与え，平静音声を想定している通常の音声認識システムでは認識精度の低下を引き起こす．本研究では感情音声の入力に対する認識精度向上のため，
ディープニューラルネットワークを用いて作成するボトルネック特徴量に着目する．ボトルネック特徴量とは，隠れ層のノード数を少なくしたボトルネック構造のニューラルネットワークから抽出する特徴量である．ボトルネック特徴量は特徴量強調が行われ、感情音声のゆらぎに左右されない音素の本質的な成分を抽出することができると考えられる．ボトルネック特徴量を用いたモデルを感情音声の認識に用いた結果，
通常の音声認識モデル，感情に対して適応学習を施したモデルと比べて音声認識精度の向上が確認できた．
キーワード：感情音声認識，ボトルネック特徴量，ディープニューラルネットワーク

Bottleneck Features for Emotional Speech Recognition
Kohei Mukaihara1,a)Sakriani Sakti1

Graham Neubig1

Tomoki Toda1

Satoshi Nakamura1

Abstract: Automatic speech recognition (ASR) system is used for emotional speech. However emotion infulence speech signal. Therefore emotional speech degrades ASR quality. In this study, we focus on bottleneck
features for emotional speech recognition. The bottleneck features are made by deep neural network hidden
layer which has small number nodes than other layer. We think bottoleneck sturucture can extract featuresand bottleneck features represent phoneme essential features. By using bottleneck features for emotional
speech recognition, we confirm improvement results compared with emotion adaptation model and normal
model.
Keywords: emotional speech recognition, bottleneck features, deep neural network

1. はじめに

通常，音声認識では平静状態で発声された音声情報と言語情報の関係をモデリングするため，感情音声をそのま

音声認識は技術的な発展からめざましい進歩 [1] を遂げ

ま音声認識システムに入力した場合，認識精度は低下すているが，その認識精度が発話の環境や性質に強く依存する [4]．従来，感情音声の認識には音声の感情状態や変動にることは依然として大きな問題である．例えば雑音のある対して適応学習手法が用いられてきた．音声特徴量に対し野外や残響の発生するホール，人間が感情を込めた音声 [2]て適応学習する手法 [5] や発話の内容に対して適応学習すを入力する場合などがあげられる．このような問題に対しる手法 [6] である．適応学習手法は適応のターゲットとなて，周囲の環境による影響を軽減するための雑音除去や残る感情とテストデータの感情が一致している場合、認識精響除去 [3] は多く行われているものの、人間の感情に対応度の向上が見込めるが、一致しない場合は認識精度の向上

した音声認識システムはまだ少ない．

は見込めない．また感情に関して適応モデルを作成する場
合，モデルの数は定義する感情の個数必要になる．

1a)

奈良先端科学技術大学院大学 情報科学研究科
Graduate School of Information Science, Nara Institute of
Science and Technology (NAIST), Japan.
mukaihara.kohei.me4@is.naist.jp

c 2012 Information Processing Society of Japan⃝

本研究では従来法の問題点を解決するために，ディープ
ニューラルネットワークを用いたボトルネック特徴量 [7]1情報処理学会研究報告
IPSJ SIG Technical Reportの抽出を感情音声の認識に用いる手法を提案する．ボトルことを前節で述べた．これは与えられた単語 W から特徴

ネック特徴量はニューラルネットワークの中間層のユニッ量ベクトル系列 X が生成される確率をモデル化したもの

ト数を少なく抑えるボトルネック構造のネットワークからである [9]．通常，単語 W から直接 X を推定されること抽出される．ボトルネック構造の中間層で抽出している特はなく単語を構成する音素単位でモデル化されるのが一般

徴は入力特徴量を次元圧縮し，入力の代表的な特徴を表現的である．単語と音素列の関係は発音辞書と呼ばれる辞書

した値になっていると考えられる．本研究では感情音声をによって定義されている．音響モデルは音素と音声特徴量

ネットワークに入力し，音素を出力のターゲットとして学を隠れマルコフモデル（HMM: Hidden Markov Model）を習を行う．そのため感情による音素のゆらぎに影響の少な

用いてモデル化する．

い特徴量になって出力されることが期待される．従来法とHMM の各状態に対する出力確率はその音素に対する音比較すると，感情を含む音声をすべて使ってネットワーク

声特徴量の分布を決定するモデルで決まる．このモデル化を作成することができるため，感情に合わせてモデルを作は混合ガウス分布（GMM: Gaussian Mixture Model）やる必要がなくどの感情にも対応できる．

ディープニューラルネットワークなどで行われる [10]．

実験では通常のモデル，感情適応モデル，ボトルネック
特徴量モデルのそれぞれに対して感情音声を認識させた．

2.3 MLLR 適応

その結果，ボトルネック特徴量モデルはモデルを複数作る

音声認識には発話者のごく少量の音声を用いて発話者ことなく，他のモデルと比べて感情音声の認識精度の改善の発声の音響的な特徴をシステムに適応させる話者適応が確認できた．

化 [11] という技術がある．感情音声においても適応学習が使われる [12]．ここではその代表例の一つである最尤回帰

2. GMM/HMM 音声認識

（MLLR: Maximum Likelihood Linear Regression）法につ本研究では感情音声に対して音響モデルの対応を行うこ

いて説明を行う．MLLR 法は少ない学習データ量でも高いとで認識精度向上を図る．本節ではその時に用いられる，性能が期待できるため話者適応において広く用いられてき音響モデルとその適応学習について説明を行う．

た．MLLR 法は HMM の持つ各ガウス分布の平均ベクトル µ=(µ1 ,..., µn ) を変換させることで行われる．式 (4) に

2.1 音声認識の定式化
音声認識は，入力音声系列から得られるフレーム単位の特徴量ベクトル系列 X を用いて単語列 W を求める問題としてとらえることができる．この問題は以下のように定式

クトルの次元数を表している．

µ̂ = Aµ + b(1)W

この問題における P ( W | X) は直接推定する代わりに，ベルである．この A, b を尤度最大化基準で推定する．全てのガウス分布で一つの A ,b を共有する場合は入力データ量が少ない場合でもモデルの変化が見込め，性能改善が期

イズの定理を用いて以下のように変形することが一般的で

待できる．

ある．

3. 提案手法

Ŵ = argmax
W

P (W ) P ( X| W )
P (X)

(4)

ここで A は n × n の行列であり，b は次元数 n のベクト化することができる [8]．

Ŵ = argmax P ( W | X)

µ に関するアフィン変換の式を示す．この時，n は特徴ベ

(2)

本研究ではボトルネック構造のディープニューラルネッ
トワークから抽出するボトルネック特徴量を用いて，感情

この時，P (X) は音声認識の結果に関わらず音声特徴量に音声を入力とした場合の認識精度向上を図る．本章では提より一定となり，分母にある P (X) は結果には影響を与え案手法を構成する要素についてそれぞれ説明を行う．まずないため，取り除くことができる．

ネットワークから得た特徴量を音声認識に用いる TandemŴ = argmax P (W ) P ( X| W )(3)W

与えられた特徴量ベクトル系列に対して式 (3) を満たす W

アプローチ [13] について説明を行う．その後ボトルネック
特徴量について説明を行い，最後にネットワークがどのよ
うに学習されるか説明を行う．

を決定するのが音声認識の計算になる．音声認識においてP (W ) を言語モデル，P ( X| W ) を音響モデルと呼ぶ．本
研究では音響モデルを取り扱うことで感情音声の認識精度を向上させる．

3.1 Tandem アプローチ
Tandem アプローチはディープラーニングが音声認識に適用される前から提案されてきた MLP （Multi Layer

Perceptron） と GMM の複合アプローチである [14]．音声
2.2 音響モデル
音響モデルは音声認識において P ( X| W ) で表現される

c 2012 Information Processing Society of Japan⃝

認識ではより高い認識性能を実現するために特徴量選択や特徴量抽出の工夫がされてきた．Tandem アプローチもそ2

情報処理学会研究報告
IPSJ SIG Technical Reportの一つであり MLP を特徴量抽出のためのモデルとして用いる．Tandem アプローチでは通常の入力ベクトル xt は

MLP の出力ベクトルを正規化したベクトル Ψ(yt ) に変換
される．この Ψ(yt ) は GMM によってモデル化され，元の特徴ベクトル xt の出力分布 P ( xt | qt ) は P ( Ψ(yt )| qt )に比例するとして利用される．このときの MLP は入力特徴量の音素を学習するように設計されるのが一般的である．Tandem アプローチの場合は補助的に識別問題を解く
ように学習することでそのネットワークを特徴量抽出の部品とする．このアプローチの優れている点はディープラー

図 1

ボトルネック構造ディープニューラルネットワーク

Fig. 1 The bottleneck structure of deep neural network.

ニングによる学習を用いてよりよい特徴量を発見するとしを学習した．具体的には３通りのモデルを比較する．

てことができる点である．本研究では Tandem アプローチ

CSJ モデルをディープニューラルネットワークに適用した．

CSJ のみを学習データとして用いた音響モデル．
CSJ/MLLR モデル

3.2 ボトルネック特徴量
本研究で用いるボトルネック特徴量はディープニューラ
ルネットワークの中間層のうち，1 層を他の層のノード数

実験時，入力される感情音声と同じ種類の感情を適応学習するモデル．

CSJ/BNF モデル

よりも少なくした層から得ることのできる特徴量である．

感情音声を学習データとして，ボトルネック構造の一般的にボトルネック構造のネットワークはクラス分類に

ディープニューラルネットワークをからボトルネック

必要な情報を適切に低次元の特徴量に変換することができ

特徴量を抽出する Tandem アプローチを適用したモるといわれている．ボトルネック特徴量を用いたニューラ

デル．

ルネットワークの代表的なものはオートエンコーダである．

それぞれの音声認識システムに対して，感情音声を入力しオートエンコーダはボトルネック構造であるネットワーク

各感情に対して有効かどうか確認する．

によって自身の情報を低い次元に落としたあと出力層に自本研究において，感情音声を用いたテスト・学習には身を写像する．この時ボトルネック中間層には入力情報を

感情評定値付きオンラインゲーム音声チャットコーパス

よく表現できるような学習がなされる．音声認識にボトル（OGVC: Online gaming voice chat corpus with emotional

ネック構成を用いる場合，入力は特徴量ベクトル，出力はlabel ）を用いた [17][18]．OGVC はオンラインゲーム中の音素ラベルの形が多い．この場合，ボトルネック特徴量とプレイヤー同士の音声チャットの発話をもとに収録されてして期待されるのは音素の本質的な情報を再現可能な形でおり，自発対話音声と演技音声の 2 種類で構成されている．

表現できる特徴量であり， ネットワークはそのように学習本研究では，演技音声を感情音声として用いた．演技音声

されることが期待される [15][16]．本実験で用いるボトル

は自発対話音声の発話テキストの中から感情が表出されてネック構造のディープニューラルネットワークの構造を図

いる発話を選択し，プロの俳優 4 名（男性 2 人，女性 2 人）

1 に示す．

が感情を込めて発声した音声を収録している．発話には受ボ ト ル ネ ッ ク 構 造 に よ る 学 習 は pre-training と fine-容（ACC），怒り（ANG），期待（ANT），嫌悪（DIS），恐

tuning に分けられる．pre-training では入力層から順に

怖（FEA），喜び（JOY），悲しみ（SAD），驚き（SUR），

ボトルネック中間層に向けてオートエンコーダを用いた学以上 8 種類の感情ラベルが付与されている．発話者は感情習を行う．pre-training が終了するとボトルネック中間層の強度を変えて 4 種類の音声を収録した．強度はそれぞれからＨＭＭ状態を表現している出力層までをつなげて学習

感情を含まない平静状態（レベル 0）と弱（レベル 1），中する，fine-tuning を行う．この時，出力層はＨＭＭ状態数（レベル 2），強（レベル 3）である．発話者 1 名につき 664の数だけノードを持っており，入力音声に対応する音素を発話，計 2656 発話を収録している．

出力するように学習が行われる ．

4. 実験
4.1 実験設定
異なる構造を持つ音響モデルに対して感情音声を入力しそれぞれの認識精度を確認する．本実験では日本語話し言
葉コーパス（Corpus of Spontaneous Japanese, CSJ）のコアデータ（約 45 時間，50 万語）をもとにして音響モデル

c 2012 Information Processing Society of Japan⃝

本実験では OGVC に定義されている 8 種類の感情音声と平静状態の音声を実験データとする．感情音声に関しては同じ発話内容で感情の強度のレベルが 4 段階あるので，強度のレベルごとに感情の影響をそれぞれ確認する．テス
トデータは男性 1 人，女性 1 人がそれぞれ収録した音声を合わせて 1 つのデータとする．各感情それぞれ 40 発話を
テストデータとして用いる．
ボトルネック構造ディープニューラルネットワークの学

3

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 実験条件-CSJ モデル

Table 1 Experimental conditions - CSJ model.
音声特徴量

LDA-MLLT (40 次元)

音響モデル

CSJ コーパス

言語モデル

OGVC 664 発話

発音辞書

OGVC 367 語

表 2

実験条件-CSJ/MLLR モデル

Table 2 Experimental conditions - CSJ/MLLR model.
音声特徴量

LDA-MLLT (40 次元)

音響モデル

MLLR 適応 CSJ コーパス

言語モデル

OGVC 664 発話

発音辞書

OGVC 367 語

適応学習データ

テストデータ

図 2

平静状態音声の認識結果 (WER)

Fig. 2 Neutral speech recogniton results (WER) .

表 3 実験条件-CSJ/BNF モデル

Table 3 Experimental conditions - CSJ/BNF model.
音声特徴量

LDA-MLLT Tandem 特徴量（42 次元）

音響モデル

CSJ コーパス + Tandem アプローチ

言語モデル

OGVC 664 発話

発音辞書

OGVC 367 語

学習データ

1328 発話

入力次元数

440 次元 (40 次元× 11 フレーム)

HMM 状態数

3481

ネットワーク構造

Input:1024:1024:1024:1024:42:1024:HMM

図 3

弱い感情音声の認識結果 (WER)

Fig. 3 Weak emotional speech recognition results (WER) .

習にはテストデータに使われない，残りの男性 1 人，女性 1
人の音声データを用いる．今回の実験では主に感情音声の音響的な特徴の差によるモデルへの影響を確認するため，
言語モデル，発音辞書に関しては OGVC データを用いて作成した．８感情×４段階（平静，弱，中，強）のテスト
データ全てに対して実験を行う．それぞれのモデルの条件
は表 1, 表 2, 表 3 に示す．

4.2 実験結果
実験結果を図 2 から図 6 に示す．図 2 は感情の入っていない平静音声，図 3,4,5 はそれぞれ感情レベルが１,2,3 の音
声をテストデータとして用いた．図 6 は 4 段階レベルの全

図 4 中程度の感情音声の認識結果 (WER)

Fig. 4 Middle emotional speech recognition results (WER) .

ての平均を示している．縦軸は WER (Word Error Rate)

情に対して適応学習を施した，CSJ/MLLR モデルは CSJを表す．

モデルと比べて良い結果を認識結果を示した．これは入力

図 2 より，平静音声の認識に関しては全てのモデルで音音声とフィットした感情を適応データとして用いたためだ

響モデルとマッチしているため平静音声の認識ではそれぞと考えられる．CSJ/BNF モデルでは多くのテストデータれのモデルで大きな差は見られなかった．図 3 以降の感情で最も良い認識精度を示した．また認識の難しい叫び声のを含む音声の認識結果は感情の強度が強くなっていくほど多いデータも他と比べて良い結果を示している．これは感認識精度は低下した．感情に対しての処理を施していない

情の揺れによって判別しにくくなっている音声からでもうCSJ モデルは感情に強い影響を受け，最も認識精度が低い

まく特徴量を捉えることができたのではないかと考えられ結果になった．今回は言語モデル，辞書が小さく音響モデ

る．感情の強度ごとに平均をとると，CSJ/BNF モデルがルの性能がそのまま結果に現れている．特に叫び声の多い

最もよく感情音声認識に対して優れたモデルだといえる．

SUR や FEA のデータでは特に低い精度になっている．感c 2012 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

表現できた可能性がある．ボトルネック構成のディープ
ニューラルネットワークに感情音声を学習に使用すること
で全ての感情音声に対して有効なネットワークを作成することができた．また感情音声の認識精度向上が確認できた．

図 5

強い感情音声の認識結果 (WER)

Fig. 5 Strong emotional speech recognition results (WER).

図 6

感情音声のレベルごとの認識結果の平均 (WER)

Fig. 6 Average of each level emotional speech recognition results (WER).

5. まとめ感情音声に対して CSJ モデル，CSJ/MLLR モデル，

CSJ/BNF モデルをそれぞれ用いて感情音声の認識を行った．CSJ モデルの結果から感情音声に対して，特別な処理を施さない場合音声認識結果は著しく低下してしまうことが確認できた．また感情が強くなればなるほど，認識精度は低下する事を確認できた．感情音声に対する音響的な解決手法として適応モデルの作成は効果を確認できた．

MLLR 適応は話者適応以外にも感情に適応させることで認識結果がよくなるということが言える．しかし今回の感
情適応モデルは感情が一致するように作られているため，
複数の異なる感情が入力された場合，良い結果を示すことができるとは限らない。
音声認識の結果からボトルネック特徴量を用いた

CSJ/BNF モデルは感情音声認識に対して有効な手段だといえる．ボトルネック構成のディープニューラルネッ
トワークは８種類の感情音声と平静音声を学習データとし、音素をターゲットとして学習した．その結果，テスト
では多くの感情音声，平静音声の結果が他２つのモデルを上回った．音素をターゲットに感情音声の特徴量を入力することで，ボトルネック特徴量には音素の本質的な特徴を

c 2012 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

篠田浩一, 堀貴明, 堀智織, 篠崎隆宏. 「音声認識」は今後こうなる! 情報処理学会研究報告. SLP, 音声言語情報処
理, Vol. 2014, No. 2, pp. 1–6, jan 2014.
森山剛, 森真也, 小沢慎治. 韻律の部分空間を用いた感情音声合成. 情報処理学会論文誌, Vol. 50, No. 3, pp.
1181–1191, 2009.
三村正人, 坂井信輔, 河原達也. ディープオートエンコー
ダと dnn-hmm を用いた残響下音声認識. 情報処理学会
研究報 告. SLP, 音声言語情報処理, Vol. 2014, No. 6, pp.
1–6, jul 2014.
門谷信愛希, 阿曽弘具, 鈴木基之, 牧野正三. 音声に含まれる感情の判別に関する検討. 電子情報通信学会技術研究報
告. SP, 音声, Vol. 100, No. 522, pp. 43–48, dec 2000.
Björn Schuller, Jan Stadermann, and Gerhard Rigoll.
Aﬀect-robust speech recognition by dynamic emotional
adaptation. In Proc. speech prosody. Citeseer, 2006.
Theologos Athanaselis, Stelios Bakamidis, Ioannis
Dologlou, Roddy Cowie, Ellen Douglas-Cowie, and CateCox. Asr for emotional speech: Clarifying the issues andenhancing performance. Neural Networks, Vol. 18, No. 4,
pp. 437–444, 2005.
波任, 龍標王, 充彦甲斐. ディープニューラルネットワー
クに基づく音声選択と環境適応による非同期音声収録の音声認識. 情報処理学会研究報告. SLP, 音声言語情報処
理, Vol. 2014, No. 24, pp. 1–6, dec 2014.
西崎博光. 音声言語処理のための要素技術と音声ドキュ
メント処理への応用. 電子情報通信学会技術研究報告.
EMM, マルチメディア情報ハイディング・エンリッチメ
ント, Vol. 114, No. 33, pp. 11–16, 2014.
渡部晋治. 音声認識における音響モデル (自動音声認識
研究の動向と展望). 日本音響学会誌, Vol. 66, No. 1, pp.
18–22, dec 2009.
河原達也. 音声認識の方法論に関する考察 世代交代に向けて. 情報処理学会研究報告. SLP, 音声言語情報処理, Vol.
2014, No. 3, pp. 1–5, 2014.
篠田浩一. 確率モデルによる音声認識のための話者適応化技術. 電子情報通信学会論文誌 D, Vol. 87, No. 2, pp.
371–386, 2004.
佐古淳, 有木康雄. 知識を用いた音声認識による野球実況
中継の構造化 (音声言語応用)(第 6 回音声言語シンポジウ
ム). 電子情報通信学会技術研究報告. SP, 音声, Vol. 104,
No. 543, pp. 85–90, dec 2004.
Hynek Hermansky, Daniel W Ellis, and Shantanu
Sharma. Tandem connectionist feature extraction forconventional hmm systems. In Acoustics, Speech, andSignal Processing, 2000. ICASSP’00. Proceedings. 2000
IEEE International Conference on, Vol. 3, pp. 1635–
1638. IEEE, 2000.
久保陽太郎. Deep learning (深層学習)(第 5 回) 音声認識のための深層学習. 人工知能: 人工知能学会誌: journal of
the Japanese Society for Artificial Intelligence, Vol. 29,
No. 1, pp. 62–71, 2014.
福田隆. 音声特徴抽出の基礎と最近の研究動向 (音声・言語・音響教育, 一般). 電子情報通信学会技術研究報告. SP,
音声, Vol. 111, No. 97, pp. 1–6, 2011.
Jonas Gehring, Yinping Miao, Florian Metze, and Alex
Waibel.
Extracting deep bottleneck features using
stacked auto-encoders. In Acoustics, Speech and Signal
Processing (ICASSP), 2013 IEEE International Conference on, pp. 3377–3381. IEEE, 2013.
Tang Ba Nhat, 目良和也, 黒澤義明, 竹澤寿幸, Kazuya
Mera, Yoshiaki Kurosawa, Toshiyuki Takezawa. 音声に含まれる感情を考慮した自然言語対話システム.
有本泰子, 河津宏美, 大野澄雄, 飯田仁. 感情音声のコーc 2012 Information Processing Society of Japan⃝

パス構築と音響的特徴の分析 : Mmorpg における音声
チャットを利用した対話中に表れた感情の識別. 情報処理学会研究報告. MUS,[音楽情報科学], Vol. 74, pp. 133–138,
feb 2008.

6