1-Q-19
音声認識における誤認識原因通知のための印象評定値推定の検討 ∗☆後藤孝宏，山田武志，牧野昭二（筑波大)1はじめにhƐĞƌƵƚƚĞƌĂŶĐĞ

近年，音声認識技術の向上やスマートフォンの普及により，音声認識を用いたサービスはより一般的なもĂůĐƵůĂƚŝŽŶŽĨĂĐŽƵƐƚŝĐĨĞĂƚƵƌĞのとなり，様々なシーンで活用されている．しかし音声認識サービスの発展のためには，解決しなければĐŽƵƐƚŝĐĨĞĂƚƵƌĞ

ならない課題が存在する．その課題の一つとして，周/ŵƉƌĞƐƐŝŽŶǀĂůƵĞĞƐƚŝŵĂƚŝŽŶ

囲の雑音や話者の発話様式によって起こる認識性能の低下が挙げられる．現在の音声認識サービスでは，誤認識の可能性が高いと判断された場合 [1] に，「もう/ŵƉƌĞƐƐŝŽŶǀĂůƵĞ

一度話してください」などと通知し，再発話を促すことが多く，誤認識の原因を通知することはほとんどな

Fig. 1: Process flow of the proposed method.

い．そのため，ユーザは誤認識に対してどのように対処すればよいか分らず同じ誤認識を繰り返してしまい，音声認識を利用する意欲を失ってしまうケースも提案手法2ある．

提案手法の処理の流れを Fig. 1 に示す．まずユー

この問題を解決する方法の一つは，音声認識の認識性能を十分高いレベルに引き上げることである．一

ザの発話から音響特徴量を抽出し，次に誤認識の原因となり得る発話特徴を推定する．

方，我々はこの問題をユーザインタフェース上の問題

推定対象である誤認識の原因となり得る発話特徴と捉え，誤認識の原因をユーザに対して分かりやすく

は，CSJ のコアデータにつけられている印象評定項通知する手法を検討している．通知を受けたユーザ目である．人が発話に対して持つ印象の評定値と認識は，誤認識の原因を知り対策を講じることができる率との相関を分析することで，誤認識の原因になりので，何度も同じ誤認識を繰り返すことはなくなり，得る印象評定項目を選定する．これについては 3 章

音声認識サービスのユーザビリティ向上につながる．

で述べる．

雑音に起因する誤認識については，現在の雑音環境

また音響特徴量は，時間フレームごとに求めた音響において得られるであろう認識率を予測することで特徴量の統計量，および時間フレームごとに求めた音適切な発話音量を判断し，ユーザに通知する手法を響特徴量の時系列の 2 種類を検討する．推定モデルは，提案した [2][3]．一方で，話者の発話様式に起因する

前者については SVR(Support Vector Regression)[6]

誤認識についてユーザに原因を通知する手法はあまと MLP（Multi Layer Perceptron）[7]，後者についり検討されていない．ては BLSTM（Bidirectional Long Short Term Mem-

そこで本稿では，誤認識の原因となり得る発話特徴を，ユーザに伝わりやすい形で定量化し，音声からory）[8] の適用を検討する．これについては 4 章で述べる．

その発話特徴を推定する手法を提案する．ここで誤認識の原因となり得る発話特徴として，CSJ（日本語話し言葉コーパス）[4] の印象評定項目 [5] に着目し，認識性能との相関が高い印象評定項目を誤認識の原因となり得る発話特徴とする．CSJ のコアデータを用いて実験を行い推定性能を検証する．

∗3

印象評定項目の選定

3.1

実験の目的と条件

誤認識の原因となり得る発話特徴として，CSJ の印象評定項目に着目する．人が発話に対して付けた印象評定値と認識率との相関を分析することで，誤Impression rating score estimation for error cause notification in speech recognition, by Takahiro Goto,Takeshi Yamada, Shoji Makino (University of Tsukuba).

日本音響学会講演論文集- 117 -2018年3月

ㅮ₇㡢ኌホᐃ㡯┠ዲᝏ;ĂϭͲϰͿୖᡭ䛥;ĂϱͲϴͿ㏿䛥ឤ;ĂϵͲϭϮͿάືᛶ;ĂϭϯͲϭϲͿ䝇䝍䜲䝹;ĂϭϳͲϮϬͿዲ䛝䛺᎘䛔䛺ὶᬸ䛺䛯䛹䛯䛹䛧䛔㏿䛔㐜䛔ኌ䛾኱䛝䛔ኌ䛾ᑠ䛥䛔♩൤ṇ䛧䛔↓♩䛺ᚰᆅ䜘䛔୙ᛌ䛺ヰ䛧័䜜䛯ヰ䛧័䜜䛶䛔䛺䛔䝇䝢䞊䝗ឤ䛾䛒䜛䜖䛳䛯䜚䛧䛯ຊᙉ䛔ᙅ䚻䛧䛔䜎䛨䜑䛺䜅䜎䛨䜑䛺ឤ䛨䛾䛔䛔ឤ䛨䛾ᝏ䛔䛺䜑䜙䛛䛺䛧䛹䜝䜒䛹䜝䛺䛫䜟䛧䛢䛺䛾䜣䛝䛺ඖẼ䛾䛒䜛ඖẼ䛾䛺䛔୎ᑀ䛺䛮䜣䛦䛔䛺ぶ䛧䜏䜔䛩䛔ぶ䛧䜏䛻䛟䛔ୖᡭ䛔ୗᡭ䛺ⴠ䛱╔䛝䛾䛺䛔ⴠ䛱╔䛝䛾䛒䜛✚ᴟⓗ䛺ᾘᴟⓗ䛺ୖရ䛺ୗရ䛺༢㡯㡯┠;ĂϮϭͲϮϲͿ䛒䜙䛯䜎䛳䛯䛟䛰䛡䛯䛝䜎䛨䜑䛺ዑᨺ䛺䛝䛱䜣䛸䛧䛯䛟䛴䜝䛔䛰⏑䛘䛯䛭䛳䛡䛺䛔䛭䛾ሙ䛷⪃䛘䛶ヰ䛧䛶䛔䜛ཎ✏䜢ㄞ䜏ୖ䛢䛶䛔䜛⪺䛝ྲྀ䜚䜔䛩䛔⪺䛝ྲྀ䜚䛻䛟䛔

Fig. 2: Impression item.
認識の原因になり得る印象評定項目を選定する．
日本語話し言葉コーパスとは，日本語の自発話音ŽƌƌĞůĂƚŝŽŶĐŽĞĨĨŝĐŝĞŶƚ
Ϭ͘ϳϬ͘ϲ

その中でもコアデータと呼ばれるデータには各音声Ϭ͘ϱ

がどのような印象を与えるかを複数人の評定者によϬ͘ϰ

り評価した印象評定データが含まれる．今回実験にϬ͘ϯ

用いた印象評定項目の一覧を Fig. 2 に示す．これら

Ϭ͘Ϯの印象評定項目は，心理尺度構成法に基づいて作成

Ϭ͘ϭ

されている．それぞれの音声について異なる 10 人のϬĂϭĂϮĂϯĂϰĂϱĂϲĂϳĂϴĂϵĂϭϬĂϭϭĂϭϮĂϭϯĂϭϰĂϭϱĂϭϲĂϭϳĂϭϴĂϭϵĂϮϬĂϮϭĂϮϮĂϮϯĂϮϰĂϮϱĂϮϲ

声を集め各音声に種々の情報を付与したものである．

評定者が聞き，7 段階で評定値を付ける．7 に近いほ/ŵƉƌĞƐƐŝŽŶŝƚĞŵ

ど上の評定語によくあてはまり，１に近いほど下の評定語によくあてはまる．この印象評定値がつけられFig. 3: Result of the experiment.

た音声を実際に認識し，評定値と認識率の相関を分析することにより誤認識の原因となる発話特徴を選示す上位４つの項目を誤認識の原因となり得る発話定する．

特徴として選定することとした．

認識実験の条件について説明する．CSJ のコアデー• 「a5：流暢な–たどたどしい」

タのうち学会講演，模擬講演の音声計 171 個を使用す
る．それぞれの音声から印象評定値の付けられている• 「a7：なめらかな–しどろもどろな」

区間のうち前半の 1 分間を切り出し，認識を行う．認• 「a16：積極的な–消極的な」識器には大語彙連続音声認識エンジン Julius4.4，音• 「a26：聞き取りやすい–聞き取りにくい」

響モデルには ASJ-JNAS コーパスと CSJ 模擬講演音声で学習した 3 状態 DNNHMM，言語モデルには現代日本語書き言葉均衡コーパスで学習した Trigram
モデルを用いた [9]．

3.2

印象評定値の推定

4.1

実験の目的と条件誤認識の原因となる発話特徴として 3 章の実験で印象評定項目の選定結果認識率と各印象評定値の相関を分析した．印象評
定項目ごとの相関係数の値を Fig. 3 に示す．
「a26：聞き取りやすい–聞き取りにくい」の項目が最も相関が高くなり相関係数は約 0.6 であった．本稿では以下に

日本音響学会講演論文集

4

選定した印象評定値を音響特徴量から推定する．時間フレームごとに求めた音響特徴量の統計量，および時間フレームごとに求めた音響特徴量の時系列の2 種類を検討する．時間フレームごとに求めた音響特徴量の統計量としては，OpenSMILE で抽出した- 118 -2018年3月

Table 1: Descriptor and functional for the feature

Table 2: Condition of the NN.

set.
Descriptor

Functionals

ZCR

Feature

MLP

BLSTM

384th-order40th-order

IS09

mel filter

meanbank outputs

RMS Energy

standard deviation

F0

kurtosis, skewness

HNR

extremes: value, rel, position, range

method

MFCC 1-12

linear regression: oﬀset, slope, MSE

Hidden layer number

Optimization

Momentam

れた音響特徴量セット [10](以下 IS09 特徴量と呼ぶ)

SGD
221024, 512

100,100

Epoch500

100

Batch size

1050

Dropout rate

0.30.3

Hidden layer sizeINTERSPEECH 2009 Emotion Challenge で使用さAdamを使用する．IS09 特徴量は感情認識等に使われているものである．この特徴量は発話の印象と関係すると期待できる．この特徴量セットには 384 次元の音響

SVR のハイパーパラメータの最適化は学習データ特徴量が含まれており，IS09 特徴量は Table 1 に示に対するクロスバリデーションテストにより行った．

す 16 種類の descriptor と 12 種類の functional の組

また MLP と BLSTM の条件を Table 2 に示す．MLPみ合わせとして表される．これらの特徴量は，韻律，は，隠れ層 2 層で次元は 1024，512，とし出力層の次スペクトル，音声品質などを表している．次に時間フ元は 4 としそれぞれの項目に推定する．最適化手法

レームごとに求めた音響特徴量の時系列についてはには MomentumSGD を用いた．BLSTM は隠れ層 2メルフィルタバンク出力 40 次元を用いる．ここで分層で次元数は 100，100 とし逆方向の出力と結合させ

析フレーム長は 25ms，フレームシフト幅は 10ms でその後の４次元の出力層を用いて各項目を推定する．

ある．

最適化手法には Adam を用いた．なお BLSTM では

印象評定値の推定手法には SVR，MLP，BLSTM を1 分すべてのフレームに教師データとして同じ値を与用いる．ここで BLSTM は RNN（Recurrent Neuralえた．また入力には 1 分の音声を 10 秒に分割し，そNetwork）の手法の一つである．RNN はニューラルれぞれ学習を行った．

ネットワークの手法で時系列データを扱うために考案されたモデルである．現在の時刻の入力として前の時刻の隠れ層の情報を利用することで学習を行う．

LSTM は RNN にメモリセルなどを追加し長い系列データに対しても対応できるよう改良された手法である．BLSTM は LSTM に逆方向の隠れ層の情報を追加したモデルであり，これを推定に適用する．時間フレームごとに求めた音響特徴量の統計量である

IS09 については SVR，MLP を用いて推定し，時間フレームごとに求めた音響特徴量の時系列であるメ
ルフィルタバンク出力 40 次元については BLSTM を用いて推定を行う．
推定する印象評定項目は 3 章の実験により選定した 4 種類である．これらの項目の印象評定値を評定者

4.2

発話特徴推定の結果推定結果を Fig. 4 に示す．図は 4-fold クロスバリ
デーションにより得られた真値と推定値の RMSE と相関係数の平均値である．BLSTM については，各フレームの出力を平均し，さらに分割した 10 秒ごとのデータに対して平均したものを最終的な推定値とした．
まず項目ごとに推定した結果を見ると，RMSE が0.5 から 0.7 の精度で推定できていることが分かる．
また「a16：積極的な–消極的な」以外の３つの項目については BLSTM が僅差ではあるが最もよい結果を示した．今後はさらにより良い特徴量や推定手法を検討する．

10 人の値で平均し学習の際の教師データとした．実験に用いた音声デ―タは CSJ のコアデータのうち学会講演，模擬講演の音声計 525 である．

日本音響学会講演論文集- 119 -2018年3月

Ăϱ䠖ὶᬸ䛺䠉䛯䛹䛯䛹䛧䛔Ăϭϲ䠖✚ᴟⓗ䛺䠉ᾘᴟⓗ䛺Ϭ͘ϴĐŽƌƌĞůĂƚŝŽŶĐŽĞĨĨŝĐŝĞŶƚϬ͘ϴ

ZD^Ϭ͘ϳĐŽƌƌĞůĂƚŝŽŶĐŽĞĨĨŝĐŝĞŶƚϬ͘ϲϬ͘ϳϬ͘ϲϬ͘ϱϬ͘ϱϬ͘ϰϬ͘ϰϬ͘ϯϬ͘ϯϬ͘ϮϬ͘ϮϬ͘ϭϬ͘ϭϬϬ^sZ

D>W >^dD^sZZD^

D>W >^dD^sZ

D>W >^dD^sZ

D>W >^dDĂϮϲ䠖⪺䛝ྲྀ䜚䜔䛩䛔͸⪺䛝ྲྀ䜚䛻䛟䛔Ăϳ䠖䛺䜑䜙䛛䛺䠉䛧䛹䜝䜒䛹䜝䛺Ϭ͘ϴϬ͘ϴ

ZD^Ϭ͘ϳĐŽƌƌĞůĂƚŝŽŶĐŽĞĨĨŝĐŝĞŶƚϬ͘ϲϬ͘ϱϬ͘ϰϬ͘ϰϬ͘ϯϬ͘ϯϬ͘ϮϬ͘ϮϬ͘ϭϬ͘ϭϬϬ

D>W >^dD^sZĐŽƌƌĞůĂƚŝŽŶĐŽĞĨĨŝĐŝĞŶƚϬ͘ϲϬ͘ϱ^sZZD^

Ϭ͘ϳ

^sZ

D>W >^dD

D>W >^dD^sZ

D>W >^dD

Fig. 4: Result of the experiment.

おわりに

5

[4] 前川喜久雄, “「日本語話し言葉コーパス」の概

本稿では、誤認識の原因となり得る発話特徴として CSJ の印象評定項目を選定し、音響特徴量からそ要,” 日本語科学，Vol. 15,pp. 111–133, 2004.

[5] 山住賢司, 籠宮隆之, 槙洋一, 前川喜久雄, “講演音声の印象評定尺度,” 日本音響学会誌, Vol. 61,の値を推定する手法を提案した．実験により手法の性能の比較検討を行った結果，BLSTM を用いた手法

No. 6 ,pp. 303–311, 2005.
[6] AJ. Smola and B. Scholkopf, “A tutorial on sup-が他の手法と比べてわずかながら良い結果となった．
謝辞

本研究は JPSP 科研費 17K00224 の助成を受けた．

port vector regression,” Statistics and computing, Vol. 14, No. 3 ,pp. 199–222, 2004.
[7] 久保陽太郎, “ディープラーニングによるパターン認識,” 情報処理, Vol. 54, No. 5 ,pp. 500–508,

2013.

参考文献

[8] S. Hochreiter and J. Schmidhuber, “Long short[1] J. Hui, “Confidence measures for speech recognition:

A survey,”

term memory,”

Speech Communication,Vol. 45, No. 4, pp. 455–470, 2005.

Neural Computation, Vol. 8,No. 9 ,pp. 1735–1780, 1997.
[9] http://julius.osdn.jp/[2] 青木智充, 山田武志, 宮部磁樹, 牧野昭二, 北脇信[10] B. Schuller, S. Steidl and A. Batliner, “The彦, “認識性能予測に基づく雑音環境下音声認識INTERSPEECH 2009 Emotion Challenge,” IN-のユーザビリティ改善の検討,” 音講論，pp. 133–TERSPEECH 2009, pp. 312–315, 2009.

136，Mar. 2015.
[3] 後藤孝宏, 山田武志, 牧野昭二, “雑音下音声認識における必要発話音量提示機能の実装と評価,” 音講論，pp. 117–120，Sep. 2016.

日本音響学会講演論文集- 120 -

2018年3月