1-P-13
音響モデルの精度を考慮した雑音下音声認識の性能推定の検討*☆高岡隆守，山田武志，牧野昭二，北脇信彦（筑波大）
はじめに

1

Original clean speech
Noisy speech
音声認識サービスを提供する際には，対象とす(real speech/artificial voice)(real speech/artificial voice)
る環境でどの程度の認識性能が得られるのかを事前に調査する必要がある．現時点で最も確実な
Noise reduction algorithm
方法は，サービスを運用する現場で認識実験を行うことである．しかし人的，時間的コストが極めCalculation of distortion valueて大きく，また専門的な知識や技術を要することが問題となっている．この問題を解決することにEstimation of recognition performanceより音声認識サービスのさらなる普及が期待でFig. 1 Overview of the recognition performance estimation
きるため，雑音下音声認識の性能を簡便に推定する手法が必要不可欠である．
p1 q1  r1(2)
我々はこれまでに，音声のひずみの大きさから y  f ( x,  ) q3
q2
1  e  ( p 2  r2 )( x  ( p 3  r3 ))認識性能を推定する手法を開発し，その有効性を示した[1]．本手法では，ひずみの大きさと認識性
s1  t1(3)能の関係を表す推定式を実験的に求める．しかし， y  f ( x,  ) (  s 2   t 2 )( x  s3   t 3 ))1e
認識タスクや音響モデルが異なると同じ雑音環境であっても認識性能は変動するため，対象とす ここで α は認識タスクの複雑さを表す SMRパー
る 認 識 タ ス ク や 音 響 モ デ ル に 専 用 の 推 定 式 を そ プレキシティ（各単語の出現確率の逆数の相加平の都度求める必要があった．我々はこの問題に対 均），β は音響モデルの精度を表す原音声に対す処するため，認識タスクの複雑さをパラメータに る誤認識率である．式(2)と式(3)は，式(1)の a, b, c持つ推定式，音響モデルの精度をパラメータに持 を αの関数 ，βの関数にそれぞれ置き換えたもの
つ推定式をそれぞれ提案し，有効性を示した[2, 3]． である．
本稿では，さらに認識タスクの複雑さと音響モ 3 提案法
デルの精度の両方をパラメータに持つ推定式を認識タスクの複雑さと音響モデルの精度の両提案し，その有効性を検証する．このような推定 方をパラメータに持つ推定式を提案する．提案法
式を一度求めておけば，以降は各パラメータを指 は，式(1)の a, b, c を，式(2)と式(3)におけるαの定することにより，対象とする認識タスク・音響 関数とβの関数の一次結合に置き換えたものであ
モ デ ル に 専 用 の 推 定 式 を 容 易 に 得 る こ と が で き る．具体的な推定式は以下である．
る．

雑音下音声認識の性能推定法

2y  f ( x,  ,  ) p1 q1  r1   s1(4)q3q2
認識性能推定の基本的な流れを Fig. 1を用いて
1  e ( p2  r2   s2 )( x ( p3  r3  s3 ))説明する．まず，原音声（雑音が重畳していない音声）と劣化音声（雑音が重畳している音声）を ここで α はSMRパープレキシティ， β は原音声入力とし，劣化音声のひずみの大きさを計算する ． に対する誤認識率である．p 1 ～p 3, q 1 ～q 3 , r 1 ～r 3 , s 1
そ し て そ の ひ ず み の 大 き さ を 以 下 に 示 す 推 定 式 ～s 3 は定数であり，様々な認識タスクや音響モデルを対象として劣化音声に対するひずみの大きに代入することで認識性能を推定する[1]．
さと認識性能を実験的に求め，両者の関係を最適
a(1) 近似することで決定する．
y  f ( x) b( x c )1 e

ここで，y は認識性能の推定値，x はひずみの大 4 提案法の有効性の検証
本章では，様々な認識タスクと音響モデルの組きさである．また，a, b, c は定数であり，a は原
み合わせを対象とし，提案法による認識性能の推音声に対する認識性能，b はひずみが大きくなったときの認識性能の低下の急峻さ，c はひずみに 定精度を検証する．ここで，推定式の定数の最適対する頑健性に相当する．これらの値は，劣化音 化および認識性能推定には，計算機上で加法性雑声 に 対 す る ひ ず み の 大 き さ と 認 識 性 能 を 実 験 的 音のみを重畳した音声データを用いる．なお，本に求め，両者の関係を最適近似することにより決 実験ではひずみ尺度としてPESQ[4]を用いた．
定する．ただし，上述したように，認識タスクや音 響 モ デ ル が 異 な る と ひ ず み の 大 き さ が 同 じ で 4.1 推定式の定数の決定
認識実験のために用いた認識タスクを以下にあっても認識性能が変動するため，認識タスクや述べる．
音響モデルに専用の推定式を求める必要が ある ．
我々はこの問題に対処するため，まず認識タス ・ 孤立単語認識タスク：音声データとして ，東北 大 － 松 下 単 語 音 声 デ ー タ ベ ー ス [5] に 収 録
クの複雑さをパラメータとして持つ推定式，音響されている鉄道駅名3285語を読み上げたもの
モデルの精度をパラメータに持つ推定式をそれを用いた．本実験では語彙サイズを100, 200,ぞれ提案した[2, 3]．
400, 800, 1600, 3285とすることにより，6種類*Performance estimation of noisy speech recognition considering the accuracy of acoustic models,by Takashi Takaoka, Takeshi Yamada, Shoji Makino, and Nobuhiko Kitawaki (University of Tsukuba)．
日本音響学会講演論文集- 149 -2012年3月

Word accuracy(%)の認識タスクを設定した．
100
・ 記述文法認識タスク：音声データとして，
1 0 0 wo r ds_m o n o 4
90
AURORA-2J[6]と 同 じ 1～ 7桁 の 数 字 列 を 読 み
1 0 0 wo r ds_m o n o 1 680
1 0 0 wo r ds_t r iph o n e
上げたものを用いた．単語（数字）の数は読70
3 2 8 5 wo r ds_m o n o 4
みの違いを含めて11であり，これらを任意回
60
3 2 8 5 wo r ds_m o n o 1 63 2 8 5 wo r ds_t r iph o n e数繰り返すという記述文法を作成した．認識50
c o n n e c t e d digit s_m o n o 4
40
タスクは1種類である．
c o n n e c t e d digit s_m o n o 1 630・ 大語彙連続認識タスク：音声データは，新聞
c o n n e c t e d digit s_t r iph o n e
20
6 0 k_M ID_m o n o 4
記事読み上げ音声コーパス（JNAS）のテスト
6 0 k_M ID_m o n o 1 610
セット100文（男性話者）である．語彙サイズ
6 0 k_M ID_t r iph o n e0は2種類用意した．言語モデルとしては，IPA
1
1.5
2
2.5
3
3.5
4
4.5
PESQ Scoreの「日本語ディクテーション基本ソフトウェ
ア1999年度版」[7] に含まれている3-gramモデFig. 2 The estimators for each pair of the recognition task
ルのうち，語彙サイズ5k，20k，60kの3種類を
and the acoustic model用いた．語彙サイズと言語モデルを組合せる
ことにより5種類の認識タスクを設定した ．
各認識タスクの音声データには，電子協騒音デー
タベース[8]の雑音（car1, hall1, train2, lift2）を20,15, 10, 5, 0, -5dB のSNRで重畳した．サンプリン
グ周波数は16kHzである．これらの雑音重畳音声
データを認識するための音響モデルとしては，IPAの「日本語ディクテーション基本ソフトウェ
ア1999年度版」に含まれているモノフォン性別非依存モデル（4, 8, 16, 64 混合分布）およびトライ
Estimated word accuracy (%)
フォン性別非依存モデルの5種類を用いた．
上記の12種類の認識タスクと5種類の音響モデ
Fig. 3 Relationship between the true word accuracy and theestimated word accuracy
ルの組み合わせの60種類に対し，SMRパープレキ
シティ，原音声に対する誤認識率，単語正解精度， 分かる．調査の結果，PESQ Scoreが推定式の変曲
PESQ Scoreを求め，これらの関係を最適近似する 点 付 近 に あ る 場 合 に 推 定 精 度 が 低 い こ と が 分 かように式(4)の定数を求めた結果，次式が得られた． った．これは，定数 b, c の表現方法に改善の必要があることを示唆している．
a( ,  )(5)y  f ( x,  ,  ) b ( ,  )( x c ( ,  ))100

True word accuracy (%)

80604020001 e

520406080100

おわりに

本稿では，認識タスクの複雑さと音響モデルのa ( ,  )  0.66
 0.96  99.9
精度の両方をパラメータに持つ推定式を提案し
91.67b( ,  )  8.3  10 
 0.0091  4.23
た．また，その有効性を検証するために，推定式 0.011c( ,  )  6.97
 0.0062  8.51の最適化および ，認識性能の推定実験を行った ．
式(5)に x と α, β の値を代入することにより，単 その結果，提案法により高い精度で認識性能を推語正解精度の推定値を得ることができる ．また， 定できることが示されたものの，推定式の変曲点式(5)の α, β にのみ値を代入することにより，対 付 近 の PESQ Scoreが あ る 場 合 に 推 定 精 度 が 低 い象とする認識タスク・音響モデルの推定式（式(1) ことが分かった．今後はこの問題の解決を図る予定である．に相当）を得ることもできる．
0.05

参考文献

4.2 実験結果
4.1 節で述べた60種類の認識タスクと音響モデルの組み合わせ各々の一部に対する推定式を Fig.
2に示す．ここで，横軸はPESQ Scoreであり，値が小さいほど音声が劣化していることを表す（値が4.5のときは原音声に一致する）．また，図中の曲線は認識タスクと音響モデルの各組合せに対する推定式を表しており，式(5) に α, β の値を代入することにより求めた． Fig. 2より，各推定式の上下の位置関係は概ね α, β の値によって定まることが分かる．
次に4.1 節で述べた60種類の認識タスクと音響モデルの組み合わせ各々に対して単語正解精度の推定を行った．推定のために用いた雑音重畳音声
データは推定式の最適化のために用いたものと同じである．Fig. 3に真の単語正解精度と推定した単語正解精度の関係を示す．真の単語正解精度と 推 定 し た 単 語 正 解 精 度 の 決 定 係 数 は 0.98 ，
RMSEは2.5であり，高い精度で推定できていることが示された．しかしFig. 3から推定精度が他と比べて低い点（Fig. 3の赤点）も存在することが日本音響学会講演論文集[1] T. Yamada et al., "Performance estimation of speech
recognition system under noise conditions using objective
quality measures and artificial voice," IEEE Transactions on
Audio, Speech and Language Processing, Vol. 14, No. 6, pp.
2006-2013, Nov. 2006.
[2] 中島 智弘 ら., "雑 音下 音声 認識 の性 能推 定に 用い るタ スクの 複 雑 さを 表 す尺 度 の 検討 ," 日 本 音 響学 会 春季 研 究発表会, pp. 147-150, Mar. 2009.
[3] T. Takaoka et al., "Performance estimation of noisy speech
recognition considering the accuracy of acoustic models,"
TJASSST11, Sat-No331, Nov. 2011.
[4] ITU-T Rec. P.862., "Perceptual evaluation of speech quality(PESQ): An objective method for end-to-end speech quality
assessment of narrow-band telephone networks and speech
codecs," Feb. 2001.
[5] S. Makino et al., "Tohoku University and Matsushita isolated
spoken word database," Journal of the Acoustical Society ofJapan, Vol. 48, No. 12, pp. 899-905, 1992.
[6] S. Nakamura et al., "AURORA-2J: An evaluation framework
for Japanese noisy speech
recognition," IEICE
Transactions on Information and Systems, Vol. E88-D, No.
3, pp. 535-544, Mar. 2005.
[7] 河原 達也 ら., "日 本語 ディ クテ ーシ ョン 基本 ソフ トウ ェア（99 年度版）," 日本音響学会誌,Vol. 57, No. 3, pp.
210-214, Mar. 2001. 2005.
[8] http://research.nii.ac.jp/src/list/detail.html#JEIDA-NOISE.

- 150 -2012年3月