1-P-16d
複数のひずみ尺度を用いた雑音下音声認識の性能推定の検討∗☆ Ling GUO，山田武志，牧野昭二，北脇信彦（筑波大）

1

Original clean speech

はじめにNoisy speech

現在の音声認識技術では，雑音が混入した音声を正しく認識することは困難である．音声認識の前処理とNoise reduction

して雑音抑圧を行うことにより，認識性能をある程度改善することができるが，雑音の特性や雑音抑圧アル

Calculation of distortion value

ゴリズムの種類によって性能改善の度合いは異なる．
よって，音声認識サービスを提供する際には，サービ

Estimation of recognition performance

ス品質（認識性能）の保証という観点から，対象とする雑音環境でどの程度の認識性能が得られるのかを事前に調査する必要がある．現時点で最も確実な方法は，音声認識サービスを運用する現場で，あるいはそこで収録した音声データを用いて，認識実験を行うことである．しかし，人的・時間的コストが極めてFig. 1: Estimation of the recognition performancefrom the distortion value.
可能である．認識性能推定の実験を行うことにより，提案法の有効性を検証する．

大きく，また専門的な知識や技術を要するという問題があり，音声認識サービスの普及を妨げる一因となっ

2

提案法ている．よって，雑音下音声認識の性能を簡便に推定
音声ひずみの大きさから認識性能を推定する処理する手法が必要不可欠である．
この問題を解決するためには，音声ひずみの大きさから認識性能を推定するというアプローチが有効であると考えられる [1, 2, 3]．これは，音声ひずみの大きさと認識性能の関係式（以下では推定式と呼ぶ）をあらかじめ実験的に求めておき，対象とする雑音環境で求めた音声ひずみの大きさをその推定式に代入することにより認識性能を推定するものであの流れを Fig. 1 に示す．まず，原音声（雑音が重畳していない音声）と認識対象の劣化音声（雑音が重畳している音声や雑音抑圧後の音声）から，劣化音声のひずみの大きさを計算する．そして，そのひずみの大きさから認識性能を推定する．従来法ではひずみ尺度として PESQ を用いており，その場合の推定式は次式で表される [3]．

る．これまでに我々は，ひずみ尺度として ITU-T 勧y告 P.862 の PESQ（Perceptual Evaluation of Speech=a
1 + e−bx+c(1)Quality）[4] を用いることにより，認識性能を高い精

ここで，y は単語正解精度，x は PESQ スコアである．

度で推定できることを示した [3]．しかし，個々の雑PESQ スコアは主観品質スコアである MOS（Mean

音抑圧アルゴリズムに最適化した推定式を用いる必Opinion Score）に対応しており，−0.5（最も悪い）要があり，そのためのコストが問題となっている．こから 4.5（最も良い）までの実数値をとる．また，a，れは，雑音抑圧アルゴリズムの内部パラメータを変b，c は定数であり，a はクリーン音声に対する認識性更した場合や，新しい雑音抑圧アルゴリズムを開発

能，b は認識性能の低下の急峻さ，c はひずみに対すした場合には，それに最適化した推定式をその都度る頑健性に相当する．これらの値は，様々な雑音条件求める必要があることを意味している．のもとで推定誤差を最小にするように最適化される．

本稿では，この問題を解決するために，音声ひずみ

単語正解精度と PESQ スコアの関係の例を Fig. 2と出力 SNR（Signal to Noise Ratio）を併用した認に示す．ここで，マーカの種類は雑音抑圧アルゴリ

識性能推定法を提案する．ここで，出力 SNR とは，ズムの違いを表す．個々の点は，雑音（4 種類）と入雑音抑圧アルゴリズムの出力音声（雑音抑圧後の音力 SNR（7 通り）の組に対応する．実験条件の詳細声）の SNR である．提案法における推定式は，変更は 3.1 節で述べる．Fig. 2 より，雑音抑圧アルゴリズを加えることなく様々な雑音抑圧アルゴリズムに適用

ム (G) が他とは顕著に異なる傾向を示しており，認∗Performance estimation of noisy speech recognition using spectral distortion and SNR of Noise-reducedspeech, by Ling Guo, Takeshi Yamada, Shoji Makino, Nobuhiko Kitawaki (University of Tsukuba).

日本音響学会講演論文集- 145 -2013年9月

り，様々な雑音条件・雑音抑圧アルゴリズムのもとで80推定誤差を最小にするように最適化される．

Worrd Accuracy(%)

100(B)

60(G)
(K)

40(S)
(T)

3

提案法の有効性の検証

3.1

実験条件

20

認識実験には，雑音環境下連続数字認識タスク
00.5

1.5

2.5

3.5

PESQ

AURORA-2J[8] を用いる．本実験で用いた音声デー

4.5

タを Table 1 に示す．音声認識に用いる音響モデルのFig. 2: Relationship between the word accuracy

学習データには，雑音が重畳されていない学習データ

and the PESQ score.

である Clean Training を用いる．Clean Training は，成人男性 55 名，成人女性 55 名による計 8,440 発話

100を，伝送路を模擬したフィルタである G.712 に通したものである．なお，学習データに対しても認識時とWorrd Accuracy(%)

80
SNR42- dB
SNR35-42 dB

60

SNR28-35 dB
SNR21-28 dB

40

SNR14-21 dB
SNR7-14 dB

20

SNR0-7 dB

同様の雑音抑圧を行い，各雑音抑圧アルゴリズムに専用の音響モデルを作成する．認識対象のテストデー
タには，Test set A と Test set B の 2 種類を用いる．
雑音は，Subway（地下鉄），Babble（人混み），Car（自動車），Exhibition（展示場），Restaurant（飲食

00.5

1.5

2.5

3.54.5店），Street（街頭），Airport（空港），Station（駅PESQ

構内）の 8 種類，SNR は Clean から −5dB までの 7

Fig. 3: Relationship between the word accuracy,

通りである．本実験では，以下に示すように，雑音抑the PESQ score, and the output SNR.

圧を行わない場合と 4 種類の雑音抑圧アルゴリズムを用いる場合を考える．

識性能を高精度に推定するためには，個々の雑音抑圧アルゴリズムに最適化した推定式が必要となること(B) ベースライン（雑音抑圧を行わない場合）が確認できる．

(G) GMM に基づく音声信号推定法 [5]本稿では，この問題を解決するために，音声ひずみと出力 SNR を併用した認識性能推定法を提案する．単語正解精度，PESQ スコア，出力 SNR の関係
を Fig. 3 に示す．ここで，本稿では出力 SNR を次式(K) ピッチ同期 KLT 法 [6](S) SS-SMT 法（スペクトルサブトラクション法）[7](T) 時間領域 SVD に基づく音声強調法 [5]により近似計算している．

Output SNR=10 log10

PxPn

これら 4 種類の雑音抑圧アルゴリズムは，非音声区(2)間で推定した雑音を雑音重畳音声から減算するといPx は音声区間の時間平均パワー，Pn は非音声区間のう点では共通であるものの，雑音の推定方法や減算時間平均パワーである．音声区間検出はクリーン音声方法が異なっている．

を用いて行う．Fig. 3 は Fig. 2 におけるマーカの種類

認識性能推定の実験条件は以下の通りである．

を出力 SNR の違いに変更したものであり，PESQ ス(C1) (B) を含む計 5 種類の雑音抑圧アルゴリズムをコアが同じときには SNR が高いほど単語正解精度がTest set A に適用した後，単語正解精度，PESQ高いことが分かる．これは，音声ひずみと出力 SNRスコア，出力 SNR を算出し，式 (1) と式 (3) のを併用することにより，単語正解精度の変動を説明で推定式の係数を最適化する．そして，5 種類の雑きることを示唆している．

音抑圧アルゴリズムを Test set A に適用したと

以上より，提案法では推定式として次式を用いるこきの単語正解精度を推定する．ととする．

y=a1 + e−b1 x1 −b2 x2 +c(C2) 推定式の係数は (C1) と同じとし，5 種類の雑音(3)抑圧アルゴリズムを Test set B に適用したとき

ここで，y は単語正解精度，x1 は PESQ スコア，x2の単語正解精度を推定する．これは雑音に対しは出力 SNR である．また，a，b1 ，b2 ，c は定数であてオープンなテストである．

日本音響学会講演論文集- 146 -

2013年9月

Table 1: Speech data used in the experiment.
Training and Test sets
SpeechNoiseChannel
Clean training

8,440 utterances

None

SNR (dB)

G.712

Clean

of 110 people
Test set A

4,004 utterances

Subway, Babble,

Clean, 20, 15,

of 104 people

Car, Exhibition

10, 5, 0, −5

Test set B

Restaurant, Street,Airport, Station

Table 2: R2 and RMSE.
(C1)
(C2)

100

Word
d Accuracy(%)

80
(B)

60

(G)
(K)

40

R2

RMSE

R2RMSE

Conventional

0.86

13.2

0.85

14.0

Proposed

0.96

7.0

0.96

7.37

(S)
(T)

20

推定できていることが分かる．以上より提案法の有002

4681012

効性が示された．

14b1x1+b2x24Fig. 4: Relationship between the word accuracy
and the distortion calculated by b1 x1 + b2 x2 in theproposed method.

おわりに
本稿では，音声ひずみと出力 SNR を併用した認識性能推定法を提案した．そして，提案法は従来法よりも高精度に認識性能を推定できること，及び提案

条件 (C1) のもとで最適化した従来法の推定式を式法における推定式は変更を加えることなく様々な雑(4)，提案法の推定式を式 (5) にそれぞれ示しておく．

音抑圧アルゴリズムに適用可能であることを示した．

yy
3.2==102.7779
1 + e−2.807325x+5.618707
100.8289
1 + e−0.088535x1 −1.738907x2 +4.737119

(4)
(5)

実験結果

今後は，推定式の係数の最適化に用いていない雑音抑圧アルゴリズムに対する有効性を検証する予定である．

参考文献

まず，提案法におけるひずみ相当量（b1 x1 + b2 x2 ）と単語正解精度の関係を Fig. 4 に示す．Fig. 4（提案[1] H. Sun, L. Shue, J. Chen, “Investigations
into the relationship between measurable speech法）と Fig. 2（従来法）を比較すると，提案法の方がquality and speech recognition rate for telephony

雑音抑圧アルゴリズムの違いに頑健であることが分か

speech,” Proc. IEEE International Conferenceる．次に，提案法と従来法により認識性能を推定した

on Acoustics, Speech, and Signal Processing,

結果を Fig. 5 と Fig. 6 に示す．ここで，Fig. 5 は条件

ICASSP2004, Vol. 1, pp. 865–868, May 2004.

(C1) の場合，Fig. 6 は条件 (C2) の場合である．各図の横軸は真の単語正解精度，縦軸は推定した単語正解精[2] M. Kondo, K. Takeda, F. Itakura, “Predict-度である．また，真の単語正解精度と推定した単語正

ing the degradation of speech recognition per-

解精度の決定係数 R2 と RMSE（Root Mean Square

formance from sub-band dynamic ranges,” IPSJError）を Table 2 に示す．Fig. 5，Fig. 6，Table 2Journal, Vol. 43, No. 7, pp. 2242–2248, July

より，提案法の方が従来法よりも高精度に単語正解精2002.

度を推定できていることが確認できる．特に雑音抑[3] T. Yamada, M. Kumakura, N. Kitawaki, “Per-圧アルゴリズム (G) に対する推定精度には明確な差

formance estimation of speech recognition sys-が見て取れる．また，条件 (C1) と条件 (C2) を比較

tem under noise conditions using objective qual-

することにより，雑音の種類にさほど影響を受けずに

ity measures and artificial voice,” IEEE Trans-

日本音響学会講演論文集- 147 -2013年9月

100100

Estimateed Word Accuracy(%)

Estimateed Word Accuracy(%)

8080
(B)

60(G)
(K)

40(B)

60(G)
(K)

40(S)
(T)

((S))
(T)

20200020

4060800100

20406080Word Accuracy(%)(a) Proposed method(a) Proposed method

100

100

Estimateed Word Accuracy(%)

Word Accuracy(%)

Estimateed Word Accuracy(%)

080

10080(B)

60(G)
(K)

40(G)
(K)

40((S))
(T)

20(B)

60(S)
(T)

2000020406080

0100

20406080

Word Accuracy(%)

Word Accuracy(%)(b) Conventional method(b) Conventional method

100Fig. 5: Relationship between the true word

Fig. 6: Relationship between the true word

accuracy and the estimated word accuracy in theaccuracy and the estimated word accuracy in thecondition (C1).

condition (C2).

actions on Audio, Speech and Language Process-binations of spectral subtraction and KLT based

ing, Vol. 14, No. 6, pp. 2006–2013, Nov. 2006.
[4] ITU-T Rec. P.862, “Perceptual evaluation ofadaptive comb-filtering,” IPSJ SIGNotes, SLP-speech quality (PESQ): An objective method for[7] N. Kitaoka, S. Nakagawa, “Evaluation of spec-

end-to-end speech quality assessment of narrow-tral subtraction with smoothing of time direction

band telephone networks and speech codecs,”

on the AURORA 2 task,” Proc. InternationalFeb. 2001.
[5] M. Fujimoto, Y. Ariki, “Combination of tem-Conference on Spoken Language Processing, IC-poral domain SVD based speech enhancement[8] S. Nakamura, K. Takeda, K. Yamamoto, T. Ya-and GMM based speech estimation for ASR inmada, S. Kuroiwa, N. Kitaoka, T. Nishiura,noise – evaluation on the AURORA2 task –,”A. Sasou, M. Mizumachi, C. Miyajima, M. Fu-

Proc. European Conference on Speech Commu-jimoto, T. Endo, “AURORA-2J: An evalua-nication and Technology, EUROSPEECH2003,

tion framework for Japanese noisy speech recog-

pp. 1781–1784, 2003.
[6] S.-J. Park, M. Ikeda, K. Takeda, F. Itakura,nition,” IEICE Transactions on Information

44-3, pp. 13–18, 2002.

SLP2002, pp. 465–468, 2002.

“Improvement of the ASR robustness using com-

日本音響学会講演論文集- 148 -and Systems, Vol. E88-D, No. 3, pp. 535–544,
Mar. 2005.

2013年9月