日本ロボット学会誌

No. xx, pp.1〜4, 202xVol. xx

1レター

音声強調ネットワークとアダプターを用いた音声認識の耐雑音ロバスト性向上大 﨑崇 博∗1西 田周 藤健 次∗1唯∗2中 臺

糸 山 克一 博∗1寿∗1∗2Improving Noise Robustness of Automatic Speech Recognition
with Speech Enhancement and Adapters
Takahiro Osaki∗1 , Yui Sudo∗2 , Katsutoshi Itoyama∗1∗2 , Kenji Nishida∗1 and Kazuhiro Nakadai∗1This paper proposes the parallel adapter model (PAM) to improve the noise-robustness of automatic speech recognition (ASR) systems with a small amount of retraining. The PAM utilizes two small networks (called adapters)
and a corresponding adapter initialization technique. The adapters are positioned in the models where mismatch
tends to occur frequently. The experimental results demonstrate that the PAM improved the ASR accuracy with
only seven retraining epochs, and the improvement reached 26.1 points with the best performance.
Key Words: noise-robust end-to-end ASR, adapter network, speech enhancement, robot audition

る [9] [10] が，いずれの手法も膨大なパラメータ更新が必要であ

1. は じ め にり，学習コストが大きい．

音声認識（Automatic Speech Recognition, ASR）とは，人

本研究では，アダプターを使用した少量の再トレーニング手法間の発話音声をテキストに変換するシステムである．通常，ASRを提案し，ミスマッチ問題と再学習コスト問題を解決する．ア

ではスマートフォンなど近接マイクロホンからの入力が前提でダプターは小規模のネットワークであり，学習済みのモデルとあるため，比較的クリーンな音声が対象であるが，ロボット耳か同時に用いる．アダプターが組み込まれたモデルを学習する際らの入力では，ノイズが混入することが前提となるため，性能は，ASR や SE のパラメータは固定し，アダプターのパラメー劣化が生じる．雑音環境下での認識性能を向上させるため，ロタのみ更新することで，更新パラメータ数を抑えることができボット聴覚が研究されており，音声強調 (Speech Enhancement,る．また，アダプター学習にはノイズを付与した音声を用いるSE) を ASR フロントエンドとして用いることが一般的である．
SE 手法には，マイクロホンアレイ処理や深層学習が用いられることが多い [1] [2] が，近年では，単一チャネル入力への適用が可能である深層学習の研究が盛んである [3] [4]．しかし，単一チャネル用 SE が出力する強調音声には歪みが少なからず発生するため，SE と ASR の単純な組み合わせでは，期待した性能向上が得られないことが多い [5] [6]．
この歪みによる ASR と SE 間のミスマッチを解消するには2 つのアプローチがある．1 つ目は，再トレーニングを行わない手法である．Takeda らの研究 [7] [8] では，モンテカルロ推定ことで，ノイズ耐性の高いモデルが学習できる．以上より，少に基づく特徴量推定により，再学習なしで認識精度を向上している．しかし，推定には，潜在特徴量の繰返し計算が必要であり，時間を要する割に性能向上が小さい．2 つ目は，モデルの再トレーニングによるミスマッチの緩和である．モデル全体を再学習する手法や SE 部のみを再学習する手法が提案されてい原稿受付
東京工業大学 工学院 システム制御系∗2(株) ホンダ・リサーチ・インスティチュート・ジャパン∗1Development of Systems and Control, School of Engineering,Tokyo Institute of Technology∗2Honda Research Institute Japan, Co. Ltd.
■ 要素分野∗1

日本ロボット学会誌 xx 巻 xx 号ない再学習量でモデルの耐雑音性向上が期待できる．

2. 提 案 手 法
本節では，提案手法である並列アダプターモデル (ParallelAdapter Model, PAM) と初期化手法を, ASR, SE と共に説明する．

2. 1 音声認識 (ASR)
ASR には，Encoder, Decoder からなる End-to-End 音声認識モデルを用いるものとする．ASR への音声入力を S とす
ると，まず，S を特徴抽出器 (Feature Extractor, FE) によって音声特徴量 X に変換する．次に，変換した音声特徴量 X をEncoder 部に送出し，潜在特徴量 H に変換，その後，Decoder部で，テキストに変換する．音声認識モデル学習では，音声 Sが入力されたときに正しいテキスト Y が出力される確率が最大になるように，Encoder, Decoder のパラメータ θenc , θdec の推定を行う．

2. 2 音声強調 (SE)SE は，雑音が混入した音声 SN から，雑音を抑圧した音声SE に変換する．本稿では，入力音声が単チャネルであることを想定しているため，深層学習ベースの SE 手法を用いる．SE—1—202x 年 xx 月

大 﨑2崇博

周藤唯糸山克寿西田健

次中臺

一博

𝑛𝒀1,2mix ∶ Text

ReLU𝑛𝑛Linear2𝑛

ASR Decoder

ReLUReLU

𝑯1,2mix𝑛2𝑛Adapter2× 5

Linear

𝑯1mix

× 6

Linear𝑛2𝑛Concatenate
ASR Encoder

𝑛𝑿1mix(a) Adapter 1

Adapter1𝑿E

Feature Extractor

𝑺E(b) Adapter 2Fig. 2: Structure of adapters. The number adjacent toeach arrow represents the dimensionality of the corresponding feature vector.

𝑿NFeature Extractor

𝑛𝑺N
1.0Speech
Enhancement

0.8
0.6

0.3

0.2

0.1

0.4
0.0
0.2
−0.1
0.0−0.2

𝑺N ∶ Noisy Speech−0.2(a) Near-identity Initializa- (b) Random Initialization
tion

Fig. 1: Parallel Adapter Model (PAM)

Fig. 3: Adapter initialization methodsのパラメータ θse は，ASR と組み合わせて用いる前に，クリーン音声と強調音声の類似度が高くなるように事前学習を行うものとする．

相関関係を基に，アダプターが損なわれた特徴量成分を復元で2. 3 Parallel Adapter Model
Fig. 1 に，提案モデルである Parallel Adapter Model (PAM)を示す．このモデルは，SE を適用するフローに加えて，SE を行わない未処理音声を直接 ASR に供給するフローをもつ．このモデルは，アダプター 1,2 の 2 つのアダプターを持つ．それぞれのアダプターは，学習可能なパラメータ θadp1 ， θadp2 を持った，ASR や SE よりも十分に小さいネットワークである．
アダプター 1 への入力 Cat(XE , XN ) は，強調音声と未処理音
1
声の特徴量を結合した特徴量であり，Xmixが出力される．

きると考えられる．
「混合」は，アダプター 2 に必要とされる，2 つの特徴量から認識に適した特徴量を生成することで，ASRの性能向上を実現する機能である．
これらのうち，「復元」と「混合」は線形層で，「選択」は活性化関数として ReLU を用いることで実現する．またアダプターの表現力を向上させるために，本稿では，ReLU 関数をもつ線形層を 6 層スタックすることで，アダプターを形成する (Fig. 2)．

2. 5 アダプターの初期化
一般的に，ニューラルネットワークのパラメータはランダム初期化を行うことが多い (Fig. 3(b)) が，パラメータ値が最適値と1Xmix= Adapter1 (Cat(XE , XN ); θadp1 ) ,（1 ）大きく異なるため，学習に時間がかかる傾向がある．この問題に

XE = FE(SE ),（2 ）対し，アダプターが恒等写像に近くなるような near-Identity 初

XN = FE(SN ).

（3 ）期化 (NI 初期化) が有効であることが報告されている [11]．そこで， NI 初期化をアダプターに適用する．この場合，Fig. 3(a)1
アダプター 2 への入力は Encoder の出力 Hmixであり，De-に示すように，線形層の対角成分を 1 に，他の重みとバイアス1,2coder への入力 Hmixを出力する．

を 0 に近い値とすることで，アダプタの入力と出力がほぼ同じ()

11,2= Adapter2 Hmix; θadp2 .
Hmixになるように初期化することができる．なお，Adapter1 の最（4 ）終線形層における NI 初期化は，XN と XE の平均が Adapter1

アダプター 1 により，SE と ASR のミスマッチ問題を緩和すの出力となるように初期化する．具体的には，対角成分が 0.5るとともに，SE によって過度に失われる音声情報を未処理音声の対角行列を 2 つ横に並べた値で初期化することで，2 つの特で補うことが期待できる．アダプター 2 により，アダプター 1徴量の平均が初期値となるようにする．

で緩和しきれなかった雑音や歪み成分に由来する潜在特徴量の3. 評 価 実 験ミスマッチが緩和されることが期待できる．

本節では，提案モデル PAM と NI 初期化の有効性を確認す

2. 4 アダプターの設計
アダプターの機能要件は，「選択」「復元」「混合」の 3 つであるために，LibriSpeech 音声コーパス [12] を用いたモデル学習る．「選択」は，音響特徴量から音声成分を抽出し，雑音成分をを行い，認識性能に関する比較実験を行う．アダプター層の学除去するとともに，SE による歪みを緩和し，ミスマッチ問題に習では，train-clean-100 subset に，自動車製造工場で録音し対処する機能である．「復元」は，SE によって過度に欠落したた雑音を SNR (信号対雑音比) が 0 dB になるよう足し合わせ情報を復元する機能である．例えば，倍音成分同士が持つ強いた学習データを作成し，25 epoch 分の学習を行った．なお，使JRSJ Vol. xx No. xx—2—xx, 202x

音声強調ネットワークとアダプターを用いた音声認識の耐雑音ロバスト性向上

SAM

𝒀1,2E ∶ Text

3用いた．このモデルは，エンコーダー，セパレーター，デコー

PAM2

𝒀1,2mix ∶ Text

ダーから構成される．エンコーダーは 1 層の畳み込み層，デコーダーは 1 層の転置畳み込み層からなる．セパレーターはマASR Decoder
𝑯1,2𝐸

𝑯1,2mix

Adapter2

Adapter2

𝑯1E

ASR Encoder

スク推定用のネットワークで, それぞれ 8 個の畳み込みブロッ

ASR Decoder

クを含む，4 個の Temporal Convolutional Network [14] からなる．SE は SI-SNR [15] を最大化するように，CHiME-4 デー
タセット [16] で事前学習されたモデルを用いた．
𝑯1N

𝑯1E

ASR Encoder

𝑿1E

𝑿1E

𝑿1N

Adapter1

Adapter1a

Adapter1b

𝑿E

Feature Extractor

𝑿E

SpeechEnhancementの学習では SpecAug を用いず，SAM の学習では SpecAug を用いた．NI 初期化を用いる場合，対角成分は 1，それ以外の重みとバイアスは平均 0，標準偏差 0.01 の正規分布で初期化し𝑿N

Feature Extractor

𝑺E

アダプターには，2. 4 節と Fig. 2 に示す，ReLU 関数をもつ線形層を 6 層スタックしたネットワークを用いた．PAM と PAM2

ASR Encoder

た．またランダム初期化を用いる場合，線形層の入力次元数をFeature Extractor

𝑺Em とすると，(−𝑺N√1/m,√1/m) の一様分布で初期化を行った．

4. 実 験 結 果Speech
Enhancement

Table 1 に評価結果を示す．評価指標は WER（単語誤り率）を用いた．以下，初期化方法とモデルごとの性能について議論
𝑺N ∶ Noisy Speechする．

𝑺N ∶ Noisy Speech

用した雑音は，定常的な低周波成分と不定期な高周波を含む機

4. 1 初期化手法について
Table 1 より，NI 初期化を用いると，音声強調のみを用いた場合 (No. 2, 3) に比べて，すべてのアダプターモデル(No. 4, 6, 8, 10, 12) で雑音環境での認識性能が向上した．NI械音が含まれる．評価用音声には，dev-clean と test-clean を初期化を用いることで，もとのモデルの性質を大きく崩さない用いた．雑音ロバスト性を評価するために，これらの評価音声初期値から学習が開始でき，少ない学習量でも，パラメータがに上記工場で別途収録した雑音を SNR が，−15 dB から 0 dB良好に学習できていることが確認できた．その一方で，ランダの範囲となるよう足し合わせて評価用音声とした．

ム初期化を用いた場合，性能が向上するケース (No. 5, 9) と，3. 1 比較モデル
PAM の有効性を確かめるために，他の 2 種のアダプターモデルである，Serial Adapter Model (SAM) と，Parallel Adapter
Model 2 (PAM2) を比較に用いた. Fig. 4 にこれらの比較モデルの構造を示す．SAM は，SE と ASR の直列モデルに対して，2 箇所にアダプターを挿入する．実験では，2 つのアダプターを用いる場合に加え，アダプター 1 のみを用いる場合，アダプター 2 のみを用いる場合も併せて比較検証する．PAM2 は，提案手法である PAM と同様に SE を適用しないフローを持つ．
2 つの音響特徴量を，別々にアダプタ 1a とアダプタ 1b に送劣化するケース (No. 7, 11, 13) が見られた．ランダム初期化

出し，共通の学習済みパラメータをもつエンコーダーによってべて，dev-clean は 26.1 ポイント，test-clean は 25.0 ポイント潜在特徴量に変換する．これらの特徴量をアダプター 2 によっの性能向上が確認できた．さらに，平均性能では，8.3 ポインて結合・混合する．このため，PAM2 では，アダプター 1a, 1bト性能が向上した．SAM については，どのケースも PAM には，Fig. 2(b) の構造であり，アダプター 2 は，Fig. 2(a) の構比べて明らかに性能が低いことがわかる．PAM2 については，造である．

15dB や 10dB の雑音環境において PAM と同等の性能が確認できた．一方で，高雑音環境では PAM の方が性能が高い．更新パラメータ数では，PAM のほうが少ないことを考慮すれば，PAM がより優秀なモデルであると言える．
また，Fig. 5 に学習損失の推移を示す．これより，ほとんどのモデルで，7 エポック程度で学習損失が収束しており，その中でも PAM が最も学習損失が小さい結果となっている．学習損失の点からも，PAM 有効性が確認できる．

Fig. 4: Compared models; SAM, PAM2

3. 2 使用モデル
入力音声は，16 bit, 16 kHz サンプリングの信号であり，FEは，これを窓長 512，シフト長 160 でフレーム化したのち，80次元のメルフィルタバンクを適用した結果得られる音響特徴量を出力する．

ASR には，ESPnet の hybrid CTC/attention モデル [13]を用いる．このモデルは，12 個の Conformer ブロックで構成を用いて性能が向上したケースでも，NI 初期化を用いると，さらに性能が向上した．このため，ランダム初期化は，学習不足で十分な最適化ができていないことが推測される．以上の結果
より，アダプター学習における NI 初期化の有効性が示された．
以降では，NI 初期化を用いた場合のみ考える．

4. 2 モデルごとの性能について
Table 1 より，提案手法である PAM が，ほとんどの雑音環境での認識性能，および平均性能で最も良好であるという結果となった．SNR が，0 dB のとき，SE のみを適用した場合に比されるエンコーダーと，6 層の Transformer ブロックと線形層

5. お わ り にで構成されるデコーダーをもつ．エンコーダーは 256 次元の潜在特徴量を出力する．損失関数には，CTC 損失と Attention デ

本研究では，音声認識の対雑音ロバスト性を向上するために，コーダーの損失の重み付き和を用い，重みはそれぞれ 0.3，0.7

音声強調を音声認識のフロントエンドとして用いる場合に問題である．となる音声認識と音声強調のミスマッチ問題を緩和するために，

SE には，深層学習ベースの手法である Conv-TasNet [3] を日本ロボット学会誌 xx 巻 xx 号

Parallel Adapter Model とその初期化に Near-Identity 初期—3—202x 年 xx 月大 﨑4崇博周藤唯糸山克寿西田健次中臺一博

Table 1: ASR performance using LibriSpeech-100 in word error rate (WER) (“H” is hybrid CTC/attention
model [13]). For SE, “C” is Conv-TasNet [3]. Takeda’s method [7] was used without retraining to integrate withASR. For “Init.”, “N” and “R” indicate near-identity and random initialization, respectively. “Tunable Param.”shows the number of parameters to be trained, corresponding to the total number of parameters for adapters.
Bold values indicate the best scores for each noise level.
No.
12345678910111213Model
ASR SE Type
Init.
H- H
C H
C Takeda [7]PAM (Proposed)
N
H
C
PAM
R
SAM (only Adapter 1)
N
HC
SAM (only Adapter 1)
R
SAM (only Adapter 2)
N
HC
SAM (only Adapter 2)
R
SAM
N
H
CSAM
R
PAM2
N
H
C
PAM2
R

536K
38.9K
395K
434K
1.52M

clean
15dB
10dB
5dB
0dB
Ave.
dev test dev test dev test dev test dev test
8.3 8.6 15.8 15.0 29.4 26.6 57.4 52.6 85.5 81.1 38.0
9.0
9.2 14.4 13.6 21.8 19.5 38.2 33.9 68.9 63.6 29.2
9.3
9.5 14.3 13.8 22.1 20.1 39.1 34.6 68.0 62.4 29.3
12.3 12.0 13.1 12.9 15.9 15.7 23.8 21.7 42.8 38.6 20.9
25.2 23.6 18.9 18.3 22.8 21.7 32.2 30.2 54.3 50.4 29.8
11.4 11.5 15.4 15.0 20.6 19.3 32.8 29.5 56.6 52.1 26.4
97.6 97.8 97.5 97.5 97.6 97.6 97.9 97.9 97.9 97.9 97.710.8 11.0 15.4 14.7 21.8 19.5 35.9 32.0 64.5 58.4 28.4
12.5 12.8 17.2 16.5 23.4 21.4 37.2 33.4 64.5 59.0 29.8
11.1 11.2 14.5 14.2 19.1 17.9 30.9 27.8 55.5 50.3 25.3
53.7 53.0 54.2 53.8 58.2 57.4 67.6 66.0 82.9 80.4 62.7
11.6 11.5 13.1 12.9 16.0 15.6 24.2 24.2 44.6 44.6 21.8
92.9 93.0 87.9 88.5 88.3 88.3 90.5 89.9 95.6 94.9 91.0

PAM
SAM (only Adapter1)
SAM (only Adapter2)
SAM
PAM2

150125loss

TunableParam.
-1007550250510152025epochFig. 5: Loss curves of the ﬁve models with near-identity
initialization.
化法を利用することを提案した．Parallel Adapter Model は，強調音声に加えて，未処理音声を用いてミスマッチ問題の緩和をはかる一つ目のアダプターと，一つ目のアダプターで緩和しきれなかった潜在特徴量に残存するミスマッチを緩和する二つ目のアダプターの 2 つのアダプターを用いる手法である．また，Near-Identity 初期化法は，恒等写像に近い値で初期化することで，効率的な学習を可能にする手法である．実験の結果，train-clean-100 を用い，提案手法で学習を行ったモデルは，アダプターを用いない場合と比較して，性能が最大で 25.2 ポイン
ト，平均で 8.4 ポイント性能が向上した．今後の課題として，アダプター構造のさらなる検討や，他の ASR/SE モデルへの提案手法の適用があげられる．

謝辞

本研究は JSPS 科研費 JP19KK0260, JP20H00475 およびJP23K11160 の助成を受けた．

参 考 文 献[ 1 ] Jahn Heymann, et al. Beamnet: End-to-end training of abeamformer-supported multi-channel asr system. In ICASSP
2017, pp. 5325–5329, 2017.
[ 2 ] Panagiotis Tzirakis, et al. Multi-channel speech enhancement
using graph neural networks. In ICASSP 2021, pp. 3415–3419,2021.
[ 3 ] Yi Luo and Nima Mesgarani. Conv-tasnet: Surpassing ideal

JRSJ Vol. xx No. xx—4—time ‒ frequency magnitude masking for speech separation.
IEEE/ACM Transactions on Audio, Speech, and Language
Processing, Vol. 27, No. 8, pp. 1256–1266, 2019.
[ 4 ] Julius Richter, et al. Speech enhancement and dereverberation
with diﬀusion-based generative models. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 31,
pp. 2351–2364, 2023.
[ 5 ] Jagadeesh Balam, et al. Improving noise robustness of an
end-to-end neural model for automatic speech recognition.
arXiv:2010.12715, 2020.
[ 6 ] Ryosuke Sawata, et al. Improving character error rate is notequal to having clean speech: Speech enhancement for asr systems with black-box acoustic models. In ICASSP 2022, pp.
991–995, 2022.
[ 7 ] Ryu Takeda, et al. Empirical Sampling from Latent Utterancewise Evidence Model for Missing Data ASR based on Neural
Encoder-Decoder Model. In INTERSPEECH 2022, pp. 3789–3793, 2022.
[ 8 ] Ryu Takeda, et al. Flexible Evidence Model to Reduce Uncertainty Mismatch Between Speech Enhancement and ASR Basedon Encoder-Decoder Architecture. In APSIPA, 2023.
[ 9 ] Jisi Zhang, et al. On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant
training. arXiv:2205.01751, 2022.
[10] Xuankai Chang, et al. End-to-end integration of speech recognition, speech enhancement, and self-supervised learning representation. In INTERSPEECH 2022, Vol. 2022, pp. 3819–3823,2022.
[11] Neil Houlsby, et al. Parameter-eﬃcient transfer learning forNLP. In ICML 2019, Vol. 97, pp. 2790–2799. PMLR, 2019.
[12] Vassil Panayotov, et al. Librispeech: An asr corpus based on
public domain audio books. In ICASSP 2015, pp. 5206–5210,2015.
[13] Shinji Watanabe, et al. Hybrid CTC/attention architecture
for end-to-end speech recognition. IEEE Journal of Selected
Topics in Signal Processing, Vol. 11, No. 8, pp. 1240–1253,
2017.
[14] Colin Lea, et al. Temporal convolutional networks: A uniﬁed
approach to action segmentation. In Gang Hua and Hervé Jégou, editors, Computer Vision – ECCV 2016 Workshops, pp.
47–54, Cham, 2016. Springer International Publishing.
[15] Yi Luo and Nima Mesgarani. Tasnet: Time-domain audio separation network for real-time, single-channel speech separation.
In ICASSP 2018, pp. 696–700, 2018.
[16] Emmanuel Vincent, et al. An analysis of environment, microphone and data simulation mismatches in robust speech recognition. Computer Speech & Language, Vol. 46, pp. 535–557,
2017.

xx, 202x