言語処理学会 第28回年次大会 発表論文集 (2022年3月)

音声認識出力の曖昧性に頑健な音声翻訳のための
音声認識の精度ごとの性能比較
胡 尤佳 1

須藤 克仁 1,2

Sakriani Sakti 1,2,3

中村 哲1,2

1 奈良先端科学技術大学院大学 2 理化学研究所 革新知能統合研究センター AIP
3 北陸先端科学技術大学院大学{ko.yuka.kp2, sudoh, s-nakamura}@is.naist.jp; ssakti@jaist.ac.jp

概要
音声認識出力の曖昧性は，発音が似ている単語の関係を表していると考えられ，End-to-End 音声翻訳においても，この曖昧性を考慮したモデルが必要となる．従来研究では，Multi-task 学習の End-to-End
音 声 翻 訳 に お い て，音 声 認 識 出 力 の 分 布 に よ る
Sub-task の学習で精度の向上が見られた．本研究では，音声認識出力の曖昧性に頑健な音声翻訳のためにどのような音声認識モデルが効果的か，また，
Main-task と Sub-task の出力の関係について比較し，
分析した．

1

背景と関連研究

音声翻訳 (Speech Translation; ST) は，原言語音声を入力として目的言語テキストを出力する技術であり，音声認識 (Automatic Speech Recognition; ASR) と
機械翻訳 (Machine Translation; MT) をつなぎ合わせた Cascade モデルと，原言語の音声を直接目的言語のテキストに翻訳する End-to-End モデルが考えられる．近年ではニューラルネットワークを用いた系列変換技術により End-to-End モデルの研究が進んでいる．しかしながら，End-to-End モデルでは学習に原
言語音声と目的言語テキストを用いるためデータが限られ，比較的容易にデータを入手できる Cascade
モデルと比較して精度が低くなる傾向がある．
このような End-to-End モデルの精度を向上させる
アプローチの 1 つとして，原言語音声から目的言語
テキストへの翻訳に原言語テキストへの音声認識を
Sub-task として追加する Multi-task 学習 [1] が挙げられる．しかし，一般的な Multi-task 学習で使われる
cross entropy (CE) loss は，正解トークンとの損失を計算し，発音の似た予測結果と，発音の似ていない
予測結果の損失が同じになる可能性があるという問題がある．End-to-End 音声翻訳においてもこのような発音の類似度，聞き間違えを考慮した翻訳が必要となる．
関連研究として，Osamura ら [2] は，Cascade モデ
ルにおいて，One-hot ベクトルの代わりに，音声認識の事後確率分布を用いて機械翻訳をチューニン
グし，音声認識の曖昧性に対する頑健性を向上させた．また，Chuang ら [3] は，Multi-task End-to-End 音
声翻訳における ASR-task で，予測単語と正解単語の埋め込みベクトルのコサイン類似度を損失に利用し，意味の類似度の頑健な学習を実現した．
以上から着想を得た上で，我々は，Multi-task 学
習で音声翻訳を学習する際に，音声認識の事後確率分布を用いた学習をする手法を提案し [4]，音声認
識出力の曖昧性に対する頑健性の向上に寄与することを示した．音声認識の事後確率分布は，発音が似ている単語が同じようなスコアを持つことが期待さ
れ，単語間の発音の類似度の情報を保持する．これを reference として用いることで，音声認識出力の曖
昧性に対して頑健な音声翻訳が学習できたと期待できる．しかし，音声翻訳に利用可能な音声認識モデ
ルの性能や，ST-task と ASR-task の出力の性能の関係が確認されていなかった．
本研究では，音声認識出力の曖昧性を考慮した音
声翻訳において，どのような音声認識モデルが効果的か，また Main-task と Sub-task の出力の関係を比較し，分析した．

2

Multi-task End-to-End 音声翻訳

X = (𝑥 1 , ..., 𝑥𝑇 ) を原言語の入力音声に対する音響
特徴量の系列，T = (𝑡1 , ..., 𝑡 𝑁 ) を目的言語テキストのトークン系列，S = (𝑠1 , ..., 𝑠 𝑀 ) を原言語テキストのトークン系列とする．𝑣 を語彙集合 𝑉 の元とすると，𝑖 番目の目的言語記号の事後確率は以下の式で― 931 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表される
𝑃ST (𝑡𝑖 = 𝑣) = 𝑝(𝑣|X, 𝑡 <𝑖 ).

(1)

ST の学習時の損失関数 LST は，CE loss を用いて以下の式で表される
𝑁 ∑𝑉∑
LST = −
𝛿(𝑣, 𝑡 𝑖 ) log 𝑃ST (𝑡 𝑖 = 𝑣).
(2)𝑖=1 𝑣 ∈𝑉

式中の 𝛿(𝑣, 𝑡 𝑖 ) は，𝑣 = 𝑡𝑖 のとき 1，そうでなければ 0とする．
Encoder により隠れベクトルに変換され，その後
ST-task (Main-task) の Decoder と ASR-task (Sub-task)の Decoder の両方を用いて学習される．𝑣 を語彙集
合 𝑉 の元とすると，𝑖 番目の目的言語記号の事後確率は以下の式で表される
𝑃ASR (𝑠𝑖 = 𝑣) = 𝑝(𝑣|X, 𝑠 <𝑖 ).

(3)

ASR 学習時の損失関数 LASR は以下の式で表される
𝑀 ∑𝑉∑
LASR = −𝛿(𝑣, 𝑠𝑖 ) log 𝑃ASR (𝑠𝑖 = 𝑣).
(4)𝑖=1 𝑣 ∈𝑉

ST-task の損失関数を LST ，ASR-task の損失関数を
LASR ，LASR に対する重みを 𝜆ASR とすると，学習時全体の損失関数 L は以下の式で表される

L = (1 − 𝜆ASR ) LST + 𝜆ASR LASR .

3(5)

実験に用いる手法

以 下 の 二 種 類 の 損 失 関 数 を，音 声 認 識 出 力 を
reference とした soft label から計算される Lsoft として用い，比較，分析をした．また，本稿では，Lsoft
に対して，式 4 における LASR を，hard label (正解系列) による CE loss として Lhard と表す．

3.1

ASR-PBL: ASR Posterior-based Loss [5]ASR-task において，事前学習された ASR の事後確率分布のベクトルを reference として用いる．ASR
事後確率分布は，事前学習された ASR を用いて得られた，各トークンに対するスコアを持ったベクト
ルの softmax を取り，soft label とする．soft label に
おいて 𝑖 番目のトークン 𝑣 のスコアを 𝑃soft (𝑖, 𝑣) とすると，提案手法よる損失 Lsoft は以下の式で表される
𝑀 ∑𝑉∑
𝑃soft (𝑖, 𝑣) log 𝑃ASR (𝑠𝑖 = 𝑣). (6)Lsoft = −𝑖=1 𝑣 ∈𝑉

本実験では，LASR を以下の式として定義し，Lhardと Lsoft の割合を，重み 𝜆soft で調整できるようにし，

LASR = (1 − 𝜆soft ) Lhard + 𝜆soft Lsoft .

(7)

式 7 の損失を ASR Posterior-based Loss といい，本稿では ASR-PBL と表す．

3.2

ASR-SBL: ASR Sequence-based Loss

ASR-PBL では，ASR 事後確率分布を reference とし て 用 い て い た が，ASR 出 力 の One-best 系 列 を
reference とした損失も考えることができる．この場
合，どの単語とどの単語が間違いやすいかという情報を保持し，音声認識出力の誤りに対して頑健な音
声翻訳が期待できる．Ŝ = ( 𝑠ˆ1 , ..., 𝑠ˆ 𝑀 ) を，ASR モデルによって予測された One-best の原言語テキストのトークン系列とすると，Lsoft は以下の式で表される

LASR = −𝑀 ∑𝑉∑

𝛿(𝑣, 𝑠ˆ𝑖 ) log 𝑃ASR ( 𝑠ˆ𝑖 = 𝑣).

(8)𝑖=1 𝑣 ∈𝑉

本実験では，hard loss と式 8 の soft loss を式 7 のよ う に 重 み 付 き 和 で 足 し 合 わ せ た 損 失 を，ASR
Sequence-based Loss といい，本稿では ASR-SBL と
表す．

4

実験

本 実 験 で は デ ー タ セ ッ ト と し て，Fisher Spanish Corpus (Spanish-English) [6] と，MuST-C TED-talks(English-German) [7] を用いた．本稿では，それぞれを Fisher, MuST-C とし，以下の実験をした．
• Fisher: ASR-PBL, ASR-SBL• MuST-C: ASR-SBL
音響特徴量は，Kaldi [8] により抽出した，3 次元のpitch が 付加 され た 83 次 元の Fbank+pitch を 用い，train データは，音声のスピードを 0.9 倍と 1.1 倍に調整したものを加えた．テキストは MuST-C の目的言語テキスト以外は，句読点，記号を取り除き小文字化し，音響特徴量はフレーム長 3000，テキストは文
字数が 400 より大きいものを取り除いた．Tokenizer
は SentencePiece [9] を用い，最大語彙数を Fisher は1000，MuST-C は 8000 とした．ASR，ST モデルはESPnet [10] を用い，Transformer [11] により作成した．
ST は，Fisher が batch size: 64, accum grad: 4, MuST-C
が batch size: 32, accum grad: 8，それ以外の基本的なモデルの設定は ESPnet のデフォルトの値に従った．
ST モデルは，epoch 30 で学習した後，dev データのBLEU スコア [12] が高いモデルを 5 つ model averaging
し，Fisher では Fisher test, MuST-C では tst-COMMONで評価した．本実験では，式 5, 7 における 𝜆ASR =0.5，Fisher ASR-PBL: 𝜆soft = {0.1, 0.3, 0.5, 0.7, 0.9, 1.0}，― 932 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

WER

BLEU
ASR-SBL (LSM)

ASR-PBLASR model
None (Single-task)
None (CE)
None (CE-LSM)
Epoch-6
Epoch-8
Epoch-10
Attn-Specaug
Attn
Attn-CTC
Attn-CTC-Specaug
表1Soft-label soft-0.5 soft-1.0 soft-0.5 soft-1.0
39.7
35.3
28.9
14.1
9.3
7.8
6.7

45.34
45.33
45.76
45.29
46.04
44.93
44.66

40.66
43.83
45.16
41.71
44.68
43.54
45.63
42.93
45.86
43.73
45.34
44.53
45.35
43.98
44.87
45.75
44.82

Fisher における soft-0.5, 1.0 での ASR モデルごとの ASR-PBL と ASR-SBL(LSM) の結果．

WER

BLEU
ASR-PBLASR model
None (Single-task)
None (CE)
None (CE-LSM)
Attn-Specaug
Attn
表2Soft-label soft-0.5 soft-1.0
9.7
5.2

ASR-SBL (LSM)
soft-0.5 soft-1.0

17.68
20.40
21.08
21.07
21.01

-

20.70
20.87

MuST-C における soft-0.5, 1.0 での ASR モデルごとの ASR-SBL(LSM) の結果．

Fisher ASR-SBL: 𝜆soft = {0.5, 1.0}，MuST-C ASR-SBL:
𝜆soft = {0.25, 0.5, 0.75, 1.0} とした．𝐿 ST は全て labelsmoothing weight 0.1 で label smoothing した CE loss(以下，CE-LSM) を用いた．soft label の作成に必要な事前学習された ASR モデルは，実験に用いる softlabel の WER が高いものから低いものを用意し，それらから生成された soft label を用いて ASR-PBL,
ASR-SBL の 学 習 に 用 い た (付 録 7.1)．ASR-SBL では，CE loss と 同 様，label smoothing を 加 え た 設 定(ASR-SBL(LSM)) と加えていない設定 (ASR-SBL) で
実験した．

5

41.71
42.34
43.79
44.34
44.03
44.40
44.76

実験結果と分析

Fisher test における ST の BLEU の結果を表 1 に示す．(soft-0.5 は 𝜆soft = 0.5 を意味する．また，baseline
を CE, CE-LSM とし，それらより BLEU が向上した
ものを太字で示す．) また，それぞれの Fisher の ST
モデルの 𝜆soft ごとの ST-task BLEU と ASR-task WERの変化を図 1 に示す (全ての図は付録 7.2 を参照)．
MuST-C (tst-COMMON) における ST の BLEU の結果
を表 2 に示す．また，それぞれの MuST-C モデルの𝜆soft ごとの ST-task BLEU と ASR-task WER の変化を
図 2 に示す．
表 1 から，soft-0.5 の ASR-PBL と ASR-SBL において，ほとんどの場合で CE, CE-LSM と比較して精度の向上が見られ，大体の場合 soft-1.0 を上回る結果となった．よって，ASR-SBL が音声認識誤りに頑健なモデルの作成に効果的であることがわかった．図 1
から，ASR-PBL, ASR-SBL の両方で，soft-0.5 のときに BLEU が一番高い値を取ることが多い結果になった．ASR-SBL に関しては図 1 から，label smoothingを入れた ASR-SBL(LSM) が多くの場合 ASR-SBL を上回ったため，表 1 に ASR-SBL(LSM) のみを記載しているが，label smoothing を入れていない ASR-PBL
が ASR-SBL(LSM) と同程度の性能を出すことができていることが分かり，分布レベルの学習によってlabel smoothing に近い効果も得られていることが予想される．soft-1.0 の結果は，ASR-PBL と ASR-SBLの両方において，Epoch-6 から Attn-CTC-Specaug へと WER が低いモデルになるにつれて，BLEU が高くなっていることが分かり，誤りが大きすぎるモデ
ルを用いると精度の低下がみられることが分かる．

― 933 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

44
43
42
41

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

40 0.1

0.3

0.5

soft

0.7

0.9

25

18.5

60
55

46

50

ASR-task WER

BLEU

19.0

44

41

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

40 0.1

0.3

0.5

soft

0.7

0.9

25

18.5

ASR-task WER

50

44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)
0.3

0.7

0.9

20 0.1

1.0

55
50

ASR-task WER

60

BLEU

45
44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)
0.3

soft

0.7

0.9

1.0

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

45
40
35
30
25

0.5

soft

0.7

0.9

1.0

(g) Attn-CTC-Specaug BLEU

図1

0.5

(f) Attn ASR-task WER

46

40 0.10.3

20 0.1

0.3

0.5

soft

0.7

0.9

CE
CE-LSM
ASR-SBL
ASR-SBL(LSM)

1.0(h) Attn-CTC-Specaug ASR-task
WER

Fisher (Fisher test) の BLEU と ASR-task WER．

図 1 からも，soft-1.0 に注目すると，WER が低いモデルの結果になるにつれて，ASR-task WER が高い
状態から下がっていき，BLEU の向上が見られる．
ま た，Epoch-6, 8, 10 の よ う な WER が 高 い モ デル で の 実 験 に 関 し て も hard loss と 混 ぜ る こ と に
よ り，BLEU の 向 上 が 見 ら れ，学 習 時 の label に曖 昧 性 や 誤 り が perturbation と な っ て 加 え ら れ ることによる効果とみられる．しかし，Attn-CTC や
Attn-CTC-Specaug といった，WER が低いモデルに関 し て は，ASR-PBL の soft-0.5 に お い て BLEU の向上が見られなかった．図 1 からも，Attn-CTC と
Attn-CTC-Specaug の 𝜆 soft ごとの ASR-task WER の差は小さくなり収束しているが，それに伴った BLEUの向上は 𝜆soft ごとに見ても確認できなかった．このことは，Fisher が電話の日常会話音声を収録したもので，聞き返しが必要となるような聞き間違えが起こりやすいデータと考えられ，信頼度が高く分

0.50

0.50

soft

0.75

1.00

(b) Attn-Specaug ASR-task WER

CE
CE-LSM
ASR-SBL
ASR-SBL(LSM)

20
15
10
5

soft

0.75

(c) Attn BLEU

図2
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

25
soft

0 0.2525

18.0 0.25

1.0

35

47

41

0.9

40

48

42

soft

0.7

45

(e) Attn BLEU

43

0.5

30

0.5

10

30

20.0

(d) Epoch-10 ASR-task WER

45

soft

1.00

20.5

19.0

46

15

21.0

19.5

0.3

20

5
0.75

21.5

30

55

0.50

(a) Attn-Specaug BLEU

35

60

40 0.118.0 0.25

1.0

40

47

41

0.9

CE
CE-LSM
ASR-SBL
ASR-SBL(LSM)

22.0

45

48

42

soft

0.7

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

20 0.11.0(c) Epoch-10 BLEU

43

0.5

(b) Epoch-6 ASR-task WER

45

BLEU

19.5

47

42

20.0

30

48

43

20.5

35

0.3

CE
CE-LSM
ASR-SBL
ASR-SBL(LSM)

25

21.0

40

20 0.11.0(a) Epoch-6 BLEU

45

30

21.5

BLEU

BLEU

45

22.0
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

ASR-task WER

50

ASR-task WER

55

46

BLEU

60

47

ASR-task WER

48

1.00

0 0.25

0.50

soft

0.75

1.00

(d) Attn ASR-task WER

MuST-C (tst-COMMON) の BLEU と ASR-task WER．

布が鋭いものより滑らかな分布が Fisher における
ASR-PBL では効果的であると考えられる．
表 2 から，MuST-C では，CE の baseline と比較して BLEU の向上は見られるものの，CE-LSM を上回る結果はなく，soft-0.5 が CE-LSM と同じぐらいの結果になったことがわかる．図 2 から，ASR-task
WER が滑らかで，BLEU の変動があまり見られず，
今回実験に用いた soft label に含まれる誤りが少ない
ことから，hard loss と比較して大きな変化がなかったとみられる．今後はより誤りが多い soft label で学習した場合や，滑らかな分布で学習した場合の精度の変化を調査する必要がある．

6

まとめと今後の展望

本研究では，音声認識の事後確率分布，誤りを用いて，End-to-End 音声翻訳を学習する方法で，学習に有効な音声認識の性能は，soft loss のみを用いる場合は，誤りが少ないモデルがより効果的だが，
ASR-PBL で hard loss と soft loss を混ぜて使う場合
は，誤りがとても少ないモデルだと効果が下がることがわかり，鋭い分布よりも滑らかな分布が有効であることがわかった．また，ST-task の BLEU が高い
場合，ASR-task の WER も下がる傾向があることが分かった．
今後の課題として，学習の際に適切な分布がどのような特徴を持っているのかの定量的な調査 (分布の鋭さなど) を考えている．また，本研究では train
set の数だけラベルを Decode する必要がある点でコストが高いため，生成ラベルを削減して実現できる手法も考えている．

― 934 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66–71,

謝辞
本研究の一部は JSPS 科研費 JP21H05054 の助成を受けたものである．

参考文献
[1]

Ron J. Weiss, Jan Chorowski, Navdeep Jaitly, Yonghui
Wu, and Zhifeng Chen. Sequence-to-sequence models candirectly translate foreign speech. In Francisco Lacerda,
editor, Interspeech 2017, 18th Annual Conference of
the International Speech Communication Association,
Stockholm, Sweden, August 20-24, 2017, pp. 2625–[2]

2629. ISCA, 2017.
Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito
Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. Proceedings ofthe 15th International Workshop on Spoken Language
Translation, 181-188, Oct. 2018.

[3]

Shun-Po Chuang, Tzu-Wei Sung, Alexander H. Liu, andHung-yi Lee. Worse wer, but better bleu? leveraging
word embedding as intermediate in multitask end-to-end
speech translation. In Dan Jurafsky, Joyce Chai, Natalie
Schluter, and Joel R. Tetreault, editors, Proceedings of
the 58th Annual Meeting of the Association for Computational Linguistics, ACL 2020, Online, July 5-10, 2020,

[4]

[5]

[6]

pp. 5998–6003. Association for Computational Linguistics, 2020.
胡尤佳, 須藤克仁, Sakriani Sakti, 中村哲. 音声認識仮説の曖昧性を考慮する Multi-task End-to-End 音声翻訳. 言語処理学会第 27 回年次大会 (NLP2021), 2021.
Yuka Ko, Katsuhito Sudoh, Sakriani Sakti, and Satoshi
Nakamura. ASR Posterior-Based Loss for Multi-Task Endto-End Speech Translation. In Proc. Interspeech 2021,
pp. 2272–2276, 2021.
Christopher Cieri, David Miller, and Kevin Walker. The
ﬁsher corpus: a resource for the next generations of speechto-text. In Proceedings of the Fourth International Conference on Language Resources and Evaluation, LREC
2004, May 26-28, 2004, Lisbon, Portugal. European Lan-

[7]

2018.
[10] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki
Hayashi, Jiro Nishitoba, Yuya Unno, Nelson-Enrique Yalta
Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen,et al. Espnet: End-to-end speech processing toolkit. Proc.
Interspeech 2018, pp. 2207–2211, 2018.
[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser,
and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp.
5998–6008, 2017.
[12] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing
Zhu. Bleu: a method for automatic evaluation of machinetranslation. In Proceedings of the 40th annual meetingof the Association for Computational Linguistics, pp.
311–318, 2002.
[13] Daniel S. Park, William Chan, Yu Zhang, Chung-Cheng
Chiu, Barret Zoph, Ekin D. Cubuk, and Quoc V. Le.
Specaugment: A simple data augmentation method for automatic speech recognition. In Gernot Kubin and Zdravko
Kacic, editors, Interspeech 2019, 20th Annual Conference of the International Speech Communication Association, Graz, Austria, 15-19 September 2019, pp.

2613–2617. ISCA, 2019.
[14] Alex Graves, Santiago Fernández, Faustino J. Gomez,
and Jürgen Schmidhuber. Connectionist temporal classiﬁcation: labelling unsegmented sequence data with recurrent neural networks. In William W. Cohen and
Andrew W. Moore, editors, Machine Learning, Proceedings of the Twenty-Third International Conference(ICML 2006), Pittsburgh, Pennsylvania, USA, June 2529, 2006, Vol. 148 of ACM International Conference Proceeding Series, pp. 369–376. ACM, 2006.

[15] Shinji Watanabe, Takaaki Hori, Suyoun Kim, John R Hershey, and Tomoki Hayashi. Hybrid ctc/attention architecture for end-to-end speech recognition. IEEE Journal of
Selected Topics in Signal Processing, Vol. 11, No. 8,
pp. 1240–1253, 2017.

guage Resources Association, 2004.
Mattia A Di Gangi, Roldano Cattoni, Luisa Bentivogli,
Matteo Negri, and Marco Turchi. Must-c: a multilingual
speech translation corpus. In 2019 Conference of theNorth American Chapter of the Association for Computational Linguistics: Human Language Technologies,[8]

pp. 2012–2017. Association for Computational Linguistics, 2019.
Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas
Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, et al.
The kaldi speech recognition toolkit. In IEEE 2011
workshop on automatic speech recognition and understanding, No. CONF. IEEE Signal Processing Society,

[9]

2011.
Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the― 935 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

48

60

47

55

46

50

ASR-task WER

付録 (Appendix)

7

BLEU

45

事前学習 ASR モデルの設定

44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

43
42
41
40 0.1

Fisher

soft

0.7

0.9

39.7
35.3
28.9
14.1
9.3
7.8
6.7

50

ASR-task WER

55

46

BLEU

44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)4140 0.1

0.3

soft

0.7

0.9

50

ASR-task WER

55

BLEU

45
44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)
soft

0.7

0.9

ASR-task WER

45
44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)
soft

0.7

0.9

50

44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

BLEU

soft

0.7

0.9

55

46

50

44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

表4

Fisher の BLEU と ASR-task WER (全て
の図)

7.2

soft

0.7

0.9

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

0.3

0.5

soft

0.7

0.9

1.0

(l) Attn-CTC ASR-task WER

50

44
CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

45
40
35
30
25

0.5

soft

0.7

0.9

1.0

(m) Attn-CTC-Specaug BLEU

― 936 ―

20 0.1

1.0

55

図3

1.0

25
0.5

46

0.3

0.9

35

60

40 0.1

0.7

40

47

41

soft

30

45

MuST-C の soft label における WER．

0.5

45

48

42

0.3

(j) Attn ASR-task WER
60

43

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

20 0.1

1.0

ASR-task WER

9.7
5.2

BLEU

Attn-Specaug
Attn

1.0

25
0.5

(k) Attn-CTC BLEU

Soft-label WER

0.9

30

MuST-CASR WER

0.7

35

47

Total epoch: 45 / Batch size: 64 / Accum grad: 4

soft

40

48

0.3

0.5

45

(i) Attn BLEU

40 0.1

0.3(h) Attn-Specaug ASR-task WER

55

41

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

20 0.1

1.0

46

43

1.0

25
0.5

45

Fisher の soft label における WER．

0.9

35

60

0.3

0.7

40

47

40 0.1

soft

45

48

41

0.5

30

(g) Attn-Specaug BLEU

42

0.3

(f) Epoch-10 ASR-task WER

50

42

7.1.2

20 0.1

1.0

55

43

1.0

25
0.5

60

0.3

0.9

35

46

40 0.1

0.7

40

47

41

soft

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

45

48

42

0.5

30

(e) Epoch-10 BLEU

43

0.3

(d) Epoch-8 ASR-task WER

45

表3

20 0.1

1.0

60

0.3

1.0

35

46

40 0.1

0.9

40

47

41

0.7

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

45

48

42

soft

25
0.5

(c) Epoch-8 BLEU

43

0.5

30

ASR-task WER

Epoch-6
Epoch-8
Epoch-10
Attn-Specaug
Attn
Attn-CTC
Attn-CTC-Specaug

60

47

42

0.3

(b) Epoch-6 ASR-task WER

48

43

Soft-label WER

35

20 0.1

1.0

45

BLEU

ASR WER

40

25
0.5

(a) Epoch-6 BLEU

1. Epoch-6, 8, 10• Attention で epoch 30 まで学習した際に保存された，epoch 6, 8, 10 のモデル．
2. Attn-Specaug• Attention+SpecAugment [13] で epoch 50 まで学習した中で，dev データの accuracy が最も高かったモデル．
3. Attn• Attention で epoch 30 まで学習した中で，dev
データの accuracy が最も高かったモデル．
4. Attn-CTC• Hybrid CTC/Attention [14, 15] で epoch 50 まで学習した中で，dev データの accuracy が最も高かったモデル．Attention に対する
CTC の重みは 0.3．
5. Attn-CTC-Specaug• Hybrid CTC/Attention + SpecAugment で epoch
50 まで学習した中で，dev データの accuracyが最も高かったモデル．Attention に対する
CTC の重みは 0.3．

BLEU

7.1.1

0.3

45

30

ASR-task WER

7.1

CE
CE-LSM
ASR-PBL
ASR-SBL
ASR-SBL(LSM)

20 0.1

0.3

0.5

soft

0.7

0.9

1.0

(n) Attn-CTC-Specaug ASR-task
WER

Fisher (Fisher test) の BLEU と ASR-task WER．

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).