言語処理学会 第27回年次大会 発表論文集 (2021年3月)

音声認識仮説の曖昧性を考慮する Multi-task End-to-End 音声翻訳
胡 尤佳 1

須藤 克仁 1,2
Sakriani Sakti 1,2
中村 哲1,2
1 奈良先端科学技術大学院大学
2 理化学研究所 革新知能統合研究センター AIP{ko.yuka.kp2, sudoh, ssakti, s-nakamura}@is.naist.jp

1

はじめに

音声翻訳 (Speech Translation; ST) は，原言語の音声を入力として目的言語のテキストを出力する技術である．従来は音声認識モデル (Automatic
Speech Recognition; ASR) と機械翻訳モデル (MachineTranslation; MT) をつなぎ合わせた Cascade モデルにより実現されていた．それに対し，近年ではニュー
ラルネットワークを用いた系列変換技術により，原言語の音声を直接目的言語のテキストに翻訳する
End-to-End モデルの研究が進んでいる．
Cascade モデルにおいては，音声認識の結果に誤りが含まれている場合，機械翻訳の精度も大きく低下するという問題があり，音声認識の誤りに頑健な機械翻訳が必要となる．End-to-End モデルでは，
事前学習された ASR，MT モデルによる Encoder とDecoder の初期化や，ASR，MT を Sub-task として，
Main-task と同時に学習をする Multi-task Learning が精度向上のために不可欠である．しかし，一般的なMulti-task Learning では，正解と一致しない予測結果に対して等しく損失が計算される．そのため，正解
系列と異なるが発音の似た予測結果と，発音の似ていない予測結果の損失が同じになる場合があり問題となる．よって，End-to-End モデルにおいても，
Cascade モデルと同様に，音声認識出力の曖昧性を考慮した学習方法が必要となる．
本研究では，End-to-End 音声翻訳モデルにおいて，
音声認識出力の曖昧性を考慮した Multi-task による学習方法を提案する．提案手法による実験と分析を通じて，本手法が音声翻訳における音声認識出力の曖昧性に対する頑健性の向上と，翻訳精度の向上に寄与することを確認した．

2

関連研究

End-to-End 音声翻訳における Multi-task Learning [1,2] では，Main-task である ST-task を学習するだけでなく，Encoder とその隠れベクトルを共有した上でSub-task である ASR-task の学習も同様にする．
Kano ら [3] は，Multi-task の仕組みを用いて，語順の差異の大きな英日 End-to-End 音声翻訳において，
音声認識，機械翻訳といった比較的簡単なタスクから学習し，構造を組み替えながら最終的に，入力音声から出力系列を直接翻訳するモデルをカリキュラ
ム学習する手法を提案し，翻訳精度を向上させた．
Chuang ら [4] は，Multi-task End-to-End 音 声 翻 訳
で，Sub-task である ASR-task の学習において，予測
単語と正解単語の埋め込みベクトルのコサイン類似度を損失関数の計算に利用し，音声翻訳精度を向上させた．これは，ASR-task において，単語の意味的類似性を考慮することで，音声翻訳の頑健性を向上させる試みと言える．
Osamura ら [5] は，Cascade モデルの音声翻訳において，One-hot ベクトルの代わりに，音声認識の事
後確率分布を表すベクトルを機械翻訳モデルへ渡し学習をすることで，音声認識誤りに対する頑健性を向上させた．
本研究では，Kano ら，Chuang らと同様に Multi-taskの手法と，Osamura らの手法をもとに，End-to-Endにおいても音声認識出力の曖昧性に頑健な音声翻訳の実現を試みる．

3

関連技術

3.1

End-to-End 音声翻訳

End-to-End 音声翻訳モデルは Encoder-Decoder モ
デ ル に よ り 実 現 さ れ る． X = (𝑥1 , ..., 𝑥𝑇 ) を 原 言
語 の 入 力 音 声 に 対 す る 音 響 特 徴 量 の 系 列 と し，Y = (𝑦 1 , ..., 𝑦 𝑁 ) を目的言語記号列とする．ここで，𝑦 𝑖 ∈ 𝑉 であり， 𝑉 は目的言語の語彙集合， 𝑇 は音響
特徴量のフレーム長， 𝑁 は目的言語記号列のトークン数を表す．
𝑣 を語彙集合 𝑉 の元とすると，𝑖 番目の目的言語― 622 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ASR posterior distribution (soft loss)

One-hot reference (hard loss)

ST-task

ASR-task

ST-taskTargetText

SourceText

TargetText

0

1

TargetDecoder

SourceDecoder[ℎ1 , ℎ2 , … , ℎ 𝑇 ]

0.01

0

𝐿𝑜𝑠𝑠ℎ𝑎𝑟𝑑
0.02

TargetDecoder

0

0.38

0.40

0.01

SourceDecoder

0.5

𝐿𝑜𝑠𝑠𝑠𝑜𝑓𝑡

TargetText

0.02

Pre-train
ASR

TargetDecoder

0.4

SourceDecoder

TargetDecoder0

Encoder Time (s)1.09

0-0.8104-0.8104000.7942

0.7942

1.09

Encoder Time (s)Encoder Time (s)
0

1.09

0

-0.8104-0.8104000.7942

0.7942English__Great_Britain__Female1

Single-task ST (左) と Multi-task ST (右)図2

記号の事後確率は以下の式で表される
𝑃ST (𝑦 𝑖 = 𝑣) = 𝑝(𝑣|X, 𝑦 <𝑖 ).

(1)

用いて以下の式で表される
𝛿(𝑣, 𝑦 𝑖 ) log 𝑃ST (𝑦 𝑖 = 𝑣).

English__Great_Britain__Female1

従来手法 (左) と提案手法 (右)事後確率分布を reference として与え，ASR 出力の曖

ST の学習時の損失関数 LST は，cross entropy loss を
𝑁 ∑
𝑉
∑

1.09

English__Great_Britain__Female1

English__Great_Britain__Female1

昧性を考慮するよう ST を学習する手法を提案する．
従来手法と提案手法の概要図を図 2 に示す． 3.2
節で述べた従来手法では，正解と一致しない予測結果に対して等しく損失が計算されてしまい，発音の(2)

𝑖=1 𝑣 ∈𝑉

式中の 𝛿(𝑣, 𝑦 𝑖 ) は，𝑣 = 𝑦 𝑖 のとき 1，そうでなければ類似した予測結果と類似していない予測結果が同じように損失を計算され，ASR 出力の曖昧性を考慮できないと考えられる．
そこで提案手法では，ASR-task において，One-hot

0 とする．

3.2

TargetText[ℎ1 , ℎ2 , … , ℎ 𝑇 ][ℎ1 , ℎ2 , … , ℎ 𝑇 ]LST = −

0.01

0.38

[ℎ1 , ℎ2 , … , ℎ 𝑇 ]EncoderTime (s)

図1

0.01

0.4

reference の代わりに，ASR 出力の曖昧性を表す ASR

Multi-task End-to-End 音声翻訳

事後確率分布 (ASR posterior distribution) のベクトル

Multi-task 音 声 翻 訳 に お い て は，音 響 特 徴 量 がを reference として用いる．ASR 事後確率分布は，発Encoder に より 隠 れベ ク ト ル に 変 換 さ れ，そ の後音が似ている単語が同じようなスコアを持つこと

ST-task (Main-task) の Decoder と ASR-task (Sub-task)が期待されるため，どの単語が他のどの単語と発音の Decoder の両方を用いて学習される．式 (1) (2) より，𝑃ASR を 𝑃ST と同様に定義すると，ASR 学習時が類似しているか，という情報を保持している．これを reference とすることで，音声認識出力の曖昧性の損失関数 LASR は以下の式で表されるに対して頑健な音声翻訳が学習できると期待でき

LASR = −𝑁 ∑𝑉∑る．Osamura らの方法では，Cascade モデルにおい𝛿(𝑣, 𝑦 𝑖 ) log 𝑃ASR (𝑦 𝑖 = 𝑣).

(3)𝑖=1 𝑣 ∈𝑉

ST-task の損失関数を LST ，ASR-task の損失関数をて，事前学習された ASR により出力される事後確率分布を，One-hot ベクトルの代わりに MT の入力とし，チューニングすることで音声認識出力の曖昧

LASR ，LASR に対する重みを 𝑊ASR とすると，学習時全体の損失関数 L は以下の式で表されると，本手法では，ASR 事後確率分布をそのまま入力

L = (1 − 𝑊ASR ) LST + 𝑊ASR LASR .

とするのではなく reference として用い，損失関数の(4)3.1 節で述べたモデルを Single-task ST，本節で述べたモデルを Multi-task ST とし，それぞれの概要図を図 1 に示す．本稿では，式 (3) における LASR を，
hard label (One-hot reference) による cross entropy loss
として Lhard で表す．

4

提案手法

性に対して頑健な翻訳を実現した．それと比較する計算方法を変える点で違いがある．
ASR 事後確率分布は，事前学習された ASR を用いて得られた，各トークンに対するスコアを持ったベ
クトルの softmax を取り，soft label とする．soft label
において 𝑖 番目のトークン 𝑣 のスコアを 𝑃soft (𝑖, 𝑣) とすると，提案手法よる損失 Lsoft は以下の式で表される

本手法では，Multi-task End-to-End 音声翻訳モデルの ASR-task の学習の際に，事前学習された ASR の― 623 ―

Lsoft = −𝑁 ∑𝑉∑𝑃soft (𝑖, 𝑣) log 𝑃ASR (𝑦 𝑖 = 𝑣).

𝑖=1 𝑣 ∈𝑉

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(5)

表1

表2

実験に用いた Fisher CallHome Spanish コーパス1）

ASR，ST モデルの設定
ASR

size

train

ﬁsher_train

415869 (138623 * 3)

epoch

dev

ﬁsher_dev3973

encoder layers

12

encoder units

2048

test

30

ﬁsher_dev2

3957

decoder layers

6ﬁsher_test

3638

decoder units

2048

callhome_devtest

3956

attention dimension

256

callhome_evltest

1825

attention heads

4batch size

64

本実験では，LASR を以下の式として定義し，Lhard

accum gradと Lsoft の割合を，重み 𝑊soft で調整できるように

gradient clipping

した

LASR = (1 − 𝑊soft ) Lhard + 𝑊soft Lsoft .

(6)2transformer learning late

5transformer warmup steps

25000

label smoothing weight

0.1

model average

実験

4
5

dropout

5

ST

dataset

2.5
0

0.1
1

5

本実験では，データセットとして，Fisher Spanish

は 𝑊soft = {0.0} に対応し，提案手法である soft loss を

CallHome Spanish コーパス [6] を用い，Spanish-English

用いた条件は 𝑊soft = {0.3, 0.5, 0.7, 1.0} に対応する．

(Es-En) の 音 声 翻 訳 モ デ ル を 作 成 し た．本 デ ー タ
セットは，170 時間のスペイン語による電話での日常会話音声と書き起こし，それらに該当する英語テキストにより構成されている．音響特徴量は，実験結果と分析6

Fisher CallHome Spanish コーパスの test データによる BLEU スコアの結果を表 3 に示す．soft𝑊soft -Kaldi [7] により抽出した，3 次元の pitch が付加さhard(1 −𝑊soft ) が，各 𝑊soft のパラメータでの実験を表れた 83 次元の Fbank+pitch を用いた．テキストは句す．例として，soft0.0-hard1.0 が，𝑊soft = {0.0} での読点，記号を取り除き小文字化し，音響特徴量は実験を表す．また，BLEU 4-ref は 4 つの reference を

フレーム長 3000，テキストは文字数が 400 より大用いた BLEU スコア，BLEU 1-ref は 1 つの reference

きいものを取り除いた．実験に用いたデータセッを用いた BLEU スコア，↘ はベースラインと比較しトの内訳を表 1 に示す．ASR，ST モデルの学習，

BLEU スコアが低下した結果，太字は BLEU スコア

評価はともに表 1 のデータを用いた．Tokenizer はが最も向上した結果を表す．

SentencePiece [8] により，最大語彙数 1000 として，train データからスペイン語と英語のトークンを共有

実験結果から，test データ全体として見ると，ベースラインと比較し，提案手法で BLEU スコアが低下した辞書を作成し，train, dev, test データに適用した．

したものよりも，向上したものの方が多いことが分

ASR，ST モ デ ル は ESPnet [9] を 用 い，Trans-

かる．また，Fisher test データにおいては，いずれのformer [10] により作成した．モデルの設定を表 2 に場合においても，提案手法がベースラインを上回

示す．soft label の作成に必要な事前学習 ASR モデ
ルは，学習後，dev データの WER が最も低いモデても，提案手法である soft1.0-hard0.0，soft0.5-hard0.5

ルを用いた．ST モデルは，学習後，dev データのの場合の結果が，ベースラインである soft0.0-hard1.0

BLEU スコア [11] が高いモデルを上から 5 つ取り出の結果を上回った．よって，提案手法が音声翻訳のし，model averaging をし，最終的なモデルとして test

精度改善に効果的であるということが分かった．

データで評価した．

る結果となった．また，いずれの test データにおいsoft0.5-hard0.5 での Fisher test における出力結果を

本 実 験 で は，式 (4) (6) に お け る 𝑊ASR を 0.3 と表 4 に示す．例 1 では，ベースラインにおいて，"in-

し， 𝑊soft = {0.0, 0.3, 0.5, 0.7, 1.0} の 5 つ の 場 合 にtensive"と出力されるべきところが，"unthinkable"と分 け て 実 験 を し，BLEU ス コ ア に よ り 評 価 し た．

誤って出力されている．ここで，"unthinkable"のス

ベースラインである cross entropy loss を用いた条件

ペイン語としては"inconcebible", "impensable"が該当

1） train データは，音声のスピードを 0.9 倍と 1.1 倍に調整したものを加えるデータ拡張をした．

する．これらは正解である"intensive"に発音が似ており，ASR-task の出力でこれらの単語を予測して― 624 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

test データでの BLEU スコアの結果 ( ↘ はベースラインと比較し BLEU スコアが低下した結果 )表3

Baseline

Proposed

soft0.0-hard1.0
ﬁsher_dev
ﬁsher_dev2
ﬁsher_test

soft0.3-hard0.7 soft0.5-hard0.5 soft0.7-hard0.3

soft1.0-hard0.0

BLEU 4-ref

41.04

40.99↘

41.40

41.20

41.51

BLEU 1-ref

23.97

23.88↘

24.12

24.00

24.33

BLEU 4-ref42.14

42.05↘

42.28

42.45

42.22

BLEU 1-ref

25.17

25.23

25.22

25.30

25.32

BLEU 4-ref

41.17

41.38

41.41

41.18

41.39

BLEU 1-ref

24.77

25.02

24.93

24.82

25.01

callhome_devtest BLEU 1-ref

14.83

15.23

15.00

15.01

14.95

callhome_evltest

14.81

15.26

15.10

14.78↘

15.09

BLEU 1-ref表4

Fisher test の出力結果の例 (soft0.5-hard0.5)

例1
Label

20051028_180633_356_fsp-A-016164-016487

Ground Truth (Es)
Ground Truth (En)sí pero o sea sigue siendo bastante intensi
yes but it’s still pretty intensive

Baseline (En)yes but that keeps getting pretty unthinkable

Proposed (En)yes but that keeps being pretty intense

例2
Label

20051028_180633_356_fsp-A-033453-034134

Ground Truth (Es)es es mejor en el sentido que uno okay que hay menos riesgos pero ay

Ground Truth (En)that is the best in the sense that one okay that there are less risks but ay

Baseline (En)

it’s it’s better in the sense that you don’t that there are less colds but there are

Proposed (En)

it’s it’s a best in the sense that you don’t that there are less risks but

しまった結果，誤った翻訳結果を出力したと考えの向上が見られ，本手法の有効性を確認できた．

られる．これに対し提案手法では，"intensive"に近今後の課題として，ASR-task の出力分布の可視化

い"intense"に翻訳できている．例 2 では，ベースラをした上での定量的な分析，label smoothing loss [12]インにおいて，"risks"と出力すべきところを"colds"を用いた実験での有効性の検証が必要だと考えらと誤訳している．ここで，"colds"のスペイン語としれる．

て，"resfriados"が該当し，正解である"riesgos"に発音

また，従来研究において，Salesky ら [13] は，音が似ている．そのため，ASR-task における予測誤り

素情報を読み情報として ST に用いることで，BLEU

をもとに，誤った出力をしたと考えられる．これにスコアを向上させ，読み情報が ST の学習に効果的

対し提案手法では，正しく"risks"と翻訳できている．

であると報告している．それを踏まえた上で，音これらの例においては，ベースラインと比較し，素，音節情報を損失関数の計算に用いて，字面から提案手法の方では音声認識出力の曖昧性を考慮し組み取れない読みの曖昧性を考慮した ST モデルをて，正しく出力できていると考えられる．

作成できると期待しており，今後実験を進める予定

7

である．

まとめと今後の展望
本研究では，音声認識の事後確率分布を用いて，

End-to-End 音声翻訳の学習をする方法を提案し，音声認識出力の曖昧性に対して頑健な音声翻訳を期待

謝辞
本研究の一部は JSPS 科研費 JP17H06101 の助成を受けたものである．

した．実験結果から，提案手法により BLEU スコア― 625 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Antonios Anastasopoulos and David Chiang. Tied multitask learning for neural speech translation. In Marilyn A.
Walker, Heng Ji, and Amanda Stent, editors, Proceedingsof the 2018 Conference of the North American Chapterof the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2018, New Orleans, Louisiana, USA, June 1-6, 2018, Volume 1 (LongPapers), pp. 82–91. Association for Computational Linguistics, 2018.
[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey,
Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Directspeech-to-speech translation with a sequence-to-sequencemodel. In Gernot Kubin and Zdravko Kacic, editors, Interspeech 2019, 20th Annual Conference of the International
Speech Communication Association, Graz, Austria, 15-19
September 2019, pp. 1123–1127. ISCA, 2019.
[3] Takatomo Kano, Sakriani Sakti, and Satoshi Nakamura.
End-to-end speech translation with transcoding by multitask learning for distant language pairs. IEEE/ACM Transactions on Audio, Speech, and Language Processing,Vol. 28, pp. 1342–1355, 2020.
[4] Shun-Po Chuang, Tzu-Wei Sung, Alexander H. Liu, andHung-yi Lee. Worse wer, but better bleu? leveraging
word embedding as intermediate in multitask end-to-end
speech translation. In Dan Jurafsky, Joyce Chai, Natalie
Schluter, and Joel R. Tetreault, editors, Proceedings of the58th Annual Meeting of the Association for Computational
Linguistics, ACL 2020, Online, July 5-10, 2020, pp. 5998–
6003. Association for Computational Linguistics, 2020.
[5] Kaho Osamura, Takatomo Kano, Sakriani Sakti, Katsuhito
Sudoh, and Satoshi Nakamura. Using spoken word posterior features in neural machine translation. Proceedingsof the 15th International Workshop on Spoken Language
Translation, 181-188, Oct. 2018.
[6] Christopher Cieri, David Miller, and Kevin Walker. The
ﬁsher corpus: a resource for the next generations of speechto-text. In Proceedings of the Fourth International Conference on Language Resources and Evaluation, LREC 2004,
May 26-28, 2004, Lisbon, Portugal. European Language
Resources Association, 2004.
[7] Daniel Povey, Arnab Ghoshal, Gilles Boulianne, Lukas
Burget, Ondrej Glembek, Nagendra Goel, Mirko Hannemann, Petr Motlicek, Yanmin Qian, Petr Schwarz, et al.
The kaldi speech recognition toolkit. In IEEE 2011 workshop on automatic speech recognition and understanding,
No. CONF. IEEE Signal Processing Society, 2011.
[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66–71,
2018.
[9] Shinji Watanabe, Takaaki Hori, Shigeki Karita, Tomoki
Hayashi, Jiro Nishitoba, Yuya Unno, Nelson-Enrique Yalta
Soplin, Jahn Heymann, Matthew Wiesner, Nanxin Chen,et al. Espnet: End-to-end speech processing toolkit. Proc.

Interspeech 2018, pp. 2207–2211, 2018.
[10] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser,
and Illia Polosukhin. Attention is all you need. In Advancesin neural information processing systems, pp. 5998–6008,
2017.
[11] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation ofmachine translation. In Proceedings of the 40th annual
meeting of the Association for Computational Linguistics,
pp. 311–318, 2002.
[12] Gabriel Pereyra, George Tucker, Jan Chorowski, Lukasz
Kaiser, and Geoﬀrey E. Hinton. Regularizing neural networks by penalizing conﬁdent output distributions. In 5thInternational Conference on Learning Representations,
ICLR 2017, Toulon, France, April 24-26, 2017, Workshop
Track Proceedings. OpenReview.net, 2017.
[13] Elizabeth Salesky and Alan W. Black. Phone features improve speech translation. In Dan Jurafsky, Joyce Chai,Natalie Schluter, and Joel R. Tetreault, editors, Proceedings of the 58th Annual Meeting of the Association for
Computational Linguistics, ACL 2020, Online, July 5-10,
2020, pp. 2388–2397. Association for Computational Linguistics, 2020.

― 626 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).