Neural Machine Translation
with Acoustic Embedding
叶 高朋

*1

*1,2

サクティ サクリアニ

中村 哲

*1,2
*1

奈良先端科学技術大学院大学 情報科学研究科
理化学研究所 革新知能統合研究センター *2

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan1

NMTの問題
NMTでは文の意味を学習していて、文脈上よく似た違う単語を誤訳する.
 似た文脈で利用される単語は特徴空間上で近くに分布するため、写像が少しでもずれると似た他の単語に誤訳されてしまうすべての入力単語が翻訳されるわけではない 文の意味に対して重要でない単語には、Attentionが当たらず翻訳されない、また入力には無かった単語が挿入される誤訳が発生する。

NMTはより自然な翻訳を生成するようになったが、従来のPBMTでは無かったような傾向の単語の誤訳、削除、挿入が発生するようになった

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan

2

NMTのEmbeddingとOutputEmbeddingにより、似た文脈で使われる単語は特徴空間の近い場所に写像される

Decoder
やぁ [1,0,0,0,0,0…]

ニュース [0,0,1,0,0,0…]
Encoder

見たか [0,0,0,0,1,0…]？ [0,0,0,0,0,1…]

Outputs
Embedding

こんにちは [0,1,0,0,0,0…]

入出力は離散値の単語IDで、直接入力から単語間の関連や差分をはかるのは難しい

Output layer
写像のズレに影響を受け、正しい翻訳単語の選択を誤る場合がある
2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan[0.3, 0,0, 0,0, 0.1, 0.2, …]

やぁ,おはよう, …
3

先行研究 翻訳にテキスト以外にも画像や音声情報を利用することで、翻訳を改善する
 [画像]Multimodal Attention for Neural Machine Translation [Caglayan et al., 2016]
 画像・テキストの両方をEncodeして、意味と色・形の両方の情報を考慮した訳出を行う

 [音声]Using spoken word posterior features in neural machine translation [Osamura et al, 2018]
 音声認識の信頼度を単語IDの代わりに入力し、意味と発音両方情報を考慮した訳出を行う

 テキスト以外にも画像や音声情報を考慮することで、単語の意味だけじゃなく他の情報（色・形・発音）も考慮して翻訳することでより正確な翻訳を行う

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan

4

Multimodal Attention for Neural Machine Translation

2020/3/30

Attention

Image
Encoder

Multimodal

Text
Encoder

Text
Decoder

TargetText

COPYRIGHT Kano@AHC lab, NAIST Japan

5Using spoken word posterior features in neuralmachine translation
Cascade MT
通常の音声翻訳
Osamuraらの提案法

ASR

Word Value
Value
station 0.44
1.0
shoe
0.0
shoe
0.32
change0.0
cashier 0.02
cashier
0.0
always 0.01
always0.0change 0.09

NMT

TargetText

WP MT

音声認識誤りの無い場合の音声翻訳例
ASR refi d like to have a perm and a haircut please
ASR hypi d like to have a perm and a haircut please
Cascade MT パーマ と パーマ を お願い したい のですがWP MT
パーマ と カット を お 願い し ま すReference
パーマ と カット を お 願い し ま す

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan

6

先行研究の問題• 先行研究では、翻訳に音声や画像の情報を加えることで翻訳が改善することを示した• これらの研究では、音声・画像を含む対訳データを準備する必要がある• 画像、音声データの処理を必要とし、大きなモデル拡張を含む• 本研究では、音声情報に着目し、翻訳時に意味と発音両方を考慮した翻訳を行うテキスト翻訳を目指す• 音声や画像の対訳データを必要としない• 翻訳モデルの大きな拡張を伴わない

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan7

提案法のスコープOsamuraら、他の先行研究のスコープ

ASR
Englishspeech

NMT
Hello

TTS
Konnichiwa

Japanesespeech

本研究のスコープ本研究では、NMTの出力（Decoder）側に着目した
音声合成(TTS)を利用してテキスト翻訳の性能を改善する
NMTとTTSの関係に着目した初めての研究
2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan8

提案手法と先行研究の違い
先行研究
Speech

提案手法

ASR
Text

NMTText

 入力に含まれる様々な情報を考慮して翻訳することで、従来難しかったよく似た単語を訳し分ける

2020/3/30

SpeechTTS

Text

NMTText

 出力生成時に様々な正解に対する損失を学習することで、従来難しかったよく似た単語を訳し分ける

COPYRIGHT Kano@AHC lab, NAIST Japan9

提案手法の概要
Translation loss

SpeechDecoder

Output

Text
Encoder

Attention

English

Embed

Text
Decoder

Output

Text
Encoder

Attention

Embed

日本語

English Speech

Speech loss

 翻訳の訳出生成時に、生成音声上の違いを学習することで、意味の似た単語の違い音声情報を通して学習することで訳し分ける
この時、果たして音声を生成する必要があるのか?
 TTSの分散表現から学習することができる
 TTSの分布が持つ発音情報を考慮した翻訳生成を行う
2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan

10

NMTとTTSのEmbeddingの関係

重みを共有

English

Text
Encoder

Input

＜s＞

SpeechDecoderEnglishNMTのDecoderはEmbedとOutput層を持つ
Embedは英語を意味を考慮して特徴空間に写像
Outputは特徴空間のベクトルから単語を生成する

OutputOutputAttention

Text
Decoder

TTS

Embed

Text
Encoder

Attention

Embed

日本語

Embed

NMT

English Speech

TTSのEncoderはEmbed層を持つ
Embedは英語を発音を考慮して特徴空間に写像する

NMTのDecoderとTTSのEncoderのEmbed層は同じ入力を扱っている
NMT：英語の意味の関係性を考慮した特徴空間
TTS：英語の発音の関係性を考慮した特徴空間
NMTのOutput層はEmbed層の逆写像になっている
2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan

11

提案法:
Neural Machine Translation with Acoustic Embedding

Acoustic
Output layer

NMTDecoder

Semantic
output layer

attention

NMTEncoder

Semantic Output layer 意味空間に基づいて単語を生成
 NMTDecoderのEmbed層の重みを共有している.
Acoustic Output layer 発音空間に基づいて単語を生成 事前学習したTTS EncoderのEmbed層の重み使用し重みは更新されない.

attention

Embed

TTS
Encoder

TTS
Decoder NMTの訳出をTTSのEmbeddingとNMTのEmbeddingの両方で制約することで、NMTのDecoderで発音と意味同時に考慮した系列生成を学習する.

事前学習したTTS
2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan12

提案法:
Neural Machine Translation with Acoustic Embedding
English（Multi-task NMT）

English（Multi-task TTS）

Semantic output layer

Acoustic output layer

Semantic output layer

Acoustic output layer

NMT decoder hidden state

NMT decoder hidden state

NMT Decoder

NMT Decoder

Multi-task:
 それぞれの出力層に対し損失を計算し学習をする テスト時には2つ層から別々に翻訳文が生成される

2020/3/30

English(Joint)

Joint:
 両方の層の出力を足し合わせた結果に対して損失を計算し学習をする テスト時には１つの翻訳文が生成される

COPYRIGHT Kano@AHC lab, NAIST Japan13

実験設定
Transformer 翻訳モデル

Optimizer• Encoder: 3 layers• Decoder: 6 layers• Hidden: 256 units• Embedding: 256 units• Dropout: 0.1• Attention: 8-head Multi-layer Perceptron• TrasnformerFF: 1028

• Method: Adam[3]• Learning ratio: 0.001

Train

480-k

Validation

1-k• Option for transformer• Warm up step: 5000
• Decay steps: 5000

Test

500

Data setting BTEC 合成音声

 モデルの学習にはBTEC1-4の48万文を使用した.
 翻訳の学習には音声を必要としない．
 TTSは、GoogleTTSの音声を利用して学習しEmbeddingの重みを抽出するためだけに用いた.
 提案手法と、通常の１つの出力層しか持たない従来の機械翻訳モデルと性能を比較した.

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan14

実験結果: BTECによる翻訳性能評価
ModelBLEU

WER

Baseline : Subword-to-Character NMT

45.1

35.5

Proposed: Multi-task NMT

50.5

30.5

Proposed: Multi-task TTS

50.2

30.1

Proposed: Joint

48.1

30.24

 提案手法は翻訳性能(BLEU）,正解文に対する一致度(WER)のそれぞれにおいて従来法を上回る性能を示した
 Multi-task提案法は2種類の異なる空間の出力層を持つが、Decoderが両方の空間に対して適切なベクトル系列を生成できている Joint提案法の性能が他より悪い理由として、TTSの重みを固定しているため、出力を足し合わせて損失を計算する方法では学習がうまく行かなかったことが考えられる

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan15

分析結果:単語選択の改善
訳出単語の選択が改善したケース
Reference : a little more milk please
Baseline : let me have some more milk
Proposed : a little more milk please

Baseline

2020/3/30

Proposed Multi-task NMTCOPYRIGHT Kano@AHC lab, NAIST Japan16

分析結果: Attentionの改善
Attentionが改善したケース
Reference : which would you like beef or chicken
Baseline : ** beef or chicken
Proposed : which would you like beef or chicken
Baseline

2020/3/30

Proposed Multi-task NMTCOPYRIGHT Kano@AHC lab, NAIST Japan17

まとめ• NMTは人間に近い翻訳性能を実現しているが、文脈上よく似た単語の区別が難しいなどの問題がある• 先行研究では、この問題に対して画像や音声を入力に用いて扱う情報を増やすことで解決を図った• この方法では、対訳データの準備や大きなモデル拡張を伴う• 本研究では、学習済みの音声合成の重みをNMTの出力層に使用することで、テキストのみの学習でも単語の発音情報を考慮する翻訳を実現した
2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan18

ご清聴ありがとうございました

2020/3/30

COPYRIGHT Kano@AHC lab, NAIST Japan

19