言語情報とパラ言語情報を考慮したニューラル音声翻訳
徳山 太顕 1

Sakriani Sakti1,2
須藤 克仁1,2
中村 哲1,2
1 奈良先端科学技術大学院大学
2 理化学研究所 革新知能統合研究センター AIP{tokuyama.hirotaka.ti9, ssakti, sudoh, s-nakamura}@is.naist.jp

1

はじめに異なる言語話者同士のコミュニケーションを 可 能 に し，言 語 の 垣 根 を 越 え る 音 声 か ら 音
声 へ の 翻 訳 (Speech-to-Speech Translation; S2ST) が
注 目 さ れ て い る． 従 来，音 声 翻 訳 は 自 動 音 声
認識 (Automatic Speech Recognition; ASR)，機械翻訳(a) 従来のパラ言語情報を利用した Cascade ASR-MT Model [1](Machine Translation; MT) ，テキスト音声合成 (Textto-Speech; TTS) の 3 つのシステムで順々に開発されてきた．
しかし，これらのシステムは言語情報の翻訳に焦点を当てており，感情や強調などの他の音声特徴を伝えるパラ言語情報を考慮していないものがほとん(b) 提 案 す る パ ラ 言 語 情 報 を 利 用 し た Cascade ASR-MT Model(例:Emphasis Tag)どである．最近の研究では，言語とパラ言語の認識と翻訳をそれぞれ別々にモデル化することでパラ言語の翻訳を提案している [1]．しかし，このシステ
ムでは ASR が隠れマルコフモデル (HMM)，MT がニューラルネットワークと違うモデルをベースとしており，強調を推定，翻訳するシステムもそれぞれ(c) 提 案 す る パ ラ 言 語 情 報 を 利 用 し た Direct ST Multitask Model(例:Emphasis Tag)

図1

パラ言語情報の翻訳モデル

ASR と MT の処理を待つ必要がある．したがって全情報を離散化して翻訳するシステム [1] を提案した．

体的に見れば複雑な構造をしており，翻訳システム彼らのシステムは図 1(a) (従来の Cascade ASR-MTとしても実装面においてもまだ最適ではない．

Model) のように，ASR 処理後に強調を推定，MT 処

そこで本研究ではニューラルネットワークを用い理後にその強調を適用している．例えば， 今日はることで言語とパラ言語の翻訳を統一的なモデルの暑いです． という音声を， 暑い中で考慮し，音声から強調を重視してパラ言語情報して考えた場合，ASR では きょう は あつい ですをテキストに反映できるかについて検討を行った．というテキストが出力され，その出力テキストを基評価実験では自然音声データと音声合成データを用意し，それぞれパラ言語を適用できるようにデータに強調推定を行う．次にその きょう は あつい です というテキストを MT に入力することで It isを編集して学習させ，自然音声と音声合成でモデル

hot today . と翻訳されるが，この時に日本語と英語の評価を行った．その結果，本研究で提案した手法の対応関係を表す Attention を利用して翻訳箇所とは標準的な言語翻訳とほぼ同様の性能を維持したまま，言語情報とパラ言語情報の両方を翻訳できるこ

強調の関係を計算し， hotとが明らかになった．

翻訳システムで考えた場合，様々なモデルを取り入

2

パラ言語情報の翻訳モデル
従来の翻訳システムにおいて，Do らはパラ言語を強調して入力が強調されていることが分かるように出力される．しかし，これを一つのれることによるシステムの大きさや複雑さ，さらに翻訳の遅延が発生するなど幾つかの制約がある．
そこで，今回の提案として図 1(b) (提案の CascadeASR-MT Model) のように，ニューラルネットワークを利用して強調推定や強調翻訳を一つのシステムに統合することを考える．その場合，テキストデータと強調データを同時に翻訳させるため，テキストデータに強調データを付与させることを考える．
例えば，先ほどと同様の 今日は暑いです． という音声を入力した場合，ASR では
あつい 3 です 0

きょう 0は0

図2。 0 のように あつい に強強調を含む音声合成の生成調のデータを表すものを付与させる．次に，これをMT で翻訳した場合， It0 is0 hot3 today0 .0のように対応する単語に対して同様に強調のデータを出力できるように考える．強調を含むテキストデータについて，次の 3 種類のテキストデータを提案する．
Emphasis Tag:
きょう 0 は 0 あつい 3 です 0 。0It0 is0 hot3 today0 .0
Emphasis 1-Token:
きょう は <to3> あつい です 。
It is <to3> hot today .
Emphasis All Token:<to0> きょう <to0> は <to3> あつい <to0> です <to0> 。
<to0> it <to0> is <to3> hot <to0> today <to0> .

図3

強調を含むテキストの作成 (強調レベル 3 の場合)レベルで作成されたものであり，また，強調レベルに関しては 0 から 4 までのラベルが割り当てられ，その値が高いほど強調される単語が強く発音される．しかし，このデータは強調を含めて約 5000 文とデータセットとしては非常に少ない．そこで今それぞれの ASR と MT を学習させた後，図 1(c) (提回は BTEC (Basic Travel Expressions Corpus) コーパス

案の Direct ST Multitask Model) のように Ye らのマル

[4] を利用する．ただし，BTEC には強調を含んだテチタスクモデル [2] をベースとした一つのモデルにキストデータや，音声データが含まれないため，こし，音声からパラ言語情報を含む直接 Speech-to-Text

れらは人工的に作成した．データ作成に関しては次(ST) 翻訳を行う．本来このマルチタスクモデルはASR から，ASR，MT のデコーダを介さずに TTS のの 3.2 節で述べる．
これらを利用して実験を行うが，前述のとおり自デコーダからスペクトログラムを出力するモデルで然音声のデータは BTEC と比べてはるかに少ないたあるが，今回は学習させた ASR のエンコーダと MTめ，20 倍にオーバーサンプリングして学習データにのデコーダを利用して学習を行わせる．つまり，同追加して実験を行う．

様に強調した音声を入力した際， きょう 0
あつい 3です 0 。 0は0を出力せず，そのまま MT

3.2

強調を含む音声とテキストの生成のモデルを通して It0 is0 hot3 today0 .0 と出力させ音声はまず，図 2 のようにテキストの一番初めにることを考える．
また，言語によっては音声の強調を副詞等を利現れる形容詞の単語を中心に分離させる．次に各分用して言語的に強調できる可能性がある [3]．した利用して合成音声を生成させる．ここで音声の強調がって，もう一つの提案としてパラ言語情報を言語を反映させるように，形容詞部分の音声のみを音量情報的に翻訳する実験も同時に行う．

を 5 段階に分けて変換させる．最後に各音声を連結

3

データセット3.1

使用するデータセットについて

本研究では日本語の母語話者による自然音声と，その書き起こしたテキストデータ，また，単語を挿離したテキストにおいて、Google Text-to-Speech1）をさせて一つの音声にすることで，強調を含む音声が生成できる．
また，図 3 のようにテキストも形容詞前後で分離させ，それぞれのシステムに合わせて情報を追加させた．

入することでテキストの内容を強調したデータを利用する．これは 1029 文をそれぞれ 5 段階の強調

1） https://pypi.org/project/gTTS/

ルに合った単語を挿入できている割合で評価した．

4.3

実験結果

4.3.1

言語評価

言語評価は表 1 の通りである．Synthetic において
図4

3.3

単語の挿入例

挿入を含むテキストの生成はトークンを利用したものが ST 翻訳において 2〜5 ポイントほど高いことが分かる．特に，All Tokenは，No Emphasis と同程度，もしくは 2 ポイント前後向上した．これはトークンを利用することで語彙

まず自然音声のテキストデータのうち，単語が挿入されたテキストの中からどのような単語が挿入さ数の変化が小さい事や，トークンを利用して強調レベルを学習できることが考えられる．

れているかを各強調レベルごとに抽出する．これら

逆にタグを付けたものでは ASR の精度が少し向の抽出した単語のうち最もよく使われている単語上する一方で，ST 翻訳のスコアは低下した．これ

5 つをランダムに選び，図 4 のように形容詞の前に挿入してテキストデータを作成する．そこで MT をは各単語にタグを付けることによって語彙数が増えることから，ASR においては強調が違えば別の単語利用して，元のテキストデータから正しい位置に単であると認識できる一方で，MT や ST 翻訳において語が挿入されるかを実験した．

は別の単語であることから翻訳モデルを複雑にして4評価実験しまうことが原因であると考えられる．

4.1

実験設定なってしまった．これは ASR での影響が大きいた

実験はオープンソースの OpenNMT-py [5] を利用した．エンコーダとデコーダは Transformer [6] で構成し，最適化には Adam を使用した．このモデルで一方，Natural での ST 翻訳の評価はかなり悪くめ，自然音声の学習データを増やすなど ASR のスコアを改善する必要がある．
4.3.2

強調評価

ASR と MT を別々に学習させてテストを行い，それ強調評価は表 2 の通りである．ASR においては従ぞれの結果から評価を行った．続いて ST 翻訳では来法よりも同等もしくは高いスコアを出しており，ASR と MT のそれぞれの学習済みのモデルを利用し提案法が比較的優れている．特に提案法では，言語て再度学習させ，MT と同様に評価を行った．また，評価を含めて音声と編集したテキストデータで学習単語を挿入する実験も同様に MT を利用した．

できていることが分かる．
また，MT や ST 翻訳においては，強調の含まれる

4.2

評価方法

単語の位置が翻訳結果に依存するため，文レベルに評価方法として，まず各提案したデータセットおいての強調は正しいとしても，単語の位置によるが，ベースラインである一般的な ASR や MT (NoEmphasis) と，2 節でも述べた従来法 (Separated) と比強調が違うことが多かったため，ASR と比べて値は較しながら評価を行う．ASR では単語誤り率 (Word

大きく，強調を含めた翻訳においても提案法が優れ

Error Rate : WER) を 評 価 し，MT と ST 翻 訳 で はていると言えるであろう．また，従来法での値が非BTEC と自然音声のテキストデータで，Multi-BLEU，常に低い理由として，強調が Attention の関係性に依SacreBLEU2）を用いて評価する．

存する一方で，該当する単語に強調が当たってない低い．しかし，提案法においては従来法よりも値はまた，強調を含む翻訳システムにおいては，出力結果が多かったことが挙げられる．また，翻訳結果テキストを評価する言語評価と，強調部分が正しいによって表現が変わることも考えた場合，別の評価かを評価する強調評価に分けて行う．それぞれの評方法も考慮する必要がある．

価の際，強調を表すタグとトークンを分離させ，強挿入評価

調評価の場合は，全単語での強調レベルを正解デー

4.3.3タとの F1-score を計算する．また，挿入の実験で挿入評価は表 3 の通りである．1-Token の方がより高い精度で挿入を行えていることが分かるが，こは，出力が元のテキストを変化させず，各強調レベ
2） https://github.com/mjpost/sacrebleu

れは各トークンと挿入する単語が対応しているこTest Data

System従来法

Synthetic
提案法
従来法
Natural
提案法

No Emphasis
Separated
Emphasis Tags
Emphasis 1-Token
Emphasis All TokenNo Emphasis
Separated
Emphasis Tags
Emphasis 1-Token
Emphasis All Token

表 1 言語評価
Cascade ASR-MT ModelASR
MTWER↓ Multi-BLEU↑ SacreBLEU↑
0.72
44.84
47.80
0.38
43.99
46.71
0.64
42.64
45.57
0.80
42.31
45.640.80
44.84
47.71
24.72
31.81
34.68
19.50
28.74
31.76
24.37
34.12
36.54
25.45
36.05
38.71
22.40
34.35
36.91
表2

Test Data

System従来法

Synthetic

提案法
従来法

Natural

提案法

Separated
Emphasis Tags
Emphasis 1-Token
Emphasis All Token
Separated
Emphasis Tags
Emphasis 1-Token
Emphasis All Token

強調評価 (F1-score)
Cascade ASR-MT Model
ASR
MT
95.52
5.41
95.38
64.52
98.51
70.77
96.97
74.63
59.66
34.31
69.23
36.76
63.59
49.48
61.60
44.22
表3

Test Data

SystemSynthetic

提案法

Natural

提案法

Emphasis Tags
Emphasis 1-Token
Emphasis All Token
Emphasis Tags
Emphasis 1-Token
Emphasis All Token

Direct ST Multitask Model
Multi-BLEU↑
33.88
—
29.24
37.92
35.94
2.72
—
2.08
5.18
5.29

SacreBLEU↑
36.88
—
32.57
41.29
39.37
4.10
—
2.34
6.17
6.75

Direct ST Multitask Model
—
55.74
66.67
55.88
—
32.50
43.14
42.71

挿入評価
0
98.18
99.20
94.33
84.53
93.62
88.04

Emphasis Level123
87.88 93.94
94.94
90.91 100.00 100.00
93.94 96.97
90.90
67.03 81.11
80.90
82.98 92.55
91.30
73.91 79.35
81.11

490.91100.00
93.94
75.28
91.30
82.22

Total
96.8198.90
94.25
77.85
90.34
80.92とが考えられる．一方で Tags や All Token の場合でを利用したものが優れた結果を出しており，実用化は精度が比較的低い．これらは全ての単語にタグやを考えた場合は Natural でも従来法より高いスコアトークンが付いていることから，学習時にそれぞれを出している All Token が最も適していると考える．の挿入される単語との関係が取れていないことや，それに関連して出現回数が少ない単語に対して対応

また，今回は音声データも含め，学習データの大半が BTEC のものであるため Natural における結果はできていないことが考えられる．

優れているとは言えないが，Synthetic における評価

5

おわりにから学習データによっては現在よりも精度の高いモデルに学習できる可能性がある．

本研究ではパラ言語情報をニューラルネットワー

今後の展望として，音声の強調レベルや挿入デークを用いて翻訳することを目的として，2 節のようタに関して人間による主観評価を行うことや，言語なモデルやパラ言語情報を含めたテキストを提案し強調についても直接翻訳が行えるようにモデル考えた．続いて，3 節のようにパラ言語情報を含むデーること必要がある．また，自然音声のデータを確保タセットを準備して実験と評価を行った．

して Natural の精度を向上させることを目指す．

実験結果から，従来法と比べると言語評価，強調評価の両方の観点から提案法が高いスコアを出すことができた．提案法においてはシステムによって得手不得手があるが，ST 翻訳においてはトークン

謝辞
本研究の一部は JSPS 科研費 JP17H06101 の助成を受けたものである．

参考文献[1] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura.
Sequence-to-sequence models for emphasis speech translation. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 10, pp. 1873–1883, 2018.
[2] Ye Jia, Ron J. Weiss, Fadi Biadsy, Wolfgang Macherey,
Melvin Johnson, Zhifeng Chen, and Yonghui Wu. Directspeech-to-speech translation with a sequence-to-sequencemodel, 2019.
[3] Quoc Truong Do, Sakriani Sakti, and Satoshi Nakamura.
Toward multi-features emphasis speech translation: Assessment of human emphasis production and perception withspeech and text clues. In 2018 IEEE Spoken Language
Technology Workshop (SLT), pp. 700–706, 2018.
[4] Genichiro Kikui, Eiichiro Sumita, Toshiyuki Takezawa, andSeiichi Yamamoto. Creating corpora for speech-to-speechtranslation. In Eighth European Conference on Speech Communication and Technology, 2003.
[5] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart,
and Alexander M. Rush. Opennmt: Open-source toolkit forneural machine translation, 2017.
[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia
Polosukhin. Attention is all you need, 2017.