言語処理学会 第25回年次大会 発表論文集 (2019年3月)

カリキュラムラーニングを用いた音声翻訳の学習戦略の提案
叶 高朋 1

サクティ サクリアニ 1,2

中村 哲 1,2奈良先端科学技術大学院大学 情報科学研究科 1
理化学研究所 革新知能統合研究センター 2{kano.takatomo.km0, ssakti, s-nakamura}@is.naist.jp

1

はじめに
近年, 国際化により多くの外国人が日本へ訪れるよ

うになり, また, 東京オリンピックの開催に伴い多言語で円滑にコミュニケーションを取る必要性が高まって

Wy はデコーダの隠れ層から, 目的言語の語彙数次元への線形写像の重みである. デコーダーの隠れベクト
ル hdecは, t 番目の出力を生成するためのコンテキスt
ト情報 ct と重み Wc を用いて下記のように表される.
hdec= tanh(Wc [ct ; hdectt ]).

いる. 英語は有用な言語であるが, 各人の発音の差異・英語の習熟度により必ずしも機能しない場合がある.
この問題を解決する技術として, お互いの母国語同士の翻訳を可能とする自動音声翻訳技術がある. 従来の

ここで, ct はでアテンションモジュールにおいて以下のように得られる.

音声翻訳は音声認識・機械翻訳・音声合成から構成さct

れ, テキストを媒介に受け渡すため, 機械翻訳が音声認

at (n) =ら, Alexandre らが深層学習 [11] を用いて, 入力音声を扱っているため, 問題の難しさとして一般的な音声認識の問題変わらない場合がある. 本研究では, 語順の違う差異の大きな日本語・英語の翻訳を扱うため,より複雑な問題を効果的に学習する構造的カリキュラ
ム学習法を提案する. 従来のカリキュラム学習は, 簡
単なデータから学習を始め複雑なデータを加えていくN∑at(n)hencn(3)decalign(hencn , ht )dec
= sof tmax(dot(hencn , ht ).

から直接翻訳するモデルを, 英語・スペイン語/英語・
究では, 語の並べ替えが限定的で翻訳が容易な言語対=n=1

識誤りに影響を受ける問題がある [12]. 近年, Duong

フランス語について提案している [6, 3]. これらの研

(2)

(4)

henc はエンコーダの出力系列であり, 本研究では双方向 long short-term memory (bi-LSTM) を用い, デコーダは単方向 LSTM を用いた. アテンションモジ
ュールでは, デコーダの隠れ状態に基づき出力に有用なdecエンコーダーの情報を推定している. align(hencn , ht )の計算方法にはいくつか種類があるが, ここではエンコーダーの隠れ層の系列とデコーダの隠れ層の内積を用いた [11].

学習法で, 複雑な問題の学習に有効な戦略である [2].
ここでは, 問題・モデル構造徐々に拡張しながら学習する方法を提案する.

3提案手法
注意型シーケンシャルモデルの学習は, 一般的なニ2ューラルネットワークモデルの学習と比べ, エンコー音声翻訳について

ダ, デコーダ, アテンションの３つのモジュールを同時注意型シーケンシャルモデルを下記のように構築しに最適化する必要があるため難しいとされている [4].

た [1]. 長さ N の入力系列 x = [x1 , x2 , ..., xN ] に対

また, 音声翻訳では, 音声認識で扱われる長い入力系

し, 長さ T の出力系列 y = [y1 , y2 , ..., yT ] とその条件列の境界を推定し, 出力単語に紐付ける問題 [5] と, 機付き確率 p(y|x) は, 下記の通り表される.

械翻訳で扱われる入力単語と出力単語の対応関係発見

p(yt |y1 , y2 , ..., yt − 1 , x) = sof tmax(hdect ).

(1)

し, 変換・並べ替えルールを学習する問題 [1] を同時に解く必要がある. 本研究では, 入力音声から直接対訳文を出力する注意型シーケンシャルモデルを学習す― 942 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

• Baseline ASR+MT:テキストレベルで結合した音る際に, 従来のカリキュラム学習ではなく, 音声認識,声翻訳機機械翻訳といった比較的簡単なタスクから学習し, 構造を組み替えながら最終的に入力音声から出力文を直• Direct ST Enc-Dec:注意型シーケンシャルモデル

接翻訳するモデルを学習する構造的カリキュラム学習を用いた直接音声翻訳機を提案する図 1. に, 注意型シーケンシャルモデルに• Fast Track: 直接音声翻訳機に対して fast track

対しどのように段階的に構造的カリキュラム学習を進めていくかを示す.の学習を適応したモデル• Slow Track: 直接音声翻訳機に対して slow track• FastTrackの学習を適応したモデル– フェーズ 1: 音声認識の学習を行う.
– フェーズ 2: 音声認識モデルのデコーダ部分を, 機械翻訳デコーダで置き換え音声翻訳の学習を行う.

単一話者の合成音声に対する音声認識誤り率は 9.4%であり, 翻訳精度は BLEU+1 を用いて計測した [10]. 最
初に, 提案するカリキュラム学習の効果について, 各学習エポックにおける softmax cross-entropy の値を• SlowTrack

図 2 に示す. 通常の学習方法で直接音声翻訳機を学習– フェーズ 1: 音声認識と機械翻訳の学習を行う.
– フェーズ 2: 音声認識モデルのトランスコーダに置き換え, 機械翻訳のエンコーダ出力を教師としてトランスコーダの学習を行う.

した際は, 最も損失の減少がなかった. 一方, 提案するカリキュラム学習を適応すると, Fast Track においては, 同様のモデル設計を用いているにもかかわらず損失が減少した. また, Slow Track では, テキスト機械翻訳を超える損失減少を達成した. 次に, 各モデルについて翻訳精度を計測した結果を図 3 に示す. 実験– フェーズ 3: トランスコーダに機械翻訳モデ

結果より, 通常の学習法で学習した日英の直接翻訳モルのアテンションとデコーダを結合し, 音声デルでは翻訳が困難なことがわかる. 直接音声翻訳機翻訳の学習を行う.

は過度に出力言語の系列情報に適応しており, 入力音声の情報を考慮していない傾向があった. また, 結果

4より提案した Fast Track では明らかに翻訳精度が向実験設定上していること, Slow Track が最も高い翻訳精度達成

実験は, Basic Travel Expression Corpus(BTEC)[7,8] 英日対訳文のうち, 学習に 4, 5000 発話, テストに500 発話用いた. 入力音声は, Google 音声合成システ
ムを利用し BTEC コーパスから合成して生成した. この音声に対し, 窓幅 25 ｍｓシフト幅 10 ｍｓの解像度で, 23 次元 FilterBank 特徴量を Kaldi を用いて抽出し, 平均 0 分散 1 となるように正規化した後に学習とテストに用いた. また, 音声認識, 機械翻訳, 音声翻訳について, 積層数 2 の LSTM を利用し, LSTM の隠れ層のユニット数は 512, 原言語の語彙数は 27, 293 語,目的言語の語彙数は 33, 155 語, 単語のエンベットサイ
ズは 128 に設定した. また, 最適化手法として Adamを用いている [9]. 注意型シーケンシャルモデルを用いて音声認識・機械翻訳・音声翻訳システムを構築し,提案するカリキュラム学習を適応して学習効果と翻訳精度を計測した.

したことから提案した学習法が期待した効果をあげたと言える. Slow Track は音声認識のエンコーダとアテンション, トランスコーダ, 機械翻訳アテンションとデコーダで構築されており, 機械翻訳の観点から見るとトランスコーダはよりノイズを含む入力を与えるた
め, De-noising auto encoder のような機能を果たしテストデータに対して頑健になったと考えられる. 一般的な機械翻訳では, 単語の入力として One-hot-vectorをもちいる. これをエンベットした際に, 意味/用法の近い単語は特徴空間上近い場所にマッピングする. この時, データによっては異なる二単語が十分に近い場
合デコーダ側でアテンションを取る際に間違いを起こすことがある. こういった減少に対し, 音響情報を入力に付与することによって, これらエラーを回避し正しく翻訳できるようになることが確認されている. [13]また従来, 単語という離散的な入力から, 音声認識の学習により写像された連続的な意味空間上のベクトルに• Baseline MT:テキストベースの機械翻訳機― 943 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 提案手法の概要

図 2: 各手法ごとの学習の進み方

図 3: 各手法ごとの BLEU+1 スコアなったため, より効率的な学習が可能になったと考えられる.

5

声合成部の拡張や非言語情報の取扱などを討していく.

6

結論
本研究では, 英日の直接音声翻訳を実現した. 提案

した直接音声翻訳では原言語のテキストを推定しない

謝辞
本研究は科研費［JP17H06101, JP17K00237] の助成を受けております.

ため従来の音声翻訳に比べ, 音声認識誤りに影響を受けない. また, 提案した構造的カリキュラム学習は複数の簡単な問題に分解できる, 複雑な問題に対する学参考文献

習に効果があり, 最終的にテキスト機械翻訳と同等も[1] Dzmitry Bahdanau, Kyunghyun Cho, and

しくは僅かに良い性能を示した. 一方で, 本研究は合Yoshua Bengio. Neural machine translation by成された単一話者の音声を用いているため, 今後は一jointly learning to align and translate. CoRR,般音声への適応や様々な言語対の翻訳精度の確認, 音Vol. abs/1409.0473, , 2014.

― 944 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

[2] Yoshua Bengio, Jérôme Louradour, Ronan Col-[8] Gen-ichiro Kikui, Seiichi Yamamoto, Toshiyuki

lobert, and Jason Weston. Curriculum learning.

Takezawa, and Eiichiro Sumita. Comparative

In Proceedings of the 26th Annual International

study on corpora for speech translation. IEEE

Conference on Machine Learning, ICML 2009,

Trans. Audio, Speech & Language Processing,Montreal, Quebec, Canada, June 14-18, 2009,Vol. 14, No. 5, pp. 1674–1682, 2006.

pp. 41–48, 2009.

[9] Diederik P. Kingma and Jimmy Ba. Adam: A
method for stochastic optimization. CoRR, Vol.

[3] Alexandre Berard, Olivier Pietquin, Christophe

abs/1412.6980, , 2014.

Servan, and Laurent Besacier. Listen and translate: A proof of concept for end-to-end speechto-text translation. CoRR, Vol. abs/1612.01744,[10] Chin-Yew Lin and Franz Josef Och. ORANGE:a method for evaluating automatic evaluation, 2016.

metrics for machine translation. In COLING[4] William Chan, Navdeep Jaitly, Quoc V. Le, and2004, 20th International Conference on Compu-

Oriol Vinyals. Listen, attend and spell: A neu-tational Linguistics, Proceedings of the Confer-ral network for large vocabulary conversationalence, 23-27 August 2004, Geneva, Switzerland,2004.

speech recognition.

In 2016 IEEE Interna-tional Conference on Acoustics, Speech and Signal Processing, ICASSP 2016, Shanghai, China,[11] Minh-Thang Luong, Hieu Pham, and Christopher D. Manning. Eﬀective approaches toattention-based neural machine translation.

March 20-25, 2016, pp. 4960–4964, 2016.

CoRR, Vol. abs/1508.04025, , 2015.

[5] Jan Chorowski, Dzmitry Bahdanau, Dmitriy
Serdyuk, Kyunghyun Cho, and Yoshua Bengio.
Attention-based models for speech recognition.
In Advances in Neural Information Processing[12] Satoshi Nakamura, Konstantin Markov, Hiromi Nakaiwa, Gen-ichiro Kikui, Hisashi Kawai,
Takatoshi Jitsuhiro, Jin-Song Zhang, Hirofumi

Systems 28: Annual Conference on Neural In-Yamamoto, Eiichiro Sumita, and Seiichi Ya-formation Processing Systems 2015, Decembermamoto.

7-12, 2015, Montreal, Quebec, Canada, pp. 577–

The ATR multilingual speech-to-speech translation system. IEEE Trans. Audio,585, 2015.

Speech & Language Processing, Vol. 14, No. 2,pp. 365–376, 2006.

[6] Long Duong, Antonios Anastasopoulos, DavidChiang, Steven Bird, and Trevor Cohn. An attentional model for speech translation without[13] Kaho Osamura, Takatomo Kano, Sakrianitranscription. In NAACL HLT 2016, The 2016
Conference of the North American Chapter ofthe Association for Computational Linguistics:
Human Language Technologies, San Diego California, USA, June 12-17, 2016, pp. 949–959,

Sakti, Katsuhito Sudoh, and Satoshi Nakamura.
Using spoken word posterior features in neural machine translation. In 15th International
Workshop on Spoken Language Translation, pp.
181–188, 2018.

2016.
[7] Gen-ichiro Kikui, Eiichiro Sumita, Toshiyuki
Takezawa, and Seiichi Yamamoto.

Creatingcorpora for speech-to-speech translation.

In

8th European Conference on Speech Communication and Technology, EUROSPEECH 2003
- INTERSPEECH 2003, Geneva, Switzerland,
September 1-4, 2003, 2003.

― 945 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.