# TED 講演音声の機械翻訳のためのデータ拡張法の比較

増田健人山本一公中川聖一
中部大学工学部
}

\{tp22021-6334@sti, kazumasayamamoto@isc, nakagawa@isc\}.chubu.ac.jp
## 概要

本稿では Transformer を用いた翻訳モデルの性能改善の為に英日・日英を対象とした単一方向翻訳モデル及び双方向翻訳モデルの比較、種々のデータ拡張法の比較を行った。拡張手法では先行研究の手法 [1]に加え、翻訳モデルにオートエンコーダ部分を追加した手法、オートエンコーダによる生成文を疑似コーパスとして用いた方法、英韓のパラレルデー タを併用したマルチリンガルでの翻訳モデルの学習を行い、テキスト翻訳と音声翻訳の有効性を報告する。

## 1 はじめに

TED 講演音声に関して、英語の音声認識は IWSLT(International Workshop on Spoken Language Translation) での発表が多いが、英日翻訳に関しては少ない。2021 年には英日の瞬時テキスト翻訳 [7] が、2022 年には英日の瞬時音声翻訳がタスクに加えられている [8]。

TED の英日音声翻訳に関しては、2022 年度の IWSLT で最も良かった結果は、大規模な外部音声資源・言語資源を使用した USTC(中国科学技術大学) のシステムで、音声認識誤り率 (単語誤り率) 約 $5 \%$, アンサンブル翻訳ではテキスト入力で 22 , 音声入力・オフライン方式では約 19 の BLEU 值を報告している [11]。2023 年度の IWSLT では、オフライン音声翻訳と瞬時音声翻訳、新しい TED のテストデータが評価対象となり、ACL の発表音声もテストに加えられた [9]。今回も音声認識と機械翻訳の力スケード方式が end-to-end 方式の性能を上回った。 TED 講演のオフライン英日音声翻訳には 3 チームが参加し、BLEU の值は 10.6, 16.5, 18.7 であった。一番良かった HW-TSC(Huawei 翻訳サービスセンター)の手法は、音声認識は Whisper(conformer) を fine-tuning
したもので、翻訳モデルは Deep-Transformer の 1 対多言語 (1 対 3) モデルである [9]。

学習に用いるパラレルデータの不足を補うために単言語コーパスによるデータ拡張手法がある [12]。 これは単言語コーパスを機械翻訳することで疑似的なパラレルコーパスを作成し、ベースとなるパラレルコーパスと混合して学習に用いる手法である。山岸らは本手法の単言語コーパスとして、日本語話し言葉コーパス CSJ(Corpus of Spontaneous Japanese) の学会講演の書き起こしデータ等を使用した $[13,14]$ 。

また、ベースとなるパラレルコーパスをある規則に基づいて変換して疑似コーパスを作成し、ベースコーパスを数倍に増やすことで学習データを得る拡張法がある (パラフレーズモデル)[15]。Bao らは品質の良い疑似コーパスを得るためにソース文のキーワード等も付加して複数文の翻訳文を生成し、用いている [16]。オートエンコーダを使用する方法も種々ある。Cheng らは、モノリンガルデータと英中、中英翻訳モデルを用いて英語文 $\rightarrow$ 中国語文 $\rightarrow$ 英語文，中国語文 $\rightarrow$ 英語文 $\rightarrow$ 中国語文，とソース文を翻訳し、ソース文とターゲット文が同一になるように学習して単なる逆翻訳手法よりも高い効果を得ている [17]。

我々が試みた方法は、ソース側文とターゲット側文が同一になるように学習するもので、Currey らと同じ手法である [19]。但し、Currey らは Transformer や双方向モデルでは評価していない。また、オートエンコーダで生成された文を用いた疑似コーパスとの比較も行っていない。

## 2 翻訳モデル

## 2.1 Transformer[6]

Transformer モデルはエンコーダ層とデコーダ層からなる。エンコーダは同じ構成のエンコーダの積み
重ねにより構成され、一つのエンコーダは自己注意機構とフィードフォワードネットワーク（FFNN） により構成される。デコーダも同じ構成のデコーダの積み重ねにより構成される。

## 2.2 エンコーダ-デコーダの層数

標準的な Transformer のモデルはエンコーダ 6 層、 デコーダ 6 層であるが、最適な設定は学習データ量によって異なる。先行研究の予備実験 [1] では、エンコーダ-デコーダ層数が 6 層-6 層で $0.80 、 3$ 層- 3 層で 13.22 の BLEU 值であった。本実験では異なるエンコーダ-デコーダ層数での各データ拡張手法の比較を行った。

## 2.3 単一方向翻訳と双方向翻訳モデル

単一方向翻訳モデルでは、ソース言語とターゲット言語のペアで学習することで翻訳モデルを作成する。双方向翻訳モデルの場合は、ソース言語とター ゲット言語のペアと、ターゲット言語とソース言語を入れ替えたペアからなるデータセットによって翻訳モデルを作成する。1つの双方向翻訳モデルで英日翻訳、日英翻訳の両方を行う。

## 3 データ拡張法

## 3.1 単言語コーパスの順方向/逆方向翻訳 によるデータ拡張

(a) ベースコーパス以外からの利用

本実験で使用する TED 講演の IWSLT のベー スコーパスには英語と日本語のパラレルコーパスが少ないため、英語または日本語の単言語コーパスをベースモデルで順/逆方向に翻訳することで英語と日本語の疑似パラレルコーパスを作成し、データ拡張を行う [1]。単言語コー パスには IWSLT2018 英語-スペイン語のパラレルコーパスの英語側と、CSJ 日本語コーパスの模擬講演を用いた。

(b) ベースコーパスからの利用

ベースコーパスの英語または日本語側を、先行研究 [1] で最も翻訳精度の高かったモデルを用いて順/逆方向に機械翻訳することでべースコーパスのペアの片方と合わせて疑似対訳コー パスとして作成し、データ拡張を行った。

## 3.2 オートエンコーダによるデータ拡張

英日、日英のパラレルコーパスに加えて、英-英、日一日のパラレルコーパスを加えて学習する(オートエンコーダ [19])。この際、ソース言語側に言語対タグを付けた。

(c)ソース文とターゲット文を同一にしたパラレルコーパス

ベースコーパスに対して、ソース文とター ゲット文を同一にしたオートエンコーダ部分を追加して学習を行った。英日単一方向翻訳モデルの場合は英語を日本語に翻訳するように学習すると同時に英語文と同じ英語文に、日本語文を同じ日本語文に翻訳する部分のどちらか、もしくは両方を追加して学習する。英日/日英双方向翻訳モデルの場合は英語と日本語の双方向翻訳の学習に加えて、英英及び日日のオートエンコーダ機能を学習する。

(d) オートエンコーダにより生成された疑似ソース文を利用

ベースコーパスのソース文とターゲット文を同一にして学習したオートエンコーダを用いて、疑似パラレルコーパスを作成しデータ拡張に用いた。（生成文を英，日，と記す）。

(e) ベースコーパス以外の単言語コーパスによるオートエンコーダ部分の追加

(c) の方法と同じであるが、ベースコーパス以外の単言語コーパスを使用する。

## 3.3 英韓パラレルデータによるデータ拡張

(f) マルチリンガルモデルが少資源学習データに対して有効なことから [14]、日本語と類似する文法を持つとされる韓国語と英語のパラレルコー パスをベースコーパスと合わせて学習することで英日、日英翻訳タスクに適用した。

## 3.4 ASPEC コーパスモデルからの転移学習

(g) TEDのような話し言葉でなく書き言葉であるが大規模な 100 万文のペアからなる ASPEC コー パスにより単一方向モデル、双方向モデルを学習し、そのパラメータを初期値としてベースコーパスである IWSLT およびデータ拡張したデータセットで翻訳モデルを学習する。なお ASPEC コーパスによる翻訳モデル学習の際に

は TED の話し言葉の語彙に合わせた [1]。

## 4 実験結果

## 4.1 使用したデータ

本研究では IWSLT2016 英語-日本語パラレルコー パスをベースコーパスとして使用した。データ拡張用の単言語コーパスとして IWSLT2018 英語-スペイン語パラレルコーパスの英語側と、日本語の単言語コーパスである日本語話し言葉コーパス CSJ を、マルチリンガルモデル用の英韓対訳コーパスに IWSLT2016 英語-韓国語パラレルコーパス用いた。表 1 に学習文数、開発文数、テスト文数を示す。

表 1: 使用データセット

(a) ベースコーパス () 内は講演数

(b) データ拡張用データ () 内は講演数・分野数

(c) 翻訳テストデータの総文数 () 内は講演数

 \\

## 4.2 音声認識手法と認識結果

音声翻訳に使用する TED 講演音声のテキスト書き起こしは、先行研究 [2] で Kaldi を用いて学習した音声認識モデルによるものである [2]。これは Kaldi の TEDLIUMv3 亿対応したレシピで学習した認識システムで、DNN-HMMを用いて学習した隠れ層 13 層、ユニット数 1024 のネットワークである。出力層のユニット数はトライフォン HMM のの共有状態数に対応している。ネットワークへの入力特徴量は MFCC (メル周波数ケプストラム) 40 次元である。テストデータは 12 講演のうち 10 講演である (2 講演は音声要約の実験に不適切であったため除外 [2])。
このモデルを TED 講演音声約 450 時間の学習デー タで学習を行い、得られた平均単語正解精度 87.6 \%(話者・講演により 70～90\% [3]) の音声認識結果を用いて音声入力による翻訳を行った。

## 4.3 翻訳結果

Transformer モデルの学習には fairseq[23] Version 0.12.0を使用した。エンコーダとデコーダの層数は 3 層と 6 層のモデルを単一方向と双方向それぞれ学習し評価した。学習の最適化は Adam, 学習率は 0.0005、学習は 20 epoch まで行った。翻訳モデルの性能評価には BLEU を用い、本研究では 4-gram までの値を用いた。

英日音声翻訳実験は音声認識した 10 講演で行い、 テキスト翻訳もこの 10 講演に合わせた。 12 講演の英日、日英のテキスト翻訳結果は付録に示す。また、翻訳業者 2 社による人手による英日翻訳を 2 講演に対して行ってもらい [1]、オリジナルなリファレンスと合わせてリファレンスを 3 つにした翻訳評価を付録に示す。

表 2 に種々のデータ拡張手法の翻訳評価結果を示す。 3.1 節 (a) の手法は 12 講演に対してのみ行い (付録参照)、10 講演に対する結果をまとめてないので省いた。双方向翻訳モデルの fine-tuning とは、 モデルの学習後、ベースパラレルコーパスで追加学習したモデルのことである。べースラインとは IWSLT2016 の英日ベースパラレルコーパスを単一方向翻訳モデル及び双方向翻訳モデルで学習したものである。十疑似英語はべースパラレルコーパスの日本語部分をを 3.1 節 (b) の手法で機械翻訳し、疑似パラレルコーパスとして学習に使用することを指す。十疑似日本語も同様である。単言語コーパスとして用いている IWSLT2018 の英語部分を新英、CSJ を新日として示す。

ベースラインの結果は単一方向モデルで 13.78 , 双方向モデルで 14.40 の BLEU 値であった。

(b) のベースコーパスの機械翻訳による疑似コー パスを作成して用いた手法では、疑似英語、疑似日本語どちらを利用した場合でもべースラインの BLEU 値を上回った。単一方向翻訳モデルでは BLEU 値が+2.74 改善された。双方向翻訳モデルでも fine-tuning を行うことで更なる翻訳精度向上が見られ、双方向のベースラインと比較すると BLEU 値が+1.83 改善している。また、音声翻訳では BLEU が 13.00 を越え、音声認識誤りに対してもある程度
表 2: TED 講演の英日翻訳評価実験結果 (10 講演, BLEU) () 内は fine-tuning モデル

頑健であると言える。

(c) のベースパラレルコーパスに対してソース文とターゲット文を同一にしたオートエンコーダ部分を追加する拡張手法では、6 層の fine-tuning を行ったモデル全てで翻訳精度が高く、テキスト翻訳で BLEU 值 16.00 以上、音声翻訳で BLEU 值 13.00 以上となっている。このことから翻訳モデルが追加したオートエンコーダ部分によって頑健な内部表現を得ることが出来たと考えられる。

(d) のオートエンコーダを利用して生成した文を疑似パラレルコーパスとして利用する手法では、 ベースラインとの大きな差異は見られない。これは学習文とテスト文を同一に用いたためオートエンコーダの性能が良過ぎ、生成された疑似パラレルコーパスとベースパラレルコーパスの類似度が高く(英':BLEU=99.47, 日'=BLEU=98.84)、汎化性が得られなかったためと考えられる。

(e) のベースコーパス以外の単言語コーパスをオートエンコーダ部分として追加する手法では、 IWSLT2018 の英語部分と CSJ の両方を追加したモデルの評価が高かったものの、ベースパラレルコー パスをオートエンコーダ部分として追加したモデルに比べると翻訳精度改善の度合いは低い。

(f) の英韓パラレルコーパスの利用では日本語と類似する文法を持つ韓国語と英語のパラレルコーパスを追加したマルチリンガルモデルによって英日翻訳の精度の向上が見られた。

最後に種々の組み合わせとして 3.1 節 (a) の単言語コーパスによる疑似パラレルコーパスの追加と 3.3 節 ( $\mathrm{g}$ )の ASPEC コーパスモデルによる初期パラメータを組み合わせた先行研究 [1] のモデル (h-1) と、先行研究での最良モデルに対して (b) のベースコーパス内の疑似コーパス利用手法、および (c) のベースコーパスのオートエンコーダ部分の追加手法を用いてデータ拡張を行ったモデルの翻訳評価結果を表 2 の h-2 に示す。翻訳精度改善の効果が高かった今回の提案手法を h-1 の先行研究 [1] での最良モデルに対して組み合わせることで、テキスト翻訳で BLEU16.77, 音声翻訳で BLEU14.32 という高い評価結果を得られた。

## 5 まとめ

TED 講演の英日 22 万文ペアに対しオートエンコーダ部分の拡張とべースコーパスに対する機械翻訳での疑似コーパス拡張で単一方向モデル、双方向モデル共に翻訳性能が向上した。10 講演に対して最も良かったデータ拡張法では英日テキスト翻訳でベースラインの $\mathrm{BLEU}=14.40$ から 16.77 に、音声翻訳でベースラインの BLEU=12.03 から 14.32 に向上した。また、12 講演の英日テキスト翻訳に対しては、ベースラインの 14.25 から 16.18 に向上した（付録)。日英翻訳ではベースラインの 13.01 から 16.90 に向上した (付録)。オリジナルなリファレンスは話し言葉の意訳に近く、機械翻訳で BLEU 值を上げる限界がある。そこでリファレンスをマルチ（3つ） にすると BLEU 值は大幅に向上した（付録）。

## 謝辞

本研究の一部は JSPS 科研費 $18 \mathrm{H} 01062,19 K 12027$, 22K12084 の助成を受けた。

## 参考文献

[1] 坂野, 桜井, 足立, 山本, 中川:TED 講演音声の音声認識・音声翻訳・音声要約の検討, 言語処理学会, 第 29 回年次大会, pp.1417-1422, 2023.

[2]足立, 山本, 中川:TED 講演の英日翻訳と日英翻訳の検討, 言語処理学会, 第 29 回年次大会, pp.2489-2494, 2023.

[3] 中川, 足立, 桜井, 坂野, 山本:TED 講演音声の音声認識性能と音声翻訳および重要文抽出要約の性能の関係, 日本音響学会, 第 150 回研究発表会, pp.1097-1100, 2023

[4] 後藤,山本, 中川: 音声認識誤りを考慮した英語講義音声の日本語への音声翻訳システムの検討, 言語処理学会第 23 回年次大会, pp.1054-1057, 2017.

[5] 佐橋, 秋葉, 中川: 科学技術論文抄録と講義の英日機械翻訳のリスコアリングの検討, 言語処理学会第 25 回年次大会, pp.1165-1168, 2019.

[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob, Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin: Attention is all you need, Conference on Neural Information Processing Systems (NIPS2017), 30, 2017

[7] A. Anastasopoulos, O. Bojar, et al. : Findings of the IWSLT 2021 evaluation campaign, Proc. IWSLT-2021, pp.1-29, 2021

[8] A. Anastasopoulos, L. Barrault, et al. : Findings of the IWSLT 2022 evaluation campaign, Proc. IWSLT-2022, pp. 98-158, 2022.

[9] M. Agarwal, et al. : Findings of the IWSLT 2023 Evaluation campaign, Proc. IWSLT-2023, pp. 1-61, 2023.

[10] R. Fukuda, Y. Ko, Y. Kano, et al. : NAIST simultaneous speech-to-text translation for IWSLT 2022, Proc. IWSLT 2022, pp.286-292, 2022.

[11] W. Zhang, Z. Ye, et al. : The USTC-NELSLIP offline speech translation systems for IWSLT 2022, Proc. IWSLT, pp.198-207, 2022

[12] Rico Sennrich, Barry Haddow, Alexandra Birch: Improving neural machine translation models with monolingual data, Proc. ACL, pp. 86-96, 2016.

[13] 山岸勇輝, 秋葉友良, 塚田元: 逆翻訳を用いたデー 夕拡張と転移学習を利用した英日講演字幕翻訳の改善, 言語処理学会第 26 回年次大会, pp.1277-1280, 2020

[14] 山岸勇輝, 秋葉友良, 塚田元: 入力側単言語資源と転移学習を利用による講演字幕を対象とした英日ニューラル機械翻訳の改善, 言語処理学会第 28 回全国大会, pp.1317-1321, 2022

[15] J.E. Hu, et al. : Improved Lexically Constrained Decoding for Translation and Monolingual Rewriting, Proc. Conf. NAACL, pp839-850, 2019.

[16] Guangsheng Bao, Zhiyang Teng, Zhang, Yue: Target-Side Augmentation for Document-Level Machine Translation, Proc. ACL, pp. 10725-10742, 2023.

[17] Y. Cheng, et al. : Semi-Supervised Learning for Neural Machine Translation, Proc. ACL, pp. 1965-1974, 2016

[18] 紺谷優志, 秋葉友良, 塚田元：ラウンドトリップ翻訳を用いたニューラル機械翻訳のデータ拡張, 言語処理学会第 28 回年次大会 pp. 360-364, 2022.

[19] A. Currey, et al. : Copied Monolingual Data Improves Low-Resource Neural Machine Translation, Proc. ACL, pp.148-156, 2017.

[20] Raj Dabre, Chenhui Chu, Anoop Kunchukuttan: A survey of multilingual neural machine translation, ACM Computer Surveys, vol.53, no.3, 2020.

[21] Liang Ding,Di Wu, Dachen Tao: Improving neural machine translation by bidirectional training, arXiv:2109.07780, 2021.

[22] Bui Tuan Thanh, 秋葉友良, 塚田元: 双方向翻訳モデルと反復逆翻訳を用いた低資源言語に対するニュー ラル機械翻訳の性能向上, 言語処理学会第 28 回全国大会, pp. 1756-1760, 2022.

[23] Facebook AI Research Sequence-to-Sequence Toolkit written in Python, 2024 年 1 月 12 日, https://github.com/facebookresearch/fairseq.

## A 付録

表 A: TED 12 講演の英日-日英翻訳評価実験結果 (BLEU) () 内は fine-tuning モデル

表 B: TED 2 講演のマルチリファレンスによる翻訳評価結果 (BLEU)（）内は fine-tuning モデル