タグ付き混合データ学習と自己教師あり学習による同時通訳データを用いた End-to-End 同時音声翻訳
胡 尤佳

福田 りょう 西川 勇太 加納 保昌 須藤 克仁
奈良先端科学技術大学院大学
ko.yuka.kp2@is.naist.jp

概要中村 哲

𝑅𝑜𝑢𝑛𝑑 𝑖 + 1 𝑅!"#

Offline train speech

Style-𝑅!

Inference

同時音声翻訳は、話し手の発話終了を待たずに漸進的に翻訳を行う技術である。高品質かつ低遅延の同時音声翻訳を実現するには、適宜省略や、話し手

Train speech

Train

Style-𝑅!"#が話した内容をできるだけ早く訳出する等の、実際の通訳者の技法を同時通訳コーパスから学習することが有効であると期待される。本研究では、同時通訳データが不足している問題を軽減するため、同時通訳データに加えて話し手の発話終了を待ってから翻訳を開始する翻訳を前提としたオフラインデータと混合し、スタイルタグを用いて出力スタイルを区別する学習法を提案する。実験結果から、文の意味的類似度を測る評価における同時通訳テストデータでの翻訳性能向上の効果が、提案手法において示された。

1

はじめに同時音声翻訳 (SimulST) は、文末を待たずに話し手の発話を漸進的に翻訳する技術であり、話し手の発話終了を待ってから翻訳を開始するオフライン音声翻訳 (Oﬄine ST) と比較し、低遅延での翻訳を実現できる。近年ではニューラルネットワークに基づく End-to-end の SimulST モデルが提案されているが [1, 2]、大規模な同時通訳 (SI) データがなかったため、MuST-C [3] のような TED の字幕データからなるオフライン (Oﬄine) データを用いて学習されてきた。SimulST は話し手の発話終了を待たずに漸進的に翻訳するという点で、通訳者が行う同時通訳の考え方に類似している。通訳者は、話し手の発話に追従するため、不必要な語の省略や、話し手が話し<si> ...
<si> ...
<si>私は、買った。ペンを、<si> ...
<si> ...
<off>私はペンを買いました<off>...
<off>...

図 1 自己教師あり学習による多段階学習とタグ付き混合データ学習を組み合わせた手法

特に、英語と日本語はそれぞれ SVO 言語、SOV言語であることから、Oﬄine 翻訳においては訳出される語順の違いが大きい。Oﬄine データを用いて同時翻訳を学習してしまうと、訳出時に原言語で始めの方に出てきた内容が目的言語だと後の方に出てくるなどの場合があり、遅延が大きくなる恐れがある。英日の言語対での SI データはいくつかあるものの [4, 5, 6, 7]、Oﬄine データと比較して極めて少量である。本研究では、より多量に利用可能な Oﬄineデータも SI データの学習と同時に利用することで、SI データが少量である問題に取り組む。与えられた英語の原文 (Source) に対する Oﬄine と SI の日本語の例を図 2 に示す。Oﬄine と SI のスタイルには大きな違いがあり、図 2 では以下の違いがある。
• Oﬄine ではほとんどの原文の語が日本語に翻訳されているが、SI ではいくつかの原文の語が省略されている。
• SI は Oﬄine と比較し、文法的な流暢さが犠牲となっているが、原文の前半を後半より先に訳すことで、低遅延の翻訳を実現できる。
このような違いは、話し手の発話に追従できるように適宜省略を行いつつ、SI が通訳の同時性を重視した内容をできるだけ早く話すなどの技法を取り入れている。そのため、高品質で低遅延な同時音声翻訳ていることから生まれる。したがって、SI データをを実現するには、SI データを使用して同時通訳の仕同時性の向上が期待できる。

方を学習させることが有効であると期待される。

用いてこうした翻訳を SimulST が学習することで、学習方法として、SI データを用いてモデルを最初から学習する方法がまず考えられるが、データが不Offline Target
しかしこの経済(6)危機や私の(8)国での(7)出来事について(1)私は(4)男性に(5)非があると(3)言うつもりは(2)ありません

SourceAnd (1)I’m (2)not here to (3)say that (4)men are to (5)blame for the (6)crisis and what (7)happened in my (8)country.

SI Target(4)男性の、(5)せいだけでは(2)ありません、私どもの(8)国の、金融(6)崩壊の、(5)責任は、

図2

英日での Oﬄine と SI の違いの例。図中の実線は単語の対応を表す。例文は NAIST-SIC-Aligned [4] に含まれる。
6足しており、モデルの学習が上手くいかない恐れがした [9]。Tagged Back-translation [10] では、タグベーある。また、多量の Oﬄine データで学習された事前学習済みモデルに対して SI データを Fine-tuning さスの手法を逆翻訳に基づく Data Augmentation に応用しており、NMT モデルの学習における逆翻訳ノせる方法が考えられる。しかし、多量の Oﬄine デーイズに対処するため、オリジナルの原文と逆翻訳かタで学習された事前学習済みモデルに対してそのまら得られた原文を区別するタグを付与している。本

ま少量の SI データを Fine-tuning させると、過学習研究は、これらのタグベースの手法から着想を得てを起こしやすく、省略でない部分も含めて過剰に省おり、SI データの不足の課題に取り組む。

略してしまうモデルが作成される恐れがある。
本研究では、SI または Oﬄine 出力を明示的に意味するスタイルタグが付与された混合データを用いて単一の SimulST モデルを学習する手法を提案す

3提案手法

3.1

タグ付き混合データ学習る。スタイルタグを付与することにより、SI または本研究では、比較的多量な Oﬄine データを用いてOﬄine スタイルの出力を選択的に生成するようデSI データの不足を補い、SimulST モデルを学習する

コード時にモデルに指示することができる。また本方法を提案する。先行研究に従い [9]、学習では目研究では、一度作成されたモデルから生成された擬似 SI データをさらに次の学習に用いる自己教師あ的言語文字列の先頭にスタイルタグを付与し、推論り学習を多段階に行う手法も組み合わせ、SI データ

時には最初に指定されたタグを Forced decoding し、タグが指すスタイルの出力の訳出を行う。本研究でが少量である問題のさらなる軽減を目指した。実験は、SI の場合は<si>、Oﬄine の場合は<off>、の 2 種の結果、提案手法により、文の意味的類似度を測る類のタグを用いる。

評価手法である BLEURT、COMET、COMET-QE で3.2の改善を示したことが分かった。また、出力結果を自己教師あり学習による多段階学習とタグ付き混合データ学習

見た結果、提案モデルは従来モデルと比較し、よりSI データの不足をさらに軽減するために、本研SI スタイルの出力が期待できることが分かった。

究では擬似生成された SI データを用いて段階的に2関連研究学習させる自己教師あり学習を、タグ付き混合デー
タ学習の手法と組み合わせる。自己教師あり学習を本手法は、リソースの豊富な Oﬄine 翻訳からリ利用したタグ付き混合データ学習の概要を図 1 にソースの乏しい SI へのドメイン適応と見なすこと示す。まず、すでに学習された Style-𝑅𝑖 モデルに対ができる。ドメイン外モデルに対してドメイン内して Oﬄine 学習データの原言語音声を入力し、出データを Fine-tuning させる手法は、いくつか考えら力時に<si>を Forced decoding することで SI スタイれてきた [8, 9]。Chu らは、多量のデータに基づくドルの擬似 SI データを生成させる。出力された擬似SI データを、Round 𝑖 + 1 (𝑅𝑖+1 ) データとする。次に、メイン外モデルを用いて直接少量のドメイン内データを学習させると、小さいドメイン内データに過剰生成された 𝑅𝑖+1 データに<si>タグを付与し、オリ適応 (Overﬁtting) する課題を、ドメイン内、外デー

ジナルの Oﬄine、SI データに追加して、元モデルのタであることを表すタグを付与することにより軽減

Style-𝑅𝑖 モデルに対してタグ付き混合データ学習を表 1 実験で利用した Oﬄine と SI データのサイズ
Oﬄine
SI

Train
328,63965,083

Dev
1,369
165

Test
2,841511

ベースライン: Oﬄine, SIそれぞれ、Oﬄine, SI デー

タで Fine-tuning したモデル。
提案手法 1: Style, Style-Up

タグ付き混合データ

で Fine-tuning し たモ デ ル (-Up は SI デ ー タ を行い、学習されたモデルを Style-𝑅𝑖+𝑖 とする。この操作を多段階に繰り返すことで、擬似生成されるデータの質が向上していき、SimulST モデルの性能upsampling したモデル)。
提案手法 2: Style- 𝑅0 , Style- 𝑅1 , Style- 𝑅2 , Style- 𝑅3
自己教師あり学習をタグ付き混合データ学習に向上ができることが期待される。

4実験

4.1

データセット

適用したモデル。Style-𝑅3 は、𝑅0 から 𝑅3 まで使って多段階学習させたモデル 4）。
また、Fukuda らと同様に、同時音声翻訳のため本研究で用いる Oﬄine, SI データは両方とも、原言語音声、原言語テキスト、目的言語テキストにより構成される ST データを用いた。Oﬄine データ
は MuST-C [3] v2 英日データ、SI データは NAISTSIC-Aligned [4] 1）を 用 い た。NAIST-SIC-Aligned は、
NAIST-SIC [7] を 用 い て、原 言 語 テ キ ス ト と 目 的言語テキストの文をアライメント、Filtering して構築された。NAIST-SIC-Aligned における、INTRA、AUTO-DEV、AUTO-TEST データをそれぞれ SI の学習、開発、評価データとした。これらの SI データのうち、英語の Forced aligner である Gentle 2）を用いて、SI データの英語のテキストと MuST-C の対応する音声とのアライメントを取れるものをデータとして利用した 3）。実験に使用したデータセットのサイズを表 1 に示す。最終的な評価には Oﬄine データではなく、SI 評価データを用いた。

4.2

同時音声翻訳

Fine-tuning 前のモデルは Fukuda ら [11] の base モ
デルを用いている。base は、事前学習済みモデル
である HuBERT を Encoder、mBART を Decoder として初期化されたモデルを複数の Oﬄine ST データで Fine-tuning して作成されている。Fine-tuning については、言及がない限り [12] での Fine-tuning 時の設定に従う。文単位モデルと、[12] のように Preﬁx
Alignment [13] を ベ ー ス に し た モ デ ル で 比 較 し た
際、前 者 の 方 が ベ ー ス ラ イ ン 手 法 の 性 能 が 高 い傾向があったため、本研究では前者を採用した。
Fine-tuning の際に以下の設定で実験を行ったものをそれぞれベースライン、提案手法とした。
1） https://github.com/mingzi151/AHC-SI
2） https://github.com/lowerquality/gentle
3） 本研究で用いたデータを以下で公開している。
https://dsc-nlp.naist.jp/data/NAIST-SIC/Aligned-STの 段 階 的 な 出 力 の た め の デ コ ー ド 手 法 は Local
Agreement (LA) [14] を採用した。それぞれのモデルにおいて、部分出力を得るための部分入力音声のセグメントサイズの単位を {200, 400, 600, 800, 1000}msの 5 パターンでデコードを行い、遅延域のコントロールを行った。遅延評価では部分訳出の終了タイミングを考慮した遅延評価指標である Average Token
Delay (ATD) [15] を用い、性能評価には、参照訳との単語一致度を測る BLEU、参照訳との出力文の文の意味的類似度を測る BLEURT [16]、参照訳、出力文だけでなく原言語参照訳との類似度も考慮した
COMET [17], COMET-QE を用いた。

5

実験結果と考察ベースラインと提案手法の遅延評価 (ATD) と性

能評価 (BLEU, BLEURT, COMET-QE) の関係を図 3に示す 5）。実験結果から、BLEURT, COMET-QE において、いずれの場合でも提案手法で性能向上がみ ら れ た。提 案 法 に お い て、少 量 の SI デ ー タ をupsampling し、かさ増した場合の効果がこれらの評価手法では見られず、むしろ低下を招く場合があった。その一方で、自己教師あり学習による擬似 SI
データを用いた場合には翻訳性能の向上が見られ、少量の SI データの upsampling と比較し、より多様性のある擬似 SI データを用いることの有効性が示された。自己教師あり学習による多段階学習を行った場合とそうでない場合を比べると、前者の方がより性能向上の傾向が見られた。
一方で、BLEU における評価では、提案手法ベースラインである SI が最も良い結果となり、BLEURT,COMET-QE の場合と傾向が大きく異なる。SI 評価
4） 本研究では、𝑅0 データを生成する元モデルとして Style を用い、𝑅0 データを base に対して適用したモデルを Style-𝑅0とした。
5） COMET での実験結果は、COMET-QE と傾向が類似しており、付録に添付した。

SI test

0.78

Offline0.76

SI

Style0.42

200300400500ATD600BLEU

0.70100

800 8 900

700

60.36200300

400500

ATD

600

700

800

0.760.740.70

100

9000.780.72

40.34100Style-R30.80

100.38

Style-R2

SI test120.440.72

BLEURT

Style-R1

SI testSI test0.74
0.460.40

Style-R0

Style-Up

COMET-QE

COMET-QE

0.80

200300400500

ATD

600

700

800

900

100200300

400

500

ATD

600

700

800900

図 3 ベースラインと提案法における遅延評価 (ATD) と性能評価 (BLEU, BLEURT, COMET-QE) の関係
表 2 ベースラインと提案法における出力文と参照文の例 (入力音声のセグメント単位：400ms)
例文 1
SourceSI (ベースライン)
Style-𝑅3 (提案手法)
SI reference
例文 2
SourceSI (ベースライン)
Style-𝑅3 (提案手法)
SI reference
OfflineSI

It’s probably the smallest of the 21 apps that the fellows wrote last year.
一番小さいアプリです。
これは、おそらく、21 のアプリの中で、最も小さいものです。昨年、フェローが書いたものです。
昨年作ってくれたもので。
It was running into bankruptcy last fall, because they were hacked into.
破産したんです。この秋に破産したんです。
それは、昨年、破産につながったものです。なぜなら、彼らは、不正に侵入されたからです。
破産をしたのは、去年の秋なんです。ハッキングをされたからです、
Style-R0
Style-R1

Style
Style-Up

Style-R2
Style-R3

Length Ratio

SI testCOMET-QE のような、原言語テキストをベースに1.8した評価も行った。COMET-QE での結果は、今回採1.6

用した評価指標の中で、それぞれの手法間の差が最も大きく見られた。特に、自己教師あり学習を取り1.4

入れた提案手法 2 においては、Style-𝑅0 から Style-𝑅31.2へ多段階学習を繰り返すことにより、低遅延かつ高1.0品質の翻訳がモデルで実現できることが期待され
100

図4

価が信頼できない恐れがある。そこで本研究では、

200300400500ATD600700800900

SI 評価データにおける参照訳と出力文の長さ比る。また、図 4 より、提案法がベースラインと比べ出力が長く、自己教師あり学習による多段階学習を繰り返すほどその傾向がみられることが分かる。

データにおける出力文と参照訳との長さ比較を図 4に示す。提案手法と比較すると、SI model からの出力長は短い傾向にあり、参照訳に最も近い長さの出力がされていることで、BLEU の向上に寄与したと考えられる。しかし、一部の SI 評価データに含まれる参照訳は、本来訳出すべき原言語音声の内容を過剰に削った内容で訳している場合があった。例文を表 2 に示す。例文 1 においては、SI model が過剰に省略を行っているものの、参照訳が過剰に短い。
このような過剰に短い参照訳を含む SI 学習データで直接モデルが学習されたことで、SI model は過剰に省略を行うモデルになったと考えられ、例えば例
文 2 の SI model 出力では、「they were hacked into」の部分が翻訳されず訳抜けになっている。
このような過剰に短い参照訳が、SI 評価データに多く含まれていたことから、参照訳のみに頼った評しかし実際の出力では、表 2 に示すように、「これは」、「なぜなら」、「彼らは」などの、内容に大きく影響しないつなぎ言葉や主語などがベースラインと比べ多く出力されている傾向があり、これらの語を除いても意味が通じるケースが多く、性能に大きく影響しないと考えられる。

6

おわりに
本研究では，同時音声翻訳において少量の SI データを用いた学習手法としてタグ付き混合学習を提案し、自己教師あり学習による多段階学習も取り入れた。実験結果から、より同時通訳らしい同時音声翻訳が提案手法により期待できることが分かった。
今後の課題として、本研究でのモデルをベースに、通訳者が行うような適宜省略が可能なモデルの作成や、出力結果の人手評価を考えている。

謝辞
本研究の一部は JSPS 科研費 JP21H05054 と JST[9] Chenhui Chu, Raj Dabre, and Sadao Kurohashi. An empirical comparison of domain adaptation methods for neuralmachine translation. In Proceedings of the 55th Annual Meeting of the Association for ComputationalLinguistics (Volume 2: Short Papers), pp. 385–391,

SPRING プログラム JPMJSP2140 の助成を受けたものである。

参考文献[1] Xutai Ma, Juan Pino, and Philipp Koehn. SimulMT toSimulST: Adapting simultaneous text translation to endto-end simultaneous speech translation. In Proceedingsof the 1st Conference of the Asia-Paciﬁc Chapter ofthe Association for Computational Linguistics andthe 10th International Joint Conference on NaturalLanguage Processing, pp. 582–587, Suzhou, China,December 2020. Association for Computational Linguistics.
[2] Yi Ren, Jinglin Liu, Xu Tan, Chen Zhang, Tao Qin, Zhou
Zhao, and Tie-Yan Liu. SimulSpeech: End-to-end simultaneous speech to text translation. In Proceedings of the58th Annual Meeting of the Association for Computational Linguistics, pp. 3787–3796, Online, July 2020.

Association for Computational Linguistics.
[3] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli,Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proceedings of the2019 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long andShort Papers), pp. 2012–2017, Minneapolis, Minnesota,

June 2019. Association for Computational Linguistics.
[4] Jinming Zhao, Yuka Ko, Ryo Fukuda, Katsuhito Sudoh, Satoshi Nakamura, et al. NAIST-SIC-Aligned:
Automatically-Aligned English-Japanese SimultaneousInterpretation Corpus. arXiv preprint arXiv:2304.11766,2023.
[5] Hitomi Toyama, Shigeki Matsubara, Koichiro Ryu, Nobuo
Kawaguchi, and Yasuyoshi Inagaki. CIAIR Simultaneous Interpretation Corpus. In Proceedings of Oriental
COCOSDA, 2004.
[6] Hiroaki Shimizu, Graham Neubig, Sakriani Sakti, Tomoki
Toda, and Satoshi Nakamura. Constructing a speech translation system using simultaneous interpretation data. In
Proceedings of IWSLT, 2013.
[7] Kosuke Doi, Katsuhito Sudoh, and Satoshi Nakamura.
Large-scale English-Japanese simultaneous interpretation
corpus: Construction and analyses with sentence-aligneddata. In Proceedings of the 18th International Conference on Spoken Language Translation (IWSLT 2021),
pp. 226–235, Bangkok, Thailand (online), August 2021.
Association for Computational Linguistics.
[8] Rico Sennrich, Barry Haddow, and Alexandra Birch. Controlling politeness in neural machine translation via sideconstraints. In Proceedings of the 2016 Conference ofthe North American Chapter of the Association for
Computational Linguistics: Human Language Technologies, pp. 35–40, San Diego, California, June 2016.

Association for Computational Linguistics.

Vancouver, Canada, July 2017. Association for Computational Linguistics.
[10] Isaac Caswell, Ciprian Chelba, and David Grangier.
Tagged back-translation. In Proceedings of the Fourth
Conference on Machine Translation (Volume 1: Research Papers), pp. 53–63, Florence, Italy, August 2019.

Association for Computational Linguistics.
[11] Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano, Yuka Ko,
Tomoya Yanagita, Kosuke Doi, Mana Makinae, Katsuhito
Sudoh, Sakriani Sakti, and Satoshi Nakamura. NAIST
Simultaneous Speech Translation System for IWSLT 2023.
In Proceedings of the 20th International Conferenceon Spoken Language Translation (IWSLT2023), pp.
330–340, 2023.
[12] Yuka Ko, Ryo Fukuda, Yuta Nishikawa, Yasumasa Kano,Katsuhito Sudoh, and Satoshi Nakamura. Tagged endto-end simultaneous speech translation training using simultaneous interpretation data. In Elizabeth Salesky, Marcello Federico, and Marine Carpuat, editors, Proceedingsof the 20th International Conference on Spoken Language Translation (IWSLT 2023), pp. 363–375, Toronto,Canada (in-person and online), July 2023. Association for
Computational Linguistics.
[13] Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation with preﬁx alignment. In Proceedings of the 19th International Conference on Spoken Language Translation(IWSLT 2022), pp. 22–31, Dublin, Ireland (in-person and[14]

[15]

[16]

[17]

online), May 2022. Association for Computational Linguistics.
Danni Liu, Gerasimos Spanakis, and Jan Niehues. LowLatency Sequence-to-Sequence Speech Recognition andTranslation by Partial Hypothesis Selection. In Proc. Interspeech 2020, pp. 3620–3624, 2020.
Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura.
Average Token Delay: A Latency Metric for SimultaneousTranslation. In Proc. INTERSPEECH 2023, pp. 4469–4473, 2023.
Thibault Sellam, Dipanjan Das, and Ankur P Parikh.
Bleurt: Learning robust metrics for text generation. InProceedings of ACL, 2020.
Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon
Lavie. Comet: A neural framework for mt evaluation.
In Proceedings of the 2020 Conference on EmpiricalMethods in Natural Language Processing (EMNLP),
pp. 2685–2702, 2020.

A

付録Offline
SI

Style-R0
Style-R1

Style
Style-Up

Style-R2
Style-R3

SI test

0.78

COMET

0.76
0.74
0.72
0.70
0.68
100

200

300

400500

ATD

600

700

800900

図 5 ベースラインと提案法における遅延評価 (ATD) と性能評価 (COMET) の関係