言語処理学会 第30回年次大会 発表論文集（2024年3月）

講演動画の言語横断字幕生成のための
英日マルチモーダル対訳コーパスの構築
寺面 杏優 1
近藤 里咲 1
梶原 智之 2
二宮 崇 2
1 愛媛大学工学部 2 愛媛大学大学院理工学研究科{teramen@ai., kondo@ai., kajiwara@, ninomiya@}cs.ehime-u.ac.jp

概要
本研究では、英語の講演動画とその日本語字幕からなるマルチモーダル対訳コーパスを構築し、公開する。動画からの言語横断字幕生成では、音声認識のエラーが伝播して翻訳品質が劣化してしまう。こ
の課題に対処するために、音声認識文に加えて音声や画像を参照するマルチモーダル機械翻訳が有望である。我々は、このようなマルチモーダル機械翻訳の研究に取り組むために、既存の英日対訳コーパスに対して画像・音声・音声認識文を付与した約 10
万文対のマルチモーダル対訳コーパスを構築した。
英日翻訳における実験の結果、音声認識文の誤り訂正によって、翻訳品質の改善を確認できた。

1

はじめに

音声翻訳 [1] とは、原言語の音声から目的言語のテキストや音声への機械翻訳の技術である。音声ア
シスタントやオンライン会議などのサービスの普及により、人と人や人と機械の間のグローバルなコ
ミュニケーションを円滑に進めるために、音声翻訳の技術が期待されている。
伝統的な音声翻訳は、音声認識 [2] と機械翻訳 [3]のパイプラインモデルとして実現され、前段の音声認識における誤りが後段の機械翻訳の品質を劣化させてしまう課題がある。この課題に対して、機械翻訳の際に音声認識テキストだけでなく音声や画像を参照するマルチモーダル機械翻訳 [4] のアプ
ローチが有望である。マルチモーダル機械翻訳の先行研究では、音声翻訳 [5–7] や画像を用いる機械翻訳 [8–10] など、対訳コーパスに対して他の 1 種類のモダリティのデータのみを追加する事例が多い。
しかし、例えば講演の発表資料などにアクセスできる状況では、講演の音声と発表資料の画像の両方から有益な情報を得ることが期待できるため、言語・

音声・画像の 3 種類のモダリティのデータを組み合わせることで翻訳品質のさらなる改善が見込める。
3 種類のモダリティを組み合わせる先行研究には、
How-2 [11] や QED [12] などの動画を用いる機械翻訳がある。ただし、How-2 は英語からポルトガル語の言語対のみを扱い、QED は教育ドメインのみを扱うため、適用範囲が限定されている。
本研究では、言語・音声・画像の 3 つのモダリティを扱うコーパスの拡充のために、講演動画の英日翻訳を対象とするマルチモーダル機械翻訳コーパスを構築し、英日の言語横断字幕生成に取り組む。
既存の IWSLT2017 の英日対訳コーパス [13] をもとに、新たに音声と画像を付与し、さらに音声から音声認識文を生成し、画像・英語音声・音声認識英語
文・書き起こし英語文・日本語参照訳の 5 つ組からなる約 10 万件のデータセット TAIL1）を作成する。
評価実験の結果、音声認識英語文をそのまま機械翻訳するよりも、音声認識文と書き起こし英語文を用いて訓練した音声認識の誤り訂正を間に挟むことで、翻訳品質を改善できることが明らかになった。

TAIL コーパス2

本研究では、英語から日本語への言語横断字幕
生成のために、TED2）の講演動画を対象に、画像・
英語音声・音声認識英語文・書き起こし英語文・
日本語参照訳の 5 つ組コーパス TAIL を構築する。
IWSLT2017 [13] において TED 講演動画の書き起こ
し英語文と日本語参照訳からなる英日対訳コーパスが公開されているため、本研究ではこれに画像・英語音声・音声認識英語文を新たに付与して 5 つ組を得る。図 1 にコーパス構築の流れを示し、図 2 には本研究で構築する TAIL コーパスの例を示す。ここで、画像が 3 枚あるのは、音声の開始・中間・終了の1） TAIL: English-to-Japanese Translation Corpus with Audio andImages from Lecture Video https://github.com/EhimeNLP/TAIL2） https://www.ted.com― 2002 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

① ⾳声データに変換② タイムスタンプ取得[00:00.000 - 00:21.360][00:21.360 - 00:45.920][00:45.920 - 00:54.000][00:54.000 - 00:56.880]…

⾳声
TED Talks の動画

IWSLT 2017

⽇本語

③ 1⽂ごとに⾳声を分割④ テキストに変換

1⽂ごとの⾳声
⾳声認識⽂⑤ 各⽂に対して画像を取得

1⽂ごとのタイムスタンプ

英語

3枚の画像

図 1 コーパス構築の全体像

ASR

just as the biosphere is being severely eroded so too is the ethnosphereand if anything at a far greater rate

IWSLT – en

And just as the biosphere has been severely eroded, so too is theethnosphere -- and, if anything, at a far greater rate.

IWSLT – ja

⽣物圏が激しく侵されてしまったのと同様に ⺠族⽂化圏も— しかも
もっと急速に 侵⾷されています （Japanese）
Seibutsuken ga hageshiku oka sarete shimatta noto douyou ni minzoku
bunkaken mo – shikamo motto kyuusoku ni shinshoku sarete imasu

図 2 TAIL コーパスの例（画像・英語音声・音声認識英語文・書き起こし英語文・日本語参照訳の 5 つ組）ただし、画像
は音声の開始・中間・終了の各時刻に対応する 3 枚を収集。

各時刻に対応する画像を収集しているためである。

2.1

音声アノテーション

画像アノテーション

本節では、これまで構築してきたコーパスに対し

本節では、IWSLT2017 英日対訳コーパスに対して、英語音声および音声認識英語文を付与する。
音声データの取得

2.2て、さらに画像を付与し、5 つ組を得る。ここで、TED の講演動画には、講演者のみが写るなど必ず

IWSLT2017 英日対訳コーパ

しも講演内容を充分に表現しないシーンも多い。そスのメタデータに含まれる URL から、MP4 形式のこで本研究では、各文に対して複数枚ずつの画像を

動画データを取得できる。この動画を ﬀmpeg3）を用収集する。具体的には、各文のタイムスタンプの開いて FLAC 形式の音声データに変換する。これは、始・中間・終了の各時刻に対応する 3 枚の画像を用

図 1 の手順 1 に対応する。

いる。動画および手順 2 で取得したタイムスタンプ

音声とテキストの対応付け

IWSLT2017 英日対訳

コーパスの書き起こし英語文および手順 1 で取得した音声を講演単位で入力し、aeneas4）を用いて音声とテキストを対応付ける。その際に、1 文ごとに開を講演単位で入力し、OpenCV6）を用いて 1 文あたり3 枚ずつの画像を取得した。

2.3

対訳コーパスフィルタリング

始時刻および終了時刻のタイムスタンプを取得す

タイムスタンプや対応付けの誤りに起因する対訳

るとともに、ﬀmpeg を用いて音声を分割する。これ

コーパスのノイズの影響を軽減するために、自動的は、図 1 の手順 2（タイムスタンプの取得）およびな対訳コーパスフィルタリングを実施する。本研究手順 3（音声の分割）に対応する。

では、音声認識英語文（ASR）および書き起こし英音声認識

手順 3 で文ごとに分割した音 声を、語文（REF）の文対を用いて、文長の比および単語

Google Speech Recognition5）を用いてテキストに変換

誤り率による対訳コーパスフィルタリングを行う。

する。これは、図 1 の手順 4 に対応する。

まず、文長差が大きいほどノイズの多い文対であると考え、文長の比による対訳コーパスフィルタリン
グでは 0.8 ≤ len(ASR)/len(REF) ≤ 1.2 の事例のみを残す。ここで、len(·) は文の単語数を表す。また、単3） https://ffmpeg.org
4） https://github.com/readbeyond/aeneas5） https://github.com/Uberi/speech recognition

語誤り率（WER）が大きいほどノイズの多い文対で
6） https://opencv.org― 2003 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 音声認識文とその誤り訂正の誤りの分布および訂正の良し悪しの内訳

誤りを含む文の割合 (%)

文体

記号

単語

置換

表2

訂正の内訳 (%)

音声認識文

誤り訂正文

改善

悪化 その他

大文字

27

4

22

0

6

小文字

85

8

83

1

7

追加

2

31

1

28

5

削除

100

31

99

3

27

追加
削除

11
58

19
41

4
24

15
9

7
37

同音異義語

64

50

13

5

45

表記揺れ

12

6

7

1

5

活用

20

20

7

8

14

その他

19

39

2

8

34

記号の追加／削除

TAIL コーパスの統計

訓練用

評価用

IWSLT2017 英日対訳コーパス

223, 108

9, 340

5 つ組を取得できた文対数
対訳コーパスフィルタリング後

211, 604
101, 953

8, 8405, 040

書き起こし英語文に含まれる

ピリオドや疑問符などの記号は、全ての音声認識英語文において 1 つ以上が削除されていた。これらの記号の削除は機械翻訳の性能に影響を与える可能性が高いため、機械翻訳の前に適切に復元することが望ましいと考えられる。
語句の追加／削除

書き起こし英語文に含まれなあると考え、WER(ASR, REF) ≤ 0.5 の事例のみを残い語句の追加に比べて、書き起こし英語文に含まれす。ここで、WER の計算においては、前処理としる語句が音声認識英語文において削除されている事てテキストを小文字化し、記号を除去した。

例が多かった。特に、音声とテキストの対応付けの

表 2 に、TAIL コーパスの文対数を示す。一部のエラーの影響で、文頭の語句が削除されている事例

動画にアクセスできなかったため、IWSLT2017 英日が多かった。

対訳コーパスのうち約 5% の文対は本研究では使用していない。対訳コーパスフィルタリングを経て、語句の置換 同音異義語・表記揺れ・活用の違い・
その他の 4 種類の語句の置換を調査した。いずれか

最終的に約 10 万文対のマルチモーダル対訳コーパスを構築した。

2.4の語句の置換を伴う音声認識誤りが 78% の文に見られ、特に同音異義語や活用の誤りが多かった。

音声認識の誤り分析

評価実験

3

TAIL コーパスから無作為に 100 文対を抽出し、音TAIL コーパスを用いて、音声認識の誤り訂正お声認識の誤りについて分析した結果を表 1 に示す。

よび音声認識英語文から日本語への機械翻訳の評

本コーパスの音声認識誤りは、大きく「大文字／小価実験を行う。誤り訂正および機械翻訳の性能は、文字」「記号の追加／削除」「語句の追加／削除」「語

SacreBLEU [14] を用いて BLEU [15] を評価する。

彙の置換」の 4 種類に分類できる。
大文字／小文字

書き起こし英語文においては大

3.1

誤り訂正

文字であるが音声認識英語文では小文字として認識

本実験では、音声認識の誤り訂正を行う。TAILされている誤りが、85% の文において見られた。特コーパスの音声認識英語文と書き起こし英語文のに、音声認識英語文の文頭は多くの場合に小文字として出力されてしまっていた。反対に、小文字であ対を用いて、事前訓練済みの BART [16] をファイン
チューニングして誤り訂正器を構築する。

るべき文字を誤って大文字としてしまう例も 27%の文において見られた。

― 2004 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表3

音声認識の誤り訂正の実験結果（BLEU）

0.05 ≤ WER ≤ 0.15
0.20 ≤ WER ≤ 0.50

表 4 英日翻訳の実験結果（BLEU）

事前訓練なし

書き起こし

誤り訂正文

60.96

80.09

0.05 ≤ WER ≤ 0.15

7.90

8.60

8.73

57.66

0.20 ≤ WER ≤ 0.50

6.52

7.17

8.66

音声認識 誤り訂正

書き起こし

40.56

事前訓練ありモデル

音声認識 誤り訂正

音声認識文

誤り訂正器として、fairseq7）[17] を用いて Base 設定の BART8）をファインチューニングし0.05 ≤ WER ≤ 0.15

11.56

11.80

12.54

0.20 ≤ WER ≤ 0.50

8.87

9.50

11.87

た。最適化には Adam [18] を使用し、バッチサイズ
を 2, 048 トークンとして、4 バッチごとにパラメタとにより、翻訳品質が改善できることを確認する。

を更新した。検証用データにおけるクロスエントロ

モデル 翻訳器として、fairseq を用いて Base 設定の Transformer [3] を訓練した。最適化には Adam を

ピー損失が 10 回改善されなければ訓練を停止した。
データ 表 2 に示した 101, 953 文対の中から、誤使用し、バッチサイズを 4, 096 トークンとして、8りを含まない文対（WER ≤ 0.05）を除去した 80, 859

バッチごとにパラメタを更新した。検証用データに文対の音声認識英語文および書き起こし英語文をおけるクロスエントロピー損失が 10 回改善されな用いて、誤り訂正を訓練した。評価用の 5, 040 文対ければ訓練を停止した。

からは、0.05 ≤ WER ≤ 0.15 の誤りが少ない評価用データ

表 2 に示した 211, 604 文対の書き起こし

データと 0.20 ≤ WER ≤ 0.50 の誤りが多い評価用

英語文および日本語参照訳を用いて、機械翻訳を

データを無作為に 1, 200 文対ずつ抽出し、その他を訓練した。検証用と評価用データは、3.1 節と同じ

検証用データとして使用した。前処理には、BART

ものを用いた。前処理として、英語には Moses Tok-のトークナイザを用いてサブワード分割をした。

enizer10）[21]、日本語には MeCab (IPADIC)11）[22] を実験結果 表 3 に、BLEU による評価結果を示す。

用いて単語分割した。そして、SentencePiece12）[23]上段の誤りが少ない評価用データと下段の誤りが多を用いて Byte Pair Encoding [24] による語彙サイズ

い評価用データのそれぞれにおいて、19 ポイントお32, 000 のサブワード分割を行った。

よび 17 ポイントの大きな BLEU の改善が見られた。

実験結果 表 4 に、BLEU による自動評価の結果を示す。音声認識の自動的な誤り訂正によって、誤この結果から、本コーパスが音声認識の誤り訂正のために有用であると言える。なお、本コーパスに含りが多い評価用データと誤りが少ない評価用データ

まれる音声や画像などの他のモダリティのデータをの両方において翻訳品質が改善できた。JParaCrawl

考慮することで、誤り訂正の性能をさらに改善できを用いた事前訓練によって全体に翻訳品質が改善すると期待できるが、これは今後の課題である。

るものの、事前訓練済み翻訳器に対しても音声認識

表 1 に訂正結果の詳細な分析を示す。大文字／小文字の誤りや記号の漏れ、文頭における語句の抜けが大きく改善できた。一方で、記号を過剰に追加したり文中の語句を誤削除する事例も見られた。

3.2

誤り訂正は有効であることがわかった。

おわりに

4

本研究では、英日の言語横断字幕生成のために、講演動画を対象に約 10 万文対の画像・英語音声・

機械翻訳

音声認識英語文・書き起こし英語文・日本語参照訳

本 実 験 で は、IWSLT2017 英 日 対 訳 コ ー パの 5 つ組コーパスを構築した。そして、音声認識文

ス [13] を 用 い て 訓 練 し た Transformer [3] お よ びと書き起こし文を用いた音声認識の誤り訂正によっJParaCrawl v3.0 [19, 20] の 事 前 訓 練 済 み モ デ ル9）をて、音声翻訳の性能を改善した。今後の課題として、音声や画像を使ったマルチモーダル誤り訂正おIWSLT2017 英日対訳コーパス上でファインチューニ
ングした Transformer の 2 つの英日翻訳器を用いて、音声認識英語文から日本語への機械翻訳を行う。そよびマルチモーダル機械翻訳を行い、言語横断字幕
生成の性能をさらに改善したい。

して、3.1 節の技術で音声認識の誤りを訂正するこ7） https://github.com/facebookresearch/fairseq8） https://huggingface.co/facebook/bart-base9） https://www.kecl.ntt.co.jp/icl/lirg/jparacrawl10） https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl11） https://taku910.github.io/mecab/12） https://github.com/google/sentencepiece― 2005 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究成果は、国立研究開発法人情報通信研究機
構（NICT）の委託研究（課題番号：22501）により得られたものです。

[14]
[15]

参考文献

[16]

[1] Chen Xu, Rong Ye, Qianqian Dong, Chengqi Zhao, Tom
Ko, Mingxuan Wang, Tong Xiao, and Jingbo Zhu. Recent
Advances in Direct Speech-to-text Translation. In Proc.
of IJCAI, pp. 6796–6804, 2023.
[2] William Chan, Navdeep Jaitly, Quoc V. Le, and Oriol
Vinyals. Listen, Attend and Spell: A Neural Network forLarge Vocabulary Conversational Speech Recognition. In
Proc. of ICASSP, pp. 4960–4964, 2016.
[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,
and Illia Polosukhin. Attention is All you Need. In Proc.
of NIPS, pp. 5998–6008, 2017.
[4] Umut Sulubacak, Ozan Caglayan, Stig-Arne Grönroos,
Aku Rouhe, Desmond Elliott, Lucia Specia, and Jörg
Tiedemann. Multimodal Machine Translation through Visuals and Speech. Machine Translation, Vol. 34, pp.
97–147, 2020.
[5] Mattia A. Di Gangi, Roldano Cattoni, Luisa Bentivogli,
Matteo Negri, and Marco Turchi. MuST-C: a Multilingual Speech Translation Corpus. In Proc. of NAACL, pp.
2012–2017, 2019.
[6] Elizabeth Salesky, Matthew Wiesner, Jacob Bremerman,
Roldano Cattoni, Matteo Negri, Marco Turchi, Douglas W.
Oard, and Matt Post. The Multilingual TEDx Corpus for
Speech Recognition and Translation. In Proc. of INTERSPEECH, pp. 3655–3659, 2021.
[7] Changhan Wang, Juan Pino, Anne Wu, and Jiatao Gu.
CoVoST: A Diverse Multilingual Speech-To-Text Translation Corpus. In Proc. of LREC, pp. 4197–4203, 2020.
[8] Desmond Elliott, Stella Frank, Khalil Sima’an, and Lucia
Specia. Multi30K: Multilingual English-German Image
Descriptions. In Proc. of VL, pp. 70–74, 2016.
[9] Ashish V. Thapliyal, Jordi Pont Tuset, Xi Chen, and Radu
Soricut. Crossmodal-3600: A Massively Multilingual
Multimodal Evaluation Dataset. In Proc. of EMNLP, pp.
715–729, 2022.
[10] Shantipriya Parida, Ondrej Bojar, and Satya Ranjan Dash.
Hindi Visual Genome: A Dataset for Multimodal Englishto-Hindi Machine Translation. Computación y Sistemas, Vol. 23, No. 4, pp. 1499–1505, 2019.
[11] Ramon Sanabria, Ozan Caglayan, Shruti Palaskar,
Desmond Elliott, Loı̈c Barrault, Lucia Specia, and Florian Metze. How2: A Large-scale Dataset for Multimodal
Language Understanding. In Proc. of NeurIPS, 2018.
[12] Ahmed Abdelali, Francisco Guzman, Hassan Sajjad, andStephan Vogel. The AMARA Corpus: Building Parallel
Language Resources for the Educational Domain. In Proc.
of LREC, pp. 1856–1862, 2014.
[13] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Jan
Niehues, Sebastian Stüker, Katsuhito Sudoh, Koichiro

[17]

[18]
[19]

[20]

[21]

[22]

[23]

[24]

― 2006 ―Yoshino, and Christian Federmann. Overview of the
IWSLT 2017 Evaluation Campaign. In Proc. of IWSLT,
pp. 2–14, 2017.
Matt Post. A Call for Clarity in Reporting BLEU Scores.
In Proc. of WMT, pp. 186–191, 2018.
Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing
Zhu. Bleu: a Method for Automatic Evaluation of MachineTranslation. In Proc. of ACL, pp. 311–318, 2002.
Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy,
Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In
Proc. of ACL, pp. 7871–7880, 2020.
Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan,Sam Gross, Nathan Ng, David Grangier, and Michael Auli.
Fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proc. of NAACL, pp. 48–53, 2019.
Diederik P. Kingma and Jimmy Ba. Adam: A Method for
Stochastic Optimization. In Proc. of ICLR, 2015.
Makoto Morishita, Jun Suzuki, and Masaaki Nagata.
JParaCrawl: A Large Scale Web-Based English-Japanese
Parallel Corpus. In Proc. of LREC, pp. 3603–3609, 2020.
Makoto Morishita, Katsuki Chousa, Jun Suzuki, andMasaaki Nagata. JParaCrawl v3.0: A Large-scale EnglishJapanese Parallel Corpus. In Proc. of LREC, pp. 6704–
6710, 2022.
Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi,
Brooke Cowan, Wade Shen, Christine Moran, Richard
Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin,
and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proc. of ACL, pp. 177–180,
2007.
Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proc. of EMNLP, pp. 230–237, 2004.
Taku Kudo and John Richardson. SentencePiece: A Simple and Language Independent Subword Tokenizer and
Detokenizer for Neural Text Processing. In Proc. of
EMNLP, pp. 66–71, 2018.
Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword
Units. In Proc. of ACL, pp. 1715–1725, 2016.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).