本研究では、英語の講演動画とその日本語字幕からなるマルチモーダル対訳コーパスを構築し、公開する。動画からの言語横断字幕生成では、音声認識のエラーが伝播して翻訳品質が劣化してしまう。この課題に対処するために、音声認識文に加えて音声や画像を参照するマルチモーダル機械翻訳が有望である。我々は、このようなマルチモーダル機械翻訳の研究に取り組むために、既存の英日対訳コーパスに対して画像・音声・音声認識文を付与した約10万文対のマルチモーダル対訳コーパスを構築した。英日翻訳における実験の結果、音声認識文の誤り訂正によって、翻訳品質の改善を確認できた。

音声翻訳[1]とは、原言語の音声から目的言語のテキストや音声への機械翻訳の技術である。音声アシスタントやオンライン会議などのサービスの普及により、人と人や人と機械の間のグローバルなコミュニケーションを円滑に進めるために、音声翻訳の技術が期待されている。伝統的な音声翻訳は、音声認識[2]と機械翻訳[3]のパイプラインモデルとして実現され、前段の音声認識における誤りが後段の機械翻訳の品質を劣化させてしまう課題がある。この課題に対して、機械翻訳の際に音声認識テキストだけでなく音声や画像を参照するマルチモーダル機械翻訳[4]のアプローチが有望である。マルチモーダル機械翻訳の先行研究では、音声翻訳[5–7]や画像を用いる機械翻訳[8–10]など、対訳コーパスに対して他の1種類のモダリティのデータのみを追加する事例が多い。しかし、例えば講演の発表資料などにアクセスできる状況では、講演の音声と発表資料の画像の両方から有益な情報を得ることが期待できるため、言語・音声・画像の3種類のモダリティのデータを組み合わせることで翻訳品質のさらなる改善が見込める。3種類のモダリティを組み合わせる先行研究には、How-2[11]やQED[12]などの動画を用いる機械翻訳がある。ただし、How-2は英語からポルトガル語の言語対のみを扱い、QEDは教育ドメインのみを扱うため、適用範囲が限定されている。本研究では、言語・音声・画像の3つのモダリティを扱うコーパスの拡充のために、講演動画の英日翻訳を対象とするマルチモーダル機械翻訳コーパスを構築し、英日の言語横断字幕生成に取り組む。既存のIWSLT2017の英日対訳コーパス[13]をもとに、新たに音声と画像を付与し、さらに音声から音声認識文を生成し、画像・英語音声・音声認識英語文・書き起こし英語文・日本語参照訳の5つ組からなる約10万件のデータセットTAIL1）を作成する。評価実験の結果、音声認識英語文をそのまま機械翻訳するよりも、音声認識文と書き起こし英語文を用いて訓練した音声認識の誤り訂正を間に挟むことで、翻訳品質を改善できることが明らかになった。