講演動画の言語横断字幕生成のための英日マルチモーダル対訳コーパスの構築

本研究では、英語の講演動画とその日本語字幕からなるマルチモーダル対訳コーパスを構築し、公開する。動画からの言語横断字幕生成では、音声認識のエラーが伝播して翻訳品質が劣化してしまう。この課題に対処するために、音声認識文に加えて音声や画像を参照するマルチモーダル機械翻訳が有望である。我々は、このようなマルチモーダル機械翻訳の研究に取り組むために、既存の英日対訳コーパスに対して画像・音声・音声認識文を付与した約10万文対のマルチモーダル対訳コーパスを構築した。英日翻訳における実験の結果、音声認識文の誤り訂正によって、翻訳品質の改善を確認できた。