異言語話者の対話を仲介する音声対話翻訳

本研究では、異言語話者の対話を仲介する音声対話翻訳という新たな機械翻訳のパラダイムを提案する。日英のビジネスシーン対話コーパスに音声と話者情報を付与したSpeechBSDコーパスを構築し、ベースラインの実験を行った。音声対話翻訳においては文脈を考慮することが重要であるため、単言語文脈と二言語文脈の2つの設定で文脈を構成した。Whisperを用いた音声認識とmBARTのﬁne-tuningによる機械翻訳を組み合わせたcascade音声翻訳の実験を行い、二言語文脈の有効性を示した。