本研究では、異言語話者の対話を仲介する音声対話翻訳という新たな機械翻訳のパラダイムを提案する。日英のビジネスシーン対話コーパスに音声と話者情報を付与したSpeechBSDコーパスを構築し、ベースラインの実験を行った。音声対話翻訳においては文脈を考慮することが重要であるため、単言語文脈と二言語文脈の2つの設定で文脈を構成した。Whisperを用いた音声認識とmBARTのﬁne-tuningによる機械翻訳を組み合わせたcascade音声翻訳の実験を行い、二言語文脈の有効性を示した。

グローバル化に伴い、異なる言語を母語とする人々の間のコミュニケーションの重要性が高まっている。しかし、世界には言語の「壁」が存在し、コミュニケーションを妨げる大きな原因となっている。テキスト翻訳の精度は近年のニューラル機械翻訳の発展によって向上した。しかし、人間同士の意思疎通において最も重要な役割を果たす対話の分野における翻訳の研究は未だ少ない。テキストの対話であるチャットにおける対話翻訳の研究はされている[1,2,3]が、音声での対話翻訳の研究はされていない。本研究では、「音声対話翻訳」という新しい機械翻訳のパラダイムを提案する。音声対話翻訳においては、複数の話者が異なる言語を話す多言語対話（異言語話者の対話）を考え、ある言語の音声を別の言語のテキストに翻訳する1）。応用例としては、大学のゼミをはじめとした、異なる言語を話す話者が集まるミーティングにおける利用が考えられる。また、音声対話翻訳を行う際、異なる言語の文脈を利用することで、翻訳の曖昧性を解消することを目指す（図1）。1）音声の出力を考えることもできるが、本研究では翻訳性能に焦点を当てるため、音声合成は別のモジュールと考える。本研究では、日英の音声対話翻訳を扱った。音声対話翻訳のデータセットは存在しないため、既存のテキスト対話コーパスであるビジネスシーン対話コーパス[4]を用いて、対応する音声をクラウドソーシングで収集してSpeechBSDデータセットを構築した。また、文脈を考慮した音声対話翻訳システムとして、既存研究の手法[5]を対話に適用した単言語で文脈を構成する手法と、二言語で文脈を構成する手法を試した。音声翻訳の手法として、原言語の音声を目的言語のテキストに直接変換するend-to-endの手法[6,7]と、原言語の音声を書き起こして機械翻訳への入力とするcascadeの手法[8]があるが、本研究ではcascadeで実験を行った。2）音声認識は、事前学習された大規模音声認識モデルであるWhisper[11]を用いた。機械翻訳の実験では、文脈を利用しない場合、単言語文脈を利用する場合、二言語文脈を利用する場合の3つの設定でmBART[12]を用いて実験した。それらを組み合わせたcascade音声翻訳の実験により、二言語文脈の有効性を示した。