大規模言語モデルによる音声対話翻訳

従来の音声翻訳システムは、単言語対を想定したものが多い。しかし、異言語話者による対話において音声翻訳を用いることを考えると、二つの言語対を扱う必要がある（図1）。この課題に対して、音声対話翻訳タスクが提案された[1]。既存の音声対話翻訳研究[1]では、mBART[2]をﬁnetuningしたモデルを二つの言語対について用意することにより、音声対話翻訳が実現されている。一方で、大規模言語モデル（LLM）の登場により、機械翻訳システムを柔軟に設計することが可能になった。LLMは一般に文脈情報を効果的に利用することで知られており、先行研究が示したように、音声対話翻訳においても文脈情報は重要である。そのため、LLMの利用による性能の向上が見込まれるが、どの程度の影響があるかは明らかでない。加えて、最近は論理的推論1）を行ったのちに推論結果を出力するLLMの研究が盛んである。しかし、このLLMの論理的推論能力が音声対話翻訳に与える影響を検討した研究はない。1）本稿では、英語のinferenceに相当する語として推論、reasoningに相当する語として論理的推論を用いる。日本語話者日英音声翻訳こんにちは！Hello!英語話者Hi,howareyou?英日音声翻訳どうも、調子はどう？さらに、音声対話翻訳では、話者情報2）が重要な役割を果たすと想定される。LLMの登場により、機械翻訳システムを柔軟に設計でき、話者情報の利用が容易になった。しかし、話者情報が翻訳精度に与える影響は明らかでない。本研究では、これらの課題について、音声認識モデルとLLMを用いたcascade音声翻訳による実験を行い、論理的推論能力や話者情報が音声対話翻訳に与える影響を、文脈情報の利用に着目しつつ検証する。