Llama-Mimi:意味・音響トークンを交互配置した音声言語モデル

本研究では，音声言語モデルにおけるシンプルなアーキテクチャの可能性を探索することを目的として，意味トークンと音響トークンを交互配置した系列を単一のTransformerデコーダで同時にモデル化する音声言語モデルLlama-Mimiを提案する.多面的な評価の結果，Llama-Mimiは音響一貫性において最先端の性能を達成する一方，言語的能力の課題が明らかになった.また，量子化段数を増やすことによる音響の質と言語的性能のトレードオフを明らかにした.本研究で使用したモデル，コード，音声サンプルは公開している.1）