本研究では，音声言語モデルにおけるシンプルなアーキテクチャの可能性を探索することを目的として，意味トークンと音響トークンを交互配置した系列を単一のTransformerデコーダで同時にモデル化する音声言語モデルLlama-Mimiを提案する.多面的な評価の結果，Llama-Mimiは音響一貫性において最先端の性能を達成する一方，言語的能力の課題が明らかになった.また，量子化段数を増やすことによる音響の質と言語的性能のトレードオフを明らかにした.本研究で使用したモデル，コード，音声サンプルは公開している.1）

音声言語モデルは，音声波形を離散トークン列に変換し，それらを自己回帰的に予測することで音声生成を言語モデリングとして扱う[1,2,3].GSLMによって離散トークンを用いた音声モデリングの有効性が示された後[1]，GSLMに存在していた言語的能力の問題や単一話者の問題が少しずつ改善されている[2].しかし，これらの発展は複数のモデルによるマルチステージ化や複雑なトークン配置などを用いており，モデルの複雑性は増大している[4,5,6].例えばAudioLMは，まず単一デコーダで意味トークンを生成した後，複数段のモデルが残りの音響トークンを生成する[2].MoshiはRQ-Transformer[7]に基づく二重Transformer構造を採用し，backboneTransformerがフレーム間の時間方向の系列を処理し，depthTransformerがbackboneTransformerの生成トークンを条件つけしてフレーム内のトークン列を処理する[5].これらの設計により言語的，音響的に強いモデルが開発される一方で，学習・推論が複雑1）https://speed1313.github.io/llama-mimiyqtSemantictokenyqtAcoustictokenMimi(AudioTokenizer)q:quantizerlevel,t:frameindexy4Ty11y21y31y41y1