Llama-Mimi:意味・音響トークンを交互配置した音声言語モデル

音声言語モデルは，音声波形を離散トークン列に変換し，それらを自己回帰的に予測することで音声生成を言語モデリングとして扱う[1,2,3].GSLMによって離散トークンを用いた音声モデリングの有効性が示された後[1]，GSLMに存在していた言語的能力の問題や単一話者の問題が少しずつ改善されている[2].しかし，これらの発展は複数のモデルによるマルチステージ化や複雑なトークン配置などを用いており，モデルの複雑性は増大している[4,5,6].例えばAudioLMは，まず単一デコーダで意味トークンを生成した後，複数段のモデルが残りの音響トークンを生成する[2].MoshiはRQ-Transformer[7]に基づく二重Transformer構造を採用し，backboneTransformerがフレーム間の時間方向の系列を処理し，depthTransformerがbackboneTransformerの生成トークンを条件つけしてフレーム内のトークン列を処理する[5].これらの設計により言語的，音響的に強いモデルが開発される一方で，学習・推論が複雑1）https://speed1313.github.io/llama-mimiyqtSemantictokenyqtAcoustictokenMimi(AudioTokenizer)q:quantizerlevel,t:frameindexy4Ty11y21y31y41y1