AnyGPTは、異なるモダリティ（音声、テキスト、画像、音楽など）を統合的に処理するためのディスクリート表現を活用しています。これにより、各モダリティの情報がトークン化されて連続したシーケンスとして扱われます。その後、言語モデルが次のトークン予測損失関数を使用してこれらのシーケンスを学習します。このアプローチによって、核となるLLM（Large Language Model）は知覚から生成までさまざまなタスクを自己回帰的に統一することができます。