大規模言語モデルの潜在言語は一貫しているべきか？

しているかを定量化するため，新たに潜在言語一貫大規模言語モデル(LLMs)[1,2,3]は，一般に複数性スコア(LLCScore)を定義し，潜在言語の一貫性のTransformer層で構成され，最終層の潜在表現をデと下流タスクの性能との相関を分析した．コードすることで文章を生成する．近年中間層の潜実験では，先行研究[5,6,14,15]に倣い，潜在言在表現をデコードすることで，モデル内部における語の一貫性が性能に大きな影響を与えると考えられ文章生成過程の解釈が試みられており（LogitLens）る翻訳タスクおよび地理・文化知識に関するデータ[4]，特に中間層の潜在表現をデコードした時に出力セットを新たに構築した．複数のモデルに対する実される言語（潜在言語）に着目した研究が盛んであ験の結果，いくつかのモデルは推論時に特定の潜在る[5,6,7,8]．例えば，英語中心のコーパスで学習言語へ一貫して依存する傾向を示すことが確認されされたLlama2[9]は，中仏翻訳タスクにおいても，た．しかしながら，そのような一貫性が常に最適な英語を潜在言語として用いていることが報告されて性能につながるわけではなく，翻訳および地理文化いる[5]．同様に，日本語および英語の両方で学習の両タスクにおいて，仮説と反する結果が観測されされたLLM-jp[10]においては，推論過程で日本語た．この結果は，モデルの思考が潜在言語に依存しを潜在言語として用いる傾向が確認されている[6]．ておらず，最終層付近において思考内容を目的言語これらの結果は，モデルが使用する潜在言語が，事に変換することで，適切な回答を出力している可能前学習時における各言語のデータ割合に大きく依存性を示唆している．org/licenses/by/4.0/).