一方で，潜在言語の一貫性と下流タスクにおける大規模言語モデルは一般に複数の層で構成され性能との関係については，これまで十分に議論されており，最終層の潜在表現をデコードすることで文ていない．潜在言語が一貫していることが下流タス章を生成する．本研究では，中間層の潜在表現をデクの性能に影響するかどうかは未解明であり，このコードしたときに生成される言語を潜在言語と呼点を明らかにすることは，潜在言語の役割や推論のび，潜在言語の一貫性が下流タスクの性能に与える安定性を理解する上で重要である[11]．影響を検証する．具体的には，地理文化や翻訳と本研究では，「モデルが得意としない潜在言語でいった潜在言語による影響を受けやすい下流タス思考することは，下流タスクの性能に影響を及ぼクから構成されるデータセットを構築し，潜在言語す」という仮説を立てる．この仮説を検証するたの一貫性と下流タスクの性能の相関を分析した．複めに，中国語，英語，日本語の3言語から構成され数のモデルに対する実験の結果，潜在言語の一貫性た思考言語を意図的に混在させる敵対的プロンプは，必ずしも下流タスクの性能に必要ではないことト[12,13]を入力に付与し，潜在言語の一貫性を崩が示された．また，最終層付近において内部表現を壊させることで，その影響を定量的に評価する．具目的言語に適応させており，言語モデルの思考は潜体的には，複数のモデルに対して，敵対的に含まれ在言語に依存しないことが示唆された．る言語の種類およびその割合を体系的に変化させる．モデル内部がどの程度一貫した潜在言語で思考

しているかを定量化するため，新たに潜在言語一貫大規模言語モデル(LLMs)[1,2,3]は，一般に複数性スコア(LLCScore)を定義し，潜在言語の一貫性のTransformer層で構成され，最終層の潜在表現をデと下流タスクの性能との相関を分析した．コードすることで文章を生成する．近年中間層の潜実験では，先行研究[5,6,14,15]に倣い，潜在言在表現をデコードすることで，モデル内部における語の一貫性が性能に大きな影響を与えると考えられ文章生成過程の解釈が試みられており（LogitLens）る翻訳タスクおよび地理・文化知識に関するデータ[4]，特に中間層の潜在表現をデコードした時に出力セットを新たに構築した．複数のモデルに対する実される言語（潜在言語）に着目した研究が盛んであ験の結果，いくつかのモデルは推論時に特定の潜在る[5,6,7,8]．例えば，英語中心のコーパスで学習言語へ一貫して依存する傾向を示すことが確認されされたLlama2[9]は，中仏翻訳タスクにおいても，た．しかしながら，そのような一貫性が常に最適な英語を潜在言語として用いていることが報告されて性能につながるわけではなく，翻訳および地理文化いる[5]．同様に，日本語および英語の両方で学習の両タスクにおいて，仮説と反する結果が観測されされたLLM-jp[10]においては，推論過程で日本語た．この結果は，モデルの思考が潜在言語に依存しを潜在言語として用いる傾向が確認されている[6]．ておらず，最終層付近において思考内容を目的言語これらの結果は，モデルが使用する潜在言語が，事に変換することで，適切な回答を出力している可能前学習時における各言語のデータ割合に大きく依存性を示唆している．org/licenses/by/4.0/).