大規模言語モデルの潜在言語は一貫しているべきか？

一方で，潜在言語の一貫性と下流タスクにおける大規模言語モデルは一般に複数の層で構成され性能との関係については，これまで十分に議論されており，最終層の潜在表現をデコードすることで文ていない．潜在言語が一貫していることが下流タス章を生成する．本研究では，中間層の潜在表現をデクの性能に影響するかどうかは未解明であり，このコードしたときに生成される言語を潜在言語と呼点を明らかにすることは，潜在言語の役割や推論のび，潜在言語の一貫性が下流タスクの性能に与える安定性を理解する上で重要である[11]．影響を検証する．具体的には，地理文化や翻訳と本研究では，「モデルが得意としない潜在言語でいった潜在言語による影響を受けやすい下流タス思考することは，下流タスクの性能に影響を及ぼクから構成されるデータセットを構築し，潜在言語す」という仮説を立てる．この仮説を検証するたの一貫性と下流タスクの性能の相関を分析した．複めに，中国語，英語，日本語の3言語から構成され数のモデルに対する実験の結果，潜在言語の一貫性た思考言語を意図的に混在させる敵対的プロンプは，必ずしも下流タスクの性能に必要ではないことト[12,13]を入力に付与し，潜在言語の一貫性を崩が示された．また，最終層付近において内部表現を壊させることで，その影響を定量的に評価する．具目的言語に適応させており，言語モデルの思考は潜体的には，複数のモデルに対して，敵対的に含まれ在言語に依存しないことが示唆された．る言語の種類およびその割合を体系的に変化させる．モデル内部がどの程度一貫した潜在言語で思考