多言語概念空間の訓練ダイナミクス

大規模言語モデル（LLM）は、多言語入力を共有概念空間で処理することで汎化能力や言語間転移を実現していることが先行研究で示されている。しかし、こうした概念空間が訓練過程でどのように形成されるかは十分に明らかになっていない。本研究では、活性化パッチングを用いてEuroLLMの事前学習における言語非依存的概念空間の形成過程を調査した。言語横断的な概念表現を抽出し翻訳プロンプトに注入することで、言語非依存的な概念の変化を検証した。その結果、多言語概念空間は訓練早期に出現し継続的に洗練されるが、各言語との整合性には差異があることが判明した。また、詳細な手動分析により、先行研究で報告された翻訳品質の向上の一部は、翻訳能力の改善ではなく、多義語の語義選択や言語間同形異義語の処理方針の変化といった行動パターンの変化に起因することを明らかにした。TARGET