クロスコーダーを用いた脳と言語モデルにおける内部表現の特徴量比較

脳と言語モデル（LM）がどのような情報処理を共有し，どこで異なるかを明らかにすることは，神経科学と自然言語処理の両分野にとって重要な問いである．言語刺激に対する脳応答を予測するエンコーディングモデルは，言語刺激が脳内でどのように符号化されているかを検証する枠組みとして発展してきた[1,2]．文脈を考慮したLMの内部表現（LM表現）が文脈非依存の埋め込みより高い予測性能を示すことが報告されて以降[3]，LM表現を用いたエンコーディング研究が数多く行われ，脳とLMの表現の類似性が主張されている[4,5,6,7]．しかし，LM表現を使った従来のエンコーディングモデルは，類似性の背後にある要因を解釈可能な特徴量として抽出することが難しい．本研究では，解釈可能性研究において複数のモデルや層の共通／固有特徴量を同定するために提案されたクロスコーダー[8,9]を脳応答とLM表現の比較に拡張したBrain-LMクロスコーダーを提案する．この枠組みにより，従来のエンコーディングモデルでは捉えられなかった，脳応答とLM表現の間の解釈可能な共通特徴量を同定することを試みる．さらにこの枠組みは，主に脳とLMの類似性を主張していたエンコーディングモデルとは異なり，両者の相違点として脳応答とLM表現のどちらかに優位な特徴量も同定できることを示す．fMRIデータセットを用いた実験の結果，場所に関する特徴量が両者に共通し，負の情動に関する特徴量が脳側で優位に表現され，口語的な表現に関する特徴量がLM側で優位に表現されていることを特定した．さらに，脳デコーダーの重みを皮質マップ上に投影することで，各特徴量がどの脳領域において表現されているかを可視化し解釈した．