BrainLMを用いた多言語学習での転移学習性能の検証

大規模言語モデルの広範な利用により，機能的磁気共鳴画像法（fMRI）や脳波計測（EEG）などの非侵襲的手法で取得される信号として計測されるヒト脳活動とヒトが操る複雑な言語システムとの関連性を探る研究が注目されている.言語システムは，脳内の意味情報の表現と実際の意味知覚との間に強い相関があることを示している[1,2,3,4].例えば，LuoらはBrainLanguageModel（BrainLM）を提案した[5].これは，自然言語の意味表現と脳の特徴を統合する共通の埋め込み空間を組み込んだ大規模言語モデルである.BrainLMの有効性は，脳内状態のデコーディングとエンコーディングの両方向からのタスクにおいて検証されている.しかし，解決すべき課題は依然として多い.しかし，解決すべき課題は依然として多い．例えば，Luoらの研究では，BOLD5000データセットを用いて視覚刺激に関連する脳の関心領域（ROIs）を対象とした脳内状態エンコーディングタスクが実施され，平均ピアソン相関係数50.35%を達成した．この結果は視覚関連の局所的な有効性を示しているものの，言語刺激を含む大脳皮質全体におけるBrainLMの性能は未だ明らかではない．さらに，単一言語モデルは多言語使用者の脳内処理を十分に再現できないことが明らかになりつつある．例えば，複数言語使用者は，言語切り替えや統合において、脳内で異なるネットワークが活性化されることが報告されている[6]．一方で，単一言語モデルは特定の言語に特化しており，多言語処理における脳の柔軟性や相互作用を考慮できない．しかし，大規模言語モデルにおける多言語学習プロセスが人間の脳とどのように対応するかについての定量的分析は，まだ十分に行われていない.また，研究が進むにつれて，利用可能な多言語データセットが増加している[7,8].このギャップを埋めるために，BrainLMを多言語学習タスクに適用する新たなアプローチを提案する.特に転移学習[9]を利用して，多言語データセット上でモデルを検証する.このアプローチにより，BrainLMを通じて脳が複数の言語をどのように処理するかを理解する手がかりを得ることができる.以上を踏まえ，BrainLMを用いて以下の3つの検証実験を実施した.新たな多言語データセットを導入し，可視化ツールと組み合わせることで，転移学習による言語システム間のモデルの適応性を検証した.本研究の貢献は以下の3点に要約される：•選択された脳の機能的領域から大脳皮質全体への脳活動予測能力を拡張し，異なる被験者およびデータセット間でのBrainLMの脳全体予測への汎化能力を検証した.•BrainLMの有効性を英語以外のシステムにも拡張し，フランス語および中国語を母語とする話.NameTypeAuthorStimuliNSubjectsDescriptionLittlePrinceDatasetBrainDatasetlittlePrinceAuditory112ThisdatasetcollectedfMRIdatafromnativespeakersofChinese,English,andFrenchaskedtolistentotheaudioofthenovelTheLittlePrinceintheirnativelanguagedur-ingabehavioralexperiment.Thestimulusaudiowasdi-videdintoninepartsandeachpartwasplayedthreetimes.Intotal,thedataconsistedofapproximately15,000words.Individualpartswereapproximately6,000secondslong.TheXNLICorpusTextCorpusXNLICorpus--Amultilingualtextcorpusderivedfromtranslatedsen-tencesacrossdiverselanguages,designedforevaluatingcross-lingualunderstandingandtransfercapabilitiesinnaturallanguageprocessingmodels.者を対象とした実験で成功を収めた.また，多言語学習タスクにおける転移学習の効果に関する新しい実証例を追加した.•可視化ツールを使用し，モデル構造内の異なる層と対応する脳の機能的領域間の定量的関係を詳細に示した.