神経科学に着想を得たシナプス刈り込みによる大規模言語モデルの原理解明

を得ており、言語モデルを意図的にプルーニングに近年の大規模言語モデルは高度な言語理解能力をよって部分的に損傷させることで、モデルの振る舞実現しているが、その仕組みには人間の脳との相違いの変化を評価するものである。手法としては神経点が多く存在する。例えば、ニューロン同士のネッ科学における脳の損傷研究(LesionStudies)[5]のアトワークの発達過程に着目すると、脳においてシナナロジーとして捉えることができ、損傷研究とは特プスの形成ペースが変化していくことが知られてい定の脳部位や機能に損傷を受けた場合の対象の振るる[1]。そのペースは脳の領域ごとに異なるが、出舞い(Behavior)の変化を観察することでその関係性生直後からある一定の時期までは非常に密なシナを明らかにしようとする方法論である。プス形成が行われ、その後に不要なシナプスだけが本稿では、脳機能と機械学習における2つの「刈大幅に減少する。この動的なネットワークの形成にり込み」について整理したのち、既存のモデルの説より、機能的な神経回路が完成していく。この過程明手法を分類しつつ紹介し、その後、プルーニングは「シナプス刈り込み(Synapseelimination,Synapticを用いて部分的に損傷した状態の大規模言語モデpruning)」と呼ばれ、生後発達期の神経系で普遍的ルの評価実験を行う。実験の結果、プルーニングにに起こる重要な現象であり、効率的な神経回路を形よって起こるモデルの性能低下は特に中間層以下で成するための基本的な過程であるとされている[2]。顕著であり、評価タスクによって低下の度合いが異また、一部の精神神経疾患の原因として発達期の異なることがわかった。これらの結果は大規模言語モ常なシナプス刈り込みが関連しているということもデルの内部でどのような処理が行われているかにつ指摘されており[3]、脳機能におけるシナプス刈りいて新たな示唆をもたらす。―763―.