一方、機械学習の研究においても、プルーニン言語モデルが大規模化し、高度な言語能力を獲得グ(刈り込み)という技術があり、こちらは量子化していくにつれ、モデルの内部処理は更にブラック(Quantize)や蒸留(Distillation)などと並んでモデルをボックス化している。これに対して近年の言語モデ軽量化することを目的とした手法の代表的なものでルの説明性は、内部情報を直接取得し解釈するといある。プルーニングは自然言語処理モデルにおいてうよりはむしろ、入力プロンプトに対するモデルのも有効であり、現在盛んに研究されている大規模言振る舞いをもって担保する傾向にある。そこで本研語モデルにおいても様々なアルゴリズムを通じて適究では、大規模言語モデルの新たな説明手法として用可能である[4]。機械学習におけるプルーニングプルーニングを利用した方法を提案する。意図的には、脳機能におけるシナプス刈り込みとは異なる形モデルを損傷させ、その振る舞いの変化を定量的にではあるが、自然言語処理技術の発展に貢献する重評価することで、モデルの内部処理についての示唆要な技術である。を得ることを目的とする。実験の結果、モデルをプ本研究では、本来モデルを軽量化するための工学ルーニングする際には、対象とするレイヤーによっ的手法であるプルーニングを、モデルの説明手法とてベンチマークでの性能に影響が出るかどうかが異して利用する方法を提案する。これは、脳においてなる可能性が示唆された。シナプス刈り込みの異常(過剰や不足)が一部の精神疾患の原因となっている可能性があることに着想

を得ており、言語モデルを意図的にプルーニングに近年の大規模言語モデルは高度な言語理解能力をよって部分的に損傷させることで、モデルの振る舞実現しているが、その仕組みには人間の脳との相違いの変化を評価するものである。手法としては神経点が多く存在する。例えば、ニューロン同士のネッ科学における脳の損傷研究(LesionStudies)[5]のアトワークの発達過程に着目すると、脳においてシナナロジーとして捉えることができ、損傷研究とは特プスの形成ペースが変化していくことが知られてい定の脳部位や機能に損傷を受けた場合の対象の振るる[1]。そのペースは脳の領域ごとに異なるが、出舞い(Behavior)の変化を観察することでその関係性生直後からある一定の時期までは非常に密なシナを明らかにしようとする方法論である。プス形成が行われ、その後に不要なシナプスだけが本稿では、脳機能と機械学習における2つの「刈大幅に減少する。この動的なネットワークの形成にり込み」について整理したのち、既存のモデルの説より、機能的な神経回路が完成していく。この過程明手法を分類しつつ紹介し、その後、プルーニングは「シナプス刈り込み(Synapseelimination,Synapticを用いて部分的に損傷した状態の大規模言語モデpruning)」と呼ばれ、生後発達期の神経系で普遍的ルの評価実験を行う。実験の結果、プルーニングにに起こる重要な現象であり、効率的な神経回路を形よって起こるモデルの性能低下は特に中間層以下で成するための基本的な過程であるとされている[2]。顕著であり、評価タスクによって低下の度合いが異また、一部の精神神経疾患の原因として発達期の異なることがわかった。これらの結果は大規模言語モ常なシナプス刈り込みが関連しているということもデルの内部でどのような処理が行われているかにつ指摘されており[3]、脳機能におけるシナプス刈りいて新たな示唆をもたらす。―763―.