大規模言語モデルに失語症ニューロンは存在するか？

1.1失語症研究の概観後天的な脳疾患や外傷などで、言葉の産出・理解といった言語運用が障害されることがある。このような言語障害を失語症といい、より具体的には“大脳の損傷に由来する、一旦獲得された言語記号の操作能力の低下ないし消失”と定義される[1]。失語症は患者によって多種多様な発話特徴が見られるが、患者に見られるそれぞれの特徴が発症要因や脳部位とどのように関連し、どう分類・解釈するべきかということについて長く議論されてきた。Lichtheim[2]による提唱によって、脳血管障害によって引き起こされる失語症はBroca失語症、Wernicke失語症、伝導性失語症、超皮質性失語症、全失語症という５つのサブタイプ分類がなされ、これは古典分類として現代でも失語症を理解するための枠組みの一つとして使用されている。一方でこの古典分類については、例外的な発話特徴を捉えきれないのではないかという議論もされてきている[3]。近年では、大規模言語モデル(LLM)の誕生により、LLMを用いて失語症の有無や発話特徴の検出・予測ができるという新たな可能性が指摘されてきている。Congら[4]はLLMから算出されるサプライザル(surprisal)指標に着目し、失語症者の自然発話データと用いてLLMが失語症の診断・重症度評価・下位分類においてどの程度有効であるか検討し、サプライザルが失語症の有無を判別できる指標になりうると提示した。また、Rezaiiら[5]は、神経変性疾患によって引き起こされる進行性失語症を持つ話者の短い発話データから、LLMが78%の精度でサブタイプを分類できることを示した。一方で、LLM内部で形成される内部表現が失語症者の発話に含まれる統語的・意味的・語用論的逸脱をどのように解釈しているのかということについては十分に検討されていない。1.2LLMの内部表現と解釈可能性Transformerを基盤とする言語モデルが、内部表現としてどのような言語情報を保持しているのかを明らかにする研究は近年活発に行われてきた。例えば、BERTを対象としたプロービング分析によって、言語的情報がTransformerの層に沿って段階的に符号化されていることを示されている[6,7]。さらに、層レベルの分析に加えて、ネットワーク内のニューロン単位での分析も進められている。Durraniら[8]は、言語現象ごとに情報の保持のされ方がネットワークの中で異なっていることを示しており、例えば文脈依存性の低い語は、少数のニューロンで予測可能である一方で、多義的な語は多数のニューロンが寄与していると言及している。さらに、Suauら[9]はTransformerモデル内部の線形層に含まれる各ニューロンを"概念分類器”として捉え、特定の概念を高精度で識別するニューロン(expertunit)の存在を提唱した。加えて、ごく少数のexpertunitを活性化させることである特定の概念を含むテキスト生成が可能になることを示し、これらのニューロンが機能的な役割を担っている可能性を示唆した。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).を行った。失語症者および健常者のデータについては、AphasiaBankコーパス[14]にて公開されている英語が母語である失語症者954名、同じく英語が母語である健常者479名の発話データを使用した。AphasiaBankコーパスには、音韻や意味、形態素などといった言語特徴の誤りを細かく示した独自のエラータグが事前に付与されている。本研究では、前処理としてこれらのエラータグを各発話におけるエラータイプのメタデータとして使用した。また、フィラーや言い淀み、繰り返しなどといった発話中に現れた特徴は、(1)該当箇所の発話を削除する(2)該当箇所の発話を残す(3)発話を残した上でどのような言語特徴なのかアノテーションする、という３つの条件を設定し実験を行った。以下の条件ごとに正例と負例に分け、それぞれ1,000サンプルずつ取り出して実験を行った。•実験A：失語症者のテキスト（正例）/健常者のテキスト（負例）•実験B-1：音韻の誤りを含むテキスト（正例）/含まないテキスト（負例）•実験B-2：形態素の誤りを含むテキスト（正例）/含まないテキスト（負例）•実験B-3：意味の誤りを含むテキスト（正例）/含まないテキスト（負例）各サンプルをLlama-3.1-8B-Instuructに入力し、FFN層のgate_projにおける活性化値を抽出することで、特定の要素に対して活性化するAphasicexpertneuronの分布を分析した。3結果・分析3.1実験A:失語症的特徴の検出3.1.1実験結果す。本実験ではサンプル数が正例と負例ともに同数であることを踏まえると、3つのパターン全てにおいてMaxAP>0.5を記録したことから、LLMは失語症者の発話と健常者の発話を有意に識別可能であると示された。特にパターン(2)ではMaxAPが0.710に達し、3つのパターンの中で最も高い識別性能を示した。パターン(2)は全ての発話の記録を細かく残していたが、フィラーや言い淀みなどをアノテーションしていたパターン(3)よりも識別性能が高いという結果となった。一方、パターン(1)のMaxAPは0.657と低く、パターン間で検出難易度に差があることが確認された。さらに、上位100個のAphasicexpertneuronの層ごとの分布を図2に示す。まず3つのパターンに共通して、最終層付近である32層目にAphasicexpertneuronが集中する傾向が見られた。特にパターン1(青)とパターン2(赤)では32層目に全体の13-14%のAphasicexpertneuronが検出された。また中間層でもAphasicexpertneuronの集積が確認され、失語症の検出が単一の処理段階ではなく、複数の処理段階において並行的に行われている可能性がある。一方で20-29層目はいずれのパターンでも想定的にAphasicexpertneuronの数は少なく、これらの層は失語症検出にあまり寄与していないことが示された。3.1.2分析3つのパターンにおける上位100個のAphasicexpertneuronの重複を分析するため、Jaccard係数を用いて調べた。Jaccard係数は0.081から0.282の間にあり、パターン間での重複は限定的であることが示された。特にパターン(1)と(2)の間で最も高い重複(Jaccard係数=0.282,44個の共通Aphasicexpertorg/licenses/by/4.0/).neuron)が観察された一方、パターン(3)のみ他のパターンとの重複は低かった(Jaccard係数<0.1)。3.2実験B:言語エラーの検出3.2.1実験結果実験Bでは、失語症者のコーパスのみを用い、特定のエラータイプを含むテキストと含まないテキストを識別させた。図３は各エラータイプごとのAPを示している。MaxAPは形態素の誤りで0.924と最も高く、音韻の誤りで0.826、意味の誤りで0.782と続いた。特に形態素の誤りについては、ニューロンがこの誤りを非常に明確に捉えられていることが示唆された。さらに、図4にて各エラータイプの上位100個のAphasicexpertneuronの層分布を示す。3種類の誤り全てで層分布は有意に非一様な傾向にあることが確認された。また、各エラータイプで最も多くのAphasicexpertneuronが検出される層が異なっており、音韻の誤りでは10層目、意味の誤りでは12層目、形態素の誤りは8層目に集中していた。この傾向は、実験Aで観察された32層目への極端な集積とは明確に異なっている。3.2.2分析Kruskal-Wallis検定により、3つのエラータイプ間でAP値の分布に有意な差があることが確認された（𝐻=200.16,𝑝<0.001）。また、Bonferroni補正を適用したMann-WhitneyU検定により、全てのペア間で有意差が認められた（全て𝑝<0.05）。特に、音韻エラーと意味エラー間、および意味エラーと形態エラー間では極めて顕著な差が観察された（両方とも𝑝<0.001,|Cliﬀ’s𝛿|>0.99）。3.3考察実験Aで提示した失語症全体の検出では、Aphasicexpertneuronが32層目に最も集中していたが、これは包括的な言語障害の判別には、主に深い層での高次の意味表現や文脈統合が重要になりうるということを示唆している。加えて、4層目や10層目、12層目といった中間層にもAphasicexpertneuronが分布しており、失語症か否かの識別には複数の段階にわたる統合的な処理を必要とすると考えられる。実験Bでは各エラータイプでAphasicexpertneuronが分布する層が明確に異なることが明らかとなった。これは言語処理の階層性を反映していると解釈できる。また、形態処理が比較的浅い層で行われるのに対し、意味処理はより深い層を必要とするということは、意味的な逸脱の判別には文脈全体の統合が必要であることを示唆している。また、本研究は3種類のエラータイプがそれぞれ異なるニューロンによって処理されている可能性を提示した。各エラータイプを識別する上位100個のExpertneuronは重複が0に近く(平均Jaccard係数=0.014)であり、3つのエラータイプ全てに共通するニューロンは存在しなかった。これは実験Aの結果とは対照的であるとともに、LLMが言語の異なる側面(音韻、形態、意味)を独立した表現空間で処理している可能性を示唆している。4まとめ本研究では、LLMが失語症者の言語特徴を捉える際に強く活性化するニューロン(Aphasicexpertneuron)が現れるかどうか分析した。失語症全体の検出では、Aphasicexpertneuronが主に深い層（32層目）に集中した。一方、エラータイプ特異的な検出では、形態エラー、音韻エラー、意味エラーそれぞれで別の層にAphasicexpertneuronが集中しており、処理階層が異なることが示唆された。org/licenses/by/4.0/).