束縛変項照応を用いた大規模言語モデルのプロービング

近年，LLMが高い性能を示す中で，それらのモデルが言語を扱う能力はどの程度人間らしいのかという問いに関心が寄せられている．この問いに答えるためには，理論言語学が蓄積してきた人間の言語機能に関する知見，とりわけ，文の統語構造に関する知見を取り入れることが有効である．例えば[1]や[2]は，統語構造に依存した現象である数・性の一致に注目して言語モデルを分析している．この研究の流れを踏まえ，本研究は，代名詞の束縛変項照応(boundvariableanaphora;BVA)という現象に注目する．BVAにおいては，代名詞が別の表現に依存した変数のように解釈される．例えば(1)には，「それぞれの先生𝑥について，𝑥は𝑥の学生に話しかけた」というBVA解釈がある（以下ではこの解釈を，(1)に示すような添字で表現する）．(1)Everyteacher𝑖spoketohis𝑖student.BVAは，統語構造に関する非対称性を示す．実際，(1)における代名詞hisとそれが依存する量化表現SDPVPeveryteacher𝑖VPPspoketohis𝑖studentc統御あり(BVA)SDPVPhis𝑖studentPPVtoeveryteacher𝑖spokec統御なし(BVA)everyteacherの構造的関係を入れ替えた(2)については，BVA解釈が不可能であると多くの母語話者が判断する（図1を参照）．(2)*His𝑖studentspoketoeveryteacher𝑖.同様の構造的な制約が通言語的に観察されていることから，BVAは人間の言語機能の基本的な側面を反映していると考えられている[3]．BVAを用いてLLMを評価するにあたっては，方法論的な注意が必要である．なぜなら，BVA解釈に関する人間の容認性判断には揺れや個人差が存在し，唯一の正解ラベルを定めることが困難だからである．そのため，単に1つの文に関する容認可能性を考えるのではなく，複数の種類の文にまたがって現れるパターンに注目する必要がある．そのようなパターンに注目して人間の容認性判断を分析する方法論として言語機能科学(LanguageFacultyScience;LFS)[4]があり，これまで人間のBVAに対する容認性判断に関して頑健なパターンが見出されている．以上を踏まえ本稿では，LFSの手法を用いて「LLMは，BVA解釈に関して人間と同様の判断のパターンを示すのか」という問いに取り組む．.ABCDGF3つの節点C,F,Gをc統御する．