言語モデルの文法知識評価における間接肯定証拠の分析

昨今様々なタスクで進展を遂げた言語モデルは，学習時に大量のデータを使用する．例えば，大規模言語モデルは，子どもが大人と同じレベルの文法を獲得するまでに触れるデータ量の数千倍以上のデータで学習しており[1]，人間よりも非効率な学習をしていると考えられる．言語モデルと人間のデータ効率の差にどんな帰納バイアスが起因するかについての検証を見据え，言語モデルが人間のような言語知識を獲得できるか，何が効率的な言語獲得に寄与するのかについて，モデルアーキテクチャや訓練データなどの観点から関心が寄せられている[2,3]．言語モデルは，ラベルのない自然なテキストデータから階層的な汎化を獲得できることが知られており[4,5]，そのデータ量や種類は言語獲得に異なる影響を与える．どのようなドメインののデータが寄与するかについて，例えば子供向けに発話されたテキストからなるコーパスは同量のWikipediaよりも人間らしい言語知識の獲得に良い影響を与えることが知られている[6,3]．一方で，より詳細な訓練事例単位での分析は限られており，データのどのよう…訓練theylovethemselves…評価hefoundhimself✅仮説の例：再帰代名詞は所有格him+self❓*hefoundthemselvesor❓❌仮説の例：themselvesが指すのはthey🤖👤部）から何らかの仮説を立て，与えられた文（図下部）が文法的に正しいかを推論できる．本研究では，言語モデルが間接肯定証拠を使用しているか調査する．な要素が言語知識の獲得に影響を与えているのかは明らかになっていない．本研究では，訓練事例レベルでどのようなデータが言語獲得に寄与するか，人間の言語獲得における「証拠」の観点から分析する．子どもが親の発話などから観測した文に含まれる文法現象の情報をそのまま学習するとき，その文は直接肯定証拠と呼ばれる．一方で，Pearlら[7]によると観測した事例に何らかの関連する言語現象が含まれる文の容認性を，何らかの仮説を立てて推論するとき，その情報を間接肯定証拠と呼ぶ．図1に例を示す．人間は観測事例（図1上部）から，例えば活用や再帰代名詞の接尾辞のような何らかの規則に関する仮説を立て，与えられた文（図1下部）が文法的に正しいかを推論できるということが明らかになってきている[8]．しかし，言語モデルが同様に間接的な情報を用いて学習しているかは明らかではなく，学習のための情報に何を選ぶかという帰納バイアスの解明が効率的な言語獲得の実現には有用だと考えられる．言語モデルがデータのどのような情報を証拠として用いているか調査するため，文法知識を問う評価データを解く際の各訓練事例の寄与度を計算す.る．まず，寄与度の計算の代表的な手法である影響関数[9]が言語モデルの訓練でも利用可能かを検証する．既存の影響関数は，GLUE[10]のようなラベル付きの評価事例に対してラベル付きの訓練事例の寄与度の測定を対象にしている．本研究は，自然な言語獲得のシナリオとして一般的な言語モデルの学習を行い，文法的な文と非文法的な文の尤度による識別タスクで評価を行う点で既存の影響関数の用途と異なる．そこで，本研究の目的に沿う形で影響関数を修正し，計算された寄与度が高い事例が実際に文法知識の獲得に寄与しているかを調査し，実際に文法知識の性能を大きく変化させる傾向が観察された．次に，言語モデルが間接肯定証拠から言語知識を学習しているかについて，間接肯定証拠の対象となる可能性のある訓練例とその寄与度の観点から分析した．その結果，少なくとも本実験の範囲では，現行の言語モデルは間接肯定証拠からの学習はしていないことが明らかになり，間接肯定証拠を使うための何らかの仮説が構築できるようなモデルを実装することで，人間のようなデータ効率の良い言語獲得ができる可能性があることが示唆された．