言語モデルの文法知識評価における間接肯定証拠の分析

なぜ大規模言語モデルは人間の数千倍以上の量の訓練データを必要とするのだろうか？本研究では，人間が未知の言語現象を含む文の容認性を関連する観測事例（間接肯定証拠）から類推可能であることに着目する．言語モデルも人間と同様に間接肯定証拠を利用できるかを分析することで，間接肯定証拠の利用可否が人間と言語モデルのデータ効率の差の要因となる帰納バイアスの候補になりうるかを調査する．実験の結果，少なくとも本研究の範囲では，言語モデルは学習時に間接肯定証拠を利用していないことが明らかとなり，このことがデータ効率の差を引き起こしている可能性が示唆された．