統語論研究の例文に基づくLLMの英語文法性判断ベンチマーク構築

本研究は，生成AIの文法性判断を構文別に評価するベンチマークの構築を目的とする．先行研究では，生成AIが特定の構文種において文法性判断を誤審しやすいことが示唆されていた．その発展として，本研究ではより広範な構文種から構成されるデータセットを構築し，複数の生成AIモデルによる文法性判断を比較・分析した．その結果，文法的文と非文法的文の判断精度には構文差が大きく，特に非文法的文の検出において顕著な弱点が確認された．本研究で構築したベンチマークは，生成AIの統語的特性を構文単位で把握するための基盤を提供する．