本研究は，生成AIの文法性判断を構文別に評価するベンチマークの構築を目的とする．先行研究では，生成AIが特定の構文種において文法性判断を誤審しやすいことが示唆されていた．その発展として，本研究ではより広範な構文種から構成されるデータセットを構築し，複数の生成AIモデルによる文法性判断を比較・分析した．その結果，文法的文と非文法的文の判断精度には構文差が大きく，特に非文法的文の検出において顕著な弱点が確認された．本研究で構築したベンチマークは，生成AIの統語的特性を構文単位で把握するための基盤を提供する．

1.1生成AIの精度の背景近年，大規模言語モデルの発展に伴い，生成AIを教師役として用いる研究が活発化している．語学分野では，翻訳や要約に加え，学習者の発話や記述に対する評価・訂正・解説などにおいても高い性能が報告されている．一方で，生成AIがこれらの判断をどのようなメタ言語知識に基づいて行っているのかについては，通言語的な検証が十分とは言えず，文生成や解説の基盤となる文法性の理解は依然として重要な課題である．[1]は，LSTM言語モデルが英語における主語と動詞の一致等の統語的依存関係を一定程度捉えられることを示した．その後，Transformerの登場により，GPT-2などのモデルが名詞句移動に関わる制約を含む複雑な統語現象に対しても高い精度を示すことが報告された．しかし，これらのモデルが統語構造を明示的に理解しているのか，統計的手がかりに基づき出力しているのかは依然として明らかではない．この問題意識のもと，[2,3]は，語彙的・意味的要因を統制した形式言語を用い，統語的複雑さに着目した評価を行っている．具体的には，(𝐴𝑑𝑗)𝑛𝑁𝑃や𝑁𝑃𝑛𝑉𝑃𝑛，入れ子型依存構造，交差依存構造などを対象に，再帰型モデルおよびTransformer系モデルの統語能力を比較した．その結果，再帰型モデルは反復や単純な対応構造には汎化能力を示す一方，依存関係の保持を要する構造では著しく精度が低下した．Transformer系モデルは分布内データでは高精度を示したが，系列長や構造の複雑化に伴い性能が低下し，終端記号の種類の増加に対しても脆弱であることが示された．1.2本研究の立ち位置[2,3]は，自然言語の文法現象を形式言語として抽象化し，統語構造の複雑さという観点からニューラル言語モデルの能力を体系的に評価した．一方，本研究は，話題化構文など個別の構文種に焦点を当て，モデルが各構文において示す文法性判断や誤りの傾向を詳細に分析する1）．また，構文単位でモデルの統語的挙動を比較可能とするベンチマークを構築し，抽象的評価では捉えにくい具体的な弱点を明らかにする．本ベンチマークは，言語教育における評価設計や，言語モデルの再学習・改善といった実践的応用に資する基盤となることが期待される．