サブワード非依存の辞書ベースBERTモデルを用いた

近年，言語学習者向けの作文支援システムとして，文法誤りを自動で検出・訂正する手法や，作文を自動評価する手法が多数提案されており，学習者および教育者の負担軽減に寄与している[1]．なかでも文法誤り検出（GrammaticalErrorDetection:GED）は，誤り箇所を自動で特定することで即時フィードバックを可能にする技術であり，文法誤り訂正（GrammaticalErrorCorrection:GEC）の前段階としても重要である．GEDに関する研究は主に英語を対象として発展しており，BERT[2]に代表される事前学習済み言語モデルを用いた系列ラベリング手法によって高い性能が報告されている[3]．一方，日本語を対象とした研究は限定的であり，われわれは先行研究において，BERTを用いた日本語文法誤り検出手法を提案した[4]．しかし，日本語学習者の誤り文には未知語や非標準的表現が多く含まれるため，既存のサブワード型トークナイザではトークンが過度に細分化され，誤り位置の解釈や学習者へのフィードバックの観点から実用性に課題があった．そこで本研究では，誤り文と訂正文の対応関係に基づいてトークン分割を再設計し，サブワード分割に依存しない日本語文法誤り検出用のデータセットを再構築した．さらに，訂正文を伴わない入力文にも適用可能とするため，再構築したデータセットから生成した辞書に基づくトークナイゼーションを採用した．また，実際の作文支援システムでは正しい文が入力される場合も多いことから，本研究では正しい文を含めた評価を行った．そのため，誤り位置を直接推定する手法に加え，文レベルで正誤判定を行った後，誤り文に対してのみ誤り位置を推定する二段階モデルを導入した．さらに，日本語の文法誤りには，格助詞と用言の対応関係など構文的依存関係に基づく誤りが多く含まれる．このような誤りを捉えるため，依存構造解析器Stanza[5]により得られた構文的特徴量をモデルに導入し，その有効性も検討した．近年，大規模言語モデル（LLM）は高い言語生成能力を有するが，文法誤り検出では文の再生成よりも，誤り位置をトークン単位で正確に特定することが重要である．LLMは系列ラベリングによる定量評価との整合性を確保しにくい場合があるのに対し，BERTに基づく本提案手法は，各トークンに対する予測結果を明示的に出力でき，再現性の高い評価が可能である．