大規模言語モデルによる日本語文法誤り訂正の性能評価

大規模言語モデル(LargeLanguageModel:LLM)は，文脈内学習[1]や指示チューニング[2]などの手法の進展により，様々な自然言語処理タスクで高い性能を示している．日本語においても，日本語を中心とする大規模コーパスで事前学習されたLLM-jp[3]や，英語モデルに対する継続事前学習によって日本語能力を強化したSwallow[4]などが開発され，言語生成性能が大きく向上している．これらのLLMは，機械翻訳や要約をはじめとする多様なタスクにおいて評価が行われてきた[3–5]．文法誤り訂正は，所与のテキストに含まれる文法的な誤りを自動的に検出・修正するタスクであり，言語教育・文章校正支援・入力補助など幅広い応用を有する．英語においては，大規模な誤り訂正コーパスの整備やモデル比較を通じて，LLMを含む手法の性能や訂正傾向が詳細に分析されてきた[6–8]．一方で，日本語の文法誤り訂正に関しては，LLMの性能の体系的な分析は充分になされていない．特に，誤りの種類ごとの訂正傾向や，日本語特有の語順や活用などの誤りに対するLLMの訂正能力は明らかになっていない．本研究では，日本語におけるLLMの文法誤り訂正の能力を明らかにすることを目的とし，既存の日本語文法誤り訂正コーパスを用いて，複数のLLMの性能を体系的に評価する．評価実験の結果，Few-shot文脈内学習と比較して，Fine-tuningが文法誤り訂正の性能を大幅に改善することを確認した．また，日本語に特化したLLMは，多言語モデルと比べて，助詞や活用の誤りに対して高い訂正能力を示すことがわかった．一方で，一部のモデルでは，文意を変えてしまう過剰訂正も見られ，LLMによる日本語文法誤り訂正の課題も明らかとなった．