本研究では，文法誤り検出システムを実装し，文法誤りの検出性能の向上を目的として取り組んだ．我々は，追加の事前学習として対照学習とMLMのマルチタスク学習を提案した．実験の結果，追加の事前学習を行うモデルは追加の事前学習を行わないモデルに比べて性能が向上した．この追加の事前学習により，各単語の意味表現，文の意味表現を維持しつつ，文が誤りを含むか含まないか区別させる学習ができたと考えられる．

我々は，日本語学習者の作文支援システムの構築を目的として，文法誤り検出(GrammaticalErrorDetection:GED)の研究を行っている[1]．これは，ユーザが文法誤りを含む文を書くとその箇所が自動的にユーザに提示されるシステムであり，作文支援システムの基本となる重要な技術である．文法誤り検出（GED）に関しては，近年では深層学習を用いた研究が盛んであり，英語では文献[2]など，多くなされている．これに対して，日本語では深層学習を用いての文法誤り検出は先行研究[3]などが行われているものの，十分であるとは言えない．このような背景に基づき，我々は日本語を対象とした深層学習に基づく文法誤り検出，具体的には，BERTに基づく系列ラベリングを用いた文法誤り検出を研究している[1]．本研究では，この枠組みにおけるBERTの学習方法である，新たな追加事前学習方法を提案し，その効果を示す．具体的には，BERTに誤りを含む文と含まない文を区別させる追加事前学習を提案する．すなわち，BERTから得られる文embeddingが文法誤りを含むか含まないかを区別できるように事前学習させることで，文法誤り検出において誤りを含まない文のtokenに対して，誤りラベルを付与してしまうことの抑制を狙う．その際，NSPの代わりに対照学習を導入することを提案する．これとMLMを同時に追加事前学習する（マルチタスク追加事前学習する）ことで，その後の下流タスクである系列ラベリングに基づく文法誤り検出性能が向上することを示し，提案手法の有効性を示す．