文法誤り検出BERTのためのマルチタスク追加事前学習

本研究では，文法誤り検出システムを実装し，文法誤りの検出性能の向上を目的として取り組んだ．我々は，追加の事前学習として対照学習とMLMのマルチタスク学習を提案した．実験の結果，追加の事前学習を行うモデルは追加の事前学習を行わないモデルに比べて性能が向上した．この追加の事前学習により，各単語の意味表現，文の意味表現を維持しつつ，文が誤りを含むか含まないか区別させる学習ができたと考えられる．