破滅的忘却を防ぐ最適化関数を用いた構文情報の事前学習

構文構造は複雑な文や長い文の中の重要な情報に目を向ける手助けとなる。しかしBERTなどの事前学習済モデルは明示的な構文制約を与えておらず、感情分析タスクなどで構文的に不自然な出力が見られる。その問題への対処として構文知識を事前学習させる研究が行われている。本論文では事前学習済BERTがもつ意味表現を保持しつつ構文知識を加えるために、破滅的忘却を防ぐ2つの最適化関数(ElasticWeightConsolidationとGradientSurgery)を用いて4つの構文タスクをそれぞれ追加学習させた。追加学習済モデルを用いてGLUEの3つのタスク(CoLA,RTE,MRPC)を解き、意味と構文両方の情報を持つモデルが高性能を発揮することを示した。