構文構造は複雑な文や長い文の中の重要な情報に目を向ける手助けとなる。しかしBERTなどの事前学習済モデルは明示的な構文制約を与えておらず、感情分析タスクなどで構文的に不自然な出力が見られる。その問題への対処として構文知識を事前学習させる研究が行われている。本論文では事前学習済BERTがもつ意味表現を保持しつつ構文知識を加えるために、破滅的忘却を防ぐ2つの最適化関数(ElasticWeightConsolidationとGradientSurgery)を用いて4つの構文タスクをそれぞれ追加学習させた。追加学習済モデルを用いてGLUEの3つのタスク(CoLA,RTE,MRPC)を解き、意味と構文両方の情報を持つモデルが高性能を発揮することを示した。

事前学習済言語モデル（以降、モデルと呼ぶ）は近年の言語処理タスクの性能向上に大きく寄与している。それらのモデルは品詞や依存構造などの構文情報を大まかに捉えているが[3]、実際には応用タスクを解くための構文情報がまだ不足している[20]。構文構造を明示的/暗黙的に組み込んだ言語処理モデルは機械読解[24]や言語理解[23]、翻訳[2]などで高い性能を発揮している。それらの研究ではモデルに構文構造を読み込むモジュールを明示的に組み込む。しかし既存の応用タスクの多くはHuggingFace[19]などが配布している形式のモデルの読み込みを前提としており、他のタスクへの活用が難しいという側面がある。そこでモデルの再利用性の向上を目的とし、構文構造の追加学習のみを行うモデルが台頭している[16,21]。本論文では近年の流れに倣い、BERT[4]への構文構造の追加事前学習を行い、後段タスクで使いやすいモデルを作成した。学習済モデルに別のタスクを学習させると以前学んだことを忘れる破滅的忘却[5]という問題が起こりやすいため、破滅的忘却を防ぐ最適化関数を用いた。を用いて構文情報を追加学習し、モデルが元々持つ意味表現を損なわず構文情報を獲得する。構文事前学習の概要を図1に示す。本論文の主な貢献は以下の3つである。•事前学習済BERTに4つの異なる構文情報を新たに組み込み(構文学習)、後段タスクでの性能を比較した。•構文学習の際に、既存の知識を忘れてしまう破滅的忘却を防ぐ最適化関数を用いて、意味情報と構文知識の両方を持つモデルを作成した。•GLUEの3タスクでの実験で、事前学習済BERTが元々持つ意味情報と、追加学習で得た構文知識をバランスよく含むモデルが高い性能を発揮することを示した。