BERTの教師なし分野適応による数学問題テキスト構文解析の精度向上要因の分析

本研究では，BERTの分野適応によって数学テキストの構文解析精度が向上する要因およびその限界を明らかにする．また，BERTの分野適応の効果は分野固有のサブ言語である数式を表現する方式に依存することを示し，適切な方式を明らかにする．実験の結果，BERTの分野適用を行う場合，数式全体を専用の特殊トークンで置き換える方式が最も構文解析精度が高く，分野適応を行わない場合に比べて約4ポイント向上した．また，このとき数式を含む構造に関する誤りが多く改善されていた．一方で，ﬁne-tuningに用いた新聞係り受けコーパスでの出現頻度が低い構造に関する誤りは，BERTの分野適応のみでは改善されにくいことがわかった．