BERTの教師なし分野適応による数学問題テキスト構文解析の精度向上要因の分析

数学テキスト・法律・技術文書など，読解に一定の専門知識が必要になるテキストの構文アノテーションは，高コストである．一方で，近年BERTの使用により高精度な係り受け解析が実現できることが示され[1]，さらに，BERTの事前訓練に構文解析の対象とする分野のテキストを用いることの有効性が示されている[2]．そこで本研究では，構文注釈付きデータが不要なBERTの分野適応のみによって，数学テキストの解析精度がどこまで向上するかを分析する．具体的には，数学テキストの文節単位の係り受け解析において，Wikipediaのみで事前訓練したBERTを用いる場合と数学テキストでの事前学習を追加で行う場合を比較した．また，数学テキストにはサブ言語である数式が頻出する．数式はメイン言語，例えば日本語とは語彙も文法も全く異なるため，メイン言語のトークンと同列に扱ってBERTに入力するのが適切であるか否かは不明である．同様なことは化学式など分野固有のサブ言語を含む種々のテキストでも起きる．そこで本研究では，BERTを数学テキストに適用する際の数式の表現として，数式全体を1つの未知語トークンで表す場合，新たに追加した特殊トークンで表す場合，数式に現れる記号をBERTの語彙に加える場合，数式を数式専用BERTに入力したときの[CLS]ベクトルで表す場合の4つを比較した．実験の結果，BERTの分野適用を行う場合，数式を専用の特殊トークンで表す方式が最も係り受け解析精度が高く，分野適応を行わない場合に比べて約4ポイント向上した．しかし，さらに係り受け注釈付き数学テキストを訓練に使用した場合と比べるとなお約3ポイントの差がある．そこで，1⃝BERTの分野適応によって改善する誤りと2⃝注釈付き数学テキストを用いた訓練によってのみ改善する誤りについて分析した．その結果，1⃝では，数式を含むことが多い構造に関する誤り，2⃝では，注釈付き新聞テキストでは低頻度な構造の誤りが多く改善されることがわかった．