数学証明における帰結関係を表す接続表現の予測

この論文は数学証明において帰結関係を表すhence/therefore/thusの間に使い分けの傾向があるか否かを調べるために、BERTを用いた単語選択の実験を行ったものである。具体的には、arXivに掲載されている数学論文から証明テキストを抽出し、hence/therefore/thusをすべてマスクした上でBERTを用いて3択の穴埋め問題を解かせる訓練及び評価を行なった。結果としてhence/thusの間の使い分けはWikipediaとBookCorpusのみで事前訓練を行ったBERTと比べて向上したが、thereforeの正答率のみhence/thusと比べて低いままだった。故にBERTをベースとしたモデルは少なくともhence/thus間の使われ方の違いをある程度まで捉えていると考えられる。