この論文は数学証明において帰結関係を表すhence/therefore/thusの間に使い分けの傾向があるか否かを調べるために、BERTを用いた単語選択の実験を行ったものである。具体的には、arXivに掲載されている数学論文から証明テキストを抽出し、hence/therefore/thusをすべてマスクした上でBERTを用いて3択の穴埋め問題を解かせる訓練及び評価を行なった。結果としてhence/thusの間の使い分けはWikipediaとBookCorpusのみで事前訓練を行ったBERTと比べて向上したが、thereforeの正答率のみhence/thusと比べて低いままだった。故にBERTをベースとしたモデルは少なくともhence/thus間の使われ方の違いをある程度まで捉えていると考えられる。

論理的整合性が重視される数学的な論証において接続表現は重要な役割を果たす。特に「したがって～である」といった順接(演繹の帰結)を表す表現は証明において最も基礎的なものであり、それを用いずに書くことは困難である。英語でこれに対応する代表的な単語はhence/therefore/thusである。これらの語の使い分けについて、数学の証明の場合に即してPaquette[1]の説明を解釈すると、おおよそthusは原因と結果、thereforeはある結果が得られる理由の指摘、henceは論理的なつながりを示しているということになる。つまり一部のnativespeakerはある一定の基準で使い分けを行っていることがわかる。本研究では、BERTによってthus/therefore/henceの使い分けがどの程度可能かを測定することで、数学証明においてこれらの間に一定の使い分けの傾向があるのかどうかを調べた。具体的には、証明テキスト中のhence/therefore/thusを全てマスクした状態でBERTに入力し、穴埋め形式の3択問題を解かせる訓練および評価を行った。本研究は接続表現を対象としているため、両方向の文脈を参照するアーキテクチャを採用しているBERTはこのタスクに適していると考えられる。実験の結果、hence/thus間の選択に関しては学習前と比べ精度の向上が見られた。そのため、BERTは少なくともhence/thus間の違いをある程度捉えていると考えられる。一方で、thereforeをマスクした位置に対しhenceと予想するケースが多く見られた。さらに、hence/therefore/thusの使い分けに関して英語を母語としない数学者による予測実験も行った。BERTによる予測の正答率が46.2%であったのに対し、人間による予測の正答率は46.1%と、ほぼ同等の精度であった。また、hence/therefore/thus以外の単語を対象に行った実験では、用法に違いがあるsince/becauseに関してBERTによるsinceの再現率(recall)が18.04%という非常に低い値となった。この結果から、thereforeと同様にsinceも使い分けの傾向を正確に捉えられていないと判断した。