数学証明における帰結関係を表す接続表現の予測

論理的整合性が重視される数学的な論証において接続表現は重要な役割を果たす。特に「したがって～である」といった順接(演繹の帰結)を表す表現は証明において最も基礎的なものであり、それを用いずに書くことは困難である。英語でこれに対応する代表的な単語はhence/therefore/thusである。これらの語の使い分けについて、数学の証明の場合に即してPaquette[1]の説明を解釈すると、おおよそthusは原因と結果、thereforeはある結果が得られる理由の指摘、henceは論理的なつながりを示しているということになる。つまり一部のnativespeakerはある一定の基準で使い分けを行っていることがわかる。本研究では、BERTによってthus/therefore/henceの使い分けがどの程度可能かを測定することで、数学証明においてこれらの間に一定の使い分けの傾向があるのかどうかを調べた。具体的には、証明テキスト中のhence/therefore/thusを全てマスクした状態でBERTに入力し、穴埋め形式の3択問題を解かせる訓練および評価を行った。本研究は接続表現を対象としているため、両方向の文脈を参照するアーキテクチャを採用しているBERTはこのタスクに適していると考えられる。実験の結果、hence/thus間の選択に関しては学習前と比べ精度の向上が見られた。そのため、BERTは少なくともhence/thus間の違いをある程度捉えていると考えられる。一方で、thereforeをマスクした位置に対しhenceと予想するケースが多く見られた。さらに、hence/therefore/thusの使い分けに関して英語を母語としない数学者による予測実験も行った。BERTによる予測の正答率が46.2%であったのに対し、人間による予測の正答率は46.1%と、ほぼ同等の精度であった。また、hence/therefore/thus以外の単語を対象に行った実験では、用法に違いがあるsince/becauseに関してBERTによるsinceの再現率(recall)が18.04%という非常に低い値となった。この結果から、thereforeと同様にsinceも使い分けの傾向を正確に捉えられていないと判断した。