事前学習言語モデルとグラフニューラルネットワークの組合せによる専門知識の抽出

本研究では,事前学習言語モデルとグラフニューラルネットワークを組み合わせることで,化学物質に関する知識抽出を試みる.具体的には,マスクド言語モデルの一つであるBERTにグラフニューラルネットワークを組み込むことで,化学物質の分子構造をグラフ情報として活用することを可能にし,汎化性能が向上することを示す.実験ではScopusの科学論文抄録コーパスを利用し,特に学習コーパスに出現する頻度が少ない化学物質について,従来のモデルに比べて顕著な性能向上を確認した.