事前学習言語モデルとグラフニューラルネットワークの組合せによる専門知識の抽出

近年の自然言語処理分野では,学習済み言語モデルの活用による飛躍的な進歩が見られる.中でも,BERT（bidirectionalencoderrepresentationsfromtransformers）[1]は,多様なタスクで優れた成果を上げており,その柔軟性と拡張性により広範な応用が提案されている.その一つとして,学習済みBERTを知識抽出に用いる方法が注目を集めている[2].これはBERTが文章中のマスクされたトークンを予測するように学習されていることを利用したものである.“[MASK]isthepresidentoftheUnitedStatesofAmericain2023.”のように,あるエンティティに関する文章についてエンティティ部分をマスクし,学習済みBERTにマスクされた部分に入るトークンを予測させることで,自然言語をクエリとした柔軟な知識抽出を行うことができる.従来の知識抽出手法では,エンティティの性質やエンティティ同士の関係を考慮した知識グラフを人手で構築する必要があるため,学習済み言語モデルを知識抽出に活用できれば,既存手法に比べて低コストかつ柔軟な知識抽出が可能になる.ただし,このアプローチは専門的なドメインでは有効でないことが指摘されている[2,3].特に化学分野では,化学物質の解釈に専門的な知識や複雑な構造解析を伴う場合が多く,言語モデルでそれらを扱うことは難しい.例えば,図1に示す二つの化学物質はいずれも名称は類似しているが,全く異なる物性を示す.1）2）こうした化学物質を言語モデルで扱うことは困難であり,化学物質に関する専門知識や構造情報を活用する必要がある.これまでの研究では,化学物質の構造情報を用いて物性を学習・予測する試み[4,5]や,化学物質の分子構造を曖昧性なく文字列化した記法であるSMILES表現を言語モデルで扱う手法[6]などが取り組まれているが,化学物質の分子構造を言語モデルによる知識抽出タスクに利用した例は確認されていない.本研究では,化学物質に関する知識や分子構造を扱うため,化学物質の構造情報をBERTに入力する手法を提案する.具体的には,化学物質のグラフ構造情報をグラフニューラルネットワークの一つであるGraphormer[7]に入力し,その出力をBERTの入力として用いる.専門的なドメインのコーパスを対象に知識抽出タスクを解かせることで,Graphormerと1）https://pubchem.ncbi.nlm.nih.gov/compound/84002）https://pubchem.ncbi.nlm.nih.gov/compound/241.BERTを一体的に学習する.これにより,化学物質の専門知識や構造情報を扱うことを可能にし,化学分野での知識抽出手法としてBERTの活用を目指す.評価実験では,PubChemから取得した化学物質の説明文章のマスク部を予測する知識抽出タスクにて,Graphormerを用いたことによる効果を評価した.その結果,特に学習コーパスに出現する頻度が少ない化学物質について,Graphormerを用いていないモデルに比べて顕著な性能向上を確認した.