大規模言語モデルを用いた専門用語間の関係性解析

自然言語処理において、上位下位関係や部分全体関係をはじめとする用語間の関係性は、重要な情報源である。用語間の階層関係は、情報検索や文書作成など、さまざまな下流タスクに応用可能である。しかし、人手による用語関係の解析やオントロジーの構築には多大な時間と労力が必要であり、これらの自動化が強く求められている。テキストデータベースから上位下位関係を構築する代表的な手法として、定型表現を活用した手法が挙げられる。この手法では、「A等のB」などの定型表現に着目し、Bの下位概念としてAを抽出する。この手法は上位下位関係を漏れなく抽出するのに有効であるものの、抽出結果に一定数の誤りが含まれることや、多義語に対応できないことが課題として指摘されている。分散表現を用いた教師あり学習による手法も提案されているが、従来のベンチマークでは一般的な用語を対象としたものが中心であり、専門的な用語を対象とした場合に十分な性能を発揮できないという課題が存在する。近年、多言語コーパスを用いて学習されたLLM（大規模言語モデル）が提案されている。これらは汎用的な語と同様に、専門的な用語に関する知識も有しているため、LLMを活用することで文脈的意味に基づいた用語分析が可能になることが期待される。そこで本研究では、LLMおよび埋め込みモデルを活用した専門用語間の関係性を自動で解析する手法を提案する。第一に、埋め込みモデルを用いて用語間の埋め込み表現を取得し、それらのベクトル類似度を算出することで用語間の意味的類似性を推測する。第二に、LLMを用いて用語間の意味的関係を出力することで、専門的知識を十分に考慮した関係性を直接的に推論する。さらに、LLMをFine-tuningすることで専門的用語に関する知識を補完し、関係性推論能力の向上を目指す。