LLMを用いた関係抽出のデータ拡張におけるデータ選定と利用方法の検討

テキストデータから人物や場所などの特定の用語ペアとその間の関係を抽出する関係抽出が広く研究されている[1,2]．高性能な関係抽出の実現には，ラベル付きデータを用いたファインチューニングが有効である．しかし，ラベル付きデータの作成にはコストと時間がかかるため，大量のデータの収集は難しい．この問題に対処するため，データ拡張[3,4]が広く研究されている．この中でも，近年は大規模言語モデル(LargeLanguageModels;LLM)の高い言語生成能力を利用したデータ拡張手法が注目されている[5,6]．これらの手法では，訓練データ内のテキストとそれに含まれる用語とその関係を元に，その関係を含む新たなテキストを作成する．LLMは指示された用語ペアとその関係で表される関係トリプルを含む多様な文構造や表現のテキストを生成できる．生成されたテキストは指示された関係トリプルを正確に保持することと多様性のあるデータであることデータセット拡張データLLMLLM要約された拡張データ評価指標の比較フィルタリングされた拡張データ学習手法の検討関係抽出モデル構築が必要であるが，この評価を行う手法は確立されていない．また，生成されたテキスト集合が訓練データの分布を反映しているとは限らないため，単純に拡張データを追加してしまうと元の訓練データの分布を壊してしまう可能性がある．そこで，本研究では，関係抽出におけるLLMを用いたデータ拡張において，生成されたテキストが正しい関係トリプルの内容を保持できているかと多様であるかを評価するための指標と作成された拡張データの分布の違いによる影響を抑えるための学習への利用方法の検討を目的とする．指標については，元とするテキストと生成されたテキストそれぞれについて，直接の比較と用語ペアに注目した比較を行う指標について検討・比較する．用語ペアにフォーマスした比較では，LLMを用いて用語ペアに注目した要約を作成する手法を提案する．また，学習への利用においては作成した拡張データで事前にファインチューニングし，さらに元の訓練データでファインチューニングすることで拡張データの分布の違いによる悪影響を抑える手法について提案・評価する．本研究の貢献は以下のとおりである．.•関係抽出におけるLLMを用いたデータ拡張において，生成した拡張データを評価するための指標を比較し，DrugProtデータセット[7]を利用した実験において，拡張データの違いが関係抽出の性能に大きく影響することを示した．•拡張データを用いた学習において，拡張データと訓練データの分布の違いによる悪影響を抑えるための手法について提案し，性能の低下を抑えることができることを確認した．