文と構造化情報のペアを同時生成する大規模言語モデルによるデータ拡張

深層学習モデルは様々なタスクで高い性能を発揮しているが，その学習には大量のラベル付きデータが必要である．しかし，正確なラベル付けには専門知識と多大な時間を要するため，大量の学習データの確保は困難である．この解決策としてデータ拡張手法が広く研究されており[1]，近年はLLMを用いた手法が質問応答などで成果を上げている[2]．しかし，情報抽出のように文と複雑な構造化情報のペアを扱うタスクでは，既存手法には限界がある．STAR[3]等の逆生成アプローチは，構造化情報の生成後に，その構造化情報を条件に文を生成し，事後的に文字列マッチングを行う．この段階的な処理では図1のように条件にない構造化すべき情報が生成文に含まれる問題や構造化情報の要素の文からの欠落，同一語句の重複による対応付けの曖昧性など，文と情報間の不整合が問題となる．そこで本研究では，LLMを用いて文と構造化情報をインライン形式で同時に生成することで，文と①構造化情報を条件に⽂を⽣成構造化情報⽣成⽂原因加⽔分解対象LLMアミラーゼがでん粉を加水分解し，でん粉由来のマルトースが小腸まで運ばれるでん粉アミラーゼ②構造化情報と⽣成⽂のマッチング対応付けが曖昧ラベル付きデータ対象？原因対象？条件にない構造化すべき情報が⽣成アミラーゼがでん粉を加水分解しでん粉由来のマルトースが小腸まで運ばれる構造化情報の整合性を保持しつつ，事後的な対応づけを不要とする新たなデータ拡張手法を提案する．さらに，データの語彙の偏りを軽減する分布制御と生成データの整合性を検証・修正する自己修正の工夫により，高品質な学習データを構築する．本研究の主な貢献は以下の通りである．•文と構造化情報の整合性を保持可能な同時生成によるデータ拡張手法を実現した．•データの語彙の偏りを軽減する分布制御とデータの整合性を検証・修正する自己修正により，データ品質を改善した．•生物医学領域のイベント抽出を対象とした評価実験において，提案手法が低資源下でモデルの性能を向上させることを確認した．