大規模言語モデルのZero-Shotトリプル抽出性能の評価

出タスクを遂行でき,知識グラフ構築の障壁を緩和知識グラフは始点エンティティ(head,ℎ)と終端エする有力な手法となっている.いくつかの先行事例ンティティ(tail,𝑡)およびリレーション(relation,𝑟)か[8,9]で,few-shotやファインチューニングの適用にらなるトリプル𝑇=(ℎ,𝑟,𝑡)の集合によって表現さよりLLMのトリプルの抽出精度が最大で75%程度れる知識表現のひとつのモデルである[1].(F1スコア)に達することが報告されており,低コス知識グラフはレコメンデーションや質問応答,検トでの知識グラフ構築の可能性が十分見込めること索,因果推論,対話システムなど多様な応用方法が提が伺える.また,比較的小規模なLLMと巨大モデル案されているが,特定の専門分野や一般企業など活を比較したとき,モデルサイズに対して顕著な性能用する場合,必要なドメイン知識を含んだ知識グラ差が見られないことも確認されている.フがなかったり,構築にコストがかかるという問題先行事例[8,9]の評価には,WebNLG[10]などの一がある.DBpedia[2]やWikidata[3]は多くの研究で参般的ドメインの知識に関するデータセットを評価に照されている代表的な知識グラフであり,非常に広用いており,また抽出対象文は日本語が含まれてい範なドメイン情報を含む.一方,特定の専門領域などない.さらに,DBpediaなどの確立された知識グラフの一般的でない知識や企業内部知識などの非公知のからサンプルした情報をfew-shotなどの学習データ知識に関しては十分ではないため,特定ドメイン応として活用している場合がある.しかし,実際の我々用のためには一般的知識グラフの他に専用の知識グのような企業内の閉じた環境におけるLLMによる―2427―.[文]エンジンは、複数のモジュール(ファン、圧縮機、燃焼器、タービン等)により、構成される。[トリプル:()]("エンジン","has_part(s)","ファン")("エンジン","has_part(s)","圧縮機")("エンジン","has_part(s)","燃焼器")("エンジン","has_part(s)","タービン")トリプル抽出を考えると,特定ドメインの,しかも日本語のドキュメントが対象となる上に,学習データとしての既存の知識グラフの利用が難しく,先行事例と同程度の性能が得られるかは未知数である.そこで本稿では,few-shotサンプルも含めて追加の学習データを一つも用いないzero-shot条件下で,実際に社内で活用可能性が見込めるドキュメントに対してアノテーションをして得られたデータセットによって,様々なLLMのトリプル抽出の性能を評価する.