知識グラフを構築する方法の一つに,社内ドキュメ昨今の大規模言語モデルの発達の恩恵により,大ントなどの特定ドメインデータの文章から(ℎ,𝑟,𝑡)量の文章から自動でトリプルを抽出することによりを抽出することが考えられる.しかし,大量の文章か知識グラフを構築する方法が現実的になっている.らℎ,𝑡及び𝑟を同定・抽出する作業をプログラムにしかし,これまでの大規模言語モデルによるトリプよって完全に自動化することは困難である.他方で,ル抽出の評価は一般ドメインのデータに注目するも人手による抽出にも多くのコストがかかるため,人のが多く,企業内部でのユースケースにおいても同力での知識グラフベース構築はもちろん学習データ程度の性能が発揮できるかは未知数であった.そこセットの構築も容易ではない.このように,学習デーで本稿では,企業内での活用が想定される文献からタが無い状況から低コストで専用の知識グラフを構作成したトリプル抽出タスクの評価用データセット築する方法の確立は,企業内の特定ドメインにおけによって,5種類の大規模言語モデルのzero-shotトる知識グラフ活用に向けての重要な課題である.リプル抽出の性能を評価した.結果,抽出性能はF1従来より,言語モデルを活用して文からトリプルスコアが最高で約0.16であり,LLMによるトリプルを抽出する試みは提案されている.SpERT[4]はその自動抽出の企業内活用には精度面に課題があること一例である.また最近のLLM(LargeLanguageModel,が確認された.また誤答ケースの分析の結果,性能大規模言語モデル)の登場により,入力文中に含まれ向上のためには,学習データの構築や知識グラフスるトリプルを直接生成させる手法が提案され始めてキーマ・オントロジーを活用した手法が必要であるいる[5,6].LLMは幅広い自然言語処理タスクを解ことが示唆された.くことができる上に,必ずしもファインチューニングを必要としない[7]ため,比較的容易にトリプル抽

出タスクを遂行でき,知識グラフ構築の障壁を緩和知識グラフは始点エンティティ(head,ℎ)と終端エする有力な手法となっている.いくつかの先行事例ンティティ(tail,𝑡)およびリレーション(relation,𝑟)か[8,9]で,few-shotやファインチューニングの適用にらなるトリプル𝑇=(ℎ,𝑟,𝑡)の集合によって表現さよりLLMのトリプルの抽出精度が最大で75%程度れる知識表現のひとつのモデルである[1].(F1スコア)に達することが報告されており,低コス知識グラフはレコメンデーションや質問応答,検トでの知識グラフ構築の可能性が十分見込めること索,因果推論,対話システムなど多様な応用方法が提が伺える.また,比較的小規模なLLMと巨大モデル案されているが,特定の専門分野や一般企業など活を比較したとき,モデルサイズに対して顕著な性能用する場合,必要なドメイン知識を含んだ知識グラ差が見られないことも確認されている.フがなかったり,構築にコストがかかるという問題先行事例[8,9]の評価には,WebNLG[10]などの一がある.DBpedia[2]やWikidata[3]は多くの研究で参般的ドメインの知識に関するデータセットを評価に照されている代表的な知識グラフであり,非常に広用いており,また抽出対象文は日本語が含まれてい範なドメイン情報を含む.一方,特定の専門領域などない.さらに,DBpediaなどの確立された知識グラフの一般的でない知識や企業内部知識などの非公知のからサンプルした情報をfew-shotなどの学習データ知識に関しては十分ではないため,特定ドメイン応として活用している場合がある.しかし,実際の我々用のためには一般的知識グラフの他に専用の知識グのような企業内の閉じた環境におけるLLMによる―2427―.[文]エンジンは、複数のモジュール(ファン、圧縮機、燃焼器、タービン等)により、構成される。[トリプル:()]("エンジン","has_part(s)","ファン")("エンジン","has_part(s)","圧縮機")("エンジン","has_part(s)","燃焼器")("エンジン","has_part(s)","タービン")トリプル抽出を考えると,特定ドメインの,しかも日本語のドキュメントが対象となる上に,学習データとしての既存の知識グラフの利用が難しく,先行事例と同程度の性能が得られるかは未知数である.そこで本稿では,few-shotサンプルも含めて追加の学習データを一つも用いないzero-shot条件下で,実際に社内で活用可能性が見込めるドキュメントに対してアノテーションをして得られたデータセットによって,様々なLLMのトリプル抽出の性能を評価する.