ナレッジグラフ推論チャレンジ2023 応募シート
１．応募者に関する情報-氏名またはチーム名：鈴木 陽太-所属：大阪電気通信大学 情報通信工学部 情報工学科-メールアドレス（代表）：gp20a064@oecu.jp‐応募者に学生が含まれる： はい‐応募者の代表が学生である： はい

２．応募部門：一般部門

３．構築したナレッジグラフについて●構築対象としたナレッジグラフ
オントロジーの構築対象として、気候変動・食品・家具を選択しました。選択理由としては、食品・家具に関しては推論チャレンジ実社会版のhomeobjectに対してデータを追加しようと考えていたためで、気候変動に関しては専門家の方と交流する機会があったためです。

●

構築したナレッジグラフの基本情報○ データサイズ※赤字の箇所がメインのオントロジーです。その他は評価で利用しているので参考までに確認していただければと思います。
気候変動オントロジー(評価用気候変動深さ3幅15all.xml)：2528KB、深さ3・幅15、下位概念：231 個、スロット：5218個
気候変動オントロジーsubclassのみ(評価用深さ2幅20isaonly.xml)：6KB、下位概念：20個
気候変動オントロジーsubclassのみ(評価用深さ4幅5isaonly.xml)：38KB、
下位概念：149個
気候変動オントロジーsubclassのみ(評価用深さ5幅3isaonly.xml)：28KB、基本概念：109個
食品オントロジー(評価用食品深さ3幅10all.xml)：1174KB、深さ3・幅10、下位概念：110個、ス ロット：2636個
食品オントロジーsubclassのみ(評価用深さ2幅30isaonly.xml)：8KB、下位
概念：30個食品オントロジーsubclassのみ(評価用深さ4幅5isaonly.xml)：37KB、下位
概念：155個
食品オントロジーsubclassのみ(評価用深さ5幅3isaonly.xml)：30KB、基本
概念：114個

家具オントロジー(評価用家具深さ3幅10all.xml)：1054KB 、深さ3・幅10、下位概念：107個、スロット：2583個
家具オントロジーsubclassのみ(評価用深さ2幅30isaonly.xml)：8KB、基本
概念：30個
家具オントロジーsubclassのみ(評価用深さ4幅5isaonly.xml)：41KB、基本概念：148個
家具オントロジーsubclassのみ(評価用深さ5幅3isaonly.xml)：25KB、基本概念：83個
○

●

データ形式
XML （オントロジー構築時点ではhozotextという形式ですが法造にimport後は変換可能）構築したナレッジグラフのデータの入手先
メール添付

４．ナレッジグラフ構築に用いた「言語モデル」および「構築手法」について●ナレッジグラフ構築に用いた「言語モデル」
GPT-4 Turbo(APIを利用)●

ナレッジグラフ構築に用いた「データ」
LLMへの問い合わせに用いたプロンプトおよび取得例

図1 is-aの取得プロンプトおよび取得例(家具)図2 part-ofの取得プロンプトおよび取得例(家具)

図3 attribute-ofの取得プロンプトおよび取得例(家具)
図1～3が問い合わせを行ったプロンプトおよび取得結果例です。
〇〇の箇所には構築対象が入り、△△の箇所は返ってくる結果を意味しています。各プロンプトは少しずつ調整をしています。
このプロンプト以外から取得したデータは構築の際には用いていません。
● ナレッジグラフの構築手法(ツールの実装方法)の説明
今回のツールの実装では「html」および「javascript」を利用してオントロジーの構築を行っています。

1.

オントロジーの構築対象および深さ・幅の指定を行う(図4の ① 、② 参照)。深さの値は再帰処理で利用する。
2. 選択概念のis-a階層の構築：図1で示したis-aの取得プロンプトを利用して最上位概念の下位概念のデータを取得(内部的に実行する)。
3. 取得した下位概念を簡単な形式（〇〇改行〇〇に変換。その後、オントロジーのファイル形式としてhozotext形式に変換(内部的に実行する)。
4. 各概念定義内容の記載：最上位概念のスロット情報を図2、図3のpart-of、attribute-of を取得するプロンプト利用して取得(内部的に実行する)。 (5) part-of、attribute-of を取得したフォーマットから簡単な形式（〇〇(ロール概念) 〇 〇(クラス制約)改行〇〇(ロール概念) 〇〇(クラス制約)に変換する。その後、 hozotext 形式に変換(内部的に実行する)。
5. part-of、attribute-of を取得したフォーマットから簡単な形式（〇〇(ロール概念) 〇〇(クラス制約)改行〇〇(ロール概念) 〇〇(クラス制約)に変換する。その後、hozotext 形式に変換(内部的に実行する)。
6. 2. で取得したsubclassを用いて選択概念のis-a階層の構築および各概念の定義内容の記載(2.～5.)を指定した深さまで再帰的に行う。
7. オントロジーの構築完了(図4、最下部テキストエリアに結果が表示)といった構築方法で行っています。

図4で囲われていない入力欄は、オントロジーを細かな単位で構築するために利用する箇所であり、今回の構築では利用していません。

図4 ツール画面

図5 hozotextへの変換●

パフォーマンス情報
プロセッサ：Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz 1.80 GHz
実装 RAM：8.00 GB
オントロジー構築時間：規模にもよるが、今回構築したオントロジーに関しては20～30分程度(各対象につき)
subclassのみを構築した場合は5～8分程度(各対象につき)

●

参考情報

５．構築したナレッジグラフの評価
評価観点
自動構築したオントロジーについて以下の2つの観点から評価を行った。
● is-a階層の評価 別途構築した深さが5段目までのis-a階層のみのオントロジーで評価を行った。
● スロットの評価 構築したオントロジーから概念を無作為に抽出し、評価を行った。
被験者● 気候変動：総合地球環境学研究所の専門家1名● 食品・家具：is-a評価当研究室3年生5名、スロット評価当研究室3年生4名
評価方法
本ツールで構築したオントロジーの一部を被験者に提示し、その内容が正しいと思われるかを各被験者が判断した。
is-a階層の評価：is-a階層を提示し最上位から順に各概念の下位概念が正しく得ら れているかの判定を一段ずつ、下の階層まで繰り返し行った。下位概念として正しくない と判定された場合はそれより下位の評価は行わず、すべて間違っているという判定とした。 また、
is-a階層の評価では、2段目まで構築したオントロジー(下位概念が20～30で構築し たオントロジー)、4段目まで構築したオントロジー(各概念に対して5つの下位概念で構 築したオントロジー)、5段目まで構築したオントロジー(各概念に対して3つの下位概念 で構築したオントロジー)の3つを合わせて評価している。
スロットの評価
1. 各概念に対して生成されたスロットについて、クラス制約が「部分・部品」であるか・「属性」であるかの判定 。
2. 各概念のクラス制約と評価対象の概念に「関係性がない」もしくはクラス制約と評価
対 象の概念に関係性があり、関係の種類（ロール概念）が正しいか正しくないかの判定。という評価を行った。

スロットに関する評価例は図6に示し、subclassに関する評価例は図7に示す。

図6 スロット評価例

図7 subclass評価例

評価結果
表1、2にis-a階層の評価結果および評価で利用した下位概念の個数を示し、表3、4にスロットの評価結果および評価を行ったスロットの個数を示す。
表1に示す、is-a階層の評価結果を見ると、気候変動に関しては2段目から5段目全てにおいて下位概念の正しい取得ができていないことが分かった。
食品・家具に関しては高い割合で正しい下位概念を取得できていることが分かる。また、表全体を見て考えると5段目になると急激に下位概念の正しい取得率が低下している。
表3に示す、スロットの評価結果を見ると、気候変動における「p/o」を想定して実際 に「p/o」が取得できた割合は14.29%と低く、part-ofの結果がうまく取得できていないことが分かった。
取得した関連概念(クラス制約)、取得した関係の種類(ロール概念) においてはそれぞれにおいて8割に近い結果となった。

表1 is-a階層の評価結果(下位概念が正しいと判定した割合)

表2 is-a階層の評価で利用した下位概念の個数

表3 スロットの評価結果(正しいと判定された割合)

図4 評価を行ったスロットの個数
まとめ
評価結果全体を考えると、is-a階層の構築では特に専門的な用語に対して、正しい下位 概念が取得できないことが考えられたが、一般的な用語であると下位概念の正しい取得率が高いことが分かった。また、スロットの評価では専門的な用語のpart-ofに該当するも のの取得は現状困難ではあるが、専門的な用語のattribute-ofや一般的な用語のpart-of・attribute-of の取得ではかなり良い結果が得られた。

今回実装したオントロジー構築ツールは、人間がオントロジーの構築を行う際の補助的役割として利用できるのではないかと考える。
専門家からの気候変動オントロジーに関する総評としては、attribute-ofに関する内容の取得には現状でも役立つことが考えられる、という高評価を得た。また、スロットに対してis-a階層のデータが含まれているなど、現在の取得方法ではうまくis-a階層とスロットの違いを示せていない可能性があるなどの意見もうけた。これらの意見により、is-a階層の構築方法やスロットの取得方法には改善点があるということが考えられる。

６．ナレッジグラフの構築に利用したプログラム（オプション）
後日、独自のサイトのURLをご連絡させていただきます。

７．資料の共有について応募フォーム- 公開の可否：（〇）公開してよい（ ）非公開とする
応募したナレッジグラフ- 公開の可否：（〇）公開してよい（ ）非公開とする- 公開形式：（〇）ナレッジグラフ推論チャレンジのサイトで公開（ ）独自のサイトで公開してリンクを希望→公開先URL（※）：
応募したプログラム等- 公開の可否：（〇）公開してよい（ ）非公開とする- 公開形式：（ ）ナレッジグラフ推論チャレンジのサイトで公開（〇）独自のサイトで公開してリンクを希望→公開先URL（※）：準備中