# 一部のエンティティに紐づくテキスト情報を知識グラフ埋め込 みに活用するための手法

風間 健太郎 ${ }^{1}$ 中村 光祐 ${ }^{1}$ 乙村 浩太郎 ${ }^{1}$ 小路悠介 ${ }^{1}$
1 三菱電機株式会社 情報技術総合研究所
\{ kazama.kentaro@cw, nakamura.kosuke@ds,otomura.kotaro@df,
koji.yusuke@bx \}.mitsubishielectric.co.jp

## 概要

知識グラフ埋め込みは知識グラフの構成要素をべクトルとして埋め込む手法で，近年，構成要素に紐づくテキストを利用して性能を向上させる手法が提案されている。一方，実用上対象となる知識グラフにおいては，有効なテキスト情報を持つ要素と持たない要素が混在する場合がありえる。本研究では，一部のエンティティのみ有効なテキスト情報が紐づく知識グラフにおいてもテキスト情報を活用可能な手法を提案する. 実際の社内技術文書から構築した知識グラフを対象にリンク予測タスクによって精度を評価したところ，ベースとなる TransEを上回る精度を達成し, 提案手法が一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフに対して効果があることを確認した。

## 1 はじめに

知識グラフは現実世界の知識を計算機で扱いやすい形で記述する手段の一つであり，質問応答やレコメンデーションなどに広く利用されている. 知識グラフは，ノードがエンティティを，エッジがその両端のエンティティ間の関係性を表す有向グラフであり，1つのファクトをエッジの始点エンティティ $h$ と終端エンティティ $t$ およびリレーション $r$ からなるトリプル $(h, r, t)$ で表す [1].

知識グラフは多くの場合不完全であり，欠落した知識を補完する必要がある。知識補完のためのメジャーなアプローチの 1 つとして，知識グラフ埋め込みモデルを用いたリンク予測がある。知識グラフ埋め込みは，エンティティとリレーションを低次元のベクトルとして埋め込む手法で，上述したリンク予測の他，エンティティやトリプルの分類・クラスタリングなど離散的なグラフの状態では難しい様々
なタスクに応用される [2].

初期の知識グラフ埋め込みモデルは，グラフの構造情報のみに基づいて埋め込みを学習するため，グラフが不完全だったり疎な場合，その精度が低下してしまう。この問題に対処するため，近年ではエンティティやリレーションを説明するテキストの情報を活用した埋め込み手法が提案されている [3].

こうした既存のテキスト情報を活用する手法では，全てのエンティティやリレーションに対応するテキスト情報が与えられたり，検索により対応するテキストを見つけられることを前提として，学習プロセスやモデルの構造が設計されている.

しかし，実用において対象とされる実際の知識グラフにおいては，エンティティやリレーションの夕イプによって有効なテキスト情報を持たなかったり，テキスト情報を正しく獲得できないことがある。例えば，企業の持つ文書データベースから構築した知識グラフでは，書類の作成者の人物のタイプのエンティティは人名以外に直接関連するテキス卜情報を持たないことが考えられる。また，文書が $\mathrm{PDF}$ 等で保存されている場合，テキスト情報を保持しているとは限らない.

そこで本研究では，一部のエンティティにのみ有効なテキスト情報が紐づいている知識グラフを対象に，効果的にテキスト情報を活用する知識グラフ埋め込みモデルを提案する。

## 2 関連研究

リンク予測は $h$ か $t$ が欠けたトリプル $(h, r, ?),(?, r, t)$ に対して，その欠けたエンティティを予測する問題として定式化される。知識グラフ埋め込みモデルでは一般に，トリプル $(h, r, t)$ に対して，その尤もらしさを評価するスコア関数 $f(h, r, t)$ を定義し，既知のトリプルに対してこれを
最大化するように，埋め込みべクトルを学習する。

知識グラフ埋め込みモデルの最も典型的な例としてあげられる TransE[4] では，エンティティをユー クリッド空間上の超球面上の点を指すべクトルとして, リレーションを平行移動として表現し, 既知のトリプルに対して， $\mathbf{h}+\mathbf{r}=\mathbf{t}$ が成り立つように，すなわち以下のスコア関数を最大化するように学習する。

$
f(h, r, t)=-\|\mathbf{h}+\mathbf{r}-\mathbf{t}\|_{p}
$

ここで $\|\cdot\|_{p}$ は $l_{p}$ ノルムを表す. TransE の派生モデルとして，埋め込み空間を複素空間とする RotatE[5] や，四元数空間に埋め込む QuatE[6] などが提案されている.

また，グラフの隣接テンソルのテンソル分解に基づいて埋め込みを獲得する手法 $[7,8]$ や，畳み込みニューラルネットワークやグラフニューラルネットワークを用いて埋め込みべクトルを獲得する手法も提案されている $[9,10]$.

これらの手法はすべて，グラフの構造情報のみ （既知のトリプルの情報のみ）を用いて埋め込みを学習しており, グラフの誤りやスパースネスに対して脆弱であるという問題がある [3]. これに対処するため, 構造情報に加えてエンティティやリレー ションに関連するテキスト情報を活用する埋め込み方式が提案されている.

例えば文献 [11,12] では, 学習済みの単語ベクトルを使い，エンティティの説明文に登場する単語の平均ベクトルを計算して，そのエンティティの埋め込みべクトルを得るのに利用している。

文献 [13] では，エンティティのラベルを含む文章をWikipedia から収集して対応付け，対応する文章の埋め込みとエンティティの埋め込みが同一のベクトルになるように 1 つの空間に埋め込んでいる.

また文献 $[14,15]$ では，エンティティの説明文を畳み込みニューラルネットワークや再帰ニューラルネットワークによりエンコーディングし、得られたテキスト埋め达みべクトルを利用してグラフとしてのエンティティの埋め込みべクトルを学習している. 文献 [16] では，エンティティに対応するテキス卜をWikipedia から収集し，エンコーディングには学習済み言語モデルを用いて, リンク予測と言語モデルタスクを同時に学習している.

これらの，テキスト情報を活用する既存の手法では，ほとんどの場合，すべてのエンティティやリ表 1 技術文書 $\mathrm{KG}$ 中のエンティティのタイプと件数

表 2 技術文書 KG 中のリレーションと件数

レーションの対応するテキスト情報が，十分に利用できることを前提としている. そこで以降では，一部のエンティティにのみ有効なテキスト情報が紐づいている知識グラフを対象に，テキスト情報を活用する知識グラフ埋め込みモデルを提案する。

## 3 提案手法

## 3.1 データセット: 技術文書 KG

本研究では, 社内のデータベースに 2013 年から 2020 年の間に登録された約 57,000 件の技術文書から, 概要, 著者, 著者の所属部署, 重要語を抽出し作成された知識グラフ: 技術文書 KGを構築し, デー タセットとして用いる。技術文書 KG に含まれるエンティティのタイプ一覧と数を表 1 に，リレーション一覧と数を表 2 に，各エンティティタイプと接続関係を表した知識グラフスキーマを図 1 に示す. なお，KeyPhrase(重要語) は各文書につき TF-IDF 値の上位 30 語を抽出している。技術文書 $\mathrm{KG}$ は，技術文書 (Document) の場合にのみ，その概要をテキスト情報として保持しており，その他のエンティティ及びリレーションはテキスト情報を持たないため、技術文書 $\mathrm{KG}$ は一部のエンティティにのみ有効なテキス卜情報が紐づく知識グラフである。

## 3.2 モデルと学習方法

本研究では一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフに対する埋め込み手法として，テキスト情報活用モデルと，テキスト+ID 埋め込みモデル (以下，+ID 埋め込みモデルと呼ぶ) を提案する.テキスト情報活用モデルと+ID 埋め込みモデルの概観図を図 2，3 亿それぞれ示す.これらのモデルは，利用可能な場合に文章の

図 1 技術文書 $\mathrm{KG}$ の知識グラフスキーマ

図 2 テキスト情報活用モデルの構成

埋め込み情報を付加するよう拡張した TransE と見ることができる. 技術文書 KG から得られるトリプルは， $h$ が Document である場合テキスト情報が利用できる. この際，テキスト情報活用モデルは SentenceBERT[17] により Document に紐づく概要の埋め込み表現 $\mathbf{h}_{\text {sum }}$ を獲得し，変換層 (図 4)を通して概要のテキスト情報を用いた $h$ の埋め込み表現 $\mathbf{h}$ を獲得する。+ID 埋め込みモデルは， $\mathbf{h}_{\text {sum }}$ に加えて Document の ID に紐づく固有の埋め込み表現 $\mathbf{h}_{\mathrm{docID}}$ を生成・結合させ，更に変換層を通して次元調節し得られるべクトルを $h$ の埋め込み表現 $\mathbf{h}$ とる， ノードの構造的な情報も反映するモデルである. $h$ が Documentでない場合，テキスト情報活用，+ID 埋め込みモデルのどちらも，TransE と同様に埋め込み表現 $\mathbf{h}, \mathbf{r}, \mathbf{t}$ を獲得する. 埋め込み学習のためのスコア関数 $f(h, r, t)$ は TransE と同様で，式 (1) において $p=2$ とした関数を用いる.

## 4 実験

## 4.1 実験方法

提案した手法の有効性を評価するために，技術文書 KG に対するリンク予測性能の実験を行った。実験では，任意のトリプル $(h, r, t)$ について， $(r, t)$ から $h$ を予測するタスクと， $(h, r)$ から $t$ を予測するタスクを実行し，2 つの結果の平均をとる Both Prediction タスクで評価する．実験においては，準備した全てのデータセット (以下，フルDS と呼ぶ) だけでなく，テキスト情報が全く含まれないトリプルの影響を検証するために，Affiliation タイプのエンティティが含まれるトリプルを削除した所属削除 DS 92 種類を用いる. 図 1 より， $h$ か $t$ のタイプが

図 3 テキスト + ID 埋め込みモデルの構成

図 4 変換層の構成詳細

Affiliation である場合，Document タイプのエンティティが含まれないため，そのトリプルはテキスト情報を持たない。またそれぞれのデータセット中のトリプル集合 $T$ を，訓練データ，検証データ，テストデータ，に分割比率 $7: 2: 1$ で分けた。

評価指標には，各タスクにおいて学習済みモデルが予測する $h$ か $t$ の候補をスコアで並び替えたときの順位をもとに，Hits@k と MRR(Mean Reciprocal Rank)を計算し用いる (A. 1 節参照)．モデルは Python 向け知識グラフ埋め込みライブラリ PyKEEN[18] を用いて実装した. ベースラインには TransEと RotatE を採用した。提案手法含め全てのモデルでベクトル $\mathbf{h}, \mathbf{r}, \mathbf{t}$ の次元は 200 次元とした. また提案手法において，概要の文章の埋め込みには SentenceBERT[17] の事前学習済みの多言語対応モデル1)を用いた。このモデルから得られる文章埋め込みべクトルの次元は768で, SentenceBERT モデルのパラメータは学習時に更新されない設定とした. 学習時, Optimizer は AdaGrad[19], 学習率は 0.01, バッチサイズは学習時に 512，評価時には 32 とした。

## 4.2 結果

4.1 節の条件で，フル DS 使用時のリンク予測性能の評価結果を表 3 に示す. 提案手法の精度はベースとした TransE より高く，概要の埋め込み表現を組み込むことでリンク予測精度が向上することを確認した。一方，最高精度を達成したのは全評価指標で RotatE であった．次に，所属削除 DS 使用時の結

1) https://huggingface.co/sentence-transformers/ paraphrase-multilingual-mpnet-base-v2
表 3 フル DS 使用時のリンク予測精度.太線: 最良値,下線: 次点.

表 4 所属削除 DS 利用時のリンク予測精度

果を表 4 に示す.この場合，提案手法は RotatE と同等か上回る精度を残した. 表 3 の結果と比べると, RotatE はほとんど性能に差が見られなかった一方で，提案手法は性能が大きく向上しており，提案手法に対して，テキスト情報を全く含まないトリプルの排除がリンク予測精度向上に寄与することを確認した.

## 5 考察

## 5.1 各リレーション毎のリンク予測性能

トリプル中のテキスト情報の有無による影響を考察するために，各リレーション毎のリンク予測精度を見る.フル DS 使用時の各リレーション毎のリンク予測精度を表 5(A. 2 節) に示す.この場合, 4.2 節と同様, 全リレーションで RotatE が最高精度であった. CONTAIN, WRITTEN_first, WRITTEN_subsequent では提案手法の精度が RotatE の次点であるが，IS_PART_OF におけるリンク予測精度は TransE が RotatE の次点となっている. 加えて, WRITTEN_first における+ID 埋め込みモデルの精度は, TransE の 0.109 に対し大幅に精度向上し 0.254 あった. 以上より, 文章埋め込みを利用可能なトリプルに対して，提案手法は精度向上に寄与すると推察される。

所属削除 DS 利用時の各リレーション毎のリンク予測精度を表 6(A. 2 節)に示す. 表 5 からの変化に注目すると，CONTAIN の精度は RotatE ではほとんど変化が見られないのに対し，テキスト情報活用モデルでは精度向上しRotatE を上回った。 WRITTEN_first と WRITTEN_subsequent は引き続き
RotatE が最良であるものの，テキスト情報活用モデルは精度が大きく上昇している．以上より，提案手法は文章情報を含まないトリプルの除外によって精度向上が期待できる。逆に言えば，文章情報を全く含まないトリプルは提案手法にとって性能低下に繋がる恐れがあると推察される.

## 5.2 PCA による埋め込み空間の可視化

テキスト情報による知識グラフ埋め込み空間の性質の変化を定性的に見るために，知識グラフ埋め込み空間を PCA[20] によって低次元化し可視化する. ただし，RotatE は複素空間への埋め込みみで，PCA による次元削減後の解釈が困難なため, ここでは考察対象から除く。

図 5, 6(A.3 節)にTransE，テキスト情報活用モデルの可視化結果をそれぞれ示す. この場合, Document 以外のエンティティは一つのクラスタに集まり， WRITTEN_\{first, subsequent \} CONTAIN ののべクトルは Document から他エンティティのクラスタへ向いているが，互いにほとんど差がない．以上から，hが Document であるトリプルのリンク予測時に, Document 以外のエンティティの重なりが大きいため, $t$ の判別が難しくなることが予想できる. 図 7 に+ID 埋め込みモデルの可視化結果を示す. TransE やテキスト情報活用モデルの場合と異なり，各エンティティタイプ毎にクラスタが分離している。加えて WRITTEN_\{first, subsequent \} や CONTAIN のべクトルは異なる方向を向いており，またその方向も Document から Person や KeyPhrase のクラスタを向いている. リンク予測時に他のエンティティを混同しにくい埋め込み空間を獲得していることが伺える。

## 6 おわりに

社内技術文書から，概要，著者，所属部署，重要語を用いて作成された，一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフのデータセット: 技術文書 $\mathrm{KG}$ を構築した. 知識グラフ中のテキスト情報を活用したテキスト情報活用モデルとテキスト+ID 埋め込みモデルを提案し，技術文書 KG を用いて提案手法のリンク予測タスクによって精度を評価した. 結果, ベースとなる TransEを上回る精度を達成し，提案手法が一部のエンティティにのみ有効なテキスト情報が紐づく知識グラフに対して効果があることを確認した．今後は TransE 以外のモデルをベースにした手法への拡張を進めたい.

## 参考文献

[1] 蛭子玩磨, 市瀬龍太郎. 知識グラフの補完における translation-based models の発展と課題. 人工知能学会第二種研究会資料, Vol. 2018, No. SWO-044, p. 03, 2018.

[2] Quan Wang, Zhendong Mao, Bin Wang, and Li Guo. Knowledge graph embedding: A survey of approaches and applications. IEEE Transactions on Knowledge and Data Engineering, Vol. 29, No. 12, pp. 2724-2743, dec 2017.

[3] Fengyuan Lu, Peijin Cong, and Xinli Huang. Utilizing textual information in knowledge graph embedding: A survey of methods and applications. IEEE Access, Vol. 8, pp. 92072-92088, 2020.

[4] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In C. J. C. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[5] Zhiqing Sun, Zhi-Hong Deng, Jian-Yun Nie, and Jian Tang. Rotate: Knowledge graph embedding by relational rotation in complex space.

[6] Shuai Zhang, Yi Tay, Lina Yao, and Qi Liu. Quaternion knowledge graph embeddings. In $\mathrm{H}$. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 32. Curran Associates, Inc., 2019.

[7] Bishan Yang, Wen tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. December 2014.

[8] Théo Trouillon, Johannes Welbl, Sebastian Riedel, Éric Gaussier, and Guillaume Bouchard. Complex embeddings for simple link prediction.

[9] Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, and Sebastian Riedel. Convolutional 2d knowledge graph embeddings. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[10] Rui Wang, Bicheng Li, Shengwei Hu, Wenqian Du, and Min Zhang. Knowledge graph embedding via graph attenuated attention networks. IEEE Access, Vol. 8, pp. 5212-5224, 2020.

[11] Richard Socher, Danqi Chen, Christopher D Manning, and Andrew Ng. Reasoning with neural tensor networks for knowledge base completion. In C.J. Burges, L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc., 2013.

[12] Teng Long, Ryan Lowe, Jackie Chi Kit Cheung, and Doina Precup. Leveraging lexical resources for learning entity embeddings in multi-relational data. May 2016.

[13] Zhen Wang, Jianwen Zhang, Jianlin Feng, and Zheng Chen. Knowledge graph and text jointly embedding. In Alessandro Moschitti, Bo Pang, and Walter Daelemans, editors, Proceedings of the 2014 Conference on
Empirical Methods in Natural Language Processing (EMNLP), pp. 1591-1601, Doha, Qatar, October 2014. Association for Computational Linguistics.

[14] Ruobing Xie, Zhiyuan Liu, Jia Jia, Huanbo Luan, and Maosong Sun. Representation learning of knowledge graphs with entity descriptions. In Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence, AAAI'16, p. 2659-2665. AAAI Press, 2016.

[15] Jiacheng Xu, Xipeng Qiu, Kan Chen, and Xuanjing Huang. Knowledge graph representation with jointly structural and textual encoding. In Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI'17, p. 1318-1324. AAAI Press, 2017.

[16] Xiaozhi Wang, Tianyu Gao, Zhaocheng Zhu, Zhengyan Zhang, Zhiyuan Liu, Juanzi Li, and Jian Tang. KEPLER: A unified model for knowledge embedding and pre-trained language representation. Transactions of the Association for Computational Linguistics, Vol. 9, pp. 176194, mar 2021.

[17] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3982-3992, 2019 .

[18] Mehdi Ali, Max Berrendorf, Charles Tapley Hoyt, Laurent Vermue, Sahand Sharifzadeh, Volker Tresp, and Jens Lehmann. PyKEEN 1.0: A Python Library for Training and Evaluating Knowledge Graph Embeddings. Journal of Machine Learning Research, Vol. 22, No. 82, pp. $1-6,2021$.

[19] John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research, Vol. 12, No. 61, pp. 2121-2159, 2011

[20] Karl Pearson. On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, Vol. 2, No. 11, pp. 559-572, 1901.

## A 付録

## A. 1 評価指標の定義

トリプルの Head か Tail を削除して作った組 $(?, r, t)$ と $(h, r, ?)$ をクエリ $q_{i}$, 評価に用いたクエリの集合を $Q$ ，クエリ $q_{i}$ に対する正解を $y_{i}$ とする. また， $q_{i}$ の予測部分にエンティティ $e$ を代入し得られるトリプルを $\left(q_{i}, e\right)$, スコア関数 $f\left(q_{i}, e\right)$ の值によって降順に並び替えたときの順位を $\operatorname{rank}\left(q_{i}, e\right)$ とする。すると，Hits@k と MRR は以下の式で表せる.

$
\begin{aligned}
\text { Hits } @ \mathrm{k} & =\frac{\left|\left.\{q_{i} \in Q \mid \operatorname{rank}\left(q_{i}, y_{i}\right) \leq k\right.\}\right|}{|Q|} \\
\mathrm{MRR} & =\frac{1}{|Q|} \sum_{q_{i} \in Q} \frac{1}{\operatorname{rank}\left(q_{i}, y_{i}\right)}
\end{aligned}
$

ここで $k$ はしきい値となる順位の数値が入り，実験では $k=(1,5,10)$ の 3 パターンで評価をする.

## A. 2 リレーション毎のリンク予測結果

表 5,6 にフル DS，所属削除 DS に対するリレーションごとのリンク予測精度を示す. 指標は MRRである。評価に用いたサンプル数はそれぞれ CONTAIN が 311, 724, WRITTEN_first が 11, 144, WRITTEN_subsequent が 10,469, BELONG_TO が 816 , IS_PART_OF が 137 である.

表 5 リレーションごとのリンク予測精度 (フル DS,MRR).

 & $\underline{0.111}$ & 0.102 & 0.077 \\
+ID 埋め込み & 0.102 & $\underline{0.254}$ & $\underline{0.168}$ \\

TransE & 0.159 & $\underline{0.077}$ \\
RotatE & $\mathbf{0 . 3 0 1}$ & $\mathbf{0 . 1 4 9}$ \\
テキスト情報活用 & 0.086 & 0.042 \\
+ID 埋め込み & $\underline{0.171}$ & 0.057 \\

表 6 リレーションごとのリンク予測精度 (所属削除

DS,MRR)

## A. 3 PCA による可視化結果

図 5,6,7 に，TransE, テキスト情報活用モデル，テキスト+ID 埋め込みモデルの埋め込みべクトルを PCA にて低次元化・可視化した結果を示す. データセット中のエンティティ・リレーションを各モデルで埋め込んだ結果に PCAを適用し，第二主成分までを可視化した。 $(h, r, t)$ の埋め込みべクトルが $\mathbf{h}+\mathbf{r}=\mathbf{t}$ という関係を満たしている場合，PCA の線形性から低次元化後のベクトル $\mathbf{h}^{\prime}, \mathbf{r}^{\prime}, \mathbf{t}^{\prime}$ 間でも, $\mathbf{h}^{\prime}+\mathbf{r}^{\prime} \simeq \mathbf{t}^{\prime}$ の成立が期待でき，解釈がし易い.これは t-SNE などの他の低次元化手法に対して PCA が有利な点であると言える.

図 5 PCA による埋め込み表現可視化 (TransE モデル) AF:Affiliation, DC:Document, KP:KeyPhrase, PN:Person

図 6 PCA による埋め込み表現可視化 (テキスト情報活用モデル)

図 7 PCA による埋め込み表現可視化 (+ID 埋め込みモデル)