言語処理学会 第26回年次大会 発表論文集 (2020年3月)

知識ベースとテキストの構成的同時学習
高橋 諒 1,2

井之上 直也 1,2
1

2

東北大学

谷中 瞳 2,1
理化学研究所{ryo.t,naoya-i,inui}@ecei.tohoku.ac.jp
1

乾 健太郎 1,2

はじめに

hitomi.yanaka@riken.jpてきたが，相補的であり，知識ベースの関係知識とテキ

知識ベース補完は，ある知識ベースにおける既知の事実から未知の事実を予測することを目的としたタスクであり，質問応答システム [12, 19] や生物医学ドメ
インにおける知識獲得 [3] などへの応用が進んでいる．

Wikidata [16]，Freebase [1]，UMLS [8] などの典型的な知識ベースでは，実世界の事実を ⟨ ヘッドエンティテ
ィ，関係，テールエンティティ ⟩ の三つ組の形式で格納する（例：⟨Chainer, developer, PFN ⟩）．このもとでは，知識ベース補完は ⟨Chainer, used_for, ?⟩ のように欠けたエンティティを予測する問題として表現される．
既存研究の多くは知識ベースにおける推論を低次元ベクトル空間上の演算としてモデル化し，エンティティや関係の埋め込みを三つ組の集合から学習する [17]．このような知識ベース埋め込みのモデルは，知識ベースの局
所的に密な部分を取り出した人工的なベンチマークデー
タセットで高い性能を示しているが，実世界の知識ベースに見られるような疎な状況での性能が限定的であることが知られている [11]．
より現実的な状況を想定して，知識ベース埋め込みの学習に追加の情報を統合する研究が進んでいる．一つは複数の関係の系列（関係パス）
を考慮し，構成的な推論を可能にすることである [7, 14]．例えば，⟨Tensorflow, devel-

oper, Google Brain⟩ と ⟨Google Brain, field_of_work,
Machine Learning⟩ から ⟨Tensorflow, used_for, Machine Learning⟩ を推論するために，関係のパス developer/field_of_work の埋め込みを used_for の埋め込

ストから抽出した関係知識を組み合わせることによって，推論のさらなる高度化の可能性が考えられる．
そこで本研究では，知識ベース埋め込みの学習において，関係パスの学習とテキスト情報の統合を同時に行う
モデルを提案する．実験では，Wikidata に基づく新たなベンチマークデータセットを構築し，小規模ながら

Wikipedia のテキスト情報を統合することで，知識ベース補完における予測性能の改善の可能性を示す．なお，
提案手法のソースコードと実験に用いたデータセットは研究利用可能な形で公開予定である*1 ．

知識ベース補完2

本研究では，知識ベースとしてエンティティ h, r と関係 r からなる三つ組 ⟨h, r, t⟩（例：⟨Chainer, developer,

PFN ⟩）の集合 T を考える．知識ベースはエンティティをノードとし，関係をエッジとした有向多重グラフともみなせる．知識ベース補完 (Knowledge Base Complition)とは，一部の三つ組が欠けた知識ベースが訓練データとして与えられたとき，訓練時には出現しない三つ組を補完することを目的としたタスクである．
このタスクに取り組む先行研究の多くは，三つ組の事
実らしさを測るスコア関数を訓練する．例えば，最も広く知られているモデルの一つである TransE [2] は，2 つのエンティティ（以下，それぞれヘッドエンティティ，
テールエンティティと呼ぶ）h, t と関係 r をそれぞれ d
次元ベクトル h, t, r ∈ Rd で表現し，スコア関数

f (h, r, t; Θ) := − ∥h + r − t∥

みに近づくように学習する．もう一つはテキスト情報と(1)の統合である [13, 15, 18]．例えば，developer という関係がテキスト上に “A is developed by B.” として現れやを最大化するように埋め込みを学習する．

すいことを捉えられれば，⟨Chainer, developer, PFN ⟩2.1

知識ベース埋め込みの構成的学習

が知識ベースに格納されていない場合でも，“Chainer

より一般に，知識ベース埋め込みの学習では，関係

is developed by PFN.” と書かれたテキストを手がか

r1 . . . rl の合成 r1 / . . . /rl を考慮することができる [7,

りとして上の三つ組と組み合わせることで，⟨Chainer,

14]．あるエンティティ（ノード）h から出発し，知識グ

used_for, Machine Learning⟩ を推論できる．これらのラフ上を l 回遷移した後に辿り着くエンティティを t と二つの方向性はこれまでの研究では主に独立に研究され― 917 ―

*1 https://github.com/reiyw/joint-text-kg

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

すると，TransE のスコア関数は埋め込みをエンティティの埋め込みと共有し，textual

f (h, r1 / . . . /rl , t; Θ) := − ∥h + r1 + · · · + rl − t∥(2)のように拡張できる．このような知識グラフからサン
プリングされたパスに対するスコア関数の最適化 (以下，compositional training) を行うことによって，知識グラ
フに内在する関係間の制約をデータから自動的に獲得できることが知られている [14]．例えば，知識ベース上で関係 used_for は統計的に developer と field_of_workを合成した関係とヘッドエンティティとテールエンティ
ティを共有しやすい．この場合，used_for の関係埋め込み r used_for は developer と field_of_work を合成したベクトル r developer + r field_of_work と近づくような力が働く ( r developer + r field_of_work ≈ r used_for )．こ
れは同時に，エンティティ埋め込みの空間的な配置に関って，知識ベース補完の予測性能を改善することを示した．
本研究はこの同時学習の手法に compositional train-

ing を組み合わせることで，エンティティ埋め込みの空間的な配置に関する正則化をかけると同時に，textual

relation の部分構造や知識ベースの関係へのマッピングを学習することを試みる．本研究のモデルと最も近いモデルとして Das [4] らのモデルが挙げられる．Das らのモデルも compositional training のアイデアと textual

relation の学習を組み合わせたモデルであるが，関係の合成が非線形変換として表現されてしまうため，知識ベースの構造を反映したエンティティ埋め込みの配置を学習できないと考えられる．その結果，構成的な推論を行うために，知識ベースより関係パスを明示的にサンプルする正則化をかけていることに相当する [7]．

2.2

relation の部分構造を CNN を通して学習することによする必要があることに対し，我々は，関係の構成性を満テキストとの同時学習

クリーンだがスパースな知識ベースに欠けた情報を，ノイジーだが大規模なテキスト集合によって補うこと
で，新しい事実を推論する能力を強化することを目指して，知識ベース埋め込みの学習時にテキストの情報を統たすようにエンティティの埋め込み空間を学習すること
で，推論時の関係パスのサンプリングが不要であるという点で異なる．

3

合する手法は活発に研究されている [13, 15, 18]．

本研究では，知識ベースとテキストの同時学習の手知識ベース埋め込みの学習にテキスト情報を統合する際に重要となるアイデアは「テキスト中に出現するメンションペアは，どのような関係性をもって現れているか」

Universal Graph

法 [15] と，compositional training とを組み合わせたモデルを構築する．具体的にはまず，textual triple と KG

triple とを統合した知識グラフ（以下，Universal Graph;

を解決することにある．
メンション間の関係を記述するテキスト上の表現を

textual relation と呼ぶことにする．例えば，“Chainer isdeveloped by PFN.” という文が与えられたとき，ここでの Chainer と PFN との間の関係は textual relation“is developed by” によって規定されていると考えられ
る．textual relation の具体的な表現形式については様

UG）を構築する．そして，UG からサンプリングされるパスに基づいてモデルを学習する手法を提案する．

UG は知識ベースの三つ組 TKG = {⟨h, rKG , t⟩|h, t ∈E, rKG∈

RKG } と textual triples Ttext={⟨h, rtext , t⟩|h, t ∈ E, rtext ∈ Rtext } の 和 集 合 か らな る． こ こ で，rKG ∈ RKG は 知 識 ベ ー ス 上 の 関 係，

々な議論がなされてきているが，主に関係抽出の分野で

rtext ∈ Rtext はテキストから抽出された関係である．

は単に「メンション間の単語列」や「メンション間を結さらに，rtext は単語列 w1 , . . . , w|rtext | からなる．UG かぶ係り受けパス」などが広く用いられてきている [10].

Toutanova [15] らは知識ベース埋め込みの学習デー

らサンプリングするパス p には知識ベース上の関係とテキストから抽出された関係の両方が含まれうる：

タにテキストコーパスから抽出されたメンションペアとp = r1 / . . . /rl ,r1 , . . . , rl ∈ RKG ∪ Rtext �(3)textual relation からなる三つ組（以下，textual triple）
を追加し，知識ベース埋め込みの学習と同時に textual

モデル

4

relation の表現を学習した．Toutanova らはまた，メン

本研究では知識ベース埋め込みの最も基本的なモションペアを共有するような textual relation には共通デルである TransE [2] から出発する．compositionalの部分構造が存在することを見出した*2 ．メンションの*2 Toutanova らは textual relation としてメンション間の係り― 918 ―

受けパスを採用したが，メンション間の単語列についても同様の議論が成り立つと考えられる．

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

|R|

# 訓練

# 検証

# 評価

の通り，UG は知識ベース TKG と textual triples Ttext

237
2,740,000
616
152,143

272,115
3,978,000
179,296
181,921

17,535022,4120

20,466
022,4120

ブセットを収集する．Wikidata RDF を TWD ，Linked|E|
TKG ([15])14,541
Ttext ([15])13,937
TKG （本研究） 41,714
Ttext （本研究） 41,352からなる．まず，知識ベース TKG として Wikidata のサWikitext-2 に含まれるエンティティ集合を E としたと

表1: データセットの統計量

き，{⟨h, r, t⟩ ∈ TWD |h, t ∈ E} からなる三つ組を収集した．次に，textual triples Ttext として，文区切りを跨がtraining の枠組みに乗せるために，スコア関数としてない全てのメンションペア (h, t) について，それらの間

式 (2) を採用する．UG からサンプリングするパスにはの単語列を rtext として ⟨h, rtext , t⟩ を構成した．

異なる種類の関係が含まれるため，次式にしたがって入評価方法 知識ベース TKG を 8:1:1 の比率で訓練・検証・

力の r が知識ベース由来かテキスト由来かに応じて，固評価セットに分割し評価を行った．textual triple Ttext

定長のベクトル r ∈ Rd を計算する方法を変える：

を訓練セットに追加したデータをモデルの訓練に用い{R(r),r ∈ RKGr=
Encoder (r), r ∈ Rtext �た．textual triple を訓練にのみ用いるのは Toutanova(4)

ら [15] と同様の設定である．これは，テキスト情報を既存の知識ベースに追加することで，知識ベースに欠けた

ここで，R は関係の埋め込みの lookup 関数，Encoder

三つ組をどれだけ補完できるかを評価していることを意は任意の文エンコーダである．本稿では Encoder とし味する．なお，分割時には検証・評価セットに訓練セッて k 層 BiLSTM を利用したが，BERT [5] などの事前

トで未知の語彙が出現しないようにした．データセット

学習済み言語モデルに基づく高性能な文エンコーダを使の統計情報を表 1 に示す．
評価方法は Bordes ら [2] の filtered 設定に従う．エうことも可能であり，これは今後の課題とする．
学習データは UG 上のランダムウォークによっンティティが欠けた三つ組 ⟨h, r, ?⟩ が与えられ，三つて生成される．すなわち，E からサンプルされたヘッドエ

組 ⟨h, r, e⟩ が訓練・検証・評価セットに含まれるよう訓練

ンティティ h から出発し，適当なパス p = r1 / . . . /r|p|なエンティティ e ∈ E を除いた全ての e に対しスコを経てテールエンティティ t に辿り着くことを N 回繰ア f (h, r, e) を計算する．計算されたスコアはゴールド

り返して学習データ {(hi , pi , ti )}N
i=1 を生成する．本研の三つ組に対するスコア f (h, r, t) と共に順位に変換さ究では次の損失関数を最小化する．

L(Θ) =

N∑∑

いて評価指標を求める．予測順位の逆数の平均 (Meanmax(0, [γ + f − − f + ])

(5)

f

∗

= f (hi , pi , t ; Θ),f+= f (hi , pi , ti ; Θ)Reciprocal Rank; MRR) と上位 k 位に順位付けられたゴールドのエンティティの割合（Hits@k ）を報告する．

i=1 t∗ ∈N (hi ,pi )−れ，ゴールドのエンティティ t に対する予測順位に基づ(6)

ここで，t∗ は (hi , pi , ti ) に対する負例，γ はマージンを比較対象として次の 4 つのモデルを取り上げる: (1)TransE: 文エンコーダを使わず，rtext を 1 トークンとみなして埋め込みを学習する，(2) TransE+COMP:

表す．知識ベース埋め込みの研究では様々な損失関数がTransE に compositional training を導入する（Guu ら

提案されている [17] が，他の損失関数との比較検討は今[7] とほぼ同一の設定），(3) UGTransE: rtext に対して後の課題とする．

，(4) UGTransE+COMP:
文エンコーダを使う（式 (4)）

5

実験

5.1

実験設定

UGTransE に compositional training を導入する．
ハイパーパラメタの探索には Allentune [6] を用いた．
検証セットで MRR が最大となるモデルの評価セットに

データセット Universal Graph の構築には，知識ベーおける各指標を報告する．

スとそれにエンティティリンキングされたテキストコー

5.2

実験結果

パスが必要となる．本研究では，Wikipedia の 720 記事

評価結果を表 2 に示す．TransE に COMP を加えたこに Wikidata へのエンティティリンキング*3 がかけられとによる性能向上より，知識ベースの関係知識のみを用た Linked Wikitext-2 [9] を元に UG を構築した．前述

いた知識ベース補完において，compositional training*3 もともと Wikipedia に含まれるアンカーリンクと，neural-elと追加のヒューリスティックによるリンキングが含まれる．

が有効であることが確認できた．また，TransE から

UGTransE への性能向上より，テキストから抽出した― 919 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

H1

H10

MRR

TransE (TKG only)

13.1

32.5

.198

TransE

12.8

34.1

.200

TrasnE + COMP

13.6

34.9

.208

UGTransE

13.8

34.4

.207

UGTransE + COMP

12.5

32.5

.193

[4]

[5]

[6]

表2: 知識ベース補完の性能関係知識を知識ベースに統合することの有効性が確認で[7]きた．これらの結果は，文献 [7, 14]，文献 [15] の結果とそれぞれ一貫するものである．
しかしながら，UGTransE に COMP を加えた場合，[8]すなわち推論の構成的学習とテキスト情報を統合した
場合には，さらなる性能の向上はみられなかった．原

[9]

因として，UGTransE+COMP 以外のモデルについて
は，Allentune においてハイパーパラメタの実現値を性能向上が収束するまで十分に試行できたことに対して，

[10]
[11]

UGTransE+COMP についてはまだ性能向上が見込める段階にあり，ハイパーパラメタの実現値をさらに試行することによる性能向上の可能性が示唆されている．

[12]

おわりに：今後の課題

6

今後の課題として，今回は文エンコーダとして素朴なモデルを用いたが，大規模コーパスで事前訓練された最[13]先端の文エンコーダ（BERT [5] など）を用いることが考えられる．また，学習されたエンティティ，および関係の埋め込み空間を分析し，所望の性質が得られている[14]のかを検証する予定である．

謝辞
[15]

本研究は，JST，CREST，JPMJCR1301 の支援，及びJSPS 科研費 JP18J20936 の助成を受けたものである．
[16]

参考文献
[1]

[2]

[3]

Kurt D. Bollacker et al. “Freebase: a collaboratively createdgraph database for structuring human knowledge”. In: Proceedings of the ACM SIGMOD International Conference
on Management of Data, SIGMOD 2008, Vancouver, BC,
Canada, June 10-12, 2008. 2008, pp. 1247–1250.
Antoine Bordes et al. “Translating Embeddings for Modeling Multi-relational Data”. In: Advances in Neural Information Processing Systems 26. Ed. by C. J. C. Burges et
al. Curran Associates, Inc., 2013, pp. 2787–2795.
Qin Dai et al. “Distantly Supervised Biomedical Knowledge Acquisition via Knowledge Graph Based Attention”.
In: Proceedings of the Workshop on Extracting Structured Knowledge from Scientific Publications. Minneapolis,
Minnesota: Association for Computational Linguistics, June
2019, pp. 1–10.

[17]
[18]

[19]

― 920 ―

Rajarshi Das et al. “Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks”. In: Proceedings of the 15th Conference of the European Chapterof the Association for Computational Linguistics: Volume
1, Long Papers. Valencia, Spain: Association for Computational Linguistics, Apr. 2017, pp. 132–141.
Jacob Devlin et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”. In: Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long and Short
Papers). Minneapolis, Minnesota: Association for Computational Linguistics, June 2019, pp. 4171–4186.
Jesse Dodge et al. “Show Your Work: Improved Reporting of Experimental Results”. In: Proceedings of the 2019
Conference on Empirical Methods in Natural Language
Processing and the 9th International Joint Conference on
Natural Language Processing (EMNLP-IJCNLP). Hong
Kong, China: Association for Computational Linguistics,
Nov. 2019, pp. 2185–2194.
Kelvin Guu, John Miller, and Percy Liang. “Traversing
Knowledge Graphs in Vector Space”. In: Proceedings of the2015 Conference on Empirical Methods in Natural Language Processing. Lisbon, Portugal: Association for Computational Linguistics, Sept. 2015, pp. 318–327.
Donald A. B. Lindberg, Betsy L. Humphreys, and Alexa
T. McCray. “The Unified Medical Language System.” In:
Methods of information in medicine 32 4 (1993), pp. 281–
91.
Robert L. Logan IV et al. In: Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Florence, Italy: Association for Computational Linguistics, July 2019.
Sachin Pawar, Girish Keshav Palshikar, and Pushpak Bhattacharyya. “Relation Extraction : A Survey”. In: ArXiv
abs/1712.05191 (2017).
Jay Pujara, Eriq Augustine, and Lise Getoor. “Sparsity andNoise: Where Knowledge Graph Embeddings Fall Short”.
In: Proceedings of the 2017 Conference on Empirical
Methods in Natural Language Processing. Copenhagen,Denmark: Association for Computational Linguistics, Sept.
2017, pp. 1751–1756.
Delai Qiu et al. “Machine Reading Comprehension Using
Structural Knowledge Graph-aware Network”. In: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint
Conference on Natural Language Processing (EMNLPIJCNLP). Hong Kong, China: Association for Computational Linguistics, Nov. 2019, pp. 5895–5900.
Sebastian Riedel et al. “Relation Extraction with Matrix
Factorization and Universal Schemas”. In: Proceedings ofthe 2013 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human
Language Technologies. Atlanta, Georgia: Association for
Computational Linguistics, June 2013, pp. 74–84.
Ryo Takahashi, Ran Tian, and Kentaro Inui. “Interpretable
and Compositional Relation Learning by Joint Training
with an Autoencoder”. In: Proceedings of the 56th Annual
Meeting of the Association for Computational Linguistics(Volume 1: Long Papers). Melbourne, Australia: Association for Computational Linguistics, July 2018, pp. 2148–
2159.
Kristina Toutanova et al. “Representing Text for Joint Embedding of Text and Knowledge Bases”. In: Proceedingsof the 2015 Conference on Empirical Methods in Natural Language Processing. Lisbon, Portugal: Association for
Computational Linguistics, Sept. 2015, pp. 1499–1509.
Denny Vrandečiundefined and Markus Krötzsch. “Wikidata:
A Free Collaborative Knowledgebase”. In: Commun. ACM
57.10 (Sept. 2014), pp. 78–85.
Quan Wang et al. “Knowledge Graph Embedding: A Surveyof Approaches and Applications”. In: IEEE Trans. Knowl.
Data Eng. 29.12 (2017), pp. 2724–2743.
Zhen Wang et al. “Knowledge Graph and Text Jointly
Embedding”. In: Proceedings of the 2014 Conferenceon Empirical Methods in Natural Language Processing(EMNLP). Doha, Qatar: Association for Computational
Linguistics, Oct. 2014, pp. 1591–1601.
An Yang et al. “Enhancing Pre-Trained Language Representations with Rich Knowledge for Machine Reading Comprehension”. In: Proceedings of the 57th Annual Meeting of
the Association for Computational Linguistics. Florence,
Italy: Association for Computational Linguistics, July 2019,
pp. 2346–2357.

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.