2019

株式会社サキヨミAIラボ

はじめにナレッジグラフ

人間の持つ知識を人工知能に伝えるための重要な手段

人工知能推論人工知能による「推論」を実現する上で、ナレッジグラフは人間の持つ知識を人工知能に伝えるための重要な手段と考える。
この知識に対する探索は「推論」実現における重要技術の一つである。我々は、グラフ構造で表現された知識を再整理することにより、人工知能が自ら生成(考案)した探索・推論の実現を目指す。この再整理した情報に対する探索行動を、「説明性」「解釈性」により評価する。今回のチャレンジでは、ナレッジ
推論チャレンジサイトで公開されたRDFのトリプルのみを使用する方針とした。

概要

(手法1)

双曲空間
モデル

①コンテストで公開してい
るオントロ
ジー

③分散表
現生成

分散表現
(双曲空間)⑥
Embedding
Projector(可視化)②rdﬂibを用いて抽出処理(手法2)

ALBERT
モデル

⑤分散表
現生成

④Gooleの事前学習をロード

分散表現(ALBERT)

⑦人工知能
による探索
(次回のチャ
レンジにて実施)

近年、機械学習による自然言語では「双曲空間への埋め込み」[1,5]や「BERT」[2]、「ALBERT」[3]による分散表現（ベクトル化）が注目を集めている。「双曲空間への埋め込み」では木構造データを低次元で精度よく埋め込めると示された。
「ALBERT」は汎用自然言語処理として複数の言語処理タスク
において性能向上が報告されている。我々は、ナレッジグラフの構造を反映させる整理を期待した「双曲空間への埋め込み」と言語の持つ意味による整理を期待した「ALBERT」による分散表現を比較して「説明性」「解釈性」のある探索行動に向けたナレッジグラフの再整理結果を観察する。

Hyperbolic Geometry ofComplex Networks
Krioukov, Dmitri et al., "Hyperbolic geometry of complex networks", Physical Review 2010

• 双曲空間には木構造を自然
Hyperbolic Geometry of Complex Networks
Dmitri Krioukov,1 Fragkiskos Papadopoulos,2 Maksim Kitsak,1 Amin Vahdat,3 and Marián Boguñá41

Xiv:1006.5169v2 [cond-mat.stat-mech] 10 Sep 2010

Cooperative Association for Internet Data Analysis (CAIDA),
University of California, San Diego (UCSD), La Jolla, CA 92093, USA
2
Department of Electrical and Computer Engineering,
University of Cyprus, Kallipoleos 75, Nicosia 1678, Cyprus
3
Department of Computer Science and Engineering,
University of California, San Diego (UCSD), La Jolla, CA 92093, USA
4
Departament de Fı́sica Fonamental, Universitat de Barcelona, Martı́ i Franquès 1, 08028 Barcelona, Spain
We develop a geometric framework to study the structure and function of complex networks. We
assume that hyperbolic geometry underlies these networks, and we show that with this assumption,
heterogeneous degree distributions and strong clustering in complex networks emerge naturally
as simple reflections of the negative curvature and metric property of the underlying hyperbolic
geometry. Conversely, we show that if a network has some metric structure, and if the network degree
distribution is heterogeneous, then the network has an e↵ective hyperbolic geometry underneath.
We then establish a mapping between our geometric framework and statistical mechanics of complex
networks. This mapping interprets edges in a network as non-interacting fermions whose energies are
hyperbolic distances between nodes, while the auxiliary fields coupled to edges are linear functions ofthese energies or distances. The geometric network ensemble subsumes the standard configuration
model and classical random graphs as two limiting cases with degenerate geometric structures.
Finally, we show that targeted transport processes without global topology knowledge, made possible
by our geometric framework, are maximally efficient, according to all efficiency measures, in networks
with strongest heterogeneity and clustering, and that this efficiency is remarkably robust with respect
to even catastrophic disturbances and damages to the network structure.
PACS numbers: 89.75.Hc; 02.40.-k; 67.85.Lm; 89.75.Fb

I.

INTRODUCTION

Geometry has a proven history of success, helping to
make impressive advances in diverse fields of science,
when a geometric fabric underlying a complex problem or
phenomenon is identified. Examples can be found everywhere. Perhaps the most famous one is general relativity, interpreting gravitation as a curved geometry. Quitea contrasting example comes from the complexity theory in computer science, where apparently intractablecomputational problems suddenly find near optimal solutions as soon as a geometric underpinning of the problem is discovered [2], leading to viable practical applications [3]. Yet another example is the recent conjecture
by Palmer [4] suggesting that many “mysteries” of quantum mechanics can be resolved by the assumption thata hidden fractal geometry underlies the universe.
Inspired by these observations, and following [5], wedevelop here a geometric framework to study the struc-tion III, for our hyperbolic hidden space assumption. In
Section IV we show that from this assumption, two common properties of complex network topologies emerge
naturally. Namely, heterogeneous degree distributions
and strong clustering appear, in the simplest possible
settings, as natural reflections of the basic properties ofunderlying hyperbolic geometry. The exponent of thepower-law degree distribution, for example, turns out tobe a function of the hyperbolic space curvature. Fortunately, unlike in [4], for instance, we can directly verify
our assumption. In Section V we consider the converse
problem, and show that if a network has some metricstructure—tests for its presence are described in [12]—and if the network’s degree distribution is heterogeneous,then the network does have an e↵ective hyperbolic geometry underneath.
Many di↵erent pieces start coming together in Section VI, where we show that the ensembles of networks
in our framework can be analyzed using standard tools
in statistical mechanics. Hyperbolic distances between

な形で埋め込むことができるという特殊な性質が知られており、木構造を構成するノード間の距離を保つよ
うに、適当な次元の双極空間へ埋め込むことができる

Poincare Embeddings
Maximilian Nickel, Douwe Kiela, "Poincaré Embeddings for Learning Hierarchical Representations",
arXiv:1705.08039v2 (2017)• ユークリッド空間への埋

arXiv:1705.08039v2 [cs.AI] 26 May 2017

Poincaré Embeddings for
Learning Hierarchical Representations
Maximilian Nickel
Facebook AI Researchmaxn@fb.com

Douwe Kiela
Facebook AI Researchdkiela@fb.com

Abstract
Representation learning has become an invaluable approach for learning fromsymbolic data such as text and graphs. However, while complex symbolic datasets
often exhibit a latent hierarchical structure, state-of-the-art methods typically learn
embeddings in Euclidean vector spaces, which do not account for this property. For
this purpose, we introduce a new approach for learning hierarchical representationsof symbolic data by embedding them into hyperbolic space – or more precisely into
an n-dimensional Poincaré ball. Due to the underlying hyperbolic geometry, thisallows us to learn parsimonious representations of symbolic data by simultaneously
capturing hierarchy and similarity. We introduce an efficient algorithm to learn
the embeddings based on Riemannian optimization and show experimentally that
Poincaré embeddings outperform Euclidean embeddings significantly on datawith latent hierarchies, both in terms of representation capacity and in terms ofgeneralization ability.

1

Introduction

Learning representations of symbolic data such as text, graphs and multi-relational data has becomea central paradigm in machine learning and artificial intelligence. For instance, word embeddingssuch as WORD 2 VEC [17], G LOV E [23] and FAST T EXT [4] are widely used for tasks ranging frommachine translation to sentiment analysis. Similarly, embeddings of graphs such as latent spaceembeddings [13], NODE 2 VEC [11], and D EEP WALK [24] have found important applications forcommunity detection and link prediction in social networks. Embeddings of multi-relational datasuch as R ESCAL [19], T RANS E [6], and Universal Schema [27] are being used for knowledge graphcompletion and information extraction.
Typically, the objective of embedding methods is to organize symbolic objects (e.g., words, entities,
concepts) in a way such that their similarity in the embedding space reflects their semantic orfunctional similarity. For this purpose, the similarity of objects is usually measured either by theirdistance or by their inner product in the embedding space. For instance, Mikolov et al. [17] embed

込に比べて、空間を指数関数的に効率よく利用で
きる

BERT
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of
Deep Bidirectional Transformers for Language Understanding", arXiv:1810.04805v2 (2019)• BERTとは
BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding
Jacob Devlin

Ming-Wei Chang Kenton Lee Kristina Toutanova
Google AI Language{jacobdevlin,mingweichang,kentonl,kristout}@google.com

10.04805v2 [cs.CL] 24 May 2019

Abstract
We introduce a new language representation model called BERT, which stands for
Bidirectional Encoder Representations fromTransformers. Unlike recent language representation models (Peters et al., 2018a; Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations fromunlabeled text by jointly conditioning on bothleft and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer
to create state-of-the-art models for a wide
range of tasks, such as question answering andlanguage inference, without substantial taskspecific architecture modifications.
BERT is conceptually simple and empiricallypowerful. It obtains new state-of-the-art results on eleven natural language processing
tasks, including pushing the GLUE score to80.5% (7.7% point absolute improvement),
MultiNLI accuracy to 86.7% (4.6% absolute
improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1
(5.1 point absolute improvement).

There are two existing strategies for applying pre-trained language representations to downstream tasks: feature-based and fine-tuning. The
feature-based approach, such as ELMo (Peters
et al., 2018a), uses task-specific architectures that
include the pre-trained representations as additional features. The fine-tuning approach, such as
the Generative Pre-trained Transformer (OpenAI
GPT) (Radford et al., 2018), introduces minimaltask-specific parameters, and is trained on thedownstream tasks by simply fine-tuning all pretrained parameters. The two approaches share thesame objective function during pre-training, where
they use unidirectional language models to learn
general language representations.
We argue that current techniques restrict thepower of the pre-trained representations, especially for the fine-tuning approaches. The major limitation is that standard language models are
unidirectional, and this limits the choice of architectures that can be used during pre-training. For
example, in OpenAI GPT, the authors use a left-toright architecture, where every token can only attend to previous tokens in the self-attention layers「Bidirectional
Encoder
Representations
from Transformers（Transformerによる双方向のエンコード表現）」を指し、2018年
10月11日にGoogleが発表した自然言語処理モデル• WikipediaやBooksCorpusなどから得た大量の文章データを学習モデルが事前学習し、文章理解や感情分析などの様々なタスクに応用できる• Google による事前学習モデ
ルを利用可能ALBERT
Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut,"ALBERT: A Lite BERT for Self-supervised Learning of Language Representations",
arXiv:1909.11942(2019)• 2019年9月に、BERTALBERT: A L ITE BERT FOR S ELF - SUPERVISEDL EARNING OF L ANGUAGE R EPRESENTATIONS
Zhenzhong Lan1

Mingda Chen2⇤
Piyush Sharma1

rXiv:1909.11942v3 [cs.CL] 30 Oct 20191

Google Research

2

Sebastian Goodman1

Kevin Gimpel2

Radu Soricut1

Toyota Technological Institute at Chicago{lanzhzh, seabass, piyushsharma, rsoricut}@google.com{mchen, kgimpel}@ttic.edu

A BSTRACT
Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point
further model increases become harder due to GPU/TPU memory limitations,longer training times, and unexpected model degradation. To address these
problems, we present two parameter-reduction techniques to lower memory consumption and increase the training speed of BERT (Devlin et al., 2019). Comprehensive empirical evidence shows that our proposed methods lead to models that scale much better compared to the original BERT. We also use a selfsupervised loss that focuses on modeling inter-sentence coherence, and show
it consistently helps downstream tasks with multi-sentence inputs. As a result,
our best model establishes new state-of-the-art results on the GLUE, RACE, and
SQuAD benchmarks while having fewer parameters compared to BERT-large.
The code and the pretrained models are available at https://github.com/
google-research/google-research/tree/master/albert.

1

I NTRODUCTION

Full network pre-training (Dai & Le, 2015; Radford et al., 2018; Devlin et al., 2019; Howard &Ruder, 2018) has led to a series of breakthroughs in language representation learning. Many nontrivial NLP tasks, including those that have limited training data, have greatly benefited from thesepre-trained models. One of the most compelling signs of these breakthroughs is the evolution of machine performance on a reading comprehension task designed for middle and high-school English
exams in China, the RACE test (Lai et al., 2017): the paper that originally describes the task and formulates the modeling challenge reports then state-of-the-art machine accuracy at 44.1%; the latest

を軽量化し高速化を行った「ALBERT」がGoogleによって公開された• 大幅なパラメータ削減による速度と性能を向上さ
せている

提案手法

手法1(双曲空間埋込モデル)
データのもつ階層構造、木構造、Directed Acyclic
Graph (DAG)を自動的に抽出できる性質により、ナレッ
ジグラフのグラフ構造を意味的な距離にて表現できるよ
うになることを期待処理手順
1. 共通事前処理で作成した物語毎のデータを、"主語-述語", "述語-目的語", "主語-目的語"の形式へ変換する
2. 変換したデータを物語毎に、「双曲空間への埋め込み」を実施する(gensimのPoincare Embeddings を利用)
3. 分散ベクトルファイルを作成する（タブ区切り形式）
4. Embedding Projectorで作成した分散ベクトルとラベル
情報をロードして可視化する上位・下位関係のペアで表現
入力形式:•主語,述語•述語,目的語•主語,目的語

主語
述語

目的語

変換例
変換前）

変換後）

• <http://kgc.knowledge-graph.jp/data/ACaseOfIdentity/001>• 001,has

rdf:type

kgc:Situation ;• has,Predicate,standkgc:source "ホームズは椅子から立った"@ja ;• 001,Predicate,standkgc:source "Holmes stood out of a chair"@en ;• 001,time

kgc:hasPredicate <http://kgc.knowledge-graph.jp/data/predicate/stand> ;• time,1891-09-01 10:00:00

kgc:subject <http://kgc.knowledge-graph.jp/data/ACaseOfIdentity/Holmes> ;• 001,1891-09-01 10:00:00

kgc:from <http://kgc.knowledge-graph.jp/data/ACaseOfIdentity/Chair> ;• 001,subject

kgc:time "1891-09-01T10:00:00"^^xsd:dateTime .

• subject,Holmes• 001,Holmes• 001,when• when,1891-09-01 10:00:00• 001,1891-09-01 10:00:00• 001,source• source,Holmes stood out of a chair• 001,Holmes stood out of a chair• 001,from• from,Chair• 001,Chair• 001,type• type,Situation• 001,Situation手法2(ALBERTモデル)
Googleによる事前学習モデルによる分散表現を用いることにより、意味を重視した分散表現を期待

事前学習データ
https://github.com/google-research/ALBERT

処理手順
1. 共通事前処理で作成した物語毎のデータを、"[CLS]主語[SEP]述語[SEP]目的語[SEP]" の形式へ変換する
2. Googleが公開している事前学習データ(xx-largeモデル)をロードする
3. 変換したデータを物語毎に、「ALBERT」で分散表現を作成する
4. 分散ベクトルファイルを作成する（タブ区切り形式）
5. Embedding Projectorで作成した分散ベクトルとラベル情報をロードして可視化するトリプルを関連性の高い集合として入力
入力形式:[CLS]主語[SEP]述語[SEP]目的語[SEP]

主語

述語

目的語

関連する語彙の集合でベクトル化

変換例
変換前）

変換後）

• <http://kgc.knowledge-graph.jp/data/ACaseOfIdentity/001>• [CLS]001[SEP]has

rdf:type

kgc:Situation ;kgc:source "ホームズは椅子から立った"@ja ;kgc:source "Holmes stood out of a chair"@en ;kgc:hasPredicate <http://kgc.knowledge-graph.jp/data/predicate/stand> ;kgc:subject <http://kgc.knowledge-graph.jp/data/ACaseOfIdentity/Holmes> ;kgc:from <http://kgc.knowledge-graph.jp/data/ACaseOfIdentity/Chair> ;kgc:time "1891-09-01T10:00:00"^^xsd:dateTime .

Predicate[SEP]stand[SEP]• [CLS]001[SEP]time[SEP]1891-0901 10:00:00[SEP]• [CLS]001[SEP]subject[SEP]Holmes[SEP]• [CLS]001[SEP]when[SEP]1891-0901T10[SEP]• [CLS]001[SEP]source[SEP]Holmes
stood out of a chair[SEP]• [CLS]001[SEP]from[SEP]Chair[SEP]• [CLS]001[SEP]type[SEP]Situation[
SEP]使用したツールと処理内容

ナレッジグラフデータの抽出(手法1)

双曲空間
モデル①コンテストで公開してい
るオントロ
ジー

③分散表
現生成

分散表現
(双曲空間)⑥
Embedding
Projector(可視化)②rdﬂibを用いて抽出処理(手法2)

ALBERT
モデル

⑤分散表
現生成

④Gooleの事前学習をロード

分散表現(ALBERT)

⑦人工知能
による探索
(次回のチャ
レンジにて実施)

ナレッジグラフデータの抽出
N-Triplesフォーマット
http://lod.hozo.jp/repositories/kgc2019

TTLフォーマット

KGC2019.NT
TTLファイル

SPARQLエンドポイント

RDFlib(Python)
TTLからの変換処理が不可

Vector変換対象ファイル

整形処理
変換処理

ACaseOfIdentity

DancingMen

CrookedMan

SpeckledBand

DevilsFootExp.
568, subject, Sutherland
521, info Source, Holme
299, what, 302
438, type, Statement

Triple表現ファイル

ナレッジグラフデータの抽出#1. SPARQLエンドポイント
https://github.com/KnowledgeGraphJapan/Challenge/tree/master/rdf/2019

ナレッジグラフデータの抽出#1.SPARQLエンドポイント(ダウンロードサイト)
http://lod.hozo.jp/repositories/kgc2019#overview

ナレッジグラフデータの抽出#2. RDFlibを利用(Python)
https://pypi.org/project/rdflib/#description
https://github.com/RDFLib/rdflib

ナレッジグラフデータの抽出#2. RDFlib(Sample code)ナレッジグラフデータの抽出#3.Triples表現ファイルの生成(ストーリ毎)
フォーマット：主語 + 述語 + 目的語
主語
52
394
275
78
179
295
Exist
329
227
bedroom̲of̲Julia
217
199
286
369
80
sname
345
notSeeknee̲of̲Roylott

述語
to
when
hasPredicate
type
type
sourcetype
hasPredicate
hasPredicate
type
hasPredicate
wheresource
type
what
label
subject
type
type

目的語
bedroom̲of̲Roylott
393
smell
Situation
Situation
Holmes and Watson do not sleep.
Object
see
have
Place
notWork
chest
Julia could not move the bed.
Situation
Roylott
sname
safe
ActionObjectナレッジグラフデータの抽出#4.Triples表現ファイルの整形(ストーリ毎)
1. 述語の単語分離
2. 記号の削除(空白, アンダースコア, Time記号 etc)
3. 無関係記述の排除(Meta)
主語
52
394
275
78
179
295
Exist
329
227
bedroom̲of̲Julia
217
199
286
369
80
sname
345

述語
to
when
has Predicate
type
type
sourcetype
has Predicate
has Predicate
type
has Predicate
wheresource
type
what
label
subject

目的語
bedroom of Roylott
393
smell
Situation
Situation
Holmes and Watson do not sleep.
Object
see
have
Place
not Work
chest
Julia could not move the bed.
Situation
Roylottsnamesafe手法1:双曲空間への埋込(手法1)

双曲空間
モデル①コンテストで公開してい
るオントロ
ジー

③分散表
現生成

分散表現
(双曲空間)⑥
Embedding
Projector(可視化)②rdﬂibを用いて抽出処理(手法2)

ALBERT
モデル

⑤分散表
現生成

④Gooleの事前学習をロード

分散表現(ALBERT)

⑦人工知能
による探索
(次回のチャ
レンジにて実施)

gensimhttps://radimrehurek.com/gensim/• 様々なトピックモデルを実装したPythonライブ
ラリ• 今回は、Poincare
Model を使用した

Gensimhttps://github.com/sakiyomi-ai/sherlock2019/blob/master/books/poincare-model.ipynb

手法2:ALBERTによる分散表現

(手法1)

双曲空間
モデル①コンテストで公開してい
るオントロ
ジー

③分散表
現生成

分散表現
(双曲空間)⑥
Embedding
Projector(可視化)②rdﬂibを用いて抽出処理(手法2)

ALBERT
モデル

⑤分散表
現生成

④Gooleの事前学習をロード

分散表現(ALBERT)

⑦人工知能
による探索
(次回のチャ
レンジにて実施)

BERT for TensorFlow v2
https://github.com/kpe/bert-for-tf2• Deep Learning向けラ
イブラリの一つである
Kerasから利用可能な
BERT Model Layer• BERTに加え、ALBERTやadapter-BERTも利用可能• Googleの事前学習デー
タを利用(https://github.com/googleresearch/ALBERT)

Bert for Tensorﬂow v2
https://github.com/sakiyomi-ai/sherlock2019/blob/master/books/bert-model-A.ipynb

既存ツールによる可視化

(手法1)

双曲空間
モデル①コンテストで公開してい
るオントロ
ジー

③分散表
現生成

分散表現
(双曲空間)⑥
Embedding
Projector(可視化)②rdﬂibを用いて抽出処理(手法2)

ALBERT
モデル

⑤分散表
現生成

④Gooleの事前学習をロード

分散表現(ALBERT)

⑦人工知能
による探索
(次回のチャ
レンジにて実施)

Embedding projector
https://projector.tensorﬂow.org• タブ区切り形式のベクトルデータを次元削減して2Dまたは3Dにて表示する• 距離計算は、コサイン類
似度とユークリッド距離を利用可能• 「Publish」機能で、ベクトルデータ、メタデー
タを個別にアップロード
する操作無しに公開可能(CORSに注意)

GitHub Gist
https://gist.github.com• Embedding
Projectorを利用する際、Gistからデー
タを配信すると、
CORS(CrossOrigin Resource
Sharing)の問題は発生しない

双曲空間埋め込み版(SOURCE除く) 分散表現可視化
A CASE OF IDENTITY
https://projector.tensorﬂow.org/?conﬁg=https://gist.githubusercontent.com/sakiyomi-ai/28a7e3e18fcb74fe3b302378d761262d/
raw/9e2d87f01e1bc7f125d49907176c3fa402decf1e/sherlock2019̲a̲case̲of̲identity-2nd.json
CROOKED MAN
https://projector.tensorﬂow.org/?conﬁg=https://gist.githubusercontent.com/sakiyomi-ai/c1dc6a574be2a817569647770fbcbb03/
raw/efc9f86cd342763a3e083ce2e906fd9fe0b0cad0/sherlock2019̲crooked̲man-2nd.json
DANCING MEN
https://projector.tensorﬂow.org/?conﬁg=https://gist.githubusercontent.com/sakiyomi-ai/14c6d0b11b7cab0441d54be8818b3062/
raw/5f1ebaf21cc789d8171b4dcb775edfd1a128c444/sherlock2019̲dancing̲men-2nd.json
DEVILS FOOT
https://projector.tensorﬂow.org/?conﬁg=https://gist.githubusercontent.com/sakiyomi-ai/832364b703f580b53adbede8b255dcb6/
raw/96bfb96554a71a7367641de0d6423da1cebe7229/sherlock2019̲devils̲foot-2nd.json
SPECKLED BAND
https://projector.tensorﬂow.org/?conﬁg=https://gist.githubusercontent.com/sakiyomi-ai/208adf590ae550518973ec3f4776fb80/
raw/f4d6e7b2636fa8e2e650b673b8c118c47b8babdb/sherlock2019̲speckled̲band-2nd.json

既存ツールによる可視化

まだらの紐双曲空間版(source含めて学習)

双曲空間版(sourceを含めず学習)

ALBERT版(source含めて学習)悪魔の足双曲空間版(source含めて学習)

双曲空間版(sourceを含めず学習)

ALBERT版(source含めて学習)同一事件
双曲空間版(source含めて学習)

双曲空間版(sourceを含めず学習)

ALBERT版(source含めて学習)背中の曲がった男
双曲空間版(source含めて学習)

双曲空間版(sourceを含めず学習)

ALBERT版(source含めて学習)踊る人形
双曲空間版(source含めて学習)

双曲空間版(sourceを含めず学習)

ALBERT版(source含めて学習)オリジナルツールによる可視化

UMAP
Leland McInnes, John Healy, James Melville, "UMAP: Uniform Manifold Approximation and
Projection for Dimension Reduction", arXiv:1802.03426v2• Uniform Manifold

arXiv:1802.03426v2 [stat.ML] 6 Dec 2018

UMAP: Uniform Manifold
Approximation and Projection for
Dimension Reduction
Leland McInnes
Tu�e Institute for Mathematics and Computing
leland.mcinnes@gmail.com
John Healy
Tu�e Institute for Mathematics and Computing
jchealy@gmail.com
James Melvillejlmelville@gmail.com
December 7, 2018
Abstract
UMAP (Uniform Manifold Approximation and Projection) is a novel
manifold learning technique for dimension reduction. UMAP is constructedfrom a theoretical framework based in Riemannian geometry and algebraic
topology. �e result is a practical scalable algorithm that applies to realworld data. �e UMAP algorithm is competitive with t-SNE for visualization quality, and arguably preserves more of the global structure with superior run time performance. Furthermore, UMAP has no computational
restrictions on embedding dimension, making it viable as a general purpose
dimension reduction technique for machine learning.

Approximation
and Projection(UMAP) は t-SNEと同様に, 与えられた
点列について次元削
減 (次元圧縮) を行って 2, 3 次元ユーク
リッド空間に写すことで, 可視化を行ってくれる• 双曲空間への埋込結果の可視化は、”Poincare Ball”を用いるべきかもしれないが、UMAPへ双曲線距離計算を指定することにした

図 Facebook ResearchによるPoincare Embedding双曲線距離計算
UMAP-JSへ指定して可視化を実施
測地線の長さfunction poincare(x, y) {var euclidean̲dists = 0.0;
var normX = 0.0;
var normY = 0.0;
for (var i = 0; i < x.length; i++) {euclidean̲dists += Math.pow((x[i] - y[i]), 2);
normX += Math.pow(x[i], 2);
normY += Math.pow(y[i], 2);}
return Math.acosh(1 + 2 * (euclidean̲dists/((1 - normX) * (1 - normY))));}subject【マウス操作】• オービット：ドラッグ• ズーム: ホイール
• パン: 右ボタンドラッグ

predicateobject• エピソード 選択• 探索ワード• triplesソース• 絞込みフィルタ• エピソード切替• 探索ワードクリア• アニメーション• 表示近傍数• originからの近傍ワードと距離の一覧

まだらの紐(1/2)

ヘレンを殺したのは誰か?
Roylott

Julia

Helen

まだらの紐
ヘレンを殺したのは誰か?
small

speckled

(2/2)

踊る人形
暗号を解け
Abe Slaney

Dancing dolls

ﬁlter: dolls

背中の曲がった男
バークリはなぜ死んだのか?
Berkeely

apoplexia

Holmes悪魔の足
各人物を殺したのは誰か?
MortimerRoom airStandale同一事件
花婿はなぜ消えたか?
Hozma

Room airStandalehttps://sakiyomi.ai/service/sherlock/2019/console.xhtml

結論

時間の制約上、今回は”ナレッジグラフ構造を反映した分散表現に対する探索行動を、「説明性」「解釈性」により評価する”までの研究に至らなかった。しかしながら、探索・推論過程を可視化ツールの構築が進行中である。次回のナレッジグラフ推論
チャレンジでは、「双曲空間の埋め込み」により得られた分散表現に対する「探索・推論過程の可視化ツール」及び「人工知能による探索行動の評価」を発表する計画を立てた。

手法1の分散表現は、ナレッジグラフの構造を反映しているように観察された。手法2の分散表現は、自然言語の文により整理されているように観察された。我々は、ナレッジグラフにより表現された知識の活用という観点から手法1に対する探索技術の研究を進めることが有望だと考えるが、定量的な比較は今後の課題として残っている。