2019年度日本認知科学会第36回大会

P2-64

圏論に基づく分散表現の加減算の定式化に向けて

Toward Formulating Addition and Subtraction of Word
Embeddings Based on Category Theory
宮崎 祐 1 , 小林 隼人 1,2 , 菅原 晃平 1 , 山崎 朋哉 1 , 野口 正樹 1
Tasuku Miyazaki, Hayato Kobayashi, Kohei Sugawara, Tomoya Yamazaki, Masaki Noguchi1

ヤフー株式会社, 2 理研 AIP

Yahoo Japan Corporation, RIKEN AIP{tamiyaza, hakobaya, ksugawar, tomoyama, manoguch}@yahoo-corp.jp

概要
自然言語処理の分野では， 大量の文書データを用を男性から女性に変更した単語 “queen” の分散表現
Vec(“queen”) に近くなる性質を持っている．このよいて単語の分散表現（実数ベクトル表現）を学習するうな計算は，「単語 “man” に単語 “king” が対応するニューラルネットワークのツール word2vec が様々なとき，単語 “woman” にはどの単語が対応するか」と応用に活用されている. word2vec により学習されたいうアナロジー（類推・類比）の質問に答える事がで

分散表現上では，単語の意味的な変換をベクトル演算きるため，アナロジー操作と呼ばれている．本論文でとして計算できることが知られており，その中でも単は，このようなアナロジー操作を実現するベクトル空語のアナロジー（類推）変換を実現する計算はアナロ間が，学習時の処理によってどのように構築されていジー操作と呼ばれている．本論文では， このアナロくのかを，圏論を活用することにより解明することをジー操作を可能にするベクトル空間が word2vec の学目標とする. 具体的には，認知的視点における言語の習処理の背後でどのように構築されていくのかについ意味の類似性が反映されたベクトル空間が，どのようて，圏論を用いた定式化を試みる. 具体的には，定式に構成されていくのかについて圏や層に基づいた定式化の一つの試みとして，層の概念を用いてベクトル空化を試みる.

間と内積関数空間との対応付けの方法を示し，この層

本論文の構成は以下の通りである．まず，2. 章でに基づくホモトピー，導来圏，三角圏の安定化条件のword2vec の処理の概要を説明し，3. 章で全体の定式導入により分散表現空間上の代数構造を捉える方法に化の方針を示す．4. 章で，層の概念を用いてベクトルついて議論する．

空間を内積関数空間へと対応付ける方法を示す．次に，キーワード：自然言語処理, 分散表現, 認知科学, 圏論

5. 章で，この層に基づくホモロジー，導来圏，三角圏の安定化条件の導入について議論する．最後に 6. 章

1.

はじめにで，まとめと今後の課題を述べる．

近年，様々な分野において圏論の積極的な活用が行

2.

われてきている [1, 2]． 自然言語処理の分野においてword2vec の処理概要

も，その言語の仕組みを圏論により把握する試みが行

本論文では，word2vec で実装されているモデルのわれている. 文献 [3] においては 比喩理解の構造を圏一つである skip-gram [5] に焦点を当てて定式化を検論を活用して捉える試みが述べられており，文献 [4]討する．skip-gram は，「単語の意味の類似性と，単語においては，範疇文法の構造を圏論で捉える試みが述が出現する文脈の類似性には相関がある」という分布べられている. 一方で，自然言語処理の分野では，大仮説に基づいており，学習データ中の各単語を実数ベ量の文書データを用いて単語の分散表現（実数ベククトル表現に対応付け，その実数ベクトル表現から文トル表現）を学習するニューラルネットワークのツー脈単語（例えば前後に出現する c 単語）を予測するよル word2vec [5] が様々な応用に活用されている. このうなモデルとなっている．具体的には，学習データをword2vec により学習された分散表現を用いると，単語の意味的な変換をベクトル演算として計算することがw1 , . . . , wN としたとき，下記の対数尤度 L を最大化することで分散表現の学習が実現される．

できる．例えば，Vec(w) を単語 w の分散表現ベクトル

L=とすると，Vec(“king”)−Vec(“man”)+Vec(“woman”)

N∑∑

i=1 j:|j|≤c,j̸=0により計算されたベクトルは，単語 “king” の概念

850

log p(wi+j |wi ).

(1)2019年度日本認知科学会第36回大会

P2-64

文脈単語の条件付き確率を表す関数 p(·) は，下記の4.

ように対数双線形モデルとして定義される．

p(wO |wI ) = ∑exp(ṽwO · vwI ).
w∈W exp(ṽw · vwI )層との対応付け本章では，学習されるベクトル空間に対して共起確率を表す内積関数空間への層による対応付けについて(2)

述べる．層とは，位相空間上の連続的に変化する構造を捉えるための数学的概念であり，大域的な空間を局

ここで，vwI は入力単語 wI の分散表現を表す入力ベ所的に取り出す概念を指す前層のうち，貼り合わせのクトル，ṽwO は単語 wO を予測するための出力ベクト性質の良いものをいう．以降では，まず前層との対応ルである．

付けを述べ，次に層との対応付けについて述べる．

モデルの学習は，確率的勾配法 (SGD) などを用いて上述の対数尤度 L を最大化するようにパラメータ

vwI ，ṽwO を逐次更新することで実現される．1 ステッ

前層とは，大域的な空間を局所的に取り出す概念で文脈単語）について，対数尤度 L の偏微分に基づく誤あり，下記のように定義される．なお，定義中の位相差修正値により対応するベクトルの更新が行われるこ空間 (X, OX ) と前層 (P, ρ) について，以降の議論で位とになる．

3.

前層

4.1

プに焦点を当てると，学習データ中の各単語（とその相 OX や写像 ρ の存在が明らかな場合には省略して位相 X ，前層 P などと表記する．

定式化の方針定義 1 (前層). (X, OX ) を位相空間とする．開集合

本論文における定式化のアイデアは，ベクトルの加U ∈ OX に対して集合 P (U ) が与えられ，2 つの開集減算によるアナロジー操作を，ベクトル空間上ではな

合 U, V ∈ OX について，包含関係 U ⊂ V にあるとき，

く，対応する内積に基づく共起確率関数の空間上で捉

写像 ρU V : P (V ) → P (U ) が与えられているとする．

えることにある．2. 章で説明した通り，skip-gram の以下の条件が成り立つとき，組 (P, ρ) を X 上の前層

学習過程では学習データ中の各単語とその文脈単語のという．

内積による共起確率に基づき入出力ベクトルの更新が

1. 任意の U, V, W ∈ OX について，U ⊂ V ⊂ W の行われている．したがって，学習後の分散表現には内とき，ρU V ◦ ρV W = ρU W である．ここで，◦ は積に基づく共起確率情報が埋め込まれているはずであ合成射を表す．
2. 任意の U ∈ OX について，ρU U = idP (U ) である．

り，対応する共起確率空間上における代数構造が捉えられれば，アナロジー操作の意味付けに繋がると考え

ここで，id は恒等射を表す．

られる．

上記定義における位相空間 X として，skip-gram の以降の章では，大きく分けて以下の二つのステップ学習過程における入出力ベクトル空間をとる．基本的で定式化の検討を行う．には，入力ベクトル空間を X1 ，出力ベクトル空間をX2 として，直積空間 X1 × X2 を考えればよいが，議1. 層との対応付け： ベクトル空間を内積に基づく共起確率関数の空間に対応付けるために層の概念を利用する．具体的には，実際に skip-gram で学論の複雑化を避けるため層との対応付けについては片方を固定してもう一方の空間のみを考える．具体的には，学習の 1 ステップにおいて入力単語が固定される習されるベクトル空間から内積関数空間への対応ことを想定し，ある入力ベクトル x1 ∈ X1 について，付け（関手）を定義し，その対応付けが層となる

出力ベクトル空間 X2 が前層，及び層をなすことを示ことを証明する．

2. 代数構造の抽出： 層を対象とする圏を考えることで，分散表現空間上の代数構造を捉える方法について議論する．具体的には，ホモロジー，導来圏，三角圏の安定化条件の概念について説明し，それらがどのように活用できるかについて示唆を与える．詳細な対応付けについては今後の課題とす．これにより，入力空間 X1 上の任意の点について層が対応付けられるため，これらの層を対象とした圏を構成することが可能となる（5. 章）．入出力ベクト
ルが n 次元とすると，位相空間 X は下記のように書ける．

X = X2 = Rnする．

(3)

次に，対応付け（関手と呼ばれる）P の構成について述べる．関手 P はベクトル空間を共起確率関数の空間に対応付ける役割を担う．2. 章で述べたように851

2019年度日本認知科学会第36回大会

P2-64

skip-gram の学習過程では対数尤度を考えているため，
式 (2) の確率は基本的に内積で表現することができる．

わりで fi = fj なので，下記のように関数 f ∈ P (U )を定義できる．

ここで，入力ベクトルを固定すると正規化項が定数とf (u) = fi (u)なることに注意する．したがって，以降は内積関数空ifu ∈ Vi .

(5)間への対応付けのみを考える．具体的には，入力ベク定義から、任意の u ∈ U 、i ∈ I に対して f |Vi (u) =トル x1 ∈ X1 が所与として関手 P を下記のように定fi (u) である．

義する．

5.
P (U ) = {f : U → R | ∀u ∈ U, f (u) = x1 · u}(4)

代数構造の抽出

本章では，ベクトル空間から内積関数空間への対応付けを表す層を用いて，分散表現空間上の代数構造

次の定理は，ベクトル空間から内積関数空間への局を捉える方法について議論する．具体的には，ホモロ所的な対応付けを示す．

ジー，導来圏，三角圏の安定化条件の概念について説

定理 1. 式 (4) で定義された関手 P は，式 (3) で定義明し，それらがどのように活用できるかについて示唆された X 上の前層である．

を与える．

Proof. （条件 1）任意の U, V, W ∈ OX : U ⊂ V ⊂ W
について，どんな f ∈ P (W ) についても，f が制限写像であることから，ρU V (ρV W (f )) = ρU W (f ) である．
（条件 2）任意の U ∈ OX について，どんな f ∈ P (U )

5.1

ホモロジー

ホモロジーは，空間を分類するために使われる位相についても，ρU U (f ) = f = idP (U ) (f ) である．

幾何学における基本的な概念の一つであり，位相空間や群にアーベル群や加群の列を対応させる手続きとし4.2て定義される．このホモロジーを用いることで，ベク層トル空間上の各単語の変化系列がどのような関係を層とは，前層のうち貼り合わせの性質が良いものを持っているかを抽出することが可能となり，次節で述いい，下記のように定義される．

べる導来圏の構成要素としても使われる．より具体的

定義 2 (層). (X, OX ) を位相空間，P を X 上の前層には，局所的に見た関数空間の変化を把握することがとする．P が層であるとは，任意の U ∈ OX と任意の∪開被覆 U = i∈I Vi に対して，次の 2 つの条件が成りでき，変化しないものを見つけ出すことにより，アナロジー操作の代数構造に繋がるものを見出す役割を果立つことを言う．

たす [7]. 単体複体によるホモロジーを活用した分散表

1. f, g ∈ P (U ) が「任意の i ∈ I に対して f |Vi =g|Vi 」を満たすならば f = g である．
∏
「任意の i, j ∈ I に対して
2. (fi )i∈I ∈ i∈I P (Vi ) が，現の手法としては，文献 [6] に詳細に分析されている.
本研究では下記に定義されるホモロジーの利用を想定している．

fi |Vi ∩Vj = fj |Vi ∩Vj 」を満たすならば，f ∈ P (U )が存在して，任意の i ∈ I に対して f |Vi = fi と定義 3 (ホモロジー). R を環とする. R 上の加群のなる．

M • = {M n , dn }n∈Z は，R 加群 M n と準同型 dn M • :なす圏 ModR はアーベル圏となる. R 加群の複体

ここで，f |V は関数 f の定義域を V に制限したもの

M n → M n+1 の組であってで，U, V ∈ OX : V ⊂ U が与えられたとき，f ∈ P (U )dn M • ◦ dn−1 M • = 0

について，f |V = pU V (f ) として定義される．
次の定理はベクトル空間から内積関数空間への局所(6)を満たし，下記で表される.

的な対応付けが上手く張り合わせられることを示す．

H n (M • ) = Ker dn M • /Im dn−1 M • .

定理 2. 式 (4) で定義された関手 P は，式 (3) で定義された X 上の層である．

(7)

ここで，Ker d，Im d は d の核と像を表す．

Proof. 定理 1 より，P は X 上の前層である．
（条件1）内積関数 f, g ∈ P (U ) が与えられたとき、任意のu ∈ U について，u ∈ Vi のとき，f |Vi = g|Vi が成り立∪
つので f (u) = g(u)，かつ，U = i∈I Vi なので f = gである．
（条件 2）仮定より，任意の開集合 Vi , Vj の交5.2

導来圏

前節で述べたホモロジーの特徴を維持しつつ，アナロジー操作の代数構造を満たすベクトル空間を構築し8522019年度日本認知科学会第36回大会

P2-64

たい．この代数構造（加群の圏）を作り上げるためののである. Z：K(τ ) → G は群準同型で，各実数 φ ∈ R

手法として，導来圏がある．導来圏は，次節で説明すに対して P (φ) ⊂ τ が与えられて，以下の公理を満る三角圏の性質をもち，この三角圏に Bridgeland のたす.

安定化条件 [8] を付与することで導来圏に座標系を定めることができる．すなわち，各単語がその属性とし

1. E ∈ P (φ) \ {0} なら，正の実数 m(E) が存在してZ(E) = m(E) exp(iπφ) と書ける.て共起性関係を保持する抽象化されたベクトル空間と

2. 任意の φ ∈ R に対して P (φ + 1) = P (φ)[1] でしての代数構造を定めることができる．この代数構造ある.
3. φ1 > φ2 で Aj ∈ P (φj ) (j = 1, 2) な ら

では，分散表現の学習過程で学習データ中の単語の共起性パターンが集約されていき，相対的に同値構造を

Homγ (A1 , A2 ) = 0.
4. 任 意 の 対 象 E ∈持つ空間が構成される．このような相対的な構造を持τ \ {0} に 対 し て 有 限つ空間に，ホモトピー同値を導入し，単体複体の同値

個 の 実 数 列 φ1 > φ 2 > · · · > φ n と 対関係をまとめることで代数展開可能な空間にする．以象 0 = E0 , E1 , . . . , En−1 , En

定義 4 (導来圏). 導来圏 D(R) の対象は，加群の複体= E と対象
Aj ∈ P (φ) (j = 1, . . . , ｎ) と 完 全 三 角 圏(Ej−1 , Ej , Aj , uj−1 , uj , wj ) (j = 1, . . . , ｎ) が存のなす圏 Com(R) とする. Com(R) の写像 f • : M • →在する.

下に，導来圏の定義を示す．

•N が与えられたとき

ここで，使用しているグロタンディーク群は，このH n (f • ) : H n (M • ) → H n (N • )導来圏の対象であるベクトル空間全体の変化をとらえ(8)るための基底を入れるのに用いている．これは加減算の構造を捉える役割を果たしており，最終的にアナロ

HomD(R) (M • , N • ) = (Qis)−1 HomK(R) (M • , N • )(9)••
ここで，HomD(R) (M , N ) は，D(R) 上における M •ジー操作の定式化に繋がることが期待される．

6.

から N • への射を表わす．Qis は，式 (8) の H n (f • ) がおわりに

本論文では，分散表現上のアナロジー操作の代数構すべての n に関して同型写像となるとき，その写像全造の解明を目標に，層の概念を用いて学習時のベクト体を表わす．K(R) は，加群の複体のなす圏 Com(R)ル空間を内積関数空間に対応付ける方法を示した．まをホモトピー同値による同値関係でまとめた圏を表た，層を対象とする圏を考えることで分散表現空間上わす．の代数構造を捉える方法として，ホモロジー，導来圏，三角圏の安定化の概念について説明し，それらの活用方法について議論した．今後は，本論文で示した方針

三角圏の安定化

5.3に従い詳細な定式化を進める予定である．

前節で述べた導来圏は，三角圏の性質を持つ．三角圏の定義は，下記のようになる [9].

文献

定義 5 (三角圏). τ が三角圏であるとは，τ が加法[1] 西郷甲矢人, （2018）“自然知能と圏論” 人工知能, Vol.
33, No. 5.
[2] 圏論の歩き方委員会, (2015) “圏論の歩き方”, 日本評論社.
[3] 布山美慕, 西郷甲矢人, （2018）“比喩理解における意味構造の対応付け：不定化した自然変換の探索として”, 32回人工知能学会 2018.
[4] 尾崎竜史, 一杉裕志, “範疇文法の構文解析についての圏論的な視点”, 情報処理学会研究報告.
[5] Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S.,and Dean, J., (2013) “Distributed Representations ofWords and Phrases and their Compositionality”, In
Advances in Neural Information Processing Systems.
[6] Tadas Temc̆inas, (2018) “Local Homology of Word
Embeddings”, arxiv preprint arXiv:1810.10136.
[7] Genki Kusano, Kenji Fukumizu, Yasuaki Hiraoka,(2016) “Persistence weighted Gaussian kernel for topological data”, arxiv preprint arXiv:1601.01741.

圏で• シフト関手と呼ばれる自己同値 [1] : τ → τ が存在する．
• τ に お け る 完 全 三 角 圏 の 六 つ 組 み(X, Y, Z, u, v, w) の 族 が 与 え ら れ て ，X, Y, Z
は τ の 対 象 で ， u : X → Y ，v : Y → Z ，w : Z → X[1] は τ における射で，下記の可換図式が存在し，いくつかの公理を満たすものである.

X
fu/Ygv/Zhw/ X[1]f [1]
u′v′w′/ Y′/ Z′/ X ′ [1]X′
τ を三角圏とし K(τ ) をグロタンディーク群とする．
(Z, P ) が τ 上の安定化条件とは以下の性質を満たすも853

2019年度日本認知科学会第36回大会

P2-64[8] Tom Bridgeland, (2007) “Stability conditions on triangulated categories”, Annals of Mathematics, 166, 317–345.
[9] 稲葉道明, 2013）“三角圏上における stability とモヂュライ”, 数学 65 巻 2 号 2013 年４月.
[10] Kawin Ethayarajh, David Duvenaud, Graeme Hirst,(2019) “Towards Understanding Linear Word Analogies”, arxiv preprint arXiv:1810.04882, ACL 2019.

854