言語処理学会 第29回年次大会 発表論文集 (2023年3月)

テキスト情報の表現を利用した文献グラフの表現学習
片桐 脩那

井田 龍希 三輪 誠 佐々木 裕
豊田工業大学{sd19027,sd22401,makoto-miwa,yutaka.sasaki}@toyota-ti.ac.jp

概要
本研究では，論文の文献情報を表す文献グラフを対象に，高品質な文献グラフの表現の構築に向けて，大規模事前学習モデルから得られるテキストの表現とグラフ埋め込み手法・グラフニューラルネッ
トワークを用いたリンク予測手法の利用可能性を調査する．文献グラフでは題目や要旨などのテキスト情報や著者・掲載雑誌などの情報など様々な情報が引用関係や共通する著者などで繋がっている．実験
では，ACL Anthology に含まれる文献情報を対象に，リンク予測タスクを用いて評価を行い，大規模事前学習モデルから得られる表現のグラフ埋め込み手法への有効性を示した．

1

はじめに膨大な論文の中から，探したい・関連のある論文を見つけ出すには，検索クエリの工夫や著者や引用関係などの様々な視点からの文献調査が必要である．従来のキーワード型の検索システムでは，クエリに一致する論文しか検索できないため，検索のみで見つけられる論文は限定的である．特に，近年は出版される論文が日々爆発的に増大しており，大量の論文から関連する情報に辿り着くための手段への需要が増大している．
従来の機械学習では，テキストやメディア情報，人物や属性などの様々な種類の情報を表現し，統一的に扱うことは難しかったが，深層表現学習によりに統一的に扱うことが可能となってきている．さらに，BERT (Bidirectional Encoder Representations fromTransformers) [1] に代表される自己教師あり学習により，様々な種類の情報における事前学習モデルが提案されており，高品質な表現を学習の初期から利用することができる．このような深層表現学習・自己教師あり学習を背景に，ヘテロな情報をノード，それらの関係をエッジとしたグラフを構築し，グラフ上での自己教師あり学習により，グラフ上でのノード間の関係を考慮しながらグラフ情報の埋め込み表現を獲得するヘテロなグラフ埋め込み手法の研究が盛んに行われている [2]．
論文の文献情報の中の題目や要旨をノード，引用関係などをエッジとした文献グラフにグラフ埋め込み手法を適用し，グラフ上のあるノードからそれに関連するノードを予測するリンク予測を用いることで，様々なヘテロな情報を対象とした柔軟な検索システムを構築する研究が行われている [3, 4]．この研究では，大規模事前学習を用いたモデルは利用できておらず，このヘテロな情報に対する有用性は評価できていない．また，グラフのノード間の表現においては，グラフ埋め込みだけではなく，グラフニューラルネットワーク (Graph Neural Networks;GNNs) [5] を用いたリンク予測手法 [6, 7] など，より深い構造を利用した表現に関する研究も行われているが，このような手法も評価されていない．その他にも引用関係や共著者などを対象としたグラフ表現学習の研究も盛んに行われている [2] が，文献情報の限られた要素を対象としているものがほとんどである．
このようなことから，本研究では，文献情報に含まれる様々な要素とその関係をグラフ構造として表現し，グラフの埋め込みを獲得する際の，大規模事前学習モデルによるテキストの表現とグラフ埋め込み手法・GNN を用いたリンク予測手法の利用可能性について調査を行う．具体的には，文献情報である題目や要旨などのテキスト情報に事前学習モデルによる表現を利用し，リンク予測における性能向上を図る．また，グラフ埋め込み手法，GNN を用いたリンク予測手法それぞれを用いて，リンク予測での性能の評価を行い，それぞれの手法の利点・問題点について調査を行う．本研究の貢献は次の通りである．

― 539 ―

• グラフ埋め込み手法，GNN を用いたリンク予測手法の文献グラフでのリンク予測性能の評価．

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

• 文献グラフにおけるテキストノードの大規模事

GNN によるスコア計算の 3 ステップでリンク予測

前学習モデルによる初期化によるリンク予測性を行う．まず，トリプルの始点・終点の両方のノー能の改善．

ドと一定以下のホップ数で繋がっているノードのみを含むサブグラフを抽出する．次に，ノードのラベ

2

関連研究

ル付けではノードに（始点ノードからの距離，終点2.1

文献情報のベクトル表現による検索システム

終点ノードのラベルは (0,1) と (1,0) というラベルに論文の文献情報中の様々な要素を考慮して，埋なる．最後に，ラベル付けをしたサブグラフについめ込みを行い，検索に利用する研究が行われていて，ノードをラベル表現で初期化し，GNN によるノードからの距離）というラベルをつける．始点・る [3, 4]．これらの研究では，著者・題目・要旨・出版ノード表現を学習し，スコア計算をする．サブグラ

年・引用情報を対象に，LINE (Large-scale Information

フの全てのノードに対応する GNN のノード表現をNetwork Embedding) [8] 及び TransE [9] に基づいて文献情報のベクトル表現を獲得し，関連する論文要素の検索を行う手法を提案している．この手法では，テキスト情報である題目・要旨は独立した句の集合として表現している．

平均したサブグラフ全体の表現 𝒉𝐺 (ℎ,𝑡,𝑟 ) ，始点・終点ノードの GNN の表現 𝒉 ℎ , 𝒉𝑡 ，関係の埋め込み表
現 𝒆𝑟 を結合した表現に重みをかけて，式 (2) のように，トリプルのスコアを計算し，正解のトリプルが他のトリプルのスコアよりも高くなるように学習を行う．

2.2

グラフ埋め込み𝑠𝑐𝑜𝑟𝑒(ℎ, 𝑟, 𝑡) = 𝑾 𝑻 [𝒉𝐺 (ℎ,𝑡,𝑟 ) ⊕ 𝒉 ℎ ⊕ 𝒉𝑡 ⊕ 𝒆𝑟 ]グラフ埋め込みでは，グラフ構造を始点ノード ℎ,(2)終点ノード 𝑡 とそれらのノード間のエッジの関係 𝑟

GraIL の GNN では，R-GCN [11] に着想を得て，エッを用いたトリプル (ℎ, 𝑟, 𝑡) の集合で表すのが一般的

ジの種類ごとに異なるパラメタを利用し，エッジにであり，それらの関係を表現できるように ℎ, 𝑟, 𝑡 の対する注意機構を利用してノード情報を集約して埋め込み表現とその関係を表すパラメタを学習すいる．

る．グラフ埋め込みの代表的な手法に TransE [9] が文献グラフの表現学習ある．TransE は，トリプルの要素 ℎ, 𝑟, 𝑡 の埋め込み3表現のみで，トリプルの関係を表現する手法であ本研究では，高品質な文献グラフの表現の獲得に向けて，文献情報を文献グラフとしてトリプルをる．式 (1) のように，始点ノード ℎ のベクトルを関係 𝑟 のベクトルで平行移動させた表現ベクトル 𝒉 + 𝒓と終点ノードのベクトル 𝒕 が一致するように ℎ, 𝑟, 𝑡用いて表現し，SciBERT [12] を用いた大規模事前学の埋め込み表現を更新する.

TransE と GraIL それぞれの表現学習手法の比較を行

𝒉+𝒓 ≈ 𝒕(1)

習モデルによるテキスト情報の埋め込みの影響と，う．本研究の流れを図 1 に示す．
事前学習の影響については，TransE を対象に，初この手法により，ノードや関係の埋め込み表現を獲期表現にランダムな表現を用いた場合と題目や要得できるとともに，あるノードにある関係で関連し旨などのテキストに大規模事前学習モデル SciBERTた別のノードを予測するリンク予測が可能となる．

を用いた埋め込みを行った場合を比較する．TransE

2.3の初期表現において，題目や要旨などのテキストGNN によるリンク予測

ノードについて埋め込みを用いることで，ノードがグラフ構造を表現する GNN（[5, 10] など）を利用

テキスト情報と論文間の関係の両方を考慮した表現したリンク予測の研究が盛んに行われている [6, 7]．

を獲得できると考えられる．
GraIL については GNN によるスコア計算の際にここでは，本研究で採用するリンク予測タスクにおいて高い性能を挙げている Graph Inductive Learning

TransE で学習したノード表現をノードの初期表現と(GraIL) [7] について説明する．GraIL はトリプルの 2してラベル表現に結合して学習を行う．GraIL によ

つのノードとその周辺を含むサブグラフからトリプルのスコアを計算する．GraIL はサブグラフの抽出，るニューラルネットワークで表現を学習することノードの対象ペアに対する相対位置のラベル付け，できると期待される．さらに，ノード表現に TransEで，周囲のノードの情報をより考慮した表現を学習― 540 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(1)文献グラフ作成・BERTで初期化(3)GraILで学習(2)TransEで表現学習
サブグラフ抽出

ACLt
題目
要旨
文献ID
著者
年
掲載誌
引用関係

tt

h

GNNrhrhr
始点・終点ノードの表現

SciBERT

関係の埋め込み表現

サブグラフの表現rID

題目，要旨

関係数

スコア

著者，年，出版社

図1

文献グラフの作成と表現学習の流れで学習したノード表現を用いることで，TransE のみのノードのラベル付けを行う．最後に，TransE で学による表現学習に比べて，各ノードにおいてその周習したノード表現をラベル表現に追加して，GNN囲のノードの情報をより考慮した表現が獲得できるに入力し，2.3 節のスコア関数に基づいて GNN の学と考えられる．

習を行う．

3.1

文献グラフの作成

実験設定

4

まず，文献グラフを作成し，題目・要旨ノードをデータセットには ACL Anthology [13] に掲載さBERT で初期化する (図 1(1))．文献データの中で用れている 71,567 件の論文とその文献情報を使用しいる文献情報には，題目，要旨，著者，掲載誌などがある．文献情報の中には，テキストカテゴリ（題た．引用情報は ACL Anthology に含まれないため，Semantic Scholar Academic Graph API [14] を用いて取目や要旨など）とそれ以外の非テキストカテゴリが得した．API には，時間による回数制限があるため，ある．テキストカテゴリに対して，初期表現を用い制限を超えないように時間を空けながらアクセスしる際は，SciBERT [12] を用いたテキスト情報の埋めた．また，取得した文献情報は BIBTEX 形式となっ込みを行う．これにより，テキストカテゴリのノーていたため，JSON 形式に変換を行った．

ドがテキスト情報と論文間の関係の両方を考慮した表現を獲得できると期待される．

3.2

本研究では簡単のため，ワークショップの論文を除いた過去 5 年の論文とその文献情報 (16,916 件) を使用して文献グラフを作成した．データの統計を付グラフ埋め込み

録 A に示す．文献 ID・題目・要旨・著者・年・掲載

図 1 の (2) のように 3.1 節で作成したトリプルに雑誌のノードを持ち，文献 ID のノードと文献情報対して TransE を用いてベクトル表現を学習する．のノード間に辺を張るスター型の文献グラフを作成

TransE の学習により，各ノードが意味のある情報をした．また，引用関係にある文献 ID のノード間に持つようなノード表現を獲得できる．

も辺を張った．

3.3

文献 ID のノードと著者の関係にあるノードを予測するリンク予測で評価した．5 回以上掲載されてGNN によるリンク予測

GraIL を用いた表現学習の手順は，図 1 の (3) の通いる著者とその著者が執筆した文献 ID のトリプルりである．まず，サブグラフの抽出を行う．各トリから開発用データ 10,000 件と評価用データ 5,000 件

プルの ℎ と 𝑡 を対象ノードとする．図 1 で，ノードを用意した．また，開発用データと評価用データにに ℎ と 𝑡 と書かれているものが対象ノードである．

存在する全てのノードが訓練データに存在するトラ

サブグラフは対象ノードのいずれかから 𝑘 ホップ以ンスダクティブな設定とした．

内にあり，かつ，対象ノード間のパス上にあるノー評価指標には，[7] で使用されている Hit@N を用ドとその間のエッジで構成する．次に，サブグラフいた．評価データの各トリプルに対して終点ノード― 541 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

をランダムにサンプリングした不正解のトリプルを

表 1 各モデルの著者の正解率

49 個用意する．そして，正解のトリプルの順位が上モデル

TransE TransE+BERT

GraIL

位 N 位以内に正解があれば 1，なければ 0 として全

Hit@1

0.7196

0.76600.5002

評価用データで平均した指標である．ただし，終点

Hit@3

0.85760.88700.5962ノードのサンプリングの際のノードタイプは正解のHit@5

0.90040.9262

0.6610

トリプルと同一のもの使用した．

Hit@100.94340.96240.7554

本実験では，提案手法で述べたそれぞれの条件での結果を得るための，3 種類のモデルを用意した．
各モデルの説明は以下の通りである．
• TransE 初期表現にランダムな表現を用いて，TransE で学習するモデル．学習したノード表現は 768 次元である．
• TransE+BERT テキストカテゴリ（要旨と題目）について，SciBERT による埋め込みを初期表現に用いたものを用いて，TransE で学習するモデ
ル．学習したノード表現は 768 次元である．
• GraIL サブグラフを 3 ホップ抽出して，サブグラフのノードの表現に TransE+BERT で学習した表現を追加して学習するモデル．グラフ構造がスター型となっているため，サブグラフとして抽出されるノード数を考慮して，3 ホップでサブグラフ抽出を行う．サブグラフ抽出時の，サブグラフの平均ノード数は 4.33 個となった．

TransE+BERT と GraIL の比較

次に，TransE+BERT と GraIL のモデルを比較す
る．GraIL のモデルでは，TransE のモデルに比べて，Hit@N が低い値となった．GraIL のモデルが低い性能となった理由としてサブグラフの構造が考えられる．今回はグラフをスター型で構築したため，対象ノード間のパスを構成するのに最低必要なホップ数が大きくなってしまったと考えらえる．また．
GraIL は対象ノードの間に現れるノードしか対象にしないため，文献の周囲の情報を利用できなかったのではないかと考えられる．さらに，出版年などノード間に頻出して現れるノードも悪影響を及ぼしている可能性もある．これらのサブグラフの構築方法の調査は今後の課題である．

おわりに

6

本研究では，文献グラフの高品質な埋め込み表現結果55.2の獲得のために，大規模事前学習モデルによるテキ4 節の各モデルの評価を表 1 に示す．参考として，スト情報の埋め込み，グラフの埋め込み手法，グラ

最も良いリンク予測性能が得られた TransE+BERT

フニューラルネットワークを用いたリンク予測手法のモデルについて，ノード表現の近い文献を表示した結果を付録 B に示す．の利用可能性について，文献グラフ上でのリンク予TransE と TransE+BERT の比較

め込み手法の初期表現に大規模事前学習モデルによ5.1測を対象に評価を行った．実験の結果，グラフの埋まず，TransE と TransE+BERT のモデルを比較す

るテキスト情報の埋め込みを利用した TransE+BERTのモデルが最も良い性能を示した．これより，グラる．TransE+BERT のモデルでは，TransE のモデルにフ埋め込みにおける大規模事前学習モデルの有効性比べて，Hit@N が高い値となった．TransE+BERT のを示した．

モデルが高い性能を示せた理由として，題目と要旨

今後の課題として，入力とするサブグラフの構造の情報をもとにした高品質なノード表現を初期表現やリンク予測手法を変更した場合の性能への影響をに使えたためであると考えられる．また，学習速度検証する．また，高品質な文献グラフの表現を構築

に関しても TransE+BERT のモデルでは，TransE のできた際には，柔軟に検索が可能な検索システムのモデルに比べて半分以下のエポック数で学習を終え構築などに繋げていきたい．

ることが可能であった．
このことから，テキストカテゴリのノードの初期表現に大規模事前学習モデルによる埋め込みを用いることは性能と学習速度の両方において有効であるとわかった．

― 542 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 JP20K11962 の助成を受けたものです．

参考文献

eling relational data with graph convolutional networks.
In Aldo Gangemi, Roberto Navigli, Maria-Esther Vidal,
Pascal Hitzler, Raphaël Troncy, Laura Hollink, Anna Tordai, and Mehwish Alam, editors, The Semantic Web, pp.
593–607, Cham, 2018. Springer International Publishing.
[12] Iz Beltagy, Kyle Lo, and Arman Cohan. SciBERT: A pretrained language model for scientiﬁc text. In Proceedingsof the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International
Joint Conference on Natural Language Processing(EMNLP-IJCNLP). Association for Computational Lin-[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-lis, Minnesota, June 2019. Association for ComputationalLinguistics.
[2] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong,Hongyu Ren, Bowen Liu, Michele Catasta, and Jure
Leskovec. Open graph benchmark: Datasets for machinelearning on graphs. Advances in neural information
processing systems, Vol. 33, pp. 22118–22133, 2020.
[3] Takuma Yoneda, Koki Mori, Makoto Miwa, and Yutaka
Sasaki. Bib2vec: Embedding-based search system for bibliographic information. In Proceedings of the Software

guistics, 2019.
[13] ACL anthology. https://aclanthology.org/ (2023 年 1 月11 日アクセス).
[14] Semantic
scholaracademic
graphapi.
https://www.semanticscholar.org/product/api(2023年 1 月 11 日アクセス).

Demonstrations of the 15th Conference of the European Chapter of the Association for ComputationalLinguistics. Association for Computational Linguistics,

2017.
[4] 米田拓真, 三輪誠, 佐々木裕. 文献情報の多様な要素を考慮したベクトル表現獲得. 言語処理学会 第 24回年次大会 発表論文集, pp. 996–998. 言語処理学会,
2018.
[5] Franco Scarselli, Marco Gori, Ah Chung Tsoi, Markus
Hagenbuchner, and Gabriele Monfardini. The graph neuralnetwork model. IEEE transactions on neural networks,
Vol. 20, No. 1, pp. 61–80, 2008.
[6] Muhan Zhang and Yixin Chen. Link prediction basedon graph neural networks. In S. Bengio, H. Wallach,
H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 31, pp. 5171–5181. Curran Associates,Inc., 2018.
[7] Komal K. Teru, Etienne G. Denis, and William L. Hamilton. Inductive relation prediction by subgraph reasoning.
In Proceedings of the 37th International Conference
on Machine Learning, ICML’20. JMLR.org, 2020.
[8] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, JunYan, and Qiaozhu Mei. LINE: large-scale information
network embedding. In WWW, pp. 1067–1077, 2015.
[9] Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran,
Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advancesin Neural Information Processing Systems, pp. 2787–2795. Curran Associates, Inc., 2013.
[10] Thomas N Kipf and Max Welling. Semi-supervised classiﬁcation with graph convolutional networks. ICLR, 2017.
[11] Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Mod-― 543 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

データセットの統計A実験に用いたデータ数の統計を表 2，トリプル数の統計を表 3 に示す．表 3 の文献 ID と文献 ID 以外のトリプル数は双方向の場合の数である．
表2

データセットに含まれるデータ数

データの種類データ数

文献 ID16,916

題目

16,916

要旨

14,771

著者

26,055

年

5掲載誌

24

表3

トリプルの統計

トリプルの種類

トリプル数

文献 ID と題目

33,832

文献 ID と要旨

29,542

文献 ID と著者

137,780

文献 ID と年

33,832

文献 ID と掲載誌

33,740

文献 ID と文献 ID

246,801

ノード表現の評価の例

B

TransE+BERT のノード表現について，対象文献 ID に対して近傍の文献 ID 上位 5 件を出した例を表 4 に示す．
表 4 対象文献 ID の近傍の文献 ID の例 (最初の文献 ID は対象を示す）

例1
文献 ID

題目

N19-1423

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

N18-1202

Deep Contextualized Word Representations

P18-1031

Universal Language Model Fine-tuning for Text Classiﬁcation

2020.tacl-1.5
W18-5446

SpanBERT: Improving Pre-training by Representing and Predicting Spans
GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding

P19-1356

What Does BERT Learn about the Structure of Language?

例2
文献 ID

題目

2022.acl-long.220

Learned Incremental Representations for Parsing

2022.acl-long.146

Investigating Non-local Features for Neural Constituency Parsing

2022.acl-long.155

Headed-Span-Based Projective Dependency Parsing

2022.acl-long.171

Bottom-Up Constituency Parsing and Nested Named Entity Recognition with Pointer Networks

2020.ﬁndings-emnlp.65

Rethinking Self-Attention: Towards Interpretability in Neural Parsing

2021.emnlp-main.826

A New Representation for Span-based CCG Parsing― 544 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).