テキスト情報の表現を利用した文献グラフの表現学習

膨大な論文の中から，探したい・関連のある論文を見つけ出すには，検索クエリの工夫や著者や引用関係などの様々な視点からの文献調査が必要である．従来のキーワード型の検索システムでは，クエリに一致する論文しか検索できないため，検索のみで見つけられる論文は限定的である．特に，近年は出版される論文が日々爆発的に増大しており，大量の論文から関連する情報に辿り着くための手段への需要が増大している．従来の機械学習では，テキストやメディア情報，人物や属性などの様々な種類の情報を表現し，統一的に扱うことは難しかったが，深層表現学習によりに統一的に扱うことが可能となってきている．さらに，BERT(BidirectionalEncoderRepresentationsfromTransformers)[1]に代表される自己教師あり学習により，様々な種類の情報における事前学習モデルが提案されており，高品質な表現を学習の初期から利用することができる．このような深層表現学習・自己教師あり学習を背景に，ヘテロな情報をノード，それらの関係をエッジとしたグラフを構築し，グラフ上での自己教師あり学習により，グラフ上でのノード間の関係を考慮しながらグラフ情報の埋め込み表現を獲得するヘテロなグラフ埋め込み手法の研究が盛んに行われている[2]．論文の文献情報の中の題目や要旨をノード，引用関係などをエッジとした文献グラフにグラフ埋め込み手法を適用し，グラフ上のあるノードからそれに関連するノードを予測するリンク予測を用いることで，様々なヘテロな情報を対象とした柔軟な検索システムを構築する研究が行われている[3,4]．この研究では，大規模事前学習を用いたモデルは利用できておらず，このヘテロな情報に対する有用性は評価できていない．また，グラフのノード間の表現においては，グラフ埋め込みだけではなく，グラフニューラルネットワーク(GraphNeuralNetworks;GNNs)[5]を用いたリンク予測手法[6,7]など，より深い構造を利用した表現に関する研究も行われているが，このような手法も評価されていない．その他にも引用関係や共著者などを対象としたグラフ表現学習の研究も盛んに行われている[2]が，文献情報の限られた要素を対象としているものがほとんどである．このようなことから，本研究では，文献情報に含まれる様々な要素とその関係をグラフ構造として表現し，グラフの埋め込みを獲得する際の，大規模事前学習モデルによるテキストの表現とグラフ埋め込み手法・GNNを用いたリンク予測手法の利用可能性について調査を行う．具体的には，文献情報である題目や要旨などのテキスト情報に事前学習モデルによる表現を利用し，リンク予測における性能向上を図る．また，グラフ埋め込み手法，GNNを用いたリンク予測手法それぞれを用いて，リンク予測での性能の評価を行い，それぞれの手法の利点・問題点について調査を行う．本研究の貢献は次の通りである．•グラフ埋め込み手法，GNNを用いたリンク予測手法の文献グラフでのリンク予測性能の評価．.•文献グラフにおけるテキストノードの大規模事前学習モデルによる初期化によるリンク予測性能の改善．