Big Data Application（2015.10-2021.3)

2017年12月25日

科学技術論文の解析と知識獲得• CRESTビッグデータ応用「構造的文書解析による知識獲得」
松本裕治
奈良先端科学技術大学院大学

Objective of the Project
Help researchers by analyzing scholarly
documents (scientific papers)
For finding similar/dissimilar research papers
 For grasping contents of papers
 For construction/completion of domain
Knowledge Bases For visualizing research trendsDevelopment of tools and environment forscientific paper analysis and presentation

Research Items for ScientificDocument Analysis
SearchAspect-based similar/dissimilar paper search

Visualization
Citation relation / research trendExtractionConcept / Relation / KnowledgeBase completion

AnalysisDocument Analysis:

 PDF, Tables, Graphs, Math formulas

Text Analysis: natural language analysis
 Annotation toolsプロジェクトの概要
Text/Document
Analysis(T1, T5)

Knowledge BaseFertilization(T2, T3, T4)

StructuralSimilarity
Analysis(T6, T7)

User Interface /Survey
Generation(T8, T9)

Inner-Document Analysis

Inter-Document Analysis• Text/Document
Analysis• Concept/Relation
Analysis• Predicate-argument str analysis• Event Chain Analysis• Document Structure Analysis• Document Summarization• Citation Analysis• Document Relation• DocumentSimilarity• Multi-Document
Summarization• Survey Generation

User Interface / Document Visualization

研究グループの体制


G0: NAIST: 松本，新保，進藤，能地，中村，…
テキスト解析基盤技術および文書構造解析析
 専門分野の研究者との協働：領域データベースの補完

G1: NII: 佐藤健，JAIST: Minh Le Nguyen

G2: 東北大: 乾，井上

論文の深い意味理解のための基盤技術の開発

G5: 東大: 森

言語・分野横断的な知識獲得を可能にする論文構造解析

G4: 東大: 鶴岡

仮説推論に基づく論述構造の解析

G3: NII: 相澤，阿辺川，宮尾，広島市大: 難波

類似判例検索大規模引用ネットワークおよび文献テキストの構造的関係性に基づく潜在関連知識の抽出

G6: 静岡大: 狩野

脳科学論文のテキストマイニングと応用

Aspect-based similarity learning forpaper retrieval

6

Visualization of similar papers

User can control density of graphs by setting similarity thresholdRelation Extraction (KnowledgeAcquisition)
Knowledge Base Completion

KNApSAcK Database (NAIST) Databese of Metabolite-Plant Species Relationship

KEGG Pathway (© Kyoto University)

 collection of manually drawn pathway maps

representing knowledge on the molecularinteraction, reaction and relation networks(substrate-enzyme-product)PolyInfo (National Institute for MaterialsScience) Information of Polymers extracted from scientificpapers

KNApSAcK Database
DataBase of Metabolite-Plant Species
RelationshipMetaboliteSpecies

Knowledge Base Completionby distant supervision
Existing Knowledge Base(KNApSAcK DB)

Automatic Annotation ofTerms and Relations

Metabolite

Species

Reference

Semi-automatic construction
Of traning data

Training data

Classifier / Sequence Labeler

Annotation of KEGG relations
Target relations
gene – enzyme, enzyme – substrate,
enzyme – productKEGG Pathway Map Generation
KEGG: Kyoto Encyclopediaof Genes and Genomes: Gene products (KEGG Ortholog): Chemical compounds•

Relation (protein network)•Reaction (chemical network)Document and Text Analysis
Document Analysis


PDF analysis

 XML conversion, Table / Graph / Math formula analysis

Citation analysis / Document similarity

Text (Language) Analysis

Base NLP analysis tools: POS tagging, parsing, NE
recognition, Relation analysis, Predicate-argument
structure analysis
 Complex sentence structure analysis
InterfaceDocument retrieval / Visualization
 Annotation toolsAnalysis of Layout, Logical, and Semantic Structures of ScientificDocuments
計算言語学分野の論文構造の解析と情報アクセス支援
AI-augmented researchnavigator
Reasoning

Knowledge-resourcesreferences
Tensor product identities in
two variables are quite com
mon in mathematics: Expon
ential, logarithmic, trigono
metric, …

AgentsRecommendation and summarization

in-document
citation(fig.1)

formuladescription

Figure 1.

Binomial theorem(Wikipedia)

Bag, Amulya Kumar (1966).
"Binomial theorem inancient India". Indian J.
History Sci 1 (1): 68–74.

Equation (1)Content
restructuring

encyclopedic
knowledge

Linking to external knowledgebase
Knowledge Representation

Reasoning implicit
relationships

Document

・・・・・・・・・・・・・・・・・・・・・・・・・・・・

Semantic structure analysis
Annotated text

・・・・・・・・・・・・・・

Gap between tag
types and theirsemantic roles

Logical structure analysis
XMLSection

・・・・・・・・・・・・・・・・・・・・・・・・・・・・

Paragraph・・・・・・・・・・・・・・・・・・・・・・・・・・・・

Sentence

Knowledge
structure・・・・・・・・・・・・・・・・・・・・・・・・・・・・

係Dependency

・・・・・・・・・・・・・・・・・・・・・・・・・・・・

Word

Difficulty of PDF
layout analysis

Layout structure analysis
PDF, (X)HTML

Different layers of structure information
are indistinguishably embedded in real
documents

Real documents inprintable-format

メンバー：相澤彰子、宮尾祐介、阿辺川武（NII）、
難波英嗣（広島市立大）、吉岡真治（北大）
レイアウト・論理構造の解析

PDF

XML

論文閲覧システム

平文

span
領域
アノテーション
location-aware XHTML
言語に依存しない
図表領域
認識

数式の抽出

意味解析に基づ
く検索・要約ブロック間の論理関係抽出

参照情報の抽出と参照文脈解析

図
文
書の再構
成

知
識の再編
成

グラフ
数式手法

意味構造の解析
情報科学論文に典型的に表れる、文脈依存・非依存な意味クラス・関係を定義してコーパスを構築

Improving entailment recognition in legal texts
using corpus generation Truong-son Nguyen (JAIST) Purpose: propose two methods for generating training examples toenrich the size of the COLIEE corpus that covers some linguistic
phenomena for entailment task including negation and sub-sentences(1) utilizes the syntactic parsetree

Input t = <a sentence in legal text . >(2) utilizes the requisite-effectuation (RE)structuret = <a sentence in legal text . >Using Japan
Civil Code RE
corpusUsing
Stanfordparserr1

Output {(t , h1, y1), (t, h2, y2, …), …}
where hi is a sub-sentence ornegation of a subsentence in te1r2e2{(t , h1, y1), (t, h2, y2, …), … }where hi is a sentence constructedfrom an RE pair

 Data generation result: generate 4876 new training examples fromJapanese Civil Code(2160 pairs from method 1+ 2716 pairs from method162)

Improving entailment recognition in legal texts
using corpus generation

 Evaluate the generated dataset:– Compare the performance of the classifiers trained on the orginal dataset
and the new dataset (= orginal + generated data)– Train classifiers using two types of deep learning models:(1) Sentence encoding-based models(CBOW+BiLSTM)
Prediction

Transformation
Aggregation

Prediction

Logistic regression

Logistic regression
MLP<vector><vector><vector>
Sentence
representatio
An encoding method (CBOW / BILSTM)
nWord
representation(b1, …, bm)words (a1, …, an) Result: Artices(2) Attention-based models (Decomposable + ESIM)

Transformation

MLP

ComparisionandAggregation<vector>Question

Attention

Question
Article The performance of models on the new dataset has a significant improvement(~8%) compared to the original dataset.
 The results outperform other systems of COLIEE 2016 and 2017 on the English
dataset (from 7-10%)

ネットワーク表現学習を用いた論文引用ネットワークのトレンド検知
東京大学工学系研究科 浅谷公威

ネットワーク構造からノード間のランダムウォークや近接性に基づき分散表現を学習
引用ネットワークにおける学術文献の分散表現

引用ネットワーク

引用ネットワークの表現学習
分散表現

分散表現を用いた・学術分野の可視化
・トレンド抽出・引用予測

ネットワークの分散表現を用いて、学術分野の可視化、トレンド抽出、引用予測などに応用
カッティング・エッジ領域

提案手法
・ネットワーク表現学習で得られた512次元の潜在空間上でネットワークの成長の方向性を特定
・各論文がカッティング・エッジ領域（その方向性の先端）かある度合いを指標化
成長の方向性手法を論文の可視化、萌芽予測、キーワード予測の各タスクにおいて評価
学術領域の成長の把握

引用予測の精度向上

灰色〜緑〜赤と特定の方向に学術領域が進化していることを確認

例えばナノカーボン分野のCutting Edge領域にある論
文は将来の引用が伸びる確率が高いことを確認

将来の頻出キーワード予測
Cutting Edge領域の論文によく出てくるキーワードは、将来の論文でたくさん使われる傾向トレンドを検知して数値化することが様々なタスクに有効であることを実証

今後はキーワード予測を自然言語処理技術と組み合わせて高度化する予定
19