人工知能と言語理解
ー人間との協調を目指してー
辻井潤一
研究センター長
産業技術総合研究所
人工知能研究センター

話の流れ• 人工知能研究センターの紹介• 人工知能と科学研究 （AI for Big Sciences）• Big Mechanismと言語理解• おわりに

話の流れ• 人工知能研究センターの紹介• 人工知能と科学研究 （AI for Big Sciences）• Big Mechanismと言語理解• おわりに自然知能と親和性の高い人工知能

AIクラウド脳型AI
データ・知識融合型AI
4

人工知能
人間に迫る人工知能•

ＩＢＭ ワトソン：言語理解、 テキストと構造化された知識（事実）、 検索と質問応答•

コンピュータ将棋: 大規模な探索空間, 機械学習•

東大入試ロボット：言語理解、 問題解決、知識に基づく推論•

会話ロボット：身体性をもった知能, 特定の文脈下での言語理解•

深層学習：脳からのヒント、計算原理の変革、自律性をもった機械学習•脳科学： 人間知能の解明

機械学習

大規模グラフGPU ・スパコン最適化技術

深層学習

もう一つの人工知能
ビッグデータ、データサイエンスからの人工知能
人間を超える人工知能6

人間に迫る

人間を超える２つの流れの統合

7

AlphaGo（２０１６）
シミュレーションと機械学習
A game of perfect information
機械学習器v(s)p(a|s)

プロ棋士の対戦
棋譜データベース

学習データ

シミュレーションゲーム

AlphaGo by DeepMind (2016)• v(s):局面の評価– 深層学習（CDNN)– ステップ３：ランダムに選択した局面（30 million）から、p(a|s)を使ったシミュレーション・ゲームで最終局面まで• p(a|s): 指し手選択– 深層学習（CDNN)– ステップ１：教師付き学習（過去の棋譜データベース）– ステップ２：強化学習（シミュレーション・ゲームで最終局面）• アルゴリズム（MCTS）、計算能力（GPU、CPU）– CPU（48, 1,202):シミュレーション– GPU(8, 176):深層学習

言語使用の特定状況へのGrounding
意図と行動計画（稲邑招聘研究員、NII）

ロボット(埋め込まれた行動プログラム)

多数のユーザがアバターとしてロボットと会話

我妻、市瀬招聘研究員ら
九工大、NII、早大

目的：自動運転における危険予測・回避行動判断

提案方法：二種のAI組合せの最適化からハイブリッドAI設計法を得る

データ駆動型AI

検証法：AI実用に必須となる車メーカの製造者責任担保を可能にする。
・多種の実車計測データを活用し、ハード化により、ADAS支援の基準10ms-500ms実装を可能にする・オントロジー分枝構造から得られた「状況複雑度指標」を一般・熟練者ドライバー技能と比較、定量的に検証

理論知識型AI
見えにくい目標

データ駆動型AIと理論知識型AIで、高速 異常行動レーダ領域かつ「推論の説明責任」が可能になり、死角目標（巻込防止）
AIの自動運転分野での実用化が図れる11

人工知能応用研究チーム: 医用画像診断支援
病理組織検査

乳腺超音波検査

大腸内視鏡検査

カプセル内視鏡*Copyright 2001 - 2012 Given
ImagingLtd. All Rights Reserved.

症例DB

診断精度up
安心感up
貢献意欲up認識・検索モデル

性能向上
医師に使われる
データ蓄積

構造の世界データベース・オントロジー

センサーデータ・行動データ

知識獲得
質問応答

意味理解
記号論理
SELECT DISTINCT ?uri
WHERE {?uri rdf:typeyago:StatesOfGermany .
?uri dbp:rulingParty
res:SDP_of_Germany .
}

深層学習

世界モデル

知識獲得
質問応答
テキスト

画像・映像

自然言語処理・画像処理基盤ツール
非構造の世界 連続量の世界
記号の世界

話の流れ
• 人工知能研究センターの紹介• 人工知能と科学研究 （AI for Big Sciences）• Big Mechanismと言語理解• おわりに

計算
Open Access Journal/Open Data/Pathway Commons/Unique ID/Linked Data

実験・観察

モデル・理論

データ解析

シミュレーション

Machine Learning/Large Scale Search

人工知能

機械学習
探索
ロボット

計算モデル
仮説の構築
仮説の実証

AlphaGo
シミュレーションと機械学習
A game of perfect information

機械学習器

v(s)

p(a|s)

プロ棋士の対戦棋譜データベース

学習データ

シミュレーション
ゲーム

計算科学と人工知能
シミュレーションと機械学習
AUnknowns
game of perfect information
機械学習器
コンテキストの異なる観察データ
プロ棋士の対戦
棋譜データベース
多様なオミクスデータv(s)p(a|s)

学習データ

シミュレーションゲーム

局所的、あるいは、不完全なシミュレーション

話の流れ• 人工知能研究センターの紹介• 人工知能と科学研究 （AI for Big Sciences）• Big Mechanismと言語理解• おわりにGenome-Wide Association Studies (GWAS)
Disease… ATTCGGATATTTAAGGC …

(e.g., Alzheimer, Cancer)… ATTCGGGTATTTAAGCC …

Healthy“Genetic diagnosis of diseases would beaccomplished in 10 years and thattreatments would start to roll out perhaps
five years after that.”

2000

Francis Collins (NIH)2010“A Decade Later, Genetic Maps Yield Few New Cures” NewYork Times, June 2010.
Hoifung Poon (MSR)

19

Traditional Biology

Discovery

Targeted Experiments

Onehypothesis

Hoifung Poon (MSR)
20

Genomics… ATTCGGATATTTAAGGC …
… ATTCGGGTATTTAAGCC …

… ATTCGGATATTTAAGGC …
… ATTCGGGTATTTAAGCC …

… ATTCGGATATTTAAGGC …
… ATTCGGGTATTTAAGCC …

High-Throughput Experiments……

Big Data?
Discovery

Too many
hypotheses

Hoifung Poon (MSR)21

… ATTCGGGTATTTAAGCC …

… ATTCGGATATTTAAGGC …
… ATTCGGGTATTTAAGCC …

Nodes : 652

Genomics… ATTCGGATATTTAAGGC …
… ATTCGGGTATTTAAGCC …

… ATTCGGATATTTAAGGC …

Links:444
High-Throughput Experiments……
600
papers were read to?
Discovery

construct the pathwayMany

hypotheses

Big Data

Oda K, Matsuoka Y, Funahashi A, Kitano H: A
comprehensive pathway map of epidermal growth factor
receptor signaling. Mol Syst Biol 2005, 1:2005 0010.

22

Knowledge

Data

Cooperation

Big Challenges

Artificial
Intelligence

NaturalIntelligence

Big Mechanism: ロボット・サイエンティスト
DARPA シカゴ大 マンチェスター大 AIRC

Reading

AssemblyExplanation

Very large conflicting(probabilistic) network

Computational
hypotheses/
wet labExperiments
controllingstates of thenetwork

Smaller(relevant)grounded
A.Rzhetsky(U.Chicago)
model

Big Mechanism• Project supported by DARPA• Some of the systems that matter most to the Defense Department
are very complicated. Ecosystems, brains and economic and socialsystems have many parts and processes, but they are studied
piecewise, and their literatures and data are fragmented,
distributed and inconsistent. It is difficult to build complete,explanatory models of complicated systems, and so effects in thesesystems that are brought about by many interacting factors arepoorly understood.
• Big mechanisms are large, explanatory models of complicatedsystems in which interactions have important causal effects. The
collection of big data is increasingly automated, but the creation of
big mechanisms remains a human endeavor made increasingly
difficult by the fragmentation and distribution of knowledge. To theextent that the construction of big mechanisms can be automated,
it could change how science is done.

The Need for Text Mining
Types of documents• Full papers• Abstracts• Reports, discharge
summaries• EMR• Textbooks, monographs• Grey content, online
discussion forums

MEDLINE• 2005: ~14M
• 2009: ~18M
• 2013: ~22M
• 2015: ~26M
Overwhelming information in textual,unstructured format

26
S.Ananiadou (U.Manchester)Big Mechanism: Reading-AssemblyExplanation
Reading

AssemblyExplanation

Very large conflicting(probabilistic) network

Computational
hypotheses/
wet labExperiments
controllingstates of thenetwork

Smaller(relevant)grounded
A.Rzhetsky(U.Chicago)modelhttp://www.nactem.ac.uk/EventMine/
Event Extraction
Finding events ( trigger mentions , event types , and typed arguments
including locations ) involving genes or gene products… In this study we hypothesized that the phosphorylation of TRAF2 inhibits
binding to the CD40 cytoplasmic domain. …
Negative_regulation
inhibits
Cause

Phospholylation

Theme

phosphorylation
Theme

TRAF2

Bindingbinding
Theme

TRAF2

Theme2

CD40

Site2

cytoplasmicdomain

Finding Evidence -EuropePubMed Central• Currently: runs on 2,550, 328 full texts• 82,198,474 facts in 38,411,661 sentences• Full parsing used a version of Enju (Mogura)• Parsing pipeline run on 60 machines at EBI~30 days
http://labs.europepmc.org/evf

29
S.Ananiadou (U.Manchester)Deep Reading: Reading with a Model• Goal: evaluate how TM systems process text
in relation to what is known about a pathway• Performers asked to produce– Relationship/proposed change to the model(new/corroborating/conflicting information)– A model fragment describing the change– The source text supporting the change

L.Hirschman

Reading against a Model (1)“monoubiquitination of Rasenhances association withthe downstream effectors
Raf and PI3-Kinase”

CORROBORATING: We know thatRas binds Raf

L.Hirschman

Reading against a Model (2)“monoubiquitination of Ras
enhances association withthe downstream effectors
Raf and PI3-Kinase”

NEW MECHANISM: Ras binds PI3Kinase.
BEL: complex(p(PFH:”Ras family”), p(“PI3K”))

L.HirschmanEpistemic knowledge• Enriches event-based search systems– Discovery of new knowledge– Negation, uncertainty, speculative claims in literature… In this study we hypothesized that the phosphorylation of TRAF2 inhibits
binding to the CD40 cytoplasmic domain. …

Miwa, Thompson, McNaught, Kell, Ananiadou (2012). Extracting semantically enriched
events from biomedical literature. BMC Bioinformatics 13, 10833

Extracting epistemic knowledge
SourceUncertainty

Negation

Analysis34

Named entity recognition• Summary of evaluation results (NaCTeM)
TypePrecision

RecallF-scoreCellLine

0.94

0.64

0.76

ChemicalOrDrug

0.82

1.00

0.90

Complex

NA

0.00

NA

DrugClass

1.00

0.29

0.44

GeneOrProtein

0.81

0.50

0.62

Pathway

1.00

0.860.92

ProteinFamily

0.73

0.88

0.80

SubcellularLocation

1.00

1.00

1.00

OVERALL

0.84

0.66

0.74

Top ranking teamEvent extraction• Events scored for recall (NaCTeM)
Counted element

Count

Required events retrieved

106

Required events not retrieved

48

Required events partially retrieved

0

Scored events (required + optional events retrieved)

Recall = 106/148 = 0.72

Top ranking team148

Event extraction• Events scored for accuracy (NaCTeM)
Counted element

Count

Correct events matched, including arguments

95

Events with wrong arguments

5Partial events15Duplicate events

24

Out-of-scope events

14Precision = (95 + (0.5*15)) / 115 = 0.89

Top ranking teamBig Mechanism: Reading-AssemblyExplanation
Reading

AssemblyExplanation

Very large conflicting(probabilistic) network

Smaller(relevant)groundedmodel

Computational
hypotheses/
wet labExperiments
controllingstates of thenetwork

A. Rzhetsky

話の流れ• 人工知能研究センターの紹介• 人工知能と科学研究 （AI for Big Sciences）• Big Mechanismと言語理解• おわりに

オープンサイエンス

計算
Open Access Journal/Open Data/Pathway Commons/Unique ID/Linked Data

実験・観察

モデル・理論

データ解析

シミュレーション

Machine Learning/Large Scale Search人工知能

機械学習
探索
ロボット

計算モデル
仮説の構築
仮説の実証