データ駆動科学の発展とインパクト
樋口知之
中央大学理工学部 教授
AI・データサイエンスセンター 所長

理事（株）ブレインパッド 顧問（株）ブリヂストン 特別技術顧問
新エネルギー・産業技術総合開発機構（NEDO）
ロボット・AI部 PL
産業技術研究所 人工知能研究センター 顧問

1

都市伝説「現場にはデータが⼤量にある」
良くある例：
業務（作業）報告書に数値を記載する欄
US： N/A （責任をとらされるので書かない）
Japan： 前回の記録を見ながら予測、空想で埋める（空欄だと上司に怒られる）
結果： 意味の無い誤差だらけのデータがあるだけ！

この企業文化を変えることが重要な第一歩！

2

Science Paradigms: Four Kind of Methodology (Approach) of Science

演繹法

帰納法

Deductive Approach

Inductive Approach(Axle)
Data Assimilation
数値シミュレーション
Cyber space (Computer-Intensive)
C:Computational

Theory-driven method
First principle driven method

T:Theoretical理論

Driving Force of Science

B： Big Data driven
機械学習

By Tony Hey, Stewart
Tansley, and Kristin
Tolle, Eds. MicrosoftResearch, 2009.

Data-driven method
E:Empirical
Experimental
実験、経験3

メゾスコピック・モデリング
従来の方法論では限界

マクロ

メゾスコピック
ミクロ

材料

生命

経済

熱力学
弾性体

疫学

マクロ経済
モデル

界面・粒界

個人差ネットワーク

量子力学

ゲノム解析

エージェントモデル

数理表現された法則

第一原理計算4

データに関連した数理分野の俯瞰図
シミュレーション科学（第一原理誘導科学）

何でもAI

マテリアル
インフォマティクス

データサイエンス
統計学

最適化

深層学習
信号処理
画像処理

制御

リアルなデータは無数理構造のみを抽出（数学の問題として定式化）

フィードバックが弱い
ところが日本の問題

データマイニング
（狭義）

情報数学※
数理工学
数理○○○○理論

人工知能
（学界）

機械学習
バイオインフォマティクス（日本の現況）※ 離散数学、計算理論、数値計算等を大括りで「情報数学」と呼んでいる

データ工学
データベース工学
2015/05/06 作成者 樋口知之

5統計的機械学習を規定するTriplet
課題発見、問題設定

目的Supervised learning
回帰判別、分類
Unsupervised learning
クラスタリング、次元削減

非線形関数
入力データ

決定木TreeDecision

SVM+Gaussian Kernel

Neural NetworkRandom
Forestランダムフォレスト

Original Source
http://tjo.hatenablog.com/entry/2014/01/06/190456

f ( | yi , x j , a k )
Data

Latent variable Parameter

機械学習（目的｜モデル｜学習アルゴリズム）

Modified from an original slide byProf. T. Matsui

State Space Model, Gaussian Process,Support Vector Machine, Neural Network[ k 1]i, jw

深層学習結果Higuchi

DNN

DL is one of the technique in statistical Machine Learning6内挿と外挿教師あり機械学習

相互に独立

未来の入力データ

データ

データ無しの領域

高次元サンプルを２次元に射影（適切な射影空間を求めること自体が難問）

内挿型研究はパワーゲーム！
7

概括：帰納法とデータ今昔
ケプラーの第三法則

師匠であったティコ・ブラーエの観測記録から推定し定式化

惑星の公転周期 T の2乗は、楕円軌道の半長軸 a の3乗に比例する

3log( a )2
海王星
経験式
log(T ) y  cx  dlog(T )理論式log(T ) 33

局所的・非線形

2.5

拡大

21.5

●

10.5

大局的な解析関数

地球
0-1-0.5

00.5

1

水星

1.5

2log(a )-0.5-1

ティコ・ブラーエの観測データ
狙って観測、帰納推論から経験則、そして一般則（万有引力の法則）を導出
ビッグデータ時代以前：

●
●●● ●
●
●●● ●
●
● ●●
●
●
●●● ● ●
2●●
● ● ● ●●●●●●
● ●●●●
1.5
●
●
●●
●●●
●●
●
●
●
●
●
●
●
● ●●●
●
1
●
●
● ● ●
●●●●
● ●●
●
●
●
●
●
●
0.5
●●
●● ●●
●
● ●
●●● ●
●
● ●●
● ●
●
●
0
●● ●
● ●● ●
-0.5
0.5
1
1.5
2
●
● ●0●●●●● ● -0.5
●
●
●

2.5

-1

●

●●

-1log(a )ビッグデータ
無目的・副産物的にデータが蓄積され、経験則のみでOK（目的ー予測・判別ーが達成）

良質な空間を見つけること

１）説明変数の選択

２）線形性３）少ないパラメータ8近年の動き：ムーアの法則 2x/1.5years を超える勢い
Monthly Number of arXiv Papers submitted in sanity categories(cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)
1,500
Google TensorFlow 公開

500
https://medium.com/@karpathy/a-peek-at-trends-in-machine-learning-ab8a1085a106500

2012/Jan

2015/Jan

2016/Jan2017/Mar

GoogleのソフトウェアエンジニアCliff Youngの講演資料から（2018,Nov.）
https://japan.zdnet.com/article/35128870/

樋口知之, ムーアの法則を超える論文数
化学と工業 72(9) 747 - 747, 20199機械学習の有⽤性がさらに浸透する
ダウンスケーリング：超解像[ 教師あり学習 ]計測データ
初期値、境界条件

サロゲートモデル

統計的ダウンスケーリング高解像度シミュレー
タ
低解像度初期条件・境界条件→ 高解像度の解

数値シミュレーション

コンポーネントとしてプラグイン

経験や勘[ シミュレーション ]10

融合が進む：エミュレーション、仮想計測
マテリアルズインフォマティクスの典型例の一つ
教師データの作成に利用[ 教師あり学習 ]

計測データ

機械学習

記述子

パラメータ
数値シミュレーション

エミュ
レータ

計測モデルを統計モデルで構築経験や勘

基礎方程式に基づく生成モデ
ルでビッグデータを産出

11

さらに帰納法の中でも：機械学習vs.統計的モデリング
深層学習 vs. 旧世代 機械学習
JSM2019 David van Dyk (Imperical Colleage)https://wwwf.imperial.ac.uk/~dvandyk/
Astrostatisticsの専⾨家
LIGO（重⼒波）、ブラックホール撮像

 Data-driven vs. Science-driven
 Predictive model vs. Descriptive model Correlation vs. Causality「認識科学」から 「設計科学」へのシフト「対象理解」から「機能の最適化」
へ興味がシフト12

⽣成モデルと識別モデル（関数）Generative Model vs. Discriminative Model
生成モデル（広義）p( y | θ , z )データ パラメータ
生成モデルからベイズの定理を経由して条件付き確率を計算

クラス分類問題 例：C=1 or 0
生成モデル（狭義）p (C  C i | y , θ ) p ( y , C  Ci | θ ) p ( y , C  Ci | θ )ip ( y , C | θ ) 同時分布
データ クラス

識別モデル

説明変数（アスペクト）p ( y | C , θ2 )  p (C | θ1 )p (C | y , θ ) 条件付き分布

識別関数： y を C に写像する関数
13

Classification of ＤＮＮ{Sequentially aligned (Series) data: voice, text}
Correlating with
RNN: Recurrent NN
each other

LSTMLong Short-Term Memory

Long-range correlationand sudden oblivious
effects were incorporated

Data points
Samples
Deterministic

Independent
from each other

Output form

Yes {Image}Supervised
Learning

Is there a certain
pattern in the local
structure?

Learning form
Probabilistic

Not particularly

Unsupervised
Learning

Boltzmann Machine

CNN:
Convolutional NN

Adoption of
Reinforcement
learning element

Bayesian Network

Auto Encoder (AE)

Feedforward NN
Basic NN

GAN: Generative
Adversarial Nets

TowardGenerative Model
Ref. in part of http://acsi.hpcc.jp/2016/download/ACSI2016-tutorial2.pdf

VAE: Variational AE

14⾮効率（現実には機能しない）探索法
構造xf (x)機能発現 y物理あるいは化学的指数や係数、特性の計算値
その（実験値あるいは経験値）データ

膨大な数のモンテカルロ計算

x の候補を恣意的に多数発生

x

一つ一つのに対して順解析（MDなどの第一原理計算）を実施。データとの整合性 p ( y | f ( x )) を計算

エキスパートが目と勘で判断

15

暗黙知（経験と勘）を具現化する⽣成モデル
p( x | y) p( y | x ) p( x ) p( y | x ) p( x )計測
データ

カーネル法、深層学習らの最近の機械学習⼿法により、グラフなどの⾮数値データも⽣成可能に[ ベイズ統計 ]デジタルツイン機械学習でスマート化

数値シミュレーション

それっぽい構造を出す
生成モデルの構築

経験や勘データベース16

ベイズの定理がなぜ今役⽴つのか？４つの理由

イギリスの牧師・数学者（1702 – 1761年） 1763年に発見

x : 興味のある対象

２．対象の特徴をとらえるセンサー性能の向上
高精度センサーのコモディティ（日用品）化
４．高速（無線）イン
ターネット網の整備

y : データ
ベイズの反転公式

p( x | y) p( y | x ) p( x ) p( y | x ) p( x )１．膨大な数の積分（和）操作には高速な計算機が必要
コンピュータの性能向上

３．対象の細かい情報を不確実性を含めて数値化。個人の情報を網羅的に収集ストレージの廉価化
17Data Science Center for Creative Design and Manufacturing
established in July, 2017
Prof. Yoshida Virtual screening, QSAR modeling: P(Y|G)
Quantitative Structure-Activity(Affinity) Relationship

Forward ProblemDevelop statistical models to predict biochemical or physiochemical
activities Y of an input chemical structure G
Binding ability?
Graphkernel

Supervisedlearning Chemical design, Inverse-QSAR: P(G|Y=y)

Inverse Problem

Generate novel chemical structures G achieving desired activities Y=yPreimage reconstruction of the graph kernel using a MCMC algorithm
Alteration（Thanks to Prof. Yoshida; 吉田＠統数研から借用、改変）

18

Denoising AE and Generalized DAE
Encoder

Decoder~yyx
目的関数

fe ( z | y)g d ( ~y | z )2~L  max E y log p ( y | y )  min  y  yi  g d  f e ( yi ) iC ( y  | y ) : known corruption process (Conditional distribution p( y | y ) )DAEPascal Vincent, Hugo Larochelle, Yoshua Bengio, Pierre-Antoine Manzagol, Extracting and composing robust featureswith denoising autoencoders, Proceedings of the 25th international conference on Machine learning, 2008

Surrogate Analysis, Kernel Bootstrap,…
Regularization function~
L E y , y log p ( y | y ) R ( y , y )GDAEYoshua Bengio, Li Yao, Guillaume Alain, Pascal Vincent, Generalized denoising auto-encoders as generative models,Advances in Neural Information Processing Systems, 2013

2008年
2013年
19

Variational Auto-encoder Generative ModelGalaxy shape modeling with probabilistic auto-encoders
Diederik P Kingma and Max Welling. Auto-Encoding Variational Bayes. In ICLR,

Input Image(2014)

NN for Encoder and Decoder:
Two fully connected hidden layers composed of 128 hidden nodes

69 x 69

2 x (69 x 69)
69 x 69

yMiddle Layer
Dimension of factors is 8μx
xEncoder2017年4月

43,444 Imagesx

From http://people.eecs.berkeley.edu/~jregier/publications/regier2015deep.pdf

μyp( y | x )  N ( μ y ,  y )yDecoderx  μx   x ε

https://www.oreilly.com/ideas/a-look-at-deep-learning-for-science

μyε～N (0, I 88 )潜在変数ベクトルy20Deep Convolutional Generative Adversarial Network (DCGAN)
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
Alec Radford, Luke Metz, Soumith Chintala,

敵対的生成ネットワーク

2016年

http://www.whichfaceisreal.com/index.php

21いたちごっこ：GANの基本アルゴリズムの⽐喩的解説
識別モデル
生成モデル

D ( y ) : 真札である確率G ( x ) : 偽札を生成するモデル（偽札工程）

G( x)

ノイズ

偽札生成
紙幣鑑別機
真札か偽札か識別器をだますように偽札工程を工夫
真札・偽札を正しく識別

真札

1 or 0D( y)学習アルゴリズムmin max E y～pdata ( y ) ln D ( y )  E x～px ( x ) ln 1  D (G ( x )) G

DGANを使った報告は、うまくいった例しか出さないケースが多々あり！
22

CycleGAN: 画像の変換と⽣成モデルの⾃動⽣成

Jun-Yan Zhu, ICCV(2017)

教師無し学習: 非ペアの教師データから画像変換を実現

X
お互いに「逆写像」かつ「全単射（一対一対応）」である

Generator
Discriminator

多様な応⽤が可能
Discriminator• 画風変換Generator• 彩色変換• 超解像
動画用： Recycle-GAN (2018)Y

http://www.cs.cmu.edu/~aayushb/Recycle-GAN/
23

AIの影

研究不正: 特定不正⾏為

研究不正ガイドライン文科省 （p10）1. ねつ造2. 改ざん
3. 剽窃

超解像（心眼）• 捏造とは、存在しないデータ、研究成果等を作成すること。
• 改ざんとは、研究資料、機器・過程を変更する操作を行い、データ、研究活動によって得られた結果等を真正でないものに加工すること。
24