神戸大学
計算生命科学1.5「AI 創薬：創薬における人工知能と機械学習の基礎および応用 」《11月2日（水）》舘野 賢
日本たばこ産業株式会社
医薬総合研究所
主席研究員

人工知能（AI）による創薬とは？
AI が飛躍的に発展している！
囲碁、将棋、etc.
AlfaGo → 囲碁のチャンピオンを破った！
画像処理（Image Processing）の技術
人を見分ける能力が、人の能力を超えた！
自然言語処理（Natural Language Processing）

異なる言語の間の翻訳だけではなく、小説を書く！
簡単な四則演算もする！ 画像処理やその他のタスクにも応用！
創薬に AI が活用できるか？

→ できる！

AlphaFold2 → Deep Learning により、タンパク質の立体構造の予測が可能になった！？

人工知能（AI）による創薬とは？
創薬に AI が活用できるか？ → できる！
他方で、AI の Fields における日本の Presence は？？？

そこで・・・
あまり見慣れない（難しい！？）Concepts なども、先端的で重要な内容については
やさしく（！）お話しすることに挑戦したいと思います
ただしその分、直感的なお話しになるため、数学的により Strict な内容は、テキストや論文などを御覧下さい。
（例えば、AI の内部がどのように動くのかも、できるだけお話してみたいと思います）

また、以降のスライドの中の日本語や英語の文章は（講義の際にはあまり読まずに、復習などのために！ ）、ポイントした Terms と Figures, Tables などを中心に御覧下さい、
できる限りそのような形で理解が進むように、お話したいと思います。

人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
どんな Fields で？

医薬品の分子設計など

 Chemistry and Biophysics

医薬品の Physical, Physico-Chemical, Chemical, and Biological Properties
化合物の合成技術

医薬品の薬理効果や体内動態など

 Biochemistry and Biology

化合物の薬効、安全性（Toxicity）、
化合物の Pharmaceutical Kinetics and Dynamics (PK and PD)
医薬品開発 Target の Identification

 Biology and Genome Science

Transcriptome, Proteome, Epigenetics, Interactome, etc.
Protein-Protein Interaction (PPI)
医薬品の生産技術など

 Engineering

製造プロセス技術、製剤技術、(結晶) 構造解析技術、品質管理、etc.

人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
今日の Topics は？

分子設計（I）
タンパク質のアミノ酸配列から、結合サイトとリガンドを Identify（Affinity）
分子設計（II）
タンパク質・化合物の複合体の 3D Structural Docking （& Affinity）
医薬品の電子構造
薬理効果、PK and PD、安全性、分子設計（III）、etc.
→ 物質の様々な性質（Properties）や生体反応（Reactivity）を理解するための基盤→ Screening and Reactivity などの探索における基盤
創薬のためのターゲットの探索→ Genome Science の応用も！

Transcriptome, Proteome, Interactome, Epigenetics, etc.

→ Multi Omics Analysis

＜Attention Values of Amino Acid Residues and Ligand Atoms＞
アミノ酸残基および化合物の相互作用部位を学習するか？
アミノ酸残基の認識
Ligand 周辺 8Å のアミノ酸残基を Red Barで表示した

attention

解析のイメジ

アミノ酸残基Ligand 周辺 4Å のアミノ酸残基を Blue Barで表示した

attention

リガンドの認識
相互作用部位

アミノ酸残基

アミノ酸残基をベクトル化化合物の原子をベクトル化＜Attention Values of Amino Acid Residues and Ligand Atoms＞
アミノ酸残基および化合物の相互作用部位を学習するか？
アミノ酸残基の認識
Ligand 周辺 8Å のアミノ酸残基を Red Barで表示した

アミノ酸残基Ligand 周辺 4Å のアミノ酸残基を Blue Barで表示した

リガンドの認識
相互作用部位

アミノ酸残基Avidin-Biotin (2AVI)

人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
今日の Topics は？
AI 創薬を理解するために・・・
AI は何をしている？
・どんなシステムが使われている？

そのシステムで・・・・どんな計算をしているのかな？
・何ができるようになったかな？
・どんな課題があるのか？
AI を学ぶために、どんな勉強をすれば良いかなあ？
AI を創るために、どんな Tactics が大切かなあ？
今日のお話しの基本的な方針を再度、確認して・・・

Brief History of Artificial Mathematical Neural Network
Beginning of Mathematical Models in Neural Network Fields (1943)
Artificial Neuron
Mathematical Model of Neuron Proposed by McCulloch and Pitts
McCulloch, W. : neurophysiologist
Pitts, W.
: mathematician
1st Era of Artificial Neural Network Model (1950’s to 1960’s)
Perceptron : a Feed-Forward Neural Network Model, Proposed by Roseblatt, F.
in 1956

D. Mourtzis and J. Angelopoulos, Int. J. Adv. Manuf. Syst. (2020)

Brief History of Artificial Mathematical Neural Network
2nd Era of Artificial Neural Network Model (1980’s to 90’s)
Feed Forward Multilayer Network : Learning (Training) by Back Propagation
Hopfield Networks, Boltzmann Machine, Cognitron (1975)
Cf)“Expert System” : a System for Exploring the Accumulated Knowledge in
Relevant, Specific Fields
3rd Era of Artificial Neural Network Model (2010’s to the present days)“Deep Learning” : a Trigger of the Beginning of this new Era.

D. Mourtzis and J. Angelopoulos, Int. J. Adv. Manuf. Syst. (2020)

Brief History of Artificial Mathematical Neural Network
Neuron Model Proposed by McCulloch-Pitts (1943)
Biological Neuron

McCulloch-Pitts Neuron Model (1943)
x1
x2

w1
w2
g f

w3

x3

y

wn

⋮

https://link.springer.com/article/10.1007/BF02478259

xn
T. Fukuchi et al.,Summation of inputs
𝑛yHeaviside
Step
Function𝑔 = ෍ 𝑥𝑖 𝑤𝑖
𝑖=1

1

Activation Function
0ghttps://www.sciencedirect.com/topics/mathematics/heaviside-unit-stepy = 𝑓𝑔 = ቊ

1 𝑔>0
0 𝑔≤0

Perceptron-Type Neural Network
Activation Functions and their Derivatives

https://www.researchgate.net/publication/346898697_Thermodynamics-based_Artificial_Neural_Networks_for_constitutive_modeling

Backpropagation
Perceptron (3 layers)
෍ 𝑤𝑗𝑘 𝑥𝑘 = 𝑥𝑗𝑘𝑦𝑗 = 𝜎 𝑥𝑗
𝑥𝑖 = ෍ 𝑤𝑖𝑗 𝑦𝑗𝑗𝑦𝑖 = 𝜎 𝑥𝑖

Input
layer
・
・
・
𝑦𝑘
k
・
・
𝑤𝑗𝑘
・

Multi Layer Perceptron-Type
Neural Network
Hidden
layer
・
・
・
j
・
・
・

Output
layer
𝑦𝑗

𝑤𝑖𝑗

Activation Function
1
𝜎 𝑧 =1 + 𝑒 −𝑧

𝜎′ 𝑧

𝑑𝜎
=
𝑑𝑧

𝑒 −𝑧
1
1
=
=
×
1
−
1 + 𝑒 −𝑧 2
1 + 𝑒 −𝑧
1 + 𝑒 −𝑧

= 𝜎(𝑧)(1 − 𝜎(𝑧))Sigmoidal
Function

・
・
・
i
・
・
・

𝑦𝑖 vs 𝑦ො𝑖

Supervise
Signals

Backpropagation
Perceptron (3 layers)
෍ 𝑤𝑗𝑘 𝑥𝑘 = 𝑥𝑗𝑘𝑦𝑗 = 𝜎 𝑥𝑗
𝑥𝑖 = ෍ 𝑤𝑖𝑗 𝑦𝑗𝑗𝑦𝑖 = 𝜎 𝑥𝑖

Multi Layer Perceptron-Type
Neural Network
Hidden

Input
layer
・
・
・
𝑦𝑘
k
・
・
𝑤𝑗𝑘
・

layer
・
・
・
j
・
・
・

Output
layer
𝑦𝑗

𝑤𝑖𝑗

・
・
・
i
・
・
・

𝑦𝑖 vs 𝑦ො𝑖

Supervise
Signals

W1 = ( wjk )W2 = ( wij )𝑥𝑗 = σ𝑗 𝑤𝑗𝑘 𝑦𝑘 = W1 y(j)𝑥𝑖 = σ𝑗 𝑤𝑖𝑗 𝑦𝑗 = W2 y(i)Products of Matrices and Vectors

Backpropagation

Error Function / Loss Function
1
𝐸 = σ𝑖 𝑦𝑖 − 𝑦ො𝑖 22𝑑𝐸
𝜕𝐸 𝑑𝑤𝑖𝑗=෍𝑑𝑡𝜕𝑤𝑖𝑗 𝑑𝑡

layer
・
・
・
j
・
・
・

Output
layer
𝑦𝑗

𝑤𝑖𝑗

・
・
・
i
・
・
・

𝑦𝑖 vs 𝑦ො𝑖

Supervise
Signals𝑖

とおく。ここで，

𝑑𝑤𝑖𝑗
𝜕𝐸
=−
……. ∗
𝑑𝑡
𝜕𝑤𝑖𝑗
とおくと
𝑑𝐸
𝜕𝐸
= −෍
𝑑𝑡
𝜕𝑤𝑖𝑗
となり，𝐸は増えない

Input
layer
・
・
・
k
・
・
𝑤𝑗𝑘
・

Multi Layer Perceptron-Type
Neural Network
Hidden𝑖

2≤0∇f (r)= grad f (r)𝜕𝐸 𝜕𝐸 𝜕𝐸t= (𝜕𝑥 , 𝜕𝑦 , 𝜕𝑧)Gradient ( grad f (r) )∇f (r)
Steepest Descent Minimization of= grad f (r)Multivariable Function
Iso-Surface

grad f (r)f (r) = E1 (constant)∇f (r)= grad f (r)tr = (x, y, z)

𝜕𝐸 𝜕𝐸 𝜕𝐸t= (𝜕𝑥 , 𝜕𝑦 , 𝜕𝑧)

Backpropagation

Error Function / Loss Function
1
𝐸 = σ𝑖 𝑦𝑖 − 𝑦ො𝑖 2 + R(w)2

Training/Learning（学習）における Overfitting（過学習）を回避するために、Regularization（正則化）が重要な役割を果たす。
→ L1 Norm, L2 Norm などがよく用いられる。
Overfitting : Training Dataset に対しては正しく出力するが、未知のTest Dataset には誤った出力を与えること。

Input
layer
・
・
・
k
・
・
𝑤𝑗𝑘
・

Multi Layer Perceptron-Type
Neural Network
Hidden
layer
・
・
・
j
・
・
・

Output
layer
𝑦𝑗

𝑤𝑖𝑗

・
・
・
i
・
・
・

𝑦𝑖 vs 𝑦ො𝑖

Supervise
Signals∇f (r)= grad f (r)𝜕𝐸 𝜕𝐸 𝜕𝐸t= (𝜕𝑥 , 𝜕𝑦 , 𝜕𝑧)

Backpropagation

෍ 𝑤𝑗𝑘 𝑥𝑘 = 𝑥𝑗𝑘𝑦𝑗 = 𝜎 𝑥𝑗
𝑥𝑖 = ෍ 𝑤𝑖𝑗 𝑦𝑗𝑗𝑦𝑖 = 𝜎 𝑥𝑖𝑑𝐸𝜕𝐸 𝑑𝑤𝑖𝑗=෍𝑑𝑡𝜕𝑤𝑖𝑗 𝑑𝑡

Error Function / Loss Function𝑖1
𝐸 = σ𝑖 𝑦𝑖 − 𝑦ො𝑖 2
2

𝑑𝑤𝑖𝑗
𝜕𝐸
=−
… ∗
𝑑𝑡
𝜕𝑤𝑖𝑗
Chain Rule により𝜕𝐸
𝜕𝐸 𝜕𝑦𝑖 𝜕𝑥𝑖== 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑦𝑗𝜕𝑤𝑖𝑗 𝜕𝑦𝑖 𝜕𝑥𝑖 𝜕𝑤𝑖𝑗
𝜕𝑥𝑖𝑗
𝜕
∵)
=
෍ 𝑤𝑖𝑗 𝑦𝑗 であり，𝑤𝑖𝑗 で偏微分するので，𝑦𝑗 のみ残る
𝜕𝑤𝑖𝑗 𝜕𝑤𝑖𝑗𝑗

よって， ∗ は𝑑𝑤𝑖𝑗= − 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑦𝑗
𝑑𝑡Δ𝑤𝑖𝑗= − 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑦𝑗
Δ𝑡
(𝑛+1)

Δ𝑤𝑖𝑗 = 𝑤𝑖𝑗(𝑛)− 𝑤𝑖𝑗 = −Δ𝑡 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑦𝑗

Backpropagation

෍ 𝑤𝑗𝑘 𝑥𝑘 = 𝑥𝑗𝑘𝑦𝑗 = 𝜎 𝑥𝑗
𝑥𝑖 = ෍ 𝑤𝑖𝑗 𝑦𝑗𝑗𝑦𝑖 = 𝜎 𝑥𝑖𝑑𝐸𝜕𝐸 𝑑𝑤𝑗𝑘=෍𝑑𝑡𝜕𝑤𝑗𝑘 𝑑𝑡
𝑗

𝑑𝑤𝑗𝑘
𝜕𝐸
=−
… ∗
𝑑𝑡
𝜕𝑤𝑗𝑘

Chain Ruleより

Input
layer
・
・
・
k
・
・
𝑤𝑗𝑘
・

Hidden
layer
・
・
・
j
・
・
・

Output
layer
𝑦𝑗

𝑤𝑖𝑗

𝜕𝐸
𝜕𝐸 𝜕𝑦𝑖 𝜕𝑥𝑖 𝜕𝑦𝑗 𝜕𝑥𝑗== 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗𝜕𝑤𝑗𝑘 𝜕𝑦𝑖 𝜕𝑥𝑖 𝜕𝑦𝑗 𝜕𝑥𝑗 𝜕𝑤𝑗𝑘
よって， ∗ は𝑑𝑤𝑗𝑘= − 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗
𝑑𝑡Δ𝑤𝑗𝑘
= − 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗
Δ𝑡
(𝑛+1)

Δ𝑤𝑖𝑗 = 𝑤𝑗𝑘

(𝑛)

・
・
・
i
・
・
・

1 − 𝜎 𝑥𝑗

1 − 𝜎 𝑥𝑗

𝑥𝑘

1 − 𝜎 𝑥𝑗𝑥𝑘

− 𝑤𝑗𝑘 = −Δ𝑡 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗

1 − 𝜎 𝑥𝑗

𝑦𝑖 vs 𝑦ො𝑖

𝑥𝑘

𝑥𝑘

𝑘

𝑦𝑗 = 𝜎 𝑥𝑗
𝑥𝑖 = ෍ 𝑤𝑖𝑗 𝑦𝑗𝑗𝑦𝑖 = 𝜎 𝑥𝑖

Vanishing/Exploding
Gradient Problems

Backpropagation

෍ 𝑤𝑗𝑘 𝑥𝑘 = 𝑥𝑗𝑑𝐸𝜕𝐸 𝑑𝑤𝑗𝑘=෍𝑑𝑡𝜕𝑤𝑗𝑘 𝑑𝑡
𝑗

𝑑𝑤𝑗𝑘
𝜕𝐸
=−
… ∗
𝑑𝑡
𝜕𝑤𝑗𝑘

Chain Ruleより

Input
layer
・
・
・
k
・
・
𝑤𝑗𝑘
・

Hidden
layer
・
・
・
j
・
・
・

Output
layer
𝑦𝑗

𝑤𝑖𝑗

𝜕𝐸
𝜕𝐸 𝜕𝑦𝑖 𝜕𝑥𝑖 𝜕𝑦𝑗 𝜕𝑥𝑗== 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗𝜕𝑤𝑗𝑘 𝜕𝑦𝑖 𝜕𝑥𝑖 𝜕𝑦𝑗 𝜕𝑥𝑗 𝜕𝑤𝑗𝑘
よって， ∗ は𝑑𝑤𝑗𝑘= − 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗
𝑑𝑡Δ𝑤𝑗𝑘
= − 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗
Δ𝑡
(𝑛+1)

Δ𝑤𝑖𝑗 = 𝑤𝑗𝑘

(𝑛)

・
・
・
i
・
・
・

1 − 𝜎 𝑥𝑗

1 − 𝜎 𝑥𝑗

𝑥𝑘

1 − 𝜎 𝑥𝑗𝑥𝑘

− 𝑤𝑗𝑘 = −Δ𝑡 𝑦𝑖 − 𝑦ො𝑖 𝜎 𝑥𝑖 1 − 𝜎 𝑥𝑖 𝑤𝑖𝑗 𝜎 𝑥𝑗

1 − 𝜎 𝑥𝑗

𝑦𝑖 vs 𝑦ො𝑖𝑥𝑘𝑥𝑘

Vanishing/Exploding
Gradient Problems

勾配の消失と爆発
原因は Back Propagation におけるActivation Function の微分と Weight の “掛け算”

を繰り返し実行することになるため！

これを回避するためには、以下の３つの点が基本です。
ReLU (used as an Activation Function)
Batch Normalization （Cf. Mini-Batch）
Skip Connection (→ Residual Network.

Cf. ODEnet )

etc.
参考書：

Scikit-Learn、Keras、TensorFlowによる実践機械学習 第2版, Aurélien Géron 著

Gradient ( grad f (r) )∇f (r)
Steepest Descent Minimization of= grad f (r)Multivariable Function
Iso-Surface

grad f (r)ーgrad f (r)E1 > E2tr = (x, y, z)

f (r) = E1
f (r) = E2

Vector, Matrix, and Scalar Product𝟏 Vector𝑦𝑥
1
0
𝒓= 𝑦 =𝑥
+𝑦
0
1
𝒆𝟏
𝒆𝟐
“Basis Set (基底)”

𝒆′𝟐

𝒆𝟐

𝑥
𝒓= 𝑦

𝒆′𝟏
𝜃

O

𝒆𝟏

𝑥

= 𝒙 𝒆𝟏 + 𝒚 𝒆𝟐
Basis Set: 𝒆𝑖 2𝑖=1 を 𝜃 だけ回転し， 𝒆′𝑖 2𝑖=1 に変化させると，

𝒓 = 𝑥 ′ 𝒆′𝟏 + 𝑦 ′ 𝒆′𝟐となり，同じベクトル 𝒓 であっても，別の座標 𝑥 ′ , 𝑦 ′ に変更される。
垂直かつ長さ 1 の Basis Set を特に，“Orthonormal Basis Set” (正規直交基底)という。より一般に，Basis どうしが直交でないとき，“斜交座標系” という。 → テンソル へVector, Matrix, and Scalar Product𝟐 Matrix
2

𝒂𝟏

𝒂𝟐

=𝑨

𝑨 : 2 x 2 の matrix⇒ 2つの成分を持った縦ベクトル 𝒂𝟏 , 𝒂𝟐 を並べたもの（！）と考える。

2
前頁の Basis Set 𝒆𝟏 , 𝒆𝟐 を適用すると，

1
𝑨𝒆𝟏 = 𝑨= 𝒂𝟏0
൞0
𝑨𝒆𝟐 = 𝑨
= 𝒂𝟐
1となり， 𝒂𝟏 , 𝒂𝟐 を取り出せる。
⇒ Matrix は Vector を並べたもの！

逆に，上記の式の 𝒆𝟏 , 𝒆𝟐 を並べて表記すると，

𝑨

𝒆𝟏

𝒆𝟐

=

𝒂𝟏

𝒂𝟐

のように，Matrix の形に書き換えられる。

Vector, Matrix, and Scalar Product
より一般に，𝒆𝟏 , 𝒆𝟐 を任意のベクトル 𝒑𝟏 , 𝒑𝟐 とすると，

𝑝1𝑥
𝑨𝒑𝟏 = 𝑨 𝑦 = 𝒃𝟏𝑝1
𝑝2𝑥𝑨𝒑𝟐 = 𝑨 𝑦 = 𝒃𝟐𝑝2

Matrix の掛け算
としてまとめると

𝑨

𝒑𝟏

𝒑𝟐

=

𝒃𝟏

𝒃𝟐

⇒ Matrix は Vector を並べたものであることが分かる。

Ex) 2 x 2 の Matrix の掛け算への応用 ⇒ 1 x 2 の縦ベクトル2つに分解して考える
2
2
2

𝒂𝟏

𝒂𝟐

2 −3
=
5 4

↓
↓
それぞれ 1 x 2 の縦ベクトル

2𝒂𝟏
+5𝒂𝟐

−3𝒂𝟏
+4𝒂𝟐

↓
↓
それぞれ 1 x 2 の縦ベクトル2

Vector, Matrix, and Scalar ProductEx)

𝑨 が 2 x 2 の Matrix であるとする。
2
−2
−3
1
𝑨
=
,𝑨
=
5
3
4
−1

のとき，

𝑨 2 −25
3を求めよ。

解答） 与えられた条件により、容易に

𝑨

※

𝑨=

𝑎
𝑐

2 −2
−3
1
=
5
3
4 −1

𝑏
と置いて計算しなくても解けるが・・・𝑑Vector, Matrix, and Scalar Product𝟑 Scalar Product
𝑎1
𝒂=
𝑎2

𝒂 ∙ 𝒃 = 𝒂 𝒃 cos 𝜃余弦定理を用いると

𝜃𝒂 ∙ 𝒃 = 𝑎1 𝑏1 + 𝑎2 𝑏2𝒃=𝒉𝒂 cos 𝜃𝑏1𝑏2𝒂∙𝒃
正射影ベクトル: 𝒉 =𝒃𝒃2

・大きさは,𝒉 =1=・向きはベクトル 𝒃 と同じ。

𝒂∙𝒃𝒂 𝒃 cos 𝜃 𝒃𝒃== 𝒂 cos 𝜃𝒃2𝒃𝒃すなわち，ベクトル 𝒂 と 𝒃 の内積 𝒂 ∙ 𝒃 は，ベクトル 𝒂 の正射影ベクトル 𝒉 とベクトル 𝒃 により，𝒂 ∙ 𝒃 = 𝒉 𝒃 と書くことができる。

Vector, Matrix, and Scalar Product𝟑 Scalar Product𝒆𝜽𝟐𝑦

大きさが 1 のベクトル 𝒆𝟏 と 𝒆𝜽𝒊 を考えると，

𝒆𝜽𝟏

𝜃2
𝜃1

𝒆𝟏 ∙ 𝒆𝜽𝒊 = cos 𝜃𝑖

O

𝒆𝟏

𝑥

𝜃𝑖 = 0 のとき， 𝒆𝜽𝒊 = 𝒆𝟏 となり cos 𝜃𝑖 は最大。
𝜃𝑖 = 𝜋 のとき， 𝒆𝜽𝒊 = −𝒆𝟏 となり cos 𝜃𝑖 は最小。

cos 𝜃𝑖⇒ 内積 𝒆𝟏 ∙ 𝒆𝜽𝒊 は，ベクトル 𝒆𝟏 と 𝒆𝜽𝒊 との ”類似性”

1
𝜃2
0
−1

𝜃1

𝜋/2

𝜋
𝜃𝑖

Vector, Matrix, and Scalar Product
𝒃𝟏

𝒂𝟏
𝒂𝟐
⋮
𝒂𝒏

𝑨 =

𝒕𝑨 =

𝒂𝟏

𝑩 =

𝒂 𝟐 ⋯ 𝒂𝒏𝒕𝑩 =𝑨 と 𝒕𝑩 の 積
𝒂𝟐
⋮
𝒂𝒏

𝒃𝟏

𝒃𝟐 ⋯ 𝒃𝒏

𝑩 と 𝒕𝑨 の 積

𝒂𝟏
𝑨 𝒕𝑩 =

𝒃𝟐
⋮
𝒃𝒏

𝒃𝟏
𝒃𝟏

𝒂𝟏 ∙ 𝒃𝟏⋮=𝒂𝒏 ∙ 𝒃𝟏𝒃𝟐 ⋯ 𝒃𝒏⋯⋱⋯𝒂 𝟏 ∙ 𝒃𝒏⋮𝒂 𝒏 ∙ 𝒃𝒏

𝑩 𝒕𝑨 =

𝒃𝟐
⋮
𝒃𝒏

𝒂𝟏

𝒃𝟏 ∙ 𝒂 𝟏⋮=
𝒃𝒏 ∙ 𝒂 𝟏

𝒂𝟐 ⋯ 𝒂𝒏⋯⋱⋯𝒃𝟏 ∙ 𝒂 𝒏⋮𝒃𝒏 ∙ 𝒂 𝒏

Vector, Matrix and Scalar Product
アミノ酸残基および化合物の相互作用部位を学習するか？
アミノ酸残基の認識

注）これは Multi-Head Attention で、他のLigand 周辺 8Å のアミノ酸
Attention
Mechanisms と区別しましょう
残基を
Red Barで表示した

attention

アミノ酸残基Ligand 周辺 8Å のアミノ酸残基を Blue Barで表示した

attention

リガンドの認識
相互作用部位

アミノ酸残基

アミノ酸残基をベクトル化化合物の原子をベクトル化人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
今日の Topics は？

分子設計（I）
タンパク質のアミノ酸配列から、結合サイトとリガンドを Identify（Affinity）
分子設計（II）
タンパク質・化合物の複合体の 3D Structural Docking （& Affinity）
医薬品の電子構造
薬理効果、PK and PD、安全性、分子設計（III）、etc.
→ 物質の様々な性質（Properties）や生体反応（Reactivity）を理解するための基盤→ Screening and Reactivity などの探索における基盤
創薬のためのターゲットの探索→ Genome Science の応用も！

Transcriptome, Proteome, Interactome, Epigenetics, etc.

→ Multi Omics Analysis

系列データ（自然言語処理 [NLP], etc.）
RNN, LSTM,
Transformer
画像データ
CNN
（今日はお話しする余裕がなさそうです・・・）

https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-convolutional-neural-networks

Recurrent Neural Network (RNN)
1. Overviews and Aims of the Techniques
Neural Networks Capable of Handling Sequence Data orTime Series Data.
2. Theory and Network Architecture
Previous Outputs to be Used as Inputs While Having Hidden States.

“Hands-On Machine Learning with
Scikit-Learn, Keras & TensorFlow.”
2nd Edition

Recurrent Neural Network (RNN)
Highlight of the Theory
Forward𝒉𝒕 = 𝜙ℎ 𝑾𝑻𝒙𝒉 𝑿𝒕 + 𝑾𝑻𝒉𝒉 𝒉𝒕−𝟏 + 𝒃𝒉𝑦ො𝑡 = 𝜙𝑜 𝑾𝑻𝒚𝒉 𝒉𝒕 + 𝒃𝒚
Weight is shared across time.
Activation Function 𝜙ℎ is usual to use a saturating
nonlinear function (such as sigmoid or a tanh)

Backward
𝐿 = σ𝑇𝑘=1 𝐿 𝑦𝑘 , 𝑦ො𝑘 ,𝜕𝐿𝑘
𝜕𝐿𝜕𝐿 𝜕𝑿𝒕 𝜕𝑿𝒌
σ𝑇𝑘=1 𝑘 = σ𝑇𝑘=1( 𝑘
=
)
𝜕𝑾
𝜕𝑾
𝜕𝑿𝒕 𝜕𝑿𝒌 𝜕𝑾
𝜕𝑿𝒕
𝜕𝑿𝒊
= ς𝑘𝑖=𝑡= ς𝑘𝑖=𝑡 𝑾𝑻𝒉𝒉𝑑𝑖𝑎𝑔(𝜙ℎ′ 𝑿𝒊−𝟏 )
𝜕𝑿𝒌
𝜕𝑿𝒊−𝟏

https://stanford.edu/~shervine/teaching/cs-230/cheatsheetrecurrent-neural-networks

Vanishing/Exploding
Gradient Problems
𝜙ℎ′ 𝑿𝒕< 1 (tanh < 1 , sigmoid < 1/4)

Gradient clipping
Gated RNN (GRU, LSTM etc.)

Recurrent Neural Network (RNN)

Applications

RNN models are mostly used in the fields
of Natural Language Processing (NLP) andspeech recognition. Various applications of
RNN are summarized in the right table.

https://stanford.edu/~shervine/teaching/cs-230/cheatsheetrecurrent-neural-networks

Recurrent Neural Network (RNN)

Reference
1) “Hands-On Machine Learning with Scikit-Learn, Keras &TensorFlow.” 2nd Edition, OREILLY
2) 「ゼロから作るDeepLearning2」 オライリージャパン
3) “On the difficulty of training Recurrent Neural Networks.” arXiv
preprint arXiv:1211.5063v2
4) https://stanford.edu/~shervine/teaching/cs-230/cheatsheetrecurrent-neural-networks5) https://mmuratarat.github.io/2019-02-07/bptt-of-rnn

LSTM (Long Short-Term Memory )Hochreiter, S., Schmidhuber, J., Long short-term memory.
Neural Computation 1997, 9, 1735-80.

1. Overviews and Aims of the Techniques• RNN の発展形で、Gated RNN のひとつ
"The key idea is that the network can learn what to store in the long-term state, what to throw away, and what
to read from it." -- Geron, p 516• Simple RNN の課題である，Back Propagation Through Time での勾配消失に対応
途中で勾配が 0 になると，それ以前の寄与が全て消失する
Back Propagation

LSTM

LSTM
cell

LSTM
cell

LSTM
cell

𝑡−1

𝑡

𝑡+1

2. Theory and Network Architecture• 3 Gate Controllers & Main Layer• Gate Controllers も Dense Layer からなり，学習する• Hidden State Vectors: Short-term State, Long-term Stateoutputlong-term state
newlong-term state

short-term state

LSTM cellnew
short-term state

input
https://medium.com/@andre.holzner/lstm-cells-in-pytorch-fab924a78b1c

LSTM cell𝐠 𝑡 = tanh(𝐖𝑖𝑔⊤ 𝐱 𝑡 + 𝐛𝑖𝑔 + 𝐖ℎ𝑔⊤ 𝐡𝑡−1 + 𝐛ℎ𝑔 )PyTorch documentation より
https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html

Gates : 成分 ∈ [0,1]𝐢𝑡 = 𝜎(𝐖𝑖𝑖 ⊤ 𝐱 𝑡 + 𝐛𝑖𝑖 + 𝐖ℎ𝑖 ⊤ 𝐡𝑡−1 + 𝐛ℎ𝑖 )𝐟𝑡 = 𝜎(𝐖𝑖𝑓 ⊤ 𝐱 𝑡 + 𝐛𝑖𝑓 + 𝐖ℎ𝑓 ⊤ 𝐡𝑡−1 + 𝐛ℎ𝑓 )𝐨𝑡 = 𝜎(𝐖𝑖𝑜 ⊤ 𝐱 𝑡 + 𝐛𝑖𝑜 + 𝐖ℎ𝑜⊤ 𝐡𝑡−1 + 𝐛ℎ𝑜 )∘: Hadamard product𝑡: step
𝜎: sigmoid function

Long-term State
𝐜𝑡 = 𝐟𝑡 ∘ 𝐜𝑡−1 + 𝐢𝑡 ∘ 𝐠 𝑡
Short-term State𝐡𝑡 = 𝐨𝑡 ∘ tanh(𝐜𝑡 )input 用 weight
𝐖𝑖𝑔 , 𝐖𝑖𝑖 , 𝐖𝑖𝑓 , 𝐖𝑖𝑜
Short-term State 用 Weight𝐖ℎ𝑔 , 𝐖ℎ𝑖 , 𝐖ℎ𝑓 , 𝐖ℎ𝑜Bias
𝐛𝑖𝑔 etc.

Applications of LSTM
Natural language Processing, speech recognition, handwriting recognition, music composition,market prediction ...
Hojjat Salehinejad, Sharan Sankar, Joseph Barfett, Errol Colak, Shahrokh Valaee. Recent
Advances in Recurrent Neural Networks. arXiv preprint, arXiv:1801.01078, 2017.
https://arxiv.org/abs/1801.01078..., and drug design
Molecular Graph

SMILES
String Molecular Representation

CN1c2ncn(C)c2C(=O)N(C)C1=O

Reference
REINVENT (AstraZeneca):
Marcus Olivecrona, Thomas Blaschke, Ola Engkvist,
Hongming Chen., Molecular de-novo design throughdeep reinforcement learning, Journal of Cheminformatics
2017, 9, 48.

LSTM-Related Architecture
GRU (Gated Recurrent Unit)••••

Forget Gate と Input Gate の Controllers が一つにまとまり Update Gate Controller にLong-term State と Short-term State Vectors も一つにまとまった
Update Gate 𝐳𝑡 が LSTM の forget gate の役割，(𝟏 − 𝐳𝑡 )が input gate の役割
Reset Gate 𝐫𝑡 は Main Layer に入る Hidden State Vector 𝐡𝑡−1 をスケーリングする，
そのかわり Output Gate は無い

𝐠 𝑡 = tanh(𝐖𝑖𝑔 ⊤ 𝐱 𝑡 + 𝐛𝑖𝑔 + 𝐖ℎ𝑔⊤ 𝐫𝑡 ∘ 𝐡𝑡−1 + 𝐛ℎ𝑔 )Reset Gate 𝐫𝑡
𝐫𝑡 = 𝜎(𝐖𝑖𝑟 ⊤ 𝐱 𝑡 + 𝐛𝑖𝑟 + 𝐖ℎ𝑟 ⊤ 𝐡𝑡−1 + 𝐛ℎ𝑟 )Update Gate 𝐳𝑡
𝐳𝑡 = 𝜎(𝐖𝑖𝑧 ⊤ 𝐱 𝑡 + 𝐛𝑖𝑧 + 𝐖ℎ𝑧 ⊤ 𝐡𝑡−1 + 𝐛ℎ𝑧 )output (= new hidden state vector)
𝐡𝑡 = 𝐳𝑡 ∘ 𝐡𝑡−1 +(𝟏 − 𝐳𝑡 ) ∘ 𝐠 𝑡
Kyunghyun Cho, Bart van Merrienboer, Dzmitry Bahdanau, Yoshua
Bengio. On the Properties of Neural Machine Translation: EncoderDecoder Approaches. arXiv:1409.1259, 2014.
https://arxiv.org/abs/1409.1259

Transformer◼ transformer⚫ 自然言語処理（NLP）や画像解析などの広い領域で、大きな成果！
⚫ ”どこに注意 (attention) するか” を考慮しながら、 AIが学習！

𝑸

𝑽
𝑸𝒊 = 𝑸𝑾𝒊 , 𝑲𝒊 = 𝑲𝑾𝑲𝒊 , 𝑽𝒊 = 𝑽𝑾𝒊
𝑸𝒊𝑲𝒊𝑻𝒂𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏𝒊 = Softmax (transformer by Google(Attention is all you need)

𝒅𝒌

)𝑽𝒊

𝒎𝒖𝒍𝒕𝒊‐ 𝒉𝒆𝒂𝒅 𝒂𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏=
concat (𝒂𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏𝟏 ,… 𝒂𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏𝒉 )𝑾𝒐Transformer
1. Overviews and Aims of the Techniques
an Encoder-Decoder model involving the Multi-Head Attention
without employing RNNs or CNNs.
2. Theory and Network Architecture
The Transformer Architecture is shown below (Figs. 1 and 2).

Encoder

Decoder* <BOS> : Beginning of sentence

Fig.1.
Architecture of Transformer

Fig.2
An overview of Translation (Japanese -> English)

Transformer
Highlight of the Theory-1
Multi-Head Attention

Attention(𝑄, 𝐾, 𝑉) = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥

𝑄𝐾𝑇

𝑑𝑘

𝑉

Q : Query,
K : Key,
V : Value,
dk : The dimension of key(512-dim)

Divide Q, K, and V into 8 parts (the number of heads), andcalculate the Attention. Finally, they are concatenated in one part.
.
s

Multihead(Q, K, V) = 𝐶𝑜𝑛𝑐𝑎𝑡 ℎ𝑒𝑎𝑑1, … , ℎ𝑒𝑎𝑑ℎ 𝑊
𝑄where headi = Attention(𝑄𝑊𝑖 , 𝐾𝑊𝑖𝐾 , 𝑉𝑊𝑖𝑉 )64-dim512-dim

Q, K, V==8

Word Count

Word Count512

64-dim

WiQ, WiK, WiV ( i = 1~8 )Qi, Ki, Vi (i = 1~8 )Fig.3
Multi-Head Attention

Transformer
Highlight of the Theory-2
BOS・・・BOS

Masked Multi-head Attention…

Use(Add) “-inf” to hide future information.
(Prevention of cheating)Calculation is the same as Multi-head Atten.

c
c
c
n
c
softmax(-inf)=0

s

Fig.4
Masked Multi-head Attention

Positional Encoding, Feed-Forward layer✓(Absolute)Positional Encoding
Add positional information with sinusoid.

𝑃𝐸(𝑝𝑜𝑠,2𝑖) = sin(𝑝𝑜𝑠/100002𝑖/𝑑𝑚𝑜𝑑𝑒𝑙 )𝑃𝐸(𝑝𝑜𝑠,2𝑖+1) = cos(𝑝𝑜𝑠/100002𝑖/𝑑𝑚𝑜𝑑𝑒𝑙 )dmodel : Number of vector dimensions when word Embedding is performed
i denotes how many dimensions of vector, pos : the number of vectors✓ Feed-Forward Networks(FFN) layer is a simple linear layer.

𝐹𝐹𝑁 𝑥 = max 0, 𝑥𝑊1 + 𝑏1 𝑊2 + 𝑏2
ReLU

Fig.5
Positional Encoding

Molecular Transformer
Encoder側① Embedding層によって入力化合物を256次元のベクトルに圧縮② Positional Encoder層によって位置情報を付加③ Multi-Head Attention層でSelf Attentionを計算し、データ内照応関係を付加④ 各種Normalizationを行う⑤ Point-wise順伝播ネットワーク（PFFN）で活性化関数を適用⑥ 各種Normalizationを行う③～⑥をN=4層(回)繰り返す

Decoder側① Embeddingレイヤによって入力化合物を２５６次元のベクトルに圧縮② Positional Encoder層によって位置情報を付加③ Masked Multi-Head AttentionでSelf Attentionを計算し、データ内照応関係を付加④ 各種Normalizationを行う⑤ ここまでの出力をQueryに、Encoderの出力をKeyとValueにしてMulti-Head AttentionでAttentionを計算し、異なる時系列データの照応関係情報を獲得⑥ 各種Normalizationを行う⑦ PFFNで変換⑧ 各種Normalizationを行う③～⑧をN=4層(回)繰り返す

Ref)
1) arXiv:1706.03762v5 [cs.CL] 6 Dec 2017, “Attention Is All You Need”
2) ACS Cent. Sci. 2019, 5, 1572−1583  Molecular Transformer

＜transformerCPI ＞

アミノ酸残基をベクトル化 化合物原子をベクトル化

＜transformerCPI ＞

Problems
1. Using inappropriate datasets
2. Hidden Ligand Bias
3. Splitting dataset inappropriately

Chen L, Cruz A, Ramsey S, Dickson CJ, Duca JS, Hornak V, et al.,“Hidden bias in the DUD-E dataset leads to misleading performanceof deep learning in structure-based virtual screening”, PLoS ONE, 14(2019), e0220113. https://doi.org/10.1371/journal.pone.0220113

Chen L, Cruz A, Ramsey S, Dickson CJ, Duca JS, Hornak V, et al., “Hidden bias in the DUD-E dataset leads to misleading performance ofdeep learning in structure-based virtual screening”, PLoS ONE, 14 (2019), e0220113. https://doi.org/10.1371/journal.pone.0220113

＜transformerCPI ＞
Problems
1. Using inappropriate datasets
2. Hidden Ligand Bias
3. Splitting dataset inappropriately

＜PL transformer＞
Problems
1. Using inappropriate datasets
2. Hidden Ligand Bias
3. Splitting dataset inappropriately

アミノ酸残基の認識

アミノ酸残基Possible Issues to Construct a New System for P-L Analysis Based on Transformer
1. Involvements of Protein 3D Structures→ Recognition of Atoms in Side Chains
2. Equivalent Double Recognition of Protein and Ligand→ Amino Acid Sequences and Compound Chemical Structures
3. Construction of Database of Decoy Ligands→ Reduction of False Positives and the Bias Derived from Ligands

＜他の解析技術＞
transformerCPI 回帰モデルとの比較

AttentionDTA
蛋白質アミノ酸配列、化合物
SMILESからWord2vecで特徴抽出して機械学習モデルを構築（Davis datasetのSOTA）

OnionNet
複合体の３次元立体構造を学習データとし、空間的な Shell ごとに、化合物と蛋白質の原子の組み合わせを抽出し、機械学習モデルを構築する

https://github.com/zhaoqichang/AttentionDTA_BIBM

https://github.com/zhenglz/onionnet＊Davis dataset : (442kinase) x (68ligand)の活性値
30,056データセットで欠損値無し

参考文献

1) Scikit-Learn、Keras、TensorFlowによる実践機械学習 第2版,
Aurélien Géron 著 （英語版をお勧めします）
2) パターン認識と機械学習, C.M. ビショップ 著（英語版をお勧めします）

3) ベイズ深層学習 (機械学習プロフェッショナルシリーズ), 須山敦志 著
 Bayes Statistics （AI に確率分布を導入する！）

Ex) VAE, GPLVM, etc.
4) 曲率とトポロジ, 河野俊丈 著
 Differential Geometry, Riemann Geometry（AI に “曲がった空間” を導入するために、その基礎を学ぼう！）

Variational Autoencoder (VAE)
Application−ℒ(𝜙, 𝜃, 𝒙) = 𝔼𝑞𝜙 𝒛|𝒙 log 𝑞𝜙 𝒛|𝒙 − log 𝑝𝜃 (𝒛) − log 𝑝𝜃 𝒙|𝒛

Loss function= 𝐷𝐾𝐿 𝑞𝜙 (𝒛|𝒙)ԡ𝑝𝜃 (𝒛) − 𝔼𝑞𝜙 𝒛|𝒙 log 𝑝𝜃 𝒙|𝒛
Regularization

Reconstruction

Since 𝑞𝜙 𝒛 𝒙 = 𝒩(𝝁, 𝚺) and 𝑝𝜃 𝒛 = 𝒩(𝟎, 𝑰),

Monte carlo estimation

KL-divergence by represent in closed-formby 𝒛𝑛 ∼ 𝑞𝜙 𝒛𝑛 𝒙𝑛

𝑁

𝐷𝐾𝐿 𝑞𝜙 𝒛 𝒙 ||𝑝𝜃 𝒛

𝑁1= ෍ 𝑡𝑟𝚺 + 𝝁⊤ 𝝁 − 𝐷 − log det 𝚺21
෍ 𝐿𝑜𝑠𝑠 𝒙𝑛 , 𝒚𝑛
𝑁

𝑛=1

𝑛=1

Reconstruction loss
Regularization loss
Mean
Data
𝐷

𝒙𝑛 ∈ ℝ

Encoder𝝁𝑛 ∈ ℝ𝐿𝑓𝜙 (𝑥)

Cov.

Latent variable

Decoder

Output𝑛𝑔𝜃 (𝑧)𝒚𝑛 ∈ ℝ𝐷~ 𝒛 ∼ 𝒩(𝝁 , 𝚺 )𝑛𝑛𝚺𝑛 ∈ ℝ𝐿×𝐿
Prior
𝒛𝑛 ∼ 𝒩(0, 𝑰)

ODEnet I : Genome Science
Application to transcriptomics with VAE-joined ODE model
Zhanlin Chen, William,
C. King, Aheyon Hwang, Mark Ge
rstein, Jing Zhang, “DeepVelo:
Single-cell Transcriptomic Deep
Velocity Field Learning with
Neural Ordinary Differential
Equations”, arXiv, 2022
https://doi.org/10.1101/2022.02.
15.480564

ODEnetA Variational Autoencoder (VAE), trained to predict the rate ofgene expression change (e.g., RNA velocity is an example of a model
representing the turn over of mRNA), is embedded in the ODE, toinfer continuous temporal changes in the gene expression within
individual cells. The system learns the vector field of gene expression
values, and thereby can accurately reproduce the rates.

arXiv:1806.07366v5 [cs.LG] 14
Dec 2019

ODEnet I : Genome Science
Application to transcriptomics with VAE-joined ODE model
Gene Expression: 𝒙𝑡

𝒇𝑨 (𝒙)

𝜕𝒙𝑡
Velocity:
𝜕𝑡

⊕

𝜕𝒙𝑡
= 𝒇𝑨(𝒙𝑡 )𝜕𝑡

The first-order Euler's method for finding the state 𝒙𝑡+1 is
𝒙𝑡+1 = 𝒙𝑡 + 𝒇(𝒙𝑡 )ODEs can be solved in the VAE-joined model.
arXiv:1806.07366v5 [cs.LG] 14 Dec 2019https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a

Zhanlin Chen, William,
C. King, Aheyon Hwang, Mark Ge
rstein, Jing Zhang, “DeepVelo:
Single-cell Transcriptomic Deep
Velocity Field Learning with
Neural Ordinary Differential
Equations”, arXiv, 2022
https://doi.org/10.1101/2022.02.
15.480564

細胞の状態空間における「場」を学習した後、そのAI（ODEnet）は細胞の状態を推論することができる！

ODEnet I : Genome Science
Application to transcriptomics with VAE-joined ODE model
Velocity Field
Zhanlin Chen, William,
C. King, Aheyon Hwang, Mark Ge
rstein, Jing Zhang, “DeepVelo:
Single-cell Transcriptomic Deep
Velocity Field Learning with
Neural Ordinary Differential
Equations”, arXiv, 2022
https://doi.org/10.1101/2022.02.
15.480564

By learning the velocity field in terms of the gene expression, a VAEjoined ODE model can predict the future cellular state across the time.
This can be employed to explore the crucial factors that induce thespecific cellular state in our analysis, and thereby it is expected to use theneural ODE model to identify target proteins that are responsible for adisease. This is based on an accurate, high quality prediction by ODEnet,
whereas other AI models do not usually accomplish.

細胞の状態空間における「場」を学習した後、そのAI（ODEnet）は細胞の状態を推論することができる！

人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
今日のトピックス
分子設計（I）
タンパク質のアミノ酸配列（入力自体は立体構造ではない！）から、結合サイトとリガンドを Identify（Affinity）する！

分子設計（II）
タンパク質・化合物の複合体 3D Structural Docking Simulation
タンパク質と化合物のAffinity
医薬品の電子構造：

薬理効果、PK and PD、安全性、分子設計（III）→ 様々な性質（Properties）を理解するための基礎→ Screening and Reactivity の探索における基盤
創薬のためのターゲットの探索 → Genome Science の応用も！

Transcriptome, Proteome, Interactome, Epigenetics, etc.

Deep Learning of Wave Function toConstruct a Precise XC Functional
Generation of ψ
Coupled with Neural Networks
Solving the fractional electron problem(The delocalization error of electron density and
The spin symmetry breaking)In a DFT calculation, the functional determines the
charge density of a molecule by finding the configurationof electrons which minimizes energy.

Thus, errors in

the functional can lead to errors in the calculated

electron density.
And, when describing the breaking of chemical bonds,
existing functionals tend to unrealistically preferconfigurations in which a fundamental symmetry known
as spin symmetry is broken.
DM21 predicts 𝐸𝑋𝐶 𝜌 𝑟റ𝑀𝐿𝑃
as a 𝐸𝑋𝐶
with a Neural Network

and incorporating exact properties into the training data.

Ref: WebSite of DeepMind https://www.deepmind.com/blog/simulating-matter-on-the-quantum-scale-with-ai

Deep Learning of Wave Function toConstruct a Precise XC Functional
The followings are for you reference to get an overview ofthe present issues.
Nearly a century ago, Erwin Schrodinger propsed his famous equation govering the behavior of QM particles.
Then, Pierre Hohenberg and Walter Kohn realised that it is not necessary to track each electron individually, andinstead, knowing the probability for any electron to be at each position (i.e., the electron density) is sufficient to exactly
compute all interactions. After proving this, Kohn founded Density Functional Theory (DFT).

𝐸𝐷𝐹𝑇 𝜌 𝑟റ= 𝑇 𝜌 𝑟റ+ 𝑉𝑁𝐸 + 𝐽 𝜌 𝑟റ + 𝐸𝑋𝐶 𝜌 𝑟റ

Although DFT proves a mapping exists, for more than 50 years the exact nature of this mapping between electronThedensity functional has remained unknown and has to be approximated.
density and interaction energy — the so-called density functional — has remained unknown and has to be
Byusing a neural network to represent the exact functional, we found thatapproximated. Over the years, researchers have proposed many approximations to the exact functional with varying
we
could
solveThen,the byproblems.
levelsof accuracy.
expressing the functional as a Neural Network and incorporating these exact
properties into the training data, we learn functionals free from important systematic errors — resulting in a better

Handmade (approximation) → Neural Networks (exact functional)

description of a broad class of chemical reactions.

These longstanding challenges are both related to how functionals behave when presented with a system that exhibits“fractional electron character.”

By using a neural network to represent the functional and tailoring our training

dataset to capture the fractional electron behavior expected for the exact functional, we found that we could
solve the problems.
Ref: WebSite of DeepMind https://www.deepmind.com/blog/simulating-matter-on-the-quantum-scale-with-ai

人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
どんな Fields で？

 Chemistry and Biophysics
QM3D医薬品の分子設計など
Descriptors of Compounds in
Huge (Compound) Libraries
医薬品の Physical, Physico-Chemical, Chemical, and Biological Properties→ Use in Various Fields Relevant to DD Works
化合物の合成技術

医薬品の薬理効果や体内動態など

 Biochemistry and Biology

High Quality
and Fast Molecular Dynamics (MD) Free Energy (FE)化合物の薬効、安全性（Toxicity）、
Calculationof Complexes
Proteinand Ligand(for Screening of
化合物のPharmaceuticalof
Kinetics
and Dynamics(PK and PD)
Compounds)
医薬品開発 Target の Identification
 Biology and Genome Science
Transcriptome, Proteome, Epigenetics, Interactome, etc.
Protein-Protein Interaction (PPI)
医薬品の生産技術など

 Engineering

製造プロセス技術、製剤技術、(結晶) 構造解析技術、品質管理、etc.

Deep Learning of Wave Function toConstruct a Precise XC Functional
Generation of ψ
Coupled with Neural Networks

Ref: WebSite of DeepMind https://www.deepmind.com/blog/simulating-matter-on-the-quantum-scale-with-ai

Deep Learning of Wave Function toConstruct a Precise XC Functional

Deep Learning of Wave Function toConstruct a Precise XC Functional

人工知能（AI）による創薬とは？
創薬のあらゆる領域において、 AI が既に活用されている！
今日のトピックス
分子設計（I）
タンパク質のアミノ酸配列（入力自体は立体構造ではない！）から、結合サイトとリガンドを Identify（Affinity）する！

分子設計（II）
タンパク質・化合物の複合体 3D Structural Docking Simulation
タンパク質と化合物のAffinity
医薬品の電子構造：

薬理効果、PK and PD、安全性、分子設計（III）→ 様々な性質（Properties）を理解するための基礎→ Screening and Reactivity の探索における基盤
創薬のためのターゲットの探索 → Genome Science の応用も！

Transcriptome, Proteome, Interactome, Epigenetics, etc.

Manifold-Based Geometrical Techniques
Manifold Embedding of Biological Multi-Modal Data
Multi Modal Data
Patch Clump and RNA-Seq
Aim :a deeper understanding of underlying
complex mechanisms across scales forphenotypes
Method :an interpretable regularized learningmodel, deepManReg

Single Cell Multi-Modal Data (Patch-Seq Data)
including transcriptomics and electrophysiology
for neuronal cells in the mouse brain

Manifold-Based Geometrical Techniques
Data source: multi-modal data from mouse brain neuronal cells

Mouse visual cortex•

Gene expression(4020 neurons)•

Electrophysiology
Multi-modal feature

Classification

Findings:(brain layer and electrophysiological property)

Neurons can be defined into 28 types
Distinguished by their layer-specific connection patterns

Curved Space（曲がった空間）
曲がった空間における平行移動は可能か？

北極点
𝒗’𝟐
𝒗’𝟏

地球の表面において，
𝒗𝟏 ：赤道上の点 O における、経線方向の接線ベクトル𝒗𝟐 ：赤道上を移動し、点 O' から
経線方向の接線ベクトル

これらのふたつの接線ベクトル𝒗’𝟏 ，𝒗’𝟐 が北極点に移動した後に、それらのベクトルの向きを比較すると、大きく異なる！
→ 空間の曲率 → 曲がった空間！

赤道

O

𝒗𝟏

𝒗𝟐

O'

Curved Space（曲がった空間）
曲がった空間における微分は可能か？

𝒆𝟐

Tangent Plane（接平面 ） : 𝑇𝑥 (M)曲面 M における、ある点 x での接平面
Tangent Space（接空間）:
Tangent Planes の集合

TM

Tangent Vector Bundle（接ベクトル バンドル）

曲面 M

x

●

𝒆𝟏
⊿𝒔

𝒆′𝟐
●

x' 𝒆′
𝟏
𝒓
𝜃

𝒓′

●

O
𝒆𝟏 , 𝒆𝟐 ：点 x におけるTangent Plane の Basis Set

𝒆′𝟏 , 𝒆′𝟐 ：点 x’ におけるTangent Plane の Basis Set

Curved Space（曲がった空間）
曲がった空間における微分は可能か？

𝒆𝟐

曲面 M における Vector Field 𝒖 において、曲線C 上の位置がパラメータ t によって決められているとし、これを 𝒖 𝑡 と記す。
ここで 𝒖 𝑡 を Tangent Plane の Basis Set によって展開すると、

曲面 M

x

●

𝒆′𝟐

𝒆𝟏
⊿𝒔

●

x' 𝒆′
𝟏
𝒓
𝜃

𝒓′

●

O
𝒖 𝑡

= ෍ 𝑢𝜇 𝒆𝝁= 𝑢𝜇 𝒆

C
𝝁

𝜇

𝒆𝜶
A
●

と書ける。ただし右辺は、Einstein’s Summation
Conventionを用いた（→ Suffices が上下に揃う
場合には、Summation の記号 Σ を略する）。

A'
●

𝒆′𝜶

𝒖(𝒕)
𝒖(𝒕 + 𝜺)Curved Space（曲がった空間）
曲がった空間における微分は可能か？

𝒆𝟐

曲がった空間における Basis 𝒆𝝁 の（ 𝒆𝛼 の方向への）微分は、
𝒆𝝁 𝑡 + 𝜀 − 𝒆𝝁 || (𝑡; 𝜺)∇𝑒𝛼 𝒆𝝁 = lim
𝜺 →0
𝜺

曲面 M

x

●

𝒆′𝟐

𝒆𝟏
⊿𝒔

●

x' 𝒆′
𝟏
𝒓
𝜃

𝒓′

●

O
と書ける。よって、左図（u(t) の微分を示す）において緑色の無限小ベクトルをBasis 𝒆𝝁 に応用し、
𝜺 ∇𝑒𝛼 𝒆𝝁と与えられる。微分は Tangent Space 上に存在す
る。

C
𝒆𝜶
A
●

A'

𝒆′𝜶
𝒖|| 𝒕; 𝜺𝒖(𝒕)𝜺 ∇𝑒𝛼 𝒖 𝒖(𝒕 + 𝜺)●Curved Space（曲がった空間）
曲がった空間における微分は可能か？

𝒆𝟐（再掲） Vector Field 𝒖 𝑡
x
𝜇

曲面 M

●

𝒆′𝟐

𝒆𝟏
⊿𝒔

●

x' 𝒆′
𝟏

𝜇

𝒖 𝑡 = ෍ 𝑢 𝒆𝝁 = 𝑢 𝒆𝝁𝜇

このとき 𝒖 𝑡 の微分は、Leibnitz’s Rule (Chain
Rule) により∇𝑒𝛼 𝑢 𝑡 = ∇𝑒𝛼 𝑢𝜇 𝒆𝜇

𝒓
𝜃

𝒓′

●

O

C
𝒆𝜶
A
●

A'
●

= (𝜕𝛼 𝑢𝜇 )𝒆𝝁 + 𝑢𝜇 (∇𝑒𝛼 𝒆𝜇 )を得る。ここで第２項も Basis Set {𝒆𝛽 } で展開し、𝒖(𝒕)𝜺 ∇𝑒𝛼 𝒆𝝁𝒆′𝜶𝒖|| 𝒕; 𝜺𝒖(𝒕 + 𝜺)Curved Space（曲がった空間）
曲がった空間における微分は可能か？
𝜇

そのために 𝒆𝛽 の係数を Γ𝛽𝑎 とおくと、
𝛽∇𝑒𝛼 𝒆𝜇 = Γ𝜇𝛼 𝒆𝛽と書ける。よって、∇𝑒𝛼 𝑢 𝑡 = ∇𝑒𝛼 𝑢𝜇 𝒆𝜇𝜇

定義により明らかなように Γ𝛽𝑎 は本来𝜇Γ 𝛽𝑎 と書くべきであるが、スペースの節約のために以下では左のように表記する。

= (𝜕𝛼 𝑢𝜇 )𝒆𝝁 + 𝑢𝜇 (∇𝑒𝛼 𝒆𝜇 )となるから、ここで上式を代入し、
𝜇= (𝜕𝛼 𝑢𝜇 )𝒆𝝁 +𝑢𝛽 Γ𝛽𝛼 𝒆𝜇

C
𝒆𝜶
A
●

●

となり、整理すると𝜇= (𝜕𝛼 𝑢𝜇 + 𝑢𝛽 Γ𝛽𝛼 ) 𝒆𝜇

を得る。

A'

𝒖(𝒕)
𝜺 ∇𝑒𝛼 𝒆𝝁𝒆′𝜶𝒖|| 𝒕; 𝜺𝒖(𝒕 + 𝜺)Curved Space（曲がった空間）
曲がった空間における微分は可能か？
これを整理すると結局のところ、∇𝑒𝛼 𝑢 𝑡 = ∇𝑒𝛼 𝑢𝜇 𝒆𝜇𝜇

定義により明らかなように Γ𝛽𝑎 は本来𝜇Γ 𝛽𝑎 と書くべきであるが、スペースの節約のために以下では左のように表記する。

𝜇= (𝜕𝛼 𝑢𝜇 + 𝑢𝛽 Γ𝛽𝛼 ) 𝒆𝜇

ここで𝜇(definition) =𝑢;𝛼 𝒆𝜇Cと書く。すなわち、微分の成分は
𝜇𝜇(definition) 𝑢;𝛼 = 𝜕𝛼 𝑢𝜇 + 𝑢𝛽 Γ𝛽𝛼によって与えられる。これを特に CovarianceDifferentiation（共変微分）という。

𝒆𝜶
A
●

A'
●

𝒖(𝒕)
𝜺 ∇𝑒𝛼 𝒆𝝁𝒆′𝜶𝒖|| 𝒕; 𝜺𝒖(𝒕 + 𝜺)Curved Space（曲がった空間）
曲がった空間における微分は可能か？

𝒆𝟐

Vector Field 𝒖 𝑡
x
𝜇

曲面 M

●

𝒆′𝟐

𝒆𝟏
⊿𝒔

●

x' 𝒆′
𝟏

𝜇

𝒖 𝑡 = ෍ 𝑢 𝒆𝝁 = 𝑢 𝒆𝝁𝜇𝒓𝜃∇𝑒𝛼 𝑢 𝑡 = ∇𝑒𝛼 𝑢𝜇 𝒆𝜇𝜇𝜇𝛽= (𝜕𝛼 𝑢 )𝒆𝝁 + (𝑢 Γ𝛽𝛼 )𝒆𝜇

𝒓′

●

O

C
𝒆𝜶
A
●

𝒖 𝑡 のこの形の微分を特に共変微分という。上式にLeibnitz’ Rule (Chain Rule) をapply すればよい。このように曲がった空間における微分は、通常の微分に「Basis Set に対する微分」を加えることで得られる。

A'
●

𝒖(𝒕)
𝜺 ∇𝑒𝛼 𝒆𝝁𝒆′𝜶𝒖|| 𝒕; 𝜺𝒖(𝒕 + 𝜺)Curved Space（曲がった空間）
曲がった空間における微分は可能か？

𝒆𝟐

Vector Field 𝒖 𝑡
x
𝜇

曲面 M

●

𝒆′𝟐

𝒆𝟏
⊿𝒔

●

x' 𝒆′
𝟏

𝜇

𝒖 𝑡 = ෍ 𝑢 𝒆𝝁 = 𝑢 𝒆𝝁
𝒓

𝜇

𝜃

𝜇

∇𝑒𝛼 𝑢 𝑡 = (𝜕𝛼 𝑢𝜇 )𝒆𝝁 + 𝑢𝛽 Γ𝛽𝛼 𝒆𝜇

𝒓′

●

O

C
これは以下のスローガンに整理できる！

𝒆𝜶
A
●

A'
●

∇𝑒𝛼 𝑢 𝑡 =

𝜕 + Γ

𝒖(𝒕)
（ 普通の微分） +（Basis Set の微分）𝜺 ∇𝑒𝛼 𝒆𝝁𝒆′𝜶𝒖|| 𝒕; 𝜺𝒖(𝒕 + 𝜺)Curved Space（曲がった空間）
曲がった空間における平行移動は可能か？

北極点
𝒗’𝟐
𝒗’𝟏

地球の表面において，
𝒗𝟏 ：赤道上の点 O における、経線方向の接線ベクトル𝒗𝟐 ：赤道上を移動し、点 O' から
経線方向の接線ベクトル

これらのふたつの接線ベクトル𝒗’𝟏 ，𝒗’𝟐 が北極点に移動した後に、それらのベクトルの向きを比較すると、大きく異なる！
→ 空間の曲率 → 曲がった空間！

赤道

O

𝒗𝟏

𝒗𝟐

O'

Curved Space（曲がった空間）
曲がった空間における微分は可能か？
𝜇
Γ𝛽𝛼 ：

𝒆𝟐

接続係数（Christoffel Symbol）

Riemann 接続： Basis Set 間の平行移動を Christoffel Symbolによって定義する（Riemann 多様体）。
・前述のように、経路によってベクトルの平行移動の結果は異なる。それに対応して共変微分もまた非可換である。これは空間の曲率によるものである。
・そこで閉じた経路を１周したときに生じる、ベクトルの平行移動の差によって曲率テンソルを定義する（Riemann Curvature Tensor）。

注）Christoffel Symbol 自体は Tensor ではないが、例えば接続係数の差（変分など）を考えると Tensor となり得る。

曲面 M

x

●

𝒆′𝟐

𝒆𝟏
⊿𝒔

●

x' 𝒆′
𝟏
𝒓
𝜃

𝒓′

●

O

C
𝒆𝜶
A
●

A'
●

Ex)
電磁場におけるゲージ場は接続に相当し、具体的には（電磁場における）Vector Potential A𝜇 が接続を構成する。
このようにして、曲がった空間における微分や曲率を定義できる！

𝒖(𝒕)𝜺 ∇𝑒𝛼 𝒆𝝁𝒆′𝜶𝒖|| 𝒕; 𝜺𝒖(𝒕 + 𝜺)Manifold-Based Geometrical Techniques
Manifold Embedding of Biological Multi-Modal Data
Multi Modal Data
Patch Clump and RNA-Seq
Aim :a deeper understanding of underlying
complex mechanisms across scales forphenotypes
Method :an interpretable regularized learningmodel, deepManReg

Single Cell Multi-Modal Data (Patch-Seq Data)
including transcriptomics and electrophysiology
for neuronal cells in the mouse brain

Manifold-Based Geometrical Techniques
Data source: multi-modal data from mouse brain neuronal cells

Mouse visual cortex•

Gene expression(4020 neurons)•

Electrophysiology
Multi-modal feature

Classification

Findings:(brain layer and electrophysiological property)

Neurons can be defined into 28 types
Distinguished by their layer-specific connection patterns

Manifold-Based Geometrical Techniques
Data source: multi-modal data from mouse brain neuronal cells

Characterized types→ Congruent met-types
1)

electrophysiologicaland2) transcriptomic
properties↓
Different met-types innervate
different cortical layers

Manifold-Based Geometrical Techniques
Overview of deepManReg
Phase 1

Concatenate
NN outputs

Embedding in
Stiefel manifold

Similarity
between features

1) Alignment of multimodal features onto acommon latent space2) Embedding of data as
points on the Stiefel
manifold based on a setof orthonormal vectors
Phase 2
Classification

Manifold-Based Geometrical Techniques
deepManReg: Phase 1
1) Alignment of multimodal features onto acommon latent space

Samples:Single cells of neurons
in mouse visual cortex
Sample (3,654)

2) Embedding of data as
points on the Stiefel
manifold based on a setof orthonormal vectors

Modal 1:
Gene

(500)

Gene expression
Sample364E.feat 𝑗

512

(41)

3654

E-feature Electrophysiological features

E-feature

Modal 2:E-feature

Gene

3

64

512

Gene 𝑖

3654

Sample (3,654)

GeneEmbed dimGene 𝑖E.Feat 𝑗

Laplacian eigenmaps

Manifold-Based Geometrical Techniques
Phase 1: Manifold Alignment, Canonical Correlation Analysis (CCA)

see a description written by Chang Wang,
Peter Krat, and Sridhar Mahadevan.
https://people.csail.mit.edu/pkrafft/papers/wang-et-al-2010-manifold.pdf

Manifold-Based Geometrical Techniques
Phase 1: Manifold Alignment, Canonical Correlation Analysis (CCA)𝑑

Cost function: Weighted Euclidean distance

Embed dimE-feature

Gene

W(i, j) =Gene 𝑖1, if Xi and Yj are correspondence to each other0, otherwise

E.Feat 𝑗

Laplacian eigenmaps
References•

Wang C, Krafft P and Mahadevanand S. Manifold Alignment. Manifold Learning: Theory andApplications, 2011. https://people.csail.mit.edu/pkrafft/papers/wang-et-al-2010-manifold.pdf•

Belkin Mikhail and Niyogi Partha. Laplacian eigenmaps for dimensionality reduction anddata representation. Neural Computation, 15 (6):1373–1396, 2003.

Manifold-Based Geometrical Techniques
Phase 1: Manifold Alignment, Canonical Correlation Analysis (CCA)𝑑

Cost function: Weighted Euclidean distance

Embed dimE-feature

Gene

W(i, j) =Gene 𝑖1, if Xi and Yj are correspondence to each other0, otherwise

E.Feat 𝑗

This problem cannot be solved directly. Herein, the orthogonal constraint is imposed,
thereby leading to avoiding the trivial solution (𝔽 = 0). Thus, manifold alignment is possible
to be performed by using Laplacian eigenmaps on the joint graph Laplacian (see a
description written by Chang Wang, Peter Krat, and Sridhar Mahadevan, as shown later).

This can be solved by
Eigen Decomposition

Laplacian eigenmaps

Manifold-Based Geometrical Techniques
Phase 1: Manifold Alignment, Canonical Correlation Analysis (CCA)𝑑E-feature

Gene

Embed dimGene 𝑖E.Feat 𝑗

これはちょうど Stiefel 多様体！
1, if Xi and Yj are correspondence to each otherW(i, j) =0, otherwise
そこで Eigen Decomp. よりも、
Stiefel 多様体の上でGradient を計算して最適化しよう！

Cost function: Weighted Euclidean distanceThis problem cannot be solved directly. Herein, the orthogonal constraint is imposed,
thereby leading to avoiding the trivial solution (𝔽 = 0). Thus, manifold alignment is possible
to be performed by using Laplacian eigenmaps on the joint graph Laplacian (see a
description written by Chang Wang, Peter Krat, and Sridhar Mahadevan, as shown later).

This can be solved by
Eigen Decomposition

Manifold-Based Geometrical Techniques
Phase 1: optimization on the manifold

E-feature

Gene𝑑Cost function

Laplacian eigenmaps
Eigen Decomposition

Embed dim(high computational cost)

Gene 𝑖↓
Optimization on the manifold

E.Feat 𝑗

Manifold Alignment
Stiefel manifold 𝑆𝑛,𝑝(Stiefel E, Commentarii Mathematici Helvetici, 1935)

Set of 𝑛 × 𝑝 matrices satisfied 𝑋 ⊤ 𝑋 = 𝕀

Feature → single point on 𝑆𝑛,𝑝

Manifold-Based Geometrical Techniques
Gradient Descent in Manifold∇𝔽෡ ℓ
𝑇𝑋 𝑆𝑛,𝑝

×

𝜋
෩𝔽෡ ℓ
∇

෡⊤ 𝐿෠ 𝔽෡) は ℝ𝑛×𝑝 上で定義されたコスト関数 ℓ 𝔽 = 𝑡𝑟(𝔽関数であり，𝑆𝑛,𝑝 上で定義されたものではない

勾配 ∇ℓ が接空間 𝑇𝑋 𝑆𝑛,𝑝 上にあるとは限らない→ 接空間上に正射影 (orthogonal projection)𝑆𝑛,𝑝𝜋: ℝ𝑛×𝑝 → 𝑇𝑋 𝑆𝑛,𝑝

Manifold-Based Geometrical Techniques
Similarity between different modal data
Similarity between features

𝔻: distance matrix
𝔻𝑖𝑗 =σ𝑘 𝔽 𝑖, 𝑘 − 𝔽 𝑗, 𝑘2Normalization(Transition probability)

A network consists ofdifferent modal features

Manifold-Based Geometrical Techniques
Phase 2: classification
Regularized Learning with Networks of Features(Sandler T et al., NIPS, 2008)

Cross
entropy

L2

5

50

200

Classification model 𝑈

541

SampleSampleE-feature

Gene

SampleRegularization

Prediction: layer in visual cortex

Manifold-Based Geometrical Techniques
deepManReg: summary• Multi-Modal なデータから，Features を抽出して、それらの類似性による
Regularization によってサンプルを分類• 異なる Modals の Features を比較するため，それらの Features を同じ空間にマップした。
Laplacian eigenmaps → Stiefel manifold (manifold alignment)• 異なる Modal の Features をひとつの空間に Embed して比較する解析法は重要！ （理論に改善の余地もある）

Manifold-Based Geometrical Techniques

Reference•

Nguyen ND, Huang J and Wang D. A Deep Manifold-regularized Learning
Model for Improving Phenotype Prediction from Multi-modal Data. Nature
Computational Science, 2022.

•

Wang C, Krafft P and Mahadevanand S. Manifold Alignment. Manifold Learning:
Theory and Applications, 2011. https://people.csail.mit.edu/pkrafft/papers/wang-etal-2010-manifold.pdf•

Belkin Mikhail and Niyogi Partha. Laplacian eigenmaps for dimensionality
reduction and data representation. Neural Computation, 15 (6):1373–1396, 2003.

•

Bonnabel S. Stochastic gradient descent on Riemannian manifolds. IEEE
Transactions on Automatic Control, 2013.

•

杉田勝実, 岡本良夫, 関根松夫. 理論物理のための微分幾何学. 森北出版, 2007.

Our Tactics
Various Properties and Features
in Physics, Chemistry, and Biology
Deep Learning (DL) AI Systems andMachine Learning (ML) Techniques
Data Analysis on Curved, General
Spaces (e.g. the Riemann Manifold)→ Unification of Multimodal Data

Ex) Multi Omics Data, etc.

Multi-Scale Computer Simulations→ Data AugmentationEx) Quantum Simulation, Non-Equilibrium
Molecular Dynamics (MD) Simulation, etc.

Fundamentals and Principles
in Natural Sciences

Fundamental Mathematical and Physical Sciences
Oriented to Joined AI and First Principles-Driving DD Works
主な内容

Fundamental Lecture
数学・基礎

教科書

複素数
Fourier Analysis
多変数関数の微積分 Vector Analysis
線形代数・基礎
主な内容

物理学・基礎 力学・解析力学
電磁気学
熱力学
統計物理学
量子物理学
数理統計学・
基礎

物理のための数学（岩波物理入門コース）
物理の数学 (岩波基礎物理シリーズ )1冊でマスター 大学の線形代数

教科書

参考書

物理学（サイエンス社）
よくわかる解析力学
基幹物理学（培風館）
理論電磁気学
マッカーリ and サイモン 物理化学―分子論的アプローチ
マッカーリ and サイモン 物理化学―分子論的アプローチ
マッカーリ and サイモン 物理化学―分子論的アプローチ

場とは何か？
空間とは何か？
Practical Training Course of Computational Analysis
1冊でマスター 大学の統計学

Linux
Architecture of Supercomputer and Operating System (OS)Machine Learning Database Management System（DBMS）and Singular Value Decomposition (SVD)
Deep Learning (AI)Neural Network System for Pattern Recognition
Computer Graphics
Visualization (CG) of Molecular Interactions of Protein and Compounds

State Space Model  状態空間
Curved Space  曲がった空間
な空間の方がMD and ML Seminars （Flat
参考書
主な内容
教科書 “まれ” なのかも！？）PyQ +TextBook
Molecular Dynamics
Quantum Chemistry
MachineLearning

タンパク質計算科学 ― コンピュータ・シミュレーションの基礎（第2版）: 分子のミクロな性質
基礎と創薬への応用を解明するために新しい量子化学―電子タンパク質密度汎関数法
構造の理論入門〈上〉
scikit-learn と TensorFlow による実践機械学習

ベイズ深層学習資料

Manifold-Based Geometrical Techniques
Phase 1: Manifold Alignment, Canonical Correlation Analysis (CCA)
Ex) Instance Recognition
Similar Image Search Efficient methods employing a Hash Table

1) Measurement of the distances between a query and all data in a
database.
2) Sort of the data in the database according to the distances measured.

Spectral Hashing :Ref) Weiss, Y., Torralba, A., and Fergus, R., Spectral Hashing,In NIPS (2008).

1) Alignment of multimodal features onto acommon latent space2) Embedding of data as
points on the Stiefel
manifold based on a setof orthonormal vectors

Laplacian eigenmaps

Ref) (found in this paper)
1) Hotelling Harold, “Relations between two sets of variates”. In Breakthroughs in statistics, pages 162–190.
Springer, 1992.
2) Nguyen Nam D and Wang Daifeng, “Multiview learning for understanding functional multiomics”. PLoS
computational biology, 16 (4):e1007677, 2020. [PubMed: 32240163]

Manifold-Based Geometrical Techniques
Manifold
Topological space

A geometrical space which “closeness” (topology) can be defined for eachpoint as a set of open sets (neighborhoods)• Example of topology: distance (metric topology)

Manifold
A topological space in which a topology-preserved bijective map

𝜑: 𝑈 → ℝ𝑛 from a neighborhood of each point 𝑈 to Euclidean space ℝ𝑛• Map 𝜑 is called local coordinateshttps://en.wikipedia.org/wiki/Manifold
https://en.wikipedia.org/wiki/Differentiable_manifold• Example of manifold: 2-dimension sphere 𝕊2

Manifold-Based Geometrical Techniques
Embedding in Stiefel manifoldℝ𝑛𝑝

𝑛 × 𝑝 行列 ℝ𝑛×𝑝 は適切に位相を定めることで，ℝ𝑛𝑝 に埋め込める
Stiefel 多様体 𝑆𝑛,𝑝 は ℝ𝑛𝑝 内の部分空間として埋め込まれるdim 𝑆𝑛,𝑝 = 𝑛𝑝 −𝑝(𝑝+1)
2

ここでは，ℝ𝑛𝑝 及び 𝑆𝑛,𝑝 の位相として Euclid 距離（Frobenius norm） ⋅ 𝐹 による位相を用いた

An element in the Stiefel manifold 𝑆𝑛,𝑝 is defined as (W; ei , … , ep ), i.e.,
the p dimensional Real Vector Subspace W (⊂ ℝ𝑛 )in the n dimensional Real Vector Space ℝ𝑛 ,with the Orthonormal Basis Set { ei } (i = 1, … p), ei ∈ ℝ𝑛 .

Manifold-Based Geometrical Techniques
Projection to Stiefel manifold𝑑E-feature

Gene

Embed dimGene 𝑖ℝ𝑛𝑝

𝔽 はDNNからの出力。
ℝ𝑛𝑝 内にはあるが 𝑆𝑛,𝑝 内には無い
前述の位相を用いて𝔽 からの距離が最短である 𝑆𝑛,𝑝 内の点に射影（正射影）E.Feat 𝑗

Solution𝜋Manifold-Based Geometrical Techniques
deepManReg: algorithm
Input data 𝑋, 𝑌↓
Concatenate NN output[𝑓 𝑋 𝑔 𝑌 ]↓෡)𝑆𝑛,𝑝 に正射影 (𝔽↓コスト関数 ℓ を計算↓
෡ で偏微分 (∇𝔽෡ ℓ)
𝔽↓
接空間に正射影 𝑝𝑡↓
勾配降下法で𝑓, 𝑔 のパラメータを更新