言語モデルを用いた細胞シミュレーションとデータ統合
トーゴーの日シンポジウム2023
日本科学未来館
2023年10月５日
岡田眞里子
大阪大学蛋白質研究所

数理モデルは生命のダイナミクスを表現し、制御機構の理解と操作の手助けをする
細胞の数理モデリング(常微分方程式(ODE)モデル)

GWAS

トランス D
クリプトームGWAS

EGF : phospho-receptor

EGFR phosphorylation(fold change)

10・多様な実験データを統合、解析できるメカニズムの同定が可能
・通常のAIと異なり、解釈しやすい

8


64SK20

HRG : phospho-receptor
10ErbB2 phosphorylation(fold change)

エピゲノム

01020

D 815

phospho-ERK(fold change)

2060,

1502030240

5060708090

Time (min)Time (min)10Conc(x), ka, kd

Km ,Vmax
01020 3040 50 60 70
Time (min)8040210 2030

40 50 60
Time (min)520301510203040505405060

7080900

生化学計測

10 2030

V60708090

微生物の全細胞モデルの構築(Covert, 2012,   2020)

40 50 60
Time (min)70 80

907090

HRG : phospho-Akt
201515

phospho-Akt(fold change)

phospho-Akt(fold change)

WTime (min)10

EGF : phospho-Akt
2030

HRG : phospho-ERK0Time (min)分子構造A

20001090

Time (min)

500

70 80

2090

phospho-ERK(fold change)

phospho-ERK(fold change)

6100細胞株

015phospho-Akt(fold change)

phospho-Akt(fold change)

3015

EGF : phospho-ERK
51050HRG : phospho-Akt
20010

EGF : phospho-Akt

15810G10Hanahan & Weinberg 2000

数理モデル

30Time (min)

5020

1020

ΔKD10

HRG :HRG
phospho-ERK: phospho-receptor

20104202300
細胞イメージング（定量・細胞局在）
ka, 20kd,010

ここ１０年で様々な生命データベースが整備
詳細な細胞モデリングが可能に
薬剤応答

4Time (min)10

EGFR phosphorylation(fold change)A  

60

EGF : phospho-receptor
EGF : phospho-ERKSK

8ErbB2 phosphorylation
phospho-ERK(fold change)(fold change)ゲノムがん臨床オミクスデータベース 

網羅的オミクスデータ
 

1010505001020 3040 50 60 70
Time (min)8090010203040506080

Time (min)

抗ErbB3抗体
Seribantumab(MM-121)の開発

薬の毒性評価もイン・シリコ(米国FDA)

https://www.simulations-plus.com/

既存データを使いリアル実験前にシミュレーションで最適な候補を絞る

臨床試験(Phase II)
への決断は
イン・シリコ計算で(Schoeberlら 2017)2分子活性の有無ではなく、ダイナミクスが細胞運命を決定

Multipotency and fate in neural progenitors

Imayoshi et al. Science 2013

Epigenetic reprogramming in macrophages

Cheng et al. Science 2021
3Isomura, and Kageyama Development 2014;141:3627-3636

NF-kB 転写因子の数理モデル解析
Elucidating the Mechanisms Behind Dynamics
B
mb-1 Cre/TAK1 +/+ mb-1 Cre/TAK1 F/F

MALT1

PKCβ

BCL10BCR

S668
PCARMA1CARMA1

R F-κBDF N

Genesymbol

P
CARMA1P
S578
P

TAK1

TAK1Nex
P

IKK

IKK

P

IKK
P P

C

NFκB

Cytosol
Nucleus

NFκB
target genes

ge

tar

Number of genes

A

NFκB

B-cell expansion

Shinohara et al. Science 20144

がんシグナルネットワークの数理モデル
多様な時系列変化を示すサブネットワークの集合体
Frizzled

WNT

Disheveled

Anti-growth factors(e.g. TGFβ)

GSK-3β
TCF

APC
Cells

β-CateninE-Cadherin
CdC42

ECM

FAK
Src

NF1
Growth Factors(e.g. TGFα)

RTKCas

RbRas

PKC

Mos

MKKs

JNKs

Raf

MEK

MAPK

MAPK
Elk
Mad:Max

MEKK

Myc:Max

Abl
Hormones(e.g. Bombesin)

CdC42
7-TMR

CyclD:CDK4

Crk

PLC

Fyn
Shc

Grb2
SOS

p16

Rac

PI3K

Integrins

G-ProtRac

Ad Cycl

p15

HPV E7

E2Fs

JunFosp27
Cycl E:CDK2

Changes
In GeneExpression

Smads

Cell
Proliferation(Cell Cycle)

p21
DNA damage
sensor
p53

Rho

PKA

CREB

(e.g. Estrogen)

ARF

MDM2Bax

NHR (e.g. ER)
PKCSurvival Factors(e.g. IGF1)

TGFβR

β-Catenin:TCF

RTKPI3K

Akt

NF-κB
Akkα

NF-κB

Mitochondria

Stat 3,5
Cell Death(Apoptosis)

IκB

ErbB receptor pathway
Hatakeyama, et al. Biochem. J. 2003
Birtwistle, et al. Mol. Syst. Biol. 2007
Nakakuki, et al. Cell 2010
Imoto, et al. Cancers 2020
Imoto, et al. iScience 2022

Bcl 2
FADD

Caspase 8

NF-kB pathway
Shinohara, et al. Science 2014
Inoue, et al. npj Syst. Biol. Appl. 2016
Michida, et al. Cell Rep. 2020
Ando, et al. npj Syst. Biol. Appl. 2021
Wibisana, et al. PLoS genetics, 2022
Tabata, et al. bioRxiv 2023.

Stat 3,5?

Caspase 9

PTEN
Stat 3,5

Bcl XL
BadJaks
Cytokine R

Abnormality
sensorCytochrome C
Mitochondria

FAP

FasDecoy R

Bcl 2
BidBim, etc

Cytokines(e.g. IL-3/6)

Adapted from Hanahan & Weinberg, Cell (2000)

DeathFactors(e.g. FasL)

Cell cycle regulation
Imoto, et al. Curr. Syst. Biol. 2018
Ichikawa, et al. in prep.
TGFb pathway
Haga, et al. iScience, in revision.
5数理モデリングの計算ツールの開発
1. Model construction
2. Parameter Estimation
3. Sensitivity Analysis

パラメータフィッティング

Hiroaki Imoto

感度解析

Modeling and Analysis of Signaling Systems

https://github.com/okadalabipr/biomass

Imoto et al. Cancers 2020
Arakane et al. Submitted

61,290 downloads after release

細胞・疾患モデリングに必要な情報
ネットワーク

パラメータ

初期値

𝑑𝑥
= 𝑆 & 𝑣 𝑥, 𝜃 , 𝑥 0 = 𝑥!
𝑑𝑡

ProProtein levelte
Pro in Ate
Pro in Bte
Pro in C
teinD

DC

neGe

Ge

𝑘$%&

nene②

GeCA

D

B

𝑘!##

ne+

Ge𝑘!"

mRNA level①AB

初期値

パラメータ

ネットワーク

自動化できないか

文献またはデータベースから構築

Ebata et al. FEBS J. 2021

時系列データから予測分子間相互作用のシミュレーション

遺伝子発現量
タンパク量のデータベース

7数理モデリング研究におけるボトルネック
シミュレーション研究の流れ
計測データ

実験モデリング
シミュレーション

予測
新規仮説

検証
次なる実験計画![#$%&]= *+ ,$% − !! #$%&!(![.20]*31 #$%& [56.20] *32 #$%. [56.20]= *1 ,$% .20 ++!(
7%! + [56.20]
7%1 + [56.20]![#$%.]*%1[.20]=− !1[#$%.]!(
71 + [.20]![56]*3[356]*31 #$%& 56*32 #$%. 56=−+− !8[56]!(783 + [356]7%! + 56
7%1 + 56

解決すべきボトルネック
Biological event

細胞内の⽣化学反応!!
PIP3 + PTEN

Rate Equation!#PIP3:PTENImplementation

PIP2 + PTEN!! = #$! % PIP" % PTEN − #,! % PIP" : PTEN!# = #$# % PIP" : PTEN
Ordinary Differential Equation

Description![PIP"]⁄!& = −*!
![PTEN]⁄!& = −*! + *#PIP3 binds PTEN --> PIP3-PTEN
PIP3-PTEN releases PIP2 and PTEN | kr=0

文献情報・データベース![PIP": PTEN]⁄!& = *! − *#![PIP#]⁄!& = *#微分⽅程式⽣成・論文情報やデータベースなど知識の収集
・生物学知識を数理モデルとして記述

分⼦シミュレーション

分⼦シミュレーションを組み合わせ
薬剤の⾃動設計(理研・泰地らとの共同研究)

8Text2model: Modeling from biochemical text
数式を入力しないで数理モデルを構築

phosphorylation

cmyc_network.text fileText2model: Modeling from biochemical text
数式を入力しないで数理モデルを構築
Pattern matching between text and equations
Event & Word+ BAAB

A binds B --> ABRate equation
Mass actionv = kf [A][B] – kr [AB]Hiroaki Imoto

Mass balanced[A]/dt = – v
d[B]/dt = – v

Biological event

d[AB]/dt = + v
PIP3 + PTEN

Mathematicalmodeling platform

Rate Equation!#PIP3:PTEN

PIP2 + PTEN

BAA P

B phosphorylates A --> ApAA P

Ap is dephosphorylated --> AB

Michaelis-Menten equationv = V [B][A] / (K + [B])Michaelis-Menten equationv = V [Ap] / (K + [Ap])d[A]/dt = – v
d[Ap]/dt = + v

d[A]/dt = + v
d[Ap]/dt = – v

B transcribes ad[a]/dt = + v!# = #$# % PIP" : PTEN![PIP"]⁄!& = −*!

Description![PTEN]⁄!& = −*! + *#PIP3 binds PTEN --> PIP3-PTEN
PIP3-PTEN releases PIP2 and PTEN | kr=0

Model construction
ErbB1

ErbB2

RasGAP

ShcGrb2

v = V [B]n / (Kn + [B]n)!! = #$! % PIP" % PTEN − #,! % PIP" : PTEN

Ordinary Differential EquationEGFaHill equation

A Python framework for
Modeling and Analysis ofSignaling Systems

Implementation!!

![PIP": PTEN]⁄!& = *! − *#![PIP#]⁄!& = *#Parameter estimation

HRG
ErbB3
Gab1

PTP-1B

ErbB4
PIP2

PI3KSOSPTEN
PIP3

PI3K/Akt pathway →aA

a is translated into A

Ras

First-order kinetics

v = kf [a]d[A]/dt = + v← MAPK pathway

Raf

Sensitivity analysis

AktMEK

https://github.com/okadalabipr/biomass

Imoto et al., Cancers 2020

GSK3βAA is synthesized

Zero-order kinetics

d[A]/dt = + vv = kf

ERK: Measured

DUSP
c-Myc

319 rate equations
228 species
648 parameters

大規模なODEモデルの構築に威力を発する
Imoto et al. iScience 2022

患者ひとりひとりの遺伝子発現データをモデルに与えIn silicoの分子活性ダイナミクスから予後予測
TCGA乳がん遺伝子発現データ(n=377)

1.0

1TCGA.A2.A04U.01A

2Z−score420−2−4

TCGA.3C.AALK.01A

1335

TCGA.BH.A0HA.01A

Subtype

Prognosis

pERK_EGF_max

pc−Myc_EGF_max

pAkt_EGF_max

pAkt_HRG_max

pERK_HRG_max

pc−Myc_HRG_max

45

TCGA.A2.A0YC.01A

Survival probability

24Subtype-4-4LumA
Prognosis(Year)
LumB
Prognosis
Prognosis
Her22020
Basal
1515
Normal101055000.9+0.8

Strata0.70-2-2

TCGA.EW.A6S9.01A+0.6

Prognosis
20Z-scoreZ-scoreZ-score15441025 200 06

患者ごとの分子活性のシミュレーション結果

ー EGF
ー HRG

pMyc
Survival probability

pERKTCGA.BH.A0C3.01A+ Cluster=1+ Cluster=2

Subtype
Subtype
Subtype
LuminalLumA A
LumA
Luminal B
LumB
LumB
HER2+Her2
Her2
Basal-like
Basal
Basal
Normal-like
NormalNormal5+ Cluster=1+ Cluster=2+ Cluster=3+ Cluster=41520+10Cluster=5Year+ Cluster=612

1.0
7.5++Cluster
1++ 2+TCGA.B6.A0I6.01A
TCGA.BH.A18V.06A
TCGA.EW.A1P4.01A

0.95.0EGFRpAKT

膜受容体比が予後に関連
StrataTriple negative (TNBC) 予後分類

TCGA.AR.A1AI.01A

shapeelse

2.50.8+ sa
TCGA.A8.A07C.01A
TCGA.A2.A04U.01A

0.00.74812

ERBB2+ERBB3+ERBB4

0.66

ダイナミクスそのものが疾患のバイオマーカーとなり得る

EGFRキナーゼ阻害剤への05101520
応答予測・検証Year
11esxxxxxx

7

Imoto et al. iScience 2022, STAR Protocols 2023

自然言語処理(NLP)を用いた数理モデリング
Data Source

Text2Model

Executable modelIntermediate language(1) Databases(2) Literatures

A Python framework for
Modeling and Analysis ofSignaling Systems

Imoto et al., Cancers (2020)

・Detailed balance・Parameter optimization
・Sensitivity analysis
eg: GPT3
2.1. Large Language Model (LLM)
2.2. Distant Supervision（遠距離教師あり学習)

Simulation (validation)

(1) KEGG2Model
Text-Mined
Knowledge
Pathway Structure

Kiwamu Arakane

Highlight & Extract
Context-Dependent
PubMed全件
Subpathways
アブスト

KEGG ErbB pathway
in KGML format

Context-dependent pathway

Transfer to Python format(General pathway)

MDA-MB-231

Parameter fitting

Convert to Text2Model format
MDA-MB-231 MCF-7

Arakane et al.
Submitted

P-ERK

P-AKT

MCF-7– EGF – HRG
P-MYC

(2) 文献からのネットワーク構築: 主な２つの手法
Follow the Pyramid Step-by-Step

2. Harness the Power of LLMs

B

B

A
B
A

=A

CA

Gene A

ネットワークの再構成

B P

反応形式の同定
相互作用の同定

B
A

Gene B=B

遺伝子名の定義[Gene A] binds and phosphorylates [Gene B]

C

Large
Language
Models論文からの遺伝子抽出

Adapted from: Li, C., et al. Briefings in Bioinformatics, 2013.

14

(2) 文献からのネットワーク構築: 主な２つの手法
Follow the Pyramid Step-by-Step

Harness the Power of LLMs

BBAAB
A

Gene A=ACB PBA

Gene B=BC

Large
Language
Models[Gene A] binds and phosphorylates [Gene B]
Adapted from: Li, C., et al. Briefings in Bioinformatics, 2013.

15

(2.1) LLM using GPT3 (text-davinci-003)
Task
EGFR-Rasカスケードのモデル論文

Given the current state of a list and a prompt, extrapolate as many reactions ofmolecules as possible from the prompt and update the list. Every line in the listcontains gene names which act as the reactants and type of reaction of the left andproducts on the right, connected with different types of arrows depending on thereversibility of the reaction.

Task of example
current state:[A binds B <--> AB
AB phosphorylates C --> pC
pC is dephosphorylated --> C]←Input-Output format of
Text2Model

prompt: The phosphorylated protein C exhibits kinase activity and phosphorylates its
substrate D...
new state:[A binds B <--> AB ...
]←prompt←Text2Model-format output

Problemcurrent state:[EGF binds EGFR <--> Ra
Ra dimerizes <--> R2
R2 is phosphorylated --> RP
RP is dephosphorylated --> R2]

16←Input a text

prompt: In step 1, EGF binds to the extracellular domain of the monomeric EGFR
(designated as R in the kinetic scheme) and forms the EGF·EGFR complex(designated as Ra). EGF binding drives...

Kholodenko et al., 1999

(2.1) Result: LLM-based model
1
2
3
4
5
6
7
8
910
11
12
13
14
15
16
17
18
1920
21
22
23
24
25

EGF binds EGFR <--> RaRa dimerizes <--> R2
R2 is phosphorylated <--> RP
Network given from the text
RP is dephosphorylated --> R2
RP binds PLCg <--> RPL
RP phosphorylates PLCg --> RPLP# RPL is phosphorylated <--> RPLP
EGF
EGFR
RPLP is dissociated into RP and PLCgP
1
RPPLCgP is dephosphorylated --> PLCg
RPLP
6RaRa
7
RP binds Grb2 <--> RG
25
2RPL
PLCγP_I
PLCγP
RG binds SOS <--> RGSR58
RGS is dissociated into RP and GS
23
4PLCγ
GS is dissociated into Grb2 and SOS# missing13
RP
RP binds Shc <--> RSH# RShRSH
RP phosphorylates Shc --> RShP
# RSh is phosphorylated <--> RShP
9Shc
RShP is dissociated into ShP and RP
1416
ShP is dephosphorylated --> Shc
15
RShPShP
Grb2RG
RShP binds Grb2 <--> RShG
# missing17
Grb2
RShG is dissociated into RP and ShG# missing
GS
21
RShG binds SOS <--> RShGS# missing
18
24
SOS
RShG
ShG
RShGS is dissociated into ShGS and RP
191012SOSSOS RP
RP
ShP binds Grb2 <--> ShG
22
ShG binds SOS <--> ShGS
112023
RShGSShGSGS
RGS
ShGS is dissociated into ShP and GSRShP binds GS <--> RShGS
Kholodenko et al., 1999
PLCgP is translocated to cytoskeletal or membrane structures <--> PLCgP_I

Simulation result
P-EGFR

Original

P-Shc

P-PLCg

EGFR-Grb2

Grb2-Shc

blue: 20nM
EGF
orange:2nM EGF

LLM

Arakane et al. Submitted.

17

(2) 文献からのネットワーク構築: 主な２つの手法
Follow the Pyramid Step-by-Step

Harness the Power of LLMs

BB

AA

B
A

Gene A=AC
B P
BA

Gene B=B

C

Large
Language
Models[Gene A] binds and phosphorylates [Gene B]
Adapted from: Li, C., et al. Briefings in Bioinformatics, 2013.

18

(2.2) 遠距離教師あり学習 (Distant Supervision)
一文中の固有表現の共起を抽出

生物医学系論文DB

遺伝子名、疾患名などの固有表現の自動アノテーション

非公開

https://www.ncbi.nlm.nih.
gov/research/pubtator/(2.2) 遠距離教師あり学習：手法非公開

(2.2) 遠距離教師あり学習：結果

非公開

(2) 文献からのネットワーク構築: 主な２つの手法
カスケード構造の構築をどうするか

B
A

C

A

B
A

Gene A=

非公開

B P
B

A

Gene B=

B[Gene A] binds and phosphorylates [Gene B]
Adapted from: Li, C., et al. Briefings in Bioinformatics, 2013.

22がんシグナルのベクトルデータベースの構築

非公開

言語をベクトル化する
加法構成性

ベクトルの和で意味を構成できる
単語や句の関係性を計算できるWikipedia などから skipgram [Mikolov
et al., 2013] で学習した分散表現では,以下の関係が時として成立する
Mikolov et al. Proc. of NAACL-HLT 2013queen
womanroyalking + (woman-man) = queen

woman + royal = queen
山際、下平（京大）

単語ベクトルにより単語間の関係性を抽出・演算する

非公開

まとめ
言語は多種多様なデータを統合できる可能性を秘める
特徴ベクトルのアナロジー計算

自然言語処理を拡張したグラフ埋め込み
データベース 通常の単語埋込み（パスウェイ （自然言語処理）オントロジー）

⾃動翻訳(word2vec, transformer）の発展

イメージング・オミクス（実験データ）

単語と画像のアナロジー計算

文献テキスト

全要旨250GB

Nat. Genet. 45, 2013

将来的には医療情報も?

BAbind 

網羅的オミクスデータ 

phosphorylate

トランス D
クリプトームGWAS

EGF : phospho-receptor

EGFR phosphorylation(fold change)

10

HRG : phospho-receptor
10ErbB2 phosphorylation(fold change)

エピゲノム

864

遺伝⼦、薬剤、相互作⽤等を表現
特徴ベクトル（関連性の近さがわかる）
20SK010420030

G1020304050

細胞イメージング（定量・細胞局在）
ka, 20kd,
010
phospho-Akt(fold change)

20607080

Time (min)EGF : phospho-Akt

2015Time (min)10EGF : phospho-ERK
5

数理モデル

3010155220

HRG :HRG
phospho-ERK: phospho-receptor

2010010Time (min)002Time (min),（京大・下平研との共同研究）

4ErbB2 phosphorylation
phospho-ERK(fold change)(fold change)

6phospho-ERK(fold change)

SKD 815

EGFR phosphorylation(fold change)

A20  

60

EGF : phospho-receptor
EGF : phospho-ERK

10830

90

81050

640

2

10 2030

40 50 60
Time (min)

70 80

90

A0HRG : phospho-Akt
200
1015

phospho-Akt(fold change)

ゲノム疾患マーカー

GWAS

共通空間

A

B

ニューラルネットワーク

20Time (min)10520

HRG : phospho-ERK30

W

代謝疾患発症

Hanahan & Weinberg 2000

⽼化

時間／年齢

生命のダイナミクスの再現
メカニズム同定・時間発展予測
VLab of Cell Systems, IPR, Osaka Univ
NLP modeling
Kiwamu Arakane (M2)
Modeling platform
Hiroaki Imoto (海外学振, UCD）
Keita Iida (Associate prof)
Ayaka Ichikawa (Assistant prof)
Sho Soeda (SA assistant prof)
Ken Murakami (M.D., D3)
Masatoshi Haga (D2)
Ririn Rahmala Febri (D1)
Masato Tsutsui (D1)
Keita Matsuda (M2)
Hayate Takagishi (M2)
Katsunari Saito (M2)
Muhammad Neanaa (B4)
Former members
Sawa Yamashiro
Hiroki Michida
Johannes Nicolaus Wibisana
Sho Tabata, Kenshiro Nagai

Collaborators
CREST BioDX
Hidetoshi Shimodaira (Kyoto U)
Makoto Taiji (RIKEN)Live cell imaging
Yasushi Sako (RIKEN)
Single cell sequence
Yutaka Suzuki（Tokyo Univ）
Metabolome
Takeshi Bamba (Kyusyu Univ)
Modeling
Boris Kholodenko (UCD)
Alexander Hoffmann (UCLA)

27