2022-11-29
2022HPCIフォーラム「富岳」を活用した大規模分子シミュレーションによる高分子材料設計
東レ株式会社
吉元 健治

先端材料研究所

目次
１．弊社および弊社のR&Dご紹介
２．分子シミュレーションを起点とする高分子材料設計
３．マルチスケールシミュレーション技術
４．「富岳」を用いた大規模MDシミュレーション

Copyright © 2022 Toray Industries, Inc.

2

東レ発展の歴史
ヒートテック®は株式会社ファーストリテイリングの登録商標です。
レミッチ®は鳥居薬品株式会社の登録商標です。

Copyright © 2022 Toray Industries, Inc.

3

2050年に向け東レグループが目指す世界

東レグループの革新技術・先端材料により社会的課題解決に貢献
Copyright © 2022 Toray Industries, Inc.

4

東レ先端材料研究所
東レグループの重点課題であるグリーンイノベーション・ライフイノベーションを先導する次世代先端材料・システムの基礎研究と、革新的な基幹素材を創出するための基礎材料研究を推進

Copyright © 2022 Toray Industries, Inc.

5目次
１．弊社および弊社のR&Dご紹介
２．分子シミュレーションを起点とする高分子材料設計
３．マルチスケールシミュレーション技術
４．「富岳」を用いた大規模MDシミュレーション

Copyright © 2022 Toray Industries, Inc.

6

高分子材料設計にかかわる計算技術
シミュレーション対象の大きさ（時空間スケール）
ミクロ（分子構造）
量子化学

分子動力学

メソ（中間領域）
粗視化
絡み合い
分子動力学 動力学

当社の実験研究者：• 化学出身がマジョリティ• 材料設計の発想は分子構造原子・分子を扱うシミュレーション技術が発展

当社が得意とする領域
Copyright © 2022 Toray Industries, Inc.

7

マクロ（実材料）
平均場理論

有限要素法・
流体解析

素材・製品

分子動力学（MD）シミュレーション
分子動力学(MD)シミュレーション：分子の運動を古典力学で記述し、系の平衡構造や動的過程を解析するシミュレーション手法。
基本方程式：
ニュートンの第二法則
iFi

𝑑𝑑 2 𝐫𝐫𝑖𝑖
𝐅𝐅𝑖𝑖 = 𝑚𝑚𝑖𝑖 2𝑑𝑑𝑡𝑡

球状ミセルの全原子MD
シミュレーション(水非表示)

原子iに作用する力Fiを計算→Δt 秒後における原子の位置riと速度viを予測
数値計算可
能な形

原子・分子レベルでの構造や動的挙動を解析にはメリット、 計算負荷の大きさが課題
Copyright © 2022 Toray Industries, Inc.

8

ポリマーのMDシミュレーションの課題例
全原子MDシミュレーション
ポリスチレン(PS)メルトの緩和弾性率109
スパコンでの計算時間

𝐺𝐺 𝑡𝑡 [Pa]

約1日
約10日

106

約10,000日(約30年)

大域的な長時間挙動(高分子性)
10-12PS鎖

10-9𝑡𝑡 [s]例）ポリマー鎖の絡み合い緩和

10-6→ポリマー物性に大きな影響逐次得られる内部圧力データから緩和弾性を計算

MDでは、長時間スケールで発現するポリマーダイナミクスや構造の予測は困難
Copyright © 2022 Toray Industries, Inc.

9マルチスケール・シミュレーションへの展開
シミュレーション対象の大きさ（時空間スケール）
ミクロ（分子構造）
量子化学

分子動力学

メソ（中間領域）
粗視化
絡み合い分子動力学 動力学

マクロ（実材料）
平均場理論

有限要素法・流体解析

当社の実験研究者：• 化学出身がマジョリティ• 材料設計の発想は分子構造

ミクロの世界と製品（マクロ）のギャップを埋めるにはどうしたらよいか？
原子・分子を扱うシミュレーション技術が発展

当社が得意とする領域
Copyright © 2022 Toray Industries, Inc.

MDシミュレーションを起点とした戦略に基づき高分子材料設計に展開
10

素材・製品

分子シミュレーションを起点とした高分子材料設計の戦略
戦略１．スケールギャップ(=マルチスケール性)をなるべく避ける→短時間スケールかつ小さな系でもマクロ構造・物性が発現するポリマーを対象
例：「機能性高分子」= 電解質膜, 光学樹脂等

戦略２．スケールギャップを物理モデルで乗り越える→MDシミュレーション結果をマクロの世界で成立する物理モデルで補正、マクロ構造・物性を予測
例：界面張力の定量予測、相分離構造予測など

戦略３．スケールギャップに真正面から立ち向かう→マルチスケールシミュレーション

戦略４．スケールギャップにスパコン「富岳」で立ち向かう→大規模分子シミュレーションによる時空間スケール拡張

Copyright © 2022 Toray Industries, Inc.

11

これからの発表内容

目次
１．弊社および弊社のR&Dご紹介
２．分子シミュレーションを起点とする高分子材料設計
３．マルチスケールシミュレーション技術
４．「富岳」を用いた大規模MDシミュレーション

Copyright © 2022 Toray Industries, Inc.

12

マルチスケールシミュレーションの概要
全原子モデル

粗視化モデルAutomated Graph-BasedCoarse-Graining
Atomistic
Simulation

Coarse-Grained
Simulation

Fast Relaxation Behavior

Med. Relaxation
Behavior

現象論モデル𝑴𝑴𝒆𝒆 , 𝑹𝑹𝒆𝒆 , 𝝆𝝆

Slip-Spring Simulation

Slow Relaxation
Behavior

予測できる時間スケールをMDシミュレーションよりも大幅に拡張→長時間スケールで発現するポリマー鎖の緩和挙動も含めた物性予測が可能に[1] H. Liang, K. Yoshimoto, P. Gil, M. Kitabata, U. Yamamoto, J. J. de Pablo, Macromolecules 55 (2022).
[2] H. Liang, K. Yoshimoto, M. Kitabata, U. Yamamoto, J. J. de Pablo, J. Polym. Sci. 60 (2022).
Copyright © 2022 Toray Industries, Inc.

13

全原子モデルの自動粗視化
グラフ理論

実施例

・グラフ理論で数学的に化学構造をグループ化*
・１グループを1ビーズとして表現

リピートユニット
CH2PS

ポリマー鎖

CH2n16原子 ⇒ 3ビーズ

Nylon6グラフ理論で計算されるスコアから隣接原子をグループ化

C CH2OCH2CH2CH2CH2NH

19原子 ⇒ ４ビーズn

ビーズ数は全原子数の５0％以下→計算負荷が軽減*Webb, Delannoy, de Pablo, Chem. Theory. Comput. 15, 1199 (2018)

これまでケースバイケースだった粗視化モデリングをグラフ理論で数学的に処理→既存ポリマーだけでなく新規ポリマーに対しても適用可能Copyright © 2022 Toray Industries, Inc.

14

粗視化ビーズ間の力場パラメータ構築
Boltzmann Inversion）法で決定
IBI法 ・ビーズ間の相互作用ポテンシャル𝑼𝑼をIBI（Iterative・ビーズの分布関数𝑷𝑷がMDシミュレーションから得られた分布関数とほぼ一致するまで𝑼𝑼の形状を自動更新

実施例：PS

粗視化ビーズ間の結合角ポテンシャル

他のビーズ間ポテンシャル(結合長、2面角、非結合相互作用）も同様に
IBI法により決定

全原子MDから得られた分子レベルの局所構造を再現する力場をIBI法で構築
Copyright © 2022 Toray Industries, Inc.

15

粗視化シミュレーションの時間・エネルギー単位
時間単位 ポリマー鎖の平均二乗変位(MSD)がエネルギー単位 時間シフト後、𝑮𝑮(𝒕𝒕)がMDと重なるように決定MDと重なるように決定

シフト係数は分子量5000以上でほぼ定数化

ポリマー鎖の拡散・緩和挙動が全原子MD結果と一部重なるように時間・エネルギー単位を決定
Copyright © 2022 Toray Industries, Inc.

16粗視化シミュレーションによる時間スケール拡張𝑉𝑉
𝐺𝐺 𝑡𝑡 =
𝜎𝜎 𝑡𝑡 𝜎𝜎𝛼𝛼𝛼𝛼 0𝑘𝑘𝐵𝐵 𝑇𝑇 𝛼𝛼𝛼𝛼・ＰＳメルトに対して自動粗視化技術を適用
・緩和弾性率をGreen-Kubo式（右）より計算
109

緩和弾性率 𝑮𝑮 𝒕𝒕 [Pa]

CH2

108

CH2nMDシミュレーション

107

粗視化シミュレーション

106

粗視化ＰＳ鎖(1モノマー⇒3ビーズ)

105
104

10-12ps

10-1110-1010-9ns

10-810-7
時間 𝒕𝒕[s]10-6µs10-510-4

MDより一桁以上時間スケールを拡張、絡み合い効果が表れる始める部分までを予測
Copyright © 2022 Toray Industries, Inc.

17

絡み合いを含んだ現象論モデル
・ポリマー鎖を理想鎖と仮定して、数十ビーズで鎖1本を表現

Slip-Springモデル ・絡み合い箇所を取り外し可能なバネ(Spring)で表現

・ビーズ位置はBrownian Dynamicsで時間発展
・バネの形成・消失はモンテカルロ法で一定時間間隔で更新

Coarse-Grained
Simulations

𝝆𝝆, 𝑹𝑹𝒆𝒆 , Me

Slip Spring Model・Density ρ [g/cm3]
・End-to-End Distance ofPolymer Chain Re [nm]・Entanglement Molecular
Weight Me [g/cm3]
3 CG beads/monomer

10-20 monomers/SS bead

H. Liang, K. Yoshimoto, P. Gil, M. Kitabata, U. Yamamoto, J. J. de Pablo, Macromolecules 55 (2022).

・粗視化シミュレーション結果からSlip-Springモデルのパラメータを算出
・粗視化と同じアプローチで、Slip-Springの時間・エネルギー単位を決定
Copyright © 2022 Toray Industries, Inc.

18

現象論（Slip-Spring）モデルによる時間スケール拡張
・粗視化シミュレーション結果からSlip-Springモデルのパラメータ算出 (従来：実験・理論データとの合わせ込み)
・Slip-Springモデルの動的シミュレーション結果から緩和弾性率を計算計算
CH2 CH2n

緩和弾性率 𝑮𝑮 𝒕𝒕 [Pa]109108MDシミュレーション

107

粗視化シミュレーション

106

Slip-Springモデル

105psns

分子量60,000

分子量150,000µs

104 -121010-11 10-10 10-9 10-8 10-7 10-6 10-5 10-4
時間 𝒕𝒕[s]

時間スケールをμ秒まで拡張、絡み合い効果を含む平坦部から流動領域まで予測可能に
Copyright © 2022 Toray Industries, Inc.

19

マルチスケールシミュレーションの汎用性
予測物性

緩和弾性率のマスターカーブと時間-温度換算則によりメルトのゼロせん断粘度と動的弾性率を算出

計算結果

ポリスチレン

CG1

ナイロン６CG2N
HnO

Mw = 210,000

Mw = 22,000

H. Liang, K. Yoshimoto, P. Gil, M. Kitabata, U.
Yamamoto, J. J. de Pablo, Macromolecules 55 (2022).

H. Liang, K. Yoshimoto, M. Kitabata, U. Yamamoto,
J. J. de Pablo, J. Polym. Sci. B 60 (2022).

ポリマーの化学構造から、実験データなしにメルト粘弾性を高精度予測
Copyright © 2022 Toray Industries, Inc.

20

マルチスケールシミュレーションのまとめ
・新たにボトムアップなマルチスケールシミュレーションのアプローチを提案
・短時間から長時間まで広範囲な粘弾性予測が可能に
・従来は実験・理論データとの合わせ込みが必要だった粘弾性予測をin silicoのみで実証
全原子モデル

粗視化モデルAutomated Graph-BasedCoarse-Graining
AtomisticSimulation

Copyright © 2022 Toray Industries, Inc.

Coarse-GrainedSimulation

21

現象論モデル𝑴𝑴𝒆𝒆 , 𝑹𝑹𝒆𝒆 , 𝝆𝝆

Slip-Spring Simulation

目次
１．弊社および弊社のR&Dご紹介
２．分子シミュレーションを起点とする高分子材料設計
３．マルチスケールシミュレーション技術
４．「富岳」を用いた大規模MDシミュレーション

Copyright © 2022 Toray Industries, Inc.

22

分子シミュレーションを起点とした高分子材料設計の戦略
戦略１．スケールギャップ(=マルチスケール性)をなるべく避ける→短時間スケールかつ小さな系でもマクロ構造・物性が発現するポリマーを対象
例：「機能性高分子」= 電解質膜, 光学樹脂等

戦略２．スケールギャップを物理モデルで乗り越える→MDシミュレーション結果をマクロの世界で成立する物理モデルで補正、マクロ構造・物性を予測
例：界面張力の定量予測、相分離構造予測など

戦略３．スケールギャップに真正面から立ち向かう→マルチスケールシミュレーション

戦略４．スケールギャップにスパコン「富岳」で立ち向かう→大規模分子シミュレーションによる時空間スケール拡張

Copyright © 2022 Toray Industries, Inc.

23

これからの発表内容

「富岳」による時空間のスケールアップのメリット
・高分子性までを再現しようとすると「富岳」でも計算負荷は膨大・ポリマーの超大規模MD計算を「富岳」で実施するメリット

例１）高分子量（絡み合い）ポリマーの階層構造・相分離構造の初期形成メカニズム解明例２）MIデータベース構築のハイスループット化
m

有限要素法
流体解析

mm

μmnm

平均場
絡み合い 理論
動力学

粗視化
分子動力学
分子動力学
量子化学
ns

Copyright © 2022 Toray Industries, Inc.

μｓ
24mss

「富岳」での全原子MDソフトウエアの初期性能評価
72万原子NVT(700 K)
106 (= 1.0 ns)
flat MPI

計算時間[h/ns]

全原子数：
アンサンブル：
総ステップ数：OpenMP/MPI:

吉元健治, 「ポリマーメルトの大規模全原子ＭＤシミュレーション」, HPCI システム利用研究課
題 利用報告書, hp210191 (2022)

コア数
従来スパコンよりスケーラビリティが低く、デフォルトのままでは超大規模系への展開は困難

Copyright © 2022 Toray Industries, Inc.

25

全原子ＭＤの並列計算におけるボトルネック
短距離成分（PP）

相互作用

E.g. Bond, Angle, Torsion, など

力計算

長距離成分 (PME)

エネルギー・E.g. 非結合相互作用の逆空間成分(a)
PP, PME

PP, PME

Particle Particle (PP) Rankに割当て→ 一般的に良好なスケーラビリティ
Particle Mesh Ewald (PME) Rankに割当て→ 3D FFTを実施するためのAll to All通信でスケーラビリティの阻害要因(b)
PP, PMEPP

PP, PME

PP

PME

PME

参考文献：
https://manual.gromacs.org/current/manual-2022.4.pdf「富岳」に適したPP/PME割り当てがスケーラビリティ向上の鍵
Copyright © 2022 Toray Industries, Inc.

26

伴走型支援・高度化支援の活用
目標

1000万原子系の100 ns計算を３日以内で実行
伴走型利用支援
高度化支援

1000万原子系の初期構造作成支援、自動平衡化用ワークフローシェルスクリプト作成支援、可視化支援 etc.
Gromacsの高速化

並列計算

パラメータ

最適化フローCopyright © 2022 Toray Industries, Inc.

27

伴走型支援と高度化支援の成果
目標

1000万原子系の100 ns計算を３日以内で実行
伴走型利用支援成果

Performance [ns/day]

高度化支援

1000万原子系の初期構造作成支援、自動平衡化用ワークフローシェルスクリプト作成支援、可視化支援 etc.
Gromacsの高速化

980万原子系
チューニング有100目
標101

伴走型利用支援980万原子系
チューニング無70万原子系
チューニング無10100

1000

Number of Nodes
Copyright © 2022 Toray Industries, Inc.

高度化支援

2810000

伴走型支援と高度化支援により目標達成超大規模分子シミュレーションによる絡み合い物性評価
ポリマー種類

絡み合い分子量(計算値)

絡み合い分子量(実験値*)

PS

11920

13309

PA61809

1980*L. J. Fetters, et al., Macromolecules, 27, 4639 (1994).

・ポリスチレン（PS）とナイロン６（PA6）の絡み合い分子量を算出したところ、実験値との誤差が1割以内であり、良好な予測結果を得た・省エネ対策による「富岳」の利用資源削減により、一部の計算が実施できなかった→本課題で使用した計算モデル及び解析手法の妥当性は、継続課題にて引き続き検討

Copyright © 2022 Toray Industries, Inc.

29

「富岳」を活用した大規模MD計算の今後の展開例
Fundamental
Polymer
Properties

山本海、第70回高分子討論会(2021)

Mobility

Desired
Properties

Transfer
Learning

Entanglement
Molecular Weight
Relaxation Time …
Monomer Structure,
Molecular Weight, …

All-Atom Molecular
Dynamics Simulation

Toughness,
Durability,…

Experimental
parameters
Shape, Size, …

大規模ＭＤ計算から基礎物性（絡み合いを含む）を予測→転移学習等で本命のマクロ物性を予測
Copyright © 2022 Toray Industries, Inc.

30

本講演のまとめ
・東レでは分子シミュレーションを起点とする高分子材料設計を実施、本講演ではスケールギャップに立ち向かう２つ取り組みを紹介。
・マルチスケールシミュレーション

全原子・粗視化・現象論モデルを繋ぎあわせることで、長時間スケールで発現する高分子粘弾性の予測に成功。
・「富岳」を用いた大規模MDシミュレーション

1000万原子系について、100 nsのMD計算を72時間以内で実行可能に。

この超並列計算ノウハウを活用し、代表的なポリマーの絡み合い分子量を算出したところ、実験値と比べ、良好な予測結果を得た。
・今後：分子論的な粘弾性発現の機構解明、 MIとの融合による高分子材料設計等

Copyright © 2022 Toray Industries, Inc.

31

謝辞
■高度化支援井上 義昭（RIST）
Gilles Gouaillardet（RIST)新宮 哲（RIST）
青柳 哲雄（RIST）
増田 典雄（RIST)
浅見 暁（RIST）■伴走型利用支援
塩原 紀行（RIST）
齊藤 哲（RIST）
新宮 哲（RIST）浅見 暁（RIST）
井上 晃（富士通株式会社）
渡邉 健太（富士通株式会社）
小笠 温滋（富士通株式会社）
市川 眞一（株式会社ティー・アール・シー）■シカゴ大学
Prof. Juan J. de Pablo
Dr. Heyi Liang
Dr. Phwey Gil■東レ株式会社
北畑 雅弘
西川 智弘

Copyright © 2022 Toray Industries, Inc.

32