ビッグデータとHPCを活用したアプリケーション事例のご紹介
2023年6月21日
白幡 晃一
富士通株式会社 富士通研究所
コンピューティング研究所
イノベーティブコンピューティング コアプロジェクト© 2023 Fujitsu Limited

講演概要○ビッグデータとHPCを扱うアプリケーションの事例として、遺伝子分析と材料探索について紹介○遺伝子分析では、データから新たな発見の手掛かりを提示する因果発見技術を「富岳」上に実装し、1,000兆通りの可能性から未知の因果を発見できる技術を開発○材料探索では、アンモニアをクリーンに合成するための触媒探索において、量子化学シミュレーション高速化技術を開発し、因果発見技術と組み合わせることで探索期間を半減

2© 2023 Fujitsu Limited

スーパーコンピュータ「富岳」と「発見するAI」で、がんの薬剤耐性に関わる未知の因果メカニズムを高速に発見する新技術を開発
1,000兆通りの可能性から患者の遺伝子の特徴を一日以内で絞り込み、効率的な薬剤開発に寄与

3© 2023 Fujitsu Limited背景：薬剤耐性に関わる取り組み○薬剤耐性とは？

○薬剤の投与を続けているうちに、その薬剤の効果が弱まってしまう現象○薬剤の臨床試験の課題○薬剤効果が期待される患者のおおまかな同定が重要だが、患者の特性（個人や臓器における遺伝子やその発現量など）により薬剤効果は異なる○患者の特性として複数の遺伝子発現量の組合せを考えると、特性の総数は1000兆通りを超える○今回の取り組みで目指すブレークスルー

1. 患者の特性を網羅的に調べて、薬剤効果との関係を示唆する因果メカニズムを抽出
2. 抽出した特性とメカニズムを検証し、薬剤効果が期待できる患者を同定
3. 同定した患者だけを対象として臨床試験を行うことで、経費を大きく削減し、成功確率を高める →臨床試験の効率化！
4© 2023 Fujitsu Limited

相関関係と因果関係○現在のほとんどのAI技術は属性と事象の相関関係を学習○高い相関を持つ場合に必ずしも因果関係があるとは限らない

相関関係

属性1
属性3

属性2

因果関係

属性

相関関係

属性1

高属性2

高属性3

中属性4

5属性2 属性3-> 事象の原因

事象
属性1->事象の原因ではない© 2023 Fujitsu Limited

個別の因果関係の推定○現実には因果関係は状況によって異なる因果メカニズムにより生じることが多い○様々な因果メカニズムに影響を受ける個々のデータの因果関係をどのように推定するか？

データ全体
1,000人

個別データ
1人

推定

全データに共通する因果関係?

事象

6

個々のデータ特有の? 因果関係を推定したい© 2023 Fujitsu Limited

因果メカニズムの発見による業務改善○薬剤開発以外の現場においても、様々な状況によって異なる因果メカニズムを発見し、業務改善につなげることが可能
分野

発見したい因果メカニズム

期待される業務改善

マーケ
顧客の特性ごとのサービス解約にティング 至ったルートと根本原因

サービス離れしようとしている顧客を特定し、解約の根本原因を明らかにすることで解約防止にむけた効果的な施策を策定

システム 複雑なシステムにおける障害発生箇
運用
所とその原因障害箇所と原因をリアルタイムで提示し、早期復旧を支援

生産現場 稼働環境に応じて不良品発生を引き起こす制御パラメータ

現在の稼働環境に適したパラメータの自動設定により、不良品の発生率を減らす

7© 2023 Fujitsu Limited

富士通の「発見するAI」
データ全体に共通する因果関係だけではうまく因果メカニズムを推定できないことがある→ 富士通の「発見するAI」では個々のデータに特徴的な因果関係を網羅的に抽出
POINT

1

POINT

共通の相関関係をもつデータの集団をすべて抽出
属性１
属性１
属性１

データ全体

特徴的な因果関係をもつデータの集団をすべて抽出
重要な原因
：属性１
重要な原
因
：属性７
重要な原因
目的
属性3かつ属性4

属性１かつ属性３属性１かつ属性２属性１かつ属性２属性１かつ属性５かつ属性６属性４かつ属性６かつ属性７属性４かつ属性６かつ属性７属性２かつ属性４属性３かつ属性４属性３かつ属性４1,000人

2：属性8
属性２かつ属性５
事象
かつ属性６
属性１かつ属性３ 事象

属性２

属性３

0

1

0

1

1

0

1

1

1

0

1

1

1・・・

事象

…

…

この集団では、共通の相関関係として「属性１かつ属性３」をもつ

因果関係を知りたい新規のデータ

属性１かつ属性３

事象対応する集団を特定

因果関係を特定因果関係を特定?

：属性2

属性１かつ属性５かつ属性６

判断根拠の説明や知識発見が可能な富士通のAI技術「Wide Learning」を活用
属性１

重要な原因

重要な原因

：属性8
事象

?

重要な原因

属性１かつ属性５かつ属性６：属性2※2020年12月17日プレスリリース 「ヒトやモノなどのデータの一つひとつが持つ特徴的な因果関係を発見する技術を開発」
8
https://pr.fujitsu.com/jp/news/2020/12/17.html

事象© 2023 Fujitsu Limited

大規模因果探索
従来では数百変数に対する因果探索が限界だった→ 数万変数に対する因果探索が実行可能に。
大規模な因果探索のための処理の高速化
因果探索アルゴリズムの並列化

スーパーコンピュータ上での計算処理

提供：理化学研究所

提供：理化学研究所

スーパーコンピュータ「富岳」

9© 2023 Fujitsu Limited高速化技術 (ハイパースケール技術)
少数のコンピュータからスーパーコンピュータまで、計算能力を引き出す
機械学習環境を大規模因果探索に適用
計算を止めない技術

計算回路を使い切る技術
コンピュータ間並列通信を抑え、効率的に実行できる並列性を抽出

並列化の際に必要になる通信が、計算を止めないように最適化
処理時間

CPUコア並列(～50倍)
プロセッサ内の処理回路をすべて活用

元のプログラム
最適化不足の並列化

必須処理時間ハイパースケール技術

必須処理時間演算器並列(～10倍)
プロセッサに合わせて、実行時に最適なプログラムを生成
10不均衡分割

冗長な同期 冗長な通信

実行時最適化技術と、機械学習領域の計算知識を活かしたフレームワークで、高いスケーラビリティを実現© 2023 Fujitsu Limited

大規模因果探索のゲノム医療への応用
事例

ゲノム医療への応用

がんへの薬剤応答データから、薬剤耐性の原因究明薬剤耐性メカニズムに関わる遺伝子関係を抽出。

◼ ヒトの全遺伝子（20000種類）に対して重要な因果関係を網羅的に抽出従来技術では4000年かかっていた因果関係の仮説と新発見の可能性
PRRX1

SP7

薬剤耐性に寄与

薬剤耐性に寄与

１日で完了◼ 肺がんの治療薬として知られる「ゲフィチニブ」の耐性獲得メカニズムに関して、専門家が認める新仮説の抽出に成功

新たな示唆

薬剤耐性

SP7とゲフィチニブ耐性をつなぐ論文は発表されていない。

がん細胞共同研究：東京医科歯科大）宮野先生
スーパーコンピュータ「富岳」成果創出加速プログラム「大規模データ解析と人工知能技術によるがんの起源と多様性の解明」 研究代表

11

既存の文献通り
PRRX1の上皮間葉転換(EMT)制御についてはいくつかの研究がある。EMTは肺がんにおけるゲフィチニブ耐性のメカニズムの一つであることが多くの研究で示唆されている。

© 2023 Fujitsu Limited

LiNGAMの性能 (高速化前)
栗原ら, IPSJ-HPC-180 (SWoPP2021)

1,000,000,000,000
100,000,000,000

y = 0.0002x2.9889○評価環境

10,000,000,000
1,000,000,000○CPU:Xeon Gold 6148
○シングルスレッド動作

100,000,000

Time[sec]

10,000,000
1,000,000○評価結果

100,000
10,000○200変数で約1,700秒、1,000

LiNGAM(original)

100
101,000変数で約60時間○計算量は約O(x3)○ターゲット1万変数→5.73年かかる

1日

11ヶ月

0

1年

0110

100

1,000

10,000100,000

観測変数の数

As-isのLiNGAM実装では、数百変数以下が実用限界(1日以内)
目標:1万変数で1日以下を実現するためにはLiNGAMの高速化
12© 2023 Fujitsu Limited

施策：シングルスレッドの処理の高速化○ 高速化対象の関数は、配列の要素に対して算術演算を繰り返し行う処理を含む関数
LiNGAMのPythonコード

栗原ら, IPSJ-HPC-180 (SWoPP2021)

def _entropy(self,u)# uはfp32の1次元配列
return (1 + np.log(2 * np.pi)) / 2 - ¥k1 * (np.mean(np.log(np.cosh(u))) - gamma)**2 - ¥k2 * (np.mean(u * np.exp((-u**2) / 2)))**2

疑似Cコードよる動作イメージ
float entropy(float* array, int N) { // Nは配列の要素数
float retVal;
float temp1 = 0.0f;
float temp2 = 0.0f;
for (int i = 0; i < N; i++) {temp1 += log(cosh(array[i]));temp2 += array[i] * exp(-1 * pow(array[i], (double)2) / 2.0);}
retVal = (1.0 + log(2.0 * M_PI)) / 2.0 - k1 * pow(((temp1 / size) - gamma), 2.0) - k2 * pow((temp2 / size),2.0);

return retVal;}
13© 2023 Fujitsu Limited

提案：JITで複数算術関数の処理をフュージョン
栗原ら, IPSJ-HPC-180 (SWoPP2021)○配列の各要素に対して，複数の算術関数を繰り返す処理を1回の関数callで実現する関数を，Just-In-Time(JIT)に生成するライブラ
リを開発○Just-In-Timeで生成することにより，算術関数(sin, cos, tan, log, exp, asin,acos, atn, sinh, cosh, tanhなど)の任意の組み合わせに対応可能○ M種類の算術関数に対し，k個の組合せはm^k通りとなり，事前に実装を用意するのは不可○JITコード生成機能として、富士通が開発したXbyak_aarch64*を使用○ Xbyak_aarch64はArmv8-A + SVEアーキテクチャ向けの機械語列をメモリ上に書き込むことができるOSS*Xbyak_aarch64
https://github.com/fujitsu/xbyak_aarch64
https://connect.linaro.org/resources/lvc21/lvc21-203/
14© 2023 Fujitsu Limited

性能評価
155倍

10000

y = 1.25E-04x + 1.63E-02

栗原ら, IPSJ-HPC-180 (SWoPP2021)○ 評価環境○ Fujitsu PRIME HPC FX700

1000

実行時間[ms]100

y = 5.73E-06x + 1.44E-03○ CPU: A64FX○ 1コア1スレッド動作

7倍○ 使用ライブラリ

float a[N];float b[N];/* 配列aには何かしらの入力データが入っているものとする */for(int i=0; i<N; i++) {b[i] = exp(exp(a[i]));}○ 従来技術1：libm○ 従来技術2：libsleef○ 提案技術:exp(exp)の処理に限定してJITコード

y = 8.03E-07x + 1.43E-03

10評価に使用した処理の疑似コード表現

1を生成できるように開発したサンプルプログラム

従来1：scalar

0.1○ 評価結果○ 従来技術1に比べて約155倍、従来技術2に比従来2：SLEEF
0.01○ 提案技術のコード生成のオーバーヘッドは約

線形 (従来1：scalar)

0.001
1,000

べて約7倍の性能改善

提案：JIT+fusion

10,000100,000

1,000,000

10,000,0000.15msecで非常に小さかった

100,000,000

要素数15© 2023 Fujitsu Limited

材料探索効率化技術
HPCとAIを活用した量子化学シミュレーション高速化技術を開発し、クリーンなアンモニア合成に向けた触媒候補探索期間を大幅に削減

16© 2023 Fujitsu Limited

富士通の材料探索技術のビジョン
HPCとAIとデジタルアニーラで材料探索プロセスを革新する
本日ご紹介

高速シミュレーション(HPC/AI)
高速な原子レベルシミュレーション• 原子分子レベルの相互作用を求める量子化学計算を高精度化• 現状スパコンで数10年を要する計算を数時間で実現

因果発見技術
化学反応における新たな知見を得る• 原子レベルのシミュレーションと実験データから材料候補と化学反応特性間の因果関係を網羅的に分析• 専門家の勘だけでは見いだせなかった新しい反応経路を発見

デジタルアニーラ
高速な化学空間探索• 材料特性予測モデルをデジタルアニーラの最適化問題に変換• 従来の方法よりも迅速に広い
化学空間からより良い材料候補を発見

Computing Workload Broker (HPC/量子)自動的なハードウェア資源割り当て最適化
17© 2023 Fujitsu Limited

HPCとAI技術を活用し、カーボンフリー素材開発を促進
Atmonia社との共同研究(アンモニア合成触媒を開発するアイスランドのベンチャー企業)

カーボンフリー物質であるアンモニアの触媒探索をHPCとAIで加速⚫ アンモニアはCO2の排出が無く、水素に比べて輸送が容易なため次世代エネルギーとして注目⚫ しかし現在主流のアンモニア合成手法では化石燃料から原料の水素を作るためCO2が大量に排出されてしまう課題がある⚫ 富士通のHPC/AI技術を活用しAtmonia社と 水と空気（窒素）と電気のみでアンモニアを取り出せる革新的な新触媒を研究中© 2023 Fujitsu Limited

今回開発・適用した技術：
HPC & AI の融合による高速材料探索技術
→

入力データ

HPC
©RIKEN

→→→

学習

生成→→

探索範囲を絞り込み

データ

データ

１

高速量子化学シミュレーション

高精度シミュレーションを10倍高速化、高品質データを高速生成 (HPC)

２

AIシミュレーション
モデル

約100倍の高速化により大量のシミュレーションを超高速実行 (AI)３

因果発見技術の適用

材料候補とその物性の因果関係を分析し、新たな気づきを得る (AI)HPC/AI を組み合わせた探索効率化技術により新材料候補の探索期間の大幅な短縮を可能に
19© 2023 Fujitsu Limited

①高速量子化学シミュレーション
1.2

シミュレーションの実行時間(相対値)～9.3倍 高速化
1

⚫ 量子化学計算の一つの手法である密度汎関数法 (DFT) の高速化技術を開発⚫ 計算量の削減と並列計算の効率化 (HPC)• DFT 計算のアルゴリズムを改良し、計算量を削減• 「富岳」を活用した並列計算で計算と通信を効率0.8化

0.60.4

約10倍の高速化を実現

0.20
従来(1ノード)

開発技術適用(8ノード)

大量のシミュレーションによる高速データ生成、探索の高効率化

20© 2023 Fujitsu Limited

SCF (Self-Consistent Field) 計算の収束条件の最適化
大田ら, JCPE Journal 21 (2), 52-54, 2022

○提案：全電子エネルギーの安定状態により収束条件を緩和-2800

電子密度の差分

電子密度の差分

1.E-01

全電子エネルギー

1.E-02

全電子エネルギーは微小な単調減少傾向

1.E-03-2900-3000-3100

1.E-04-3200

1.E-05

1.E-06

全電子エネルギー (Eh)1.E+00-3300
050100

SCF計算の収束条件• 全電子エネルギーの変化率*1• 電子密度の差分の変化率*1を追加

150

繰返し回数1.2～2.5倍高速化

電子密度の差分と全電子エネルギー*1 変化率n=|(現在値n – 過去m回の平均値)/過去m回の平均値)|
21© 2023 Fujitsu Limited

計算ノード間の通信待ち時間削減による並列計算の効率化
Oyama et al., IEEE/ACM CCGrid 2023

従来技術

「富岳」の計算プロセス

疎行列のデータブロック

新規開発した技術

材料開発アプリにおける疎行列積を「富岳」で計算通信される行列データ→ 通信待ち時間の量が不均衡が発生
22

二次元トーラス上で双方向に通信することで通信をオーバーラップし、待ち時間を削減© 2023 Fujitsu Limited

Proposal: Optimized electron integrals
Oyama et al., IEEE/ACM CCGrid 2023

We promote compiler’s SIMD conversion by manual refactoring

Refactoring

Optimized code
SIMD enabledSIMD disabled

Existing code23

© 2023 Fujitsu Limited

Proposal: Optimized electron integrals
Oyama et al., IEEE/ACM CCGrid 2023

We keep CP2K’s integral cache uncompressed for speedup

Libint∫Libint∫

∫

∫

∫

∫

𝐸xHFX

∫

Quantized,compressed cache28.7 GiB/job

∫

∫

∫

∫

∫

𝐸xHFX

Uncompressed cache
197 GiB/job

Existing method

Optimized method

× Compression/decompression overhead✓ No overhead but in-memory copy
・ Multi-node are required24© 2023 Fujitsu Limited

Evaluation: Optimization methods
The two optimization methods improve Fugaku performance
1.42x (Total) 1.69x (Integrals)
1.20x (Sparse MMs)
Better

ORR on Fugaku
4 procs./node25© 2023 Fujitsu Limited

Evaluation: Optimization methods
The integral optimization also improves ABCI performance

Better

1.41x (Total)

ORR on ABCI
2 procs./node

No GPU integral
supported ×26© 2023 Fujitsu Limited

② AI シミュレーションモデル
○ HPCで大量に実行したDFTシミュレーションデータをAIシミュレーションモデルに学習させ、未知の材料構造の吸着エネルギー値を瞬速で推論→ 約100倍以上のデータ入手が可能になる○ 大量データ生成により、探索範囲の拡大、因果発見技術の精度向上が図れる
DFTシミュレーションのAI シミュレーションモデルへの置き換え

量子化学(DFT)シミュレーション
出力

入力

→

材料の構造→

HPC入力

吸着
エネルギー値入力

未知の材料の構造

DNN

入力

出力 予測の→→ エネルギー値

吸着

DNN

AI シミュレーション
モデル (推論)

AI シミュレーション
モデル (学習)

100倍以上の高速化(100倍のデータ量)27© 2023 Fujitsu Limited

材料探索向けNNの予測精度を改善する技術
Sakai et al., IEEE IJCNN 2023 Workshop○ 背景・従来の課題○ 材料探索には、材料の「エネルギー」が性能指標に用いられる○ エネルギー予測精度の高いNNの実現に必要な大量のエネルギーデータを用意するには数十～数千時間かかる○ 開発技術○ エネルギーデータを増やさなくてもNNを高精度化する技術(触媒探索向け自己教師あり学習)を開発○ データを増やさなくてもよい → データを用意する時間・費用が抑らえれる○ NNが高精度化 → より効率的な材料探索が可能となるエネルギーデータ無しでNNを訓練する方法を開発（材料の構成を変更し、NNに変更の有無を予測させる訓練方法）
Graph Neural Network
自己教師あり
学習

ラベルなし
構造データ

構造データのみ重みの最終調整

原子構成予測の分類器

特徴抽出器

事前学習の重みを利用

Graph Neural Network
ラベル付き構造データ

原子構成の変更有無の予測

エネルギー値の予測器

特徴抽出器

エネルギー予測Simデータ(構造とエネルギーデータ)28© 2023 Fujitsu Limited

Experimental conditions: Data & GNN
model
Sakai et al., IEEE IJCNN 2023 Workshop○Dataset
Red circle : AdsorbateBlue circle : Poisoning atom

○Open Catalyst 2022 (OC22) [1]○ Train data: 45890, validation data: 2624(a) Open Catalyst 2022

○Poisoned Catalyst [2]○ Train data: 3811, validation data: 900○ 5-fold cross validation○Expanded Poisoned Catalyst [2]○ Train data: 13453, validation data: 1000
○ 5-fold cross validation(b) Poisoned Catalyst○GNN model○CGCNN○PaiNN

OC22 has clean surface.
Poisoned Catalyst has poisoned surface.

[1] Open Catalyst Project, https://github.com/Open-Catalyst-Project/ocp[2] A. B. Hoskuldsson, et al., “Computational screening of rutile oxides for electrochemical ammonia formation”, ACS Sustainable Chemistry & Engineering,
29
2017.

Results: Learning curve during fine-tuning
Sakai et al., IEEE IJCNN 2023 Workshop○Faster convergence when using our proposed SSL
Open Catalyst 2022(a)1.21.240402020
5050

2.2

2.2

2.1

2.1

2.02

1.9

1.9

1.8

1.8
4080

120160200

40 80 120 160 200
Epoch100100
Epoch150

150

200

200

0.70.7w/o SSLwith existing SSL
with proposed SSL

1.01

Validation MAE (eV)6060

Validation MAE (eV)

8080

00 00

Poisoned Catalyst(b)

w/o SSLwith existing SSL
with proposed SSL
Validation MAE (eV)Validation MAE (eV)100100

Expanded
Poisoned Catalyst(c)0.80.80.60.6
0.40.40.20.2 0020204040
Epoch306060

8080

w/o SSLwith existing SSL
with proposed SSL

0.60.6
0.50.50.40.40.30.30.20.2 0020204040
Epoch60608080© 2023 Fujitsu Limited

③ 因果発見技術
従来のAI

膨大なデータの中の相関関係を利用して予測

因果発見技術データから因果関係の法則を発見し、その仮説を検証できるAIが必要
データから因果関係の法則を発見

因果関係の法則
データ

条件3

条件Xのとき因果関係A→Bが生じる

条件2

条件 X
入力

原因 A

アクション
（改善・証明）

条件1
大規模因果グラフ

結果 B

大規模因果グラフ
因果グラフ

https://pr.fujitsu.com/jp/news/2020/12/17.html
https://pr.fujitsu.com/jp/news/2022/03/7.html
31© 2023 Fujitsu Limited

効果：触媒候補の探索期間の短縮○技術①＋②で生成したシミュレーションデータに対して、③の因果発見技術を適用することにより、触媒候補の探索期間を半分以下に削減することに成功○因果発見技術への入力データ項目：触媒原子の種類、位置関係、反応エネル

ギー量など○因果発見で得た知見：「触媒候補の合金のベースとなる金属は族番号が小さいものが適している」など
→

入力データ

HPC
©RIKEN

→→→

学習

生成→→

探索範囲を絞り込み

データ
データ

１

高速量子化学シミュレーション

２

AIシミュレーション
モデル
32

３

因果発見技術の適用© 2023 Fujitsu Limited

まとめ○遺伝子分析では、データから新たな発見の手掛かりを提示する因果発見技術を「富岳」上に実装し、1,000兆通りの可能性から未知の因果を発見できる技術を開発○富士通のWide Learningを活用して集団ごとの因果を抽出○相関・因果関係から大量の集団が得られるため、「富岳」で大量の計算を実行○材料探索では、アンモニアをクリーンに合成するための触媒探索において、量子化学シミュレーション高速化技術を開発し、因果発見技術と組み合わせることで探索期間を半減○DFT 計算のアルゴリズム改良、並列計算の効率化、AIシミュレーションモデル
○約10000パターンの触媒候補に対してシミュレーションを実行し、化学データ
ベースと組み合わせて因果分析

33© 2023 Fujitsu Limited

Thank you© 2023 Fujitsu Limited