2020年8月31日 「不老」ユーザ会＠オンライン
16:10-16:25 ユーザプログラム利用状況の紹介

大島 聡史（名古屋大学 情報基盤センター 准教授）

ユーザプログラム利用状況の紹介

1

2「不老」におけるユーザプログラム利用・開発状況の紹介•名大 坪木和久教授研究室（Type I）– スーパー台風解析 (雲解像モデル CReSS)•立教大 望月祐志教授研究室（Type I）– COVID-19解析、フラグメント分子軌道計算（ABINIT-MP）– 理研R-CCS: 新型コロナウイルス対策を目的としたスーパーコンピュータ「富岳」の優先的な試行的利用採択
課題•名大 森健策教授研究室（Type II GPU大規模AI計算）– AIによる医用画像診断支援技術•

名工大 本谷秀堅教授研究室（Type II 大規模GPU計算）– 医用画像処理 LDDMM•

名大 渡邉智彦教授研究室（Type I）– プラズマシミュレーションGKV•

名大 高橋一郎 技術職員 (Type III)– 可視化ツール VisPlus、コールドストレージ操作ツールODAPLUS

3

スーパー台風のメカニズム解析⚫名古屋大学 坪木和久教授 開発による 雲解像モデルCReSS(Cloud Resolving Storm Simulator)によるシミュレーション⚫ 未来の台風（2076年09月に発生）に伴う雲を立体的表示

この台風は太平洋上を北上し、日本に上陸する直前でも中心気圧880 hPa以下を維持。
台風が太平洋上にあるとき、中心気圧870～860 hPa、最大地上風速70～80 m/sを4日間維持し、ほぼその強度のまま関東地方に上陸する。

伊勢湾台風のシミュレーション結果

提供：坪木和久教授

4

台風のメカニズム解析：「不老」でのターゲット• 旧システム（FX100）における実績– 水平間隔 2 km 格子、東西・南北それぞれ1000～2000格子、鉛直は地上から上空約20 km まで100層、積分時間数日程度の計算– 数日の実行時間が必要• 「不老」への期待– より細かく短時間に– 水平1 kmあるいは 500 m 、かつより広い領域で、台風の急発達のメカニズムや詳細な構造が明らかになる– 数100 m 格子でより詳細な地形を考慮したシミュレーションにより豪雨の詳細な構造を明らかにし、豪雨に伴う被害の詳細な予測が可能に

5台風のメカニズム解析：「不老」での計算結果

従来：水平格子間隔約2.5km

水平格子間隔約1.0km
スーパーコンピュータ「不老」で計算

現在計算中・結果検証中

6コロナウイルスのメインプロテアーゼとN3阻害剤の複合構造に関するフラグメント分子軌道計算
畑田崚, 奥脇弘次, ○望月祐志（立教大学）, 福澤薫 （星薬科大学）
古明地勇人（産業技術総合研究所）, 沖山佳生（国立医薬品食品衛生研究所）,
田中成典（神戸大学院）●SARS-CoV-2 メインプロテアーゼとN3阻害剤の結晶構造
2020年2月に、LiuらによってSARSCoV-2のメインプロテアーゼと、阻害能を有する化合物の複合体の結晶構造が発表された(PDB ID: 6LU7)
本研究では、フラグメント分子軌道法と6LU7結晶構造を用いてメインプロテアーゼ-N3阻害剤間の相互作用解析を行った●研究内容はChemRxivで2020/3/17に公開 (https://bit.ly/3f67nlc)●アメリカ化学会の専門誌に採録：Fragment molecular orbital based interaction analyses on COVID-19 main protease - inhibitor N3
complex (PDB ID:6LU7), J. Chem. Inf. Model. 2020, June 15, 2020 (https://doi.org/10.1021/acs.jcim.0c00283）

提供：立教大 望月祐志教授

フラグメント分子軌道法を用いた相互作用解析
解析方法
N3阻害剤を5つの部位に、タンパク質をアミノ酸単位にフラグメント分割し、フラグメント間の相互作用エネルギー(IFIE)を算出
気相条件・溶媒条件下で各々MP2/6-31G*レベルで計算

計算環境： ABINIT-MPプログラム @ 名大FX-100
気相条件 : 128ノード（16スレッド - 256プロセス） 1.4時間
溶媒条件 : 192ノード（ 16スレッド - 384プロセス） 30.5時間

解析結果

BDA→BAA

Fragment3-47.50 kcal/mol(気相)-49.45 kcal/mol(溶媒)
主にGlu166, Gln189と 相互作⽤

Fragment3

Fragment1

Fragment5-21.32 kcal/mol (気相)-17.77kcal/mol (溶媒)⼤き な相互作⽤はなし

Fragment2

Fragment5

Fragment4-84.85 kcal/mol(気相), -79.58 kcal/mol(溶媒)主にHis163, 164と 相互作⽤

Fragment1-24.21 kcal/mol (気相)-26.20 kcal/mol (溶媒)主にThr190と 相互作⽤

Fragment4

Fragment2-28.41 kcal/mol (気相)-26.92 kcal/mol (溶媒)
主にGlu166, Gln189と 相互作⽤

7

新型コロナウイルスのメインプロテアーゼと結合した阻害剤N3の重要部位の構造ゆらぎ

スーパーコンピュータ「不老」で以下の研究開発を予定⚫ TypeⅠサブシステム：SIMD化強化等のコードチューニング
⚫ TypeⅡサブシステム：AI処理連携8

9COVID19症例CT画像のAI解析
 AIによるCT像からの肺野セグメンテーション


正常と炎症領域を3次元的に自動識別

肺野自動セグメンテーション結果

 AIによるCOVID-19画像所見推定

医師の所見をAIが推定し迅速な診断を支援
COVID-19
所見推定CNN

COVID-19 typicalNot typical

肺野ボリューム
CT像推定結果

肺野ボリューム

画像はNII J-MIDとの共同研究成果

提供：名大 森健策研究室

10

COVID19症例CT画像のAI解析
 AIによるCT像からの肺野セグメンテーション


正常と炎症領域を3次元的に自動識別約10万枚の画像を横断的に解析することで時間短縮
肺野自動セグメンテーション結果

 AIによるCOVID-19画像所見推定「不老」で解析スピードが約800倍に高速化される見込み

医師の所見をAIが推定し迅速な診断を支援

COVID-19
所見推定CNN

COVID-19 typicalNot typical

肺野ボリューム
CT像推定結果

肺野ボリューム

画像はNII J-MIDとの共同研究成果

提供：名大 森健策研究室

11

大腸内視鏡映像のAI解析• 大腸内視鏡診断支援システム (ポリープ自動検出)– 最新の深層学習手法と大規模データベース– データベース化された約9,000症例の内視鏡動画像• 30TB (166日16時間分の動画像）• 4億3千万枚の静止画像– 不老により単独GPUサーバの約200倍の高速学習が可能に

提供：名大 森健策研究室

12

医用画像処理（臓器形状の補間）• 人の臓器形状の滑らかな補間のための高速計算➢ 人工知能の学習には多数のデータが必要➢ 人の臓器の形のサンプルを多数揃えるのは大変
形の違う臓器二つの間を自然に高速変形させることで学習データを多数獲得→病気の自動診断システム開発へ
膵臓2
膵臓1
変形計算

肝臓1

変形計算

大量データ/大規模計算→スパコンで高速化

肝臓2

提供：名工大 本谷秀堅教授

13

医用画像処理（臓器形状の補間）300353000300250

302500250200020015001501000100500

5000

STEP1

STEP2

STEP3(CALC)STEP3(COMM)

STEP4対1コアCPU

⚫
⚫
⚫

25200

20150

15100

1050

500

対1ソケットOpenMP性能比

350実行時間(sec)3500

対シングルコア性能比

実行時間(sec)• 大変形微分同相写像（Large Deformation Diffeomorphic Metric Mapping, LDDMM)法によるプログラム（本谷研究室開発）• プログラムをGPU化（OpenACC）、Type IIサブシステム上で性能を比較

CPUシングルコアに対して326倍
STEP3(CALC)STEP3(COMM)
CPUSTEP4
1ソケットMPIに対して96倍
対1ソケットCPU（20スレッド）
CPU 1ソケットOpenMPに対して 30倍 の性能
STEP1

STEP2

14

核融合プラズマ乱流コードGKV（GyroKinetic Vlasov code）• ジャイロ運動論モデルに基づく
核融合炉心プラズマ乱流の第一原理シミュレーション• 5次元位相空間上の移流・拡散本研究の一部は，文部科学省「富開発者：岳」成果創出加速プログラム「核燃Tomo-Hiko Watanabe (Nagoya Univ.)
焼プラズマ閉じ込め物理の開拓」のShinya Maeyama (Nagoya Univ.)一環として実施したものです。
Masanori Nunami (NIFS)
Motoki Nakata (NIFS)
Akihiro Ishizawa (Kyoto Univ.)
Yuuichi Asahi (JAEA)
Flux tube– MPI/OpenMPハイブリッド並列– FFTスペクトル法(𝑥, 𝑦)+差分法(𝑧, 𝑣∥ , 𝜇)
– 時間積分：陽的ルンゲクッタ法 + 陰解法衝突項• フラックスチューブ配位による局所乱流の高精度・高解像度計算– 電子・イオン系マルチスケール乱流– 多粒子種プラズマ乱流「不老」Type I サブシステム全系でのベンチマークを実行
スーパーコンピュータ「富岳」想定規模：格子点数：2048*2048*48*96*48*3=1.3×10^12、
MPI並列数：16*4*8*6*3=9216 = (2304ノード×4MPI / ノード)、OpenMP並列数: 12

15

GKVフルアプリ 実行結果（その１：288ノード実行）• 「不老」TypeⅠサブシステム（富岳型ノード）– 288ノードジョブ（13,824コア）– 理論性能：973 TFLOPS• 演算効率：6.78% ( 66.06 TFLOPS )• 問題サイズ– 512 * 256 * 48 * 96 * 48 * 3 = 8.7×1010 格子点– 2 * 4 * 8 * 6 * 3 = 1,152 MPI ( = 288node * 4MPI/node)• ラージページ指定効果– export XOS_MMM_L_PAGING_POLICY=demand:demand:demand– 適用前：77.66 [秒] → 適用後：75.44 [秒] （2.9%高速化）

16

GKVフルアプリ 実行結果（その２：全系2304ノード実行）• 「不老」TypeⅠサブシステム（富岳型ノード）– 全系ジョブ– 2304ノードジョブ（110,592コア）– 理論性能：7.782 PFLOPS• 演算効率：6.67% ( 519 TFLOPS )– ランクマップなし：76.7[秒] → あり：66.4[秒] (15.5%高速化)• 問題サイズ– 1024 * 1024 * 48 * 96 * 48 * 3 = 7.0×1011 格子点– 16 * 4 * 8 * 6 * 3 = 9,216 MPI ( = 2,304 node * 4MPI/node)

17

GKVフルアプリ 弱スケーリング結果
効率：95.7%70

実行時間（秒）

60

63.6

66.4

288ノード

2304ノード（ランクマップなし）（Type I全系、ランクマップあり）

50
40
30
20
100

18

GKVフルアプリ ランクマップの効果（全系2304ノード）• ランクマップなし
MPI% Communication (s)StartEnd--------------------------------------------------------------847695
1.174084764.0938----------------------------------------------------------------847672
1.173984761.7969
976
1032

Application
gkv_bndry.bndry_zv_sendrecv_• ランクマップあり
MPI% Communication (s)StartEnd--------------------------------------------------------------472885
0.735347284.8438----------------------------------------------------------------472847
0.735347281.0430
9761032

Application
gkv_bndry.bndry_zv_sendrecv_プログラム名： VisPlus
開発者： 名古屋大学 高橋一郎
概要 ： 多くの大学や研究機関で利用されている可視化アプリケーション開発ツール"AVS Express" を使って開発した可視化アプリケーションプログラムとユーティリティプログラムの集合体である。
可視化アプリケーションプログラムは、AVSのNetworkエディタを使ってカストマイズしてオープンプラットホームで利用することができる。
また、リモート可視化、ローカル可視化にも対応している。
動作環境： Linux, Windows, Mac

高周波電磁界シミュレーションのフライスルー可視化

太陽風のシミュレーションのマルチビューを使った可視化

気象シミュレーションのー可視化

自動車の衝突解析結果の可視化

脳動脈瘤のPre/Post結果
気象データのー可視化

高分子シミュレーションの可視化

細胞膜シミュレーションの可視化19

プログラム名： ODAPLUS
開発者： Sony，名古屋大学 高橋一郎
概要 ： Sony社製コールドストレージ（光DiskライブラリODA）システムの管理・運用を行うプログラム（現在開発中）

ー ODA単体ドライブ＆ライブラリ装置の利用方法 －利用者端末

学内Network, SINET
情報基盤センター

スーパーコンピュータ「不老」
フロントエンド・サーバ
スパコン用ログインノード

データ転送用ODAログインノード
利用者支援室スーパーコンピュータ
TypeⅠ

TypeⅡ

TypeⅢ）

クラウド

脳動脈瘤のPre/Post結果

サブシステム サブシステム サブシステム サブシステム

ODA単体ドライブ装置

Hot Storage

データ転送

ColdStorage
Cold Storage

センター内・センター外での利用、研究室で保管

ODAライブラリ装置
ODAライブラリ装置

細胞膜シミュレーションのカートリッジの収容｜搬出 可視化

Hot Storage アーカイブ
DDN 共有ストレージ（/home,/largeファイルシステム）

リコール20