理研計算科学研究センター(R-CCS)
におけるSociety5.0への取り組み

理化学研究所 計算科学研究センターセンター長 松岡 聡
HPCIコンソシウム 説明資料
２０2001271超⼤規模ITインフラである富岳のミッション「京」の主なミッションであるシミュレー
ション・基礎科学のサポート「京」から踏襲した研究・開発・運⽤の更なる⾼度化

CSTIによるSociety5.0早期実現を中⼼とした国⺠の関⼼事の⾼い成果創出
次世代のIoTの中⼼イ
ンフラとしての新たな研究・開発・運⽤

2

CSTI中間評価:Society5.0におけるポスト京を含むスパコン技術の位置づけ○ 全ての⼈とモノがつながり、今までにない新たな価値を⽣み出す超スマート社会の実現を⽬指す
Society5.0において、シミュレーションによる社会的課題の解決や⼈⼯知能（AI）開発及び情報の流通・処理に関する技術開発を加速するためには、スーパーコンピュータ等の情報基盤技術が必要不可⽋・第５期科学技術基本計画（平成28年度〜平成32年度）の柱である「超スマート社会」（Society5.0）を世界に先駆けて実現するためには、新たな価値創造の基盤としてのスーパーコンピュータが必要不可⽋（⽂部科学省 中間評価）

・〔１〕データ駆動型社会の共通インフラの整備③研究⽣産性の向上
産学官連携を⽀え、⽣産性の⾶躍的向上の基盤となる⾼速電⼦計算機施設等の先端的な研究施設・設備の整備・共⽤やポスト「京」の開発を進める（未来投資戦略2018（平成30年６⽉15⽇閣議決定））

このためには富岳におけるA64fxやソフトウェア・アプリのHPC技術が、富岳に留まらず、クラウドにも⼤幅に波及し、エッジと接続してシミュレーション・AIを駆動することが重要＜超スマート社会における⼈々の⽣活＞（出典︓JST/CRDS 曽根純⼀上席フェロー講演資料）

3

4

5

Society5.0に対するR-CCS・富岳の取り組み• 「富岳Arm」IoT主流のArmエコシステムの頂点としての開発• A64fx CPU︓世界最速の汎⽤プロセッサ(x86, Arm含)• HPC・クラウド・AI・IoT全て包括しうるソフトウェアスタック• VM, コンテナ、Spack Package Managerなどの• 「富岳AI」の開発• PyTorch, TensorFlow等の⾼速実装をDNNL for A64fx, Eigen等をベースに開発• 富⼠通・理研・Arm社のMoUによる開発体制• その他各種HPCとAIの融合• 「富岳クラウド」における複数のクラウドプロバイダとの連携• 2020年度クラウドサービスの実験を公募、複数クラウドプロバイダ• 2021年度本格運⽤へ• 「富岳ライブストリーム」で多数のIoTストリームデータのアプリケー
ションへの提供• 種々の研究機関・企業と連携し、⼀定期間以上保存される観測データの格納・分析・学習・推論機構を提供

6

「富岳」︓世界最⾼のＩＴ技術とその活⽤によるイノベーション○

世界トップレベルの圧倒的性能︓⽶国半導体産業に圧勝
Green500 世界⼀位を獲得（2019年11⽉）で消費電⼒性能を実証
⽶国トップのチップ (Intel Xeon)の3倍の性能・効率を達成○

世界最⼤規模のAI研究開発基盤︓IoT時代の中⼼的インフラ
⽇本のAI劣勢を跳ね返すのに必要不可⽋な⾼性能AIインフラ○ 量⼦コンピュータ開発にも必須なインフラ
素⼦開発、アルゴリズム開発、検証に必要○

経済・産業界、社会、IoT イノベーションへ活⽤
防災や創薬、産業イノベーション

最⾼の計算能⼒と省電⼒性能を両⽴、Armアーキテクチャ*採⽤によるIoTとの融合*…世界のスマホ90％以上で採⽤が⽰す世界標準の広⼤なエコシステム

Society5.0 実現の重要なITイノベーションおよび基盤

7富岳をスマートフォンやサーバと⽐較すると…︖

台数
消費電⼒

サーバ

スマートフォン

(クラウド含)2,000万台

30万台(国内の年間出荷台数の約2/3)

10W×2,000万台＝200MW= (国内の年間出荷台数 =の約2/3)

600‐700W×30万台＝=200MW
(冷却含)

CPU種別
基本ソフト

Arm
iOS/Android Linux

x86/Arm
Linux (Red Hat等)/Win

AI 対応

アプリに応じた
独⾃回路
推論のみ

GPUなどの汎⽤加速チップ、CPUの加速命令

富岳

参考︓京1台30~100台> 1/30MW>

15MW

ArmSparc

Linux (RedHat等)

Linux(独⾃)
汎⽤性低い

汎⽤CPUなしSVE 加速機能

8⽶国の最先端CPUを3倍凌駕した半導体設計(性能・効率)

Green500 世界1位を獲得（2019年11⽉、プロトタイプ）- TOP500内のHPCで電⼒効率の良い⾼性能計算の実現を評価するランキング（他の性質の違うアプリでも同様の結果を確認）- Green500は、これまでGPU搭載や特殊マシンが上位を独占していたが、富岳は汎⽤CPU搭載で世界1位獲得- 汎⽤CPUとして、同条件のIntel機と⽐べて3倍強の省電⼒性能- チップあたりの絶対性能でも２〜4倍の性能⇒AIでは更なる性能差

⽶HPE/Cray社は、「富岳」に実装されているArmA64FXプロセッサを⾃社スパコンに採⽤（⽶国製プロセッサ以外では史上初）
2020年度以降、世界市場で販売予定＜納⼊予定先＞
・⽶国ロスアラモス国⽴研究所
・⽶国オークリッジ国⽴研究所
・⽶国ストーニ―ブルック⼤学
・英国ブリストル⼤学 等

⽇本の半導体産業の復興へ覇権維持のため開発を継続することが重要

9何故汎⽤CPUで「3倍速い」が実現できたのか 企業では困難なターゲットを設定し、圧倒的な世界トップの能⼒達成 ⇒イノベーション達成のためリスクテイクできる国家プロジェクトでのみ実現可能 ⇒国家プロジェクトゆえ、⼀企業だけでなく、HPCIのコミュニティを含む⽇本の叡智が結集しOne Teamで課題に取り組んだ



世界最⾼峰Intel製品を凌駕

 ハードとアプリの双⽅の開発陣によるCo-design（コデザイン）により、「⾼いアプリケーション性能」、「省電⼒」、「使い勝⼿の良さ」を達成

 国家プロジェクトであるべき姿を実現できた
10

Spack enables Software distribution for HPC• Spack automates the build and installation of scientific software• Packages are templated, so that users can easily tune for the host environment
No installation required: clone and go$ git clone https://github.com/spack/spack$ spack install hdf5

Simple syntax enables complex installs$ spack install hdf5@1.10.5$ spack install hdf5@1.10.5 cppflags="-O3 –g3"

$ spack install hdf5@1.10.5 %clang@6.0$ spack install hdf5@1.10.5 target=haswell$ spack install hdf5@1.10.5 +threadssafe$ spack install hdf5@1.10.5 +mpi ^mpich@3.2• Ease of use of mainstream tools, with flexibility needed for HPC tuning

github.com/spack/spack• Major victories:• ARES porting time on a new platform was reduced from 2 weeks to 3 hours• Deployment time for 1,300‐package stack on Summit supercomputer

reduced from 2 weeks to a 12‐hour overnight build• Used by teams across ECP to accelerate development

Spack now understands specific target microarchitectures

We have developed a cross-platform library todetect and compare microarchitecture metadata Detects based on /proc/cpuinfo (Linux), sysctl (Mac) Allows comparisons for compatibility, e.g.:skylake > broadwellzen2 > x86_64

Key features: Know which compilers support which chips withwhich flags
 Determine compatibility
 Enable creation and reuse of optimized binary
packages Easily query available architecture features for
portable build recipes

We will be extracting this as a standalone
library for other tools & languages
 Hope to make this standard!

$ spack install lbann target=cascadelake$ spack install petsc target=zen2

Simple feature query

Specialized installations

富岳「クラウド的な利⽤形態」イメージ
「富岳」の利⽤拡⼤
利⽤者数、利⽤者層、利⽤分野の拡⼤

「富岳」
計算資源

有償

アカデミア

産業

• 社会的課題の解決、学術的インパクト• フラッグシップマシンによる⾰新的な利⽤
ポテンシャルユーザー

HPCサービス、ハードウェア技術、ソフトウェア技術、運⽤技術等

既存ユーザー

無償

有償

「富岳」のプロジェクトで培われた“Fugakuテクノロジー”の普及

HPCユーザー

HPC

カスタマー
オリエンテッドにサービス提供

より幅広いニーズにより迅速に対応が可能

HPCを直接利⽤できる機会や技術を持たない研究者・企業裾野拡⼤

サービス
プロバイダーSociety5.0を担うビッグデータ・AI等を活⽤する新規ユーザー等

本年度から2020年度にかけ複数のクラウドサービスプロバイダーと試験研究を開始

13富岳︓世界最⼤規模のAI基盤
⽇本がAIで劣勢を跳ね返すには• 莫⼤な学習データの収集
 今後の⽇本の政策により、統計的に有意なサンプル数は収集可能• ⾼性能AIインフラ
 Deep learning世界トップレベルのABCIの15〜20倍以上の性能• ⾼度⼈材 上記条件が揃えば世界から⼈材が集まるGAFAに対抗し、追い越すことも可能(ABCIでは既に富⼠通・ソニーが⼀部）

 「富岳試作機評価環境の利⽤に関する覚書」を富⼠通と締結し、「富岳」上にAIフレームワークを創り上げ「富岳」を中⼼とした世界トップクラスのAI学習・推論・利活⽤の計算機環境基盤を構築する。
 ⼤規模AIベンチマーク「HPL‐AI」(2020年6⽉創設) に向け研究開発を推進中、世界⼀位獲得可能性⼤
超⾼速なAIソフトウェアを「富岳」、商⽤機、クラウド等に展開しSociety5.0 の中⼼的なインフラとする。
14

Fujitsu-Riken-Arm joint effort on AI framework
development on SVE/A64FX MOU Signed Fujitsu-Riken

Nov. 25, 2019

Step3

Optimization Levels

Step2
DL Frameworks(PyTorch, TensorFlow)

Arm DNNL

Step1
15

 w/Arm in works

Copyright 2019 FUJITSU LIMITEDArm Xbyak, Eigen + Lib

A64fx processor

Exaops of sim, data, and AI on Fugaku and Cloud15

我が国の公的⼤規模AI計算インフラ

推論
838.5PF
学習86.9 PF
Summit⽐
推論1/4
学習1/5

富岳による⼤幅拡充、将来のAIインフラへ

Deployed

PurposeAI ProcessorInference
Peak Perf.

Training
Peak Perf.

Top500Perf/Rank

Green500
Perf/Rank

Tokyo Tech.
TSUBAME3

July 2017

HPC + AI
PublicNVIDIA P100x 216045.8 PF(FP16)

22.9 PF / 45.8PF(FP32/FP16)

8.125 PF#22

13.704 GF/W
#5

U‐TokyoReedbush‐H/L

Apr. 2018(update)

HPC + AI
PublicNVIDIA P100x 496

10.71 PF
(FP16)

5.36 PF / 10.71PF(FP32/FP16)(Unranked)(Unranked)

U‐Kyushu
ITO‐B

Oct. 2017

HPC + AI
PublicNVIDIA P100x 512

11.1 PF(FP16)

5.53 PF/11.1 PF(FP32/FP16)(Unranked)(Unranked)

AIST‐AIRCAICCOct. 2017AI
Lab Only

NVIDIA P100x 400

8.64 PF(FP16)

4.32 PF / 8.64PF(FP32/FP16)

0.961 PF
#446

12.681 GF/W
#7

Riken‐AIPRaiden

Apr. 2018(update)AI
Lab Only

NVIDIA V100x 432

54.0 PF(FP16)

6.40 PF/54.0 PF(FP32/FP16)

1.213 PF#280

11.363 GF/W
#10

AIST‐AIRC
ABCI

Aug.
2018

AI
PublicNVIDIA V100x 4352544.0 PF
(FP16)

65.3 PF/544.0 PF(FP32/FP16)

19.88 PF#7

14.423 GF/W
#4

NICT(unnamed)

Summer2019

AI
Lab Only

NVIDIA V100
x 1700程度~210 PF(FP16)~26 PF/~210 PF(FP32/FP16)

????

????

C.f. US ORNL
SummitSummer2018

HPC + AI
PublicNVIDIA V100
x 27,000

3,375 PF
(FP16)

405 PF/3,375 PF(FP32/FP16)

143.5 PF#1

14.668 GF/W
#3

Riken R‐CCS
Fugaku2020~2021

HPC + AI
PublicFujitsu A64fx> x 150,000> 4000 PO(Int8)>1000PF/>2000PF(FP32/FP16)> 400PF#1 (2020?)>16 GF/W#1

ABCI++(speculative)

2020
~2021

AI
PublicFuture GPU
1000 ~ 2000

>100 PO(INT8)>200PF(16 bit)~50PF(w/ABCI)???
16Society5.0でインターネットはどう変わるのか︖
現在のインターネット

Society5.0時代のインターネット

同じデータが多い

扱うデータ

IDC（インターネットデータセンター）→端末

通信の向き少ない

IDC内の通信ビデオ配信が通信の90％

それぞれ違うデータ
端末→IDC（インターネットデータセンター）
多くの計算をする必要がある→スーパーコンピュータが必要

データ中⼼から計算中⼼の時代へ
17Fugaku LiveStream: Society 5.0 Data Storage & Analysis
Platform
Analysis
センサーデータ

AnalysisAnalysis

ゲノムデータ

気象データ

交通データ

オブジェクトス
トレージ（S3互換）

ファイルストレージ（Lustreベース）

Analysis

AI+HPC+BD

様々な学術機関・研究所・企業と連携し、実際のIoT/ストリームデータを多数⼀定期間格納し、Society5.0アプリの開発、及び社会実装へ

シミュレーション X AI @ 富岳
⇨ 全国規模の準リアルタイム災害状況把握•

シミュレーションによる⼤規模学習データの⽣成と⼤規模深層学習を可能とするためには世界最⾼⽔準の計算性能が必須•

富岳で初めて全国規模の準リアルタイム災害状況把握が実現

全国規模の準リアルタイム災害状況把握

シミュレーション

演繹的順推論による超⼤規模学習データの⽣成AI

富岳

帰納的逆推論のための深層学習モデルの学習
19

宇宙 X AI X 国際協⼒ ⇨ 迅速な世界の災害状況把握
⾰新的災害状況把握基盤技術の創出
宇宙機関

R-CCS
富岳

防災機関・プロジェクト

政府・⾃治体

気象庁
課題抽出 防災科研NASA ESA DLR JAXA
オープンデータ

SIP防災
防災科学 画像解析
⾔語解析 機械学習

空間情報

SNS

地図
⽬視判読

センチネルアジア
技術提供

Copernicus EMS

災害把握

意思決定

世界の若⼿研究者

今後の展開••

富岳を⽤いた⼤規模シミュレーションとAIによる超⾼速・⾼精細災害把握
AIP内異分野連携による説明可能な空間情報AI
20

R-CCS三好ら：ＡＩ、ビッグデータとシミュレーションが融合した、リアルタイム気象予報実験：東京オリンピックでの社会実装実験• 大阪・神戸のフェーズドアレイ気象レーダを用いた降水短時間予報について、2017年に予報業務許可を取得し、現在までリアルタイムで予報の公開を行っている• 気象予報士が常駐し、予報を随時確認した上でWebサイト上で配信(平日9時~5時のみ)• 共同研究契約を結んでいる株式会社エムティーアイが別に予報業務許可を取得し、スマートフォンアプリ「3D雨雲ウォッチ」(2019/9時点でダウンロード数247,000以上)により予報を配信• 富岳は間に合わないが、東大のスパコンの1/4を用いて東京オリンピックのリアルタイム気象予報を行う予定

https://www.mti.co.jp/?p=21823

富岳︓Society5.0の中核プラットフォームへ＜政策的位置づけ＞総合科学技術・イノベーション会議から⽂部科学省への指⽰（2018年11⽉22⽇）
・「富岳」を利⽤したSociety5.0実現のためには、ビッグデータの活⽤において国全体で進めていくことが重要。
・関係府省との連携を取りながら、「富岳」利⽤の仕組みをつくること。

理研の取り組み
~内閣府、⽂科省の協⼒等をいただきつつ~本格的な産学官協働体制
個別研究者ネットワークに基づく産学官協働
⾃動⾞⽤次世代 CAEコンソーシアム（2017年設⽴）
トヨタ⾃動⾞株式会社をはじめとする産業界（14法⼈）と⼤学研究機関（9法⼈）が参画。

Society5.0への貢献に必須な経団連レベルでの協働構築に向けて準備中（経団連、内閣府、⽂科省、理研にて相談開始）
経団連・COCNプロジェクトに「富岳」の利⽤が本格的に位置付けられること等を⽬指す

戦略的国際連携 ⽶DOEと、ポストムーア、AI、量⼦コンピュータに関する連携に向けて準備中。
 欧州と、富岳テクノロジーの汎⽤性を活かした連携等を強化中。
 ASEANのHPCネットワーク構
想と⽇本の富岳中核HPCIとの連携に向け対応中。
(2⽉末のシンガポールでのスパコン分野の国際会議（SCアジア）にて、CSTI委員が講演予定。）
世界的拠点化を⽬指す

⼈材育成など Society5.0を⽀える⼈材育成・データ関連の創造的・⾼度⼈材の産業界を含めた育成に貢献
・兵庫県､神⼾市､地元機関等と連携
 社会発信の強化
・2020年3⽉4⽇には、「富岳フォーラム（仮称）」＠東京を開催予定。
Society5.0との関係を中⼼に内閣府審議官にご講演頂く予定。
・先般のGreen500での世界トップ獲得の際など、機会あるごとに分かりやすい情報提供を実施
イノベーションの基盤たる⼈材育成と、「富岳」時代の社会発信を⽬指す

22