スーパーコンピュータ 「富岳」開発を振り返って

国⽴情報学研究所
教授 ⽯川 裕1

計算機科学と計算科学
 計算機科学（情報科学） Computer Science

情報と計算の理論、計算機システムの実現と応⽤に関する研究分野


スーパーコンピュータ、インターネット、⼈⼯知能、、

 計算科学

計算機（コンピュータ）を使って科学する

2022/11/11

Computational Science

⾼エネルギー、気象、天⽂、遺伝⼦解析、創薬、 元来の科学は、理論と実験だった
 スーパーコンピュータを使って⾃然現象を模擬（シミュレーション）する学問が発達していった 最近は⼤量の観測・実験データを使った計算科学分野もある2

スーパーコンピュータ︓何に役⽴つのか 「紙と鉛筆」では解けないような複雑な現象の探求

物質の根源である素粒⼦の成り⽴ち DNAやたんぱく質等数百万個の原⼦の集団の⽰す性質 実験ができない現象の探求

宇宙における最初の天体の起源 地球規模の気候変動と温暖化予測 膨⼤な⼤規模データの探索

ゲノムインフォマティクス

 実験の代替や開発コストの低減

⾃動⾞の衝突シミュレーション
 航空機設計 AI(機械学習）

膨⼤な学習データをスーパーコンピュータで処理する
 AIを使ってシミュレーションを代替する研究も進んでいる

2022/11/113例えば、数値予報（天気予報）の場合は…
 天気予報とは、晴れ、曇り、⾬などの天気状態と、温度、湿度、⾵速、気圧などをある領域で、時間経過とともに予測すること。



晴れ、曇り、⾬などの天気状態は、温度や湿度、⾵速、気圧がわかれば、その状態として考えることがで
きるはず。



温度や湿度、⾵速、気圧は物理量なので、運動⽅程式からわかるはず。



ヴィルヘルム・ビヤークネス(Vilhelm Bjerknes 1904) 「⼒学的、物理学的基礎に⽴つ問題」"全ての科学者が信じているように、⼤気がその前の状態
から次の状態に物理法則に従って推移することがもし正しければ、予測を⾏うための問題を合理的に解決するための必要⼗分条件は、1.⼤気の初期状態についての⼗分に正確な知識。2.⼤気がある状態から別の状態に推移する際に従う法則についての⼗分に正確な知識、であることは明⽩である。"
出典︓Wikipedia

シミュレーションしたい空間をメッシュで覆う

https://ja.wikipedia.org/wiki/%E3%83%B4%E3%82%A3%E3%83%AB%E
3%83%98%E3%83%AB%E3%83%A0%E3%83%BB%E3%83%93%E3%83%
A4%E3%83%BC%E3%82%AF%E3%83%8D%E3%82%B92022/11/11

4

各メッシュの点で、物理量を計算して天気を予測

気象庁札幌管区気象台のホームページよりhttps://www.jma-net.go.jp/sapporo/tenki/kikou/tokucho/kencho2_winter.html
2022/11/11

5

リチャードソンの夢

最初に数値シミュレーションによる予報実験を試みたのはイギリスのリ
チャードソンです。コンピュータの実⽤化以前の1920年頃、およそ⽔平200km間隔で鉛直５層の格⼦を⽤い、６時間予報を１か⽉以上か
けて⼿計算で⾏いました。残念ながら、⽤いた数値計算に難点があり、⾮現実的な気圧変化を予測してしまい、野⼼的な試みは失敗に終りました。しかし、リチャードソンはその著書の中で、「６万４千⼈が⼤きな
ホールに集まり⼀⼈の指揮者の元で整然と計算を⾏えば、実際の時間の進⾏と同程度の速さで予測計算を実⾏できる」と提案しました。

気象庁のホームページから2022/11/11

6

計算スピード

問題読む時間計算する時間
解答書く時間１秒
０.１秒

問題読む時間計算する時間
解答書く時間１秒
１秒
コンピュータ

暗算できる人頭の中で計算するスピード
紙に途中結果を書きながら計算する人

ＣＰＵ内計算スピード

読むスピードメモリのスピード

1.2 + 2.3 + 3.1 + 0.9
書くスピード= 7.5*The Icons made by Freepik from www.flaticon.com
2022/11/11

ＣＰＵ

メモリ

計算スピード

問題読む時間計算する時間
解答書く時間

１秒
０.１秒
４秒

５.１秒

問題読む時間計算する時間
解答書く時間

１秒
１秒
２秒

４秒

演算性能の単位の⼀つ flops
floating‐point operation per second,
1秒間に計算できる回数（浮動⼩数点演算回数）

コンピュータ

暗算できる人頭の中で計算するスピード
紙に途中結果を書きながら計算する人

ＣＰＵ内計算スピード

読むスピード• Kflops (103 flops)、千回/秒• Mflops (106 flops)、100万回/秒• Gflops (109 flops)、10億回/秒• Tflops (1012 flops)、1兆回/秒• Pflops (1015 flops)、1000兆回/秒• 10 Pflops (1016 flops)、京回/秒

メモリのスピード

1.2 + 2.3 + 3.1 + 0.9
書くスピード= 7.5*The Icons made by Freepik from www.flaticon.com
2022/11/11

ＣＰＵ• flops、1回/秒

メモリ
メモリ

命数法と接頭辞
千
103
万
104
億
108
兆
1012
京（ケイ ） 1016
垓（ガイ） 1020

K
10K
100M
T
10P
100E

• flops、1回/秒

並列計算• Kflops (103 flops)、千回/秒• Mflops (106 flops)、100万回/秒

 ⼤量の計算をしたい

40億回の掛け算と40億回の⾜し算 ➡ 80億回の演算
10億回の掛け算と10億回の⾜し算• Gflops (109 flops)、10億回/秒• Tflops (1012 flops)、1兆回/秒• Pflops (1015 flops)、1000兆回/秒

1.2 *2.3 + 3.1 *0.9 + 10.5*2.1 + 3.1*0.014 + ….. + 2.4*1.2 + 3.0*0.5 + 10.6*6.7 + ….
10億回の掛け算と10億回の⾜し算
10.6*6.7 + 1.2 *2.3 + 3.1 *0.9 + ….. + 2.4*1.2 + 3.0*0.5 + …. + 10.5*2.1 + 3.1*0.014 + ….
10億回の掛け算と10億回の⾜し算
2.4*1.2 + 3.0*0.5 + …. + 10.5*2.1 + 3.1*0.014 + …. + 10.6*6.7 + 1.2 *2.3 + 3.1 *0.9 + …..
10億回の掛け算と10億回の⾜し算

1 Gflops (1秒間に10億回演算）コンピュータを使って計算すると80億回/ (10億回/秒)
=
8秒
かかる

10.5*2.1 + 3.1*0.014 + 1.2 *2.3 + 3.1 *0.9 + ….. + 2.4*1.2 + 3.0*0.5 + 10.6*6.7 + ….
2022/11/11

9

並列計算
 ⼤量の計算をしたい

40億回の掛け算と40億回の⾜し算 ➡ 80億回の演算
10億回の掛け算と10億回の⾜し算

1 Gflops (1秒間に10億回演算）コンピュータで8秒かかる問題を4台使って計算すると

1.2 *2.3 + 3.1 *0.9 + 10.5*2.1 + 3.1*0.014 + ….. + 2.4*1.2 + 3.0*0.5 + 10.6*6.7 + ….
10億回の掛け算と10億回の⾜し算
10.6*6.7 + 1.2 *2.3 + 3.1 *0.9 + ….. + 2.4*1.2 + 3.0*0.5 + …. + 10.5*2.1 + 3.1*0.014 + ….

20億回/ (10億回/秒)= 2秒

10億回の掛け算と10億回の⾜し算
2.4*1.2 + 3.0*0.5 + …. + 10.5*2.1 + 3.1*0.014 + …. + 10.6*6.7 + 1.2 *2.3 + 3.1 *0.9 + …..
10億回の掛け算と10億回の⾜し算
10.5*2.1 + 3.1*0.014 + 1.2 *2.3 + 3.1 *0.9 + ….. + 2.4*1.2 + 3.0*0.5 + 10.6*6.7 + ….
2022/11/11

20億回/ (10億回/秒)= 2秒
20億回/ (10億回/秒)= 2秒
20億回/ (10億回/秒)
10
= 2秒

並列計算
 ⼤量の計算をしたい

40億回の掛け算と40億回の⾜し算 ➡ 80億回の演算
10億回の掛け算と10億回の⾜し算 各コンピュータは担当する計算結果を持っているが、これらの結果を⾜し算しないといけない
1.2 *2.3 + 3.1 *0.9 + 10.5*2.1 + 3.1*0.014 + ….. + 2.4*1.2 + 3.0*0.5 + 10.6*6.7 + ….
 どうやって結果を渡すか︖
10億回の掛け算と10億回の⾜し算 コンピュータ間をつないでいるネットワークを使う
10.6*6.7 + 1.2 *2.3
+ 3.1 *0.9 + ….. + 2.4*1.2 + 3.0*0.5 + …. + 10.5*2.1 + 3.1*0.014 + ….
すなわち、コンピュータ間通信でデータを送る

1 Gflops (1秒間に10億回演算）コンピュータで8秒かかる問題を4台使って計算すると2秒で計算が終わる︖
計算を4分割して4台のコンピュータで同時に計算するので1/4の時間

20億回/ (10億回/秒)= 2秒

10億回の掛け算と10億回の⾜し算
2.4*1.2 + 3.0*0.5 + …. + 10.5*2.1 + 3.1*0.014 + …. + 10.6*6.7 + 1.2 *2.3 + 3.1 *0.9 + …..
10億回の掛け算と10億回の⾜し算
10.5*2.1 + 3.1*0.014 + 1.2 *2.3 + 3.1 *0.9 + ….. + 2.4*1.2 + 3.0*0.5 + 10.6*6.7 + ….
2022/11/11

20億回/ (10億回/秒)= 2秒
20億回/ (10億回/秒)= 2秒
20億回/ (10億回/秒)
11
= 2秒

並列計算
1 Gflops (1秒間に10億回演算）コンピュータで8秒かかる問題を4台使って計算すると

 ⼤量の計算をしたい

40億回の掛け算と40億回の⾜し算 ➡ 80億回の演算2秒で計算が終わる︖

20億回/ (10億回/秒)= 2秒

20億回/ (10億回/秒)= 2秒

20億回/ (10億回/秒)
・= 2秒

通信時間が 0.1秒だったら︖
通信時間が 2秒だったら︖
通信時間が 8秒だったら︖

2022/11/11

20億回/ (10億回/秒)= 2秒
コンピュータ1台で8秒かかったのが2.1秒で計算が終わる 4倍性能アップ
この例でこれほど通信時間がかかることがないが通信性能と計算性能の関係を説明するために設定4秒で計算が終わる

2倍性能アップ

10秒で計算が終わる

1.2倍性能ダウン

12

並列計算
 ⼤量の計算をしたい

40億回の掛け算と40億回の⾜し算 ➡ 80億回の演算

1 Gflops (1秒間に10億回演算）コンピュータで8秒かかる問題を4台使って計算すると2秒で計算が終わる︖

スーパーコンピュータに求められる性能要件
20億回/ (10億回/秒)
20億回/ (10億回/秒) 20億回/ (10億回/秒) 20億回/ (10億回/秒)
・
= 2秒
= 2秒
= 2秒
= 2秒
 CPUの演算性能が⾼いコンピュータ1台で8秒かかったのが通信時間が 0.1秒だったら︖
 CPUとメモリの間のデータ転送性能が⾼い2.1秒で計算が終わる 4倍性能アップ

 コンピュータ（ノード）間の通信性能が⾼い
通信時間が 2秒だったら︖
通信時間が 8秒だったら︖

2022/11/11

この例でこれほど通信時間がかかることがないが通信性能と計算性能の関係を説明するために設定4秒で計算が終わる

2倍性能アップ

10秒で計算が終わる

1.2倍性能ダウン

13

国⽴研究開発法⼈ 理化学研究所
⽇本で唯⼀の⾃然科学の総合研究所として、物理学、⼯学、化学、数理・情報科学、計算科学、⽣物学、医科学などに及ぶ広い分野で研究を進めている。

2022/11/11

14

国⽴研究開発法⼈ 理化学研究所
⽇本で唯⼀の⾃然科学の総合研究所として、物理学、⼯学、化学、数理・情報科学、計算科学、⽣物学、医科学などに及ぶ広い分野で研究を進めている。

2022/11/11

15

理化学研究所 計算科学研究センター

Research
Building
Computerbuilding【Computer Building】
floor space
10,500㎡
construction area 4,300㎡
building structure steel
cooling system
1B 14 units
2F 50 units
Computer building

Research building

officeChillers

Substation Supply

Computer room

officeofficeAir conditioner room
Air cooling system

officeoffice【Heat and Power Buiding】
Total electric power 15MW
Electric facilities
70kV high-voltage input
 gas turbine
co-generation system

2022/11/11

officeMachine room

K computer

officeComputer room
Global file system

Machine room

Air cooling system【cross sectional view】【Seismic isolation system】
Resistent to strong earth quakes
up to shake strength 6

16

スパコン開発

2022/11/11

17

スーパーコンピュータは情報機器先端技術の集⼤成
半導体製造技術16万台の計算機全てを使ってアプリケーションを動かす

7nm微細加⼯技術
積層メモリ
写真提供︓富⼠通

2.5次元実装

CPUアーキテクチャ
Arm仕様（スマフォで使われているCPU仕様）を
スパコン向けに拡張

最新版

Linuxカーネル• 並列分散ファイルシステム• 通信ライブラリ• コンパイラ
画像︓Wikipedia • 数値計算ライブラリ

2022/11/11

施設• 8500kWから3.6万kWの電⼒変動による• 電⼒制御• 冷却制御倍精度理論最⾼値（64bit）488 PFLOPS
単精度理論最⾼値（32bit）977 PFLOPS
半精度（AI学習）理論最⾼値（16bit）1.95 EFLOPS
整数（AI推論）理論最⾼値（8bit）3.90 EOPS

ブーストモード（CPU動作クロック
周波数2.2GHz）

倍精度理論最⾼値（64bit）537 PFLOPS
単精度理論最⾼値（32bit）1.07 PFLOPS
半精度（AI学習）理論最⾼値（16bit）2.15 EFLOPS
整数（AI推論）理論最⾼値（8bit）4.30 EOPS

総メモリ容量4.85 PiB

総メモリバンド幅

163 PB/s

総演算性能

オペレーティングシステム等

通常モード（CPU動作クロック
周波数2GHz）

総ノード数

158,976ノード

総ラック数

432ラック (394ノード x 396, 192ノード x 36)

18

富岳開発のための計画づくりは2010年から
調査研究は2012年から始まった
その頃のスマフォは︖
その頃の携帯電話通信は︖

2010年 iPhone4(A4 CPU, iOS 4)2012年 iPhone5(A6 CPU, iOS 6)
出典︓Wikipedia

第3世代移動通信システム（3G）

10年後の
技術予測
スマフォ
パソコン⽤CPU
携帯電話通信その頃のゲーム機は︖

8世代進化
9世代進化
2世代進化

その頃のパソコンは︖
2010年 Let’s Note F9(Core i5 520M 2.4GHz/2コア, HDD, Windows 7)
2012年 Let’s Note SX1(Core i5 2540M 2.5GHz/2コア, SDD/HDD, Windows 7)
出典︓価格ドットコム
2022/11/11

出典︓Wikipedia

2005年XBox360
2006年PlayStation 3, Wii
2012年Wii U
2014年PlayStation 4, Xbox One

その頃のSNSは︖
利⽤経験(国内15歳以上69歳以下の男⼥1339⼈）

Facebook(41.7％)Twitter(40.5％),
mixi(26.7％), LINE (23.7％)
出典︓https://www.dentsu‐
pr.co.jp/releasestopics/news_releases/20121225.html

19

ポスト京（富岳）の開発
 設計⽅針

課題解決型

1.


ポスト京運⽤後に成果が期待されるアプリケーション群が必要とする性能要求に応える

協調設計

2.


アプリケーション開発者と計算機システム開発者の協調によりアプリ
ケーションおよびシステムを協調設計(co-design)していく

Target Application

使い勝⼿の向上3.




省エネ、製造・運⽤保守経費削減

拡張性＆社会が欲するニーズに即応5.
Program

より多くの利⽤者が容易に使えるようにする

Total Cost of Ownership

4.

2022/11/11

CSTI（総合科学技術・イノベーション会議）において⽰した⽬標性能 (2014年10⽉）
アプリ名
⽬標性能
GENESIS
100 倍
GENOMON
15 倍
GAMERA
15 倍
NICAM+LETKF
75 倍
NTChem40 倍
ADVENTURE
15 倍
RSDFT
35 倍
FFB
20 倍
LQCD
50 倍

ビッグデータ、⼈⼯知能

基本設計︓約2年間
詳細設計︓約3年間
製造・設置・調整︓約2年

Brief description① GENESISMD for proteins② Genomon

Genome processing (Genome alignment)③ GAMERA

Earthquake simulator (FEM in unstructured &structured grid)④ NICAM+LETK

Weather prediction system using Big data
(structured grid stencil & ensemble Kalman filter)⑤ NTChem

molecular electronic (structure calculation)

Calendar Year ⑥ FFB

Large Eddy Simulation (unstructured grid)⑦ RSDFTan ab-initio program (density functional theory)⑧ Adventure

Computational Mechanics System for Large Scale
Analysis and Design (unstructured grid)⑨ CCS-QCD

Lattice QCD simulation (structured grid Monte Carlo)

20

アプリケーション:重点課題 (1/2)①社会的・国家的⾒地から⾼い意義がある、②世界を先導する成果の創出が期待できる、③ポスト「京」の戦略的活⽤が期待できる課題を「重点課題」として選定。
カテゴリ

重点課題

健康⻑寿社会の実現 ① ⽣体分⼦システムの機能制御による⾰新的創薬基盤の構築
超⾼速分⼦シミュレーションを実現し、副作⽤因⼦を含む多数の⽣体分⼦について、機能阻害ばかりでなく、機能制御までをも達成することにより、有効性が⾼く、さらに安全な創薬を実現する。

② 個別化・予防医療を⽀援する統合計算⽣命科学
健康・医療ビッグデータの⼤規模解析とそれらを⽤いて得られる最適なモデルによる⽣体シミュレーション（⼼臓、脳神経など）により、個々⼈に適した医療、健康寿命を延ばす予防をめざした医療を⽀援する。

防災・環境問題③ 地震・津波による複合災害の統合的予測システムの構築
内閣府・⾃治体等の防災システムに実装しうる、⼤規模計算を使った地震・津波による災害・被害シミュレーショ
ンの解析⼿法を開発し、過去の被害経験からでは予測困難な複合災害のための統合的予測⼿法を構築する。

④ 観測ビッグデータを活⽤した気象と地球環境の予測の⾼度化
観測ビッグデータを組み⼊れたモデル計算で、局地的豪⾬や⻯巻、台⾵等を⾼精度に予測し、また、⼈間活動による環境変化の影響を予測し監視するシステムの基盤を構築する。環境政策や防災、健康対策へ貢献する。

2022/11/11

21

アプリケーション:重点課題 (2/2)

カテゴリ
エネルギー問題重点課題⑤ エネルギーの⾼効率な創出、変換・貯蔵、利⽤の新規基盤技術の開発
複雑な現実複合系の分⼦レベルでの全系シミュレーションを⾏い、⾼効率なエネルギーの創出、変換・貯蔵、利⽤の全過程を実験と連携して解明し、エネルギー問題解決のための新規基盤技術を開発する。

⑥ ⾰新的クリーンエネルギーシステムの実⽤化
エネルギーシステムの中核をなす複雑な物理現象を第⼀原理解析により、詳細に予測・解明し、超⾼効率・低環
境負荷な⾰新的クリーンエネルギーシステムの実⽤化を⼤幅に加速する。

産業競争⼒の強化⑦ 次世代の産業を⽀える新機能デバイス・⾼性能材料の創成
国際競争⼒の⾼いエレクトロニクス技術や構造材料、機能化学品等の開発を、⼤規模超並列計算と計測・実験からのデータやビッグデータ解析との連携によって加速し、次世代の産業を⽀えるデバイス・材料を創成する。

⑧ 近未来型ものづくりを先導する⾰新的設計・製造プロセスの開発

製品コンセプトを初期段階で定量評価し最適化する⾰新的設計⼿法、コストを最⼩化する⾰新的製造プロセス、
およびそれらの核となる超⾼速統合シミュレーションを研究開発し、付加価値の⾼いものづくりを実現する。

基礎科学の発展⑨ 宇宙の基本法則と進化の解明
素粒⼦から宇宙までの異なるスケールにまたがる現象の超精密計算を実現し、⼤型実験・観測のデータと組み合わせて、多くの謎が残されている素粒⼦・原⼦核・宇宙物理学全体にわたる物質創成史を解明する。

2022/11/11

22

アプリケーション︓萌芽的課題
萌芽的課題
将来性を考慮し、
今後、実現化を検討する課題⑩ 基礎科学のフロンティア － 極限への挑戦

極限を探究する基礎科学のフロンティアで、実験・観測や「京」を⽤いた個別計算科学の成果にもかかわらず答の出ていない難問に、ポスト「京」のみがなし得る新しい科学の共創と学際連携で挑み、解決を⽬指す。

⑪ 複数の社会経済現象の相互作⽤のモデル構築とその応⽤研究

複雑且つ急速に変化する現代社会で⽣じる様々な問題に政策・施策が俊敏に対応するために、交通や経済など
社会活動の個々の要素が互いに影響し合う効果を取り⼊れて把握・分析・予測するシステムを研究開発する。

⑫ 太陽系外惑星（第⼆の地球）の誕⽣と太陽系内惑星環境変動の解明

宇宙、地球・惑星、気象、分⼦科学分野の計算科学と宇宙観測・実験が連携する学際的な取り組みにより、観測・実験と直接⽐較可能な⼤規模計算を実現し、地球型惑星の起源、太陽系環境、星間分⼦科学を探究する。

⑬ 思考を実現する神経回路機構の解明と⼈⼯知能への応⽤

⾰新技術による脳科学の⼤量のデータを融合した⼤規模多階層モデルを構築し，ポスト「京」での⼤規模シミュ
レーションにより思考を実現する脳の⼤規模神経回路を再現し，⼈⼯知能への応⽤をはかる。

2022/11/1123

重点実施機関カテゴリ
健康⻑寿社会の実現

防災・環境問題エネルギー問題

産業競争⼒の強化
基礎科学の発展2022/11/11

重点課題名

実施機関

①⽣体分⼦システムの機能制御による⾰新的
創薬基盤の構築（課題責任者︓奥野 恭史・客員主管研究員）他５機関②個別化・予防医療を⽀援する統合計算⽣命科学③地震・津波による複合災害の統合的予測システムの構築

理化学研究所⽣命システム研究センター

東京大学医科学研究所
他５機関（課題責任者︓宮野 悟・教授）

東京⼤学地震研究所
他４機関（課題責任者︓堀 宗朗・教授）④観測ビッグデータを活⽤した気象と地球環境の予測の⾼度化（課題責任者︓⾼橋 桂⼦・センター⻑）他３機関⑤エネルギーの⾼効率な創出、変換・貯蔵、利⽤の新規基盤技術の開発

⾃然科学研究機構分⼦科学研究所（課題責任者︓岡崎 進・教授）
他８機関⑥⾰新的クリーンエネルギーシステムの実⽤化（課題責任者︓吉村 忍・教授）⑦次世代の産業を⽀える新機能デバイス・⾼性能材料の創成（課題責任者︓常⾏ 真司・教授）⑧近未来型ものづくりを先導する⾰新的設計・ 製造プロセスの開発⑨宇宙の基本法則と進化の解明

海洋研究開発機構地球情報基盤センター

東京大学大学院工学系研究科
他１１機関
東京⼤学物性研究所
他８機関

東京大学生産技術研究所
他６機関（課題責任者︓加藤 千幸・教授）

筑波⼤学計算科学研究センター（課題責任者︓⻘⽊ 慎也・客員教授）
他７機関

24

萌芽実施機関課題名

選定実施機関東北⼤学 ⾦属材料研究所（課題責任者︓久保 百司・教授）
他9機関⑩ 基礎科学のフロンティア － 極限への挑戦

東京⼥⼦⼤学 現代教養学部（課題責任者︓荻⽥ 武史・准教授）
他3機関
東京⼤学 ⼤学院⼯学系研究科（課題責任者︓松下 雄⼀郎・助教）⑪ 複数の社会経済現象の相互作⽤のモデル構築とその応⽤研究⑫ 太陽系外惑星（第⼆の地球）の誕⽣と太陽系内惑星環境変動の解明⑬ 思考を実現する神経回路機構の解明と⼈⼯知能への応⽤

2022/11/11

理化学研究所 計算科学研究センター（課題責任者︓伊藤 伸泰・チームリーダー）
他12機関
東京理科⼤学 ⼯学部（課題責任者︓藤井 孝藏・教授）
他3機関
神⼾⼤学 ⼤学院理学研究科（課題責任者︓牧野 淳⼀郎・教授）
他8機関
沖縄科学技術⼤学院⼤学 神経計算ユニット（課題責任者︓銅⾕ 賢治・教授）
他4機関
東京⼤学 先端科学技術研究センター（課題責任者︓神崎 亮平・センター⻑・教授）
25

ターゲット問題の具体的な内容
アプリ名
GENESIS

ターゲット問題の内容(多重ケース処理型計算) より効果的で安全な創薬候補物質のスクリーニングのため、タンパク質、溶媒(⽔分⼦)を含
む10万原⼦の薬剤候補結合の全原⼦分⼦動⼒学シミュレーションを1ケースにつき100ns⾏う。10万ケース実⾏。

Genomon(多重ケース処理型計算) がんの解明に向けた全ゲノム解析。リード⻑150塩基対、リード数14億。1⽇あたり1000検体のスループット実現。

GAMERA(⼤規模単⼀処理型計算) 都市域の地盤歪の計算に該当する、1兆⾃由度の⾮構造格⼦有限要素モデルの⾮線形地盤地
震動解析(120秒、12万時間ステップ)をターゲット問題とする。

(多重ケース処理型計算+⼤規模単⼀処理型計算)局地的豪⾬や⻯巻などの⾼精度な予測を実現するため、多重ケース処理型計算では、全球3.5km⽔平メッシュ1024メンバーのアンサンブル気象計算と観測データとの同化を３時間毎に⾏
NICAM+LETKF
うシミュレーションを2ヶ⽉間分、⼤規模単⼀問題型計算では、全球220m⽔平メッシュ鉛直94層の⼤気シミュレー
ションを72時間分実⾏する。

26

NTChem(多重ケース処理型計算) 光化学反応のメカニズムを解明し、光エネルギー変換の材料候補物質スクリーニングのための、⾼精度第⼀原理電⼦状態計算の典型的計算例として、720原⼦、19680電⼦軌道のカーボンナノグラフェン分⼦複合体のエネルギー計算を設定する。20ケース実⾏。

Adventure(多重ケース処理型計算)複雑な形状の構造物の最適な全体設計を実現するため、有限要素法に基づく構造解析を⾏う。
薄板状領域の⾮線形応答問題。ソリッド四⾯体⼆次要素分割で計16.5億⾃由度。 1時間ステップ当たりBDD反復500回
を1万時間ステップ実⾏。100ケース実⾏。

RSDFT(多重ケース処理型計算)複数の異種物質から構成されるナノ界⾯を解明するため、量⼦⼒学的第⼀原理計算に基づき、11万原⼦の200SCF計算を24ケース実⾏し構造最適化を⾏う。

FFB(⼤規模単⼀処理型計算)複雑な形状の構造物まわりの熱発⽣率、冷却・排気損失、ノッキング、サイクル変動等の予測の正確な評価を⾏うため、有限要素法に基づく流体計算を6700億要素規模で10万時間ステップ⾏う。

LQCD(⼤規模単⼀処理型計算)素粒⼦から宇宙全体にわたる物質創成史を解明するため、クォークを1924個の格⼦上の場として計算する。
2022/11/11

フラッグシップ2020開発体制
理研／計算科学研究センター

Co‐designセンター⻑

重点課題実施機関

フラッグシップ
2020プロジェクト

開発請負契約

富⼠通
（開発担
当企業）

プロジェクトリーダー (⽯川)全体統括、システムソフトウェア担当

運⽤技術部⾨
研究部門

兼務

副プロジェクトリーダー (佐藤)アーキテクチャ担当

情報提供

萌芽的課題実施機関

副プロジェクトリーダ (牧野)Co‐design担当
副プロジェクトリーダー (富⽥)
アプリケーション担当

ソフトウェア企業
開発請負契約企業
企業

2022/11/11

共同研究

⼤学
⼤学
⼤学

27

ターゲットアプリの性能評価結果
アプリ名
GENESISGENOMONGAMERA
NICAM+LETKF
NTChemADVENTURE
RSDFT
FFB
LQCD

28

⽬標性能
100 倍
15 倍
15 倍
75 倍
40 倍
15 倍
35 倍
20 倍
50 倍

結果
131 倍
23 倍
63 倍
127 倍
70 倍
63 倍
38 倍
51 倍
38 倍

2022/11/11

世界⼀の中⾝︓TOP500, HPCG, HPL-AI, Graph500

2020年11⽉
2020年6⽉

Top500HPCG
HPL-AI
Graph500
Top500c
HPL-AI
Graph500

測定値

使⽤ノー
ド数割合

第2位性能

442.01 PF
16.00 PF
2.00 EF
102.95 TTeps
415.53 PF
13.36 PF
1.42 EF
70.98 TTeps

100%
100%
100%
100%
96%
87%
80%
58%

148.60 PF
2.92 PF
0.55 EF
23.75 Tteps
148.60 PF
2.92 PF
0.55 EF
23.75 TTeps

 TOP500

2位との性能差（倍率）

3.0
5.5
3.6
4.3
2.8
4.6
2.5
3.0

2位との性能差（倍率）62020年6⽉

2020年11⽉

HPL‐AI

Graph500

420Top500

HPCG

密⾏列係数連⽴1次⽅程式をLU分解法で求解するプログラム(Linpack)を使⽤

 HPCG

疎⾏列係数連⽴⼀次⽅程式を共役勾配法（conjugate gradient）で求解するプログラムを使⽤

 HPL-AI

密⾏列係数連⽴1次⽅程式をLU分解かつ混合演算（倍精度浮動⼩数点(FP64)、半精度浮動⼩数点(FP16))によって求解するプログラムを使⽤

 Graph500
2022/11/11

グラフ探索問題29

スーパーコンピュータ「富岳」
３次元積層メモリ

シリコンインタポー
ザ上を⾼ピッチの多数の信号線で配線

CPUダイ

TSV (Through‐Silicon Via)
マイクロ・バンプ
シリコンインタポーザ
チップ・バンプ(C4)2022/11/11

３次元積層
メモリ



３次元積層
メモリ

A4判紙（210x297mm)位の⼤きさ

プリント基板

３次元積層
メモリ

230 mm

BGA ボール

３次元積層
メモリ

280 mmパッケージ基板

storage system
 1st Layer (1.6 TB/16CN)‐ Cache for global file system‐ Temporary file systems‐ Local file system for computenode‐ Shared file system for a job
nd
 2
Layer

Fujitsu FEFS: Lustre-based global
file system, about 150 PB
30

コデザイン

計算機の性能を左右する項⽬








コア数
演算回路数
キャッシュ（⾼速メモリ）容量
データ転送性能
メモリ容量
コア・メモリ間接続⽅式
計算機間接続⽅式

Target Application
Program*写真︓富⼠通株式会社提供

CPU・計算機間
ネットワーク
設計修正・改良

性能電⼒予測ツール
コンピュータ内
挙動解析

結果

do j = JS-1, JE+1
CNDY(2,j) = 1.0_RP / ( (CDY(j+1)+CDY(j )) * 0.5_RP * CDY(j ) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j ) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j-1) * (CDY(j )+CDY(j-1)) * 0.5_RP )enddo
CNDY(2, 1:JS-2) = CNDY(2,JS-1)
CNDY(2,JE+2:JA ) = CNDY(2,JE+1)
do j = JS, JE+2
CNDY(3,j) = 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j ) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j-1) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j-1) * (CDY(j-1)+CDY(j-2)) * 0.5_RP )enddo
CNDY(3, 1:JS-1) = CNDY(3,JS )CNDY(3,JE+2:JA ) = CNDY(3,JE+2)
do j = JS-2, JE+1
CNMY(1,j) = 1.0_RP / ( CDY(j+1) * (CDY(j+1)+CDY(j )) * 0.5_RP * CDY(j ) )
enddo

プログラム
修正・改良

検討
基本設計において、本サイクルを通して
左上項⽬を決定。具体的な回路設計は詳細設計で⾏った

性能電⼒予測ツール••

プロジェクト開始時富⼠通の最新商⽤スパコンFX100を⽤いてカーネルコード実⾏時の性能情報に基づき開発CPUの性能を予測する
カーネルコードとはアプリケーションコード中実⾏時間の⻑いコード断⽚を切り出したもの*The Icons made by Freepik from www.flaticon.com
2022/11/11

Brief description① GENESISMD for proteins② Genomon

Genome processing (Genome alignment)③ GAMERA

Earthquake simulator (FEM in unstructured & structured
grid)④ NICAM+LETK

Weather prediction system using Big data (structured gridstencil & ensemble Kalman filter)⑤ NTChem

molecular electronic (structure calculation)⑥ FFB

Large Eddy Simulation (unstructured grid)⑦ RSDFTan ab-initio program (density functional theory)⑧ Adventure

Computational Mechanics System for Large Scale Analysis
and Design (unstructured grid)⑨ CCS-QCD

Lattice QCD simulation (structured grid Monte Carlo)

アプリ側改良システムへの要請

件数

105件

68件

例

SIMD演算利⽤率向上

TofuDインターコ
ネクト機能強化 ファイルI/Oミドルウェア(LLIO)機能およびストレージ性能はアプリのファイルI/Oパターンに基づいて設計した
31

開発経緯概略

年度

2010
H22

2011
H23

ロードマップ策定

2010.8~2011.7~2012.3

2012
H24

2013
H25

調査研究
2012.7~2014.3
理研ポスト「京」基本構成および性能⽬標等提案





基本設計

詳細設計

構成案変更

夏 半導体製造技術10nmから7nmに変更。当初計画から正式運⽤開始予定時期遅延

2018
H30

2019
H31/R12020
R2

製造・設置・調整
夏 試作機
完成

12⽉ ハード
ウェア搬⼊開始

2020年代に実現されるべきアプリケーションとそれを可能とするスパコンの将来像をまとめた以下の⽩書を策定。当初、草の根的に始まった


計算科学研究ロードマップ⽩書



HPCI技術ロードマップ⽩書

東北⼤、筑波⼤、東⼤の3代表機関が企業と共にそれぞれスパコン基本⽅式とその性能⾒積もり等の調査研究を⾏った



理研はアプリケーション開発者と共に将来の社会的・科学的課題とその解決のためのスパコンで動かすアプリケーションをまとめた

基本設計
コンピュータハードウェアおよびソフトウェア、設置条件などの仕様（開発すべき項⽬等）を決めた

詳細設計
基本設計で確定した仕様を元に、具体的なハードウェア・ソフトウェア設計を⾏い試作機を制作し評価した製造・設置・調整2022/11/11

2017
H29







2016
H28

調査研究





2015
H27

ロードマップ策定




2014
H26

富岳ハードウェアを製造・設置し、ハードウェアおよびソフトウェアの安定化および正式運⽤に向けた調整作業を⾏った
32

2010年戦略的⾼性能計算システム開発に関するワークショップ• 第1回@⾦沢 ('10.8.2)• 第2回@秋葉原 (‘10.11.27)• 第3回@京都 (‘11.2.5)• 第4回@秋葉原(‘11.5.28)• 。。。。
合計11回開催
2022/11/11: 所信表明: 所信表明＋シニアパネル: テーマ別パネル: ロードマップ作り開始

33

2011年頃の⽂科省の動き

2022/11/11

34

2011年頃の⽂科省の動き

2022/11/11

35

開発経緯概略

年度

2010
H22

2011
H23

ロードマップ策定

2010.8~2011.7~2012.3

2012
H24

2013
H25

調査研究
2012.7~2014.3
理研ポスト「京」基本構成および性能⽬標等提案

2014
H26
基本設計
構成案変更

2015
H27

2016
H28

2017
H29

2018
H30

詳細設計
夏 半導体製造技術10nmから7nmに変更。当初計画から正式運⽤開始
予定時期遅延2019
H31/R12020
R2

製造・設置・調整
夏 試作機
完成

12⽉ ハード
ウェア搬⼊
開始「レイテンシコアの⾼度化・⾼効率化による将来のHPCIシステムに関する調査研究」
 2020年代に実現されるべきアプリケーションとそれを可能とするスパコンの将来像をまとめた以下の⽩書を策定。当初、草の根的に始まった•「演算加速機構を持つ将来のHPCIシステムに関する調査研究」

計算科学研究ロードマップ⽩書•「⾼メモリバンド幅アプリケーションに適した将来のHPCIシステムのあり⽅の調査研究」

HPCI技術ロードマップ⽩書•「アプリケーション分野からみた将来のHPCIシステ
 調査研究ムのあり⽅の調査研究」


ロードマップ策定



東北⼤、筑波⼤、東⼤の3代表機関が企業と共にそれぞれスパコン基本⽅式とその性能⾒積もり等の調査研究を⾏った



理研はアプリケーション開発者と共に将来の社会的・科学的課題とその解決のためのスパコンで動かすアプリケーションをまとめた

基本設計




基本設計で確定した仕様を元に、具体的なハードウェア・ソフトウェア設計を⾏い試作機を制作し評価した製造・設置・調整2022/11/11

コンピュータハードウェアおよびソフトウェア、設置条件などの仕様（開発すべき項⽬等）を決めた

詳細設計




•

富岳ハードウェアを製造・設置し、ハードウェアおよびソフトウェアの安定化および正式運⽤に向けた調整作業を⾏った
36

年度

開発経緯: 最初の壁

2010
H22

2011
H23

ロードマップ策定

2010.8~2011.7~2012.3

2012
H24

2013
H25

調査研究
2012.7~2014.3
理研ポスト「京」基本構成および性能⽬標等提案

2014
H26

2015
H27

基本設計
構成案変更

2016
H28

2017
H29

2018
H30

詳細設計
夏 半導体製造技術10nmから7nmに変更。当初計画から正式運⽤開始
予定時期遅延2019
H31/R12020
R2

製造・設置・調整
夏 試作機
完成

12⽉ ハード
ウェア搬⼊
開始

当初開発案

出典︓総合科学技術・イノベーション会議評価専⾨調査会（第103回)資料
2022/11/11

37

半導体・シリコン・IC・CPU

 半導体とは︖
電気を通したり通さなかったりする物質
富岳のCPU
電気を通す（導体）、電気を通さない（絶縁体）
IC（集積回路）︓
 コンピュータは半導体でできている半導体上に、様々な電⼦部品を電気を通す＝ON、電気を通さない＝OFF、性質を持つ
形成しパッケージ化したものの シリコン(Si)︓半導体材料
総称。CPUチップもICの⼀つ シリコンを使ってON/OFFを制御する素⼦（トランジスタと呼ばれる）を作る
富岳のCPUチップ 約87億トランジスタ「京」のCPUは 沢⼭のトランジスタを使って、計算する部品やメモリ部品
約7億6000万個などを作り、それらをつなげてCPUが出来ている 微細加⼯技術
部品や部品同⼠をつなげる線を⼩さくする技術
中学で習う抵抗をつなげた回路で考える（シリコンの話ではない）
抵抗や抵抗間をつなげる線幅が⼩さくなれば、同じ⾯積に⼊れられる抵抗の数は増える

2022/11/11

微細加⼯技術世代は、線幅で表現
45nm, 10nm

シリコンウエハー︓
シリコンでできた円盤状のもの。
ここに沢⼭のCPUチップを作り、裁断してパッケージする

10nm == 0.000 010ミリ
髪の⽑︓0.08ミリ前後

38

年度

開発経緯: 2番⽬の壁（8~10年先の技術を予測した開発の困難さ）

2010
H22

2011
H23

2012
H24

ロードマップ策定

2010.8~2011.7~2012.3

2013
H25

調査研究
2012.7~2014.3
理研ポスト「京」基本構成および性能⽬標等提案

2014
H26

2015
H27

2016
H28

基本設計
構成案変更

2017
H29

2018
H30

詳細設計
夏 半導体製造技術10nmから7nmに変更。当初計画から正式運⽤開始
予定時期遅延2019
H31/R12020
R2

製造・設置・調整
夏 試作機
完成

12⽉ ハード
ウェア搬⼊開始

2010年~2012年頃の技術予測に基づいた開発
 2世代先の微細加⼯技術の性能予測に基づく⽬標性能設定


想定技術は10nm技術だった

 2015~2016年全世界の半導体製造メーカーの技術進歩が鈍化した ⽬標設定⾒直し vs.開発遅延

⽬標再設定︓量産体制に⼊っている16nm技術を採⽤

遅延︓次の7nm技術を採⽤

 開発遅延を選択2022/11/11



遅延期間を⽤いてAI(深層学習)実⾏性能を⾼められるCPU機能(半精度
浮動⼩数点演算）を追加
メモリ技術も最先端技術に変更

39

終わりに
 10年後の要素技術進歩の予測に基づいた⽬標設定の難しさを経験した


計画⾒直し、開発遅延、価値を⾼めるための機能（AI学習実⾏⾼速化）追加

 当初計画では2020年度からの正式運⽤だったが1~2年遅れる可能性があった。2020年春には新型コロナ禍対策等の利⽤者に限定的ではあるが提供できた

2022/11/11

40