スーパーコンピュータ「富岳」の開発経緯
理化学研究所 計算科学研究センター
フラッグシップ2020プロジェクトリーダ
石川 裕

2021年1月21日（木）13:55-14:45

開発経緯概略

年度

2010
H22

2011
H23

ロードマップ策定

2010.8~2011.7~2012.3

2012
H24

2013
H25

調査研究
2012.7~2014.3
理研ポスト「京」基本構成および性能目標等提案

ロードマップ策定




構成案変更

2016
H28

2017
H29

2018
H30

詳細設計
夏 製造技術10nmから7nmに変更。
当初計画から正式運用開始予定時期
遅延

2019
H31/R12020
R2

製造・設置・調整
夏 試作機完成

12月 ハードウェア搬入開始

2020年代に実現されるべきアプリケーションとそれを可能とするスパコンの将来像をまとめた以下の白書を策定。当初、草の根的に始まった


計算科学研究ロードマップ白書

HPCI技術ロードマップ白書



東北大、筑波大、東大の3代表機関が企業と共にそれぞれスパコン基本方式とその性能見積もり等の調査研究を行った



理研はアプリケーション開発者と共に将来の社会的・科学的課題とその解決のためのスパコンで動かすアプリケーションをまとめた

基本設計
コンピュータハードウェアおよびソフトウェア、設置条件などの仕様（開発すべき項目等）を決めた

詳細設計


基本設計

2015
H27

調査研究



2014
H26

基本設計で確定した仕様を元に、具体的なハードウェア・ソフトウェア設計を行い試作機を制作し評価した製造・設置・調整

2021/01/21

富岳ハードウェアを製造・設置し、ハードウェアおよびソフトウェアの安定化および正式運用に向けた調整作業を行った

2

 設計方針

ポスト京（富岳）の開発

CSTI（総合科学技術・イノベーション会議）において示した目標性能 (2014年10月）
アプリ名
目標性能
GENESIS
100 倍
GENOMON
15 倍
GAMERA
15 倍
NICAM+LETKF
75 倍
NTChem40 倍
ADVENTURE
15 倍
RSDFT
35 倍
FFB
20 倍
LQCD
50 倍

課題解決型

1.


ポスト京運用後に成果が期待されるアプリケーション群が必要とする性能要求に応える

協調設計

2.


アプリケーション開発者と計算機システム開発者の協調によりアプリケーションおよびシステムを協調設計(co-design)していく

使い勝手の向上3.




省エネ、製造・運用保守経費削減

拡張性＆社会が欲するニーズに即応5.


ビッグデータ、人工知能

2021/01/21

Brief description

Program

より多くの利用者が容易に使えるようにする

Total Cost of Ownership

4.

Target Application

基本設計：約2年間
詳細設計：約3年間
製造・設置・調整：約2年① GENESISMD for proteins② Genomon

Genome processing (Genome alignment)③ GAMERA

Earthquake simulator (FEM in unstructured &structured grid)④ NICAM+LETK Weather prediction system using Big data
(structured grid stencil & ensemble Kalman filter)⑤ NTChem

Calendar Year ⑥ FFB

molecular electronic (structure calculation)
Large Eddy Simulation (unstructured grid)⑦ RSDFTan ab-initio program (density functional theory)⑧ Adventure

Computational Mechanics System for Large Scale
Analysis and Design (unstructured grid)⑨ CCS-QCD

Lattice QCD simulation (structured grid Monte Carlo)3

フラッグシップ2020開発体制
理研／計算科学研究センター

Co-designセンター長

重点課題実施機関

フラッグシップ
2020プロジェクト

開発請負契約富士通（開発担当企業）

プロジェクトリーダー (石川)全体統括、システムソフトウェア担当

運用技術部門
研究部門

兼務

副プロジェクトリーダー (佐藤)アーキテクチャ担当

情報提供

萌芽的課題実施機関

副プロジェクトリーダ (牧野)Co-design担当
副プロジェクトリーダー (富田)アプリケーション担当

企業
企業
企業

2021/01/21

ソフトウェア
開発請負契約

共同研究

大学
大学
大学

4

スーパーコンピュータ「富岳」
３次元積層メモリ

シリコンインタポー
ザ上を高ピッチの多数の信号線で配線

CPUダイ

TSV (Through-Silicon Via)
マイクロ・バンプ
シリコンインタポーザ
チップ・バンプ(C4)2021/01/21

storage system
 1st Layer (1.6 TB/16CN)- Cache for global file system- Temporary file systems- Local file system for computenode- Shared file system for a job 2nd Layer
Fujitsu FEFS: Lustre-based global
file system, about 150 PB

３次元積層
メモリ



３次元積層
メモリ

A4判紙（210x297mm)位の大きさ

プリント基板

３次元積層メモリ

230 mm

BGA ボール

３次元積層メモリ

280 mmパッケージ基板5

コデザイン

計算機の性能を左右する項目





コア数
演算回路数
キャッシュ（高速メモリ）容量
データ転送性能
メモリ容量
コア・メモリ間接続方式
計算機間接続方式

Target Application*写真：富士通株式会社提供

CPU・計算機間ネットワーク
設計修正・改良

性能電力予測ツール
コンピュータ内
挙動解析

結果

do j = JS, JE+2
CNDY(3,j) = 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j ) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j-1) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j-1) * (CDY(j-1)+CDY(j-2)) * 0.5_RP )enddoCNDY(3, 1:JS-1) = CNDY(3,JS )CNDY(3,JE+2:JA ) = CNDY(3,JE+2)
do j = JS-2, JE+1
CNMY(1,j) = 1.0_RP / ( CDY(j+1) * (CDY(j+1)+CDY(j )) * 0.5_RP * CDY(j ) )
enddo

プログラム
修正・改良

検討
基本設計において、本サイクルを通して左上項目を決定。具体的な回路設計は詳細設計で行った

性能電力予測ツール••

プロジェクト開始時富士通の最新商用スパコンFX100を用いてカーネルコード実行時の性能情報に基づき開発CPUの性能を予測する
カーネルコードとはアプリケーションコード中実行時間の長いコード断片を切り出したもの*The Icons made by Freepik from www.flaticon.com
2021/01/21

Brief description

Programdo j = JS-1, JE+1
CNDY(2,j) = 1.0_RP / ( (CDY(j+1)+CDY(j )) * 0.5_RP * CDY(j ) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j ) * (CDY(j )+CDY(j-1)) * 0.5_RP ) &+ 1.0_RP / ( (CDY(j )+CDY(j-1)) * 0.5_RP * CDY(j-1) * (CDY(j )+CDY(j-1)) * 0.5_RP )enddo
CNDY(2, 1:JS-2) = CNDY(2,JS-1)
CNDY(2,JE+2:JA ) = CNDY(2,JE+1)① GENESISMD for proteins② Genomon

Genome processing (Genome alignment)③ GAMERAEarthquake simulator (FEM in unstructured & structuredgrid)④ NICAM+LETK Weather prediction system using Big data (structured gridstencil & ensemble Kalman filter)⑤ NTChem

molecular electronic (structure calculation)⑥ FFB

Large Eddy Simulation (unstructured grid)⑦ RSDFTan ab-initio program (density functional theory)⑧ Adventure

Computational Mechanics System for Large Scale Analysis
and Design (unstructured grid)⑨ CCS-QCD

Lattice QCD simulation (structured grid Monte Carlo)

アプリ側改良システムへの要請

件数

105件

68件

例

SIMD演算利用率向上

TofuDインターコ
ネクト機能強化 ファイルI/Oミドルウェア(LLIO)機能およびストレージ性能はアプリのファイルI/Oパターンに基づいて設計した
6

8~10年先の技術を予測した開発の困難さ


最先端半導体微細加工技術を用いた、消費電力に優れ、アプリケーションレベルで高い実効性能を有するCPUの開発


昔と現在のロードマップを比較しても予測の難しさが分かる

困難１：FS2020プロジェクトは、製造・設置完了8年前(2012年)の技術予測に基づいた開発

2世代先の微細加工技術の性能予測に基づく目標性能設定の危険(想定は10nm技術だった）

2015~2016年全世界の半導体製造メーカーの技術発展が鈍化した



目標設定見直し vs.開発遅延- 目標再設定：量産体制に入っている16nm技術を採用- 遅延：次の7nm技術を採用

出典：https://www.icinsights.com/news/bulletins/Revenue-Per-Wafer-Rising-As-DemandGrows-For-Sub7nm-IC-Processes/- 開発遅延を選択- 遅延期間を用いてAI(深層学習)実行性能を高められるCPU機能(半精度浮動小数点演算）を追加- メモリ技術も最先端技術に変更


現在の情報

困難2:ターゲット微細加工技術決定後の半導体性能（集積度、動作周波数、動作電圧）予測

チップ面積を固定した場合に左右されるパラメータ例
集積度

コア内演算回路数

キャッシュ容量

消費電力を固定した場合に左右されるパラメータ例
チップ面積ｘ集積度



搭載コア数

動作周波数＆電圧計算ノード数ターゲットアプリケーション性能予測を通してこれらパラメータを決定

2021/01/21

7

終わりに
 10年後の要素技術進歩の予測に基づいた目標設定の難しさを経験した


計画見直し、開発遅延、価値を高めるための機能（AI学習実行高速化）追加

 当初計画では2020年度からの正式運用だったが1~2年遅れる可能性があった。2020年春には新型コロナ禍対策等の利用者に限定的ではあるが提供できた

2020年6月、11月ベンチマーク結果

2020年11月
2020年6月

ノード数

周波数
(GHz)

Top500HPCG
HPL-AI

158,976
158,976
158,976

2.2
2.22.2Graph500

158,976

2.2Top500HPCG
HPL-AI

152,064
138,240
126,720

2.2
2.2
2.0

442.01 PF
16.00 PF
2.00 EF
102.95TTeps
415.53 PF
13.36 PF
1.42 EF

Graph500

92,1602.2

70.98 TTeps

2021/01/21

測定値

6月からの性
ピーク性能
能向上

効率

使用ノー
ド数割合

6.4% 537.21 PF 82.3% 100%
19.8% 537.21 PF 3.0% 100%
40.8% 2.14 EF 93.2% 100%45.0%
513.85 PF 80.9%
467.14 PF 2.9%
1.55 EF 91.3%

第2位性能

148.60 PF
2.92 PF0.55 EF

2位との性能差（倍率）

3.0
5.5
3.6

100% 23.75 Tteps

4.396%
87%
80%

2.8
4.6
2.5

58%

148.60 PF
2.92 PF
0.55 EF
23.75
TTeps

性能向上の要因はノード数が増えただけでなく前回に比べてシステムソフトウェアの調整が進んだ結果（OSノイズ削減、ユーザ利用可能メモリ容量増大）に加えて• HPLは通信時間の削減や1ノード上の問題サイズを大きく出来た結果。
• HPCGは計算の高性能化を図っている。
• HPL-AIはさらなる計算・通信の高性能化を図っている。
• Graph500は、１ノードあたりの問題サイズを大きくしている。

3.08