The Gordon Bell Prize
History and Winning
Satoshi Matsuoka
2011 Prize Winner & Honorable Mention
2016-2019 Selection Committee Member
2018 Selection Committee Chair
2021/11/19

ゴードンベル賞とは (1)(一部出典：小柳義夫氏@RIST)• 高並列計算の進歩を顕彰することを目的とし、スーパーコンピュータを科学、技術、大規模データ解析などに応用する際の革新的な手法やアプリケーションの成果を表彰する• ゴードンベル氏の個人主催の賞として始まったが、1992年からはSC(ACM/IEEE学会が共同主催するACM/IEEE Supercomputing国際会議)に組み込まれ、、さらに氏の要請により、2006年からはACM学会の正式な賞となり、権威ある賞となった。毎年11月にSC会議にて発表、表彰が行われる。
• スパコン界では、IEEE Cray/Fernbach賞などの個人の業績賞を除けば、もっとも権威のある賞である。いわば、映画に例えれば、「アカデミー賞最優秀作品賞」に相当• アカデミー賞と同じく、多くの推薦候補から6つ程度の「ファイナリスト」が事前に選出され、SCの会議で最終受賞者が発表される• 特に2006年から、日本の研究チーム・マシンが比較的コンスタントにファイナリストとなり、いくつかは受賞している• 2018年は松岡が審査委員長

ゴードンベル賞とは(2)• 1980年代中頃から、アメリカを中心として高並列コYou were
ンピュータを開発製造するベンチャーが雨後の筍のright!
ように出現したが、DEC社(現HPE)で名機PDP-11を開発し、初のスパコンを開発したSeymore Cray氏と共に計算機アーキテクチャのトップリーダーであったGordon Bell氏は、このような並列コンピュータが科学技術におけるの実際の問題解決に役立つかどうか疑念を抱いていた。すなわちGordon Bell賞は、高並列コンピュータへのチャレンジであった。
• 4月に論文形式でエントリーが行われ、以下の3つの 2014 IEEE/ACM Career Awards @ SC14
基準で審査される。全てが優れているものが受賞。
IEEE Cray Award – Gordon Bell• マシンの高性能化やアプリケーションプログラムに関する計算機テクノロジーの革新• 達成されたスパコンの性能• 実現されたアプリケーションの内容の科学技術としての価値や社会的なインパクト

ACM Ken Kennedy Award – Charles LeisersenIEEE Fernbach Award – Satoshi Matsuoka
2018 Gordon Bell Prize Chair

2006年以降の日本からのゴードンベル賞の受賞
理研「京」や東工大「TSUBAME」でのアプリ• 2009: Low Price / Performance Category: Tsuyoshi Hamada, Tetsu Narumi, Keigo Nitadori, Kiyoshi
Oguri, Makoto Taiji, Kenji Yasuoka, Rio Yokota. 42 Tflops Hierarchical N-body Simulations on GPUs withApplications in both Astrophysics and Turbulence （2010年以降この受賞カテゴリーは廃止)• 2011: Sustained Performance Prize: Taisuke Boku, Yukihiro Hasegawa, Junichi Iwata, Motoyoshi
Kurokawa, Kazuo Minami, Atsushi Oshiyama, Fumiyoshi Shoji, Daisuke Takahashi, Miwako Tsuji, AtsuyaUno, Mitsuo Yokokawa. First principles calculation of electronic states of a silicon nanowire with100,000 atoms on the K computer• 2011: Scalability/Time to Solution Prize: Takayuki Aoki, Toshio Endo, Naoya Maruyama, Satoshi
Matsuoka, Akira Nukada, Takashi Shimokawabe, Tomohiro Takaki, Akinori Yamanaka. Peta-scale PhaseField Simulation for Dendritic Solidification on the TSUBAME 2.0 Supercomputer• 2012: Scalability and Time to Solution:Tomoaki Ishiyama Junichiro Makino Keigo Nitadori. 4.45 Pflops
Astrophysical N-Body Simulation on K Computer - The Gravitational Trillion-Body Problem• その他多くのファイナリストや奨励賞

東工大TSUBAME2.0の受賞

ACM Gordon Bell Prize 2011
2.0 Petaflops, 45% Efficiency(Co-Prize with the K Computer)
Special Achievements in Scalability and Time-to-Solution“Peta-Scale Phase-Field Simulation for Dendritic
Solidification on the TSUBAME 2.0 Supercomputer”

富岳の2020ACMゴードン・ベル賞ファイナリスト

ファイナリスト6件のうち2件が「富岳」利用 (2020年11月）→残念ながら受賞は逃す
高度流体数値シミュレーションによる曳航水槽試験の代替に関する技術開発
船舶の周りの全ての流れの情報を数値化と視覚化

加藤 千幸センター長
東京大学
生産技術研究所革新的シミュレーション研究センター

高解像度シミュレーション・大アンサンブル同化

史上最大規模の全球気象シミュレーションとデータ同化の複合計算
防災・減災に資する新時代の大アンサンブル気象・大気環境予測

佐藤 正樹教授
東京大学大気海洋研究所6

富岳の2021ACMゴードン・ベル賞ファイナリスト
最終発表は米国ミズーリ州セントルイスのアメリカズ・センター及びオンラインで開催される国際会議において、現地時間11月18日（木）12時30分（日本時間11月19日（金）3時30分）より行われる。
2021年ゴードン・ベル賞COVID-19研究特別賞「富岳」を用いたCOVID-19の飛沫・エアロゾル拡散モデル
感染症疫学のデジタルトランスフォーメーションに初めて成功

坪倉誠チームリーダー
理化学研究所
計算科学研究センター
複雑現象統一的開放研究チーム（神戸大学大学院システム情報学研究科教授）「富岳」を用いた宇宙ニュートリノの数値シミュレーション
大規模宇宙構造におけるニュートリノの運動に関する大規模数値シミュレーションの実行に成功

ブラソフシミュレーションと呼ばれる全く新しい手法を世界で初めて採用

吉川耕司 講師
筑波大学
計算科学研究センター

パーティションの高さの影響（提供：理研・豊橋技科大，協力：京工繊大，阪大）

7ランキング結果について

2021年11月19日
理化学研究所 計算科学研究センターセンター長 松岡 聡

「富岳」世界スパコン性能5冠達成（4冠は2020年6月～4期連続、MLPerf HPCは2021年11月初）
シミュレーション(クラシック)シミュレーション
(モダン)
16.0

2.97

TOP500

1.29
1.77倍

倍倍

1.41倍

148.6

102,955

4.33

1.42
5.48倍

(深層学習)

2.00

442.0

スループット性能(深層学習)

ビッグデータ(グラフ処理)AI

0.729

23,756

2.93

HPCG

HPL-AI

Graph500（単位：PFLOPS）（単位：PFLOPS）（単位：EFLOPS）（単位：GTEPS）

浮動小数点の演算での性能評価

実際にアプリケーションを稼働させた性能評価

AI処理での性能評価

ビッグデータ処理での性能評価

2位に対して 約1.4倍から5.5倍の性能差を実現

ML Perf HPC（CosmoFlow）（単位：モデル数 / 分）

AI処理の総合性能評価

9スパコンのベンチマーク

では、演算能力はどうやって「測る」のか Top500
 Green500
 HPCG Graph500
他にもいろいろあるけど、…



IO, AI/DL, SPEC ….
10

Top 500

世界１位とかいうのはこれ！

 LINPACK(密行列の直接解法）と言われるベンチマークプログラムの性能を計測するベンチマーク Top500リストは、LINPACKの実行性能を指標として世界で最も高速なコンピュータシステムの上位500位までを定期的にランク付けし、評価するプロジェクト。1993年に発足し、スーパーコンピュータのランキングを年2回（6月、11月）発表している。http://www.top500.org/

 数十年のデータがあるため、スパコン性能の予測にも使われている。

 多くの科学技術計算や産業アプリケーションで使用される浮動小数点数の演算能力を測ることを目的としている。

 本ベンチマークで高い性能を出すためには、搭載メモリ限界の問題規模で測定する必要があり、数時間にわたる実行が不可欠。高いスコアは計算能力と同時にシステムが故障なく長時間稼働できることも意味している。

 近年、実際のアプリケーションの性能との乖離が指摘されている。
11

「京」の時のランキング

June/2011

http://www.top500.org/
12

これからのスパコンの性能が予測できる？
1 EPLOPS13

最先端のスパコンを作る時の問題は、…
 いまのスパコンの性能は、並列処理から


つまり、性能 ＝ プロセッサの性能 ｘ 台数 すなわち、コンピュータ数
ということは、性能は結合するコンピュータの数を増やせばいい⇒ が、電力が限界

2008年から、Top500に電力消費量を表示するようになった

これからのスパコンは電力が大切

Top500の性能の伸び
たとえば、現在のデスクトップPCの電力は、100Wで、100GFLOPS (1GF/W)
これで、並列システムをつくると…

1TF =1000W
10PF=10MW (京なみ)
1EF= 1000MW
14Green 500

省エネ性能も重要！

 Top500リストにランキングされているシステムのうちで、電力当たりの性能を競うベンチマーク
 500位以内に入るためには、数PFLOPSのシステムでなければならない。
 富岳のプロトタイプで、2019年11月に 16.876GF/Wで１位を獲得！汎用プロセッサながら、GPUを越える電力性能を実証。

15

HPCG

実アプリの性能を見るにはこれ！

 疎な係数行列から構成される連立一次方程式を解く計算手法である共役勾配法（conjugate gradient method）を用いた新たなベンチマーク・プログラム

 HPCG = High Performance

Conjugate Gradient solver 実際のアプリケーションで求められる性能要件との乖離から、産業利用など実際のアプリケーションでよく使われるCG法のプログラムで性能を評価するために提案された。

 自動車や飛行機の空力設計、構造計算、…

 演算性能だけでなく、メモリアクセス性能がベンチマークの結果を大きく左右する。
 2014年6月のISC14で世界の主要なスーパーコンピュータ15システムでの測定結果の発表を経て、同年11月に米国ニューオーリンズで開催されたHPCに関する国際会議
SC14から正式なランキングが発表されている。

 「京」は、Nov. 2014 – Nov. 2015で、１位

16

Graph500
 超大規模グラフの探索能力で計算機を評価するベンチマーク

ビックデータ処理の性能を見る！

 実社会における複雑な現象は、大規模なグラフ（頂点と枝によりデータ間の関連性を示したもの）として表現される場合が多いため、コンピュータによる高速なグラフ解析が必要とされる

 ２つの性能指標がある。「京」「富岳」では、主にBFSを評価。


BFS(Breadth First Search): スタート頂点に繋がっている全ての辺を調べて、繋がっている全ての頂点を知り、次はそれらの頂点から繋がっている全ての辺を調べるという風にして、グラフの全ての頂点に到達する経路を見つけるまでの計算時間を測る。辺の総数を処理時間で割ってTEPS(Traversed Edges Per Second)を求める
SSSP(Single Source Shortest Path): スタート頂点から、全ての頂点への最短の経路を求めるというベンチマーク。なお、SSSPではそれぞれの辺は長さを持っており、経路に含まれる辺の長さの合計が経路の長さとなる。

 演算能力だけでなく、メモリ性能、ネットワーク性能が重要！
 「京」はJun 2014 1位、Nov 2014 2位、Jun 2015-Jun 2019 1位。
 Green Graph500もある。グラフ処理の場合の省電力性能は TEPS / Watt (電力性能比)を計測。

17大規模グラフ解析の応用分野
グラフ
事象同士の関係
交通ネットワーク
ソーシャルネットワーク (Relationships)
サイバーセキュリティ
バイオインフォマティクス
脳科学
防災計画策定

Step1

Step2
グラフ解析

解析結果

Step3

分析と理解

• 並列グラフ探索 (幅優先探索 : BFS)
• 最適化 (最短路 : SSSP, 最大フロー, 最小費用フロー)• クラスタリング (グラフ分割, コミュニティ抽出)

Twitter

ソーシャルネットワーク
6,160万点 & 14億7千万枝

サイバーセキュリティ

全米道路ネットワーク

ニューラル・ネットワーク
890億点 & 100 兆枝

150億/日 のアクセスログ

2,400万点 & 5800万枝グラフ解析の利用方法と応用分野

HPL-AI

あたらしいベンチマーク！

 低精度計算を用いることを認めたHPL（High-Performance LINPACK）の性能を計測するベンチマーク

 倍精度計算よりも計算精度が劣ってしまうため、引き続き反復改良と呼ばれる技術で倍精度計算と同等の精度にすることを求めている。

 従来のHPLは、倍精度演算（１０進で16桁の浮動小数点数）のみで計算することがルールに定められていた。

 近年、GPUや人工知能向けの専用チップで低精度演算（１０進で5桁、もしくは10桁）の演算器を多数搭載し、高性能化をする計算機が多数現れており、ディープラーニ
ングなどのAI処理に使われているが、これらの性能演算性能がTop500に反映されない問題から、提案された。

 間接的に、低精度演算での演算能力を評価することで、ディープラーニングなどのAI処理の性能を評価することを目的とする。

 HPL-AIは2019年11月にルールが公表された、比較的新しいベンチマークランキング。
19

「富岳」は様々なランキングで世界トップレベル
 それぞれのランキングは評価する性能が全く異なる。

評価する性能を競技で例えると…
Top500HPL-AI

100メートル走

チェス

Graph500

HPCG

ML Perf HPC

フィギュアスケート

マラソン

トライアスロン

様々な用途・計算方法で世界トップレベルの性能
汎用性の高い万能スーパーコンピュータ
20

MLPerf HPC ベンチマークについて
スーパーコンピュータの深層学習アプリケーションでの性能評価


今回対象となる3つの大規模深層学習モデル

モデル

CosmoFlow

DeepCAM

Open Catalyst

内容「Exascale Deep Learning for Climate Analytics」より「Cosmological Parameters from the Dark Matter Distribution」よりモデルの シミュレーションデータから シミュレーションデータからの地用途の宇宙論パラメータの予測
球規模の異常気象現象の特定
「The Open Catalyst 2020 (OC20) Dataset and Community Challenges」 より

触媒システムの量子力学的特性の予測

2つの測定方法
方式

生成モデル数

測定量

実際の用途

単一モデル学習 (strong scale)1

学習に掛かる時間

決まったパラメータで学習多数モデル学習 (weak scale)

複数単位時間に学習できるモデル数 試行錯誤によるAIモデル学習
Copyright 2021 Fujitsu Limited 21

2021年富岳による結果と技術
 CosmoFlow 多数モデル

学習で1位

 1位を実現した技術

ポイント

富岳

他のシステムプロセッサ
性能

15万個以上のプロセッサ(今回は8万個程度利用)

数千個

CosmoFlow 多数モデル学習

1.29

スループット[モデル数/分]

1.4
1.2
1.0
0.8

0.68

ネットワー
ク性能

0.73

0.4
0.2
Perlmutter

DGX A100
クラスタノード

衝突が起こりえるネットワー
クとジョブの割り振り
スイッチ

ノード

ネットワー
ク接続

近接ノードをまとめて割り振り、局所的な通信

0.6

0.0

TOFU の性能と、それを活かすジョブ割り振りで、実行中は衝突がほとんどおこらない

Fugakuストレージ
性能

富士通製の階層ストレージをうまく活用し、高効率なデータアクセスを実現

普通のネットワークファイル
システムで、時間が掛かる共有ファイ
ルサーバ…

共有ファイルサーバ

2階層のファイルサーバーとノードのキャッシュ

他に、A64FX CPU 向け最適化技術 (OneDNN 等)
Copyright 2021 Fujitsu Limited 22

2021年11月17日、SC2021会場(セントルイス)での表彰式
 コロナの影響で、実際の表彰式での富岳の表彰は初めて

23

なぜ「アプリケーションファースト」なのに、主要スパコン性能ベンチマーク全てで一位が重要なのか？
 富岳の目的は「ソサエティ5.0」早期実現を含む、国民の関心事に応えるための幅広い分野のアプリを世界トップレベルで加速すること
 それぞれのベンチマークは、一部のアプリをモデル化→もし富岳がその目的通りに設計されていれば、あらゆるベンチマークでトップ性能を示すはず。
 もし富岳が一部ベンチでしかトップ性能が出なければ、設計目的を全く満たしていない→よって、主要スパコンベンチマーク全てで一位が重要24