SC17 参加報告
星野 哲也、有間 英志、塙 敏博、下川辺隆史
東京大学情報基盤センター
本 稿 は 、201 年 11 月 12 日 か ら 1 日 ま で ア メ リ カ 合 衆 国 コ ロ ラ ド 州 デ ン バ ー に て 開 催 さ れた、SC1 ( he International Conference for High Performance Comp ting, Net orking, Storageand Analysis) の参加報告である。SC1 は、高性能計算 (HPC) 分野に於いて最大級の国際会議であるとともに、様々な情報技術関連企業や研究所・大学等の技術展示会としても知られている。本稿では、SC1 に参加した東京大学情報基盤センター教職員が現地で見聞きした中から気になったことを記す。

はじめに
本 会 議 は 以 前 は S percomp ting-X (X ：開 催 年) と い う 名 称 が 用 い ら れ て お り 、199 年 にSC-X という名称に変更された。1988 年フロリダ州オーランドで第 1 回が開催されてから、毎年 11 月にアメリカ各地を転々としながら開催されており、今回は S percomp ting-88 から数えて 29 回目である。SC1 の開催地は、SC13 以来 4 年ぶりのコロラド州デンバーであった。会場
も 4 年前と同様、巨大なクマの像が人気のコロラドコンベンションセンターであった。本センターはクマ以外にも会場がコンパクトにまとまっていることが評判であり、実際、展示場から各セッション部屋までの移動が非常にスムーズであった。

図1

1 会場 ( o orootot r)

本会議は、基調講演、研究発表、パネル討論、 o ( irds of a eather 特定のトピックを定めた小規模集会)、主要技術の理解を助けるチュートリアル、併設される多数のワークショッ
プ な ど で 構 成 さ れ て い る 。研 究 発 表 に つ い て は 1 件 行 わ れ 、ま た 12 件 の パ ネ ル 、99 件 の ポ ス
ター、41 件のチュートリアル、3 件のワークショップ、13 件の招待講演、 9 件の o など盛りだくさんの内容であった。また、企業や各種研究機関による最新の製品や技術の展示発表も注目すべき内容であった。主催者発表によると、SC1 の参加登録者数は 12,000 人を越える見込みである。そのうちアメリカ以外からの参加者は 2,800 人程とのことで、日本からも多くの研究者が参加した。展示には 334 団体が参加し、大変な賑わいであった。

1スーパーコンピューティングニュース- 25 -

Vol.20,No.1

2018東京大学情報基盤センターによる展示
東京大学情報基盤センターは昨年同様、「I C/JCAHPC,he University of okyo」の名義によるブース展示を行った。筑波大学計算科学研究センターと共同で設立した最先端共同 HPC 基
盤施設を JCAHPC と呼び、Oakforest-PACS スーパーコンピュータの運用を行なっている。今回のブース展示においても、筑波大学計算科学研究センターによる「CCS/JCAHPC, Universityofs k ba」と隣合わせのブースにて、一体的な展示を実施した。また例年同様に、情報基盤センターの提供する計算資源や研究事例を紹介するポスターの展示を行い、パンフレット・チラシ・グッズの配布を行った。恒例となっているブースでのプレゼンテーションも両センター
で 協 力 し て 実 施 し た 。ブ ー ス プ レ ゼ ン テ ー シ ョ ン で は 、Oakforest-PACS な ど を 使 っ た 最 新 の研究など、以下の 件の講演が行われた。Oakforest-PACS は稼働開始から 1 年が経過し様々な成果が創出されてきている。システム全体を利用した電子動力学シミュレータや地震工学アプリケーションなどの実アプリケーションでの研究成果や、著名な MPI ライブラリの一つである

M APICH2 の実行性能やスケーリングについての発表が行われた。
“Optical Material Sim lation onll System Scale of Oakforest-PACS,”

ais keok(CCS/U. s k ba)“Optimi ing MPI Start p on Oakforest-PACS,”

enneth Ra enetti (Argonne NationalLaboratory)“An Overvieof the IH /Mc ernel Light eight M lti-kernel based Operating System

for E treme Scale HPC,”

ala s Geroﬁ (AICS/RI EN)“Accelerating Dynamic Implicit inite-element Method ith Adaptivem ltistep Predictor
on Oakforest-PACS,”

oheiita (Earthake Research Instit te/U okyo)“Scalability and Performance of M APICH2 on Oak orest-PACS,” Dhabales ar.

Panda ( he Ohio State University)“Improving the Scaling of Con gate Gradient Eigensolvers,” Osni Mares (La renceerkeley National Laboratory)“Optimi ations of H-matrices Library for Many-core Processors,”

ets ya Hoshino(I C/U okyo)

各種のランキングについて毎年の SC ではスーパーコンピュータの性能に関する様々なランキングが更新される。最も有名なスパコンランキングである op500、スパ コンの電力性能を競う Green500、実際のアプリケーションに近いと言われる HPCG や、今回より始まったスパコンの IO 性能を競う IO-500 などがある。本稿では op500 から見える全体的な傾向に加え、JCAHPC が運用する Oakforest-PACSが 1 位となった IO-500 について詳しく取り上げる。

op500 (http //.top500.org/) は世界のスーパーコンピュータの性能を LINPAC という係数行列が密の連立一次元方程式を解くベンチマークの処理速度によって競うものである。

1993 年の開始以来、 月にヨーロッパで行われる会議である ISC と、本会議 SC にて年 2 回の更新を続けている。近年は特に上位のシステムの入れ替わりが少なくなっていたが、今回の更新で2スーパーコンピューティングニュース- 26 -

Vol.20,No.12018

図2
表1

ブース展示の様子 (ゲストによるブースプレゼンテーション、展示物を紹介する様子)

Top500 の上位 10 のスーパーコンピュータ ( http://www.top500.org/ より抜粋、一部編集 )Rank

SystemCores

1
2
3
4
5
6
7
8
9
10

Sunway TaihuLight
Tianhe-2 (MilkyWay-2)
Piz Daint
Gyoukou
Titan
Sequoia
TrinityCori
Oakforest-PACS
K computer

10,649,600
3,120,000
361,760
19,860,000
560,640
1,572,864
979,968
622,336
556,104
705,024

Rmax(TFlop/s)
93,014.6
33,862.7
19,590.0
19,135.8
17,590.0
17,173.214,137.3
14,014.7
13,554.6
10,510.0

Rpeak(TFlop/s)
125,435.9
54,902.4
25,326.3
28,192.0
27,112.5
20,132.7
43,902.6
27,880.7
24,913.5
11,280.4

Rmax/ Rpeak
0.74
0.62
0.77
0.68
0.65
0.85
0.32
0.50
0.54
0.93

Power
(kW)
15,371
17,808
2,272
1,350
8,209
7,890
3,844
3,939
2,719
12,660は海洋研究開発機構 (JAMS EC) に設置された暁光が 4 位（国内 1 位）にランクインし、 月のランキングでは 10 位であった rinity (DOE/NNSA/LANL/NSL) が 位にランクインした。これにより、前回 位であった Oakforest-PACS は 2 つ順位を下げ 9 位（国内 2 位）、京コンピュータが10 位（国内 3 位）となった。表 1 は op500 の 10 位までのスーパーコンピュータの Cores（総コア数）、Rma （Linpack により計測された性能）、Rpeak（理論性能）、Rma /Rpeak（理論性能比の効率）、Po er（Linpack 測定時の消費電力）を示したものである。
ま ず 今 回 4 位 に ラ ン ク イ ン し た 暁 光 に 着 目 す る と 、コ ア 数 が 桁 違 い に 多 い こ と が わ か る 。

3スーパーコンピューティングニュース- 27 -

Vol.20,No.1

2018

Rma が 1 位の S n ay aih Light の 20 強であるのに対し、コア数は 2 倍近い。経験的に、扱うべきコア数が増すほど、それを扱うためのプログラミングコストは増大する傾向にあり、また効率を出すのも難しくなってくるが、暁光の理論性能に対する Linpack の性能は 8 と標準的であり、開発チームのプログラム最適化技術の高さが伺える。特筆すべきは消費電力であり、Pi Daint と比較して 0 程度の消費電力で同程度の性能が得られている。この低消費電力技術により、暁光を開発した Pe y Comp ting 社のシステムが今回の Green500 ランキングの op3 を独占した。ひとまず Linpack ベンチマークにおいて十分な存在感を示した暁光であるが、真価が見極められるのは今後、実際のアプリケーション実行時の性能が出てきてからであろう。
ベンチマークプログラムと違い、実際に利用されているアプリケーションはソースコードの規模が大きくなりがちであり、システム向けの最適化には膨大なプログラミングコストを伴うためである。暁光同様、膨大な数の演算コアを持つ S n ay
プリケーションの S n ay

aih Light を設置した中国では、アaih Light 向け最適化に、中国ならではの人海戦術で臨んだと聞く。

暁光はその膨大な演算コアに向けたアプリケーション最適化にどのような方法で挑むのか。注目である。
次に、 位にランクインした rinity に目を向けてみると、驚くほどに理論性能に対する効率が悪い。Linpack ベンチマークは、最も効率を出しやすいベンチマークの一つであり、30 台と い う の は 驚 き で あ る 。理 由 の 一 つ と し て 考 え ら れ る の は 、 rinity の プ ロ セ ッ サ で あ る Intel

Xeon Phinights Landing ( NL) で あ る 。8 位 の Cori、我 々 が 運 用 す る 9 位 の Oakforest-PACS

も同プロセッサを利用しているが、いずれも効率は 50 代でありかなり低い。実は NL の演算コアは周波数 1.4GH を謳っているが、演算密度の高い Linpack のようなベンチマークを実行する際には、1.2GH まで周波数が下がる。チップの温度によってはさらに周波数が下がる仕組
み と な っ て い る た め 、非 常 に 効 率 が 悪 く 見 え て し ま っ て い る 。そ れ に し て も rinity は 、同 じ

NL を用いる Cori・Oakforest-PACS よりもさらに低い効率となってしまっている。 rinity はHas ell 搭載ノードと NL 搭載ノードの混成であるとのことで、この点が悪影響を及ぼす要因となってしまったのかもしれない。あるいは異なるプロセッサが 1 システムに搭載されているため、プログラムの最適化がうまくいかなかったのかもしれない。いずれにせよ，なぜそのような性能値になったのか理由を調査したい。
本センターが運用するスパコンでは、Oakforest-PACS が op500 の 9 位となった他、Oakleaf- Xが 15 位 、Reedb sh-L が 291 位 、Reedb sh-H が 295 位 と な っ た 。ま た 、Green500 に お い て は

Reedb sh-L が 11 位、Reedb sh-H が 1 位、Oakforest-PACS が 22 位となっている。
今回 SC1 において、最初の IO500 List (http //io500.org/) が公開された。スパコンシステム
における IO 性能について、カタログ値だけではなく実際の性能値を測定し比較することで、バランスのとれたスパコンシステムの構築を促し、調達の際のベンチマークとして利用されることも考慮されている。
測定の内容は、
バンド幅性能– IOR easy read/ rite (ユーザが決めて良い)– IOR hard read/ rite (single-shared ﬁle, small naligned, POSIX)
IO 処理性能

4
スーパーコンピューティングニュース- 28 -Vol.20,No.12018

表2Rank
1
2
3
4
5
6
7
8
9

500 のスーパーコンピュータ ( http://www. o500.org/ より )SystemCA PC Oakforest-PACS
Kaust Shaheen
Kaust ShaheenSCRO
DKR Mistral
M Sonasa
Fraunhofer SeislaP
L MSL Casca e
S L Serrano

ファイルシステムM
DataWarp
LustreeeGFS
LustreSpectrum ScaleeeGFS
LustreSpectrum Scale

クライアント
ノード数

スコア

バンド幅

2048
300
1000
8100
1024
126
16

101.48
70.90
41.00
35.77
32.15
21.63
18.75
11.17
4.25

(Gi /s)471.25151.53
54.17
14.24
22.77
4.57
5.13
4.88
0.65

O 処理性能(k OP/s)
19.04
33.17
31.03
89.81
46.64
102.43
68.55
25.59
27.98

– mdtest easy create/stat/delete (ユーザが決めて良い)– mdtest hard create/stat/read/delete (single-shared directory, 3901 byte ﬂes, POSIX)– “ﬁnd” の操作である。これらの結果、バンド幅性能として上記 4 種の測定値の幾何平均、IO 処理性能として上記 8 種の測定値の幾何平均を求め、最終的にのスコアとする。

�(バンド幅性能 × IO 処理性能)の値を IO500

表 2 は 、各 シ ス テ ム に お け る フ ァ イ ル シ ス テ ム 、測 定 に 用 い た ク ラ イ ア ン ト ノ ー ド 数 と 、IO500 のスコアの内訳を示したものである。この表からもわかる通り、本センター (JCAHPC)の Oakforest-PACS がトップになった。バーストバッファである IME を用いたことにより、特に高いバンド幅が得られていることがわかる。なお、現時点では IO500 と言いつつ 9 つのエントリしかないため、今後のリストの充実が望まれる。

4メイントラック論文について

4.1 Leveraging Near Data Processing for High-Performance Checkpoint/Restart byAbhinav Agrawal, Gabriel H. Loh, and James Tucki
North Carolina State University と AMD の 著 者 に よ る “Leverag ing Near Data Processing forHigh-Performance Checkpoint/Restar” という論文である。特に共著者の一人である Gabriel H.
Loh はメモリアーキテクチャの世界で有名であり、本論文も Near Data Processing と呼ばれる近年注目を集めつつある計算パラダイムを、大規模 HPC システムにおけるチェックポイント・リスタートの高効率化に応用するというものである。
エクサスケール級の大規模 HPC システムにおいては、CPU、メモリ等コンポーネント数の劇的な増加により、障害発生頻度の大幅な増大が危惧されている。従って、その様なシステム上で長時間ジョブを実行する際には、アプリケーションの途中経過 (チェックポイント) の定期的保存、及び、障害発生後の最新チェックポイントからの復帰 (リスタート) が必須の技術であると考えられている。しかし、システム規模が大きくなればなるほど、保存すべきチェックポイントの量も膨大になり、結果としてアプリケーションの実行にリソースを割ける時間が限られてしまうという問題がある。
本研究では、ノードごとのローカルなストレージの利用、特に、ストレージデバイス内のロ

5
スーパーコンピューティングニュース- 29 -

Vol.20,No.1

2018

ジックを用いた Near Data Processing(NDP) を行うことによって、並列ファイルシステムへのアクセスオーバーヘッドを削減し、この問題に対処している。NDP とは、一般的に、メモリ・ストレージデバイスのそばにあるロジック (例えば、三次元積層 DRAM の最下層のロジックやSSD 内部のコントローラロジック) に軽量の計算をオフロードすることで、CPU とこれらデバイス間との通信オーバーヘッドを削減し、高性能・低電力化を図るという計算パラダイムである 。本 研 究 で は 、チ ェ ッ ク ポ イ ン ト を ロ ー カ ル な ス ト レ ー ジ に 保 存 す る と い う と こ ろ ま で をCPU が担当し、(1)「チェックポイントデータの圧縮」、(2)「並列ファイルシステムへの圧縮データの転送」をストレージデバイス側のロジックが担当しており、それによってチェックポインティングのオーバーヘッドの削減を行っている。(1) の具体的な狙いは、並列ファイルシステムへのアクセストラフィックの削減による、チェックポイントの高頻度化とリスタートの高速化を可能にする点にあり、(2) の具体的な狙いは、アプリケーションの実行とチェックポイントの保存とをオーバーラップさせることによる、チェックポインティングオーバーヘッドを隠蔽するところにある。
今現在において製品化されているストレージデバイス内のロジックは、圧縮や転送機能を持たないため、実システムを用いた有効性の評価は不可能である。そこで本論文では、性能モデルを用いた単純な評価行っている。評価の結果、並列ファイルシステムに直接チェックポイントを書き込む場合に比べ、大幅にオーバーヘッドを削減できることを論文では示している。
エ ク サ ス ケ ー ル 以 降 の 大 規 模 HPC シ ス テ ム に お い て は 、チ ェ ッ ク ポ イ ン ト・リ ス タ ー ト のオ ー バ ー ヘ ッ ド を 削 減 す る こ と は 重 要 な 課 題 で あ る 。そ の 際 、本 提 案 に あ る 圧 縮 や オ ー バ ー
ラッピングは有力な方針であると言える。しかし、NDP ロジックに関して要求性能を満たすためのハードウェア要件、および、そのオーバーヘッド (コスト・電力) に関する議論がないため、実用性に疑問が残る。特に、HPC は市場が小さいため、これらオーバーヘッドが小さくなければ、デバイスベンダー側が実装するとは考え難い。この様に、アイディアとしては面白いものの、実際のシステムに実用するという点については、まだまだ考慮することがあると言える。

4.

sP N High-performance streaming Processing in the Network by Torsten Hoe er,
alvatore Di Girolamo, onstantin Taranov, Ryan . Grant, Ron rightwell
E HrichとSandia National Laboratoriesの著者らによる“sPIN High-performance streamingProcessing in the Net ork”と題された論文である。筆頭著者であるE H

richの orsten Hoeﬂerは、HPCのネットワーク関連分野において大変著名であり、本研究では前述のNear Data Processingに 似 た 概 念 で あ る Processing in the Net ork を 駆 使 し 、大 規 模 HPC シ ス テ ム に お け る ネ ッ トワークの高性能化を図っている。
エクサスケール級の大規模 HPC システム上で並列アプリケーションを動かす際には、ノード間通信の高速化は必要不可欠である。特に昨今の HPC システムでは、GPU に代表されるアクセ ラ レ ー タ の 利 用 等 に よ っ て ノ ー ド の 演 算 性 能 は 大 幅 に 向 上 し て お り 、結 果 と し て こ の 通 信
オーバーヘッドが特に問題になりつつある。通信の高速化のため、近年では、Remote Direct

Memory Access (RDMA) と 呼 ば れ る 、ネ ッ ト ワ ー ク で 接 続 さ れ た リ モ ー ト ノ ー ド 上 の メ モ リに、オペレーティングシステム (OS) なしに直接データ転送を行う仕組みが Inﬁni and 等にて実装されている。本研究では、この RDMA をベースとしてさらなる通信の高効率化を図っている。

スーパーコンピューティングニュース- 30 -

Vol.20,No.12018

本研究の核となる提案は streaming Processing in the Network (sPIN) と呼ばれる通信の高効率化の仕組みとそれを実現するハードウェアアーキテクチャである。具体的には、上述の RDMAに基づく高性能ネットワークにおいては、送受信データの処理を CPU を介して行う部分にこそボトルネックが存在しており、sPIN ではこの処理を CPU から NIC 内のハンドラ処理ユニット (HPU) 等へオフロードすることでこれを解決している。例えば、ノード間の Ping-Pong では、現状ではすべてのメッセージがメインメモリと CPU を介して行われるものの、sPIN では、NIC内のローカルメモリ及びハードウェア内で処理を完結させることで、レイテンシの短縮を行っている。例えば、ノード間で行列のアキュムレートを行う場合でも、受信側ノードにて NIC 内の HPU が CPU の代わりにローカルメモリを使って計算を行う。その際、ローカルメモリとメインメモリの間のデータ転送は NIC 内の DMA ユニットが行う。論文では Ping-Pong、ブロードキ ャ ス ト 、RAID の パ リ テ ィ ア ッ プ デ ー ト 等 で sPIN に よ る 高 性 能 化 が 可 能 で あ る こ と を 定 性的・定量的に示している。
本研究の特筆すべき点は、異なる 2 つのシミュレータ (LogGOPSim、Gem5) を駆使した緻密な評価である。ここで、LogGOPSim はネットワークや分散メモリのシミュレーションを担当し、Gem5 はノード内の CPU や NIC のシミュレーションを担当している。本研究の様にハードウェアの変更を伴う提案の場合、実機での検証が困難なため、シミュレータを用いた評価を行うこと が 多 い 。そ の 場 合 、よ り 広 範 囲 な コ ン ポ ー ネ ン ト を よ り 緻 密 に 評 価 を 行 う た め に は 、一 般的に実装や実験により長い時間を費やす必要がある。例えば本研究の場合、Gem5 上に sPIN 用
ハ ー ド ウ ェ ア を 実 装 し た 上 で LogGOPSim と 協 調 動 作 さ せ る 必 要 が あ る 。さ ら に は 、Gem5 は高機能で拡張性が高い反面、コードが複雑かつ膨大なため、使いこなすのは困難である。従って、本評価のためには非常に多くの労力を費やしたことが予想される。
そ の 反 面 、実 用 上 で は 幾 つ か 疑 問 が 残 る 。例 え ば 、現 実 の HPC ア プ リ ケ ー シ ョ ン に 対 し てsPIN がどの程度効果的かについての検証はなく、Ping-Pong、ブロードキャスト、RAID のパリティアップデート等の単純なタスクのみ検証がなされている (これらの検証だけでも多大な労力を必要とする が)。また、結局のところ NIC 内 のハードウェアはどの様な機能をカバーすれば十分なのかについても、ここでは明らかにはされていない。さらに、各ノードにおいて、NIC 内のローカルメモリとメインメモリの間でどの様に一貫性を保つかについても、議論の余地がある。従って、本研究もアイディアとしては面白いものの、実用化までにはまだ長い道のりがありそうである。

おわりに
次 回 、SC18 は 2018 年 11 月 11 日 か ら 16 日 の 日 程 で テ キ サ ス 州 ダ ラ ス に て 開 催 さ れ る 予 定 である。

スーパーコンピューティングニュース

7- 31 -Vol.20,No.1

2018