ACCC, RIKEN
Advanced Center for Computing and Communication

GREEN500への軌跡と展開
黒川 原佳※、鳥居 淳＃※理化学研究所 情報基盤センター ユニットリーダー＃株式会社ExaScalar CTO

ACCC, RIKEN
Advanced Center for Computing and Communication

アウトライン
• 発表者や組織の概略• Shoubuシステムについて• エネルギー効率の動向• Shoubuシステム設置とTOP1の顛末
• 今後の展開2015/11/11

2

ACCC, RIKEN
Advanced Center for Computing and Communication

私および情報基盤センターの紹介• 経歴– 元々は流体実験やCFD（計算流体力学）の研究者だったが、2002年に理研に来たときコンピュータシステムに興味を持ち、コンピュータ・システム全体の設計・管理・運用などに興味が移行しました。
– 京の開発プロジェクトも最初期から参加していました。
– 今は以下の業務に従事• 理研全体のIT基盤（スーパーコンピュータ、ネットワーク、サーバなど）の整備・運用・サポートおよび情報関連の研究開発を行っている部署。
• 今回は、スーパーコンピュータに特化した内容の紹介をします。
– 現在運用中のスーパーコンピュータ・システム• HOKUSAI GreatWaveシステム– Fujitsu製PRIMEHPC FX-100（京の後継機）を中核としたシステム。

– 共同研究のスーパーコンピュータ・システム• 2015年6月期にGREEN500のTOP1を獲得したShoubuシステム• 今回のプレゼンのメインテーマ
2015/11/11

3

ACCC, RIKEN
Advanced Center for Computing and Communication

情報基盤センターでのスーパーコンピュータ導入の歴史
Performance
Hokusai

1PFLOPS
100TFLOPS

RICC
RSCC

10TFLOPS
Fujitsu VPP700E/128
Fujitsu VPP700E/160
Fujitsu VPP500/28
Fujitsu VPP500/30

100GFLOPS
10GFLOPS
100MIPSFACOM M-1800/20
FACOM M-1800/10
FACOM M-780/10S
FACOM M-780
FACOM M-380
FACOM M-380(VM)
FACOM M-180 II AD
FACOM M200

10MIPS2005年3月日刊工業新聞「第34回日本産業技術大賞・文部科学大臣賞」を富士通と共同で受賞。

FACOM 230-75

1MIPS

FACOM 230-60
FACOM 230-60MP

FACOM 270-30
OKITAC 5090M
OKITAC 5090H

メインフレーム＋演算装置

17/Jul/2014
2015/11/11

1960’s1970’s1980’sベクトル並列1990’s

PCクラスタ2000’sMPP

2010’s4 4

ACCC, RIKEN
Advanced Center for Computing and Communication

HOKUSAI GreatWaveシステム• 2段階のシステム稼働を行うシステム– 現在は1段階目のシステムが稼働中。
• 1段階目：GreatWave (浪裏)• 2段階目：BigWaterfall (瀑布) 2016年頃導入予定

ピーク性能：１PFLOPS（5ラックで実現）
2015/11/11

5ACCC, RIKEN
Advanced Center for Computing and Communication

齊藤さん, PEZY Computing, ExaScalerの紹介• 齊藤さん：元々は放射線科の医師、シリコンバレー他の医療画像処理系ベンチャー数社の創始者• 株式会社PEZY Computing– 創業：2010年1月– 事業内容：プロセッサ、PCBボード、システム、ソフトウェアの開発と販売• 株式会社ExaScaler– 創業：2014年4月– 事業内容：高効率の液浸冷却装置、及びシステムの開発・製造・販
売• Shoubuシステムは両者の技術を基盤として構築されています。
2015/11/11

6

ACCC, RIKEN
Advanced Center for Computing and Communication

GREEN500 TOP1@Jun/2015 に認定されたシステム
現在最も省エネルギーなスーパーコンピュータ

SHOUBUシステムについて

2015/11/11

7

ACCC, RIKEN
Advanced Center for Computing and Communication
理研-PEZY Computing-ExaScalerの共同研究のためのシステム

Shoubu（菖蒲）システム

RIKEN

1stJune 2015•–––

7.032GFLOPS/Wを達成

Shoubuシステム構成•• ピーク性能：1.5〜2PFLOPS級–•• ZettaScaler※1.4ベース•• 5液浸槽構成•• ノード数：320ノード• 80Brick（ブリック）、16ブリック/1液浸槽• ノード構成：1CPU＋4PEZY-SCチップ• PEZY-SCチップ：1280個 ※：ExaScalerあらためZettaScaler
2015/11/11

PEZY9SC%module

Carrier%board

Xeon%+%LP9DIMM

I/O%board

PSU
PSU

8

ACCC, RIKEN
Advanced Center for Computing and Communication

ZettaScalerおよびPEZY-SCの特徴• ZettaScaler– 液浸冷却システム• 空気の代わりに液体（フロリナート：フッ素系化合物）を使って冷却するシステム。

– 液浸（使う液体・方式は色々）は現在世界的に研究開発がホットなもの。
• ZettaScalerは、高効率冷却、高密度実装、設置場所の制約を低く、システム・ランニングのトータルの低コスト化を狙う。

• PEZY-SC– 独自開発低消費電力メニーコアプロセッサ• MIMD型で1,024コアを集積した演算専用LSIチップ– 倍精度ピークでは1.5TFLOPSを実現可能• チップ単体では25GFLOPS/Wに– 演算の低消費電力化に多大に貢献
2015/11/11

9

ACCC, RIKEN
Advanced Center for Computing and Communication

菖蒲（Shoubu）の名前の由来• 古来より縁起の良い植物。
• 水辺の植物。
• 5-6月に花を咲かせる。
• 葉が扁平で積層になっている。
• 「勝負」にも通じる。

Name Acorus calamus Family Acoraceae Original book source:
Prof. Dr. Otto Wilhelm Thomé Flora von Deutschland,Österreich und der Schweiz 1885, Gera, Germany

2015/11/1110ACCC, RIKEN
Advanced Center for Computing and Communication

演算あたりのエネルギー効率の過去からの推移とこれから。
MFLOPS/W（1ワットあたりの演算回数）を評価する。

エネルギー効率の動向

2015/11/11

11

ACCC, RIKEN
Advanced Center for Computing and Communication

TOP500リストのNo.1の性能変遷
1E+121エクサ
1E+11
100ペタ

Jaguar（汎用CPU）

10ペタ
1E+10

BlueGene/Q

1ペタ
1E+09

100テラ
00000010テラ
000000Titan

天河1天河2京（汎用CPU）
ロードランナー

およそ年率1.9倍で性能向上
LINPACK性能(FLOPS)

BlueGene/L
地球シミュレータ

1テラ000000

100ギガ
100000
10ギガ
10000
1ギガ
1000

電力効率（FLOPS/W）

100メガ
100
10メガ
10

1メガ

1

100キロ0.1
2015/11/11

システム消費電力（W)

http://www.top500.orgよりのデータと2002年以前の消費電力は公開情報（カタログなど）からの推定値

12ACCC, RIKEN
Advanced Center for Computing and Communication

TOP500リストのNo.1の数値変遷
1E+121エクサ
1E+11100ペタ

Jaguar（汎用CPU）

10ペタ
1E+10

BlueGene/Q

1ペタ
1E+09

100テラ
000000

10テラ000000

Titan

天河1天河2京（汎用CPU）
ロードランナー

およそ年率1.9倍で性能向上
LINPACK性能(FLOPS)

BlueGene/L
地球シミュレータ

1テラ000000

100ギガ
100000
10ギガ
10000
1ギガ
1000

電力効率（FLOPS/W）

100メガ
100
10メガ
10

1メガ

1

100キロ
0.1
2015/11/11

システム消費電力（W)

http://www.top500.orgよりのデータと2002年以前の消費電力は公開情報（カタログなど）からの推定値

13ACCC, RIKEN
Advanced Center for Computing and Communication

GREEN500リスト（2015年6月期）
日本
日本日本

ドイツ
日本
米国

米国
英国
ドイツ

米国
GREEN500 Web site http://www.green500.org より
2015/11/1114

ACCC, RIKEN
Advanced Center for Computing and Communication

GREEN500 TOP1のMFLOPS/Wのトレンド
10000
Shoubuシステム

MFLOPS/W

BlueGene/Q
Accelerators

1000

Cell Processor
BlueGene/P
来年には10GFLOPS/Wを超えると予想される。
100

2015/11/11

GREEN500 Websiteより http://www.green500.org

15

ACCC, RIKEN
Advanced Center for Computing and Communication

SHOUBUシステム設置とTOP1の顛末

2015/11/1116

ACCC, RIKEN
Advanced Center for Computing and Communication

はじめに• 4月9日：電子情報通信学会集積回路研究会アクセラレーション技術討論
発表会の場で姫野に話があった。
• システム設置も含めて一緒にやっていけるところを探している。というお話だったそうです。
– できるかぎり、今回（2015/7）のGREEN500を狙いたい。とのこと。
– 今年はISCの開催が1ヶ月遅れたため可能性はあるかな。。

• 4月下旬頃、PEZY+ExaScalerの具体的な話をしようという会議が設定されていた。
• 当日行ってみると、PEZY関係者、ExaScaler関係者、戎崎主任やAICSの牧野さんも座っている。
• 今のところ、場所と電気はあるけど、、冷却機への冷媒の管路が無い。
– まあ、冷却能力として閉じるなら、冷却機を室内においたらいけるか。。
– ただし、全開運転の場合、冷却能力としてギリギリの所のため、他のシステムを少し止めないと無理。
– まあ、意気込みは買います。やってみますか。ということで始まる。

• 共同研究契約を2015年4月付けで行って、その範囲内で実施。
• 6月の時点では、冷却機は室内に設置していた。
– 現在は冷却機は室外に設置しています。
2015/11/1117

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(1/7)• 5月中旬（-50日）：工事準備開始（墨だしなど）• 5月下旬（-40日）：冷却機を室内に設置（4台分）• 6月1週目（-30〜25日）：電気工事とポンプ搬入

2015/11/1118

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(2/7)• 6月7日（-23日）： 水槽5台搬入– 順次配管工事

2015/11/1119

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(3/7)• 6月11日（-19日）：1水槽分の配管が終わり– フロリナート注入• 6月15日（-15日）：1Brick動き始めた。
– Brickは理研内で組み立てられてました。。

2015/11/1120

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(4/7)• 6月18日（-12日）：1水槽分動き始めて、HPL完走。
– 113TFLOPS

2015/11/1121

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(5/7)• 6月20日（-10日）：5水槽分の配管完了。
– 各水槽毎に調整を開始。

2015/11/1122

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(6/7)• 6月27日（-3日） TOP500締切– 4水槽分320ノード（Rmax:413TFLOPS）で登録• -月--日（-日） GREEN500締切– この時点では6.834GFLOPS/W(84ノード）でした。。
– でも、登録Webが締め切られないので、、、

2015/11/1123

ACCC, RIKEN
Advanced Center for Computing and Communication

設置・計測のタイムライン(7/7)• -月--日（-日） GREEN500再計測• 20% ルール上ながら、7GFLOPS/Wを記録！！
• 本来は7月12日からのISC2015中に発表されるはずだったが、、、– ISC2015では次期からのGREEN500のレギュレーション変更が発表• 8月2日 GREEN500発表– 1〜3位をZettaScalerが独占

2015/11/1124

ACCC, RIKEN
Advanced Center for Computing and Communication

タイムラインをまとめると
電気工事
ポンプ搬入

水槽5台搬入水槽1台分HPL完走

水槽1台動き出す

冷却機4台搬入

水槽5台配管完了
TOP500登録

工事準備開始GREEN500
登録
共同研究合意4月

GREEN500
再登録

5月

6月
TOP500
締切

2015/11/11

7月
GREEN500
締切

8月
GREEN500
発表
TOP500
発表

25

ACCC, RIKEN
Advanced Center for Computing and Communication

今後の展開•

次回2015年11月のリストでは計測レギュレーションも変更されるが、同等以上の性能結果を出したいと考えている。

•PEZY-SCや液浸システムは、まだ開発が始まって間もない。
– これらはまだまだ最初の一歩です。
– 今後、研究開発を進めてスーパーコンピューティングについて特徴的な方向性が見いだせる可能性を秘めている。

•PEZY-SCチップ（アクセラレータ）– 応用アプリケーションへどのように展開するかが鍵。
•

今までに無い方式のアクセラレータであるため、アプリケーションの向き不向きもまだよく分かっていな
い。

– GREEN500で1位などで成果は得られているが、実アプリケーションを効率的に動作させるための技術開発やノウハウの蓄積が重要となる。

•液浸技術– 実際に動かしていく中で、問題点や検討課題のあぶり出しを行い、研究開発を進めていく。
– 液浸をベースとして高効率な冷却を行い、データセンター全体に対する冷却電力をいかに下げていけるかが重要となる。

•今後も、色々な形の展開が見られると思います。こうご期待！！
2015/11/11

26