PCクラスタシステムへの富士通の取り組み
富士通株式会社
株式会社富士通研究所
久門 耕一
PCクラスタワークショップin京都（2010年2月19日）

All Rights Reserved, Copyright © FUJITSU LIMITED 20092009年度に富士通が提供する（した）大規模クラスタ
 今年度はCPUとしてメモリバンド幅がNehalem, QDRIB(片方向4GB/s)などPCクラスタにとって期待できる多くのコモディティコンポーネントが出現
 これら魅力ある素材を使ったシステムとして、2つのシステムをご紹介 理化学研究所様RICC（Riken Integrated Cluster of Cluster）
合計1156ノード特徴： Nehalem1000+100(w/GPU)ノードクラスタ
 上位スイッチのバンド幅を1/5に絞り、コスト圧縮
スケジューラによりバンド幅有効利用のジョブ割付

1024
ノード

32
100
ノード ノード

超並列

多目的

多目的

1/5FBB IBEthernet

 日本原子力研究開発機構 様 新スパコンシステム
特徴： ブレードサーバBX900と内蔵QDR-InfiniBandによるPCクラスタPCクラスタワークショップin京都（2010年2月19日）

1

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

理化学研究所様 新スパコンシステム
 2009年8月から稼働開始 Riken Integrated Cluster of Cluster (RICC)
超並列PCクラスタ(96.0TFLOPS 12TBメモリ)
PRIMERGY RX200S5 1000ノード (8000コア)
多目的PCクラスタ[MDGRAPE-3接続用](32ノード 256コア)

多目的PCクラスタ(１０0ノード 800コア
w/ GPU)

大容量メモリ計算機(239GFLOPS 512GBメモリ)
管理者
システム管理利用状況確認Ethernet系
系
Ethernet
Ethernet系
ネットワークネットワーク

計算系ネットワーク
計算系ネットワーク

SPARC Enterprise M9000
ETERNUS2000
PRIMERGY RX200S5
ネットワーク機器等

利用者
ターミナル/Web

磁気ディスク装置(550TB)

フロントエンド・システム

PCクラスタワークショップin京都（2010年2月19日）

2

アーカイブ装置(4PB)

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

日本原子力研究開発機構 様 新スパコンシステム概要
 2010年3月稼動予定
119+1シャーシ

大規模並列演算部

次世代コード開発部

PRIMERGY BX900 2,157ノード
2,157ノード

FX1 320ノード
320ノード共用メモリ型演算サーバ

200TFLOPS
50TBメモリ

12TFLOPS
4.6TBメモリ

SPARC Enterprise M9000
1.9TFLOPS
384GBメモリ

25TB

磁気ディスク装置

ETERNUS4000 M600

122.4TF以上なら国内最速システムになる？（=効率62％以上なら）InfiniBandスイッチ

ギガビットイーサネットスイッチ

磁気ディスク装置[物理容量: 1.2PB]
I/OノードLAN

SPARC Enterprise
M9000(2台)

1PB
磁気テープライブラリ装置

ETERNUS LT270（2台）

ETERNUS DX80 (36台)
PCクラスタワークショップin京都（2010年2月19日）

3All Rights Reserved, Copyright © FUJITSU LIMITED 2009

2009年度大規模スパコン商談

合計7500ノード
530TFlopw

PCクラスタワークショップin京都（2010年2月19日）

4

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

ミッドレンジを重視するため
PCクラスタビジネス推進室を設置（2009.12.21)～数千ノードハイエンド市場においては、当社は国内トップの実績

ハイエンド市場～100ノード程度～30ノード程度

民間企業でのＣＡＥ利用を中心にミッドレンジ市場が高成長

ミッドレンジ市場～8ノード程度

ミッドレンジ市場に本格参入

・ PCクラスタのエキスパートによる専任組織化
・ ハイエンド市場で培った高度なノウハウを裾野へ拡大
・ おすすめモデルによる簡単導入
・ OSSなどを活用した新たなサービス提供
・ FTS(富士通テクノロジーソリューション)との連携によるグローバル展開
PCクラスタワークショップin京都（2010年2月19日）

5

All Rights Reserved, Copyright
Copyright© 2010
FUJITSU
FUJITSULIMITED
LIMITED2009

ブレードサーバ PRIMERGY BX900
10Uに18ノード搭載可能 大規模クラスタや、部門間サーバ集約などに最適なブレードサーバ
 業界最高クラスの実装効率と設置性
 18ブレード(2CPU/ブレード) /10Uシャーシ
 高効率部品の採用による低電力設計
 新静音ファンの開発による高い静粛性を実現

 最先端のHPC向け仕様
 Intel Xeon5500シリーズ(Nehalem)を2ソケット搭載

PRIMERGY BX900

 InfiniBand™ QDR(4GB/s)をメザニンカードで搭載
 10Gbシリアル通信可能な高品質ﾊﾞｯｸﾌﾟﾚｰﾝで接続 内蔵36ポートSWにより外部18ポート出力。数ｼｬｰｼまでの小中規模クラスタを外部SWレスで構築可能 高信頼設計 ECCメモリ (SDDC対応)、RAIDディスク、冗長電源、リモート管理機能等

BX920 S1
SX940 S1
サーバブレード ストレージブレード

SDDC (Single Device Data Correction)
PCクラスタワークショップin京都（2010年2月19日）

6

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

理研システム新システムの性能（LINPACK）
 2009年6月 40位 1032ノード(8256コア)
87.890TF(90.83%)
国内PCクラスタ一位(発表時) 富士通研開発のDGEMMを用い、事業部がHPLをチューニング

 2009年11月 47位 1131ノード (9048コア)
97.940TFlops(92.36%)
Nehalemのターボモードを使い単体性能向上

 Nehalemのターボモードとは、
 CPUに熱的余裕があるときに、コアクロック周波数を自動で上げ性能を向上させるNehalem CPUの機能
 どのぐらいよくなる？

 性能は増加するが、電力も増加
 どのぐらい増える？
PCクラスタワークショップin京都（2010年2月19日）

7

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

周波数と性能電力の関係(姫野)BMT
 ターボモード時の実効周波数は不明
 性能から見て、1ステップ分（3.06GHｚ相当）向上
 電力は性能向上以上に増加、その理由は？
 Nehalemの低消費電力性は、アイドル時のクロック停止とパワーゲーティング（C6ステート）による （逆に言うとC6に入らないと電力はあまり減らない）
14450

姫野BMT
性能実行時
消費電力

400
350

1210Watt

CPU0 Voltage[mV]

1200

CPU周波数とコア電圧

Idle

250

1000

Himeno800 200
600

クロック固定の
アイドル時
消費電力

150

400
200 100
050 1.57 1.73 1.86
Idle

2Linpack

2.13 2.26 2.39 2.53 2.66 2.79 2.93 Turbo

CPU Frequency [GHz]

01.60

1.73

1.86

2.00

2.13

PCクラスタワークショップin京都（2010年2月19日）

TurboBoost

GFLOPSPower (W)Disabled

11.56

335

Enabled

12.25

389

増分(+6.0%)(+16.1%)Disabled

86.57

359

Enabled

88.70

381

増分(+2.5%)(+6.1%)

86GFLOPS300

4202.26 2.40 2.53 2.66 2.80 2.93 Turbo
CPU Freq (GHz)All Rights Reserved, Copyright © FUJITSU LIMITED 20098GPU搭載PCクラスタの課題
GPU

CPU

GPU
メモリ

メイン
メモリ

NIC

NIC

CPUGPU

メイン
メモリ

GPUメモリ CPUだけ利用するPCクラスタでのクラスタ間データ転送
 メインメモリ→(CPU)→NIC⇒ NIC→(CPU)→メインメモリ

 GPUを使うPCクラスタでのクラスタ間データ転送
 GPUメモリ→(GPU) → (CPU) →メインメモリ→ (CPU) → NIC⇒

NIC→(CPU)→メインメモリ→(CPU) →(GPU)→ GPUメモリ

 GPUクラスタでは、GPU演算性能は高い、が、レイテンシは長い、⇒計算時間 ≪ 通信時間
⇒Embarrassingly Parallelでないと、並列効果が出にくい
 通信と計算のオーバラップによる通信時間隠蔽も限界
PCクラスタワークショップin京都（2010年2月19日）

9All Rights Reserved, Copyright © FUJITSU LIMITED 2009GPU himenoBMT on RICC
himenoBMTのように、通信が多いプログラムでも、大きな問題（XXL）を解けば性能は出る

PCクラスタワークショップin京都（2010年2月19日）

10All Rights Reserved, Copyright © FUJITSU LIMITED 2009

理研新システム（RICC)ジョブ実行率状況
正式運用移行期間

1000
900
800
700
600
500
400
300
200
100
0-010/9-010/1
1010/13010/15010/17010/19010/21010/2
30
10/2
721
10/2
921
10/3
12311/2-2
311/4-2
311/6-2
311/8-2
311/1023
11/1
223-010/7-010/310/5

10/1-0

node512
node256
node64
node16
node4
node1
socketcore

新システム（RICC）は2010/10/1に正式運用移行
全クラスタのノードをメタジョブスケジューラで統一管理

従来のメタジョブスケジューラをマルチコア用に改良

ユーザ間フェアシェア、連成実行、順序実行、リソース指定（メモリ量、GPU,その他）
コア、ソケット、ノード単位と局所性を保ちながら、空間＋時間軸上で割付、高効率に実行
特定rankだけメモリ量を増大させる割り当ても可能

超大規模並列ジョブ（2000コア以上）実行前の稼働率低下防止が今後の課題

バックフィルできるジョブが十分には見つからない

PCクラスタワークショップin京都（2010年2月19日）

11

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

理研新システム（RICC)ジョブ実行率状況
1000
900
800

node512
node256
node64
node16
node4
node1
socket
core

700
600
500
400300200100

新システム（RICC）は2010/10/1に正式運用移行
全クラスタのノードをメタジョブスケジューラで統一管理

ユーザ間フェアシェア、連成実行、順序実行、リソース指定（メモリ量、GPU,その他）

従来のメタジョブスケジューラをマルチコア用に改良

11/2-7

10/2
95

10/275




10/3
170

コア、ソケット、ノード単位と局所性を保ちながら、空間＋時間軸上で割付、高効率に実行
特定rankだけメモリ量を増大させる割り当ても可能

超大規模並列ジョブ（2000コア以上）実行前の稼働率低下防止が今後の課題

バックフィルできるジョブが十分には見つからない

PCクラスタワークショップin京都（2010年2月19日）

12

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

おわりに
 今後、HPC計算は学術的計算、技術計算だけでなく、社会のあらゆる活動を支える基盤技術になると考えています 富士通は、BX900のようなコモディティであるシステム素材をベースに、コンパクトで高性能なHPCシステムの提供を行っていきます また、高性能演算ルーチンの開発、新たなGPUの利用技術の開発、構築運用管理の簡素化と高効率化を図る管理システムの提供を行ってゆきたいと思います

PCクラスタワークショップin京都（2010年2月19日）

13

All Rights Reserved, Copyright © FUJITSU LIMITED 2009

PCクラスタワークショップin京都（2010年2月19日）

14

All Rights Reserved, Copyright © FUJITSU LIMITED 2009