ＰＣクラスタワークショップ in 神戸

日立のテクニカルコンピューティングへの取り組み

2011/2/18
株式会社 日立製作所
中央研究所
清水 正明
Copyright © Hitachi,Ltd.2011 All rights reserved

1目 次

1 日立テクニカルサーバラインナップ
2 日立サーバラインナップ
3 ＧＰＵコンピューティングへの取り組み
4 ＳＣ’１０ 日立展示

Copyright © Hitachi,Ltd.2011 All rights reserved

21

1-1

日立テクニカルサーバ : History & Future
Almost 30 Years of Super Computing Development
Petaflopcomputer

SR16000

Vector-Scalar
Combined type

Over 3-4 times node
peak performance with
POWER6™ processor

SR11000
147.2 GFlops of node peak
performance with POWER5+™
processor (Model K2)

SR8000Scalar Parallel(MPP type)First HPC machine withcombined vector & scalar
processing

SR2201

HA8000-tc/RS425

First commerciallyavailable distributed
memory parallel processor

VectorHigh Performance
Server forCluster SystemS-3800

S-820

Single CPU peak
performance 8GFlops (fastest in theworld)

PC Server

Single CPU peak
performance
3 GFlops

S-810
First Japanesevector supercomputer

HA8000 Series'96

Hitachi started development of Hitachi’s original chipset
and server for Itanium® processor.

'82'85

'90

'95

'00

‘05

‘10
POWER6 is a trademark of IBM corporation.
POWER5+ is a trademark of IBM corporation.

Copyright © Hitachi,Ltd.2011 All rights reserved

3

日立テクニカルサーバ ラインアップ

1-2

PCクラスタからスカラSMPまでラインアップ拡充●最新POWER７TMプロセッサ32way搭載SR16000●XeonTM 2ソケットプロセッサ●今後の最新cpuにも対応予定

POWER７TM
XeonTM

SR16000
XM1ﾓﾃﾞﾙ

3.3GHz 32way
空冷モデル

2.93HGz 12way (1U DPサーバ)

HA8000/RS210

PCクラスタスカラSMPクラスタ
Copyright © Hitachi,Ltd.2011 All rights reserved

42

1-3

SR16000XM1の紹介

電力性能比・価格性能比に優れた
POWER7搭載のSR16000シリーズ次世代機 第一弾
日立開発・製造：
IBM社との戦略的アライアンスに基づく、日立開発・製造のPOWER7搭載サーバ。
EP8000/750と共通プラットフォーム
電力性能比の向上：
SR16000モデルL1/L2と同等の32waySMP構成をPOWER7 4ソケットで実現。
ノード消費電力は約1/3に大幅に削減
抜群の価格性能比：
POWER7の圧倒的な性能と、戦略的な価格付けにより、価格競合力を強化!

日立開発・製造機 SR16000/XM1

中規模SMPノード・クラスタ：
SRシリーズのコンセプトを受継ぐデザイン。
中規模SMPノードのクラスタシステムによりスループット指向の中規模システムに最適
Copyright © Hitachi,Ltd.2011 All rights reserved

5

Copyright © Hitachi,Ltd.2011 All rights reserved

6

２ 日立サーバラインアップ・ブレードサーバ・ラックマウントサーバ

3

2-1

BladeSymphony ラインアップ
ブレードサーバを核に、ストレージ、ネットワーク、管理ソフトウェアを一体化した統合サービスプラットフォーム BladeSymphony
 各製品、充実のラインナップで、用途に応じた製品を提供
 仮想化環境やソリューションを含めたシステム提供も可能
ターゲット

ブレードサーバ部

ストレージ部

Web3階層統合システム,大規模データベース等

Hitachi
StorageSolutions

ハイエンドモデル
BS2000
BS2000fx

PCサーバ統合
データセンター
中小規模の部門サーバ

ネットワーク部

CommuniMax

BR1600E
BR1600S
小型高集積モデル
BS320

サーバ仮想化

SMS100日立サーバ仮想化機構Virtage

ロードバランサ

AX2500

BR20VMware® ESX Windows Server® 2008 Hyper-VTM

BladeSymphony システム管理ソフトウェア
主要ISVソフトウェア

ミドルウェアプラットフォームソリューション／サポートサービス
Copyright © Hitachi,Ltd.2011 All rights reserved

7

ハイエンドモデル BS2000/BS2000fx

2-2

ＮＥＷ

高性能・高信頼志向のシステム向けｆＸ

 仮想統合を実現する高信頼スケーラブル・ブレードサーバ
仮想化による集約、高速処理に適応した性能・拡張性- サーバブレード間SMP接続（64cores MAX、メモリ 1TBMAX)- I/Oスロット拡張装置（64スロット MAX)

日立サーバ仮想化機構Virtage標準搭載(*1)
メインフレームの高信頼・高可用化技術を継承
業界最高レベルの高効率電源

標準サーバブレード 高性能サーバブレード- CSCI Gold基準適合, 80 PLUS® GOLD認証取得(*2)

基幹システムの長期安定稼働を支援- Eタイプハードウェア長期保守対応- ロングライフサポートサービス7年/10年(*3)
スケールアウト

最大8ブレード/10U*1：Essentialモデル*2：電源負荷50％時の変換効率92％を実現*3：BS2000 Eタイプにて提供

Copyright © Hitachi,Ltd.2011 All rights reserved

84

2-3

小型高集積モデル BS320

より軽く、より小さく 高密度実装を追求

 幅広い用途に対応する高集積・省電力ブレードサーバ
・ 高さ6U(約27cm)に最大10ブレード搭載可能
・ 最大重量約98kg/シャーシの軽量設計
・ 用途に応じた多彩なサーバブレードをラインアップ
・ 日立サーバ仮想化機構Virtageに対応(*1)

・ 高効率電源 (CSCI Silver基準適合，80 PLUS SILVER認証取得
®

(*2)

)

・ ハードウェア長期保守対応 (ロングライフサポートサービス：7年)

標準サーバブレード SAN専用サーバブレード HDD拡張サーバブレード

PCI拡張サーバブレード

ロードバランサブレード*1：PCI拡張サーバブレードVirtageモデルで提供*2：負荷50％時の変換効率89％以上を実現
Copyright © Hitachi,Ltd.2011 All rights reserved2-49

ＨＡ８０００ラインアップ
HA8000/RS440(4Processor)

Xeon(X7560/X7550/E7540 /E7520)

RAID追加機能
2.5型HDD 容量アップ
SSD
ロングライフサポート

出荷開始時期：2010/11/30

ENERGY STARﾓﾃﾞﾙ
Xeon(X5680/X5670/E5640/E5560/L5630/E5503)

HA8000/RS220(2Processor)
HA8000/TS20

Xeon(X5670/E5640/E5620/E5503)

RAID追加機能
2.5型HDD 15krpm追加
3.5型 2TB SATA HDD追加
動的パワーキャッピング
SSD
出荷開始時期：2010/11/30

HA8000/RS110
Core i3-540/Pentium G6950

RAID追加機能
3.5型 2TB SATA HDD追加

出荷開始時期：2010/11/30

Xeon(X5670/E5640/E5620/L5630/E5503)
CPU追加

HA8000/RS210

出荷開始時期：2010/11/30(1Processor)
HA8000/SS10

出荷開始時期：2010/11/30

CPU追加
RAID追加機能
2.5型HDD 15krpm追加
3.5型 2TB SATA HDD追加
動的パワーキャッピング
SSD
AC200V
低電圧メモリ
RAID追加機能
2.5型HDD 15krpm追加
3.5型 2TB SATA HDD追加
動的パワーキャッピング
AC200V 低電圧メモリ
SSD
Xeon(X3480/X3470/X3460/X3430)
Core i3-540/Pentium G6950

出荷開始時期：2010/11/30

HA8000/TS10

CPU追加
RAID追加機能
3.5型 2TB SATA HDD追加

Xeon(X3480/X3470/X3460/X3430)
Core i3-540/Pentium G6950

出荷開始時期：2010/11/30

CPU追加
RAID追加機能
3.5型 2TB SATA HDD追加

Copyright © Hitachi,Ltd.2011 All rights reserved105３３ ＧＰＵコンピューティングへの取り組み
・日立のＧＰＧＰＵへの取り組み
・HPCシステムとアプリケーションの性能

Copyright © Hitachi,Ltd.2011 All rights reserved

3-11111

日立のGPGPUへの取組み(1)

計算科学を用いた研究開発分野でGPU利用が拡大中
研究所を中心に技術交流会を定期的に開催<利用分野（検討中含む）>
・原子炉炉心解析
・火力・原子力発電の蒸気タービン流れ解析
・ボイラ燃焼効率解析
・粒子線治療シミュレーション
・材料物性・ナノシミュレーション・機械（熱流体，構造，振動）・電磁場・ライフサイエンス
・金融（実効金利計算）
・他

Copyright © Hitachi,Ltd.2011 All rights reserved

126

3-2

日立のGPGPUへの取組み(2)GPGPU技術に関し、学術系～産業系アプリの先行評価・提案中(1)分子動力学(2)電磁場解析(3)医用画像処理(4)監視画像処理

Z
領域サイズ；
120x120x70Å
カットオフ半径；
5.2Å

CT画像2
給電面
X

近傍の分子リストの作成処理
time 8.12秒

マクスウェル方程式による3次元解析

複数医用画像の重ね合せ位置決定

94.5秒

0.12秒

従来

対象画像サイズ＝XGA(1024x768)
補正分割単位＝16x16

ダイポールアンテナ

GPGPU

加速率＝約80倍

従来

0GPGPU

286秒

faster18.2秒

0

魚眼レンズ画像を平面図に変換

780秒

fasterfaster0CT画像1

Y

5.7秒

従来

約5.6倍

GPGPU

約140倍

faster015.6秒

従来

GPGPU

約18倍

学術系

産業系
Copyright © Hitachi,Ltd.2011 All rights reserved

3-313

GPGPUの性質と日立の取り組み

GPGPU性質：アプリによって加速率に大差。投資判断が難しい。
日立取組：業務アプリを解析し、投資前に加速率を評価可能に。
アプリ(1)～(4)の加速率比較；

日立取組み例；流体アプリの事前評価

160
[倍]

timex140

66.4秒

12080

- アクセス解析- データ配置最適化

x80
22.4秒

400ボトルネック解析(1)分子 (2)電磁 (3)医用 (4)監視動力学 場解析

7.35秒 8.96秒

x18x5.6

画像

画像

我々のアプリはどの程度加速するの？

0

従来

0次本実装
改善
実装 見込み事前評価により、高精度に加速率を算出！
Copyright © Hitachi,Ltd.2011 All rights reserved

147

3-4
社内にはGPUユーザ多数
利用技術・最適化技術も蓄積中ソリューションメニューも整備(事前評価からサポート)GPU対応製品 (PCIe x8,x16 搭載) HA8000 他
販売中
GPU搭載した大規模クラスタ(HPCシステム)
検討中

Copyright © Hitachi,Ltd.2011 All rights reserved

15

３ ＧＰＵコンピューティングへの取り組み
・日立のＧＰＧＰＵへの取り組み
・HPCシステムとアプリケーションの性能

Copyright © Hitachi,Ltd.2011 All rights reserved

16168

3-5

システムバランスとアプリケーションの性能

アプリケーションの実効性能(効率)を以下の２点から定量評価
nodeMemory(1) ピーク演算性能に対するメモリバンド幅 [Byte/flop]

・・・
・・・
CPU core CPU core(2) ピーク演算性能に対するネットワークバンド幅 [Byte/flop]

Inter-node Network
Example of high performance sever(1),(2)の数値を変化させて実効性能への影響を見る (シミュレーション)⇒ アプリケーションが求めるシステムバランスを求める
Copyright © Hitachi,Ltd.2011 All rights reserved

3-6

17

評価アプリケーション

4種類の並列アプリについて評価を実施
並列化スキームとプロセス間通信パターンは以下の通り
No.
1
2
3
4Application
Ab initio MD
Structural Calculation
Atmosphere
Ocean
Type

Calculation method
FFT, DGEM
Finite Element Method
Difference Method
Difference Method

1Partition
Band Energy
3-Dim. space
2-Dim.
2-Dim.

2zPartition
X

3zyx

type1233yx

Communication
PatternMPI function

MPI_allreduce MP_send, MPI_recv
MP_send, MPI_recv
MPI_allreduce(MPI_sum)(MPI_sum)
Copyright © Hitachi,Ltd.2011 All rights reserved

189

3-7 メモリバンド幅と演算性能のバランス(メモリバンド幅 GB/s) / (演算性能 GFlop/s) > 0.4[Byte/flop]• CPU time ratio becomes lower.
0.2 ~ 0.4[Byte/flop]• Better to keep more than 1.0 [Byte/flop]100

CPU time ratio%

8060
ab initio MD
Structural Calculation

40

AtmosphereOcean

20

000.5

11.5

2Memory throughput/Calculation performance[Byte/flop]
Copyright © Hitachi,Ltd.2011 All rights reserved

3-819

ネットワーク性能と演算性能のバランス(ネットワークバンド幅 GB/s) / (演算性能 GFlop/s)> 0.02 [Byte/flop]• The ratio of the communication time depends on the application.
• Better to keep more than 0.02 [Byte/flop]80
ab initio MD
Structural Calculation
Atmosphere
Ocean

60
40
20
00.
00
10.
00
20.
00
30.
00
40.
00
50.
00
60.
00
70.
00
80.
00
90.
01
0.
02
0.
03
0.
04
0.
05

CPU time ratio%

100

Communicatin throughput/Computation performance[Byte/flop]

グラフは Memory throughput/Calculation performance[Byte/flop] = 0.4 の場合
Copyright © Hitachi,Ltd.2011 All rights reserved

20

10

3-9
アプリケーションの要請(メモリバンド幅 GB/s) / (演算性能 GFlop/s) > 0.4[Byte/flop](ネットワークバンド幅 GB/s) / (演算性能 GFlop/s)> 0.02 [Byte/flop]マルチGPUシステムのバランス(メモリバンド幅 GB/s) / (演算性能 GFlop/s) = 0.25[Byte/flop](ネットワークバンド幅 GB/s) / (演算性能 GFlop/s)= 0.004 [Byte/flop]実際にアプリケーションの性能はどうなるか？

Copyright © Hitachi,Ltd.2011 All rights reserved

21

3-10 GPUシステムでのアプリの性能推定
演算時間 : GPUシステムのB/Fより実効効率を計算
サーバのメモリ周波数を変化させて実行時間を測定
実行時間をCPU時間とデータ転送時間に分解
メモリ周波数CPU time

data transfer time

F Ma(high）

メモリバンド幅の影
響

F Mb(low）

通信時間 : PCクラスタで並列実行して通信プロファイルを取得
個々の通信に対して通信量から通信時間をグラフから求める[GB/s]
Throughput
throughput[GB/s]

実行時間

data size [B]datasize [B]Copyright © Hitachi,Ltd.2011 All rights reserved

2211

3-11

Ocean の並列性能[推定]・ 同じ規模の問題を x—方向、y-方向の順で分割を繰り返す ⇒ strong scaling
・ 1プロセスのメモリ使用量がGPUに収まる最小の並列数を基準（グラフのプロセス数（比）=1）
プロセス数（比）=1 のメモリ使用量 2.6GB ⇒ S2050 で利用可能な最大値
・ プロセス数（比）=1のときの通信時間 ⇒ 全実行時間の9.4%
・ 演算効率は B/Fから推測 ⇒ 3.3%
Oceanの性能
10000

100%
90%
80%

性能（比）

1000

Ideal

並列効率 :=(実効性能/Ideal)

70%
60%

100

1プロセス実行からの加速

50%
40%
30%

1020%
10%
10%
1248163264
プロセス数（比）1282565121024

Copyright © Hitachi,Ltd.2011 All rights reserved

3-1223

Ocean の並列性能[推定]の改善[1] 通信アルゴリズムによる対策
隣接通信する境界面を多層化して通信回数を削減[2] 資源増強による対策
さらに、InfiniBannd を追加して2方向の隣接間通信を同時実行
Oceanの性能
70
61.360

通信対策[2]52.7

5049.3性能(比)43.140.540

通信対策[1]
31.5

30

33.7

27.0

20
15.0
13.6
12.81021.8
19.2
16.9

23.2

25.5

27.2

20.4

オリジナル

9.3
8.7

12

5.7
5.6
5.4

3.3
3.2
3.1

1.9
1.8
1.8

1.0
1.0048163264
プロセス数(比)1282565121024

Copyright © Hitachi,Ltd.2011 All rights reserved

2412

3-13

Atmospher の並列性能[推定]・ プロセス数（比）=1 のメモリ使用量 1.8GB
・ 演算効率は B/Fから推測 ⇒ 3.8%、プロセス数（比）=1 のとき通信時間は16%
Atmoshere並列性能[推定]7065.1960

通信対策[2]

50

性能（比）

44.18

42.18

40

31.39

30.42

30
23.86
20

通信対策[1]

24.73

オリジナル

17.88
16.58
10.10
8.41
8.29

10
3.45
3.22
3.04

1.041.00
0.970141664
プロセス数（比）2561024[1] 通信アルゴリズムによる対策
隣接通信する境界面を多層化して通信回数を削減[2] 資源増強による対策
さらに、InfiniBannd を追加して2方向の隣接間通信を同時実行
Copyright © Hitachi,Ltd.2011 All rights reserved

25

3-14 まとめ：マルチＧＰＵシステムとアプリの性能
マルチGPUシステムの特徴(メモリバンド幅 GB/s) / (演算性能 GFlop/s) = 0.25[Byte/flop]
メモリ性能バランスはPCサーバよりやや低め。効率は良い(80%)(ネットワークバンド幅 GB/s) / (演算性能 GFlop/s) = 0.004 [Byte/flop]
ネットワーク性能が相対的に低く見える。レイテンシ > 20μs
GPU Direct はデータ長 > 16KB で効果大

アプリケーションの並列実行性能
・GPUのメモリを最大に使用した weak scaling ではネットワークの弱さは目立たない
・strong scaling でのスケーラビリティ劣化は早い
今回の評価では 16GPUで約10倍加速、以後急速に劣化
・strong scaling でのスケーラビリティを保つには努力が必要
演算に隠蔽できれば良い
転送データ長が大きい場合はパイプライン化
転送データ長が小さい場合は通信回数の削減
演算数が増えても通信回数削減を検討(shadow領域の多層化など)
Copyright © Hitachi,Ltd.2011 All rights reserved

2613

４ＳＣ’１０ 日立展示

4-1

Copyright © Hitachi,Ltd.2011 All rights reserved

27

Copyright © Hitachi,Ltd.2011 All rights reserved

2828

日立ブース

SC10 11/15-11/18
NewOrleans

14

4-2

次世代サーバボード

Copyright © Hitachi,Ltd.2011 All rights reserved

29

4-3

３．３ PC関連

Copyright © Hitachi,Ltd.2011 All rights reserved

3015

4-4

3.4 GPU関連

Copyright © Hitachi,Ltd.2011 All rights reserved

31

Copyright © Hitachi,Ltd.2011 All rights reserved

32

16