PCクラスタワークショップ

日立のテクニカルコンピューティングへの取り組み

2010/2/19
株式会社 日立製作所
中央研究所
清水 正明
Copyright © Hitachi,Ltd.2008 All rights reserved

1

目 次

1 日立テクニカルサーバラインナップ
2 日立サーバラインナップ
3 物理乱数発生カードの紹介
4 ＧＰＵコンピューティングへの取り組み
5 TOP500状況
Copyright © Hitachi,Ltd.2008 All rights reserved

2

1-1

日立テクニカルサーバ : History & Future

Almost 30 Years of Super Computing Development
SR16000

Vector-Scalar
Combined type

Over 3-4 times nodepeak performance with
POWER6™ processor

SR11000
147.2 GFlops of node peak
performance with POWER5+™
processor (Model K2)

SR8000Scalar Parallel(MPP type)First HPC machine withcombined vector & scalarprocessing

SR2201

HA8000-tc/RS425

First commercially available
distributed memory parallel
processor

VectorHigh Performance
Server forCluster System

S-3800

S-820
S-810
First Japanesevector supercomputer

Petaflopcomputer

Single CPU peak
performance 8 GFlops(fastest in the world)

PC Server

Single CPU peak
performance
3 GFlops

HA8000 Series'96

Hitachi started development of Hitachi’s original chipset
and server for Itanium® processor.

'82

'85

'90

'95

'00

‘05

‘10
POWER 6 is a trademar k of IBM cor porati on.
POWER 5+ is a trademark of IBM corporation.

Copyright © Hitachi,Ltd.2008 All rights reserved

3

1-2

日立テクニカルサーバ ラインアップ

PCクラスタからスカラSMPまでラインアップ拡充
PCクラスタからスカラSMPまでラインアップ拡充

POWER6 TM
5.0GHz 64way
空冷ﾓﾃﾞﾙ●最新POWER6TMプロセッサ32way搭載SR16000●OpteronTM ４ソケットプロセッサ●今後の最新cpuにも対応予定

SR16000
VL1ﾓﾃﾞﾙ

POWER6 TM
SR16000
L2ﾓﾃﾞﾙ

4.7GHz 32way
水冷ﾓﾃﾞﾙPOWER6 TM
3.5GHz 32way
空冷モデル

OpteronTM

SR16000
L1ﾓﾃﾞﾙ

2.3/1.9GHz 16way

HA8000-tc/RS425

PCクラスタスカラSMPクラスタ
Copyright © Hitachi,Ltd.2008 All rights reserved

4

2

日立サーバラインナップ
・ブレードサーバ・ラックマウントサーバ

Copyright © Hitachi,Ltd.2008 All rights reserved

5

2-2

BladeSymphonyラインアップ
規模や用途を広範囲にカバー。
単なる統合ではなく、全体最適化したシステムを提供します。
ブレードサーバ部

ネットワーク 部

ストレージ部

ターゲットWeb3階層統合システム,大規模データベース等

PCサーバ統合
データセンター
中小規模の部門サーバ

ハイエンドモデル
BS2000BladeSymphony SP
導入後すぐに使えるブレードサーバ

CommuniMax

ロードバラン サ

BR1600小型高集積モデル
BS320

サーバ仮想化かんたん導入モデル

Hitachi
Storage
Solutions

SMS100日立サーバ仮想化機構Virtage

AX2500

BR20

VMware® ESX

Windows Server® 2008 Hyper-VTM

システム管理ソフトウェア BladeSymphony Manage Suite
ミドルウェア

主要ISV
ソフトウェアプラットフォームソリューション／サポートサービス
Copyright © Hitachi,Ltd.2008 All rights reserved

6

2-3

ハイエンドモデルBS2000の特徴

ミッションクリティカル・システムにフォーカス

 仮想統合を実現する高性能・高信頼ブレードサーバ
・ 仮想化による集約、高速処理に対応した性能・拡張性- インテル®Xeon®プロセッサー搭載、メモリ最大144GB- I/O性能：162Gbps(内部バス・単方向)- I/O拡張性・ シャーシ：内蔵スイッチ6台
サーバブレード：拡張カードx2, PCI-Expressカードx2
I/Oスロット拡張装置：PCI-Expressカードx16

・ 日立サーバ仮想化機構Virtage標準搭載(*1)
8ブレード/10U

・ メインフレームの高信頼・高可用化技術を継承- Linux環境高信頼化, 稼動中の保守性, 保守作業容易性

・ 世界最高基準の高効率電源- CSCI Gold基準適合, 80 PLUS® GOLD認証取得(*2)

・ 長期サポート(ロングライフサポートサービス：7年)*1：Essentialモデル*2：電源負荷50％時の変換効率92％を実現

Copyright © Hitachi,Ltd.2008 All rights reserved

7

2-4

小型高集積モデルBS320の特徴

より軽く、より小さく 高密度実装を追求

 幅広い用途に対応する高集積・省電力ブレードサーバ
・ 高さ6U(約27cm)に最大10ブレード搭載可能
・ 最大重量約98kg/シャーシの軽量設計
・ 用途に応じた多彩なサーバブレードをラインアップ
・ 日立サーバ仮想化機構Virtageに対応(*1)
・ 高効率電源 (CSCI Silver基準適合，80 PLUS® SILVER認証取得(*2))
・ 長期サポート (ロングライフサポートサービス：7年)

標準サーバ ブレードSAN専 用サーバ ブレード HDD拡張サー バブレード

PCI拡 張サーバ ブレード

ロードバランサブレード*1：PCI拡張サーバブレードVirtageモデルで提供*2：電源負荷50％時の変換効率89％以上を実現

Copyright © Hitachi,Ltd.2008 All rights reserved

8

2-5

HA8000製品ラインアップ(4Processor)

HA8000/RS440 Xeon(X7460/E7450/E7450 /E7220)
2ｺｱ
4ｺｱ
6ｺｱ
SAS 2.5型HDD
日立製RAID
LAN4ﾎﾟｰﾄｘJモデル(2Processor)

HA8000/TS20ｘJモデル

Xeon(X5570/E5540/E5520/E5502)

2ｺｱ
4ｺｱ
SAS 3.5/2.5型HDD
SATA 3.5型HDD
日立製RAID
静 音 （全モデル）
ｵﾝボードSVP
消費電力表示(1Processor)
HA8000/TS10 Xeon(X3430/X3460 /X3470
2ｺｱ
4ｺｱ
SAS 3.5型HDD
SATA 3.5型HDD
日立製RAID静 音
WSSﾓﾃﾞﾙ

HA8000/RS220
HA8000-es/RS220

Xeon(X5570/E5540/E5520/E5502)
Xeon(L5520)*2

HA8000/RS210
HA8000-es/RS210

Xeon(X5570/E5540/E5520/E5502)
Xeon(L5520)*2

HA8000/RS110

2ｺｱ
4ｺｱ
SAS 3.5/2.5型HDD
SATA 3.5型HDD
日立製RAID
ｵﾝボードSVP
消費電力表示
WSSﾓﾃﾞﾙ
2ｺｱ
4ｺｱ
SAS 3.5/2.5型HDD
SATA 3.5型HDD
日立製RAID
ｵﾝボードSVP
消費電力表示Xeon(X3430/X3460 /X3470 )2ｺｱ
4ｺｱ
SATA 3.5型HDD
WSSﾓﾃﾞﾙ
*1:HA8000のみ *2:HA8000-esのみ
Copyright © Hitachi,Ltd.2008 All rights reserved

93

物理乱数発生カードの紹介

Copyright © Hitachi,Ltd.2008 All rights reserved

103
物理乱数発生カードの用途：
・モンテカルロシミュレーション等、シミュレーションにおいて高品質な乱数が求められる。
利点：
・ＣＰＵに負荷を与えず乱数を生成可能

Copyright © Hitachi,Ltd.2008 All rights reserved

11

3-1

•

物理乱数発生カード

日立SRシリーズ用に物理乱数カードを独自開発• 第三世代ではノードに最大4枚を搭載可能とし生成性能を向上
第一世代（1999年1月出荷）

第二世代（2004年12月出荷）

第三世代（2010年1月出荷予定）

搭載サーバ

SR8000SR11000

SR16000

理論乱数生成速度

25MB/s200MB/s

200MB/s（単体）,400MB/s（ノード）

乱数源,
乱数生成方式

白色ノイズ,
A/D変換

白色ノイズ,
A/D変換 + 並列

白色ノイズ,
A/D変換 + 並列

物理インターフェース

PCI 2.1準拠

PCI 2.2準拠（64bit, 66MHz)PCI Express x4ノード搭載枚数

1セット（2枚）

1枚

1〜4枚

Copyright © Hitachi,Ltd.2008 All rights reserved

12

3-2

新（第三世代）物理乱数カードの概観
Buffer with parallel
conversion circuit

Noise generator•

A/D converter

PCI buscontroller

On-board
power supply

乱数カード・ホストI/F： PCI-Exp 4x• 物理乱数発生源：
白色ノイズ（熱雑音）• 理論乱数生成性能 ： 200MB/s/カード， 400MB/s/ノード
Copyright © Hitachi,Ltd.2008 All rights reserved

13

3-3

新（第三世代）物理乱数カードの論理構成図
乱数データをDMA転送

PCI Expressx4（1GB/s x 双方向）

アナログ回路（4組）

AMP

200MHz
サンプリング
12bit（4bit選択）
FPGA
A/D
変換

乱数生成１
(RNG2方式）

ブリッジ
PCI-Xバス
100MHz x 8B
バッファ

PCI-X
バス
IPコア

乱数生成２

• ダイオード電圧の熱雑音をA/Dコンバータでサンプリング• 独立した4系統の生成源を統合し乱数生成
Copyright © Hitachi,Ltd.2008 All rights reserved

14

3-4

物理乱数カードの使い方（プログラムI/F）• Fortranのユーザ・インタフェース（サブルーチン、関数）を提供• ユーザは乱数データの個数と型を指定するだけ• 利用可能データ型は単精度整数、単精度実数、倍精度実数
ノード

・特定のCOMMON領域
・乱数の種別に応じて名称が決まっている

ユーザ・プログラム

乱数データ格納領域

物理乱数カード

サブルーチ
ン名（一部）機能

RANDOM

正の整数乱数（整数型）を指定した領域に1個取得

IRANDM

正の整数乱数（整数型）を指定した領域にN個取得
FortranのCOMMON領域名：IRANAR

DRAND

正の実数乱数（倍精度型）を戻り値として取得

DURANDM

正の実数乱数（倍精度型）を指定した領域にN個取得* Nは最大 3,000,000個
FortranのCOMMON領域名：DURANAR
Copyright © Hitachi,Ltd.2008 All rights reserved

15

4

GPUコンピューティングへの取り組み

Copyright © Hitachi,Ltd.2008 All rights reserved

1616

4-1

最新GPUの動向

HPC向け機能の拡充
・倍精度性能の飛躍的向上
・メモリエラー訂正機能(ECC)のサポート
・GPU機種に依存しないヘテロジニアスプログラミング環境OpenCLのサポート
NVIDIA Tesla20 S2070

AMD/ATI Radeon HD5970

性能

550〜625GFLOPS×4(倍精度)

2.32TFLOPS×2(単精度)464GFLOPS×2(倍精度)

メモリ

GDDR5，6GB×4，ECCサポートGDDR5，1GB×2，256GB/s

電力

900W(typ)Idle 51W, max 294W

C for CUDA，CUDA Fortran(PGI)
自動GPUコンパイラ(PGI)
OpenCL
DirectX 11
統合開発環境Nexus

Stream SDK(Brook+，CAL)
OpenCL
DirectX 11
開発環境KernelAnalyzer

プログラ
ミング環境
その他

IEEE 754-2008準拠

Copyright © Hitachi,Ltd.2008 All rights reserved

1717

4-2

GPGPUのメリット・デメリット
メリット・デメリット

内容

メリットデメリット

高演算性能

単精度1˜3TFLOPS，倍精度数百GFLOPS

高メモリバンド幅

150˜250GB/s

低価格

HPC向けGPUで˜30万円，グラフィクス向けGPUで˜数万円

信頼性向上の動き

メモリエラー訂正機能サポート(NVIDIA)

プログラミング環境
汎用化の動き

OpenCL（GPU,Cell, マルチコアCPUの共通言語仕様)
PGIコンパイラ（GPUコード自動生成機能）

プログラムの互換性

プログラム書き換え必須，性能をひきだすための独特チューニング要

メモリ容量

GPUあたり１〜数GBで大規模科学技術計算には不足

ホストCPUとのデータ転送による性能低下

プログラムの全データをGPUに保持して処理できれば10˜100倍加速，プログラムの一部データをGPUに転送して処理すると加速率は10％〜3倍 (*)(*)東京工業大学 青木尊之教授講演よりhttp://www.kgt.co.jp/avs_conso/event/vc15/summary/data/2-4p.pdfほか
Copyright © Hitachi,Ltd.2008 All rights reserved

18

4-3

日立の研究開発へのGPGPU適用可能性

計算科学を用いた日立の研究開発分野
・材料物性・ナノシミュレーション・機械（熱流体，構造，振動）・電磁場・ライフサイエンス

Copyright © Hitachi,Ltd.2008 All rights reserved

194-4GPGPU性能評価（1）分子動力学
評価対象：隣接粒子リスト作成処理
全粒子間のすべての組み合わせに対して距離を計算し，カットオフ半径以下のものについてポテンシャル計算の対象とする
27,343粒子，領域サイズ120x120x70Å，カットオフ半径5.2Å
98.12秒87
計 6算 5時
間 4秒
3約80倍

︵ ︶

実行環境：
・Core i7(2.67GHz)+GeForce GTX285
・CUDA 2.2
実行結果
・CPU実行：8.12秒，0.8GFLOPS
・GPU実行：0.10秒，64.9GFLOPS
約80倍高速化

210.10秒

0CPU実行GPGPU実行

Copyright © Hitachi,Ltd.2008 All rights reserved

20

4-5

GPGPU性能評価（２）並列GPU
GPU間通信スループットの評価
複数CPUノード+複数GPUでMPI並列
データ交換スループットを評価
実行環境
・(Core i7+GTX280)+(Core i7+GTX295)+InfiniBand(x4 DDR)
・CUDA 2.2，MVAPITCH2
実行結果
・パイプライン実行により3.3GB/sに向上

スループット[MB/s]

3,500

メモリ
0GPU0
GPU0
メモリ

GPU0

遂次実行(pageable)

2,500

遂次実行(pinned)

2,000

パイプライン実行(pinned)

1,500

←[3]

0
1.E+00

1.E+03
1.E+06
通信サイズ[B]

IOH

GPU1
メモリ

CPU1

GPU1Memcpy
←

[0]
⇔
[1]
⇔
[2]
⇔[3]
⇔PCIe時間(片8GB/s)
InfiniBand時間(双4GB/s)

Memcpy
→

CPU0

[0]→
[1]→
[2]→
←[0]
[3]→
←[1]
←[2]

500

GPU1

InfiniBand

Memcpy
←

パイプ
ライン
実行

メモリ
1

Isend/
Irec v
⇔

GPU0

1,000

IOH

Memcpy→

GPU間通信スループット(双方向)

3,000

PCIe

CPU0

遂次
実行

ホスト
CPU1

ホスト
CPU0

CPU1
←[0]
←[1]
←[2]
[0]→
←[3]
[1]→

GPU1

PCIe時間(片8GB/s)

PCIe時間÷4
InfiniBand時間(双4GB/s)[2]→[3]→PCIe時間÷41.E+09
Copyright © Hitachi,Ltd.2008 All rights reserved

21

4-6

今後の取り組みノウハウの蓄積：・各種のHPCアプリケーションのGPGPU適合性を検証
・CUDA，PGIコンパイラ(指示行ベース)，OpenCLを用いた最適化
技術を蓄積
・並列GPU評価の推進
製品展開，ソリューション展開：
・PCクラスタ製品の一展開として推進（ご相談ください）

Copyright © Hitachi,Ltd.2008 All rights reserved

225ＴＯＰ５００状況

Copyright © Hitachi,Ltd.2008 All rights reserved

2323

5-1

TOP500状況

http://www.top500.org/

東京大学情報基盤センター殿システム
Linpack測定値；82.98Tflops
理論ピーク；113Tflops = (512+256) x 147.2
効率；73.4%(2009/11発表)
Linpack測定値；101.74Tflops
理論ピーク；139Tflops = (944) x 147.2効率；73.1%

Copyright © Hitachi,Ltd.2008 All rights reserved

24

5-5

2009/11 発表の性能

2008/11 発表の性能→ 2009/11• 4SMP BLAS (Goto r25) →(Goto r26)
N=10,000 32.07Gflops 87.1%
33.15Gflops 90.1%• LINPACK (512+256 : 113Tflops) → (944 : 139Tflops)
N=1,433,600 P=32,Q= 96
4SMP-3072MPIs
N=1,740,800 P=32,Q=118
4SMP-3776MPIs
Block size NB=160 , Bcast = 1ring
82.98 Tflops ( 6hr 34min30sec ) 73.4%
101.74 Tflops ( 9hr36min07sec) 73.1%

Copyright © Hitachi,Ltd.2008 All rights reserved

25Copyright © Hitachi,Ltd.2008 All rights reserved

26