超並列クラスタPACS-CSの概要
2006年6月27日
筑波大学 計算科学研究センター

Center for Computational Sciences, Univ. of Tsukuba

計算科学研究センターにおけるスーパーコンピュータ

CP-PACS (1996年11月世界最高速）⇒ 2005年9月に運用停止

この数年間はPCクラスタをベースとしたシステムが対価格性能比的に有望
一般的な高性能PCクラスタの問題点を見直し、本センター独自の発想により超並列クラスタシステムを設計・開発

2

Center for Computational Sciences, Univ. of Tsukuba

一般的な高性能PCクラスタの問題点


対象アプリケーション、問題の解法、問題規模等を限定できないため、極めて汎用的・広範な利用を想定せざるを得ない

ピーク性能は高いが、実効性能はそれほど追求しない

野心的なノード／ネットワークアーキテクチャを採用しないCPU性能に対し、メモリ性能やネットワーク性能が相対的に低い

ノード数が多くても実運用上は分割運転が多い

3

フルシステム規模で運用した場合の性能を軽視（ネットワーク性能等）
Center for Computational Sciences, Univ. of Tsukuba

我々の求める超並列クラスタのコンセプト
CPU性能：メモリ性能：ネットワーク性能の性能バランスを極力保つことを強く意識したPCクラスタ



超並列アプリケーションの日常的運用



現在のコモディティ（汎用・大量生産）技術を最大限に利用コモディティ技術による超並列計算機（MPP）を作るチップ等の開発はしない
 コモディティCPU、コモディティネットワーク、コモディティソフトウェア
 ボード・レベルでの開発は行う
 必要なドライバソフト等の開発は行う


4Center for Computational Sciences, Univ. of Tsukuba

PACS-CS : 計算科学向け超並列クラスタ






Parallel Array Computer Systemfor Computational Sciences
計算科学における大規模シミュレーションの効率的実行を目指した新しいコンセプトの超並列PCクラスタ
実効性能を追求するため、メモリと通信のバンド幅を重視
対価格性能比の良い汎用ネットワーク媒体を利用し、我々の超並列計算モデルに適合する相互結合網を構築

5

Center for Computational Sciences, Univ. of Tsukuba

メモリに対する高バンド幅設計
SMP構成（一般のクラスタ）

CPU

CPU

単一CPU構成（PACS-CS）

CPU

メモリ

メモリ

zノード上のメモリを複数CPUで共有
z頻繁なメモリアクセスを行うプログ
ラムで性能低下z複数CPUでネットワークアクセスを共有するので性能低下

zノード上のメモリを単一CPUで独占
z頻繁なメモリアクセスを行うプログ
ラムで性能向上z単一CPUでネットワークアクセスを占有

6

Center for Computational Sciences, Univ. of Tsukuba

ネットワークに対する高バンド幅設計
ツリー型ネットワーク（一般の高性能クラスタ）

ハイパクロスバネットワーク（PACS-CS）

...
.....
z木構造のルート付近で混雑発生
z多次元格子上の近接通信であっても大域的通信が発生
z数千ノード規模での実装でコストが大幅に増加

7z近接通信・集団通信ではボトルネックが発生しないz数千ノード規模に容易に拡張可能
z対価格性能比の高いネットワークを構築可能

Center for Computational Sciences, Univ. of Tsukuba

ボードの構成：1ノード当り1 CPU
SATA
RAID-1CPULV-Xeon
2.8GHzSouth Bridge

160GB
HDD x 2

従来の2CPU／ノード構成のハイエンドPCクラスタと同じ実装密度を保つ新規ボードの開発

North Bridge
HDD#1

PXH

memoryHDD#4

PXH

133MHz/64bit
PCI-X x 4x0 x1 y0 y1 z0 z1

Gigabit
Ethernet
× 8 ports

運用系
ネットワークMotherBoard#1Power Unit

GbE GbE GbE GbE

管理系
ネットワーク

HDD#3

HDD#2

MotherBoard#2

１ユニット内に２台のマザーボード

並列処理用ネットワーク
8Center for Computational Sciences, Univ. of Tsukuba

ノード（CPU）間の論理的結合（3次元ハイパクロスバ網） 2560 node 構成

・・・

・・・

Z=10・・・・・・

Y=16・・・

・・・

・・・

・・・

・・・

・・・

X次元スイッチ
Y次元スイッチ
Z次元スイッチ
計算ノード（CPU単位）
1つのスイッチで直接結合されているCPU間の通信
複数の次元のスイッチを経由して行われるCPU間の通信（中継CPUが必要）

・・・
・・・
X=16

図中の表現

実際の接続形態（dual link によるバンド幅増強）

Gigabit Ethernetトランクによるハイパクロスバ網

ターゲットアプリケーションの絞込みによりネットワーク構成の無駄を省く⇒ 近接通信と集合通信を高性能で実現

多次元同時転送によるバンド幅アップ

対価格性能比に極めて優れている
Gigabit Ethernet を積極的に利用＋ソフトウェア技術により高価な高性能ネットワークと同等の性能を実現

ソフトウェアによるトランキング（結束）によりバンド幅アップ

汎用Gigabit Ethernetと比較的安価なスイッチのみで高価な高性能クラスタ向けネットワークに匹敵する性能
10

Center for Computational Sciences, Univ. of Tsukuba

PACS-CSシステム諸元
ノード台数2560 (16 x 16 x 10)

理論ピーク性能

14.3 Tflops

ノード構成

単一CPU / ノード

CPUIntel LV Xeon EM64T, 2.8GHz, 1MB L2 cacheメモリ容量

2GB/ノード (5.12 TB/システム)

並列処理ネットワーク 3次元ハイパクロスバ網

11

リンクバンド幅

単方向 250MB/s/次元
単方向 750MB/s （3次元同時転送時）

ローカルHDD

320GB/ノード⇒RAID-1 (160 GB/ノード)

総システムサイズ

59ラック

総消費電力（推定）545 kW

Center for Computational Sciences, Univ. of Tsukuba

一般的なHPC向けクラスタとPACS-CSの比較
一般的なPCクラスタ

PACS-CS

ノード構成

SMP（共有メモリ）構成
ピーク性能重視

単一CPU構成
実効性能重視ネットワーク

高価なクラスタ向けネット 安価なGigabit Ethernetを束ワーク（SAN）を利用ねて多次元化して利用

実装密度

SMP構成の汎用PCサーバを利用して高密度化

専用ボードを開発し、一般のHPCクラスタと同等の実装密度を実現

ターゲット応用・モデリング

あらゆる演算・通信特性を持つアプリケーションを対象とする（特定の手法に特化しない）

大規模シミュレーションに実空間アプローチを適用し、汎用性を保ちつつ大規模化を実現

総合性能

Linpackベンチマークでは高性能だが一般応用では高性能は困難

Linpackベンチマークを含め、高いメモリ、ネットワークバンド幅を要求する問題に対応

12

Center for Computational Sciences, Univ. of Tsukuba

開発したマザーボード
CPUチップセット

PCI bridge

GbE NICs
VGA
USBx2

メモリ

138 ports
RJ-45

Center for Computational Sciences, Univ. of Tsukuba

ユニット(19inch x 1U)

マザーボードハードディスク

電源ユニット

マザーボード14

ハードディスクCenter for Computational Sciences, Univ. of Tsukuba

PACS-CS (2560 node)

筐体グループ（計算ノード×4＋スイッチ×1）

15

Center for Computational Sciences, Univ. of Tsukuba

１筐体グループの構成
Z次元スイッチ筐体
計算ノード筐体(16x16=256 node)

X-Y次元スイッチ筐体(256 node分)

16Center for Computational Sciences, Univ. of Tsukuba

ソフトウェア


Linux + SCore
PM/Ethernet-HXBドライバ（GbEトランク３次元ハイパクロスバ用の専用ドライバ）
 パーティショニング、モニタリング


MPIによる並列プログラミング

MPICH（標準）とYAMPII（東京大学開発）を切り替えて使用

言語：Fortran90, C, C++
数値計算ライブラリ：MKL
FFT-E（筑波大開発）
17Center for Computational Sciences, Univ. of Tsukuba

国産システムとして第二位
システム名称

メーカー名

設置機関

設置年月

Linpack性能(TFLOPS)TSUBAMESUN

東工大

2006/438.18

地球シミュレータ

NEC

海洋科学技術セ 2002/3
ンター

35.86

Blue Protein(BlueGene/L)IBM

産総研・生命情 2005/3
報科学研究セン
ター

18.20

BlueGene/LIBM

高エネルギー加 2006/3
速器研究機構18.20 x 2台

Altix3700

SGI

日本原子力研究開発機構

2005/3

11.81

PACS-CS日立＆富士通

筑波大・計算科学研究センター

2006/6

10.35

国内メーカーによるスーパーコンピュータとして地球シミュレータに次ぐ第二位の性能
18

Center for Computational Sciences, Univ. of Tsukuba

SCore利用クラスタとして世界最高速SCore

主なSCoreクラスタ


経済産業省RWCPにて開発
現在、PCクラスタコンソーシアムで開発・管理
日本発の大規模クラスタ用ミドルウェアとして世界的に有名

筑波大 PACS-CS (2560 node, 14.3 TFLOPS)
理研 RIKEN Super Combined Cluster (1024 node, 12.53TFLOPS)
産総研 AIST Super Cluster (1024 node, 8.8TFLOPS)

PACS-CSはSCore利用クラスタとして世界最大規模・最高速

19

Center for Computational Sciences, Univ. of Tsukuba

まとめ

大規模計算科学シミュレーション用超並列クラスタ

「CPU性能：メモリ性能：ネットワーク性能」のバランスを重視
アプリケーションの特性を生かしたコストパフォーマンスの高いネットワーク（GbE trunked 3D-HXB）

従来の dual CPU SMP ノードと同等の演算ノード実装密度

2560 CPU, 14.3 Tflops システムが2006年7月に稼動開始

SCoreクラスタとして世界最大・最高性能

Linpack性能だけに満足せず、実アプリケーションにおける性能にコストをかける

20

Center for Computational Sciences, Univ. of Tsukuba