スーパーコンピュータ PRIMEHPC FX10
マルチノードサーバ PRIMERGY CX400

ご紹介
2012年4月
富士通株式会社
テクニカルコンピューティングソリューション事業本部
松本孝之

富士通HPCの歴史
30年以上にわたりスパコン国内市場のトップベンダーとしてビジネスを展開

PRIMEHPC FX10

FX1

VPP5000

ベクトル

SPARC Enterprise

スーパーコンピュータ「京」世界最速のベクトル
プロセッサ提供(1999年）

世界一の性能を実現(2011/6,11,TOP500）

NWT

世界最高の実行効率を達成(2008/11,TOP500）

VPP300/700

世界一の性能を実現（1993,94/11,95,TOP500）

X86クラスタ

PRIMEQUESTPRIMEPOWER HPC2500ⒸJAXA

VPP500PRIMERGY CX400
クラスタノード

AP3000F230-75APU

VPシリーズ

世界最高のスケーラビリティを実現（2003年）

PRIMERGY BX900
HX600 クラスタノード クラスタノード

AP1000PRIMERGY RX200
クラスタノード

スカラ
日本発のスーパーコンピュータ提供（1977年）～1980 1985 1990

クラスタPCクラスタ型で日本一の性能を実現（2004/6,TOP500）

1995

2000

2005
12010
Copyright 2012 FUJITSU LIMITED富士通のHPC製品ラインアップ
Scale Up

スーパーコンピュータ

大規模SMP(注)型演算サーバ
UNIXサーバ
SPARC Enterprise

PRIMEHPC FX10
基幹IAサーバ
PRIMEQUEST 16コアSPARC64IXfx
プロセッサ採用
 最大98,304ノードの構成
により、23.2PFLOPS
6PBメモリの超高速・超大規模計算環境を実現 マルチコアプロセッサ「SPARC64VII+/VII/VI」を最大64CPU/256コア搭載
 最大4TBの大容量メモリを搭載可能

 最大8個のXeonを搭載
 最大1TBの大容量メモリ

ハイエンド
PCワークステーション ラックサーバ

データセンター用PCサーバ

PCクラスタPCサーバ PRIMERGY
ブレードサーバ

CELSIUS R670-2

デスクトップPC
ESPRIMO 最大2個のXeonを搭載する業界標準サーバ（1U/2U)
 サーバ機に搭載するXeonを最大2個搭載可能
 GPUコンピューティングカード、InfiniBand HCAカードを搭載可能

 18ブレード/10Uと8ブレード/6UのXeonブレードを搭載可能な高密度大規模ブレードサーバ

 専用の19インチラック上部に装備された2個の大型ファンにより、ラック全体を冷却
 同一仕様で統一された38のサーバノードが一体となって提供

 1ラックに84ノード搭載を実現するマルチノード
サーバ

Scale Out
注 SMP： Symmetric Multi-Processingの略。複数のCPUを同時に利用して処理を行なう方法。共有メモリ型演算サーバ。
2

Copyright 2012 FUJITSU LIMITEDスーパーコンピュータ

PRIMEHPC FX10

3Copyright 2012 FUJITSU LIMITED

概要
 ペタスケールコンピューティングを実現するスーパーコンピュータ
 スーパーコンピュータ「京」*1に適用したスパコン技術をエンハンス
マルチラックモデル

世界最高レベルの超高速・超大規模スーパーコンピュータ 最大23.2PFLOPS，最大6PBメモリの圧倒的なスケーラビリティ
 ペタスケールコンピューティングを実現するハードウェアテクノロジー
 ペタスケールシステムでの高い実行性能と運用性を実現するソフトウェア

シングルラックモデル 「京」向けアプリ開発機として最適なスーパーコンピュータ
 「京」向けアプリケーションのコンパイル，デバッグ，最適化が可能
 予算や用途に応じて，12/24/48/96計算ノードから選択可能
 マルチラックモデルに対し，設置性を向上*1) 「京」は，理化学研究所が2010年7月に決定した，次世代スーパーコンピュータの愛称です．
4

Copyright 2012 FUJITSU LIMITEDシステム構成
PRIMEHPC FX10

ローカルファイルシステム

・・・

ネットワーク (InfiniBand，Gigabit Ethernet)

・・・
グローバルファイルシステム
利用者

ログインノード

・・・

管理ノード群管理者

コンポーネント

説明

PRIMEHPC FX10

ジョブ実行用の計算ノード(ディスクレス)，ディスクアクセス/外部通信用のIOノード，ノード間を接続するTofuインターコネクトから構成されるスーパーコンピュータ．

グローバルファイルシステム

利用者のホームディレクトリとして利用されるデータ保存領域．ネットワーク経由で利用．

ローカルファイルシステム

計算ノードでのジョブ実行時に利用される一時領域．IOノードにファイバーチャネルで接続．

ログインノード

利用者がログインし，プログラムのコンパイルやジョブ投入を行うノード．

管理ノード群

システム管理やジョブ運用管理を行なうノード群．
5

Copyright 2012 FUJITSU LIMITED

仕様
システム仕様

筐体数

マルチラックモデル

シングルラックモデル

4 ～ 1,0241

計算ノード数

384 ～ 98,304

12244896

理論ピーク性能

90.8 TF ～23.2 PF

2.5 TF

5.0 TF10.1 TF

20.2 TF

総メモリ容量12 TB ～ 6 PB

384 GB768 GB

1,536 GB

3,072 GB

インターコネクト

Tofuインターコネクト←

直接水冷 + 空冷(オプション：排気冷却ユニット EXCU)

直接水冷 + 空冷

236.5 GF

211.2 GF

冷却方式
ノード

理論ピーク性能

仕様

プロセッサ

SPARC64 IXfx (1.848 GHz, 16コア) x 1

SPARC64 IXfx (1.650 GHz, 16コア) x 1

メモリ容量

32 GB, 64 GB

32 GB

メモリ転送性能85 GB/s←

ノード間データ転送性能

5 GB/s x 双方向 / リンク

←

入力電源

3相3線AC200-240V, 3相4線AC380-415V

3相3線AC200-240V

重量1,300 kg (EXCU有), 1,250 kg (EXCU無)設置諸元(筐体あたり)650 kg700 kg

800 kg

寸法 (WxDxH)

800 x 1,174 x 2,400 mm (EXCU有)
800 x 800 x 2,400 mm (EXCU無)846 x 800 x 2,085 mm

天井高/床下高

天井高：2,700 mm以上
(推奨3,000 mm以上)

天井高：2,300 mm以上
(推奨2,400 mm以上)

床下高：500 mm以上

床下高：400 mm以上

定格消費電力

27 kW

16 kW
61,050 kg

27 kW
Copyright 2012 FUJITSU LIMITED

狙いと特長 高性能と省電力を両立したSPARC64 IXfxプロセッサ高性能と省電力の両立(マルチコア化の追求，HPC向け機能強化)
 環境負荷を低減する高効率冷却システム(直接水冷方式の採用，筐体外への排気熱の拡散防止)
高並列アプリの高い実行性能の実現と開発負荷の低減

大規模システムでの高い信頼性と運用性の実現

 1CPU/ノード構成による高いメモリバンド幅/通信バンド幅 10万ノード規模までスケールするTofu*1インターコネクト
 高効率なハイブリッド並列を容易に実現するVISIMPACT*2

 メインフレーム技術を継承した部品レベルでの高い信頼性
 高い耐故障性と運用性を兼ね備えたTofuインターコネクト
 大規模システムの効率的な運用を実現するソフトウェア*1) Tofu: Torus Fusion*2) VISIMPACT: Virtual Single Processor by Integrated Multicore Parallel Architecture
7

Copyright 2012 FUJITSU LIMITED高性能と省電力の両立

8Copyright 2012 FUJITSU LIMITEDSPARC64 IXfx
 高性能と省電力を両立した自社開発CPU
 優れた電力あたりの性能 (2GFLOPS/W超) HPC向け拡張機構 HPC-ACE*1 を装備
 マルチコアを一つのCPUとして扱う VISIMPACT を装備

 広範囲なエラー検出・エラー訂正機能
SPARC64 V9 + HPC-ACE

コア数16

動作周波数*11.848 GHz
1.650 GHzキャッシュ

理論ピーク性能*2
メモリバンド幅L1

命令 ：32KB / コア
データ：32KB / コア

L212MB (コア間共有)

DDR3 interface
MACMACアーキテクチャ

Core

Core

Core

Core

Core

Core

Core

Core

L2$ Data

L2$ Data
L2$Control

L2$ Data

L2$ Data

236.5 GFLOPS
211.2 GFLOPS

Core

Core

Core

Core

85 GB/s

CoreCore

Core

Core

MACMAC
DDR3 interface

HSIO仕様*1) HPC-ACE: High Performance Computing - Arithmetic Computational Extensions*2) 上段，下段はそれぞれマルチラックモデル，シングルラックモデルでの値．
9Copyright 2012 FUJITSU LIMITEDSPARC64 IXfx: HPC-ACE SPARC-V9仕様に対する富士通独自のHPC向け命令セット拡張

1)レジスタ拡張
 レジスタ数の拡張により，アプリケーションの命令レベルの並列性向上を図る(整数レジスタ156188，浮動小数点レジスタ32256)2)SIMD (Single Instruction Multiple Data) 命令 1つの命令で複数の演算を並列処理し，アプリケーションの高速化を図る(1サイクルあたり，各コアで8個，CPU全体で128個の浮動小数点演算が可能)

3)セクタキャッシュ (ソフトウェア制御キャッシュ) 再利用性のあるデータを選択的にキャッシュに保持し，キャッシュヒット率向上を図る

CPUコアにおけるアプリケーションの高速化を実現

10

Copyright 2012 FUJITSU LIMITEDHPC-ACEの効果: セクタキャッシュ 再利用されるデータ(Sector 1上に保持されるデータ)を，ユーザがコンパイラ指示行により指定可能 再利用されないデータ(Sector 0を使用するデータ)のアクセスで，キャッシュに残しておきたいSector 1のデータがキャッシュから追い出されない

L2$ を二つのセクタ(Sector 0,1)に分割
再利用されないデータ
再利用性不明データ再利用されるデータ

Sector 0

Sector 1

 セクタキャッシュの効果
行列演算 : SPARC64 IXfx 1CPU (16コア)実行(L2$(12MB/24way)をSector 0に6way, Sector 1に18wayに分割し使用)

低3倍以上の性能向上

性
能
高

データアク
セス待ちが1/4に減少
1/5に減少11

Copyright 2012 FUJITSU LIMITED高並列アプリの高い実行性能の実現と開発負荷の低減

12

Copyright 2012 FUJITSU LIMITED計算ノード構成 (1CPU/ノード)
 メモリバンド幅，通信バンド幅を1CPUで専有
 ノード内の全てのCPUコアから均一なメモリアクセス
アプリケーション性能を容易に引き出すことが可能
計算ノード構成

5 GB/s x 双方向 x 10リンク
CPU-ICC*1間バンド幅
20 GB/s x 双方向CPU理論ピーク性能
236.5 GFLOPS*2

メモリバンド幅85 GB/s

*1) ICC: InterConnect Controller *2) マルチラックモデル(SPARC64 IXfx 1.848GHz)での値
13

Copyright 2012 FUJITSU LIMITEDVISIMPACT
 マルチコアを一つの高速なCPUとして扱う仕組み
 CPU技術とコンパイラ技術を組み合わせて，高効率なスレッド並列処理を容易に実現

 CPU 技術
VISIMPACTを実現する技術(1)コア間のハードウェアバリア機構による高速なスレッド間同期処理(2)共有L2キャッシュによる効率的なキャッシュの利用(3)自動並列化コンパイラコア

 コンパイラ技術

・・・(2)共有L2キャッシュ(1)ハードウェア
バリアメモリ(3)自動ベクトル化技術を応用した高効率な自動並列化

高効率なハイブリッドモデル(自動並列+MPI)の実現を支援
14

Copyright 2012 FUJITSU LIMITEDハイブリッドモデル
ハイブリッドモデル(自動並列 + MPI)

プログラミングモデル

フラットMPIモデル!$OCL PARALLEL

MPI
通信

利点
•MPIプロセス数 1/コア数•並列加速率の改善•OSジッターの影響削減•メモリアクセスの削減とキャッシュの有効活用!$OCL END PARALLEL!$OCL PARALLEL!$OCL PARALLEL

MPI
通信!$OCL END PARALLEL!$OCL END PARALLEL!$OCL PARALLEL!$OCL END PARALLEL

並列実行モデルVISIMPACT
フラットMPIプログラムを自動的/容易にハイブリッド実行モデルで効率良く実行

フラット実行モデル

ハイブリッド実行モデル

Interconnect

Interconnect

Node0P

Node1
PPP

core core core core

PPP

Node1

Node0
Process
T
T
T
T
core core core coreP

core core core core

15

Process
T
T
T
T
core core core core

Copyright 2012 FUJITSU LIMITED大規模システムでの高い信頼性と運用性の実現

16

Copyright 2012 FUJITSU LIMITEDソフトウェア体系
アプリケーション
HPC Portal / 運用管理Portal
HPCミドルウェア Technical Computing Suite
Technical Computing Language Fortran

 C

 C++

ツール/数学ライブラリ

並列処理機能自動並列化コンパイラ

 OpenMP
 MPI

 XPFortran プログラミング支援ツール
 BLAS，SSLII，etc

FEFS 大容量，高性能，高信頼の分散ファイルシステム

 帯域制御ジョブ運用ソフトウェア
システム管理 システム管理 システム制御

OS拡張

ジョブ運用管理 システム監視 システム運用支援

 ジョブマネージャ
 ジョブスケジューラ

 資源管理 並列実行環境LinuxベースOS
PRIMEHPC FX10
17

Copyright 2012 FUJITSU LIMITEDTechnical Computing Language
コンパイラ/並列処理機能

プログラミング支援ツール

数学ライブラリ[標準ライブラリ]

Fortran[Fortran2003規格，Fortran95規格][C99規格，C89規格]

MPI[2003年規格]

デバッガ[富士通仕様ライブラリ]

プロファイラSSLII
C-SSL II
SSL II / MPI[OpenMP V3.0]

CC++

統合開発環境 IDE

BLAS
LAPACK
ScaLAPACKOpenMP[MPI 2.1]

高速4倍精度
基本演算ライブラリ

XPFortran

PRIMEHPC FX10のハードウェア性能を最大限に引き出すとともに，アプリケーション開発を加速
18

Copyright 2012 FUJITSU LIMITEDマルチノードサーバ

PRIMERGY CX400

19

Copyright 2012 FUJITSU LIMITEDPRIMERGY CXシリーズ
・データセンターに最適な高集積・省電力設計
・HPCを実現する高性能アーキテクチャー
 PRIMERGY CX400New 2Uサイズに最大4ノード搭載のマルチノード型
 サーバ独立性を確保
 2U単位のスケールアウト型
 汎用ラックに搭載

PRMERGY CX400

 PRIMERGY CX1000
 38サーバノード／ラックのスケールアウト型
 設置スペースの削減
 専用ラックにファンを集約させた集中冷却方式
PRMERGY CX1000
20

Copyright 2012 FUJITSU LIMITEDHPC を実現する高性能アーキテクチャー
1ラック当たりのシステム性能を大幅に向上
・高密度実装の実現により、1ラックあたりのシステム性能を大幅に向上。
42Uラックあたり、168CPU / 1344コアまで搭載可能。

インテル® Xeon® プロセッサー E 5ファミリーを採用
・消費電力あたりの性能の向上を実現したインテル社最新CPU「インテル® Xeon®
プロセッサー E5ファミリー」を採用し、省電力でありながら、高性能を実現

高性能メモリの採用
・1CPU あたり4 チャネルのメモリ動作を実現したDDR3 1600メモリを採用。PRIMERGY
CX250 S1 1台あたり最大128GBまで搭載可能

クラスタ構成に最適なInfiniBandに対応
・InfiniBandカードに対応し、40Gbpsでのノード間通信を実現。高速な並列計算に最適
max per node

total per CX400(4 nodes)

ﾌﾟﾛｾｯｻｰ

28ｺｱ

1664

ﾒﾓﾘｽﾛｯﾄ

1664

ﾒﾓﾘ

128GB

512 GBｽﾄﾚｰｼﾞ3 x 1 TB

12 TB

PRIMERGY CX400 S1

21

Copyright 2012 FUJITSU LIMITED富士通は今後も、テクニカルコンピューティングを通じて、科学技術の発展・産業競争力の強化・国民の安心安全の実現に貢献してまいります。
今後とも、ご支援、ご協力のほどを宜しくお願いします。

22

Copyright 2012 FUJITSU LIMITED