PRIMEHPC FX10向け
システムソフトウェアの概要
2012年07月06日
富士通研究所
住元 真司
Copyright 2012 FUJITSU LIMITED発表の概要PRIMEHPC FX10システムの概要
PRIMEHPC FX10向けシステムソフトウェア
 テクニカル・コンピューティング・スイート概要
 大規模クラスタファイルシステムＦＥＦＳ
 システム運用管理
 ジョブ運用管理 言語処理系

1

Copyright 2012 FUJITSU LIMITEDPRIMEHPC FX10のシステム概要

2

Copyright 2012 FUJITSU LIMITEDPRIMEHPC FX10の位置づけ
 マルチコアを想定したシングルCPU/ノード構成
 FX1(4コア) → 京(8コア) → FX10(16コア)
 高いBF比(8 DIMM/ノード)

 連続性に配慮しながら、超並列で必須となるアーキを段階的に導入
 高性能、マルチ・メニーコアへの対応：• SIMD拡張、自動ハイブリッド並列(VISIMPACT) 高いスケーラビリティ：• 集団通信のHWサポート、直接網(Tofu)

自動ハイブリッド並列
集団通信のHWサポート

CY2008～40GF, 4コアCPU

直接網（Tofu）
SIMD拡張ほか

CY2010～
128GF, 8コアCPU
3CY2012～236.5GF, 16コアCPU
Copyright 2012 FUJITSU LIMITEDPRIMEHPC FX10 システム構成
SPARC64TM IXfx
CPU

PRIMEHPC FX10

DDR3memory

ICC(InterconnectControl Chip)

計算ノードの構成
Management servers

計算ノード群
Portalservers

Tofu interconnect
for I/OIO Network
Network(IB or GB)

I/Oノード群

File servers

Local disks

Global disk

Local file system
4LoginserverGlobal file system
IB: InfiniBand
GB: Gigabit Ethernet
Copyright 2012 FUJITSU LIMITEDFX10 ハードウェアシステム仕様
FX10ハードウェア仕様
CPUノードラックシステム

品名

SPARC64TM IXfx

性能

236.5GFlops@1.848GHz

構成

1 CPU / Node

メモリ容量32, 64 GB

ラックあたりの性能

22.7 TFlops

計算ノード数

384 to 98,304

計算ラック数4 to 1,024

演算性能

90.8TFlops to 23.2PFlops

メモリ容量 System rack
 96 compute nodesTM 6 I/O nodes
 SPARC64 IXfx CPU With optional water 16 cores/socket
cooling exhaust unit
 236.5 GFlops

 System board
 4 nodes (4 CPUs)
512 TB to 6 PB

 System Max. 23.2 PFlops
 Max. 1,024 racks
 Max. 98,304 CPUs

Copyright 2012 FUJITSU LIMITEDシステムハードウェア仕様の比較「京」

FX10品名SPARC64TM VIIIfx

SPARC64TM IXfx

性能

128GFlops@2GHz

236.5GFlops@1.848GHz

アーキテクチャSPARC V9 +HPC-ACE extension←

L1(I) Cache:32KB, L1(D)
Cache:32KB←

L2 Cache: 6MB(12way)

L2 Cache: 12MB(24way)

コア数/ソケット8

16

メモリバンド幅

64 GB/s.

85 GB/s.

構成

1 CPU / ノード

←

メモリ容量

16 GB

32, 64 GB

ノード数/システムボード

4ノード

←

システムボード数/ラック

24枚←

性能/ラック12.3 TFlops

22.7 TFlops

CPUキャッシュ構成

ノード
システムボードラック

6

Copyright 2012 FUJITSU LIMITEDシステムハードウェア仕様の比較 (cont.)

Interconnect「京」

FX10トポロジ

6D Mesh/Torus←

性能5GB/s x2(双方向)←

ノードあたりリンク数10本

←

追加機能

ハードウエアバリア、リダクション←

実装

外部スイッチ不要←

CPU, ICC(interconnectchip), DDCON

直接水冷←空冷

空冷 +EXCU(Exhaust aircooling unit)

冷却
DIMMs, other parts

PRIMEHPC FX10は「京」とバイナリコンパチブル（ランタイムで吸収）
性能チューニングにおいては、L2キャッシュサイズ、Way数、メモリ容量、コア数の違いを意識

7

Copyright 2012 FUJITSU LIMITEDSPARC64™ IXfx
 性能と省電力を徹底追及した自社開発プロセッサ 最大236.5GFLOPSの演算性能
 HPC向け機能・性能の強化（高いメモリバンド幅）

 高い信頼性を確保

8

Core

Core

Core

Core

Core

Core

Core

L2$ Data

L2$ Data
L2$Control

L2$ Data

L2$ Data

CoreCoreCoreCoreCoreCoreCoreCore

DDR3 interfaceCore

MAC MACSPARC64TM IXfx
161.848 GHz
236.5 GFLOPS
85 GB/s

MAC MAC

コア数
動作周波数
理論ピーク性能
メモリースループット

DDR3 interface

HSIO

Copyright 2012 FUJITSU LIMITEDTofu インターコネクト
 「京」で実証された高いスケーラビリティ
 直接網を実現する自社製インターコネクトコントローラ（ＩＣＣ）

 高い信頼性と運用性
 故障ノードを回避し運用を継続

SPARC64TM
接続バス

同時通信数
動作周波数
スイッチ容量
リンク速度、ポート数

ICC
4送信+4受信312.5MHz
100GB/s
5GB/sｘ双方向ｘ10ポート

9

PCI Express

 ジョブごとに3次元トーラスビューを提供

RDMAエンジン＋高機能バリア
Tofuネットワーク・ルータ
Copyright 2012 FUJITSU LIMITEDTofuインターコネクト 概要
 SPARC64TM VIIIfx, IXfx専用のノード間インターコネクト
 “Torus fusion” 3D-Torus×3D-Torus = 6D-Torus
ネットワーク・トポロジ

6次元メッシュ／トーラス

座標軸

X, Y, Z, A, B, C

最大ネットワーク・サイズ

32, 32, 32, 2, 3, 2

FX10システム構成

トーラス軸: X, Z, B ／ メッシュ軸: Y, A, C
計算ノード: Z = 1～8 ／ IOノード: Z = 0

SPARC64TM IXfx

CY

Core

Core

Core

Core

Core

Core

Core

L2$ Data

L2$ Data
L2$Control

L2$ Data

L2$ Data

CoreCore

Core

Core

Core

Core

Core

Core

MACMAC
DDR3 interface

CoreCPU

MACMAC

DDR3 interface

HSIO

Y
X
B
X

InterConnect
Controller
(ICC)

×XYZ

A Z Z B
10ABC
Copyright 2012 FUJITSU LIMITEDルーティング・アルゴリズム
 デフォルトの次元オーダ
 X→Y→Z→A→C→B

 拡張次元オーダ
 B→C→A→ X→Y→Z→A→C→B

 XYZ経路は2×3×2＝12通り
 最初のBCA移動で経路を選択

11

Copyright 2012 FUJITSU LIMITEDTofu:6次元メッシュトーラス
 (X,Y,Z,A,B,C)=32x32x32x2x3x2の約40万ノードまでの拡張性
 A/B/C軸とX/Y/Z軸の組み合わせることで、ジョブが割当たる部分メッシュ領域で隣接3次元トーラスが構成可能
 X/Z/Bはトーラスとして、種々の運用、故障に対応
 X軸：保守中の運用を継続
 Z軸：IOデータを直下のIOノード(Z=0)と通信• 最大ホップ数1/2、他ジョブとの輻輳を緩和 B軸：故障ノードを回避して、トーラスを再構成
Y
16 16 16 160,0 0,1 0,2 0,315 15 15 15ZX
1,0 1,1 1,2 1,32,0 2,1 2,2 2,3
保守時にもX-1列で継続IOノード

222211110000B

disk disk disk disk

IOデータはホップ数1/2で転送
12

0,0

1,02,03,04,05,0

6,0

7,0

0,1

1,1

2,1

3,1

4,1

5,1

6,1

7,1

0,2

1,2

2,2

3,24,25,26,2

7,2

故障ノード

代替ノード

故障ノードの回避例
Copyright 2012 FUJITSU LIMITEDTofuへのジョブ割り当てとランクマッピング
 ユーザはジョブを1～3Dトーラス指定で割り当てが可能
 TofuのXYZとABCを組み合わせた軸がトーラスの軸 XYZとABCの組み合わせ方と、トーラスの軸への対応は選択可能

仮想３次元
トーラス

X

Y0 1 2 3 4 5 6 7 8 9 10 1122 21 20 19 18 17 16 16 15 14 13 121A 0 0 1 2 3 4 5 6 7 8 9 10 11

X＝（x+a) ３次元トーラスマップの基本は、 X=x+a, Y=y+b, Z=z+cの組み合わせ

ZY
Y=(y+b)2
B 1003435013332
12331234302945628526727136258972423
1081222119132120

10 11141519171618

Copyright 2012 FUJITSU LIMITED

性能比較（ご参考）CPU

動作周波数[GHz]コア数/チップ
DGEMM[GFLOPS]
対『京』比
ピーク比
STREAM[GB/sec]
対『京』比FX10SPARC64TMIXfx
1.848
16224.5
1.894.9%
64.81.4

京
SPARC64TM
VIIIfx2.00
8123.6
196.6%
46.2
1

PRIMEHPC FX10の性能は、「京」に対して、演算性能で約1.8倍、メモリ性能で約1.4倍
14

Copyright 2012 FUJITSU LIMITEDPRIMEHPC FX10向け
システムソフトウェア
テクニカル・コンピューティング・スイート

15

Copyright 2012 FUJITSU LIMITEDテクニカル・コンピューティング・スイートの構成
アプリケーション（高並列アプリ・アルゴリズムの研究開発）

HPC Portal / System Management Portal
Technical Computing Suite
システム管理ソフト
 システムの管理、制御、監視、運用サポート
 故障の自動リカバリを実現(365日24時間運用)

ジョブ管理ソフト 高速並列ジョブ起動
 高効率スケジューラ
 充実したセンタ運用機能

エクサバイト対応
高性能ファイルシステム（FEFS）
 Lustreをベースに拡張 高いスケーラビリティ(ＩＯサーバ数千台に対応)
 1TB/sクラスのＩＯ転送

性能実績

自動並列化コンパイラ
 Fortran, C, C++を提供
 高レベルのSMID並列、マルチコア並列をサポート

ツール・数学ライブラリ 多くの海外ツールをサポート
 高効率の数学ライブラリ(SSL II/BLAS etc.)

並列言語・通信ライブラリ OpenMP, MPI(Open MPIベース),Whamcloudとコラボ

XPFortranを提供
 マルチコア、超並列に対応

Linux based OS (enhanced for FX10)：OSノイズ対応「京」 / PRIMEHPC FX10 / PCクラスタシステム
16

Copyright 2012 FUJITSU LIMITEDテクニカル・コンピューティング・スイートの設計指針
 設計指針： 「京」、PCクラスタとの実行環境の統一
PCクラスタからのアプリケーション移植性、オープンソースソフトウェア(OSS)の移植性を最優先に考慮
再コンパイルでPCクラスタよりも高並列、高速動作が目標
「京」との親和性を最大限に確保

 ＯＳとしてLinuxを採用し、各コンポーネントにOSSを最大限に活用： Lustreファイルシステム、Open MPIなど
 ただし、ノウハウが必要な運用系ソフトは独自開発17 17

Copyright 2012 FUJITSU LIMITED大規模クラスタファイルシステム
ＦＥＦＳ

18

Copyright 2012 FUJITSU LIMITEDLustreベースファイルシステム(FEFS)の概要
 世界トップクラスに相応しい最大規模、最速IO性能が目標
 エクサバイト対応済み、目標 2011年： 100PB, 1TB/s

 既存スパコンで実績のある「Lustreファイルシステム」（GPLv2）をベースに開発 目標実現に必要な機能を追加：大規模化、性能改善、運用性、信頼性向上が主体

 階層ファイルシステムにより適材適所化と負荷分散実現
 ジョブ専用と共用のファイルシステム間でファイル転送
 ファイルシステム間でファイルを転送を行う「ステージング機能」を開発
 Lustreコミュニティ（Open SFS）に参画し、Lustre標準化を推進
 Open SFS: Lustreの標準化と開発を担う非営利組織
ペタ向けには性能・容量が不足
ファイルサーバ
FC SW

File
単一サーバ型ﾌｧｲﾙｼｽﾃﾑ（PCクラスタ向け）

Fileクラスタファイルシステム（ペタ向け）
19

ステージングファイルサーバ

ローカルファイルシステム(work、一時域)性能（高速）重視
使いやすさ
容量・信頼性重視

グローバルファイルシステム(data、保存域)
Copyright 2012 FUJITSU LIMITEDLustre仕様とFEFSの実現目標
Features
SystemLimits

Max file system size
Max file size
Max #files
Max OST size
Max stripe count
Max ACL entries
Node
Max #OSSs
Scalability
Max #OSTs
Max #Clients
Block Size of ldiskfs(Backend File System)

Current
Lustre
64PB
320TB
4G
16TB
160
321020
8150
128K
4KB

Our 2012
Goals
100PB (8EB)
1PB (8EB)
32G (8E)
100TB (1PB)
20k
8191
20k
20k
1M~512KB

富士通のGoalは仕様や実現規模でLustreの将来仕様を先取りすることになった
2011/2 Lustreコミュニティに提供、コミュニティのロードマップとして公開（LUG2011）20

Copyright 2012 FUJITSU LIMITEDFEFSの特徴
 目標： 10年先のエクサ世代にも対応できるファイルシステム
分類

施策

大規模化

ファイルサイズ
ファイルシステム規模10年後にはエクサバイト（EB）へ⇒ EBのサイズに対応

スケーラビリティ

性能
容量

ハード増設で性能・容量がスケールアウト⇒ ２年で５～１０倍のペースでup

運用ポリシー選択 フェアシェア
（センター運用）
総スループット優先
性能向上

一人の悪行が他人に迷惑をかけることを防ぐ（QoS）
帯域を最大限有効利用（ベストエフォート）

安定したジョブ実行

ジョブ実行時間のバラツキを抑える

メタデータアクセス①ソフト処理改善（メタDisk分散，ロック・ハッシュ改善等）②MPI-IO対応（ファイル数減⇒メタアクセス緩和）③メタアクセスの分散化

TSSレスポンス保障

TSSノードの要求に対する帯域保障

小サイズIO・多数ファイル クライアントキャッシュ（データ，属性）
ディスク性能超え

サーバキャッシュ（大容量キャッシュ）高可用性

フェイルオーバー

サーバ・パス二重化 ⇒単点故障はJOBは自動継続

使い易さ

動的なハード増設

運用中にディスクやサーバの増設が可能

運用状態の監視

稼動状態の見える化 ⇒監視・チューニングを容易に
21

Copyright 2012 FUJITSU LIMITEDＦＥＦＳにおけるLustre拡張
 Lustreをベースに不足機能を拡張・新規開発
実現機能

基本機能増強
拡張機能追加

凡例

機能

新規拡張

高性能流用
ファイル分散並列IO
ｸﾗｲｱﾝﾄｷｬｯｼｭ

大規模
最大ファイルサイズ
最大ファイル数
最大クライアント数
ストライプ数512KBブロック

運用性

Lustre機能

通信
Tofu

MDSﾚｽﾎﾟﾝｽ
IO帯域制御ﾌｧｲﾙ格納先2次元指定
ｻｰﾊﾞｷｬｯｼｭ

Quota QOS

ACL

動的構成変更信頼性

GbE/IB

フェイルオーバー

ルーティング

RAS機能

ジャーナリング/fsck

接続性Lustre互換

NFSエクスポート

22

Copyright 2012 FUJITSU LIMITEDシステム運用管理
 大規模システムの運用に向けた取り組み
 階層化による負荷分散 徹底した二重化
 ジョブ実行効率の向上（外乱抑止）

23

Copyright 2012 FUJITSU LIMITED大規模システムの運用に向けた取り組み
 大規模システムによる処理の集中
 全体の情報管理のためのノードは一台とせざるを得ないが、その一台だけで多数ノードに対する指示や制御は処理遅延の要因〇 指示や制御の負荷分散が必要⇒ 階層化による負荷の分散

 故障時の運用停止リスク
 管理系やファイルシステム系のノード故障時に運用停止の可能性〇 重要ノードが故障してもシステムは継続できる必要がある⇒ 可能な限りの冗長構成とサーバ機能切り替え時でもジョブは継続 システムノイズの波及 ノード単体で発生するノイズ自体がジョブ実行の妨げ ノード単体のノイズはノード間並列ジョブではシステム全体に波及〇 ノード単体のノイズの削減やシステムへのノイズ波及を最小限にとどめる必要がある⇒ OSノイズ削減の施策とノイズの同期によるノイズ波及をとどめる施策
24

Copyright 2012 FUJITSU LIMITED階層化による負荷分散 効率的な監視と制御
 ノードグループという単位で処理を分散• ジョブ管理サブノードにノード監視やジョブ実行の処理を委託• ノードグループ単位にシステ
ムを追加可能であり、高い拡張性を持つシングルシステム
イメージによる一元的な操作ジョブ管理ノード•ジョブ運用管理•サービス監視システム運用管理

ノードグループ#2

ノードグループ#1
ジョブ管理サブノード

ジョブ管理サブノード

システム運用管理

システム運用管理 計算ノード分割運用• ノードグループとは独立的に設定することが可能•電源制御•ハードウェア監視•ノード監視システム運用管理• 情報もグループ単位に集約して収集するなど、効率化• リソースユニットという論理的に計算資源を運用分割可能

クラスタ

制御ノード

管理者

システム運用管理

IOノード・・・

システム運用管理

IOノード

インターコネクト

IOノード・・・

システム運用管理

計算ノード

・・・

計算
ノード

リソースユニット#1

25

IOノード

による階層化による効率効率的的な運用な運用

システム運用管理

計算ノード

階層化によ
計算資源のる効率的な運用分割

・・・

計算
ノード

リソースユニット#2

Copyright 2012 FUJITSU LIMITED徹底した二重化
二重化もしくは多重化により冗長化されている部分を赤文字で示している
運用に関わる部分はすべて冗長化！

Linuxベース OS
高性能ファイルシステム
システム運用管理

コンパイラ
並列言語
ツール/ライブラリ
可視化ツール

フロントエンドサーバ

TOFU IO Network
IB SW

IO NodeServerLocal; Disk

高性能ファイルシステム
システム運用管理

Global Disk

階層的に制御ジョブ管理
ノード

二重化管理ネットワーク
システム構成管理Tofuパーティション管理

ジョブ管理
サブノード

二重化制御ネットワーク
システム運用管理
ジョブ運用管理

システム
運用管理

ハード保守
制御ノード
26

システム統合ノード

保守サーバ
Copyright 2012 FUJITSU LIMITEDジョブ実行効率の向上（外乱抑止）
 OSノイズ対策

Rank#0 計算

•同期計算

•同期計算

計算

計算

計算

Rank#1

 OS内のノイズ源を把握し規定内のノイズ間隔と継続時間(200ms周期で50us以内の処理)に抑える
 このためにLinux OS内のノイズ源をすべて調査し、OSコードを改良 システムノイズ対策

 システムの監視動作などもTofuのRDMA機能を活用し、影響を最小限

Rank#0計算

待ちRank#1 計算

継続時間

一般Linux

98ms

215us

『京』目標

200ms

50us

性能低下

計算 ノイズ計算 計算

ノイズ 計算•同期

待ち

待ち ノイズ 計算•同期

Rank#0

ノイズ計算

計算

ノイズ計算

Rank#1

ノイズ計算

RDMA計算

ノイズ計算

•同期
向上

•同期

•同期

同期スケジューラの効果

制御ノード

上位へ通知
上位ノード

ジョブ管理ノード

IOノード

ノイズ間隔

理想動作

実際の動作

•同期

 Tofuのハードウェアバリア活用の同期
スケジューリングにより大規模並列実行時における影響を最小化

•同期

RDMA
計算ノード 計算ノード

IOノード

RDMA
計算ノード 計算ノード

ハング

RDMA利用のノード死活監視機構

OSノイズの影響と「京」の目標
27

Copyright 2012 FUJITSU LIMITED

ジョブ運用管理
 柔軟なジョブスケジューリング
 ジョブの実行順序の選択
 ジョブの実行資源の選択
 ジョブ間の相互干渉を抑制する資源割り当て

28

Copyright 2012 FUJITSU LIMITED柔軟なジョブスケジューリング
 共同利用センターの多種多様な要件への対応
きめ細かな運用ポリシー設定• ジョブの実行順序の選択• ジョブの実行資源の選択
 計算資源の効率実行をサポート
未来割り当て（バックフィルスケジュール）による資源の効率利用
ジョブ間の相互干渉による性能劣化を抑制する資源割り当て

29

Copyright 2012 FUJITSU LIMITEDジョブの実行順序の選択
 柔軟にスケジューリング・ポリシーを設定可能
種別の優先度と種別内の優先度によりジョブ実行順序を決定つまり、優先度の高い種別から順番にソートを実施する
説明

優先度種別※
ジョブ投入の順序

先に投入されたジョブが高優先度。 (デフォルト)

フェア・シェアリング

各ユーザグループ / ユーザごとに設定された「ポイント」の残量の順に優先度を決定。

要求資源量による優先度

ジョブ投入時に指定した資源量により決まる優先度。

ユーザグループ /ユーザ / ジョブごとの優先度指定

ユーザグループおよび個々のユーザごとに優先度を指定。

例：高並列ジョブを優先的に実行個々のユーザがさらに自分のジョブの優先度を指定可能。

※ 優先度種別の間の調整・入れ替えは可能
30

Copyright 2012 FUJITSU LIMITEDジョブの実行資源の選択
 実行順番で選択されたジョブへ割り当てる資源の選択ルールがカスタマイズ可能 資源選択ルールの有効/無効、設定値などをセンター運用に合わせてカスタマイズ
資源選択ルール

説明

計算ノードの固定的な分割運用

計算ノードを論理的に分割（リソースユニット）。
リソースユニットを指定し、その中から空き資源を探す。

同時実行ジョブ数制限、同時実行サブジョブ数制限、同時実行ノード数制限

特定ユーザのジョブが資源を占有しないように空き資源を探す(同一時間帯に実行数制限値を超えるような場合は未来に割当てる)。

ジョブ形状の最適化 (回転)割当て形状を回転させ、空き資源を探しやすくすること
により、無駄な空き資源の発生を抑制。

バックフィル(高優先度ジョブの実行を妨げない範囲でジョブ実行順序を無視する)

優先度の高いジョブの資源割り当て予約後の空き資源(隙間)を探す。システム稼働率の向上に繋がる。

デッドライン

資源にデッドラインを設定し、設定期間中はその資源を避けて空き資源を探す。計画停止や保守への対応。
31

Copyright 2012 FUJITSU LIMITED

ジョブ間の相互干渉を抑制する資源割り当て
 インターコネクト構成を意識した資源割当て
Tofu単位を基準として割当てインターコネクトで形作る部分直方体をジョブに割当て
隣り合うTofu単位群を割り当てることでノード間通信の効率を高め、他のジョブからの干渉を防ぐ
ジョブ割当て形状の最適化
ジョブの割当て形状を回転、システムの空き領域にはめ込む

32

Copyright 2012 FUJITSU LIMITED

言語処理系

33

Copyright 2012 FUJITSU LIMITED

言語処理系
 超高並列アプリケーション開発環境をトータルにサポート
 高性能・高効率を実現するコンパイラ・並列処理機能• 自動ベクトル化技術を発展させた高効率な自動SIMD化/並列化コンパイラ• 世界的に著名なOpen MPIをベースとして超高並列時の通信性能を大幅に改善したMPI 超高並列アプリ開発に対応できるデバッグツール・チューニングツール
 マシン性能をギリギリまで引き出す高効率な数学ライブラリ

コンパイラ・並列処理機能

プログラミングツール

ノード内Fortran 2003

• 命令レベル最適化

C/C++ 自動SIMD化
 ソフトパイプライニング• ループレベル最適化

ノード間OpenMP 3.0

 自動並列化• IDE• デバッガ• プロファイラ コスト分布 PA情報MPI 2.1
XPFortran

RMATT

*1

*2

数学ライブラリ• BLAS• LAPACK• SSL II

ScaLAPACK*1: eXtended Parallel Fortran (分散並列Fortran言語)*2: Rank Map Automatic Tuning Tool (ランクマッピング最適化)
34

Copyright 2012 FUJITSU LIMITEDMPIライブラリの構造
 先進性/拡張性/コミュニティのオープン性に優れたOpen MPIに
Tofu向け高速化機能をアドオン
一対一通信

集団通信

階層拡張

MPI Interface Layer

tuned COLL,
tbi COLL

階層拡張

ob1 PML
短メッセージ
低遅延送信のための特別経路(send, rsend,bsend)

tofuLLP(LowLatencyPath)

長メッセージ用プロトコルを改良 (Rendezvous, Stride)

r2 BML

tofu BTL

Tofu専用の一対一通信処理

Tofuの特性を活かした新アルゴリズムを実装しTofu Libraryを直接呼び出し (bcast,allgather, allgatherv,allreduce, alltoall)
Tofuのノード間バリア・リダクション機能を活用(barrier, bcast,reduce, allreduce)

tofu COMMON

Tofu Library
tofu BTL, tofu LLP, tuned COLL, tbi COLL
から共通に使われる構造・処理

Tofu Interconnect

35

Copyright 2012 FUJITSU LIMITEDチューニングツールの概要
 従来のプロファイラを超高並列に対応できるように改善
 ロードインバランス解析機能
 Tofuのハードモニタを利用した通信プロファイリング機能（Tofu-PA解析）
 トーラス上でのランクマッピング最適化機能（RMATT）
 超高並列でも分かり易い情報の表示機能

 デファクトのインタフェース採用により外部ツールの容易な導入を実現
ランクマッピング最適化
自動（RMATT）
チューニング
FJ

ツールセット プロファイラ

Vampirvt：Vampir-traceによるロギング

HPC Toolkit Scalasca
TAU(RICE大)(オレゴン大)
(JSC)

vt

情報取得
ライブラリ
ＯＳ
ハードウェア

ＰＡＰＩ

vt

brk

逐次ランタイム

mpiP

Vampir-trace

FJ-Tofu-PA解析

vt

ＭＰＩ

ＯｐｅｎＭＰ

Ｌｉｎｕｘ

vt

vt

ICCドライバ
Tofu-PAＣＰＵ
ＩＣＣ
チューニングツールの構成
36

アプリトポロジ表示
vt

資源管理

システム

物理レイアウト表示

情報の表示例
Copyright 2012 FUJITSU LIMITEDまとめ PRIMEHPC FX10のシステム概要
プロセッサSPARC64TM IXfx新規開発(236.5GFLOPS)

直接網Tofuインタコネクトの適用(98,304ノードまでの拡張性）

 PRIMEHPC FX10向けのシステムソフトウェア「京」とのアプリケーション互換性確保
テクニカルコンピューティングスイート概要



大規模クラスタファイルシステムＦＥＦＳ



システム運用管理

ジョブ運用管理



言語処理系

37

Copyright 2012 FUJITSU LIMITED38

Copyright 20112012 FUJITSU LIMITED