【PCクラスタワークショップ in 北海道】

ハイパフォーマンス・コンピューティングへの取り組み

2012年3月9日
富士通株式会社
テクニカルコンピューティング･ソリューション事業本部
藤野 秋彦※「京」は2010年7月に理化学研究所様が発表した、次世代スーパーコンピュータの愛称です目次
富士通のHPC
スーパーコンピュータ 「PRIMEHPC FX10」
PCクラスタソリューション
TCクラウドサービス

2

Copyright 2012 FUJITSU LIM ITED

富士通のHPCサーバの歴史
30年以上にわたりHPC国内市場のトップベンダーとしてビジネスを展開
PRIM EHPC
FX10

FX1

VPP5000

ベクトル

SPARC Enterprise

スーパーコンピュータ「京」
世界一の性能を実現

世界最速のベクトルプロセッサ提供(1999年）(2011/6,11,TOP500）

NWT

世界最高の実行効率を達成(2008/11,TOP500）

VPP300/700

世界一の性能を実現（1993,94/11,95,
TOP500）

X86クラスタ

PRIM EQUESTPRIM EPOW ER HPC2500

VPP500AP3000
VPシリ ーズ
世界最高のスケーラビリティを実現（2003年）

F230-75APU

AP1000

HX600 クラスタノード
PRIM ERGY RX200
クラスタノード

スカラ
日本発のスーパーコンピュータ提供（1977年）〜1980 1985 1990

PRIM ERGY BX900
クラスタノード

クラスタ

PCクラスタ型で日本一の性能を実現（2004/6,TOP500）

1995

2000

2005

3

2010

将来

Copyright 2012 FUJITSU LIM ITED

富士通のHPCプラットフォームソリューション
〜 ハイエンドからローエンドまで 〜
飛躍的な性能向上、利用技術向上 ハイエンド
PRIMEHPC FX10

 ハイエンド/ミッドレンジ〜ローエンドPCクラスタ(PRIMERGY)

ハイエンド
x86 HPCクラスタ

ミッドレンジ TCクラウド(解析シミュレーション
クラウドサービス)

BXシリーズ
BX900/BX400

CXシリーズ

高速化要求
ローエンド

RXシリーズRX200/RX300

HPC市場の広がり
4

Copyright 2012 FUJITSU LIM ITED

目次
富士通のHPC
スーパーコンピュータ 「PRIMEHPC FX10」
PCクラスタソリューション
TCクラウドサービス

5

Copyright 2012 FUJITSU LIM ITEDスーパーコンピュータ 「PRIMEHPC FX10」 概要
 ペタスケールコンピューティングを実現するスーパーコンピュータ
 スーパーコンピュータ「京」*1に適用したスパコン技術をエンハンス
マルチラックモデル

世界最高レベルの超高速・超大規模スーパーコンピュータ 最大23.2PFLOPS，最大6PBメモリの圧倒的なスケーラビリティ
 ペタスケールコンピューティングを実現する先進ハードウェアテクノロジー
 ペタスケールシステムでの高い実行性能と運用性を実現するソフトウェア

シングルラックモデル 「京」向けアプリ開発機として最適なスーパーコンピュータ
 「京」向けアプリケーションのコンパイル，デバッグ，最適化が可能
 予算や用途に応じて，12/24/48/96計算ノードから選択可能
 マルチラックモデルに対し，設置性を向上

6

Copyright 2012 FUJITSU LIM ITED

狙いと特長 高性能と省電力を両立したSPARC64 IXfxプロセッサ

高性能と省電力の両立(マルチコア化の追求，HPC向け機能強化)
 環境負荷を低減する高効率冷却システム(直接水冷方式の採用，筐体外への排気熱の拡散防止)
高並列アプリの高い実行性能の実現と開発負荷の低減

大規模システムでの高い信頼性と運用性の実現 1CPU/ノード構成による高いメモリバンド幅/通信バンド幅 10万ノード規模までスケールするTofu*1インターコネクト
 高効率なハイブリッド並列を容易に実現するVISIMPACT*2

 メインフレーム技術を継承した部品レベルでの高い信頼性
 高い耐故障性と運用性を兼ね備えたTofuインターコネクト
 大規模システムの効率的な運用を実現するソフトウェア*1) Tofu: Torus Fusion*2) VISIMPACT: Virtual Single Processor by Integrated Multicore Parallel Architecture

7

Copyright 2012 FUJITSU LIM ITEDFX10 仕様
マルチラックモデル

シングルラックモデル

4 〜 1,024

1

システム

筐体数

仕様

計算ノード数384 〜 98,304

12

24

48

96

理論ピーク性能

90.8 TF 〜23.2 PF

2.5 TF

5.0 TF10.1 TF

20.2 TF

総メモリ容量12 TB 〜 6 PB

384 GB768 GB

1,536 GB

3,072 GB

インターコネクト

Tofuインターコネクト

←

冷却方式

直接水冷 + 空冷

直接水冷 + 空冷(オプション：排気冷却ユニット EXCU)
ノード

理論ピーク性能

236.5 GF

211.2 GF

仕様

プロセッサ

SPARC64 IXfx (1.848 GHz, 16コア) x 1

SPARC64 IXfx (1.650 GHz, 16コア) x 1

メモリ容量

32 GB, 64 GB

32 GB

メモリ転送性能85 GB/s←

ノード間データ転送性能

5 GB/s x 双方向 / リンク←

8

Copyright 2012 FUJITSU LIM ITEDFX10 ソフトウェア体系
アプリケーション
HPC Portal / 運用管理Portal
HPCミドルウェア Technical Computing Suite
Technical Computing Language
並列処理機能自動並列化コンパイラ
 Fortran

 C

 C++

 OpenMP
 MPI

 XPFortran

ツール/数学ライブラリ プログラミング支援ツール
 BLAS，SSLII，etc

高性能ファイルシステム 「FEFS」
 大容量，高性能，高信頼の分散ファイルシステム

 帯域制御ジョブ運用ソフトウェア
システム管理 システム管理 システム制御

OS拡張

ジョブ運用管理 システム監視 システム運用支援

 ジョブマネージャ
 ジョブスケジューラ

 資源管理 並列実行環境LinuxベースOS
PRIMEHPC FX109Copyright 2012 FUJITSU LIM ITED

目次
富士通のHPC
スーパーコンピュータ 「PRIMEHPC FX10」
PCクラスタソリューション
TCクラウドサービス

10

Copyright 2012 FUJITSU LIM ITED

富士通のPCクラスタソリューション

高性能

と

安心

最先端の技術の商品基幹業務と同等レベルのサポート

SuperComputer Top500世界No.1
次世代スーパーコンピュータ 「京」富士通PCクラスタ検証センター

世界最高性能高性能ファイルシステ
ム< FEFS >国内最大級のサポート拠点
2時間以内対応カバー率 → 92%
11

Copyright 2012 FUJITSU LIM ITED

選べるハードウェア
設置環境やシステム規模に合わせて選択
PRIMERGY RX200 S6・高さ1U（約4.5cm）
・AC200/100V電源

最新の業界標準テクノロジを採用
品質と信頼性へのこだわり（Made in JAPAN）

PRIMERGY BX900 S1シャーシ・高さ10U（約45cm）
・18サーバブレード/
ストレージブレード搭載
・AC200/100V電源

業界最高クラスの実装効率と設置性
高効率部品の採用による低電力設計

PRIMERGY BX400 S1シャーシ
・高さ6U（約26cm）
・8サーバブレード/
ストレージブレード搭載
・AC200/100V電源PRIMERGY BX400 S1シャーシ(フロアスタンドキット使用)
・幅：約37cm
奥行：約82cm
高さ：約58cm）
・8サーバブレード/
ストレージブレード搭載
・AC200/100V電源

省スペース（フロアスタンド型（W 366mm,D 819mm,
H 577mm）
577mm））、軽量化（最大（最大112.5kg
112.5kg））、静音性(45db)
12

Copyright 2012 FUJITSU LIM ITED

選べるOS・ミドルウェア
お客様の運用条件に合わせて、ハードウェアとの組み合わせ動作検証済みの
OS・ミドルウェア構成から選択
Windowsタイプ
Windows
タイプ

Windowsワークステーション＋WindowsPCクラスタ構成で、プリ処理、ポスト処理とソルバー処理の操
作性が統一できる

Windows® HPC Server 2008 R2（Windows Server® 2008 R2 HPC Edition ＋ Microsoft® HPC Pack 2008 R2）Linuxタイプ
Linux
タイプ
レベル1(
レベル
1(フリー
フリーOS
OS＋
＋OSS)
OSS

OS
CentOS

すべてがOSSの安価な構成
OSS

ジョブスケジューラー
TORQUE またはPlatform Lava

レベル2(
レベル
2(有償
有償OS
OS＋
＋OSS)
OSS

OS
Red Hat Enterprise LinuxOSS

リソース 監視
Nagios、Ganglia 他

多くの解析アプリベンダ様が動作保証している有償OSと、OSSのミドルウェアを組み合わせた構成ジョブスケジューラー

TORQUE またはPlatform Lava

OSS
リソース 監視
Nagios、Ganglia 他

ジョブスケジューラー
PBS Professional

レベル3(
レベル
3(有償
有償OS
OS＋有償ミドルウェア＋有償ミドルウェア))

OSSベースのミドルウェア構成で主要コンポーネントは富士通が障害修正対応
Platform Cluster Manager Fujitsu Edition
OSS

OS
Red Hat Enterprise Linux

Platform Lava

OSS

Platform RTM、Nagios 他

PCM Fujitsu Edition Enterprise Package
Platform LSF

13

OSS

Platform RTM、Nagios 他

Copyright 2012 FUJITSU LIM ITED

パートナー様との協調
解析アプリケーション

プラットフォーム

PCクラスタ性能検証センター
最新プラットフォームでの解析アプリケーション共同検証

解析分野別PCクラスタおすすめ構成
ベース
モデル
14

CPU性能
メモリ・I/O
強化モデル 強化モデル
Copyright 2012 FUJITSU LIM ITED

解析分野別おすすめモデル
解析分野ごとにプログラム実行性能に影響するハードウェアリソースが異なる
CPU性能、メモリ容量、ディスクアクセス性能それぞれのハードウェアリソース負荷の分析結果から、最適なモデルをおすすめ！！

モデル

こんな解析分野に最適

ハードウェアリソースへの負
荷
ﾒﾓﾘ
ｱｸｾｽ

CPU
ベースモデル

解析全般
特に流体解析、
電磁波解析

CPU
強化モデル

衝突解析、落下解析、
計算化学（分子動力学）、
金融リスクシミュレーショ
ン

CPU・メモリ・I/O
強化モデル

構造解析、
計算化学（分子軌道法、密度汎関数法）

中〜大

大

大

大

中

中〜大

ﾃﾞｨｽｸ
ｱｸｾｽ
小

小

中〜大

並列
効果

代表的アプリケーション

大

ANSYS FLUENT、STREAM、SCRYU/Tetra、STAR-CD、STAR-CCM+、PowerFLOW、
Poynting

大中LS-DYNA、RADIOSS、
PAM-CRASH、
Abaqus/Explicit
NX Nastran、MD Nastran、
MSC Nastran、Marc、
ANSYS Mechanical、
Abaqus/Standard、
RADIOSS※お客様の解析データによっては、 上記のパターンがあてはま らない場合がありま す。

15

Copyright 2012 FUJITSU LIM ITEDシステム性能向上の課題
 CPU ： 周波数、コア数
 メモリ ： 帯域幅、容量

2008

2009

2010

Xeon
5400番台Xeon
5500番台Xeon
5600番台ComputeNode インターコネクト ： 伝送速度

2011

2012

2013

2014

次期CPU

10倍の演算性能向上
DDR

QDR

20Gbps

40GbpsFDR
56GbpsInfiniBand Network
5倍の伝送性能向上

 I/O ： 応答速度、容量
File System

ファイルシステムがシステム性能向上のボトルネック!!

高性能ファイルシステム「FEFS」
・「Lustre」を機能強化した世界最高性能のスケーラブルファイルシステム
・スループット 1GB/s〜世界最高1TB/s
・数TByte〜最大8EByteの容量拡張性
16

Copyright 2012 FUJITSU LIM ITEDFEFSの機能紹介
 FEFSの特長的な機能のご紹介
ラウンドロビン分散機能（高バンド幅のI/O）

ユーザー間フェアシェア機能/ノード間優先制御機能
特定ユーザーにI/O帯域（サーバ処理能力）を占有させない

システムトータルで実効数百GB/s超のスループット実現
ファイルをラウンドロビンで分散格納しサーバ全体を並列稼動

クライアント側：各ユーザーのI/O要求をサーバに均等に発行
サーバ側：各ユーザーのI/O要求を均等に処理
フェアシ ェア：なし

フェアシ ェア：あり

Not Fair

ファイル単位のラウンドロビン分散

複数IB*5 経路

故障

増設により
容量・帯域がスケーラブルに向上

ストライピングによるラウンドロビン分散

ジョブA
実行

FEFS
ファイルサーバ

論理コピー≒ほぼ0秒（瞬時にコピー）
夜間
時間

故障

FC *6 マルチパス

バックグラウンド
物理コピー

RAID

メタサーバ (M DS*1 +MDT*2 )ログインノード

故障

サーバ動的交代RAID1+0

FEFS
ファイルサーバ

ログインノード

IB*5 マルチパス
故障

Fair

RAID6

RAID6

データサーバ (OSS*3 +OST*4 )ビジネス分野で実績あるテクノロジーを採用
単点故障のないハード構成、サーバの動的交替で実行中ジョブ継続

ビジネス分野で実績あるテクノロジーを採用
ETERNUSに搭載されている高速コピー、アドバンスト・ コピー機能のOPC(One Point Copy)と連携

冗長機能

ETERNUS連携（高速バックアップ）*1 MDS：Meta Data Server （メタデータを管理するサーバ） *2 MDS：Meta Data Target （MDSに接続するストレージ） *3 OSS：Object Storage Server （ファイルデータを制御するサーバ） *4 OST：Object Storage Target （OSSに接続するストレージ） *5 IB：InfiniBand *6：FC：FiberChannel

17

Copyright 2012 FUJITSU LIM ITED富士通のHPC
スーパーコンピュータ 「PRIMEHPC FX10」
PCクラスタソリューション
TCクラウドサービス

18

Copyright 2012 FUJITSU LIM ITEDTCクラウドサービス
実用的なシミュレーション・アプリケーション(ISVソフト/OSS等）がオンデマンド(柔軟・迅速)で使えるサービス

電磁波解析
電磁波解析

TCクラウド

縮
短
の
期間

化学

建設

環境・
エネルギー

の削 減
ト
ス
試 験コ
・
作
試

構造解析
構造解析
ISVベンダ解析
プラットフォーム
サービス

熱解析
熱解析

流体解析
流体解析
専門家

お客様の価
値

解析
アプリケーション 開発
サービス

衝突解析
衝突解析

オープンソース
コミュニティ

産業界（製造業等）

解析
ヘルプデスク

伝送線路解析
伝送線路解析
樹脂成型
樹脂成型

防衛

自動車

極端な条件下での検討
携帯・PDA

実 測困
設計

難な 挙
動

品質
の向

解析
デバイス

上
マイクロエレクトロニクス

19

Copyright 2012 FUJITSU LIM ITEDTCクラウドの特長
 ソルバだけでなく、プレポストまでもクラウドで実行 クラウド上のプレポストをお客様のPCから遠隔操作
 ソルバーの並列実行や同時並行実行による最適化もスケーラブルに お客様各社毎に専有環境を構築
 弊社データセンター上で個社毎のセキュリティを確保
 個社毎に物理的に計算リソースの専有環境を構築し、オンデマンドで追加
オンデマンド増設

A社専有環境ローカル環境での利用インタフェースをそのままに

プレ・ポスト

ソルバー

Ａ社
Ａ社

リソース
プール

SaaS
TCクラウド

画面表示
データ転送

富士通データセンター
防犯対策

災害対策
20

停電対策

空調対策
Copyright 2012 FUJITSU LIM ITED

企業内クラウドセンターの構築とTCクラウド連携
・TCクラウドのミドルウエア群で、企業内にクラウドセンターを構築
・企業ユーザは、TCクラウドと接続することで、繁忙期のピークカットと高速計算による
ターンアラウンド時間の短縮を図れます
システム例

A社内クラウドセンター
計算サーバ

プレ・ポス トサーバ

CAE
解析者
プレ・ポス ト
アプリの操作

HPCポータル他の
クラウド・ミドルウエア

プレ・ポストアプリケーション

CAEソルバーアプリケーション

仮想デスクトップ
ソフトウエア)

PCｸﾗｽﾀー(Linux)Windows
ﾜｰｸｽﾃｰｼｮ ﾝ

ジョブ
分散

プリポスト
サーバ

21

暗号化通信路（SSL-VPN)

計算サーバ

TCクラウドセンタ(A社専用区画）Copyright 2012 FUJITSU LIM ITED

解析アプリケーション
 TCクラウドの解析プラットフォームサービス上で、様々な解析アプリケーションが利用可能。 利用形態は2種類。
解析アプリケーションの利用形態
SaaS型
弊社アプリケーションとプラットフォームサービスをセットで利用する形式。ワンストップでサポート

PaaS型
お客様がアプリベンダーとご契約のアプリケーションや
内製アプリケーション等をプラットフォームサービス上で利用する形式。 解析ヘルプデスクでスタートアップし、利用上の問題
解決をサポート
22

Copyright 2012 FUJITSU LIM ITEDSaaS型アプリケーション
 富士通が販売・サポートするSaaS型アプリケーションです。
 定額制ライセンスに加えて、従量制ライセンスも選択できます。
電磁波解析

構造解析

LS-DYNAは、陽解法により構造物の大変形挙動を時刻履歴で解析するプログラムです。様々な解析に威力を発揮する世界のデファクトスタンダード製品です。

計算化学

板成形

eta/DYNAFORMは、板成形加工解析向け統合CAE
システムです。機能的なプレポストに加えて、解析ソルバも搭載しており、設計の上流工程から活用できます。

Poyntingは、電磁波解析のための高精度・高速シミュレータです。FDTD法を採用しており、光学解析・高周波解析のための様々な機能を装備しています。

計算化学統合プラットフォーム
SCIGRESS（サイグレス）
SCIGRESSは、原子・分子レベルの微細な挙動や性質を解析するシミュレーション・ソフトウェアです。新材
料、新素材の研究開発を協力に支援します。

プレポスト

 今後品揃えを充実させてゆきます
eta/VPGは、LS-DYNA用のプリポスト製品です。オー
トメッシュ機能やスポットウェルド、など各種条件設定が可能です。

※このページに掲載されて いる会社名、商品名は各社の商標または登録商標で す23

Copyright 2012 FUJITSU LIM ITEDPaaS型アプリケーション
 アプリケーションベンダー様と協力して動作検証しているアプリケーションです。
 アプリケーションにより対応状況は異なりますので、詳細は当社までお問い合わせくださ（社名ア ルファベッ ト順）
い。 汎用熱流体解析ソフトウェア
構造解析向け有限要素ソルバー
HyperWorks AcuSolve

HyperWorks RADIOSS

プラスチック射出成形シミュレーション

統合CAEツール

Moldflow

Simulation Mechanical

熱流体解析環境

構造解析

流体解析

Simulation CFD
汎用熱流体解析ソフトウェア

STAR-CCM+(PoD)

電子機器専用熱流体解析ツール

プレス成形解析ソフトウェア

PAM-STAMP2G
動的機構応力解析ソフトウェア

Virtual Performance Solution
汎用機構解析ソフトウェアー

FloTHERM

Adams

三次元熱流体解析ソフトウェア

汎用非線型構造解析ソルバー

SCRYU/Tetra

Marc

三次元熱流体解析ソフトウェア

汎用構造解析ソルバー

STREAMMSC Nastran

最先端数値流体解析ソルバー

XFlow
プレポスト他

プレポスト他

モデリング＆ビジュアリゼーション

HyperWorks
多目的ロバスト設計最適化支援ツール

modeFRONTIER

複合領域シミュレーションソフトウェア

SimXpert
CAE環境統合プリ・ポストソフトウェア

Patran※このページに掲載されて いる会社名、商品名は各社の商標または登録商標で す。2012年3月現在。

24

Copyright 2012 FUJITSU LIM ITED

解析ヘルプデスク
解析における問題解決支援サービス
 ISVや内製アプリを利用したい ⇒ アプリケーションのスタートアップ（導入支援） 問題切分けで困っている、最適な運用構成への助言 ⇒ 運用支援
 アプリケーションの利用技術を習得したい ⇒ 教育支援
 解析の手伝いをして欲しい ⇒ 受託解析

 パートナー様とのアライアンスで、多くの解析の専門家の力を活用

導入支援

解析ヘルプデスク
運用支援
教育支援

受託解析

豊富なソリューション提供実績をもつ専門家
プラットフォームから
解析アプリの業務適用までのトータルサポート

精密機械、建設、鉄鋼、
電気・電子、自動車など多彩な業種分野

25

アプリケーションベンダー、
コンサルティング会社など、多くの専門家の力を結集

Copyright 2012 FUJITSU LIM ITED

ご清聴ありがとうございました。
これからも富士通はお客様、パートナー様と共に、より良いシステムの提供に励んでまいります。よろしくお願いします。

詳細は、弊社ホームページで公開中です。
http://primeserver.fujitsu.com/primergy/pccluster/
http://jp.fujitsu.com/solutions/hpc/
26

Copyright 2012 FUJITSU LIM ITED