「FEFS」の機能のご紹介
 FEFSの特長的な機能
 ラウンドロビン分散機能（高バンド幅のI/O）
 ユーザー間フェアシェア機能/ノード間優先制御機能
 冗長機能 ETERNUS連携（高速バックアップ）

 その他の機能
 データ移行
 他社接続
0Copyright 2011 FUJITSU LIMITEDFEFSの機能紹介
 FEFSの特長的な機能のご紹介
ラウンドロビン分散機能（高バンド幅のI/O）

ユーザー間フェアシェア機能/ノード間優先制御機能
特定ユーザーにI/O帯域（サーバ処理能力）を占有させない

システムトータルで実効数百GB/s超のスループット実現
ファイルをラウンドロビンで分散格納しサーバ全体を並列稼動

クライアント側：各ユーザーのI/O要求をサーバに均等に発行
サーバ側：各ユーザーのI/O要求を均等に処理
フェアシェ ア： なし

フェアシェ ア：あり

Not Fair

ファイル単位のラウンドロビン分散

複数IB*5 経路

故障増設により容量・帯域がスケーラブルに向上

ストライピングによるラウンドロビン分散

ログインノード

ジョブA
実行

サーバ動的交代

RAID

メタサーバ (MDS*1 +MD T*2 )ログインノード

FEFS
ファイルサーバ

論理コピー≒ほぼ0秒（瞬時にコピー）
夜間時間

故障

FC*6 マルチパス
RAID1+0

FEFS
ファイルサーバ

故障

IB*5 マルチパス
故障

Fair

バックグラウンド
物理コピー
RAID6

RAID6

データサーバ (OSS*3 +OST*4 )ビジネス分野で実績あるテクノロジーを採用

ビジネス分野で実績あるテクノロジーを採用

ETERNUSに搭載されている高速コピー、 アドバンスト・コピー機能のOPC(One Point Copy)と連携

単点故障のないハード構成、サーバの動的交替で実行中ジョブ継続

冗長機能

ETERNUS連携（高速バックアップ）*1 MDS：Meta Data Server （メタデータを管理するサーバ） *2 MDS：Meta Data Target （MDSに接続するストレージ） *3 OSS：Object Storage Server （ファイルデータを制御するサーバ）*4 OST：Object Storage Target （OSSに接続するストレージ） *5 IB：InfiniBand *6：FC：FiberChannel
1Copyright 2011 FUJITSU LIMITED

ラウンドロビン分散機能（高バンド幅のI/O）
 現状の問題点
 PCクラスタシステムでは、プログラムやデータを共有するためにNFSを使用することは、極当たり前の選択。
 PCサーバ（計算ノード）のコストパフォーマンスが向上し、数十台規模のPCクラスタ構成になる。
 全体の処理時間の中でNFSサーバが処理する時間が占める割合が高くなり、I/Oボトルネックになる。

 解決するには
 NFSサーバを使用せず解消するために、PCサーバとSAN対応ディスクアレイを組み合わせ、スケーラブルな分散アクセスのファイルシステムが必要。

 FEFSラウンドロビン分散機能
 ファイルをラウンドロビンで分散格納しサーバ全体を並列稼動• 小ファイル（～TB）→ ファイル単位で分散格納• 大ファイル（TB～PB） → ファイルをノード間ストライピングして格納…

InfiniBandマルチレール機能（InfiniBandマルチパス構成時の機能）
複数InfiniBandを使用してI/Oデータの実効バンド幅を向上（マルチレール）

さらにジョブ #A…

IBSW
ジョブ #B

ファイル単位のラウンド ロビン分散ストライピングによるラウンド ロビン分散増設により容量・帯域がスケーラブルに向上
2ジョブ #C
Copyright 2011 FUJITSU LIMITEDユーザー間フェアシェア機能/ノード間優先制御機能
 現状の問題点

ジョブ #A さまざまなプロジェクト、グループ、部門の設計・解析者がPCクラスタシステムを共同利用する環境になる。
 高いI/O帯域の業務に占有され、均等なアクセスレスポンスが得られなくなる。

ジョブ #B
ジョブ #B 解決するにはジョブ #A

 ユーザー間/ノード間の均等なアクセスレスポンスを得るために、I/O帯域の制御ができるファイルシステムが必要。

Not Fair FEFSユーザー間フェアシェア機能/ノード間優先制御機能※下記例はユーザー間フェアシェア機能

 ユーザーA：19ノード・ジョブ
 ユーザーB： 1ノード・ジョブ → 10,000ﾌｧｲﾙの生成／削除にかかる時間を測定

ユーザー B
10000 Files

フェアシェア無
シングルユーザー

フェアシェア無マルチユーザーフェアシェア有マルチユーザー

Create Files

4 sec

10 sec

4 sec

Remove Files4 sec

14 sec

4 sec

ユーザーA

19ノード・ ジョブ

ユーザーB

1ノード・ジョブ
3

フェアシェア有マルチユーザー
ユーザーA

19ノード・ ジョブ

ユーザーB

1ノード・ジョブ

ファイルサーバ
FEFS

1ノード・ジョブ

フェアシェア無マルチユーザー

ファイルサーバ
FEFS

ユーザーB

ファイルサーバ
FEFS

フェアシェア無シングルユーザー

Copyright 2011 FUJITSU LIMITED

冗長機能
 現状の問題点

STOP!!

 さまざまなプロジェクト、グループ、部門の設計・解析者がPCクラスタシステムを共同利用する環境になる。
 ファイルシステムのどこかが故障しただけで解析・シミュレーション業務がストップしてしまう。

解析・シミュレーション（ソルバー処理）実行
読み込み

読み書き

書き込み

 解決するには
 各点で冗長構成・自動切り替えができるファイルシステムが必要。

故障

 FEFS冗長機能
 単点故障のないハード構成（冗長構成）• InfiniBand/ファイバチャネルパス、サーバの二重化による耐故障性強化• RAIDによるデータ保護（メタサーバ：RAID1+0、データサーバ：RAID6）

複数IB*5 経路

故障

故障IB*5 マルチパス

 サーバの動的交替（MDS／OSS）

故障• 交替時間はシステムの構成にもよるが、おおよそ 数分で切り替え。走行中のジョブは継続

故障

サーバ動的交代• 他のファイルシステム場合、サーバ／クライアント間の監視でタイムアウト時、I/Oをキャンセル（=ジョブキャンセル）*1 MDS：Meta Data Server （メタデータを管理するサーバ）*2 MDS：Meta Data Target （MDSに接続するストレージ）*3 OSS：Object Storage Serv er （ファイルデータを制御するサーバ）*4 OST：Object Storage Target （OSSに接続するストレージ）*5 IB：InfiniBand*6：FC：FiberChannel
4

FC*6 マルチパス

RAID1+0
メタサーバ (MDS*1 +MD T*2 )

RAID

RAID6

RAID6

データサーバ (OSS*3 +OST*4 )Copyright 2011 FUJITSU LIMITEDETERNUS連携（高速バックアップ）
 現状の問題点
 PCサーバ（計算ノード）のコストパフォーマンスが向上し、数十台規模のPCクラスタ構成になると同時に、大きな規模のモデル解析、小さな規模で多くのモデル解析を実行できる環境になる。
 ファイルシステムに蓄積される解析・シミュレーションのデータが大容量となり、データが持つ重要性からデータ保護のためのバックアップに時間を要し、解析・シミュレーションが実行できない時間が増える。

 解決するには 解析・シミュレーションの実行にほとんど影響を与えない、高速バックアップができるファイルシステムが必要。

 FEFSのETERNUS連携（高速バックアップ）機能
 OPCと組み合わせることにより、ファイルサーバなどに求められる多世代バックアップ要件にも対応。

メタサーバ/データサーバ（MDS/OSS）

ETERNUS SF AdvancedCopy Manager
OPC（バックアップ）

世代管理
ジョブA
実行

1世代目

SAN

2世代目
ETERNUS DX

論理コピー≒ほぼ0秒（瞬時にコピー）
時間

3世代目
メタデータ/
解析データ
データボリューム

････（MDT/OST）

夜間

n世代目
バックアップボリューム5

バックグラウンド
物理コピー

Copyright 2011 FUJITSU LIMITED

データ移行 良くご利用されているファイルシステムからのデータ移行例をご紹介します。
NFS
NFS →→ FEFS
FEFS データ移行
データ移行
NFSのファイルをFEFSにネットワーク経由でコピーします。

データ移行に際し、データ移行の調査ポイント
データの持ち方
データの形式
データの容量

データ加工
移行ツール
移行方式
データ移行
スケジュール

ご紹介のデータ移行の２つ例にあてはまらない場合はデータ移行方法について別途、ご相談ください。

転送帯域“1Gbps”でのコピーのため、データ移行に時間を要します。
転送帯域“40Gbps”でのコピーのため、速くデータ移行ができます。

一般Lustreと互換があり、FEFSクライアントにログインしてコピーします。
一般Lustre
一般Lustre →→ FEFS
FEFS データ移行
データ移行
6

Copyright 2011 FUJITSU LIMITED

他社接続
 他社PCサーバをクライアントとして、FEFSをご利用できます。

他社製PCサーバをクライアントとしてFEFSをご利用するにあたり、以下を留意する必要があります。

InfiniBand
HCAカードMellanox社のInfiniBand(QDR) HCAカードである必要があります。

オペレーティングシステムOSRAID1+0
メタサーバ (MDS*1 +MD T*2 )

RAID6

RAID6

Red Hat Enterprise Linux5.6で富士通がサポートしているカーネルバージョンである必要があります。

その他詳細についてはご相談ください。

データサーバ (OSS*3 +OST*4 )*1 MDS：Meta Data Server （メタデータを管理するサーバ）*2 MDS：Meta Data Target （MDSに接続するストレージ）*3 OSS：Object Storage Serv er （ファイルデータを制御するサーバ）*4 OST：Object Storage Target （OSSに接続するストレージ）
7

Copyright 2011 FUJITSU LIMITED《ご参考》FEFSへ移行後の導入・運用効果(例)
従来

スループット性能の制限により、システムごとに独立したファイルシステムを構築

設計部構造システムグループ

PCクラスタ

PCクラスタ

PCクラスタ

数十MB/s～500MB/s
従来
File
System

FEFS

設計部材料システムグループ

設計部流体システムグループ

数十MB/s～500MB/s

数十MB/s～500MB/s
従来
File
System

従来
File
System

スループット性能向上により、ファイルシステム統合による一括管理が可能に

設計部構造システムグループ

設計部流体システムグループ

設計部材料システムグループ

PCクラスタ複数システムからの複数システムからのI/O
I/O処理にも処理にも耐えうるスループット性能
フェアシェア機能により、特定ユーザ/特定ユーザ/ノードの占有を回避

1GB/s～1TB/s
FEFS

8

Copyright 2011 FUJITSU LIMITED「FEFS」の製品情報

9

Copyright 2011 FUJITSU LIMITED

製品・価格体系
クライアント PRIMERGY（計算ノード、管理ノード、ログインノード）
FEFSインストール
対象サーバ

InfiniBand
ネットワーク増設により容量・帯域がスケーラブルに向上
FEFSファイルサーバ
PRIMERGY(MDS)

増設

ETERNUS（MDT）FEFSファイルサーバ
PRIMERGY(OSS)ETERNUS（OST）

増設
メタデータ領域
データ格納領域

商品名適用OS

価格

FEFS V10 基本 （４ノードライセンス付）

Linux（EM64T）※Red Hat Enterprise Linux 5.6（for Intel64）¥ 3,000,000

FEFS V10 追加 １ノードライセンス

Linux（EM64T）※Red Hat Enterprise Linux 5.6（for Intel64）¥ 100,000

10

Copyright 2011 FUJITSU LIMITED

仕様一覧
Item

FEFS

一般Lustre

最大ファイルシステムサイズ

8,000,000TB（8EB）

64,000TB（64PB）

最大ファイルサイズ

8,000,000TB（8EB）

320TB

最大ファイル数

9,220,000兆ファイル

4,000百万ファイル

最大ボリューム数

20,000ボリューム

8,150ボリューム

最大ボリュームサイズ

1,000TB（1PB）

16TB

最大クライアント数

1,000,000クライアント

131,072クライアント

最大ストライプ数

20,000ストライプ

160ストライプ最大ファイル数（クォータ）

9,220,000兆files

4,000百万files

最大ファイルサイズ（クォータ）

8,000,000TB（8EB）320TB

最大ACL数

8,191

32

ディレクトリ単位のｸｫｰﾀ指定あり。

--

QOS機能あり。
ユーザー間，FEFSクライアントIPアドレスによるQOSが可能--

ファイルシステムのブロックサイズ 4KB ～ 512KB
カーネルパッチが必要か？

4KB不要。
但しサポートするカーネルを使用する場合
11必要
Copyright 2011 FUJITSU LIMITEDシステム参考価格（システム構成例・構成一覧）
 システム構成例

 構成一覧
商品名

PCクラスタ：クライアント65ノード（計算ノード×64、管理ノード ×1）

個数PRIMERGY BX900 S1 ブレード シャーシ（IB搭載）

4

管理ノード
PRIMERGY BX922 S2 サーバブレード（IB搭載）

1

計算ノード
PRIMERGY BX922 S2 サーバブレード（IB搭載）

64

IB電気ケーブル(16)、 ツイストペアケーブル(12)28¥ 673,600

OS/ソフトウェ ア一式¥ 3,320,000

PCクラスタ小計価格
商品名¥ 11,719,200¥ 1,291,000¥ 82,624,000¥ 99,627,800
個数価格

Mellanox社 8ポート InfiniBandスイッチ IS5022

4¥ 1,387,320

SR-X316T1 プレインストールモデルV01

1¥ 88,000

FEFS V10 基本 （４ノードライセンス付）

1¥ 3,000,000

FEFS V10 追加 １ノードライセンス65¥ 6,500,000※本構成例でのFEFSの年間サポート費用は、¥ 1,520,000です。合計価格には含まれておりません。

FEFS（MDS×2、MD T×1、OSS×2、OST×2）
OSTのディスク容量について※計算ノード1ノードあたり、約150GB※PCクラスタお すすめ構成Quic k Start Suite のベースモデル、 CPU 強化モデルでは1ノードあた り100GB、CPU・メモリ・I/O強化モデルでは1ノードあたり200GBとしています。

価格

PRIMERGY RX200 S6 （ MDS）

2

¥ 2,015,000

ETERNUS DX80 S 2 (MDT)1¥ 3,804,000

PRIMERGY RX300 S6 （OSS）

2¥ 2,119,200

ETERNUS DX80 S 2 (OST)2¥ 7,328,000※InfiniBandは、インタ ーコネクトとFEFSパスを兼用します。
※ラック、無停電電源装置は含ま れてお りません。
※現調費、搬入費、保守費なども含んでお りません。

12

容量：9.6TB

FEFS小計価格¥ 26,241,520

合計価格¥ 125,869,320

Copyright 2011 FUJITSU LIMITEDSupportDeskサービス
 ハードウェア障害からソフトウェアトラブル､Ｑ&Ａまでを富士通サポートセンター（OSC（*1））の専門技術者がワンストップで対応します。
お客様

問い合わせ

富士通
お客様サポート

ISV/IHVベンダ

迅速で確実な
エスカレーション

強力な連携

・Microsoft社
ｸﾞﾛｰﾊﾞﾙ・ｱﾗｲｱﾝｽ提携/認定ｺﾞｰﾙﾄﾞ・ﾊﾟｰﾄﾅｰ

・RedHat社

24時間
受付/対応

戦略提携/共同開発推進室を設置(*2)

・Oracle社
製品開発元

全国サポート拠点
トラブル内容参照

事業部門によるサポート• 技術者による対応• 必要ツールの迅速提供

Advanced Certified Support PartnerPartner of the Year受賞(2008年、2009年)

・CiscoSystems社
戦略提携(共同開発)etc

訪問（2時間以内）・修理(*2)

迅速な応急処置、原因究明、再発防止対策の実施
関東OSC(川崎)
関西OSC(大阪)

全国パーツセンター

国内最大級のサポート体制•日本全国約850ヵ所のサービス拠点、24時間365日対応のOSC（*１） (川崎/大阪)、24時間対応の保守パーツ・ロジスティック網など、約8000名のサービスエンジニアが日々お客様の安定稼働を支援(2008年3月現在)(*1)OSC:One-stop Solu tion Center(SupportDesk Standardご契約のお 客様専用の総合サポートセンター）(*2)サービス時間帯やサービ ス内容はご契約により異なります。
13

Copyright 2011 FUJITSU LIMITED14

Copyright 2010 FUJITSU LIMITED