２０１２ ＰＣクラスタワークショップ in 北海道

日立のテクニカルコンピューティングへの取り組み

2012/3/9
株式会社 日立製作所
中央研究所
清水 正明
Copyright © Hitachi,Ltd.2012 All rights reserved

1

目 次

1 日立テクニカルサーバラインナップ
2 日立サーバラインナップ
3 事例紹介
4 分散並列ファイルシステムＨＳＦＳ Ｖ６

Copyright © Hitachi,Ltd.2012 All rights reserved

2

１

１ 日立テクニカルサーバラインアップ
・ＳＲ１６０００
・ＨＡ８０００

Copyright © Hitachi,Ltd.2012 All rights reserved

3

１-１

日立テクニカルサーバ : History & Future
S-810/S-820は国立科学博物館より「重要科学技術史資料」 第00042号として認定されました。

SR16000ﾍﾞｸﾄﾙ・ｽｶﾗ融合型

Power7ﾌﾟﾛｾｯｻ採用、複数ﾓﾃﾞﾙをﾗｲﾝﾅｯﾌﾟ(ﾓﾃﾞﾙ XM1,M1,VM1)
Next
GenerationHPC
Servers

SR11000
ﾉｰﾄﾞ当り理論性能
147.2GFlops(ﾓﾃﾞﾙK2)CP-PACA(SR2201)は、1996年のTop500で１位を獲得

ｽｶﾗ並列型

SR8000

世界初のﾍﾞｸﾄﾙ・ｽｶﾗ融合型HPCﾏｼﾝ
CP-PACS(S R2201)

HA8000-tc/HT225

商用ﾍﾞｰｽ日本初の分散ﾒﾓﾘ型並列機

ﾍﾞｸﾄﾙ型

HA8000-tc/RS425 (Opteron Base)(Opteron Base)

S-3800

クラスタシステム向け
高性能サーバ

単体CPUの理論性能
8GFlops達成（世界初）
S-820
S-810
日本国産初のﾍﾞｸﾄﾙ型ｽﾊﾟｺﾝ

HA8000/RS210(Xeon Base)

PCサーバ

単体CPUの理論性能
3GFlops達成

HA8000Series(Xeon Base)

ﾊｲｴﾝﾄﾞのItanium(日立独自設計)ｻ ｰﾊﾞ
含め幅広いﾗｲﾝﾅｯﾌﾟ
1980

1985

1990

1995

2000

2005

2010

2015

Copyright © Hitachi,Ltd.2012 All rights reserved

4

１-２

日立テクニカルサーバ ラインアップ
スカラSMPからPCクラスタまでラインアップ拡充
スカラSMPからPCクラスタまでラインアップ拡充

スカラSMPクラスタ (SR16000シリーズ）POWER7 〜256way
大規模SMP
モデルVM1

最大ノード構成・ 980 GFLOPS・ 256 GBメモリ

最大ノード構成・ 844 GFLOPS・ 256 GBメモリ

AMD/Opteron
最大ノード構成・ 294 GFLOPS
・ 64 GBメモリ

システム構成・ 32〜512ノード
・ 最大500 TFLOPSPOWER7 32way
エントリ
モデルXM1

HA8000-tc/HT225

最大ノード構成
・ 8.2 TFLOPS
・ 8 TBメモリ

POWER7 32way
高効率/高集積モデルM1

PCクラスタ (HA8000シリーズ）

システム構成・ 1〜512ノード
・ 最大432 TFLOPS

HA8000/RS210
Intel/Xeon
最大ノード構成・ 146 GFLOPS・ 192 GBメモリ
次世代Xeonプロセッサにも対応予定

InfiniBand QDRｻﾎﾟｰﾄ・ Fat-Tree・ 3D-Torus
Copyright © Hitachi,Ltd.2012 All rights reserved

5

１-３

ＳＲ１６０００の紹介

SRシリーズの特長を継承・強化させ、最先端H/Wテクノロジにより高性能・低消費電力を両立させる◆ 実績と将来性を見据えたシステム・アーキテクチャ
・ 高性能スカラプロセッサのSMP＆並列◆ 最先端ハードウェアテクノロジの適用
・ 最新プロセッサPOWER7 （高性能・低消費電力）◆ 各モデルの特長の明確化
・ 設備条件の緩和（空冷モデルの継承、耐荷重の軽減）
・ 世界最高クラスの高実装密度
・ 大規模共有メモリを有する最高性能のSMPサーバ◆ HPC向け技術の継承
・ チューニング技術（ｱﾌﾟﾘまでを見たﾄｰﾀﾙﾁｭｰﾆﾝｸﾞ)・ 運用技術：センター運用管理、単一ｼｽﾃﾑｲﾒｰｼﾞ等

モデルＭ１

モデルＸＭ１

Copyright © Hitachi,Ltd.2012 All rights reserved

6

１-４

ＳＲ１６０００の紹介

MemoryCPUModule

NW HubModule8 node (CPU Module) / board
Copyright © Hitachi,Ltd.2012 All rights reserved

7

１-５

ＨＡ８０００-ｔｃ/ＨＴ２２５の紹介
プロセッサ ： AMD Opteron 6140/ 6276
(2.3GHz 16コア Interlagos)×2
294.4 GF
メモリ ： 最大 64GB (DDR3-1600)
HDD ： 2.5″SAS-2.0 HDD×4 (RAID 0,1,10)
拡張I/O ： PCI-Express(x16) 1スロット,
PCI-Express (x8) 2スロット
電源 ： シャーシ内 2ノードで共用冗長構成
サーモサイフォン冷却
気化熱でCPUを冷却

Radiator
Gas phases

Cooling
Fan

Cohesion
Coolant (Water)
Liquid phases
Vaporization
Processor
Mother board

ラジエータで液化冷却用ファンの回転数低減により、冷却用ファンの回転数低減により、省電力、低騒音を実現
省電力、低騒音を実現
Copyright © Hitachi,Ltd.2012 All rights reserved8

２２ 日立サーバラインアップ・ブレードサーバ・ラックマウントサーバ／タワーサーバ

Copyright © Hitachi,Ltd.2012 All rights reserved

9

２-１

ＢｌａｄｅＳｙｍｐｈｏｎｙ ラインアップ

各製品、充実のラインナップで、用途に応じた製品を提供
仮想化環境やソリューションを含めたシステム提供も可能
ターゲット

ストレージ部

ブレードサーバ部

Web3階層統合システム
大規模データベース等

Hitachi
StorageSolutions

ハイエンドモデル
BS2000

PCサーバ統合
データセンター
中小規模の部門サーバ

ネットワーク 部

CommuniMax

BR1600E
BR1600S
小型高集積モデル
BS320

サーバ仮想化ロードバラン サ

AX2500BR1200日立サーバ 仮想化 機構Virtage

VMware vSphereTM Windows Server ® 2008 Hyper-VTM

BladeSymphony システム管理ソフトウェア
ミドルウェア

主要ISV
ソフトウェアプラットフォームソリューション／サポートサービス
Copyright © Hitachi,Ltd.2012 All rights reserved

10

２-２

ハイエンドモデル ＢＳ２０００

ミッションクリティカル・システムにフォーカス

 仮想統合を実現する高信頼スケーラブル・ブレードサーバ
・ 仮想化による集約、高速処理に適応した性能・拡張性(ブレード間SMP接続/ 大容量メモリー/ I/Oスロット拡張装置)

・ 日立サーバ仮想化機構Virtage標準搭載(*1)
ケス・ メインフレームの高信頼・高可用化技術を継承
・ 高効率電源の採用 (80 PLUS® GOLD認証取得(*2))

高性能ｻｰﾊﾞﾌﾞﾚｰﾄﾞ

シャ ーシ：最大8ブレード/10U

プッスケールアウト

・ ハードウェア長期保守対応 (ﾛﾝｸﾞﾗｲﾌｻﾎﾟｰﾄｻｰﾋﾞｽ 7年/10年(*3))

標準ｻｰﾊﾞﾌﾞﾚｰﾄﾞ

ルーア*1：Essentialモデル*2：電源負荷50％時の 変換効率92％を実現*3：BS2000 Eタイプにてサポ ート

I/Oスロット拡張装置
Copyright © Hitachi,Ltd.2012 All rights reserved

11

２-３

ハイエンドモデル ＢＳ２０００＜2011年度の主な強化ポイント＞■標準サーバブレード 性能強化
・最新Intel® Xeon® 5600番台プロセッサ・16GB DIMMサポート■高性能サーバブレード 性能強化
・最新Xeon E7ファミリー プロセッサ・16GB DIMMサポート■日立サーバ仮想化機構Virtage 強化・標準サーバブレード ： 30LPAR
・高性能サーバブレード ： 60LPAR■ I/O系RAS機能強化■キャパシティオンデマンド

シャ ーシ：最大8ブレード/10U

・初期導入費用低減＆長期運用時の拡張性

標準ｻｰﾊﾞﾌﾞﾚｰﾄﾞ

ｷｬﾊﾟｼﾃｨｵﾝﾃﾞﾏﾝﾄﾞ

高性能ｻｰﾊﾞﾌﾞﾚｰﾄﾞ

2ﾌﾞﾚｰﾄﾞSMP構成

4ﾌﾞﾚｰﾄﾞSMP構成

I/Oスロット拡張装置
Copyright © Hitachi,Ltd.2012 All rights reserved

12

２-４

小型高集積モデル ＢＳ３２０

より軽く、より小さく 高密度実装を追求

 幅広い用途に対応する高集積・省電力ブレードサーバ
・ 高さ6U(約27cm)に最大10ブレード搭載可能
・ 最大重量約98kg/シャーシの軽量設計
・ 用途に応じた多彩なサーバブレードをラインアップ
・ 日立サーバ仮想化機構Virtageに対応(*1)
・ 高効率電源の採用 (CSCI Silver基準適合，80 PLUS® SILVER認証取得(*2))
・ ハードウェア長期保守対応 (ロングライフサポートサービス：7年)

標準サーバブ レード

SAN専用サーバブレード

HDD拡張サーバブ レード*1：PCI拡張ｻ ｰﾊﾞﾌﾞﾚｰﾄﾞVirtageﾓﾃﾞﾙで提供*2：負荷50％時の変換効率89％以上を実現

PCI拡張サーバブレード
Copyright © Hitachi,Ltd.2012 All rights reserved

13

２-５

小型高集積モデル ＢＳ３２０＜2011年度の主な強化ポイント＞■最新Intel® Xeon® 5600番台プロセッサー■大容量メモリ/次世代SSD
・32GB DIMMサポート
・SSD搭載サポート■日立サーバ仮想化機構Virtage 強化
・LPAR数増強 (16LPAR)■iSCSI対応N+1コールドスタンバイ■省電力機能＆低電圧プロセッサ/メモリ

標準サーバブレード

SAN専用サーバブレード

HDD拡張サーバブレード

PCI拡張サーバブレード
Copyright © Hitachi,Ltd.2012 All rights reserved

14

２-６

ＨＡ８０００ラインアップ/ラックサーバ
2010/下4プロセッサー

HA8000/RS440(K1）

HA8000/RS220(K1)2011/上HA8000/RS440(L)2011/下〜2012/上・CPUエンハンス・低電圧メモリサポート
・10G LANサポート
・管理ツール添付拡充
・ﾊﾟｯｸ型の保守商品を追加

HA8000/RS220(L)

HA8000/RS440

・継続強化

HA8000/RS220

2プロセッサー・CPUエンハンス
・RAIDｷｬｯｼｭ SC*ﾊﾞｯｸｱｯﾌﾟ
・2.5型SAS HDD容量追加
・管理ツール添付拡充
・ﾊﾟｯｸ型の保守商品を追加
・次世代プロセッサ・ラインアップ拡充 等

HA8000/RS210(K1)

HA8000/RS210(L)・CPUエンハンス
・2.5型SAS HDD容量追加
・管理ツール添付拡充
・ﾊﾟｯｸ型の保守商品を追加

HA8000/RS210

・次世代プロセッサ・ラインアップ拡充 等

1プロセッサー

HA8000/RS110(K1)

HA8000/RS110(L)SC* : スーパーキャパシタ

・CPUエンハンス
・2.5型SAS HDD/SSDｻﾎﾟｰﾄ・3.5型HDD搭載数アップ
・RAIDｷｬｯｼｭ SC*ﾊﾞｯｸｱｯﾌﾟ
・管理ツール添付拡充
・簡単取り付けラックレール
・ﾊﾟｯｸ型の保守商品を追加

HA8000/RS110

・次世代プロセッサ・ラインアップ拡充 等

Copyright © Hitachi,Ltd.2012 All rights reserved15

２-７

ＨＡ８０００ラインアップ/タワーサーバ
2010/下2011/上

2プロセッサー

HA8000/TS20(K1)2011/下〜2012/上

HA8000/TS20(L)

HA8000/TS20
・CPUエンハンス
・2.5型SAS HDD容量追加
・管理ツール添付拡充
・ﾊﾟｯｸ型の保守商品を追加

HA8000/TS10(K1)

1プロセッサー

HA8000/SS10(K1)

HA8000/TS10(L)

HA8000/SS10(L)・次世代プロセッサ・ラインアップ拡充 等

HA8000/TS10

・CPUエンハンス
・2.5型SAS HDD容量拡大
・SSDサポート・RAIDｷｬｯｼｭ SC*ﾊﾞｯｸｱｯﾌﾟ
・管理ツール添付拡充
・ﾊﾟｯｸ型の保守商品を追加

・次世代プロセッサ・ラインアップ拡充 等

・CPUエンハンス
・2.5型SAS HDD容量/搭載数拡大
・SSDサポート・管理ツール添付拡充
・ﾊﾟｯｸ型の保守商品を追加

HA8000-bd/BD10(x1)
HA8000-bd

・Windowsサポート
・SSDサポート・iSCSIサポート ＋HDDレスモデル

HA8000/SS10

・継続強化

HA8000-bd/BD10(x２)・大容量SSDサポート
・コンテンツ配信事業者やDC事業者向けサービスの充実
SC* : スーパーキャパシタ

・次世代プロセッサ・ラインアップ拡充 等

Copyright © Hitachi,Ltd.2012 All rights reserved16

３３ 事例紹介
・北海道大学殿「北海道大学アカデミッククラウド」
・東京大学医科学研究所殿Copyright © Hitachi,Ltd.2012 All rights reserved17

４４ 分散並列ファイルシステム
ＨＳＦＳ Ｖｅｒｓｉｏｎ６

Copyright © Hitachi,Ltd.2012 All rights reserved

18

４-１

日立の分散並列ファイルシステムＨＳＦＳHSFS（Hitachi Striping File System）
スパコン分野で培った技術を投入した高性能共有ファイルシステム

共有ファイルシステムとして今後も進化し続けます！
11末

HSFS
HSFS V6
V6

進化

スパコン分野で性能とスパコン分野で性能とスケーラビリティを追求
スケーラビリティを追求

11

HSFS
HSFS 05-02
05-02

08

09

SR16000
SR16000

HSFS
HSFS 05-00
05-00

03

SR11000
SR11000

HSFSHSFS 04-00
04-00

SR8000SR8000■大規模クラスタ構成への対応
1024ノード対応、信頼性向上

07

HSFS
HSFS 03-00
03-00

98

SR2201
SR2201■グリッドバッチ向け機能強化
ファイルのメモリ常駐化(インメモリ)
Linux®対応■グリッドバッチなどビジネス案件への対応■SAN共有機能、耐障害性強化

08

気象予報業務など、大規模＆並列性能を求められるスパコン用に開発された日立の共有ファ
イルシステム96■ファイルシステムを瞬時に修復する
ジャーナルファイルシステム

06

技術継承

HSFS
HSFS 02-00
02-00■耐障害性強化
ノード自動縮退05

94

SR2001
SR200119■8192ノード対応■キャッシュ利用による高速化■フェールオーバ強化

HSFS
HSFS 01-00
01-00■HSFS初期バージョン
AIXへの移植

オープン基盤製品としてオープン基盤製品として耐障害性を強化
耐障害性を強化
年度

Copyright © Hitachi,Ltd.2012 All rights reserved

19

４-２

大規模システムにも柔軟に対応する並列ＦＳ

小規模から大規模まで台数に応じた構成を組むことが可能です特長

バッチ処理業務の増加に伴い、多数のサーバ台数が必要となる場合があります。
各サーバにディスク装置を接続できない大規模システムでも、ネットワークによるファイル共有を構築することができます。SAN共有機能とネットワーク共有の混在型も可能です。
SAN共有機能型

ネットワーク共有型◆ サーバ台数が比較的少ない場合◆ サーバ台数が多く、ディスク装置を接続できない場合

LAN

LAN

ジョブ

ジョブ

ジョブ

アクセス可能

ジョブ

ジョブ

HSFS

HSFS

ファイル
ファイル

ファイル
ファイル

ジョブ

ジョブ

ジョブ

HSFS

最大1024サーバまで構成可能

Copyright © Hitachi,Ltd.2012 All rights reserved

20

４-３

ストライピング機能（２つのストライプ方式）

分散方式

特徴

適性

ファイル
ストライプ

ファイル単位で分散配置(ラウンドロビン)
複数のファイルを別々のディスクに格納する
各ディスクのファイル数を平準化

小サイズファイルI/Oで高性能を発揮
・MBオーダー未満のI/Oプログラム
・TSS環境、コンパイル環境など

ブロック
ストライプ

ファイルを複数ブロックに分割してから配置
１つのファイルをブロック分割(*1)してから、ブロックを別々のディスクに並列転送

巨大なファイルのI/O時間短縮(小サイズファイルの場合、ファイル分割損が生じるため非効率となることがある)(*1) ブロックストライプのブロック分割数はシスパラで変更可

ファイルストライプ

ブロックストライプ

・・・

HSFS
client
ファイル①

HSFS
client

ファイル②

計算ノード
I/Oノード巨大ファイル

分割

ブロッ
ク
ブロッ
ク
ブロッ
ク

・・・

HSFS
client

LAN

並列転送
同時書込み

HSFS
serverHSFS
serverHSFS
server

ブロッ
ク

ブロッ
ク

ブロッ
ク

HSFS
client
計算ノード

LAN

併設可能

HSFS
serverHSFS
serverHSFS
server

ファイル①

ファイル②

ファイル③

ファイル④

ファイル⑤

ファイル⑥

I/Oノードラウンドロビンでディスクを選択
Copyright © Hitachi,Ltd.2012 All rights reserved

21

４-４

ＨＳＦＳのコンセプトとＶｅｒｓｉｏｎ ６の特徴

大規模I/O重視型ファイルシステムをベースに、V6で更に進化します！
・小サイズI/O性能も大きく向上させ、インタラクティブ操作の快適性の追求
・障害発生時の確実なI/Oフェンシングとフェールオーバによるユーザ資産保護
特長１
大量I/Oで高性能を発揮

・ディスク性能を最大限に引き出す
スループット重視のファイルシステム

特長2

HSFSNEW

大容量メモリを有効活用したキャッシュファイルシステム
・小サイズI/O性能向上
・メタデータ操作性能向上
・ログインノードでの作業性向上

特長3

NEW

耐障害性強化・日立高信頼障害監視機構HAモニタ連携
・I/Oフェンシング、フェールオーバ実現
Copyright © Hitachi,Ltd.2012 All rights reserved

22

４-５

特長１ 大規模I/Oで性能を発揮
ディスク性能を最大限に引き出し、大規模・大量I/Oに強いファイルシステム

過去の実績

SR8000ではOS(HI-UX/MPP)の一機能として提供[〜2002年]−大学や研究所等の日立スパコンユーザで多数の稼働実績あり−ハードピーク性能の90%を超える性能を発揮(1GbpsのFCで90MB/s)
SR1１000で高性能ファイルシステムとして製品化[2005年]−納入時のBMTで20GB/s達成(128ノードでの総スループット)1台の大規模SMPサーバでの高い性能要求にも対応[2009年]−納入時のBMTで１台のサーバで6GB/s達成(SR16000,FC48本直結構成)

Copyright © Hitachi,Ltd.2012 All rights reserved23

４-６ 特長２ 快適なインタラクティブ性能を提供
バッファメモリを利用した非同期I/Oをフル実装したキャッシュファイルシステム
特長

HSFSのI/Oバッファを利用したI/O完全非同期化により、新規ファイル生成/削除のコストを1msec未満に短縮し、快適なインタラクティブ性能を提供
NEW

演算ノード

(1) インタラクティブ操作性向上
I/Oは、I/Oバッファにデータを格納した時点で完了し、その後、非同期転送する。

ユーザアプリケーション
ユーザアプリケーション※ I/Oバッファ上に蓄積されるデ ータは、fsync(),close()時に整合性を保証します

HSFS
HSFS

(2) Ｉ/Ｏデータ蓄積＆一括転送

I/Oバッファ演算ノードのI/Oバッファに小サイズデータを蓄積してから一括転送することで、ノード間ネットワークとDISKのスループットを上げます。

HSFSI/Oノード
HSFS
HSFS

(3) 大規模データは即時転送

HAモニタ
I/Oバッファ

Ｉ/Ｏバッファ

HSFS
Ｕｓｅｄ

ストライピング

files

巨大データは、I/Oバッファに長時間置かず、即時I/Oノードに転送することで性能を確保します。

(4) I/Oバッファ有効活用
files

I/Oバッファ枯渇前に、I/OデータをI/Oノードに押出すことで、キャッシュの利用効率を促進します
Copyright © Hitachi,Ltd.2012 All rights reserved24

４-７ 特長2-1 バッチジョブ高速化のためのインメモリ機能
ファイルのメモリ常駐化機能(インメモリ)により、I/Oレスを実現
特長

ジョブ間で引き継ぐ一時的な中間ファイルなどを、各サーバのメモリ上に常駐することができます。
(本機能はサーバ間でメモリを共有するものではありません)

サブジョブ1

適用前

適用後

ジョブ群
・・・

ジョブ群
・・・

サブジョブmサブジョブ1

サブジョブm①ファイルをメモリに常駐・・・・・・
中間中間ファイル
ファイル②同一ファイル名でのディスクへの反映
入力
入力
ファイ
ファイ
ルル

中間
中間ファイル
ファイル

出力
出力
ファイ
ファイ
ルル

◆ ディスクI/Oボトルネックのため処理時間長大化

入力
入力
ファイ
ファイ
ルル

中間
中間ファイル
ファイル

出力
出力
ファイ
ファイ
ルル

◆ ファイルのメモリ常駐によるI/Oレス化◆ 障害時に備えたディスクミラーリングも可能
Copyright © Hitachi,Ltd.2012 All rights reserved

25

４-８

特長３ ファイルを保護する耐障害性機能
高信頼切換え機能「HAモニタ」と連携したI/Oフェンシングとフェールオーバ

特長

I/OノードのOSスローダウン時やハード障害時、ファイルシステムを守るため、HAモニタ(高信頼障害監視機構)と連携し、不安定なI/Oによるデータ破壊を確実に遮断し、安全なフェールオーバを実現します。

1〜60秒

Copyright © Hitachi,Ltd.2012 All rights reserved

26

Copyright © Hitachi,Ltd.2012 All rights reserved27他社商品名、商標等の引用に関する表示■製品の内容・仕様は、改良のために予告なしに変更する場合があります。
■製品写真は出荷時のものと異なる場合があります。
■インテル、Intel、Xeon、Itaniumは、アメリカ合衆国およびその他の国におけるIntel Corporationの商標です。
■ AMD、Opteronは、Advanced Micro Devices, Inc.の商標または登録商標です。
■ Microsoft、Windows、Windows Server、Windowsロゴは、米国Microsoft Corpotationの米国およびその他の国における商標または登録商標です。
■ Linuxは、Linus Torvalds氏の日本およびその他の国における登録商標あるいは商標です。
■ Red HatならびにShadow Manロゴは、米国およびその他の国でRed Hat,Inc.の登録商標もしくは商標です。
■ VMwareは、VMware,Inc.の米国およびその他の国における登録商標または商標です。
■ AIXは、米国およびその他の国におけるInternational Business Machines Corporationの商標です。
■ AIX 5Lは、米国およびその他の国におけるInternational Business Machines Corporationの商標です。
■ Javaは、 Oracle Corporation 及びその子会社、関連会社の米国 及びその他の国における登録商標または商標です。

Copyright © Hitachi,Ltd.2012 All rights reserved28