SINET5に支えられたHPCIにおける情報共有基盤、HPCI共用ストレージの紹介

理化学研究所 計算科学研究センター 原田 浩
筑波大学 計算科学研究センター 建部 修見
理化学研究所 計算科学研究センター 金山 秀智
東京大学 情報基盤センター 小瀬田 勇
2019/10/4

HPCI
http://www.hpci-office.jp/pages/e_what_is_hpci

2020HPCI   

HPCI @8!&@8L4
F= HPCI6?1@85U,P;GHVZ I*#%$'%''F= "'' XW,P BJ+
 AN*/E S9:)R>#%$GfarmXW
KDOVGSI(Grid Security Infrastruncture)(<+7.8 PB
Primary Storage

MDSMDS45 PB
Secondary StorageY76?-.72'

MDS(Master)

100 Gbps

MDS
45PB
M3H.CT0Q'

HPCI共用ストレージの特徴
・2018年10月10日から、無停止運転継続中 来週に連続稼働1年間達成予定(?)
現行システムは２世代目。2017年度に導入。

2019OJ45PB+45PBI4
SINET51 V6KE3 "N=/

8@U!(($ #,"%#+?H/))"KE:2R-CCS:2
S: 4=/
KE/R-CCS3'*%8AP/"2CA  (;L>9
#+$#,

8&5DA<7KE R-CCS FM.T0P
MDS

MDS

MDS(master)

7.8 PB

45 PB

Primary Storage

51 PB

Secondary Storage
理研計算科学研究センター

MDS

FT2018"N=/&KER-CCS - RB;LQG
東京大学

情報基盤センター

HPCI

45,000

40,00035,00030,000

Apr-14Jul-14Oct-14Jan-15
Apr-15
Jul-15Oct-15Jan-16
Apr-16
Jul-16Oct-16
Jan-17
Apr-17
Jul-17Oct-17Jan-18Apr-18
Jul-18Oct-18Jan-19Apr-19Jul-19(TB)

HPCI

HPCI (  )R-CCS(TB)

UTOKYO(TB)

TITECH(TB)

TOTAL(TB)

25,00020,00015,00010,0005,0000
•2018年度からファイルデータを東京大学、理研にそれぞれ一つ以上自動配置する運用を本格的に開始• 運用側によるファイルデータの複製管理(運用側が、ファイルのロケーション、多重度を管理）• ユーザは複製管理不要(ユーザは、ファイルのロケーション、多重度を意識せず利用可能）••

旧機材からのデータ移行も完了

稼働率の向上• メタデータの四重化＋データ二重化により、東京大学、RCCSいずれか片方の運用機関だけでも継続運用可能• 計画停電、メンテナンス等によるサービス停止時間の削減• 2018年度以降は、稼働時間の大幅な向上を達成• 2018年10月10日から連続稼働継続中•強固なデータ保護• 東京大学、R-CCSいずれかで重大障害が発生してもデータは保全されます• データ書き込み時にチェックサムを自動照合• ファイルデータ二重化時にチェックサム照合も自動実行• データ書き込み時のチェックサム照合と合わせ、二重、三重のデータ完全性チェック"!'  % &$% &
 #MDS

MDS

45 PB

100 Gbps

FILE

MDS

MDS

45PB
FILE

同じファイルが理研と東大にそれぞれ一つ以上作られる





2019障害・メンテナンス分析(R-CCS機器)
HDD障害



HDDMTBF 250"h12TB!

運用期間

運用時間

運用HDD数障害HDD数

2019/4〜2019/83672時間

800+6380

5



SW

片系リンクダウン

13







HDD MTBF 250"h 10TB

MTBF

527.3万時間(二次ストレージは全ディスクをSMARTで定期検査)

100GbE! !

•••

多くは、QSFPの抜き差しで復旧、原因不明
停止期間中に対策をしておきたい
両系同時ダウンな発生していないので、なんとか運用


実施期間

内容

サービス

2019/4/1〜2019/4/3••

Gfarm更新
電子証明書更新(GfarmはGSI認証)

無停止

2019/7/8〜2019/7/12••

東大のマスタメタデータサーバ試験運用(R-CCS機器長期停止対策)
R-CCS ローカルメンテナンス•
メタデータサーバUPSの電源ケーブル交換•
各種ファームウェア更新

無停止「京」運用終了に備えて、データをHPCI共用ストレー
ジに書き込み多数

2019/9/27〜2019/9/30••••

東大設備点検(東大機器停止中は、R-CCS機器で片肺運転)
R-CCS機器停止
R-CCS機器停止中、復帰は11月はじめを予定
東大機器で片肺運転中。 マスタメタデータサーバにフェイルオーバ

SINET障害・自然災害ともにゼロ

R-CCSネットワークトラフィック(過去１年間)
Outbound
:1+R-CCS:1:1+R-CCS:2:2+R-CCS:2:2+R-CCS:2



Inbound

直近の自然災害
台風にもマケズ、雷にもマケズ
•
•
•
•
•

•
•
•
•

2018年8月23日深夜：台風20号の影響で
R-CCS設備(電源供給)障害
翌2018年8月24日に緊急で電力の一時停止(事前通知あり)マスタメタデータサーバを東大にフェイルオーバして、機材停止
R-CCS機材停止中はReadOnly運用
復電後に機材起動、マスタメタデータサー
バをフェイルバック
2018年8月31日18時：落雷の影響で東大
柏キャンパス情報基盤センター停電発生
東大メタデータサーバ、ファイルサーバダ
ウン復電後、全サーバ起動
幸い、マスタメタデータサーバはR-CCSで運用中

•

••
•

2018年9月26日〜10月10日、
東大柏、R-CCS、２週続けて週末計画停電のため長期メンテナ
ンス
AICSからR-CCSへドメイン変更
サービス停止は、ファイルサーバのドメイン名、IPアドレス変更(東大のみ)のための３日間だけデータ破損、消失も無し

年間無停止・連続稼働に立ちふさがる壁？

• ReadOnly運用時間を削減して、過去最高の稼働率を目指したい• 2019年度も9月~10月は鬼門• R-CCS長期設備工事のため一ヶ月ほど機器停止を予定• 東大片肺運転でサービス継続できそう→現在東大機器で片肺運転中(データは二重化)• マスタメタデータサーバの東大運用• 東大設置ストレージによるデータ多重化• 9月10月をしのげれば、さらなる稼働率向上を目指せる• 2019年度でデータ多重化運用の評価も固まると見込まれる。2020年度以降のデータ多重化方針も決められる

HPCI共用ストレージの稼働実績#2 メンテナンス#5 メンテナンス#1メンテナンス#4 メンテナンスR-CCS:館内停電(台風)
東大:瞬停(落雷)#3 メンテナンス

2018/10/10.$1  ##2メンテナンス
東大:瞬停(落雷)#3 メンテナンス#3 メンテナンス
東大、R-CCS設備
点検-%/

#1メンテナンス

2019*& '! )0%"(ReadWrite+2020*& 2019*& /,

ReadOnly-%/

ReadWrite• 2019年度は、稼働率100%継続中(無停止)• 2018年度は、時間割合で99.3%サービスを提供(ReadOnlyサービス：6.84%)• 92.3%ReadOnlyの原因はR-CCS 台風による館内停電、東大 落雷による瞬停、第3回メンテナンス• サービス停止は計画した二回だけ。不意のサービス停止は発生していない• 2018年12月4日にR-CCS内でもデータ二重化し、R-CCS単独運用でReadWriteサービス提供可能に• 2018年12月14日開始の第４回メンテナンスでは、ReadWriteサービスを継続• サイト間データ多重化運用の効果は絶大• メタデータ四重化＆データ二重化はSINET5に支えられている