HPCI 共用ストレージにおけるクラウド資源活用
芝野 千尋 1), 太田 理 2), 近藤 晃 1) , 金山 秀智 1) , 原田 浩 1)
1) 理化学研究所 計算科学研究機構
2) 株式会社 HPC ソリューションズ
chihiro.shibano@riken.jp

Practical use of Cloud Computing Resources in HPCI Shared Storage System
Chihiro Shibano 1), Osamu Ohta 2), Akira Kondo 1) , Hidetomo Kaneyama 1) , Hiroshi Harada 1)
1) RIKEN Advanced Institute for Computational Science.
2) HPC Solutions, inc
概要

我々は 2012 年から HPCI のデータ共有基盤として HPCI 共用ストレージを運用してきた。
クラウド資源を活用することによって、増大する割当容量に対応する柔軟な資源量提供が実現できると考え、パブリッククラウド上に Gfarm スプールサーバを構築し、HPCI 共用ス
トレージのエンジニアリング環境に接続し、転送性能を評価した。

12

はじめにパブリッククラウドの活用実証

我々は 2012 年から HPCI におけるデータ共有

そこで我々は、パブリッククラウド上に HPCI基盤として HPCI 共用ストレージを運用してきた。

共用ストレージの基盤となっている Gfarm のス

HPCI 共用ストレージは年々割当希望量が増大しプールサーバを構築し、実際に HPCI 共用ストレており、2015 年度からは割当希望量が提供資源量ージのエンジニアリング環境に組み込み、ファイを大きく上回る状態が継続し、十分な資源量を提ル転送帯域を測定しパブリッククラウド上のスト供できているとは言い難い状況にある。また予算レージ資源が活用可能か実証実験を行うこととしや設備の制約によりフレキシブルに資源提供量をた。

調節することも困難である。一方、HPCI 共用スト
レージに蓄積されているデータは必ずしも頻繁に3アクセスされているデータばかりでは無い。むし

3.1 パブリッククラウド

実証実験環境ろ研究成果保存のため長期アーカイブの必要性がパブリッククラウドとしてマイクロソフト社増大しており、HPCI 共用ストレージはデータの共の Azure を用いた。Azure の日本国内にサーバイ有とともにアーカイブとして利用されている側面ンスタンスを確保し、ストレージ資源を接続してがある。研究成果の証左としてアーカイブされている。HPCI 共用ストレージに準じて VPN サービ

いるデータは必ずしも頻繁にアクセスされるわけスは利用せず、インターネットに接続している。

では無いので、現在 HPCI 共用ストレージが提供

3.2 スプールサーバ

しているような高性能ストレージシステムである

実証実験に用いたスプールサーバは以下の仮想必要性は低い。また HPCI 共用ストレージは元々機械に構築した。

ネットワークを介して全国の大学・研究機関からプロセッサIntel Xeon CPU
E5-2660

コア数

8

周波数

2.20 GHz

メモリ

16 GiB

想定ネットワーク2Gbps

アクセスされることを前提としているので、必ずしも現在、機器を設置している理化学研究所

計算科学研究機構(以下 AICS)、東京大学 情報基盤センターに設置する必要も無い。むしろパブリッククラウド資源を有効活用することによって、提供資源量の増大などに柔軟に対応することが可能になる。

パフォーマンス

4.2 Azure からの読み出し
3.3 クライアント環境
クライアント環境として、Azure 内の以下の仮Azureからの読み出し

想機械に Gfarm クライアントを構築した。

Intel Xeon CPU
E5-2660

コア数

8

周波数

2.20 GHz

メモリ

16 GiB

想定ネットワーク

2Gbps

350
300

転送バンド幅(MB/s)

プロセッサ

250
200
150
10050

パフォーマンス012

また比較のため AICS に設置された HPCI 共用
ストレージ用ログインノードからもアクセスを行

16

転送ファイルサイズ(MB)4 測定結果

1000

2000

4000

8000

16000

32000

64000

128000

4.3 AICS からの書き込み

Azure に設置したスプールサーバに対して、ファイAICSからの書き込みルサイズ、並列度を変更し読み出し、書き込み性能を測定した。

350

4.1 Azure からの書き込み
転送バンド幅(MB/s)

300

Azureからの書き込み
250

200
転送バンド幅(MB/s)

8並列数

なった。

Azure、AICS の Gfarm クライアント環境から、4150250
200150
100
50
0100

1250

4816並列数
転送ファイルサイズ(MB)0
124816並列数
転送ファイルサイズ(MB)

1000

2000

4000

8000

16000

32000

64000

128000

1000

2000

4000

8000

16000

32000

64000

1280004.4 AICS からの読み出しの比較では性能差は歴然としているので、今後は一時書き込み先スプールサーバをキャッシュAICSからの読み出しとして有効に活用していく事も運用上の重要課転送バンド幅(MB/s)

300

題となる。頻繁にアクセスされるホットなデー

250

タを一次書き込み用高速ストレージに配置し、200アーカイブデータのような比較的アクセス頻度150が低いクールなデータはクラウド資源などに保100存するような階層型ストレージを構築できれば、50資源の有効活用、柔軟な資源提供を両立させる0ことが可能となる。HPCI 共用ストレージの階層
1

2

4816

並列数型ストレージとしての運用も合わせて今後の研究を進めたい。

転送ファイルサイズ(MB)100020004000

8000

16000

32000

64000

128000

参考文献
[1]

5 考察

[2]

読み出し転送帯域に関しては、Azure からの読み出しが AICS からの読み出しに優っている。
しかし、書き込みに関しては反対に AICS からの書き込みが Azure からの書き込みに優って[3]いる。スプールサーバが Azure に設置されているので、ネットワーク的に Azure からのアクセスの方が有利であるとの予想に反した結果にな[4]った。Azure 内のネットワークアクセスに関して流量や時間あたりのパケット数制限などが設定されていることも考えられるが明確な原因はわかっていない。
今回の計測ではスプールサーバ 1 台に対するファイル転送帯域を測定したが、AICS からのアクセスによる最大転送帯域は読み出し 241.6MB/s、書き込み 314.0MB/s である。スプールサーバを複数 Azure 内に設置した場合に転送帯域が増加するようであれば、アーカイブの保存先としては十分な転送帯域を確保できる可能性がある。
AICS 設置の次期 HPCI 共用ストレージではスプールサーバとして 28GB/s 以上のファイル転送能力を有するストレージシステムの導入を予定し、一次書き込み先として活用する予定である。
AICS の次期一次書き込み先スプールサーバと[5]

Osamu Tatebe、Kohei Hiraga、Noriyuki Soda、
Gfarm Grid File System、New Generation
Computing、 Vol28、 pp257-275、2010.
原田 浩、 建部 修見、平川 学、藤本 大輔、蛯原 純、 實本 英之、宮嵜 洋、佐島浩之、HPCI 共用ストレージの構築と運用、大学 ICT 推進協議会 2013 年次大会論文集、
HPCI テクノロジーT3G-5、pp422-427、2013.
建部 修見, 原田 浩、實本 英之、平川 学、
HPCI 共用ストレージの性能評価、情報処理学会 研究報告 HPC、2013-HPC-142(8)、pp16、2013.
原田 浩, 建部 修見, 塙 敏博、中 誠一郎、
平川 学, 金山 秀智,近藤 晃,次期 HPCI 共用
ストレージにおけるサイト間データ冗長運用によるサービス継続性向上策、AXIES2016
年次大会 HPC、2016.
革新的ハイパフォーマンス・コンピューティ
ング・インフラ、
http://www.mext.go.jp/a_menu/kaihatu/jouhou/hp
ci/1307375.htm