大規模ファイルサービスの運用について○

山田一成 A)、田島嘉則 A)、髙橋一郎 A) 、毛利晃大 A)
A)

共通基盤技術支援室 情報通信技術系

概要
名古屋大学情報基盤センターでは、平成 28 年度より、今までとは異なる分野の利用者を獲得する目的で、新たなデータサイエンスサービスを検討するために、データサイエンス WG を立ち上げ検討してきた。その中で新たなサービスの１つとして、大容量のファイルを置くことができるストレージサービスの要望があり、機器の購入および試行を行い、平成 29 年 4 月より大規模ファイルサービスを正式に開始した。今回は、この新たなサービスの取り組みや、今後につて述べる。

1

大規模ファイルサービスの概要

大規模ファイルサービスは、平成 28 年度に実容量 512TB のストレージを導入し、試行運用を行った。その間正式運用をめざし利用負担金規程の改訂、利用申請書の作成および提供方法の検討を行ってきた。
まず提供するストレージの容量や利用負担金についての詳細は 2.1 および 3.2 で述べるが提供するストレー
ジは 1 口 64TB とし、保管するデータは学術研究データに限るとした。また利用負担金規程についても検討を行ってきた。この様に従来の計算サービスや可視化サービス利用者以外に、新たなデータサイエンスの利用が可能となるよう検討し、平成 29 年 4 月から正式運用を開始した。

2

システムの構成について

2.1 大規模ファイルサービスのシステム構成
大規模ファイルサービスで使用するストレージの設置場所および提供容量の設定については、図１のシス
テム構成図に示す。この図１から分かるように、大規模ファイルサービスのストレージは、計算サービスで提供しているスパコン側のストレージではなく、複合現実大規模可視化システム（以下、可視化システムと言う。
）のストレージ（IS17000）側に SGI（現在 HPE）の IS7700（コントローラと実行容量 512TB のストレージ）を増設している。これは、大規模ファイルサービスは長期間に渡りデータを保管する事が予想されるためであり、スパコンはレンタル契約となっているので契約期間が終了した場合撤去されるが可視化システ
ムは平成 25 年度の HPCI 補正予算で購入したシステムなので運用を継続することができるためである。
次に、提供容量の単位は、スパコン側ストレージの利用容量の上限の目安を 60TB としていることや、取扱い易さから、図 2 のように１口 64TB とし、8 パーティッション（8 口）で提供することにした。
また可視化システム内の UV2000 用ログインノードおよび UV2000 に大規模ファイルサービスのストレージをマウントすることにより、既に計算サービスや可視化システム用としてマウントされているストレージ（/home,/large,/large2,/data）に格納されている、スパコンや UV2000 で行った処理結果を大規模ファイルサービスのストレージへ格納することが可能となる。
更に UV2000 にはデータサイエンスに対する利用者の要望に応えるため表 1 のように、可視化用ソフトを含め、画像認識・機械学習など新たなアプリケーションソフトウェアを導入している。

図 1. システム構成図
2.2 セキュリティについて増設したストレージのセキュリティ対策としては、まず図 1 のログインノードを挟んでスパコン、可視化システムおよびストレージはプライベートネットワーク内に設置している。これにより大規模ファイルサービスを利用する場合は、グローバルネットワーク側にも接続されている UV2000 用のログインノードを経由することになる。このログインノードは、スパコン用のログインノードと同様に、公開鍵方式、システムファイルの改竄チェック、DenyHosts 等の仕組みを導入しセキュリティを高めている。
また大規模ファイルサービス用のストレージは、RAID6 で構成され可用性を持たしている。
表 1. UV2000 のアプリケーションソフト一覧

図 2. ストレージ構成図

3

利用負担金の検討

3.1

利用負担金の設定

大規模ファイルサービスの利用負担金は、導入
表 2. 大規模ファイルサービス負担金表

経費や向こう 5 年間の電気代、保守費用などの運用経費から算出した。この時、計算サービスで提供しているストレージの利用負担金および利用状況等を考慮し検討を進めた。まず導入経費と運用経費から 1TB 当りの利用負担金を算出すると、1年間利用で約 8,300 円となった。この金額を基準とし、1 口分（64TB）の利用負担金を、年間 54 万円と設定した。また金額が高額のため、2 口以上の申口数
12345678

負担金金額 ストレージ容量（年額 円）（TB）540,000
641080,000
128
1,620,000
192
2,160,000
256
2,700,000
320
3,240,000
384
3,780,000
448
4,320,000
512

利用可能
計算ポイント0108,000
162,000
216,000
270,000
324,000
378,000
432,000

請に対しては、金額の 10％の金額を 1 円＝1 ポイントに換算した計算利用ポイントを付与し、複数口の申請を促すようにした。この様に設定した利用負担金表を表 2 に示す。
3.2

計算用ストレージとの比較3.1 で大規模ファイルサービスの利用負担金額を設定したが、ここで重要なのは、計算サービスで提供しているストレージの利用負担金との比較である。計算用ストレージの利用負担金規程では、300GB まで無料で、それ以上の場合は、1GB 毎の 0.01 ポイントを毎日課金している。これで 1 年間 64TB を利用した場合の負担金額を算出すると(a)のようになり大規模ファイルサービスの利用負担金と比較すると(b)の様に、約 1/2.4 となる。
（この時、利用負担金規程により 1 円＝1 ポイント(P)としている。）(a) 計算用ストレージ課金
・利用容量 64TB・利用期間 1 年間（350 日）(64,000GB-300GB)×0.01P×350 日＝222,950P(b) 大規模ファイルサービスとの比較
・1P＝1 円換算
222,950 円 / 540,000 円 ＝ 1/2.42(a)(b)から分かるように、このままでは計算サービス用ストレージにデータを置いた方が利用者にとっては負担が少ないことになる。また計算サービス用ストレージの負担金規程では、特に格納容量の上限を示しておらず、ストレージの空き容量および利用負担金の余裕があれば 64TB 以上のファイルを置くことができる。
しかし、現状では計算用ストレージは、常に使用率が 80％を超えており、情報基盤センターでは目安として60TB 以上のファイルを置いている利用者に対してはファイルの引き上げや削除をお願いしている。
このことから大規模ファイルサービスを開始するに当たって、計算サービス用ストレージに大容量のデータを置いている利用者に対して、大規模ファイルサービス利用者と同等の負担金を課すため、3.3 で述べるデータ蓄積利用者と言う規程を定めた。
3.3

データ蓄積利用者の設定

スパコンの計算サービスで提供しているストレージに、大容量のファイルを置きながら、スパコンの計算利用が極端に少ない利用者に対して、大規模ファイルサービスと同等の課金を課すデータ蓄積利用者と言う課金体系を負担金規程に定めた。このデータ蓄積利用者は、四半期毎の調査で、計算サービス用ストレージに 10TB 以上のファイルを蓄積し、かつ計算処理で消費したポイントがファイル課金ポイントの 5％以下の利用者のことを言う。このデータ蓄積利用者に認定された場合、計算サービスでのファイル課金を、3.2 で比較し算出した倍率である 2.4 倍と設定した。これにより計算用ストレージがファイル置き場にならないようにすると共に、大容量データ保持者に対して、大規模ファイルサービスを不公平感のないように利用してもらえるようにした。

4

今後について

本稿では、平成 29 年 4 月よりサービスを開始した名古屋大学情報基盤センターの新たなサービスである大規模ファイルサービスについて述べた。このサービスの運用を開始し 10 ヶ月程であるが、現在 6 口が利用され、計算サービス利用以外の新たな分野の利用者が使用している。
今後は、更なる利用者の拡大のためにアプリケーションの充実や、ストレージの増強、また利用負担金についても平成 31 年度稼動予定の次期スパコン用ストレージの利用負担金の改訂が予想されるので、このサービスの利用負担金の再検討が必要と考えられるが、それぞれに対応していきたいと考えている。

参考文献
[1]

髙橋一郎,田島嘉則,山田一成,大規模データの可視化に向けた取り組み,AXIES 研究発表論文集 AXIES
2016.12.

[2]

名古屋大学情報基盤センター全国共同利用システム利用負担金規程,(http://www.icts.nagoya-u.ac.jp/ja/sc/riyou/kitei_futankin.html)