大規模ファイルサービスの運用について
田島 嘉則 1), 片桐 孝洋 2), 荻野 正雄 2) ,永井 亨 2) , 髙橋 一郎 1), 毛利 晃大 1),山田 一成 1)
1) 名古屋大学 情報連携統括本部 情報推進部 情報基盤課 情報基盤グループ
2) 名古屋大学 情報基盤センター 大規模計算支援環境研究部門
ytajima@itc.nagoya-u.ac.jp

On the operation of large scale file service
Yoshinori Tajima 1), Takahiro Katagiri 2), Masao Ogino 2), Toru Nagai 2),
Ichiro Takahashi 1), Akihiro Mouri 1) , Kazunari Yamada 1)
1) Information Infrastructure Group, Information and Communications Technology Services Infrastructure Division,Nagoya University.
2) High Performance Computing Division, Information Technology Center, Nagoya University.
概要名古屋大学情報基盤センターでは従来の計算サービスに加え、平成 29 年 4 月より、新たな利用者の開拓を目的として大容量のデータを保管することのできる大規模ファイルサービスを開始した。本稿ではこの新たなサービスについての取り組みについて述べる。

1

はじめに
名古屋大学情報基盤センターでは、平成 28 年度より、今までとは異なる分野の利用者を獲得する目的で、新たなデータサイセンスサービスを検討った。その間正式運用をめざし利用負担金規定の改訂、利用申請書作成、提供方法等の検討を行ってきた。
まず提供するストレージの容量や利用負担金について、詳細は 3.1 および 4.2 で述べるが提供ストレージは 1 口 64TB とし、保管するデータは学するために、データサイエンス WG を立ち上げ検術研究データに限るとした。また利用負担金規定討をしてきた。その中で新たなサービスの１つとについても検討を行ってきた。この様に従来の計して、大容量のファイルを置くことができるスト

算サービスや可視化サービスの利用者以外に、新レージサービスの要望があり、機器の購入およびたなデータサイエンスサービスの利用が可能とな試行を行い、平成 29 年 4 月より大規模ファイルサービスを正式に開始した。

るよう検討し、平成 29 年 4 月から正式運用を開始した。

このサービスは従来のスーパーコンピュータ（以下、スパコンと言う。
）の計算サービスや可視3化サービスの利用者はもとより、長年の研究によ

3.1 大規模ファイルサービスのシステム構成

システム構成についてり蓄積された観測や計算のデータなどの保管およ

大規模ファイルサービスで使用するストレージび活用を目的としたものである。本稿は、この新の設置場所および提供容量の設定については、図たなサービスの取り組みや、今後について述べる。

１のシステム構成図に示す。図１から分かるように、大規模ファイルサービスのストレージは、計

2

大規模ファイルサービスの概要

2.1 サービス概要
大規模ファイルサービスは、平成 28 年度に実容量 512TB のストレージを導入し、試行運用を行算サービスで提供しているスパコン側のストレー
ジではなく、複合現実大規模可視化システム（以下 、 可 視 化 シ ス テ ム と 言 う 。） の ス ト レ ー ジ（IS17000）側に SGI 社の IS7700（コントローラと図１ システム構成図
実行容量 512TB のストレージ）を増設している。

また可視化システム内の UV2000 用ログインノ

これは、大規模ファイルサービスは長期間に渡りードおよび UV2000 に、大規模ファイルサービスデータを保管する事が予想されるためであり、スのストレージをマウントすることにより、既に計パコンはレンタル契約となっておりレンタル期間算サービスおよび可視化システムのストレージが終了した場合撤去される。しかし可視化システ(/home,/large,/large2,/data)がそれぞれマウントされムは平成 25 年度の HPCI 補正予算にて購入したシているので、スパコンや UV2000 で処理を行ったステムなので運用を継続することができる。

結果を大規模ファイルサービスのストレージへ格

次に、提供容量の単位は、スパコン側のストレ納することが可能である。

ージの利用容量の上限の目安を 60TB としている

また UV2000 にはデータサイエンスに対する利ことや、取り扱い易さから、図２のように１口用者の要望に応えるため表 1 のように、可視化用64TB とし 8 パーティッションで提供することにしソフトを含め、画像認識・機械学習など新たなアた。

プリケーションソフトウェアを導入した。[1]表 1 UV2000 のアプリケーションソフト

図２ ストレージの構成

3.2 セキュリティについて

4.2 計算用ストレージとの比較増設したストレージのセキュリティ対策として

4.1 で大規模ファイルサービスの利用負担金は、まず図１のフロントエンドサーバを挟んでス額を設定したが、ここで重要なのは、計算サーパコン、可視化システムおよびストレージはプラビスで提供しているストレージの利用負担金とイベートネットワーク内に設置している。の比較である。

大規模ファイルサービスを利用する場合は、グ計算用ストレージの利用負担金規定では、ローバルネットワーク側にも接続されている

300GB までは無料で、それ以上の場合は 1GB

UV2000 用のフロントエンドサーバを経由するこ毎に 0,01 ポイントを毎日課金している。これでとになる。

1 年間 64TB 利用した場合の負担金額を算出す

このフロントエンドサーバは、スパコン用のフると(a)のようになり大規模ファイルサービス

ロントエンドサーバと同様に公開鍵認証方式、シの利用負担金と比較すると(b)の様に、約 1/2.4

ステムファイルの改竄チェック、DenyHosts 等のとなる。
（この時利用負担金規定より１円＝１ポ仕組みを導入しセキュリティを高めている。

イント(P)としている。）

また増設したストレージは RAID6 で構成され可用性を持たしている。

(a)計算用ストレージ課金
・利用容量 64TB

4 利用負担金の検討

・利用期間 1 年（350 日）(64,000GB-300GB)×0.01P×350 日=222,950P

4.1 利用負担金の設定
大規模ファイルサービスの利用負担金は、導入経費や向こう５年間の電気代と保守費用などの運用経費から算出した。この時計算サービスで提供しているストレージの利用負担金および利用状況(b)大規模ファイルサービスとの比較
・1P=1 円換算
222,950 円 / 540,000 円 = 1/2.42等を考慮し検討を進めた。
まず導入経費と運用経費から 1TB 当たりの利(a)(b)から分かるように、このままでは計算サー用負担金を算出すると、一年間利用で約 8,300 円

ビス用のストレージにデータを置いていた方がとなった。この金額を基準とし、１口分（64TB）の利用負担金を、年間 54 万円と設定した。また金額が高額のため、２口以上の申請に対しては、金利用者にとっては負担が少ないことになる。また計算サービス用ストレージの負担金規定では、額の 10%分の金額を 1 円=1 ポイント換算した計算

特に上限を示しておらず、ストレージの空き容利用ポイントを付与し、複数口の申請を促すよう量および利用負担金に余裕があれば 64TB 以上にした。このように設定した利用負担金表を表 2のファイルを置くことができる。しかし、現状に示す。

では計算用ストレージは、常に使用率が 80%を

表 2 大規模ファイルサービス負担金表超えており、センターでは目安として 60TB 以上の利用者に対してはファイルの引き上げや削除をお願いしている。
この様に大規模ファイルサービスを開始するに当たって、計算サービス用ストレージに大容量のデータを蓄積している利用者に対して、大規模ファイルサービス利用者と同等の負担金を課すため、4.3 で述べるデータ蓄積利用者と言う規定を定めた。[2]4.3 データ蓄積利用者の設定
スパコンの計算サービスで提供しているストレージに、大容量のファイルを置きながら、スパコンの計算利用が極端に少ない利用者に対して、参考文献[1] 大規模データの可視化に向けた取り組み
髙橋一郎,田島嘉則,山田一成
AXIES 研究開発論文集 AXIES 2016.12．

大規模ファイルサービスと同等の課金を課す、データ蓄積利用者と言う課金体系を負担金規定に定めた。
このデータ蓄積利用者は、四半期毎の調査で、計算サービス用ストレージに 10TB 以上のデータを蓄積し、かつ計算処理で消費したポイントがファイル課金ポイントの 5%以下の利用者のことを言う。このデータ蓄積利用者に認定された場合、計算サービスでのファイル課金を、4.2 で比較し算出した倍率である 2.4 倍と設定した。これにより計算用ストレージがファイル置き場にならないようにすると共に、大容量データ保持者に対して大規模ファイルサービスを不公平感のないよう利用してもらえるようにした。[2]5 今後について
本稿では、平成 29 年 4 月より開始した名古屋大学情報基盤センターの新しいサービスである大規模ファイルサービスについて述べた。512TB（8パーティッション）のストレージを導入し、運用を開始して 6 か月であるが、現在 5 パーティッションが利用され、計算サービス利用者以外の新たな分野の利用がされ、順調に運用している。
今後としては、新たなデータサイエンス利用者の拡大のためアプリケーションの充実や、大規模ファイルサービス用ストレージの増強、また利用負担金についても平成 31 年度稼動予定の次期スパコンのストレージとの関係で、負担金の再検討の必要性が出てくると考えられるが、それぞれに対応していきたいと考えている。

謝辞
大規模ファイルサービスの開始にあたり、利用課金等の検討をして頂いた、データサイエンス
WG のメンバーである情報基盤センターの村瀬勉教授、大野 誠寛助教、大平 茂輝助教の皆様に感謝いたします。

[2] 名古屋大学情報基盤センター
全国共同利用システム利用負担金規定．
http://www.icts.nagoya-u.ac.jp/ja/sc/riyou/kitei_futankin.html