MAGE Vol.34, No.42 (2014.7)【TOPIC】

ホーム領域拡張プロジェクト
伴1

好弘

はじめに
本稿は情報基盤センターで運用している、教育研究用計算機システム（KAISER）に含まれるファイルサーバの増強作業プロジェクトについて述べる。KAISER の利用者は、総容量 20TB のストレージからホーム領域として学生に 2GB、教職員に 10GB 分を提供されている。以降で述べる理由から、学生利用者のホーム領域の大きさは現状に即さないため、拡張の必要性が生じてきた。また、運用期間中に全ての領域を使い切る可能性が出てきたた
め、本格的な対策が必要となった。

2

背景
1 節で述べているように、学生利用者 2GB、教職員利用者 10GB のホーム領域であるが、特に学生利用者のホーム領域を拡張する必要が求められた要因について列挙する。
1.

利用者の増加と、各人の取り扱うデータ量が増加したこと

2.

利用者の割り当て領域を使い切る状況が生じ、同様の利用者が増加傾向にあること

3.

教育用端末が保存する環境ファイルなどのサイズや数が以前より膨れあがった

項目 1 と 2 については相互に関連する事象である。使用が進んでいる主な理由としては、利用コンテンツが多様かつ高精細高品質になった関係から、大容量化していること。教育用端末と個人所有のパソコン間でのデータ共有に、クラウドストレージの活用が増えてきていることが主な要因と考えられる。教育用端末がよく活用されている状況もあって、ホーム領域の使用が進んでいると言える。特に目立つのが、クラウドストレージである。利用者にとって便利なバックアップ手段という側面を考えると、単なる制限は難しい。項目 3 については、2012 年度始めに教育用端末の OS バージョンアップに伴う、各種ドキュメントを利用者のホーム領域にコピーする仕様になったた
めで、対策を講じないと利用者当たり約 800MB の領域が有効活用できなくなる。これについては、ヘルプファイルをコピーしないよう対策し、冗長なファイルコピーを軽減できたものの、以前より 200MB 程度増える結果となった。これらの要因が積み重なりることで、各人のホーム領域の使用量が増加した。並行して教育用端末の利用者が増加したことで、図 1 に示すようなストレージ使用量の推移となっている。このグラフのから、毎月約 400GB 増加することが分かり、それを基に今後の推移を予測すると、図 2 に示すように 2015 年夏頃に 20TB に達することが予想された。

26

MAGE Vol.34, No.42 (2014.7)

図1

ファイルサーバの使用量推移（縦軸は使用量 TB）

図2

利用状況の推定（縦軸は使用量 TB）

2.1 ホーム領域を使い切る利用者の増加
ファイルサーバのストレージ拡張を計画する直前の状況として、学生利用者の中でホーム領域を使い切ってしまう者が出始めていた。当所はごく一部の利用者の申し出で済んでいたところ、徐々に頻繁に相談が寄せられるようになってきた。そこで、各利用者のホーム領域の使用状況を調査したところ、約 200 名の学生利用者で既に制限値になっている状態であることが判明した。この状況では新たにファイル作成や編集は不可能なこと以外に、教育用端末にログインすることができないため、事実上 KAISER のサービスを全く利用できない事態となってしまう。これらの事象から、学生利用者のホーム領域について検討する必要が生じた。

3 ホーム領域拡張計画
2 節で述べたような種々の要因から、現状のままでは利用者に不便な状況が発生し、最悪の場合利用者全員がファイル操作不能になる事態も現実味を帯びてくる状況であることが判明した。そこで、現在運用中の世代を含め、次の世代でも必要十分な状態を実現するための対策を計画することとした。
3.1 学生利用者のホーム領域制限の検討
学生の利用者については従来の 2GB ではもはや不足することが明白であったため、情報基盤センター内でワーキンググループを作り、そこで議論を行った。結論としては、利用者のホーム領域については、学生、教職員の区別なく一律に 10GB にすることとした。検討を行った時点では、教職員利用者が約 5,600 名、学生利用者が約29,000 名登録されているため、学生利用者のホーム領域を 2GB から 10GB に制限を緩和した場合、どのような利用状況になるかを推定する必要が出てきた。図３は学生利用者のホーム領域を緩和した場合の推移のグラフ
で、一度に 10GB にする紫の点線で示す場合と、期間を空け 4GB, 10GB と徐々に緩和する赤の点線で示す、二段階の変化予想をプロットした物である。いずれも、現時点のホーム領域の増加傾向（400GB／月）を根拠として推定している。なお、教職員利用者については、新しいサービスを追加しない限り、急激な利用は増えないと想定して推定を行っている。

-----------------------------------------------------------------------------------------------------------------------------------27

MAGE Vol.34, No.42 (2014.7)

図 3 領域制限の緩和方法の違いによる使用量の推定3.2 ストレージサイズの決定
図 3 の推移から、仮なる単調増加の状況下では、現状の 20TB に加えて 60TB 必要になってしまう。しかし、これまでの推移はシステム的にみると卒業生がいない状態だったので、ユーザ数は増加していた。この状態は2013 年度の時点で卒業生が出てくる事から、総数が安定化する見込みである。そうすると、各利用者の使用量が急速に増加しない限り、60TB の追加が必要とは考えにくい。なお、図 3 の緑の線は 40TB ずつ増設した場合にどの様になるかを参考としてプロットした物である。これらの情報を含め、ファイルサーバのストレージ拡張の必要性について情報委員会に況説明を行い、プロジェクトの許可について諮った。その結果、まず現状の倍の相当する 20TB を増設し、様子を見て必要であれば追加措置を講じることで、実施の許可を得た。

4 ホーム増設の実現方法
KAISER のサブシステムである、利用者のホーム領域を提供しているファイルサーバシステムは、図 4 上段の構成を取っており、4 台のファイルサーバと、統合ディスクアレイから構成されている。統合ディスクアレイは総容量として 43TB を有しており、各種サーバの OS イメージやメールのスプールなどの種々のワーキングデータを集約している。ストレージ領域として、その中から 20TB 分をファイルサーバに割り当てている。各ファイルサーバ内部
では、図 4 下段に示す様に、gpfs[1]と呼ばれる並列分散ファイルシステムが動き、5TB に分けた 4 のストレージを並行して提供している。ストレージを 4 つに分けている理由は、単体の大きさを抑制すること、4 台のファイルサーバへのアクセスを分散化させることと、ディスクアレイ装置への並列アクセスを実現することが目的である。各利用者のホーム領域は、利用者の登録時に決まるユーザ ID を用い、計算によってどのストレージに割り当るかが決定される仕組みになっている。このような割り当て方法を用いることで、ホーム領域へのアクセスの際に、学年別に偏りが生じる事態を避けることが可能になる。
4.1 領域の追加方法についてファイルサーバへ追加ストレージを組み込む方法は至って簡単で、図 5 に示すように追加分をファイルサーバに認識させることができれば、オンラインで拡張が可能である。これはファイルサーバに採用している gpfs がオンラインでの領域操作に対応しているためである。方針としては、現行のストレージに追加で 5TB を 4 つ拡張するという方針で実施することとした。

-----------------------------------------------------------------------------------------------------------------------------------[1]General Parallel File System (GPFS), http://www-06.ibm.com/systems/jp/power/techinfo/aix/gpfs/
28

MAGE Vol.34, No.42 (2014.7)

ファイルサーバの模式化した構成
ファイルサーバ #1

統合ストレージ
総計４３TB

ファイルサーバ #2

用
ホーム領域ストレージ２０TB

ファイルサーバ #3

ファイバーチャネルスイッチ

ファイルサーバ #4

用

ストレージの割り当について

home1〜home4はgpfsを い、5TB home1 ファイルサーバ#1〜#4のどれでも透過的にアクセス可能

用

用

5TB home2 gpfs,nfsを いて、他の各サーバ、各教育 端末にサービスする
5TB home3
nfsはDNSラウンドロビンで何れかのファイルサーバへアクセスする
5TB home4

２０TB

4分割

図４ ファイルサーバの構成とホーム領域の内容
ホーム領域の拡張方法

２０TB

5TB ＋

5TB

10TB

home1

5TB ＋5TB

10TB

home2

5TB ＋

5TB

10TB

home3

5TB ＋

5TB

10TB

home4

既存の構成は変更せず

用統合されたストレージ内に記録されるデータは、使するに従って2台の装置に分散されていく画オンラインで増設ストレージの論 区 を統合すること
でホーム領域の大きさを拡張する

理

増設ストレージ
２０TB図 5 ストレージ拡張の概要
4.2 増設するストレージ装置の条件
拡張作業に当たり、増設ストレージの調達を行った。幸い予算措置が行われることとなったため、安定性や性能に加えて長期的な視野に基づき、次世代のシステムでも利用することを前提とした。
今回プロジェクトの実施条件として、必要最小限の拡張を行いその後の様子を見極めることが前提であることに加え、KAISER の運用期間を考えると、次の増設作業は可能な限り避ける方向性を目指した。そのような条件下で機材の調査をする際に、重複排除機能に注目した。この機能は、記録されているファイルなどの論理的な単位ではなく、実際に記録されるデータ列を一定の大きさでデータブロックに分割し、データブロック間で同じデータの並びが見つかった場合、重複するデータブロックへの参照情報だけを記録する。こうすることで、実体を伴うデー------------------------------------------------------------------------------------------------------------------------------------

29

MAGE Vol.34, No.42 (2014.7)

タブロックは 1 つ記録すれば良く、ファイルサーバからは見かけ上の変化はないが、増設ストレージの実質的な使用量を抑えることが可能である。この機能と、今回対象とするホーム領域の特徴はうまくマッチングすると考えた。
その理由としては、ホームに記録されている様々なファイルの多くで、複数の利用者でほとんど同一内容と言える傾向が存在するためで、たとえば、教育用端末の環境設定ファイルなどは、ほとんど同じと言っても過言ではない場合が多い。そのようなデータ列的にみて冗長な状態を排除することで、実質的に記録できる余裕を確保できないかを指向することとした。既存の装置には重複排除が実装されていないが、現状の 2 倍に拡張するという条件を考えると、増設分だけでも効果はあると見込んだ。
4.3 ストレージ装置の選定
4.2 節の条件を基に、重複排除機能を持ち、単なるストレージとしてではなく汎用的な利用も可能な装置を探すことになった。その結果、今回導入した機材は、ネットアップ社の V3220A という装置となった。この装置は他の外部ストレージも統合可能しつつブロックストレージとして機能し、並行して nfs,iscsi など他のファイル共有もサービス可能な装置である。また、重複排除が、装置全体で機能することが特徴となる。図 6 に示すとおり、今回導入した構成は、約 24TB の内部ストレージをもち、そのうちの 20TB を拡張領域として、ファイルサーバへ割り当てを行っている。また、今後の必要性も考慮し、統合ストレージの一部の領域を操作できるように構成した。
増設ストレージを追加したファイルサーバの模式化した構成
ファイルサーバ #1

統合ストレージ
総計４３TB

用

予備領域

ホーム領域
ストレージ
２０TB

ファイルサーバ #2

ファイルサーバ #3
ファイバーチャ
ネルスイッチ

ファイルサーバ #4

増設ストレージ装置

増設ストレージ装置は統合ストレージの予備領域を内部ストレージと同様に利することが可能

用

調達範囲

ブロックストレージとして以外に、nfs,iscsiで共有が可能

理

予備領域

論 的に外部ストレージの領域を組み込むことが出来る

内部ストレージ
24TB

扱うことが出来る領域全体で重複排除が機能する

図 6 増設ストレージを組み込んだファイルサーバの構成

5 拡張作業の実施
拡張作業に入る前に、ホームを使い切っている利用者が頻出する事態が、障害対応的に見ても無視できない状況になりつつあった。そこで、このプロジェクトの開始に先だって、2013 年 1 月に第 1 段階目の制限緩和に踏み切った。このときは学生利用者の制限を 2GB から 4GB にすることで、ひとまずホームを使い切ってしまうトラブルの軽減を目指した。4GB で運用する間に増設する装置の調達を行い、2013 年 12 月に物理的な拡張作業を行った。その後、最終的に全ての利用者の制限を 10GB とした。
作業自体は無事に進捗し、問題も生じていない。また、重複排除機能も正常に稼働しており、増設装置側に区記録されたデータのうち約 30％の重複排除がなされているという実績が記録されている。

------------------------------------------------------------------------------------------------------------------------------------30

MAGE Vol.34, No.42 (2014.7)

6 拡張後の変化
増設後のファイルサーバのストレージ使用量に関する推移を図 7 に示す。2013 年 8 月から 2014 年 1 月にかけて一時的に使用量が減っているが、これは卒業生など不要となったホーム領域の削除を実施したためである。しかし、グラフ全体を見て分かるとおり、依然として増加傾向が見受けられる。また、2014 年度に入ってからは、月当たりの使用量が増えており、約 540GB／月となっている。2014 年 6 月時点で総計約 13.1TB を使用しているが、増設対策をしなければ 9 ヶ月後は 20TB になる可能性が存在したことになる。

図7

観測開始から現在までのホーム領域使用量の変化

7 まとめ
これまで述べてきたように、学生利用者の制限を調整し、ホーム領域が不足する事態を回避することが出来たので、当所の目的は達成されたと考えて良い。また、今の状況を鑑みる限り、追加で増設する必要性は不要であると言える状況から、現世代の KAISER は運用期限まで安心して利用を継続することが可能になったと言える。図 7の変化を見ても分かるとおり、多少の増減はあるが、ストレージ使用量は一様に増加傾向にあり、今後利用機会の少なかった教職員利用者の利用率が増加すると、さらに使用量が増えると考えられる。これらのことを踏まえて、次の世代のシステムでは、利用者のホームをどう設計するべきか、よりいっそうの情報収集の重要性が増したと言える。

------------------------------------------------------------------------------------------------------------------------------------31