H9-4

教育用計算機システム ECCS2012 の構成
丸山 一貴

関谷 貴之

東京大学 情報基盤センター
kazutaka@ecc.u-tokyo.ac.jp

概要
東京大学情報基盤センターでは 2012 年 3 月に教育用計算機システムを更新し，ECCS2012 の運用を開始した．前システムである ECCS2008 から (1) 端末管理方式の変更，(2) 端末へのリモートアクセスの提供，(3) 課金プリンタにおけるサービスの拡充，(4) ファイルサーバにおける自動階層化とレプリケーションの導入といった変化があった．本稿ではシステム全体の構成を概観するとともに，これら 4 点について導入意図と実現方式について述べる．

1

はじめに

2

端末管理

東京大学情報基盤センターでは，東京大学の学生

ECCS2012 の端末では，1 台の端末で Unix として及び教職員が教育・研究のために利用する教育用計 の Mac OS と Windows という 2 種類の OS を利用算機システム（以下，ECCS）を構築・運用してい可能にしており，1300 台を超える端末が本郷・駒場・る．これを 2012 年 3 月に更新し，ECCS2012 の運柏の各キャンパスにある教室や図書館等に分散して用を開始した．ECCS2012 は以下のサブシステムか配置されている．本郷及び駒場で勤務する合計 6 名らなる．の常勤職員がメンテナンスに当たっているが，端末システムの専任ではないため，なるべく現地まで出• 利用者が授業や自習のために利用する端末シス向くことなく集中管理する仕組みが必要である．

テムと，その管理システム [1]ECCS2012 より以前は Unix 端末と Windows 端• 端末システムの利用者及びメールホスティング 末を独立に設計し，それぞれを専用のネットワークサービス [2] が利用するメールシステムブートシステム（以下，ネットブート）によって集中• 端末及びメールの各システムが利用するファイ 管理していた．ネットブートは少人数での集中的な管理に適したシステムであったが，ブートサーバ及ルサーバ
びネットブートソフトウェアへの投資が必要なこと，• プリンタシステム [3]利用する OS によって端末が異なり教室運用が効率• 認証及びユーザ管理システム [4]

的でなかったこと，ローカルブートに比べれば若干の遅延があること，ネットブートに固有のトラブル• これらを接続する基幹ネットワーク及びファイを特定するのが困難だったこと等から，ECCS2012

アウォール装置

ではローカルかつデュアルブート方式に転換した．

本稿ではこれらのうち，第 2 章で端末管理システ

ECCS2012 では端末管理に関して以下のような 3ムについて，第 3 章でリモートアクセスシステムに種類の要件を想定し，それぞれを満たす管理ツールついて，第 4 章でプリンタシステムについて，第 5を導入することで，従来のネットブートと同様の利章でファイルサーバについて，それぞれの導入意図用感覚を保ちながら，日常的な OS 及びアプリケーと構成について述べる．

1

ションの更新が可能なシステムを実現した．

TMMブートサーバ TMMブートサーバ TMMブートサーバ
x 6（駒場）x 4（本郷）x 1（柏）

TMMサーバx1（駒場）• 管理者の手元にあるマスター OS をイメージ化し，全ての端末に適用して同様に動作させること（以下，イメージ配信）．
• アプリケーションインストールや OS アップデー
トの適用といった，差分更新が可能であること（以下，パッチ適用）．

MacWinMac

PC端末 x 861
（駒場）

Win

PC端末 x 448（本郷）• 再起動によって元の状態に復帰すること（以下，環境復元）．

PC端末 x 12（柏）

起動管理
ファイル供給ファイルサーバ（OSイメージ配布用）

Total Manager for Mac （以下，TMM）を，パッチ適用にはカセヤジャパンの Kaseya を，環境復元にはFaronics の Deep Freeze をそれぞれ利用している．

イメージ配信Winネットブート

イメージ配信にはキヤノン IT ソリューションズの2.1

Mac

図 1: TMM サーバ群の構成

2.2

パッチ適用

イメージ配信は Service Pack のような大規模な更ECCS では毎月の Windows Update や，ブラウザ等アプリケーションのセキュリティアップデートをで新を適用する場合や，修理対応により HDD が交換きるだけタイムリーに適用する運用を行っている．しされた端末を運用に戻す場合のように，パッチ適用

かし，1300 台を超える端末に対して毎月イメージ配による更新が困難なときに使用する管理方法である． 信を行うのは現実的ではない．小規模なアップデート
イメージ配信を実現する TMM は，1 台の TMMやアプリケーションの追加インストールのような更サーバと 11 台の TMM ブートサーバからなる（図新は，イメージ全体を配信するのではなく該当する更1）．TMM サーバでイメージ配信を実行すると，全 新のみを適用する仕組みが必要である．ECCS2012
端末は TMM ブートサーバと連携してディスクレス では，各端末自身が自律的に動作して，管理者によっネットブートを行い，解放された内蔵 HDD に対し て指示されたパッチ等のインストール作業を実施すて Mac OS もしくは Windows の OS イメージを書き ることによりこれを実現した．
込む．ECCS2012 では書き込むべき OS イメージを， パッチ適用を実現する Kaseya は，1 台の Kaseya
利用者のホームディレクトリがあるファイルサーバ サーバと 1 台の Kaseya DB サーバからなる（図 2）．に配置している．

ファイルサーバに適用すべきパッチやアプリケーショ
OS の大規模な更新を適用する場合は，この作業を ンのインストーラと，これらをリストアップしたファ深夜に自動実行するようスケジュールし，翌朝に適 イルを配置した上で，Kaseya サーバでパッチ適用の用状況を確認する運用としている．端末ハードウェ ワークフロー1 を実行すると，各端末が自律的にこアとして使用している Apple iMac は Wake-on-LAN れらのファイルを読み込み，指示された更新を実行が利用できないため，指定時刻に自動起動する仕組する．なお，パッチ適用は OS ごとに行う必要があみを利用して無人による自動実行を実現した．なお， るため，Mac OS のパッチ適用を行う場合には予め端末のほとんどは深夜利用ができない箇所に設置されているが，ごく一部の端末では該当時間帯に利用Mac OS が起動するよう TMM を用いて設定している．Windows のパッチ適用も同様である．

者がいる場合もある．利用者が利用を継続していた場合は配信が失敗するが，翌日以降の深夜に改めて実行することでカバーしている．

1 Kaseya における一連の処理手順を言う．ECCS2012 では何種類かのワークフローを予め用意しておき，細かい動作についてはファイルサーバ上に配置するリストファイルで指定することで，新たなパッチ適用を設定する際の作業量を削減している．

Kaseyaサーバ

Kaseya DBサーバ

利用者PC

Mac

Win

PC端末 x 861（駒場）

MacWin

PC端末 x 448（本郷）MacWinHTTPS

PC端末 x 12（柏）Kaseya内部情報
動作指示

セッション管理サーバ
HTTPS, ssh・・・

ファイル供給ファイルサーバ（インストーラ配布用）

・・・

図 2: Kaseya サーバ群の構成

リモートアクセス専用端末 x 30

イメージ配信と同様，この作業も深夜に無人で自動実行する運用としている．深夜に自動起動する設

図 3: リモートアクセスシステムの構成

定の投入と，起動 OS の管理には TMM を用いておPC とは環境が若干異なることから，学生が自習目とで一連の更新処理を完了するよう設計している． 的で研究室や自宅から，非常勤講師が講義準備のために学外のオフィス等から ECCS 端末を利用できるようにすることが重要であると考えた．ECCS2012
2.3 環境復元
ではリモートアクセスシステムと呼ぶサブシステム
り，これらがスケジュールに従って連係動作するこを構成し，システム外からの接続専用に 30 台の端末
ECCS では 2004 年からネットブートを採用しておを配置して，ネットワーク経由でサービスを提供しり，管理者は端末を再起動することで状態が復元すている．
るという運用に慣れ親しんでいる．問題が起こった
図 3 に本システムの構成を示す．リモートアクセス
とき，端末を管理者が更新した直後の状態に容易に専用端末はサーバ室内に設置し，コンソールを常時戻して切り分けができる利点を考慮して，Mac OS持つ必要がないため，ハードウェアとして Mac mini
及び Windows とも環境復元を実現するソフトウェを利用している．各端末には，HTML5 ベースで実アを導入することとした．双方の OS に対応してい装され，Web ブラウザ経由でリモートデスクトップることから，ECCS2012 では Deep Freeze を利用しの機能を提供する Guacamole[5] を導入することで，ている．
利用者は特別なクライアントをインストールするこ
環境復元は前述のイメージ配信及びパッチ適用のとなくサービスを利用できる．セッション管理サー際に解除及び再設定が必要となる．イメージ配信でバは利用者の認証を行うとともに，バックエンドには，予め環境復元を解除した状態でイメージを作成
あるリモートアクセス専用端末をプールとして管理しておき，配信終了後に再設定及び再起動を実施すしており，新たな接続要求があればプールから 1 台
る．パッチ適用では適用前に解除及び再起動を実施を利用者に割り当て，利用終了した端末があればこし，適用後に再設定及び再起動を実施する．
れを再起動して再びプールに戻して利用可能にする．
利用者は各自の PC で HTML5 に対応した Web ブラウザを起動し，セッション管理サーバが提供する
3 リモートアクセスWeb ページに接続する．当該ページでは各自の通信ECCS 端末には講義で利用するアプリケーション 帯域に応じて適切な解像度を選択し，システムのアがインストールされており，また，ごく一般的な市販

カウントによりログインするとプールから 1 台が割(1)り当てられ，当該端末が提供する Guacamole のログイン画面が表示される．再度ログインを行うと，通ECCS内印刷用プリント管理サーバ

ECCS端末2

常端末利用時と同じデスクトップ が表示され，講義(2)用アプリケーションの利用やホームディレクトリ内(2) (3)のファイルを使用した作業が可能となる．本稿執筆
たは Chrome のパフォーマンスが優れている．
リモートアクセスシステムは，本来は教室設置の通常端末と完全に同等の機能を提供するべきであったが，現在は Mac OS の環境のみを，Microsoft Oﬃceを除いた上で提供している．ECCS2012 を利用する

4 万人規模のライセンスを整備することで，Oﬃce を含む Mac OS 環境と Windows 環境の提供が可能である．

システム外
クライアント

ECCS内プリンタ

学外にありECCS2012と連携する機器
(2)
(3)

(3)

時点では，HTML5 対応ブラウザの中で Firefox ま

(1)
(2)
(3)

学外印刷用
プリントポータル(富士ゼロックス)

学外プリンタ(セブンイレブン)(1) システム内から，システム内のみへ印刷するジョブ(2) システム内から，ネットプリント用仮想プリンタへ送信したジョブ(3) システム外から，ECCS専用プリンタドライバで送信したジョブ

図 4: ECCS2012 におけるプリントジョブの流れる仕組みである3 ．学外で印刷する場合は，富士ゼロックスが運営するネットプリントのアカウントを利用者自身が取得し，セブンイレブン店頭のマルチ4プリンタシステムコピー機で操作することにより出力が可能である．

従来の課金プリントでは，プリペイドカードにECCS では 2004 年 3 月から，オンデマンド型の 1000 円のものしかなく使いにくいとの声があった
課金プリントと運用のアウトソースを実現している ため，商業施設でも利用可能な一般的な決済手段で[6]．ECCS2012 ではプリンタ台数の削減を行うこと ある交通系電子マネーを導入した．電子マネーへのとしていたため，それを補完する形で利便性を向上 チャージはキャンパス近隣の駅やバスで行うこととさせるべく以下のような新たな取り組みを行った． し，また，JR 東日本との Suica 電子マネー利用加盟

1. 学外で印刷可能とする仕組み
2. 交通系電子マネーによる課金

店契約は大学生協東京事業連合に委託している．

USB メモリに保存されたファイルの印刷では，ECCS2012 から新たに Microsoft Oﬃce ファイルにも対応した．Excel の場合や，Oﬃce のバージョン
3. 研究室や自宅等，システム外からの印刷ジョブ 違いなどから期待通りの出力とならない可能性があ送信るため，プリンタ横に設置するジョブ操作機4 でプレ
4. USB メモリに保存した Microsoft Oﬃce ファイ ビューを表示し，利用者が確認した上で印刷する仕組みとした．
ルのプレビュー印刷

5. プリンタの自動原稿送り装置を用いた OCR 機
能付きスキャン
これらのうち，第 1 と第 3 は，図 4 に示す学外印刷用プリントポータルを介してシステム内外にプリントジョブを流通させることで実現している．ECCS端末と，第 3 の機能を利用するシステム外クライアント（利用者の研究室や自宅にある PC）にはネットプリント用仮想プリンタを設定しておき，これに印刷ジョブを送信するとプリントポータルへ送られ2 解像度の違いにより，アイコンの配置等は変わる．

ECCS2012 のプリンタには複合機が導入されており，紙媒体で配布された講義資料等を電子化するために，原稿台や自動原稿送り装置による OCR 機能を用いたスキャンが利用できる．スキャンしたデー
タはジョブ操作機に接続した USB メモリに転送される．なお，USB メモリを持たない利用者のために，一部の端末にはフラットベッドスキャナを接続して，3 ECCS 端末では，プリントポータル送信後に ECCS 内プリンタでの印刷に変更する場合を考慮して，ECCS 内プリンタへも同時送信可能な設計となっている（図中の (2)）．
4 ECCS アカウントでログインして利用する，Windows PC．
オンデマンド印刷の場合はプリンタで印刷したいジョブを選択し，USB メモリ印刷の場合は印刷するファイルを選択する．

スキャンしたデータをホームディレクトリに保存すレプリケーション（NAS領域分）ることもできるようにしている．

10GbpsNASヘッドNASヘッドNASヘッドファイルサーバ

5NASヘッド
NASヘッドNASヘッド

自動階層化
SSD
2TB

ECCS2012 では，端末システムとメールシステムそれぞれに NAS を必要とする構成になっている．端末FC
48TB

システムでは利用者の個人ファイルを保存するホーム

NL-SAS
110TB

SATA
60TB

ディレクトリとして，Mac OS からは NFS で，Win-+dows からは CIFS でマウントする．メールシステ

主ファイルサーバ

副ファイルサーバ

FC
6TB

ムでは負荷分散された 8 台のメールサーバが，利用者の設定情報やメールスプールの保存先として NFS

駒場でマウントする．従来は中規模のファイルサーバを

本郷

VMサーバ
NASヘッドNASヘッドホーム用に 2 式，メール用に 1 式用意して運用していたが，ECCS2012 では大型のファイルサーバ 1 式に集約することとした．

5.1

ストレージプールによる柔軟な運用

図 5: ファイルサーバの構成
サーバに FC 接続で供給している．NAS ヘッドの配下にあるのは残りの 110TB であり，これを単一のファイルサーバ集約の大きな目的の 1 つは，搭載ストレージプールとして構成した．本稿執筆時点で，するドライブを単一のストレージプールとして構成

ホームには合計 32TB を，メールには合計 30TB をし，ホームとメールに柔軟に容量を割り当てること割り当てている5 ．

である．ホームディレクトリに必要となる総容量は利用者の数と quota で決まるが，利用者数は学生数によってほぼ決まるものであり，システム運用中に5.2自動階層化大きく変わることはない．quota は管理側が設定で主ファイルサーバの NAS ヘッド配下にある領域きるものであり，ホームの使用量に関して不確定要ルホスティングサービスを含んでおり，利用負担金は，単一のプールであるだけでなく EMC の FAST
VP を用いた自動階層化も有効化している．この機能は，主ファイルサーバのストレージコントローラに応じてディスクの割当量を追加したり，学科や研がブロックデバイス単位でアクセス統計を取り，利究所という単位で新規ユーザが追加されることがあ

用頻度の高いブロックをより高速なドライブに割りり，ディスクの総使用量を見積もることが難しい．

当てるものである．従って，頻繁にアクセスされる

そこで，搭載ドライブ全体を単一のストレージプーデータは SSD に割り当てられ，ほとんどアクセスさルに構成し，運用開始時点では未使用領域を残したれないデータは SATA に移動することとなる．この状態にしておき，ホーム及びメールの使用率を見定機能を利用した目的は，以下が挙げられる．

素はほとんどない．一方で，メールシステムはメーめながら，不足したシステムの方に容量を追加する（ファイルシステムを拡張する）ことが可能な設計とした．
ファイルサーバの構成を図 5 に示す．駒場に設置した主ファイルサーバは EMC Symmetrix VMAX

• 従来システムより容量を拡張するために，低価格・大容量なドライブを活用すること．

• 大容量ドライブの導入でスピンドル数を減らすことにより，消費電力を抑えること．

を，NAS ヘッドとして同 VG8 を利用している．主ファイルサーバには 3 種類のドライブで合計 116TBを搭載し，このうち FC ドライブ 6TB を仮想マシン

5 これらとは別に，端末に供給するライブラリ等の領域や，端末管理システムのための領域などに約 6TB を割り当てている．

• SSD や FC といった高速なドライブを効果的に利用し，大容量ドライブによるアクセス性能低6まとめ
本論文では教育用計算機システム ECCS2012 の概下を補うこと．

要について述べるとともに，新たに導入したサービ
本機能の効果を測るには長期間にわたる評価が必

スや機能に関して，導入の意図と構成方法について要であり，現時点では客観的な指標を示すことがで述べた．特にリモートアクセスとプリンタについてきない．効果を示す傍証となり得るのは，1 つは SSD

は利用者向けのサービスを拡充させた結果，運用管の使用量が常に高い値を示していて高速なドライブ理のコストが上昇してしまっている．今後，1 年かを活用できていると考えられることと，もう 1 つはら 2 年の運用を経て各機能の利用状況や導入効果に前システムで発生していたホームディレクトリの応ついて測定し，運用管理のコストも含め報告を行っ答遅延が ECCS2012 では発生していないことである． ていく計画である．

5.3

レプリケーション

参考文献

従来のシステムではバックアップ専用のサーバを設け，夜間・週末に差分・フルバックアップをスケジュール実行していたが，対象容量が大きく講義利用のある日中になってもバックアップジョブが実行されていた．我々の運用では，ファイルサーバに保存するユーザデータについて，利用者の都合による[1] 丸山 一貴，関谷 貴之，妹川 竜雄，和田 佳久：
教育用計算機システムにおけるエージェント方式によるデュアルブート端末管理，情報処理学会 第 5 回インターネットと運用技術シンポジウ
ム（IOTS2012），2012(掲載決定)．のためバックアップの世代管理は不要であり，最新[2] 秋田 英範，丸山 一貴，関谷 貴之，佐々木 馨，
増田 均：学内向けメールサービスの運用と稼働データのバックアップを高速にリストアできること

状況について，平成 21 年度情報教育研究集会が重要であると考えた．また，バックアップサーバ

報告集，pp.437–440，2009．

管理者作業としてのリストアは実行していない．こはファイルサーバと同一のサーバ室に設置してあったため，火災等の事故に対する耐障害性を向上させることも検討した．

ECCS2012 では，主ファイルサーバを駒場キャンパスに，副ファイルサーバを本郷キャンパスに設置[3] 丸山 一貴，関谷 貴之：学外システム連携による教育用計算機システムプリントサービス，情報処理学会研究報告，Vol.2012–IOT–16，No.9，2012．

し，主から副へのレプリケーションを行う構成とし[4] 安部 達巳，田中 哲朗，関谷 貴之，丸山 一貴，た．副ファイルサーバには EMC VNX 5700 を利用

前田 光教，有賀 浩：教育用計算機ユーザ管理

している．レプリケーションは NAS ヘッドの機能とシステムの改善と運用評価，大学 ICT 推進協議して実装されており，標準では 10 分間隔の静止点が会 2012 年度年次大会，2012(掲載決定)．

6設定されるようにデータ転送が行われる ．10 分間の差分が大きく転送量も大きくなる場合にはこの間隔が自動で調整されるが，この間隔が 10 分に戻らずレプリケーションに失敗するという状況は起こっておらず，問題なくバックアップを取得できている．
なお，利用者が操作を誤ってホームディレクトリ

[5] Guacamole - HTML5 Clientless Remote Desktop，http://guac-dev.org/，2012.11.16 取得．
[6] 安東 孝二，関谷 貴之：大学における印刷管理の新しい試み，情報処理学会研究報告，Vol.2005，
No.83(2005-DSM-038)，pp.13–16，2005．のファイルを削除してしまった場合は，毎日の定時スナップショットから利用者自身の操作で復旧できるように設定してある7 ．
6 静止点の時点にリストアできることが保証されている．
7 本稿執筆時点では，スナップショットは 2 週間分を保持する設定をとしている．