H8-1

全面仮想化を実現した名古屋工業大学情報基盤システム
松尾啓志

名古屋工業大学 情報基盤センター
matsuo@nitech.ac.jp
概要：名古屋工業大学では、2007 年 4 月に導入した全学の認証システム・教育用ＰＣ・事務用シンクライアント・各種サーバ群を構成する情報基盤システムを、2012 年 3 月に全面仮想化システムとしてリプレイスを行った。本発表では、リプレイスされた新情報基盤システムの概要について示す。

1

はじめに

2.2 ソフトウエア構成

名古屋工業大学では、2007 年 4 月に情報基盤2.1 で示したハードウエアそれぞれに、ほぼ独システムを導入した。この情報基盤システム上には、全学 PKI IC カード認証システム、シングルサインオンシステム・Active Directory・LDAP などの認証系システム、教職員グループウエア・学生ポータル、電子ワークフローを含む各種事務サービス群、教育用 PC 関連のファイルサーバなどの各種管理系サーバ、事務のシンクライアント用サーバ、Moodle・Mahara・IC カード出欠システ
ムなどの学生サービス群用サーバなどを含む学内の様々な教育・事務システムが動作している。レンタルによる導入のため、導入後５年でのリプレイスが必要となった。 本稿では、リプレイスの際に考慮した点、全面仮想化システムの導入に至った経緯、導入システムの概要、導入時および導入後の利便性、問題点について示す。

2

旧情報基盤システムの概要

2.1 ハードウエア構成
旧システムの構成を下記に示す。
 ブレードサーバ 40 台
 ラックマウントサーバ 14 台
 ストレージエリアネットワーク
 ユーザー用 NAS
 その他ネットワークスイッチ、UPS など
これらは合計５台のラックで構成され、40 ブレードサーバのみの発熱量は約 60000kJ/h、最大消費電力は 16kW であり、ラックマウントサーバなどを含めた最大消費電力は約 40kW にも達し、これらのサーバ群を冷却するための空調装置として5kw の冷房能力を有するエアコンが 5 台(合計25kw)常時稼働しているが、特に夏場昼間においてはほぼフル稼働の状態となっていた。

立した機能が割り当てられている。
ブレードサーバ群 20 台: シンクライアント管理用
8 台：Active Directory, LDAP 関連

8 台：PKI 認証と SSO、学生ポータル及び教職員グループウエア

4 台：学生用メールサーバーなど
ラックマウントサーバ群

２台：教育用 LINUX

２台：教育用 Moodle

２台：図書館関連システム

２台：Web サービス構築用 VM 環境
４台：各種学生用英語教育 CALL システム

２台：OS イメージ配布用サーバ
なお本来は１つのサーバに複数の機能を持たせることも可能であるが、個々のシステムの責任境界を明確化するためにも、１台の筐体には１OS、１システムを割り当てることになった。

3 旧システムの問題点
3.1 リソースの固定化
このように 54 台の物理サーバと、大量のディスク群で構成される旧システムの最大の問題は、リソースの配分が固定的であると言うことである。
つまり、ほとんどのサーバの CPU 負荷は非常に軽く、一部のサーバのみの CPU 負荷が高い状態となっている。また新入生が入ってきて最初の教育用 PC の設定時には、特に SSO と学生ポータル関連のサーバが高負荷になるが、CPU リソースを動的に割り当てることができない。また当然 SSO

関連のサーバは、ロードバランサを経由しているServer を利用していたが、事務システムとしてので、サーバを増やすことにより、総処理速度を必須のソフトウエアが 2003R2 上でサポートさ向上させることも可能であるが、固定的な物理サれない場合が増えてきた。さらに導入時点ではーバ割り当てでは、このような対策も不可能であ

32bitOS のため、主記憶 4GB を約２０人で利用る。またディスク空き容量も、長年の運用でアンする環境となっていた。最近のブラウザはタブバランスが生じてしまった。

利用により、大量のメモリを必要とする実装が3.2 教育用 PC 端末へのセキュリティパッチ適多く、主記憶の不足による処理速度の低下も問用題となっていた。
教育用 PC 端末 550 台の管理コストも問題となった。旧システムでもイメージ配信を行うシステ
ムは導入していたが、電源断の状態からのイメージ配信ができない点や、イメージの部分配信ができない点などから、最近の Acrobat、Flash や Javaの頻繁なセキュリティパッチに対応することが困難となっていた。

3.3 SSO 環境のライセンス価格の高騰
SSO 環境としてサンマイクロシステムズ社製の SUN Java Identity Manager を導入していたが、価格体系の変更により、継続的な導入が困難となった。
3.4 シンクライアント環境
シ ン ク ラ イ ア ン ト 環 境 と し て Windows
Server 2003R2 上 の Citrix Presentation

図 1

4 全面仮想化情報基盤システム
4.1 全面仮想化によるプライベートクラウド
3.1,3.4 の問題を解決するために、全面仮想化によるプライベートクラウドシステムを導入した。
具体的にはサーバ仮想化(IaaS)+ディスク仮想化(シンプロビジョニング＋SSD・SAS・SATA 階層化を利用したステージング)＋デスクトップ仮想化（仮想 PC 方式）＋ネットワーク仮想化（名工大では従来から完全ダイナミック VLAN を導入済み）の４階層での仮想化を実現した全面仮想化プ
ライベートクラウドを導入した。さらに、OS として Windows 2008R2 Enterprise Server と Red
hat LINUX 無制限ライセンスを導入することにより、事実上仮想サーバ上での新規サーバに用いる OS の導入コストをゼロにした。

基盤システムソフトウエア構成図

4.2 オープンソース・コモディティハード・ソ

イクロソフト社製の System Center Suite を導入

フトの導入
大学の情報基盤システムは、当然ながら導入予算が存在する。従って、コストとパフォーマンスのバランスが重要となる。従って、我々はオープンソースの積極的な導入と、コモディティハード・ソフトの導入を積極的に行った。
オープンソースとしては、認証環境の完全オープンソース化を行った。具体的には、OpenAM,リバースプロキシとして Apache, IDM としてUnicornIDM,OpenLDAP を導入した。さらに学生ポータルとして jsig が開発している uPortal、ETL ツールとして従来からの DataStage ではな
く、Pentaho、またデータベースは可能な限りMySQL と PostgreSQL を利用した。また CMS
関連としては従来から Moodle と Mahara を利用している。
また仮想計算機としてマイクロソフト社製のHyper-V,ＶＭ管理・教育用ＰＣ管理（イメージ配信など）・バックアップ管理などを統合して行うことのできる管理ソフトウエア群として、同じくマした。図１にソフトウエア構成図を示す。仮想計

図 2

算機の選択肢として VMware も考慮したが、コストパフォーマンスの比較（保守費・ゲストＯＳのライセンス費用など）、及び様々なシステムを一貫して管理できる System Center の利便性などを考慮した。
さらにサーバのハードウエアはコスト高のブレードサーバでは無く、4xCPU(1CPU あたり 10 コア)、主記憶 512GB のラックマウントサーバを６台導入した。図２に概略図を示す。我々の基盤シ
ステム運用経験では、学内の情報基盤システムでは、CPU 能力の不足は、ほぼ皆無であり、十分なメモリを与えることが可能であれば、CPU のオーバーコミットメントは、システム全体としての能力に影響を与えないと判断したためである。
実 際 に ク ラ ス タ シ ス テ ム 全 体 で 4( ソ ケ ット)x10(コア)x2(ハイパースレッド)x6(台)の 480 コ
アの上に、シンクライアント用仮想 PC 250 台(1CPU を割り当て)、種々のサーバ 150 台(4CPUを割り当て)が稼働中である、所謂 CPU オーバー

基盤システム基本ハードウエアと配線図

コミットメント状態ではあるが、CPU の総能力不という制限がある。特に CPU 数の制限は、足からくる性能低下は観測されていない。

例えば教職員グループウエアとして用いまた必要となる電源容量は 30%程度にまで低減ている SharePoint Server の能力向上時にできた。さらに６台中４台もしくは３台のみで動問題となった。Hyper-V 3.0 からはこの２作させる縮退運転モードも導入した。例えば土日点の制限は解消される予定なので、今後にはサーバ３台での縮退、長期休暇時はサーバ４台期待する。

での縮退運転が可能となる。

5 導入後の評価

６

おわりに全面仮想化は、ＯＳ層の下にＶＭ層を挟むため、導入後、大きなトラブルは、下記に示す１回以システムとしては複雑化に繋がる。しかし、少な外はなく、比較的安定的に稼働していると同時に、くかつ固定的な予算の中から学内基盤システムを学内の複数のサーバを新基盤システムへの統合が充実させていくためには、サーバの柔軟な構築は進み、動作している仮想計算機サーバが順調に増必須であり、また十分に高速になった CPU で、加している。

１つのアプリケーションのみを動作させるのも、設計時・導入時・導入後に問題となった点を示す。
化は必須であるとともに、システム管理者の負担
導入時 10G NIC の不調：本システムはを考えた場合は、全てのシステムが統一環境で管I/O 周りを、全て 10Gbps イーサネットで理できる枠組みも重要である。従って、全面仮想統合した。従って VM 利用時のスループッ化は避けて通れない技術であり、また今後の大学ト向上は必須である。そこで TCP のさま情報基盤の基本的な枠組みなると考える。

ざまなオーバーヘッドをオフロードでき一方、仮想化技術自体がまだ進歩途中であり、る VMQ (Virtual Machine Queue)を導入

次期リプレイスに向けた情報収集も継続的に行っした。しかし、導入時点で VMQ をサポーていく必要がある。特に今後は、外部データセン

トできる 10GNIC が少なく、最初に導入タにハードウエアを設置するプライベートクラウ

した NIC が非常に不安定であった。そのドシステムへの移行が本格化すると考える。本シ

結果 iSCSI で接続した SAN も不安定となステムでも既に 10Gbps で接続されたデータセンり、システム全体が不安定な状態が続いた。

タ内にバックアップディスクを有しており、プラその後、実際の運用前に他の NIC に交換

イベートクラウド化に向けて、ネットワーク帯域することにより、不安定性は解消された。

的な制限は少ないと考える。次期システムでは、導入後耐震化、UPS の削減などメリットの多いプライベ

クラスタボリュームのアクセス不可：外部データセンタの EMC ダウンがートクラウドを検討する予定である。

引き金となり、クラスタシステム中の共有

参考文献[1] Microsoft Hyper-V 構成ガイド
http://technet.microsoft.com/ja-jp/virtualization/hh757499.aspx[2] マイクロソフト事例紹介：名古屋工業大学
http://www.microsoft.com/ja-jp/casestu
dies/nitech2.aspx[3] DELL 紹介事例：名古屋工業大学
http://content.dell.com/jp/ja/corp/d/c
orporate~case-studies~ja/Documents~201
2-nagoya-institute-of-technology-unive
rsity-jp.pdf.aspx

ボリュームがアクセス不能となり、システムが全面停止した。この原因及び対策はマ
イクロソフト KB2687646 で公開されていた。このパッチを適用し解決したが、システム設計時のチェックミスである（ただし膨大な KB を事前にチェックするのは困難である）。
導入後

LUNIX(Redhat)の不安定：特にiSCSI のパフォーマンスと安定性が問題となった。しかし Hyper-V 統合サービス
3.3 の適用により、現在では安定化している。


電力・費用の面からも非効率である。従って仮想設計時 リソース制限：Hyper-V 2.0 は、各 VM に割り当てることができる CPU が４つまで、仮想ファイル VHD が 2TB まで