全学技術センターサーバの移行について○

大川敏生、松岡孝

共通基盤技術支援室 情報通信技術系

概要
平成 28 年度技術研鑽プログラム[1]において用いたサーバ（以下、研鑽サーバ）をベースに周辺装置等の増設を行い、新たな全学技術センターサーバ環境を構築した。 今回はこれら構築の経過について報告する。
購入物品は、ディスクの冗長性を持たせるための RAID カード、新たなハードディスク、メモリの増強、仮想マシンのディスクイメージを保持するためのディスク装置および、無停電装置（以下、UPS）を増設した。(表 1)
表 1. 購入物品リスト

1

周辺装置等

規格・製品名等

ディスク装置Thecus NAS N8880U-10G x1
4TB x5(RAID5+HotSpare,12TB)

RAID カードAVAGO MegaRAID SAS 9260-4i x2

増設メモリ

ACTICA 4GB DDR3-1600 ECC x4

UPS

OMRON BN75T x1

ハードディスク

HGST 1TB x8, 4TB x1

全学技術センターサーバについて

全学技術センターサーバは Citrix 社製の XenServer を利用することで、新たなハードウェアを調達することなく仮想サーバによる新たなサービス運用が可能である。 XenServer には商用版と無償版があり、全学技術センターではメーカーサポートがない無償版を利用しているが、無償版であっても安定稼働、運用実績、十分な機能が提供されているため、この XenServer を採用した。
1.1 仮想サーバとそのサービスについて
以下の 5 つの仮想サーバと 9 つのサービスを運用。
（ホスト名の.nagoya-u.ac.jp を省略）
1.ns.tech (mail.tech)•①DNS サーバ正引き・逆引き(共同２号館旧プラ研を含む)、②全学技術センターmail サーバ

2. www.tech•③全学技術センターWeb ホームページ、④全学技術センター会議室・備品予約システム

3. svn.tech•⑤機器予約システムの開発のための subversion

4. es1.tech

•⑥設備・機器共用システムのバックアップサーバ

5. entry.tech•⑦技術研究会参加登録システム、⑧産学連携アンケートシステム

1.2 旧システム Linux 端末について移行作業が困難であったため、当時の Linux 端末を利用。
1. gyomuirai.tech•

2⑨全学技術センターWeb による業務依頼システム

研鑽サーバのアップグレード

新システムへのアップグレードには、研鑽サーバの強化、仮想マシンイメージを保管するディスク装置の増強、それらを管理する Windows パソコン 1 台をプライベートネットワーク（管理ネットワーク）内に構成した。 さらに、ディスク装置のための UPS を増設した。
2.1 研鑽サーバ
研鑽サーバには、ネットワークインターフェースが 2 ポートあり、仮想マシンのグローバルネットワークと、研鑽サーバ、ディスク装置、管理 Windows 端末のためのプライベートネットワークの 2 系統のネットワークに接続。 新たに RAID カードを増設し、RAID6 によりハードディスク 4 台中 2 台まで壊れても動作するディスクシステムにした。 さらに 1 仮想マシンあたり 1〜2GByte のメモリを割り当てる運用を想定し、メモリを 8GByte 増設して 16GByte とした。
2.2 ディスク装置
ディスク装置は後述のプール運用において不可欠であり、堅牢で運用管理が簡易な装置を導入した。 主な特徴は電源装置を２系統有し、高速な 10GbE カードを搭載(図 1)。 ディスク装置とサーバ間で iSCSI 接続が可能である。 ハードディスクは 8 台まで搭載可能であり多様な RAID 構成が可能である。 現在は 4TB
ディスク 4 台で RAID5 を構成し、ホットスペア 1 台による運用を行っている。 ホットスペアとは、RAIDシステムのハードディスクに障害が発生した時に、自動的に待機しているハードディスクにより修復が行われる仕組みである。 また、当機種は UPS の制御により電源障害時に安全にサービスを停止することも可能である。

図 1. ディスク装置 THECUS N8880U-10G[2]背面
2.3 UPS について
5 台の機器を安全に運用するために、無停電電源装置(UPS)を 3 台導入している(表 2)。 経年劣化による対応として電池の部分と、制御系の寿命を考慮する必要がある。 これまで APC（シュナイダーエレクトリック社）の UPS を利用していたが、制御系の劣化による交換後は OMRON 社製を採用した。
表 2. 技術センターUPS と機器

3

購入年月

製品・規格

機器

2014/3OMRON 製 BN75S

・旧システム Linux 端末
・研鑽サーバ 1

2015/12OMRON 製 BN75N

・XenServer 6.5

2017/3OMRON 製 BN75N

・研鑽サーバ 2・ディスク装置

研鑽サーバ 2 台による XenServer プール構築

この研鑽サーバ 2 台を用いてプールを構成した。 プールは複数台の XenServer を協調させて運用する仕組みである。 プール運用の利点は仮想マシンを停止することなく Citrix 社が提供するシステム更新が可能である。 これはマイグレーションと呼ばれる仮想マシンを稼働させたままプール内の他の XenServer に移動する仕組みにより実現している。 これらの利点を活用するためにはネットワーク経由で利用できる研鑽サーバとは別にディスク装置が必要である。 これらの設定作業は Windows 端末の XenCenter 上で容易に行うことが可能である。
新システムには移行に合わせ当時提供されていた XenServer 7.2 による動作試験を研鑽サーバ試みていたが、RAID driver[3]の原因と見られる障害があり、XenServer 7.1 による動作試験を確認し、当バージョンによる新システムの構築を行った。

4

仮想マシンの移植について

XenServer 6.5 上で稼働している仮想マシンを、XenServer 7.1 へ移植する方法は、概ね以下の手順でXenCenter により容易に行うことが可能である。 サーバ間のファイルの移動には一般的な USB タイプの外付けハードディスクを利用した。
XenServer 6.5 のコンソール XenCenter の操作
1.仮想マシンのスナップショットを作成する
2.そのスナップショットを利用してテンプレートに変換
3.そのテンプレートをファイルに書き出す。
XenServer 7.1 のコンソール XenCenter の操作
1.書き出されたファイルをプールへインポートする
2.インポートされたテンプレートを用いて MAC アドレス、IP アドレスを合わせた仮想マシンを登録する
今回の移植で書き出されるファイルは、両 XenServer で利用可能である。
上記の手順で移植後の仮想マシンが正常に機能するか確認する。
4.1

実際の移植作業について前述の作業を行うことで、正常に移植が行われることを稼働中の全ての仮想マシンで検証を行った。 特に ns.tech にマウントされている 100GB の外部パーティションの移植が懸念されたが、問題なく移植が行われた。

実際の移植では、仮想マシンを停止させた状態でスナップショットを作成する必要があるため、全学技術センターのサーバサービスを終日停止させ移植を行った。 作業に利用したテンプレートをファイルに書き出す転送速度が遅く、約 100GB の仮想マシン 1 台の処理に約 2 時間費やした。 しかしインポートの処理では約 30 分と短時間で作業が完了した。
4.2

移植後の運用について新システムのプール機能により XenServer の更新作業も仮想サーバを停止することなく、快適な運用を行うことが可能となった。 その頃、商用ベースの XenServer 7.1 LTSR (Long Time Service Release)が提供され、続いて XenServer 7.1 CU1 (Current Update 1)という更新が提供されたが、無償版の XenServer にはこの更新を充てることが出来なかった。 7.1 CU1 のリリースノート[4]を判読すると、「2017/11/21 以降も 7.1 を利用し続ける場合、7.1CU1 を充てる必要がある」、「7.1CU1 は、7.1LTSR のアップデートである」と記載されていた。
つまり 7.1 を使い続けるためには、ライセンス購入が必要であることが判明した。 製品のライフサイクル[5]を確認し、再度新システムを XenServer 7.0 にダウングレードすることとなった。 ただし、XenCenter を用いたローリングアップグレードでは、バージョンを下げることが出来なかったため、前述の移植作業を再度行うこととなった。

5

今後の運用について

XenServer 7.0 の機能として、今まで不可能だった同一メーカーの CPU を搭載したサーバによるプールの構成が可能となるリリースノートが提示された。 これにより XenServer 6.5 を XenServer 7.0 へアップグレードし、新システムのプールに参加させることで、新システムの冗長性(障害に強い環境)の向上を図る。 また、新システムで利用している XenServer 7.0 の製品終了期日が 2021/5/19 であるので、新しいバージョンの動向に注目して行く。 さらに、業務依頼サーバを新システムへの移植を進めて行く。

6

最後に

新システム安定運用のため、経年による消耗、故障時における保守用品等を平成 29 年度の技術センターの予算より、RAID システムの保守用ハードディスク、無停電装置 UPS のバッテーリーセルの交換、XenCenterを利用するための Windows10 PRO を購入(表 3)。
表 3. 新規購入物品リスト
周辺装置等

規格・製品名等

サーバ用ハードディスク

HGST 1TB SATA HDD HUS722T1TALA604 x2
HGST 4TB SATA HDD HUS726040ALA610 x2

UPS 交換用バッテリー

OMRON BN75S 用交換用バッテリパック BNB75S x1

Windows10 PRO

パッケージ版 x1

参考文献
[1]

大川 敏生,et al,”仮想マシン運用における情報共有と日程調整アプリケーションの試作”,平成 28 年度
第 12 回名古屋大学技術研修会報告[2]

THECUS N8880-10G (http://japanese.thecus.com/product.php?PROD_ID=110)[3]

Citrix Support Knowledge Center (https://support.citrix.com/article/CTX230552)[4]

Citrix Product Documentation (https://docs.citrix.com/en-us/xenserver.html)[5]

XenServer ライフサイクル(https://www.citrix.co.jp/support/product-lifecycle/product-matrix.html)