仮想化技術による卒論用サーバシステムの構築と運用 (1)大塚 秀治(*1), 矢野 孝三(*1), 松原綾音(*2), 石井 太一郎(*3)*1 麗澤大学 情報システムセンター*2 麗澤大学 経済学部
*3 株式会社富士通エフサス

ohtsuka@reitaku-u.ac.jp, yano@reitaku-u.ac.jp, a11649a@reitaku.jp,
i.taichiro@jp.fujitsu.com
概要: 学生が卒業論文などでサーバクライアントモデルのシステム開発（卒論システム）を行う場
合、学生それぞれがサーバを構築するか、既存のサーバへ相乗りする形になる。独自でサーバを用意する場合には、構築段階から多くの手間と時間を必要とする。優れた卒論システムの場合には学生が卒業した後も運用状態が継続するので管理が必要となる。本学でもすでに幾つかの運用システムでは運用管理の工数が増大し、維持管理が負担となっている。本研究は、今後も増加するであろう、卒論システムの開発環境の提供と長期運用となった場合の管理コストを、仮想サーバ技術を用いることで低減させることを目的とするものである。本報では、これまでに卒論システムとして開発され、現在も運用中のシステムについて、Linux KVM 技術を用いて構築した汎用仮想サーバに順次移行を行い、移行に際して生ずる問題や運用管理上の問題について整理を行なうものである。
キーワード: 仮想サーバ, 開発環境, システム運用

1. 研究の背景

卒論システムの特徴をまとめると、 ① 比較的小学生が卒業論文など1でサーバクライアントモデ規模なシステムである、 ② 利用頻度が低いためルのシステム開発（以下卒論システム）を行う場合、システムの負荷は高くない、 ③ 実用システムの場学生それぞれがサーバを構築するか、既存のサーバへ相乗りして開発を行うことになる。独自にサーバを用意する場合には、構築段階から多くの手間と時間を必要とする。もともと、卒論では実用性の高いシステム開発がテーマや課題となることが多いため、その実用性から運用に供されることが多い。
また、連続運用の評価や統計情報自体がテーマとなっているものも多いため長期に渡って稼働させるものも多い。優れた卒論システムの場合には利用者が増え、開発した学生が卒業した後も運用状態が継続する。このため、開発段階から卒業後も運用管理を検討しておくことが必要となる。
1

ゼミでのの卒業論文で開発するシステムや 3 年次に作成するシステム、さらにプログラミングやネットワーク関係の実習科目で作成するプログラム課題等も含む。

図 1 現状の卒論システム用ラック運用に供される卒論システムはサーバルームの専用ラックに収容されている。ほとんどがタワー型 PC にオープンソースの UNIXを導入したものである。ディスプレイ切り替え器（写真手前）で可能なかぎりコンソールは共有させるが、ラック内での占有面積は大きい。

表1. 稼働中の主な卒論システム
ハー ド交

開発年

OS

形態

ア クセス

2002

FreeBSD

相乗希

1

Web インターフェースによるMacアドレス認証 DHCPサーバ「KIDS」

2004

FreeBSD単

低0

ネットワークサービス相互稼働監視システム「ANNEX」

2004

FreeBSD単

低0

ネットワーク障害検知システム「リモート de パトライト」

2007

FreeBSD

相乗中

1

SMTPで投稿するBLOGシステム「PLOG」

2007

FreeBSD

単低1

ｒｒｄtoolによるトラフィック詳細記録システム「Pingo 」

2011

FreeBSD

単希1

ネットワーク障害音声通知システム「スーパーポン3 」

2011

FreeBSD

単中0

カメラ画像から OCR 入力する放射線量連続記録システム「GRACE」

2011

FreeBSD

単低0

電力各社の電力使用率の連続記録システム「GRIP」

2012

FreeBSD

単多0

学内使用電力量集計表示システム「麗澤電力」

2013

FreeBSD

相乗中

1

独居老人安否確認システム「赤ずきんちゃんＲ」（2代目）

2014

CentOS単多1

学内落し物登録表示システム「アルカモ」 KVMへの移行済

内 容・ シ ステ ム 名称換回数注）定期的に外部へアクセスしていないもの。また、他のシステムから定期的に参照されていないものは除いている。また、運用状態にあったが、ハードウェア障害で運用から離脱したシステムについても記載していない。

合は運用が継続することが多い、④ 開発した学生

3. 設計の方針

は卒業する、 ということなる。本学でも実用性の高

前項の目的を実現するために、サーバを仮想化

いシステムについては、情報システムセンターが運してシステム毎に提供することとする。仮想化サー用を引き継いでいるが、すでに幾つかの運用シス

バの運用技術の蓄積を兼ね、卒論システムを中心テムでは管理工数が増大し、維持が負担となってとするサービスが中断しても大きな影響が無いシスいるものもある。ハードウェアの障害の場合には回テムで評価を行う。仮想化方式については、オー復できずに運用を断念2したものもある。

プ ン ソ ー ス を 用 い る こ と と し 、 Linux KVM設置の問題も多い。運用のため、情報システム(Kernel basedVirtual Machine) を採用する。

センターではバックアップ資源の提供の他、ラック

この KVM 上に構築する仮想サーバに順次移行を棚、コンソール、ネットワーク、非常電源なども提供行い、移行に際して生ずる技術的課題や、仮想サするが、スペースには限りがあるため無条件に設置ーバ数と性能との関係、運用管理上の問題点等にを受け入れることができない（図 1 参照）。

ついて整理を行い、この知見を次のシステムの設計へ生かすこととした。

2. 目的

まず、現在稼働中の卒論システムについて整理

本研究では、今後も増加するであろう、実用性のする。表 1 は現在も稼働しており、一定の機能を果高い卒論システムについて、 ① 容易に個別の開たしている主なシステムである。OS は全て UNIX発環境の提供することができること、 ② 長期運で、ほとんどが FreeBSD である。これは先輩の卒用となった場合の管理コストを低減できること、の 2論を参照してシステム構築を行うことによる影響で、点を解決することを目的とする。具体的には、仮想FreeBSD でなければならないという条件はない。

サーバ技術を用いることで、開発を希望する学生ネットワークの利用度は高くはないが、定期的にア毎に希望する OS でサーバ環境を提供し、実用性クセスが発生するものである。サーバの相乗りは卒の高いシステムが完成した場合には、集中管理で論システム間の相乗りではなく、他のサーバとの相きるようにすることである。

乗りとなっているものもあり、移行に際しての障害となりうる。すでに運用開始からかなりの期間を経過

2

現在のところ運用に関する明確な規定が無い。本研究のシステ
ムの利用が増加する前に規定を用意することを別途検討している。

しており、そもそも中古の PC を用いて開発しているため、ハードウェア交換を行ったマシンもある。単純なハードディスク交換であれば問題はないが、マザーボードの交換やパソコン自体の交換となるとデバイスの調整やドライバの問題で移行が難しい場合もある。
そこで、ハードウェアの選択にあたっては次の点に留意した。現行システムの全てを移行し、数年分のサーバシステムを収容することを想定しても、20から 30 程度の比較的負荷の低いサーバの収容能力があればよい。また、本研究で示す方法の有用性が確認できればよいので、高機能のサーバは必要ない3。ただし、ネットワークについては学内向けサービス用と外部公開サービス用の 2 系統以上を考える必要があり、さらに管理・監視用のインタフェースを別途用意することを考えると余裕のある数のネットワークインタフェースを用意する。
表2 導入した仮想サーバ用マシンのハードウェア構成
機種

富士通 PRIMERGY RX200 S8CPU

2.60GHz/8コア /16スレッド (Xeon E5-2650v2)

MEM

32GB (16GB 1600LV-RDIMM ×2)

HDD

1.8TB RAID5 (2.5inch SAS 900GB ×3)

Network
電源

1000Base-T ×10 (オンボード×2, 拡張[4ポート]×2)
450W ×2 冗長構成

4. システムの構築

図 2 システムとネットワークの構成
上図に本システムの基本構成を示す。Linux の KVM を用いて仮想サーバを構成する。下図はネットワーク構成を示している。冗長化とパフォーマンス性能の確保のため、複数の NIC をボンディングによって論理 NIC とし VLAN に割り当てる。パフォーマンスの測定のため、サーバ監視用に独立した VLAN を用意した。

前項の設計留意点を勘案して、富士通（株）社
製 1U のラックマウント型汎用サーバ PRIMERGY
RX200 S8 を採用した。ネットワークは仮想マシン群が複数の VLAN に接続されることを想定し、拡張ポートを用意した。また、冗長化と広帯域化を図るため拡張ボードを 1 組追加しネットワークボンディング構成とした。導入したサーバ用マシンのハードウェア構成を表 2 に示す。
ソフトウェアは、OS として CentOS release 6.54(Final)を用い、図 3 上図に示すサーバアーキテクチャを実現するために、表 3 に示す仮想化環境用
3コア数などの CPU 性能と仮想化数に関する明確な基準はないようである。従って、実際問題として大学で導入する場合は予算的制限が大きいといえる。例えば、保守費込で 5 年間のレンタル料が 80 万円程度のサーバであれば、卒論システムを 20 サーバ収容すると、1 サーバあたり年額 8 千円程度となりクラウド上のサービスの利用と同程度となる。今回導入したシステムは概ねこの範囲に収まることとなった。
4 カーネルのバージョンは Linux version 2.6.32 -431 . 11 .2.

el6 . x86 _ 64 (mockbuild@c6b8. bsys.dev.centos.org ) (gccversion 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC) ) #1 SMP
Tue Mar 25 19:59:55 UTC 2014

図 3 設置の状況
写真（上）はサーバをラックに組んだ状況を示している（線で囲まれた部分が本研究で用いるサーバ）。既存の卒論システムを全て移行すれば、ラック 3 本分が 1U で収容できることになる。写真（下）は背面の様子。複数の VLAN に対応し、各 VLAN をボンディングするために拡張ポートを追加しそれぞれを VLAN スイッチと接続している。

5. 運用のパッケージを導入した。

本システムは 2014 年 4 月に基本的な調整を終

表3 仮想化環境のための導入パッケージ
パッケージグループ

説明

必須パッケージ

Virtualization

仮想化 マシ ンの ホス ティング環境を提供

Virtualization
Client仮 想 化 イン スタ ンス のイ python-virtinst
ン ス トール お よ び管 理ク virt-manager virt-top
ライアント
virt-viewer

qemu-kvm

オプ シ ョン パ ッケー ジ

qemu-guest-agent
qemu-kvm-tools

fence-virtd-libvirt

え、予備的な実運用（2014 年 10 月現在）中である。
当面の運用方針としては、卒論システムとして本システムの利用を希望する場合、ゼミの担当教員を通じて情報システムセンターに申請を行い、情報システムセンターが OS の基本設定後にユーザに引き渡す形式としている5。

fence-virtd-multicast

Virtualization
Platform

仮 想 マ シン およ びコンテ
ナのアクセ スお よび制御
インターフェースを提供

Libvirtlibvirt-clientvirt-who
virt-what

libvirt- cim

ーバ数が 10 で、割り当てコア総数は 22 となっていlibvirt-javaる。このうち卒論システム系に割り当てられているもlibvirt-qmfのは 6 サーバで、情報システムセンターの運用サ

libvirt-snmp
perl-Sys-Virt
libguestfs-java
Virtualization
Tools

オフラインでの仮想イメー
ジ管理のツール

libguestfs

2014 年 10 月 20 日現在の割り当て状況は、サ

fence-virtd-serial

libguestfs-tools
virt-v2v

ネットワークは図 2 のように構成した。複数の物

ービスにも実験的に用いられている。

6. 移行に際しての課題
前項で割り当てられた 1 サーバに既存の卒論システムを移行し問題等を検討し以下の結果を得た。

理 NIC をボンディングによって論理 NIC に構成し、移行対象： 電力各社の電力使用率の連続記録システム
移行日時：2014 年 9 月 30 日
OS: FreeBSD 7.4 記述言語: C, perl
結果:① 単純な dump,restore ではシステムの移行はできない。移行ツールがなければ利用が難しい。 ② 異常時にコンソールにアクセスできなければならないが、作業者が学生の場合にアクセス方法を開示するのはリスクが高い。 ③ 事前に OS を導入しなければならないが、古い OS の場合にはメディアの入手が困難になりつつある。
④ 移行後パフォーマンスの著しい向上が認められた。

学内基幹系と外部公開用の DMZ 系、それに卒論システムの開発と学内運用を行う卒論システム系に接続した。別にサーバ監視用・運用管理用のVLAN にも接続した。
図 3 はラックに組んだ本システムの様子を示している。赤枠が本研究で用いるサーバとなる。順次このサーバ上に既存システムを移行中である。また、開発環境が必要な新規の卒論システムについても7. 結果と今後の展開資源割り当てを行っている。既存システムがラックを現在、本システムは予備的ではあるが実運用に3 本使用していたことを考えるとスペース面のパフ入り稼働中で、仮想サーバによる運用の効率化がォーマンスはかなり高い。

図られている。今後、仮想サーバ数を追加させながら、システムの負荷状況を適切に監視できるツールの導入・開発を行い、定量的な測定結果から適切なサーバ数、コア数などを求める方策を検討し、別稿にて報告することとしたい。

参考文献[1] Red Hat Enterprise Linux 6 仮想化管理ガイド,
https://access.redhat.com/site/documentation/ja-JP/Red_Ha
t_Enterprise_Linux/6/html/Virtualization_Administration_
Guide/[2]平,森若,鶴野,まえだ著,KVM 徹底入門,翔泳社,2010.
[3] IBM - Linux KVM 技術情報,

図 4 WebVirtMgr による監視画面
仮想マシンのパフォーマンスを簡易的に表示することができる。検証のためには継続的に記録を残す方法を検討する必要がある。今後、サーバ数と処理性能との関係、ネットワークの負荷の状況などについて定量的かつ継続的に性能を評価する工夫が求められる。

http://www-06.ibm.com/jp/linux/tech/doc/0024ac5e.html[4] CentOS6.2/KVM によるサーバ仮想化 - OSS で Linux サーバ構築, http://www.oss-d.net/virt/kvm/0.95

本稿の著者の一人である松原は 2014 年 7 月から、近隣の小学校向けの落し物管理・表示システムの開発を本システム上で行っており、運用も本システム上で行うこととなっている。