広島市立大学のDCプライベートクラウド構築事例
前田香織
広島市立大学大学院情報科学研究科

{%'X¶¬­ºÄè¿×NÊîàË¿ã
Mar. 20, 2015発表の流れ! 背景! クラウド利用の方針! 新システムの構成と特徴! 運用状況

! クラウド移行による変化を中心に! まとめと今後の課題背景（１）! 大学情報ネットワークシステムの利用範囲の拡大! 時期によってサーバの負荷が変動! リース期間中に提供するサービスが変化
クラウド利用とサーバ等仮想化! ハードウェア所有から開放! サービスを利用! 可用性向上! 連続運転、BCP

システム更新方針! 教育環境の柔軟性と安定性強化! 仮想デスクトップ環境の導入! 柔軟なサービス構成変更! 仮想サーバによるサービス構築! メールセキュリティと学生メール環境をパブリッククラウドへ! 学内情報システムの安定稼働! システムのデータセンター（DC）移行! L3以上を提供する機器や各種サービスの機能をDCへ! DCと大学の回線増強! 別の場所へのバックアップキャンパス情報ネットワークHUNET ÈÔè¾ÖÃæîÜÌ
J_,5ÕÌÄÖÓß5ÕÌÄÖÓß

¾îÑðÙÓÖSuperCSI]O«SINET«N

J_

ef'r
lkÆðÖ¿À¾ÈðÛ
ÎÅäîÖ

1Ì¾ÓÒ
F/W«VPNXÃæîÜÌÌ¾ÓÒ

J_w&:SCÞì½

%'4"ÈðÝÌÊÌÔã

v'r

4" K=cÊÌÔã
5ÕÌÄÖÓßÎÅäîÖKÎîÑð)b*|~}5ÕÌÄÖÓß

=*þûªÏìÄè¾½îÖ{{ýÿúüĀāĂ¥{¤¡ßéîÑú
F«Phg`ª3
,5ÊÌÔã

ÕðÑÎîÑð

4"lkÆðÖ¿À¾

4"

@yÊÌÔã

KÎîÑð

J_w&:SCqu8EÊÌÔãÞì½

4"T'r
ByRU*
J_m'ÎîÑðqu
ÛÓÄ½Óßm'ÎîÑðÊÌÔã@y'My/x!

èðØîÅÇåîÍ

J_lkÆðÖ¿À¾
J_w&:SCn!

Ib*ï)z*
J_y0RU6
J_

J_w&:SCRU*J_w&:SCSINETúV4"'RU6;·'f4"ÙÓÖíðÄ{{{{{SuperCSIúNISP;·'fïRUFs­ÙÓÖíðÄ

L3機能の移行! ルーティング、ファイアウォール、ロードバランサ等のL3以上の機能をDCで処理! 大学にはL2スイッチと無線LAN AP! 大学 DC : 10Gbpsへ増速
運用状況! 大学とDC間の遅延の影響はほとんどないようである! 大学<->DC: 約2ms

! 機器が遠隔にあることの影響! DoS攻撃への即応性! 管理用の別回線用意
サーバの仮想化! 各種サービスを提供するシステムは仮想化サーバで構築! 教育、事務業務用ファイルサーバもDC内! リソース配分を時期やニーズによって変更
Ex.
! 講義期間中と休暇中の配分! 講義時間中と夜間の配分! 入試合格発表対応! 芸術学部CG系の処理仮想デスクトップ環境（VDI)! 事務用VDI：2012年夏から! ファイル共有! 端末は従来PCにクライアントソフトウェアを入れて使用! 教育用VDI：2014年10月! 時期、時間によって利用プールの割当変更! 自習用プールを増やす! 端末! ゼロクラ、シンクラ端末! 語学センター、情報科学部演習室からは従来PCにクライアントソフトを入れて! 自宅等学外からもクライアントソフトを入れて利用も可教育用システム構成図
2./V%'ÕðÑÎîÑðô©5Äè¾½îÖNÈðÛCISCO UCS240ªă7
iCPUú168 (2016Ç½òiäåéú1792GB© QN5ÈðÛñLDAP«AD«DNSµ´ò
Hitachi HA8000/RS220ªă5
iCPUú10 (80Ç½òiäåéú3840GB

FAS2240-2

FAS2240-2©Þ¼¾êÈðÛ
NetAPP FAS3200HA©Þ¼¾êÈðÛÛÓÄ½Óß
NetAPP FAS3200HA©ÏìÄè¾½îÖ§ª{|{£{{¡ ¡}©ÂîÕáî×ßéîÑ§©5Äè¾½îÖNÈðÛ
ñGPU<púefZòCISCO UCS240ªă2
iCPUú48 (576Ç½òiäåéú512GB©5YKNÈðÛCISCO UCS220ªă2÷t)b* øt)b*ªª(r-°±ò

10G9^

@y©D\WAXªªÊîÄè¾½îÖªñ¢{{ò©ÂîÕáî×ßéîÑ{§©wÌÄéðî{§©G?ßìËÀÄÑðª§©J_|~}
|t)b*·¹ò©Ì¾ÓÒ|¢¦¡¢{ }|t)b*·¹òÕðÑÎîÑðõ©Ib*«m'ÎîÑð«' ¶
ª{5Äè¾½îÖL#»;
©d(X'$¶5Äè¾½îÖ{{{L#»;©o¯ ¯WAªÊîÄè¾½îÖªñ¢{{{òª4" KÎîÑð«@y©na*«ìÝðX¶J_»ªª{j`|~}

端末教室の様子

教育用VDI（２）ハイパバイザ管理用サーバ(vCenter Server)
仮想デスクトップ（一般系）

基盤用サーバ
VM

VM

ハイパバイザ(ESXi)VM

VM

VM

ハイパバイザ(ESXi)VM

VM

ハイパバイザ(ESXi)

VM

VM

VM

ïïï

仮想デスクトップ
（芸術系）

VM

VM

ハイパバイザ(ESXi)

CG KN
GPU
VM
VM
VM
VM
VM
ñNDVIA
ハイパバイザハイパバイザGRID K1)(ESXi)(ESXi) »2 °±ïïï
基盤管理サーバ
X 2台
Cisco UCS220 M3

仮想デスクトップ
基盤実行サーバ（一般系）
X 7台
Cisco UCS240 M3

仮想デスクトップ
基盤実行サーバ（芸術系）
X 2台
Cisco UCS240 M3

物理コア数24コア（CPU: 12コア／1台 x 2基）
物理メモリサイズ：256GB/１台

550·VDT»1ÄèÌÑ+Ú¾ÛÛ¾Éù

50·VDT»1ÄèÌÑ+Ú¾ÛÛ¾É2
教育用VDI（2）! 教育用システムは用途別に７つのプールに分類して運用! 時期（講義期間、休暇）や平日、休日、時間による台数変更! 自習プールを増やす
VDTプール
実習室用＋貸出し端末(30台)用
自習用

一般系 語学センター用

芸術系

サイジング
CPU
総1コア メモリ/ OS, ソフトウェア
VDT数あたり 1台(GB)
VDT数
412
15130

サテライトキャンパス用25

図書館情報検索用

850

3Windows,Linux(Ubuntu)*1

2

Windows

3

Windows,画像編集
3D CG処理 *2

4台

２台*1 Ubuntu¸Windows·ÁâçëðÖÐÞÖ²
*2 Photoshop, Illustartor, Shade3D 教育用VDI(4)端末! 情報処理センター端末：ゼロクラ 81台 ｘ ２フロア
! 図書館：シンクラ（デスクトップ型） 10台! 貸し出し端末：シンクラ（ノートPC型）30台! 語学センター：PC（クライアントソフト利用）130台

評価項目VDT台数
GPU搭載! 情報科学部演習室：PC（クライアントソフト利用）約160台! サテライトキャンパス：シンクラ（デスクトップ型）25台
情報処理センター端末↓

貸出端末↓

図書館→

* Photoshop, Illustartor, Shade3D 

VDTの操作性（１）：遅延! データセンターまでの転送遅延の影響! 大学 DC：2ms! ファイルサーバとVDIサーバは同じDC内で支障なし
起動，ログオン，シャットダウン等にかかる時間

起動
ログオン
シャットダウン
端末 ファイルサーバ

WindowsLinuxWindows

更新前
67〜87s55〜59s38〜45sLinux11〜14s

WindowsLinuxWindows
Linux

16〜25s7〜8s
１ms未満
0.25ms

更新後
25〜30s＋
プール選択2〜4s
20〜25s ・・・(a)(a)に加え Linux起動: 30〜50s
Linuxログオン: 20〜25s
7〜10s10〜15s
１ms未満
0.79ms
VDTの操作性（２）：リソース配分! 講義時のリソース不足はないか？
! GPUへのオフロードは有効か？
来年の同時５５０台利用に支障はないか？
VDTプール
実習室用＋貸出し端末(30台)用
自習用

一般系 語学センター用

台数
412
15

芸術系

OS, ソフトウェア

3Windows,Linux(Ubuntu)*1

130

サテライトキャンパス用 25
図書館情報検索用

メモリ/1台（GB)2Windows

3

Windows,画像編集
3D CG処理 *2

850

合計：1627GB＞→

利用可能メモリ
1764GB＝246GB x 7台
（物理メモリ：256GB/1台)

一般系実行サーバ負荷状況
VDT[100
VDT[30

VDT[50

芸術系実行サーバ負荷状況
VDT[ö0

VDT[50 仮想サーバの運用：Webサーバのリソース変更! 特定時期のリソース変更可能! 入試合格発表 → クリア! 準備! ２台のWebサーバそれぞれ! CPU: 32core ← 8core! MEM: 16GB ← 8GB! DB! CPU: 8core ← 2core! MEM: 24GB ← 8GB! 前日からトップページを静的ページに（通常はPHPで動的）! Webサーバはロードバランサで分散! 合格発表手順は変更なし


60

10:00:00
10:00:10
10:00:20
10:00:30
10:00:40
10:00:50
10:01:00
10:01:10
10:01:20
10:01:30
10:01:40
10:01:50
10:02:00
10:02:10
10:02:20
10:02:30
10:02:40
10:02:50
10:03:00
10:03:10
10:03:20
10:03:30
10:03:40
10:03:50
10:04:00
10:04:10
10:04:20
10:04:30
10:04:40
10:04:50
10:05:00
10:05:10
10:05:20
10:05:3010:05:40
10:05:50
10:06:00
10:06:10
10:06:20
10:06:30
10:06:40
10:06:50
10:07:00
10:07:10
10:07:20
10:07:30
10:07:40
10:07:50
10:08:00
10:08:10
10:08:20
10:08:30
10:08:40
10:08:50
10:09:00
10:09:10
10:09:20
10:09:30
10:09:40
10:09:50

入試関連ページ同時アクセス数推移(10:00〜10:10)

70

WebWebア 50
クセス 40
数
800
700
600
500
400
300
200
100
030

20

100時間


2015/3/7 10:30

2015/3/7 10:29

2015/3/7 10:28

2015/3/7 10:27

2015/3/7 10:26

   

2015/3/7 10:25

2015/3/7 10:24

2015/3/7 10:23

2015/3/7 10:22

2015/3/7 10:21

2015/3/7 10:20

2015/3/7 10:19

2015/3/7 10:18

    

2015/3/7 10:17

2015/3/7 10:16

2015/3/7 10:15

2015/3/7 10:14

2015/3/7 10:13

2015/3/7 10:12

2015/3/7 10:11

2015/3/7 10:10

 

2015/3/7 10:09

2015/3/7 10:08

2015/3/7 10:07

2015/3/7 10:06

2015/3/7 10:05

 

2015/3/7 10:04

2015/3/7 10:03

2015/3/7 10:02



2015/3/7 10:01

2015/3/7 10:00

2015/3/7 9:59

2015/3/7 9:58

2015/3/7 9:57

2015/3/7 9:56

2015/3/7 9:55

2015/3/7 9:54

6000

2015/3/7 9:53

2015/3/7 9:52

2015/3/7 9:51

2015/3/7 9:50

公開WEBサーバ宛て通信状況
2015年3月7日 9時50分〜10時30分
 

5000

4000

3000

2000

10000ñø ®³·0ò

メモリ使用率Webサーバ1

CPU使用率Webサーバ２

CPU: 32core ¨ 8coreªªªªªªªªªªªªªMEM: 16GB ¨ 8GBWebサーバ用DB
CPU使用率

メモリ使用率CPU: 8core ¨ 2core, MEM: 24GB ¨ 8GBその他の運用状況! メールセキュリティ、メールのパブリッククラウド利用! 使用電力量! バックアップ! 保守管理パブリッククラウド利用（メールセキュリティ、学生メール）! メールセキュリティ：Symantec .cloudサービス! 標的型メールも検知対象に! 大学独自のカスタマイズへの対応困難! ウィルスやスパムメールの検知警告方法! 隔離されたウィルス付メールの通知や受取り方法! 学生メール、ファイル共有：Oﬃce365! 別ドメインの用意! 当分の間２ドメインを使用し、一方へ転送! メールスプール移行も実施! クラウド側の都合で環境が変わる! 周知時期の選択肢がない電力使用量の変化
更新（kW）
68.8*1

サーバ室

更新後（kW）
37.0

サーバ室

8.1*2

データセンタ

28.9

端末

21.9

4.7

プリンタ

5.6

6

大学での電力使用量計

96.3

77.5H

18.8

電力使用量合計

96.3

48.6H

47.7

実習室*1 : ４ヶ月（4〜7月）平均値*2：10回測定の平均値
それ以外は機器のカタログの最大値から換算※

データセンター使用料金＝ 機種更新前後の電気代の差の約＿＿倍バックアップ
データセンター１■基盤用仮想サーバ■仮想クライアント用サーバ■仮想管理用サーバ

広島市立大学FAS2240-2■ファイルサーバ
NetAPP FAS3200HA

10G接続

SnapMirror
データセンター２FAS2240-2■ファイルサーババックアップ
NetAPP FAS3200HA

データセンター１
配置 ディスク種別
SAS 600GB

コントローラSAS 600GBA
コント SAS 600GB
ローラ
SAS 600GB
B

ディスク本数
備考
3
システム領域
データ領域
仮想サーバ基盤用
仮想デスクトップ基盤
42
仮想デスクトップマスターVM用
学生用ファイルサーバ用
事務用ファイルサーバ用
3
システム領域
データ領域
42
同上■自宅等学外に仮想クライアント環境を提供

データセンター２配置
コントローラSnap
A
Mirrorコント
ローラ
B

ディスク種別ディスク
本数

SATA 2TB

3SAAT 2TB

14

SATA 2TB

3SATA 2TB

14

遠隔バックアップ
DC1 -> DC2

2015/1/27 差分バックアップ容量＝約200GB、領域ごとに転送

ñ>ò 

保守時間の変化
更新前（時間）更新後（時間）Linuxの保守*

0.5

1

Windowsの保守*

0.5

140.5

イメージ配布サーバ準備

7.5-

イメージ配布76

予備機で動作確認*

0.5-

最終動作確認*30.5ウィルススキャン処理

­3.5

計23

12.5

更新前：マスタイメージ準備
更新後:スナップショット作成

ó¸7Eまとめと今後の課題! クラウド環境での実現! L3以上の機能とネットワークサービス、教務、図書館サービス等をデータセンターにて構築! メールセキュリティ、学生メールはパブリッククラウド! サーバの仮想化! VDIによる教育用、業務用システムの構築! 今後! 2015年10月から学部演習室160台の端末追加

