大学ICT推進協議会
2011年度年次大会 論文集

D11-4
神戸大学キャンパスネットワークにおける仮想化技術について
伴	  好弘, 佐々木 博史, 鳩野	  逸生神戸大学 情報基盤センター
ban@kobe-u.ac.jp
概要：ICT の基盤システムとして，これまで以上にネットワークの重要性が高くなってきている．その流れの中，大学内におけるネットワークとして，教育研究系ネットワーク以外に，事務システムネットワークやその他の専用ネットワークが敷設されてきた．この状況はネットワーク構造を複雑化させ，コスト面でも効率的とはいえなかった．神戸大学において，キャンパスネットワークに対してこのような問題を仮想化技術を用いてどのように改善したのかについて述べる．	 

1 はじめに

 事務システムネットワーク

ットワークは，通信基盤を支える物として今まで

 教育研究用計算機システム用ネットワークに以上に必要不可欠なシステムとなっている．神 SINET3 の孫請け機関向けネットワーク

戸大学でもそのような背景から，従来より運用さ 遠隔キャンパスとの拠点間ネットワークれている教育研究系ネットワークの他に，事務シ

この状況に加えて，教育研究系ネットワーク

ステムネットワークや，その他の専用ネットワーに使用していた機器の運用期間が７年を超える物クが敷設されてきた．しかしこの状況は，アドホの出始めていたため，機材の保守や修理が受けらックにネットワークが増殖してきていることを意れないという問題も生じ始めていた．

味しており，結果としてシステム全体の複雑化を招き管理を難しくさせたり，特定個所に未使用ポ

2.2 更 新 時 の 制 約 条 件
このような状況もあるため，以下のような条ートの多い機材が複数設置されるなど，消費エネ件に合致するようなネットワークの構成方法の模ルギー的，場所的，コスト的に見ても効率的とは索を続けていた．

大学 ICT を推進するにあたり，キャンパスネ

 図書館業務系ネットワークいえなかった．だた逆に，同じ物理ネットワーク

 冗長化をできる限り低コストで実現することを共有するとしても，ネットワーク中を通過する 物理的な構成を単純化および標準化すること

情報の質の違い常に意識する必要があり，拡張性 管理コストの軽減ができることの維持が困難になりがちであった．そこで，これ 新規のネットワークを容易に拡張できること

ら性質の違う複数のネットワークを仮想化するこ

この検討途中に, 論理ネットワークを仮想的にとで機材共有化をできるようにネットワークの更扱うことで独立性を保ったまま物理経路を共有す新を行った．本発表ではキャンパスネットワークる機能が，特定の機材メーカに偏らずに実現できに対して仮想化技術をどのように利用したかにつそうだということが分かり，関連する情報の収集いて述べる．

を行っていた．幸運にして２００９年度にキャン2 導入の背景

パスネットワークの更新を実施できるまたとない

2.1 更 新 直 前 の 既 存 ネ ッ ト ワ ー ク に つ い て
前節で述べたように，更新前の神戸大学で運機会を得ることができた．それに合わせ前年度の２００８年度にこれらのネットワークを含めた具用されているネットワークは，主に以下に示すよ体的な導入検討に入った．

うな物理的・論理的ネットワークが存在していた．

3 ネットワークの仮想化にあたって今後の利用状態を考慮すると，これ以上の独立し	  ネットワークの更新にあたり，予算的な要請かたネットワークの増設は，経路の確保や，それぞら，従来通りの手法で既存ネットワークの全機能れのネットワークの安定維持が困難になるというを維持しつつ更新することは不可能であったため，状況が生まれつつあった．

検討中のネットワークの仮想化を視野に入れるこ 教育研究系ネットワークととした．

― 317 ―

大学ICT推進協議会
2011年度年次大会 論文集

3.1 仮 想 化 の 実 現 方 法 に つ い て
複数のネットワークを束ねて機材の効率的な利用を推し進めようとする際に，対象となるネットワークの論理的な構造をいかにして維持するかが，導入後の運用や拡張の際に大きく影響することは容易に推測がつく．以下の二つがその当時利その特徴を生かす事で，それぞれ違った経路情報や，ネットワークアドレス体系を持つネットワー
クを混在させた際の，各ネットワーク機器内での転送ルールの記述が構造化でき，見通しをよくする事が可能となる．

3.3 VRF の 適 応 範 囲用できる候補として存在していた．

1. MPLS[1]を使用する	  VRF の利用が今回の利用目的に合致する状況

2. VRF[2] を使用する

ではではあるが，やはりコストの面では普通の	  １．については，IP 以外のプロトコルも共L3 スイッチよりは高価であるため，範囲を限定存できるという特徴があるものの，この機能がする必要がある．そこで，ルーティング処理を行利用できるネットワーク機器が上位機種に限らうバックボーンを構成するコアスイッチと，そのれており，総コスト的に無理があった．また，直下に接続される拠点スイッチ（基幹スイッチと従来の IP ネットワーク的な観点とは違った理呼んでいる）を対象に VRF 機能を有する装置を選解が必要なため，運用時の問題切り分け作業等定する事とした．図 1 にバックボーン部分の基本に影響が生じる懸念があった．

構成図を示す．この部分は，OSPF（v2, v3）によ	  ２．は検討当時まだ機能的に相互接続性や想る動的経路制御を行い，各物理経路のコスト設定定通りの動作ができるのか等，はっきりとしなにより冗長化行っている．また図 2 は VRF を用いいところがあったものの，価格的にバーチャルたネットワークの関係について示したものである．

ルータ機能を有するネットワーク機器と極端な物理経路的に一番広範囲に利用される事となる教

金額差が少なかったため，導入時のハードルが育研究系ネットワークは VRF 化せず，それ以外幾分低いことが優位であると考えた．の独立した経路制御が必要なネットワークを	  現状の利用状況から，IP 以外のプロトコルVRF 化して収容する構成としている．の利用は可能性が低い事と，規模的な観点から１でネットワークを構築するのは過剰なものと考え，２の VRF を用いる事で，ネットワークの多重化と経路制御の複雑化を避ける事を目指した．
3.2 VRF 機 能 に つ い て	  前節で出てきた VRF は Virtual Routing andForwarding の略称で，一種のバーチャルルータとして機能する転送テーブルの一種である．通常のバーチャルルータ機能は，使用する機器内で閉

図１	  VRF による多重化じた利用となるが，VRF は広域ネットワーク等で，複数の VPN を同じ物理経路を共有させる際に併用される事を想定して作られている．このテーブルに記述された経路（ここでは VRF パスと呼ぶ）内のネットワークは定義された VRF パス毎に独立しており，その経路情報が他の VRF パス内に混入する事は基本的に無いという特徴を持つ．

― 318 ―

図２	  VRF 化したネットワークの関係

大学ICT推進協議会
2011年度年次大会 論文集

4 更新時の問題とその解決方法

3.4 使 用 し た 機 材 に つ い て	  使用した機材については，単一メーカではな

ネットワークを更新する際は，通信途絶状態

く，設置箇所と今後の利用状況を極力考慮して，を極力短時間で確実に終えたいという希望がある．

表 1 に示すような複数メーカの製品を使用した．

その要望に対して，ネットワーク機材の更新を行

その際に懸念される事項として，相互接続を行う際に，VRF 機能を有効活用させようと活用法を考え，実際に使用してみた．以下に更新に関すった際にうまく動作しないという問題が生じる

る内容について述べる．

事があった．そこで，このような可能性を極力

4.1 コ ア ス イ ッ チ 周 辺 の 更 新再消化するために，メーカ固有の機能を使用せ	  コアスイッチから対外接続部分の更新についず，IEEE 標準の機能を使用するよう注意を払ては，経路情報の輻輳を避けるため，図 4 左側った．結果として，一部ファームウェアに不具の様に新ネットワークは上位ネットワークに接合が見つかったりしたものの，本運用開始時ま続しない状態で一通りの設定を実施しておき，でには VRF を含む機能が正常に動作し，相互接次節で出てくる遠隔キャンパスを除く各キャン続についての影響は生じなかった．

パスの新基幹スイッチとの間で最低限の経路を

表 1	  VRF 接続で使用した主な機材製造メーカ作成しておく．移行作業の時間的な制約から，機種名

旧ネットワークを一斉に停止する事は不可能でBrocadeNetiron MLX, CES シリーズあるため，新ネットワーク内に旧ネットワーク

Juniper

EX4200 シリーズを丸ごと収容するための移行用 VRF ネットワ

AlaxalaAX6700S シリーズークを作成しておく．バックボーン部分の更新

Cisco

Catalyst3560E シリーズ時には，図 4 右側のように旧ネットワークを新ネットワークのコアスイッチに設定しておいた

3.5 エ ッ ジ ス イ ッ チ で の 対 応拠点スイッチまでは VRF でネットワーク多重移行用のポートに接続替えする．その後，新ネ化を行っているが，端末に近いエッジスイッチにに接続する事で，バックボーン部分について新ついては，一般的な Tag VLAN を用いたネットワークとする事で，コストの上昇を抑えつつ，機器ットワークのコアスイッチを上位ネットワーク旧のネットワークが共存する状況を作り上げる．の共有化を目指した．図 3 はエッジスイッチでのまだこの時点では，主要な経路は旧ネットワーポートの割当状況の例を示したものであるが，事クへルーティングされるので，旧ネットワーク前に VLAN に割り当てる tag ID をネットワークに接続された機器は通信を継続できる．後日実毎に重複しないよう統一的に定義し，エッジスイ施する基幹スイッチの更新時に経路を新ネットッチのポートでは，この ID 毎に対応するネットワークの方へ順次変更する事で，バックボーンワークが割り当てられるような構造をとった．

部分の物理的な接続替えを実施しなくても良い状態にした．

図 3	  エッジスイッチでのネットワーク選択

図 4	  バックボーン部分の移行手順― 319 ―

大学ICT推進協議会
2011年度年次大会 論文集

4.2 キ ャ ン パ ス 内 ネ ッ ト ワ ー ク の 更 新順としてはキャンパス内ネットワークの移行手	  キャンパス内の更新については，従来コアス順と似ているものの，多の拠点への中継点にもイッチと基幹スイッチ間に複数本の 1Gpbs 経なるため，それらの移行用のネットワークを仮路を用いたチャネル接続を使用していた．今回設する必要がある．の構成では，主経路の 10Gbps と障害時の接続性維持のための 1Gbps という接続形態に変更されるため，利用可能な光ファイバに余裕が生じる事になる．そこで図 5 の様に，更新前段階で事前に旧ネットワークのチャネル接続の経路を縮退させ，新ネットワークの経路を確保する事で，更新時に同じネットワークが新旧のシステムで共存する形をとった．基幹から先も同様に，事前にエッジスイッチを接続できる箇所については新旧の装置を同時に稼働させる事とした．
図 6	  キャンパス間接続の移行手順	  更新当日は旧ネットワークのエッジスイッチに接続されているケーブルを新エッジスイッチ

5 まとめの指定したポートに接続する事で，切り替え時	  ネットワークの更新後の経過として，おおむ間の短縮を行った．

ね安定運用できている状況であり，今回統合の対象となった，教育用計算機システムのネットワークの実現もスムーズに移行でき，実稼働に持っていく事ができた．その際に表面化した問題としては以下の項目が挙げられるが，今後ファームウェアの更新などで解消してくと聞いている．
 VRF は実装されているが，DHCP リレーなどの付加機能と VRF をまだ同時利用できない装置がある
 IPv6 について VRF での対応がまだ不完全な

図 5	  基幹スイッチ以下の移行手順

機材がある
それと，懸念されていた複数メーカ間での4.3 キ ャ ン パ ス 間 ネ ッ ト ワ ー ク の 更 新

VRF の稼働については，過去に別の機能で経ネットワークの更新を実施する際に，本学の場験したような，不可解な動作を示す事も無かっ合，遠隔キャンパスと研究拠点が分散しているたため，その点においても更新がスムーズに行ため，これらキャンパス間の更新と，各キャンえたという点でよかったと言える．

パス内のネットワークの更新という，性格の違う２種類の作業が生じる．幸いな事に主要な遠隔キャンパスは経路が冗長化されているので，それを最大限活用する形で更新作業を進める事とした．移行の順序を図 6 に示す．基本的な手

参 考 文 献 	 [1] http://datatracker.ietf.org/doc/rfc3031/[2] Ananda Rajagopal, Building Trusted VPNs
with Multi-VRF, Foundry Networks, 2006

― 320 ―