KISH リプレースについて■ITC本部

大塚智宏

１．はじめにKISHリプレースは、2011年度ITC事業の柱の一つとして2011年８月を中心に行われまし た 。KISH（「 キ ッ シ ュ 」と 読 み ま す ）と は「 慶 應 情 報 ス ー パ ー ハ イ ウ ェ イ（ KeioInformation Super Highway）」の略で、慶應義塾の情報インフラの中核をなすコンピュータネットワークのことです。KISHは三田、日吉、信濃町、矢上、芝共立の各キャンパス内に張り巡らされたキャンパスネットワーク１）と、これらキャンパス間を相互に接続し、義塾外部のネットワークへの出入口ともなっているバックボーンネットワーク（BB）から構成されており、巻末のネットワーク構成図に示す通り、主要６キャンパス以外の各種キャンパスや一貫教育校などの拠点についても、多くは商用回線等を通じてKISHに接続されています。また、各キャンパス内の教室や研究室、事務室などにあるPCや情報コン
セント、各建物に設置された無線LANアクセスポイント、サーバ室で稼働しているサーバ群といった情報機器の多くは、直接あるいは間接的にKISHにつながっています。そんなわけで、たとえば学生・教職員のみなさんが義塾内のどこかでWebやメールといった情報サービスを利用したり、義塾外部のネットワークからkeio.jp等の義塾が提供するサービスを利用したりするときには、きっと気付かないうちにKISHを利用していることでしょう２）。KISHはそれだけ重要なインフラであり、「縁の下の力持ち」なのです。
KISHは、ITCという組織ができるよりも前の1995年あたりから継続的に整備され、だんだんとその規模を広げてきました。近年は４年周期で機器群のリプレース（更新）作業を 行 っ て い て 、今 回 の リ プ レ ー ス は 第 ４ 期（ KISH4 、2007 年 〜 2011 年 ）か ら 第 ５ 期（KISH5、2011年〜2015年予定）への更新にあたります。なお、実際にリプレースを行うのはネットワークの「ノード」であるルータ、スイッチといったネットワーク機器類のみで、「リンク」にあたるキャンパス内の幹線（光ファイバ等）や拠点間の商用回線といったものについては基本的に対象外となっています。VLANやレイヤ３スイッチの技術が進んだ現在では、ネットワーク機器の整備とそれらを接続する物理線の整備とを別個に実施
１）湘南藤沢キャンパスのキャンパスネットワークは、CNS（Campus Network System）としてKISHとは別に整備されています。
２）携帯電話、スマートフォン等で通信事業者のネットワークを利用する場合は別です。

23

する方が一般的なのです。そういう意味では、「KISHリプレース」と言った場合のKISHは、ネットワーク全体というよりそれを構成するネットワーク機器群のことを指していると言えます。

２．KISH5リプレース作業の概要
2.1

2011年３月までの状況

今回、実際のリプレース作業は2011年８月の夏季休暇期間を中心とした時期に行いましたが、そこに至るまでの検討・準備期間を含めると１年以上をかけた一大事業でした。前年の2010年春頃から各ネットワーク機器メーカやベンダを招いて（時にはお邪魔して）勉強会やハンズオンセミナー等を実施してもらい、最新の製品や技術についての情報を収集していきました。同時に、KISH5をどういう構成にするかの検討が始まりました。とは言え、ITCは限られた人員で業務を行っていますので、このような事業に対し専門のプロジェクトチームを作って、などというわけにはいきません。当然、他の業務をこなしながらの作業となり、まだそこまで急ピッチで進む段階ではありませんでした。
KISHを構成する各キャンパスのキャンパスネットワークとバックボーンネットワーク（BB）は、それぞれ互いに独立して設計されていて、管理も別々に行われています。各キャ
ンパスネットワークはキャンパスのITCが担当し、BBについてはITC本部が担当していますが、BBは各キャンパスにまたがって構築するものなので、キャンパス間の調整役という側面も持っています。筆者はITC本部所属なのでBB担当ということになりますが、この頃の筆者は、勉強会等には参加していたものの、まさか最終的に自分が中心となってリプレース作業を行うことになるとは夢にも思っていませんでした。何しろBB担当には、KISH4 BBの設計に中心的な役割を果たしたＨ氏こそ６月に信濃町ITCへ異動になっていたものの、経験豊富な先輩スタッフがまだ２人もいたのです。対して筆者は、KISH4の構築に全く関わっていないどころか、IPルータやスイッチを本格的に触るようになってからせいぜい１年くらいしか経っていませんでした。
そうこうしているうちに、2011年を迎えました。いや、実際には2010年の10〜11月頃からは構成検討もいよいよ本格化し、各メーカやベンダの担当者の鼻息もだいぶ荒くなってきていましたが、筆者はどちらかと言うと他の業務の方に注力していたように思います。
年明けの各ITC担当者が集まる会議で検討した結果、今回のKISHリプレースでは、各社への提案依頼はそれぞれのITCで独立して行うということになりました。また、学内での承認プロセスの進行を考えると、３月半ば頃には提案依頼を出した方がよい、ということが分かりました。そして、Ｙ氏を中心に提案依頼の準備が着々と進められていきました。
2.2

震災とその影響

その日、筆者は次年度の保守契約の稟議書を作成していました。注視していたモニタの24黒い画面がゆらゆらと揺れ、あれ？ついに目眩がするようになったかなと思った瞬間、みるみるうちに揺れが大きくなり、可動式のキャビネットがゴーゴー音を立てて振り子のように高速で移動するほどになりました。その後のてんやわんやの顛末については別の記事に譲るとして、幸いITCが管理する機器や設備には地震による深刻な被害はありませんでしたが、とにかく３月中はKISHどころの騒ぎではなくなってしまいました。
一時はKISHリプレースの実施自体が危ぶまれるほどでしたが、結局、予算も付いているので今年やるしかない、やるぞということでGoサインが出ました。しかし少なくとも３月中はKISHどころではなく、もともと抱えていた年度末作業に加えて震災後の各種対応に追われてほとんど作業ができないうちに、気付けば４月に入っていました。そこへ追い打ちをかけるように、計画停電で深刻な影響を受けていた湘南藤沢ITCへY氏が４月１日付けで異動となりました。もう一人の先輩スタッフH氏（先ほどのH氏とは別人）は、こちらも当初予定からだいぶ遅れ気味に進められていたITC Webリニューアルの作業に掛かりきりとなっていたため、かくして考えもしていなかったKISHリプレースの主担当の座に、IPネットワークの管理経験がせいぜい１年半という人間が収まることになってしまいました。
何しろ、今の世の中ネットワークは使えて当たり前、何も起きなければ誰も気にも留めないが、ひとたびトラブルが起きれば非難囂々、それが情報ネットワークというものなのです。そんな重要なインフラのリプレース作業をほとんど素人同然の自分がやるのはいかがなものか？という思いはありましたが、そこからの数ヶ月は、異動された先輩２人の多大なご協力を得ながらも実際にはそんなことを考える余裕もないほどでした。
2.3

業者選定からリプレース完了まで４月上旬に、締切まで２週間弱しかないという恐怖の提案依頼書をなんとか各社に提出し、４月下旬には各社からの提案書・見積書が揃ったのも束の間、７月の評議員会での承認に向けたプロセスが始まりました。今回のリプレースでは、マルチベンダ化を意識してメーカや機種の指定をしないように提案依頼書を作成したのですが、これがなかなか難しく、結局BBに関しては提案書が揃ってからも最後まで採用方針について検討に検討を重ね（意訳：モメにモメ）ることとなり、最終的にITC内で方針を決定したのは５月も半ばになってからでした。なお、震災後の電力事情に鑑み、省電力性能という要件の重要性が非常に高くなったことは記録として留めておく必要があろうかと思います。
ITC運営委員会で承認を得た時点で仮押さえの手続きを執りましたが、それでも間に合うかどうか微妙、という状況でした。６月からは構築作業を担当するベンダとの定期的な打合せも始まり、本格的な設計フェーズに入りましたが、筆者の技術的素養の不足は明らかで、内容で分からない部分が続出という有り様。幸い、Webリニューアルのミッションを無事終えたＨ氏が本格的に参戦してくれたため、何とか乗り切ることができました。

25

７月20日、評議員会での稟議可決の報を受けて胸をなで下ろした時には、すでにリプレース作業の日程が目の前まで迫っていました。実はそれからも一波乱あったのですが、それはここでは置いておきます。８月に突入すると、早いキャンパスでは機器の設置およびリプレース作業が開始されました。BBでは８月１日にベンダ側にようやく機器が到着し、それからわずか１週間足らずのうちに一通りの設定投入、擬似環境での動作テストまでを行ってもらいました。
８月８日に三田キャンパスに納品されてきた機器の実物を見たとき、ようやく今まで準備してきたことの実感が湧いてきました。しかしまだ気は抜けません。８月10日までの３日間で６キャンパスを回って機器を設置した後、夏季休暇初日の11日からは早速リプレース作業に取り掛かり、日吉、矢上、湘南藤沢、三田、信濃町、芝共立の順で１日ずつ回りました。９日間連続での作業となりましたが、余裕を持ってスケジュールを組んだおかげで１日ごとの作業量はそれほどでもなかったのと、十分に準備はしてきたという自負があったので、実際にはこの段階まで来るともうそこまで大変ではありませんでした。いくつかトラブルはあったものの、８月16日に芝共立での作業を終えたとき、やっと肩の荷が下りた気がしました。まだ多少の残作業はありましたが、KISH4がその役目を終え、KISH5にバトンが渡された瞬間でした。

３．KISH5キャンパスネットワークの特徴以上、ほとんどBBの話が中心となってしまいましたので、各キャンパスネットワークのリプレース作業について、KISH5の特徴やKISH4との違いを中心に以下に簡単にまとめます。
■ 三田キャンパス
三田キャンパスでは、導入時期の関係で対象外となった南館、南校舎以外の全ての建物についてリプレースを実施しました。
三田キャンパスの機器設置方針では、原則として利用者に一番近い末端のスイッチ（エッジスイッチ）はフロア毎に設置され、上流であるコアスイッチと直接２×１Gbpsで接続されています。ただし、研究室棟や東館のような規模の大きい（利用者の多い）建物ではフロア毎に複数のエッジスイッチが必要となり、その台数が１棟あたり10台を超えることもあります。その場合、建物内の基幹となるサブコアスイッチを置いて各エッジスイッチと２×１Gbpsで接続し、さらにこのサブコアスイッチをコアスイッチと２×10Gbpsで接続することで十分な接続性を提供するようになっています。
今回のリプレースによる改善点としては、まず全ての情報コンセントを１Gbps化したことが挙げられます。KISH4までは主に研究用途の建物にのみ１Gbpsの接続を提供して26

いましたが、KISH5ではキャンパス内の全情報コンセントを１Gbps対応としました。２点目は、コアスイッチを冗長化したことです。三田キャンパスの基幹は２台のコアスイッチで構成されていますが、KISH4までは片方が停止してしまった場合にそちらに接続されていた建物は接続性が失われる構造となっていました。KISH5ではVSS技術によってこれら２台を冗長化し、耐障害性を高めています。３点目は、接続構成の見直しを行ったことです。近年、三田キャンパスではネットワーク機器の数が増え、コアスイッチに接続されるケーブル数も増加していました。KISH5では図書館をサブコアスイッチ構成に変更することで、よりシンプルな構成となりました。
リプレース作業は、利用者が少ない教室用途の建物は８月前半に実施し、それ以外の建物についてはキャンパス一斉休暇中に実施しました。また、コアスイッチのリプレース作
業ではキャンパス全体のネットワークが停止するため、一斉休暇中の夜間に作業を実施しました。全体として作業は概ねスケジュール通りに進み、大きなトラブルもなく終えることができました。
■ 日吉キャンパス
日吉キャンパスでは、KISH4導入後に建てられた協生館、独立館等を除く16の建物の機器リプレースを行いました。機器構成としては、VSS構成のコアスイッチから、２×１Gbpsまたは２×10Gbpsで対象の各建物のスイッチに接続されています。利用者に近い各フロア・教室に設置された末端のスイッチは上記のいずれかのスイッチを上流としています。
今回のリプレースでは、耐障害性・消費電力の削減等が改善されました。耐障害性としては、これまでコアスイッチに直接接続されるスイッチへは各機器間で配線の二重化を行っていましたが、KISH5ではVSS技術によってコアスイッチを物理的に冗長化したことでコアスイッチの一方に障害が発生した場合でも各建物の接続性が保たれるようになり、可用性が向上しました。消費電力の削減については、東日本大震災に伴う電力事情により前年度比の消費電力の低減を求められていたため、導入機器については消費電力も大きな選定要件となり、リプレース後の機器ではKISH4で導入した機器と比較してカタログ上の合計消費電力を20％以上低く抑えました。また、KISH4で導入した機器では利用者がPC等の機器を直接接続するポートには100Mbpsのものもありましたが、KISH5ではすべて1Gbps対応となり利用者のネットワーク速度の向上も行うことができました。
リプレース作業は、日吉キャンパスの一斉休暇となる８月23日〜８月28日の間で各棟・校舎別に実施し、キャンパス全体のネットワークが停止するコアスイッチのリプレースは最終日である８月28日に実施しました。

27

■ 信濃町キャンパス
信濃町キャンパスでは、2010年２月に竣工しネットワーク整備が完了している３号館（北棟）を除くすべての建物についてリプレースを実施しました。
KISH5における変更点は２点あり、用途や建物に応じて５台のルータを使い分けていたのを２台のコアルータに集約したことと、末端までを１Gbps化したことです。また、トラブル時の切り分けを容易にするために、スイッチ筺体間にまたがるような特殊な冗長化は行わず、物理的・論理的にもシンプルなスター型の構成をとるようにしました。
信濃町キャンパスは一斉休業期間がないため、リプレース作業時に掲げたコンセプトは「限りなく無停止」でした。これを実現するために、コアスイッチを含めて新旧機器の二重稼働を行いながら、配線も二重に行い、短時間で旧機器から新機器へと収容替えするという手法を採用しました。原則として平日の日中帯に作業を行うこととし、レイヤ１および２の接続変更からレイヤ３の最終的な切替えまで、８月上旬から９月上旬までの約１ヶ月をかけてリプレース作業を行いました。物理的に機器を二重設置できないような廊下等に置かれた電工ボックス内の機器リプレースでは、活線・稼動状態で旧機器を取り外して作業員がホールド（要するに「だっこ」）し、その状態で新機器を設置、接続、起動させ、旧機器から配線の収容替えを行うというかなりアクロバティックな作業を行う必要がありました。
レイヤ３の切替え時に、ルーティングプロトコルの設定ミスから業務系ネットワークとメディアセンターのネットワークが一時的に不通になるという障害が発生しましたが、それ以外はトラブルもなく順調にリプレース作業を終えることができました。
■ 矢上キャンパス
矢上キャンパスでは、キャンパス内で稼働しているITC管轄のネットワーク機器全台がリプレース対象となりました。
矢上キャンパスのネットワークは、14棟と23棟に２台ずつコアルータがあり、いずれかにエッジスイッチが接続されるという構成になっています。KISH5では、２台の筐体を仮想的に１台とするVSS技術を採用したことにより、以下の各項目が改善されました。
１点目は、重要な機能を14棟に集約したことです。14棟は、免震・非常用給電などの堅牢な設備を備えていて、BB等のキャンパス間接続の機器や各種サーバ類など理工学ITCの主要な機能のほとんどが設置されています。KISH4では14棟ルータと23棟ルータの間でルータ冗長構成としていましたが、KISH5ではVSS接続した14棟の２台で冗長化し、23棟機器でのルーティングは行わない構成としました。重要な機能を14棟に集約したことにより、災害時などの運用維持可能性が見込まれるようになりました。また、これまでは14棟

28

と23棟の間が分断される事故が発生するとキャンパス全域が不通になってしまう構造でしたが、その場合でも主要機能を維持できるようになりました。
２点目は、キャンパス間接続機器との接続性能の向上です。KISH4では14棟と23棟のそれぞれのルータが10GbpsでBB機器と接続され、アクティブ／スタンバイ構成で運用していましたが、KISH5では14棟ルータとの２×10Gbpsの接続に変更し、帯域性能の向上を図りました。また、３点目として、各エッジスイッチからコアスイッチへの接続が２台の筐体をまたぐ冗長構成となったために、コアスイッチの障害時の可用性が向上しました。
この他、KISH4では普通教室の学生席などの情報コンセントが100Mbpsでしたが、KISH5では全ポートを１Gbps対応としました。また、一部のエッジスイッチで大型の機器を使用していたのを小型機器のスタック構成に変更することで、省電力化と省スペース化を実現することができました。
リプレース作業は、一斉休暇期間を含む８月11日〜８月19日の間に実施し、コアスイッ
チのリプレースは電気設備の法定点検が行われる８月11日に行いました。
■ 芝共立キャンパス
芝共立キャンパスでは、KISHとしての導入はKISH5が初めてとなりました。
芝共立キャンパスは1号館、２号館、３号館の３つの建物から構成されており、各館が光ケーブルにより接続されています。３号館のメインノードに設置されているコアスイッ
チから１号館、２号館に設置されているディストリビューションスイッチに接続されており、そこから各フロアスイッチに接続される構成となっています。
KISH5では基本的にはKISH以前の構成を踏襲していますが、コアスイッチについてはVSS接続を、ディストリビューションスイッチについてはスタック構成を採用し、冗長性の確保を考慮した構成としました。以前の構成では、主系のコアスイッチに障害が発生した際には副系への物理配線の切替えが必要でしたが、KISH5では配線切替え等の作業を必要とすることなく接続性を確保することが可能となっています。また、エッジスイッチへの接続は、冗長化しているコアまたはディストリビューションスイッチのそれぞれの筐体から１Gbpsで接続することで、上流スイッチの１台が停止してもネットワークの接続性が保たれるようになっています。
BBへの接続はこれまで三田キャンパスネットワークを経由して行っていましたが、KISH5ではBBのルータを設置し、そこから三田（10Gbps）の他に信濃町（１Gbps）と接続することで冗長経路が構築され、キャンパス間通信においても安定したネットワークサービスを提供できる環境となりました。

29

WIDEḕධ⮮ᴛ⮮ᴛ㪈⮮ᴛ㪉

ᣣศ

⍫਄

ᣣศ㪈

⍫਄

ᣣศ㪉
Backup

SINET
ਃ↰ାỚ↸

ਃ↰

ାỚ↸

⦼౒┙

WIDE
KISH4 BB 䊦䊷䉺⟲ISP‛ℂ࿁✢䋨100M䋩
‛ℂ࿁✢䋨1G䋩
‛ℂ࿁✢䋨10G䋩

図１

KISH4 BBの構成

リプレース作業は、８月15日にエッジスイッチ、８月16日にコアスイッチ、ディストリビューションスイッチの設置作業を行い、ともに同日に切替え作業まで実施しました。
■ バックボーンネットワーク（BB）
KISH5のBBは、KISH4と比べてさまざまな部分で構成が変わっています。図１に
KISH4 BB、図２にKISH5 BBの構成を示します。まず、KISH5では芝共立が拠点として追加されました。KISH4での芝共立キャンパスネットワークは、三田キャンパスネットワークから１Gbpsの商用回線（および100Mbpsのバックアップ回線）経由で接続されていましたが、KISH5ではBBのルータ（Cisco 7604）を設置し、三田および信濃町のルータとそれぞれ10Gbps、１Gbpsで接続されるようになりました。また、KISH4では２台構成となっていた日吉と湘南藤沢のルータについては１台に集約しました。
もう一つの大きな変更点は、各キャンパス間の接続がレイヤ２（L2）での接続からレイヤ3（L3）での接続になったことです。KISH4 BBでのキャンパス間接続は、L2のトランクリンクとして接続された物理回線上に、それぞれのキャンパスから他の各キャンパスと接続された論理ネットワーク（VLAN）を作成することで実現していました。これは、30

WIDEḕධ⮮ᴛ⮮ᴛᣣศ⍫਄ᣣศ⍫਄Backup

SINETਃ↰ାỚ↸ਃ↰ାỚ↸⦼౒┙⦼౒┙WIDE
KISH5 BB 䊦䊷䉺⟲ISP‛ℂ࿁✢䋨100M䋩
‛ℂ࿁✢䋨1G䋩
‛ℂ࿁✢䋨10G䋩

図２

KISH5 BBの構成

キャンパス間をまたぐようなL2ネットワークを利用したいという利用者の要望に応えるため、というのが大きな理由でしたが、構成が複雑になってしまうのと、スパニングツリー
プロトコル（STP）によって実際には利用されない冗長経路ができてしまうという欠点がありました。KISH5 BBでは、Cisco 7606および7604のMPLS／VPLS機能を利用すること
で、キャンパス間の物理回線についてはL3での接続としつつ、その上に構築したMPLS／VPLS網によって自由度の高いキャンパス間L2ネットワークを実現することができるようになっています。
また、KISH4からKISH5への更新に合わせて、キャンパス間回線の増強を行いました。
矢上−湘南藤沢間に10Gbps、信濃町−芝共立間に１Gbpsの新規商用回線を敷設したことで、すべてのキャンパス間で複数の経路を利用できるようになり、耐障害性が向上しました。三田−芝共立間の回線は１Gbpsから10Gbpsに増速し、芝共立キャンパスと他の各キャンパスとの間にも10Gbpsの帯域を確保しました。バックアップ回線（100Mbps）については、三田−芝共立間の回線を統合したことで、全キャンパス間でフラットな接続形態となりました。

31リプレース作業の日程については概要のところで述べた通りですが、KISH4からKISH5への切替えにあたりBBが停止することは、塾内全体でキャンパス間の通信や塾外との通信ができなくなることに直結します。このため、停止時間を最小限にするべく、冗長回線を利用してKISH4とKISH5のBBを併存させ、１拠点ずつKISH4からKISH5に切り替えていくとい う 方 法 を 採 用 し ま し た 。外 部 接 続 に つ い て も 、WIDE 、SINET と ２ 系 統 の10Gbps接続があることを利用し、常に接続性が維持されるようにしました。その結果、切替え作業対象のキャンパス以外はほぼ無停止に近い状態でリプレース作業全工程を終えることができました。

４．おわりにKISHは利用者のみなさんの目に触れることはほとんどありませんが、慶應義塾の情報インフラを下からがっちりと支えているとても重要なネットワークです。そのリプレース作業はかなり大掛かりな事業でいろいろと大変な面もありましたが、この事業に関われたことで、技術的なことやそれ以外のことの両方で多くの経験を得られたと思っています。
ネットワークは日々進化していくものですから、KISH5や次のKISH6（？）が今後どのようになっていくのか、筆者自身、少しの不安とともにとても楽しみにしています。
最後になりましたが、今回のKISHリプレースに関わったすべての方に、この場を借りてお礼を申し上げます。

32