京都大学のネットワークとその管理について

2016年8月23日
京都大学 情報環境機構
斉藤康己

今日お話すること• 京都大学のネットワーク：KUINS• KUINSの歴史• ネットワーク運用の現状• セキュリティ運用の現状• KUINS-DB（デモ？）• 企業ネットワークとの比較• 他大学との比較• 課題• 今後の方向性

KUINS• KUINS =Kyoto University Integrated Information
Network System• 京都大学の学内ネットワークの略称。発音は「クインズ」）。

• 病院は「KING」と呼ばれる独自のネットワークも運用。電子カルテや医療機器など機密性の高い情報を扱う機器を接続。

日本中に広がる京大の拠点（全てKUINSに繋がっている）

KUINSネットワーク
概略図 2016年8月現在

各種サーバ
データセンタ用
スイッチ

ファイアウォール
ルータ

SINET5

FR

不正アクセス検知装置

DSa
熊取地区（原子炉実験所）
大津地区 (生態学研究センター)

IP-VPN(ケイ・オプティコム)

CR

犬山地区（霊長類研究所）（ 犬山地区にもDNSサーバを設置）
地域ネットワーク
広域LAN 等 東京オフィス、理学研究科附属
飛騨天文台、防災研究所地震予知研究センター等
全国 8箇所
館林データセンタセンター
ルータ
桂地区(Kg)

北部構内(K1)
本部南構内(K3)専用線等

宇治地区(Ku)

防災研・宇治川オープンラボラトリ，
生存研・信楽MU観測所 2箇所

病院東構内(K6)
吉田南構内(K4)
NTT、KDDI回線等

医学部構内(K5)
薬学部・病院西構内(K7)

農学研究科附属農場、
防災研究所各観測所、フィールド科学教育研究センター、野生動物研究センター熊本サンク
チュアリ、各実験所等 全国 70箇所

110Gbps
情報コンセント

構内
スイッチ

10-20Gbps
1-10Gbps

学内施設各棟その他

末端スイッチ館内スイッチ

本部北構内(K2)

構内スイッチ11台

館内スイッチ

約200台

末端スイッチ

約1,260台

情報コンセント

約32,000台

無線LAN AP

約2,100台

KUINSの規模と広がり
ユーザの規模：ユーザ数
教職員（SPS-ID）: 約11,000学生（ECS-ID）: 約23,000

ネットワークの規模：
遠隔地接続: 91箇所
情報コンセント数: 約32000
無線LANアクセスポイント：約2100

情報コンセント• 全ての部屋にKUINS接続用の情報コンセントがある。

情報コンセントの使い方
情報コンセントハブ

利用申請が必要。
（通常は研究室で既に実施済み）。

KUINSを利用するようにProxyなど設定。
今は透過型Proxyを推奨（何もしなくて良い）。

無線LANアクセスポイント

有線LANと無線LAN
約32,000

CS

BS

FS
情報コンセント

PC

CR
CS

BS

FS

無線LAN AP
約2,100

モバイル
端末

有線
無線

KUINS-IIとKUINS-III
IPアドレスの割り当て

セキュリティのレベル

繋げるマシングローバル
低い
130.54.0.0/16 (インターネットに直133.3.0.0/16接晒される)

Webサーバ
Mailサーバなど

高い
プライベートKUINS-III(ProxyとNATを経由10.224.0.0/11
して外に)

PC
モバイル端末プリンター

KUINS-IIKUINS-IIのグローバルIPアドレスの数:約2,500（保有しているアドレス空間の約4％）vlanの多用• 各研究室などの部屋の情報コンセントにはそれぞれ別のvlanを割り当てている。
• Tag VLANのvlan-idの4094という上限を越えてvlanが必要となる場合があり、「ひねり」と呼ばれる細工をしないといけない場合がしばしば発生している。
• KUINS-DBによる管理ができているおかげで運用できているが、…

KUINS-IIIのセキュリティモデル
学外

学内

インターネット(SINET経由)（厳格な登録制、IPアドレス毎の負担金）

KUINS-II

ProxyサーバKUINS-IIIからインターネット
へはProxy経由

この間は直接通信KUINS-III

VPN接続
学外からKUINSIII VLANへ
VPN接続（研究室レベルの小さなVLAN)
13

KUINSの歴史• KUINS-I、平成元年（1988年）– 光基幹ループLANとして• KUINS-II、平成9年（1996年）– ATMネットワークの導入• KUINS-III、平成14年（2001年）– プライベートアドレス空間の導入。
– 主にセキュリティ対策のため。

• 平成21年（2008年）基盤コンピュータシス
テム第一期レンタル開始（6年レンタル）。
• 平成26年（2014年）基盤コンピュータシス
テム更改（6年レンタル）。2020年まで！

KUINSの年表
1988年（平成元年）

1996年（平成9年）

2016年（平成28年）

2001年（平成14年）
KUINS-III開始

KUINSの年表（2000年～2008年）

KUINSの年表（2009年～現在）

KUINS-NWのセキュリティ対策の歴史
1990
(H02)

1995
(H07)

KUINS運用開始（1988）

おおらかな？
インターネットの時代

2000
(H12)

2005
(H17)

KUINS-III導入（KUINS-DBも）（2002）
CodeRed, Nimda
大流行（2001）
18000

2010
(H22)

2013
(H25)

IDS設置（2007）
利用者管理
統合認証システム導入（2008）KUINS-IIIからのP2P利用禁止（2006）

16000
14000

Winnyで逮捕（2003）

12000
10000

16000個もあったグ
ローバIPが1年で2000個に激減！

8000
6000

グローバルＩＰ数の推移

4000
20000
H13 H14 H15 H16 H17 H18 H19 H20 H21 H22 H23 H24 H25 H26 H27 H28

危機管理委員会による通信遮断件数の推移• 京都大学では、学外に大きな影響を与えるインシデント等に対して、緊急措置として通信の遮断を行って来た。
その経年推移を見ると：
60
50
40

CodeRed,Nimda
学外へのDoS攻撃

KUINS-III（プライベートアドレス）の導入。
キャンペーンや負担金が功を奏し1年で大きな効果！

遮断件数
30
20

学外IRCサーバへのDoS攻撃

100
H13 H14 H15 H16 H17 H18 H19 H20 H21 H22 H23 H24 H25 H26 H27 H28（2000）（2005）（2010）（2015）

ネットワーク運用の現状全学情報システムと位置付けられた下記の企画、整備、管理及び運用を情報基盤部門で実施。
– KUINS– 統合認証基盤– 全学のセキュリティ対策の主管業務– ソフトウェアライセンスの把握と管理• 部門の構成メンバー：（全9名+NEC常駐3名）– 教員
IT企画室 教授
1名
– 技術職員 情報基盤課 主査
1名
情報基盤課 ネットワーク管理掛
3名＋（NEC常駐 3名）
情報基盤課 セキュリティ対策掛
2名– 事務職員 情報推進課 情報基盤掛
2名

故障などによるサービス停止障害の経年変化
件数
60
50
40
30
20100

重要障害

その他の障害重要障害は「ネットワークの全断あるいは、複数の構内での通信不可、複数サービスの停止」と定義。

例えばloop障害対応• 年に100件程度のloop障害が発生する。
• 殆どが情報コンセント配下でのユーザによる接続間違いが原因。
• 館内SWで検知し、メールで運用者に連絡が来る。
• KUINS-DBでvlanの管理者を調べ、連絡。
• 他に影響があれば、一時遮断。
• 原因がわかり、loop状態が解消されたら遮断解除。
• 問い合わせ対応でもKUINS-DBが活躍。

– 情報コンセントの番号特定や、それが収容されている末端SWのポート番号把握など。

セキュリティ運用の現状• 全学のセキュリティ対策の主管業務は説明省略。
• 日々のセキュリティ対策は：– 外部からの指摘、あるいはIDSからのアラートで活動開始。
– KUINS-IIは、KUINS-DBで機器管理者を特定し、安全確認を依頼（同時にその部局のセキュリティ連絡責任者にも連絡）。
– KUINS-IIIはややこしい。
– 各種ログ（DHCPや認証など）を見て、追いかけないと端末やそのユーザが特定できない。

KUINSのセキュリティ監視
学外
学内
学外ネットワーク(SINET経由)

汎用コンNWを集中監視
全学FW
IDS

IDS

センタールータ

学内外トラフィックの一括監視（外部委託による人間による２４時間３６５日の監視。）

その他の学内ネットワーク群(KUINS-II、KUINS-III含む）

汎用コンNW
ここに情報環境機構のVMサービスやホスティングサービスも収容IDSアラートの件数（7月分）

さらに重要なアラートを選別

これらのイベントの中から重要なイベントのみを選別し、かつ「初検知」とか「検知数倍増」などの分類をした上で、メールで「セキュリティ対策掛」に連絡が来る（人手で24h365dの対応）。
例えば7月の通知数は108件。
中には、重要度中や低のものも若干含まれる。

KUINS-DB••KUINSDB（KUINS接続機器登録データベース）は、VLAN・ホストの登録申請や、機器・IPアドレス・情報コンセントの管理を行うためのシステム。
単なるDBではなく、利用申請、設定変更、承認の手続きや、利用するネットワーク・機器の管理を全てWebブラウザ上で行うことが出来る。

2003年から稼動！

KUINS-DBのNW機器自動設定機能• さらに、VLANの設定や、DNSの設定変更などをDBの更新結果に基づいて、自動的に行うことができる。

FW ルータKUINS-DB
申請

センタールーター
設定

タスクリスト

館内SW

VLAN管理責任者
PDNS

末端SW実行確認完了

NW管理者

DNSサーバKUINS-DBで負担金計算も• 年に1回、計算し、財務から各部局へ請求。
• KUINSの負担金は、歴史的経緯から：– KUINS-IIのグローバルアドレス1つが、1500円/月。
– KUINS-IIIの情報コンセント1つが、300円/月。

• これで、毎年の保守・運営費用の約半分を賄っている。

企業ネットワークとの比較• 企業ネットワークのDMZモデル
The Internet

FW

The Internet
Web、Mail、DNS、NAT
Proxyサーバなどを配置
DMZ

FW

社内網（プライベート空間）

FW

社内網（プライベート空間）

DMZ

KUINSのポートの空き具合
学外

学内

★
インターネット(SINET経由)

：ＩＤＳ

★、★★：
別ページで説明

全学FW（FR）
NATサーバ
PPTPサーバ
センタールータ（ＣＲ）
構内スイッチ（ＴＳ）

http, https, ssh,smtp（KUINS-DBで要申請）
汎用コンNW
All ports

All ports
学内ネットワーク群(KUINS-II）★★
（ハイポート＋必要なものを許可）

学内ネットワーク群(KUINS-III）31

企業ネットワークとKUINSの比較（続き）• セミOpenなNWであることは明らか。
– 部局の自治、研究の自由など理由はあれど、セキュリティ上はあまり好ましくない、…

プライベート空間利用とvlan多用の功罪• KUINSのメリット
上記にもかかわらず、セキュリティは向上！
– セキュリティ・インシデント発生時も影響範囲を小さな研究室内に限定することが可能。
– プリンターが外部から丸見えという話があった時も、KUINSはほぼ全てのプリンターがKUINS-IIIに居たので問題なし！

• KUINSのデメリット– 複雑（DHCP、NAT、Proxy）– インシデント発生時の対応が大変！
– 思わぬ事故（人為事故、ミスなど）が増える。

他大学との比較• プライベート空間を作っているところはまだ少ない？
– 移行が進みつつある。
– 北大。
– 他は？

• 鳥取大学、大森先生のお話も聞いて、…

課題• Single Point of Failureの解消– 上流（SINET5のみ、…）。
– サーバ類セグメントのSW（Dsa）ー＞解消済
み。
– サーバ類セグメントのストレージ。

• KUINS-Airから研究室VLANに入る仕組みの構築– VLANの複雑さが一つのネック。

• IP電話の導入– 固定IP電話はVoiceVLANに収容。
– PC上のソフトフォンはどうする？？（各研究室のPCはそれぞれのVLANに繋がっているので）。

今後の方向性• 企業のDMZモデルの方へ緩やかにシフトするか？
• IPv6を導入し、（これは全くのナイーブアイデア）– IPv6を全く自由なNWとして提供。
– 「何でもやりたい人はv6使って！」と言う。そのかわり、セキュリティは自己責任？？？
– KUINS-IIIは企業内NWと同じように制限をきつくする。
– KUINS-IIはDMZへ衣替え？（各研究室等への分散をやめる方向へ）。

まとめ• プライベート空間の導入はセキュリティを高めるのに大いに効果あり。
• 但し、それで万全というわけではない、
言わずもがな。
• ネットワークが複雑になり、運用もそれなりに大変になることは覚悟する必要がある。
• 結局、コストと、手間と、担保したいセキュリティレベルのトレードオフ。