龍谷大学理工学部におけるネットワーク運用（失敗）事例
龍谷大学理工学部
小島 肇

きょうのおはなし
対外接続系の話
 界面系の話
 メール配送系の話
 瀬田学舎教育系の話
2

組織の紹介

RINS; Ryukoku Information Network
System
理工学部ネットワークの運営母体
 予算はあまりない


情報メディアセンター
全学的な運営母体
 潤沢な予算3

龍谷大学 瀬田学舎

4

対外接続系の話

龍谷大学ネットワーク（2006.07）
生協インターネット（野村総研）
20MbpsASTEM - NCA-5
100Mbps

メールサーバ大宮

default route

瀬田深草
100MbpsASTEM：京都高度技術研究所
NCA-5：第5地区ネットワークコミュニティ （主催：京都大学）

6

2006.07 までの状況
瀬田 – ASTEM – NCA-5 のラインがた
びたび障害で停止

生協側が生きていても対外接続は停止してしまう

京都大学が NCA-5 が手を引きたがっているという話デジタル疎水（2003～）への移行
デジタル疎水：京都デジタル疏水ネットワーク。京都
府主催の光基幹ネットワーク

7

BGP化の検討

もともとはさくらインターネットからの持ち込み企画



各学舎をより独立的に運用する案も検討されたが、結局採用されず


龍大 OBNEC

深草学舎での一極集中接続案が採用される

single point of failure
理工学部はバックアップ回線の必要性を訴えるも、いまいち通じず
8龍谷大学ネットワーク（2006.08）
メールサーバ

IIJ
100Mbps

NTT – デジタル疎水
100Mbps

大宮BGP
AS37895
瀬田

深草
100Mbps9

変更後の不具合

特定の組織との間の通信に障害が発生

京都大学、生協インターネット、大学コンソー
シアム京都、りそな銀行、……

MTU を 1500 から 1470 に変更すると回避できる

新規導入機器（BGP ルータなど）が悪さを？

MTU: Maximum Transmission Unit。Ethernet のデフォルト MTU は 1500 オクテット

10

実は……
こうなっていたのが原因らしい
こちらへ戻るはずが京大・NCA-5

デジタル疎水IIJ

この回線が中途半端に生きていた連絡・依頼と確認の不徹底
大宮
BGP
AS37895

瀬田

深草
100Mbps11

変更後の仕様

深草学舎が single point of failure

瀬田学舎からすると、サービスが degradeしたように見える

法定点検に伴う停電時にさっそく露呈「電源車により対応する」とされていたが、実際には機能せず
 バックアップ回線の必要性がようやく理解される

12龍谷大学ネットワーク（近未来）
メールサーバ

IIJ
100Mbps

NTT – デジタル疎水
100Mbps

NTT – フレッツ
100Mbps
大宮

NAT

BGP
AS37895
瀬田

深草
100Mbps13界面系の話ファイアウォールポリシー

ごく限られたポートのみ

内

外原則禁止

15

ごく限られたポートのみ……


実は 80/tcp が解放されているまずいじゃん！
 プリンタやルータの Web 管理インターフェイ
スなど、イントラのつもりのサーバが見え見え……
 理工学部で使用している IP アドレス領域については 80/tcp も塞ぐように依頼

16

外に出るには proxy 必須

用意しているもの

自動系のものは使わないhttp proxysocks5 proxy（理工学部のみ）
rtsp proxy （理工学部のみ）
透過型 proxy ではない
CARP （Cache Array Routing Protocol）は使わない
WPAD（Web Proxy Auto Discovery）は定義しない

proxy はべんり

内部で変なものが流行っても外に出ていきにくい（といいな）
やばそうなコンテンツについては proxy でアクセスを制限できる（かもしれない）
17

検出系
IDS/IPS の類はなし

全学設備にもない
つい最近のネットワーク導入に含めようとして失敗（予算不足 orz）

ログを読む



全学ファイアウォールには興味深いログがたくさんありそうだけど私には読む権限がない
理工学部内の特定のサーバのログをしこしこ読んでJPCERT/CC に報告する日々
18

ログを読む話SSH や FTP への辞書攻撃がひどくてログが読み切れない

一定以上のエラーが発生した場合にはアクセスを一時的に拒否するツールを使うようにした

http://www.st.ryukoku.ac.jp/~kjm/security/sshbook/hosoku.html#20061129
手元のサーバでは iptables も pf も使えないので、/etc/hosts.allow を操作するように変更した

apache のエラーログをまじめに読んでみたら
attack がいろいろあるみたい

それっぽいものは syslog に吐き、再集計してJPCERT/CC にタレコミ
19それっぽいものは syslog に吐き<IfModule mod_setenvif.c>
SetEnvIf Request_URI "/convert-date¥.php" worm
SetEnvIf Request_URI "/crontab/" worm
SetEnvIf Request_URI "/index.inc.php" worm
SetEnvIf Request_URI "/modules/" worm
SetEnvIf Request_URI "/phpmailer/" worm
SetEnvIf Request_URI "/phpmyadmin/" worm
SetEnvIf Request_URI "/pop3/core¥.php" worm
SetEnvIf Request_URI "/replace/plugin¥.php" worm
SetEnvIf Request_URI "/routines/" worm
SetEnvIf Request_URI "/skin/" worm
SetEnvIf Request_URI "/xmlrpc¥.php" worm
SetEnvIf Request_URI "/ws/get_events¥.php" worm
SetEnvIf Request_Method "SEARCH" worm</IfModule>……
<VirtualHost 133.83.35.54:80>
CustomLog "|/usr/bin/logger -t apache:133.83.35.54 -i -p security.info" combined env=worm</VirtualHost>
20

課題


socks があればかなりのことができる






コネクション flood 系の攻撃に弱い

Winny できます（笑）
socks = ssh の動的ポートフォワーディング
ログ……
意図しない「攻撃」が多い
自動系は使わない点と諸刃Web を利用するマルウェアの増加
ICAP（Internet Content Adaptation Protocol）を利用したコンテンツフィルタとか

お金ない人も squid + c-icap + ClamAV とか21

メール配送系の話

理工学部のメールまわりMTA: postfix 2.x

サーバ台数：3Rgrey（S25R + greylisting）を使った spam 対策（2005～）






http://k2net.hakuba.jp/rgrey/
S25R：Selective SMTP Rejection
spam 数が 1/6 程度に減尐（当社比）
ウイルスメール数が 1/10 程度に減尐（当社比）

amavisd-new を使ってウイルスチェック
Sophos AntiVirus (Sophie – SAV Interface を利用するdaemon)

http://www.clanfield.info/sophie/
Sophie を使わないとパフォーマンス悪すぎ

ClamAV

daemon 版標準添付
23

失敗事例


大量のメールによるメール配送遅延

素の greylisting を使うと痛い目にあうSophos AntiVirus によるウイルスチェックが負荷にSophie 化して対応
SMTP を無視するサイトからのメールが届かないRgrey 化して対応（動的 IP アドレスっぽいところにだけ greylistingを適用）

ClamAV が phishing メールをうまく検出できないことがある

phishing ルールのいくつかはメールヘッダも見ているようだ
amavisd-new はメールを分解してボディだけをアンチウイルスに食わせているっぽい→よって検出できない
postfix 2.3 以降の milter 機能を併用して対応→clamav-milter をpostfix で利用する

24

postfix と clamav-milter

http://www.postfix.org/MILTER_README.html
main.cfpostfix から/var/run/clamav/clmilter.sock にアクセスできるように設定しておく

smtpd_milters = unix:/var/run/clamav/clmilter.sock
milter_default_action = accept

chgrp postfix /var/run/clamav/clmilter.sock
chmod g+rwx /var/run/clamav/clmilter.sock

smtpd を chroot している場合は注意（master.cf）
chroot しないようにするか、あるいは chroot 先からアクセスできるように設定する
25

失敗事例


メールの滞留状況がわかりづらい

MX が低位のサーバに fallback するようにした








fallback_relay = fallbackmx.st.ryukoku.ac.jp

queue を削除する場合も fallback 先だけで処理す
ればいいので楽MX が上位のサーバの負荷低減にもなる

誤検出すると再送できない（再送するとまた誤検出するので）アンチウイルスを通さないホストを用意する
一時的に特定ホストの設定を変更する
26

こんな感じpostfix 1
MX: 15外内

postfix 2
MX: 15fallback_relay
postfix 3
MX: 20
誤検出メールを手作業で移動

sendmail27

課題

ウイルスを直接添付するメールの減尐Web ページ上に設置し、spam メールでそこへ誘導する形式が増加

そろそろ taRgrey を試してみるべきか……


ウイルス対策の意味での spam 対策の重要性
http://k2net.hakuba.jp/targrey/Rgrey にタールピット機能（接続遅延）を追加
しかし 125 秒遅延って……

コンテンツフィルタ系の spam 対策もの?
28

瀬田学舎教育系の話

概要

2003 年検討、2004 年導入。


クライアント: 約 1200 台Windows / Linux デュアルブート：約 750 台
Windows のみ：約 500 台
Mac: 約 70 台

ファイルサーバ

使用期間は 5 年

EMC Celerra NS7000GS / CX700 (ユーザ領域1.2TB)

その他、ドメインコントローラ、PC 管理システム、教室用ネットワークなど

30

失敗事例
PC管理システムの仕様

クライアント復旧インストールシステムの機能を可能とするもの







Windows / Linux のクライアントバックアップ・リストアができること教室単位・1 台単位でリストアできること
OS を指定してのクライアントのリモート起動・停止ができること……

マスター・メディアからのイメージ配布・インストールが容易であること。自動化されていることが望ましい

失敗：パーティション単位での操作が明記されていない
導入されたもの（Altiris Deployment Server）は対応していな
かった orz31

失敗事例：Linux

採択業者が提案したのは Turbolinux 10 Desktop










仕様では 5 年サポートを明記
提案時に「Turbolinux でいいんですか?」と念は押した（ちょうどライブドア子会社になったあたりの時期）
導入業者（富士通）としては、 Turbolinux 10 Desktop の通常メンテナンス終了日（2007.10.16）までに、その時点の最新のデスクトップ製品に乗りかえて対応する予定だった
しかし Turbolinux FUJI 以降が続かない……
Turbolinux FUJI の通常メンテナンス終了日は 2008.11.24なので、2009 年の夏まで使い続けるには足りない
協議継続中……

32

質問？