Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

KEK 電子陽電子入射器の制御ネットワーク更新
UPGRADE OF KEK LINAC CONTROL NETWORK SYSTEM
草野史郎#, A), 工藤拓弥 A), 佐藤政則 B), 古川和朗 B) ,Shiro Kusano#, A), Takuya KudouA), Msanori Saoh B), and Kazuro FurukawaB),A)
Mitsubishi Electric System & Service Co., Ltd.
B)
High Energy Accelerator Research Organization (KEK)

Abstract
KEK Linac has been supplying a stable beam to the ring four different. In order to provide a highly available beamover a long period of time, a stable network communication between the server computer and the local control device isessential. By the Great East Japan Earthquake of 2011, part of the network system were damaged. Further, because it
promotes the advancement of injector toward SuperKEKB, was performed updates to the network system with highreliability and high performance. In this paper, I will report more information about network monitoring system andupdate of network system.

1.

はじめに

2.

KEK の電子陽電子入射器は，4 つの異なるリング（KEKB 電子/陽電子，PF，PF-AR）へビームを安定に供給してきた。長期間にわたり可用性の高いビームを供給するためには，ローカル制御機器およびサーバ計算機間の安定なネットワーク通信が不可欠である。このため，SuperKEKB に向けた入射器の高度化の一環として，高性能かつ信頼性の高いネットワークシステムへの更新をおこなった。本稿では，ネットワークシステムの更新およびネットワーク監視システムについて詳しく報告する。

_________________________________________#skusa@post.kek.jp

制御ネットワークシステム概要

入射器の制御ネットワークシステムは，ノード数1000（計算機約 1200 台，ネットワーク機器約 180台）を超える大規模なネットワークシステムである。
入射器の制御ネットワークの構成を Figure 1 に示す。
入射器の制御ネットワークは，中央計算機に設置して い る 6 台 の コ ア ス イ ッ チ （ CISCO 社 製
Catalyst3750x）を中心に，各副制御室および各モニターラックに設置している 36 台のエッジスイッチ（CISICO 社製 Catalyst2960S-24TS-S）で構成されている。6 台のコアスイッチは，仮想的に 1 台に見えるようになっており，エッジスイッチとの間は，クFigure 1: Network layout- 1113 -Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

ライストロンモジュレータが放つ電磁パルスノイズの影響を避けるため，光ファイバ（1000Base-X）にて接続されている。また，ネットワーク障害の発生に備えて光ファイバを 2 重に配線し，冗長化をおこなっている。入射器制御ネットワーク以外のネットワークにも接続できるようにコアスイッチ内で入射器制御，入射器 RF，所内，KEKB，PF-Ring，エネ
ルギーセンターの 6 つの VLAN で構成されている。

3.

ネットワークの運用

3.1

SNMP を利用した監視Sniffer portable も 導 入 し た （ Figure 3 ） 。 Sniffer
portable は，ノート PC 上で動作し，ネットワーク状況のリアルタイムモニタが可能であるため，障害発生箇所に迅速な設置が可能である。さらに，障害時にメールアラートを設定可能なため，常設してネットワークをモニタすることもできる。
他の解析ツールとして，WireShark[3]と呼ばれるフリーソフトウェアのパケットモニターも利用している。WireShark は，Unix，Linux，Mac，Windows など多くのプラットフォームで動作し，また多くのプロトコルを解析することができる。しかしながら，EPICS で用いられる CA プロトコルは標準ではない
た め ， ス ロ ベ ニ ア ， ア メ リ カ ， KEK の 三 者 でWireShark のプラグインを共同開発し，CA プロトコルの解析が可能となった[4]。

ネットワークを正常に運用することは，加速器の安定なビーム運転において不可欠である。これまで
入 射 器で は ，ネ ット ワ ーク の 安定 運用 の ため ，SNMP（Simple Network Management Protocol）を用いてネットワークのトラフィック状況や機器の負荷状況を MRTG（Multi Router Traffic Grapher）[1]と呼ばれるツールで監視していた。MRTG は，ネットワークのトラフィック状況を示すグラフイメージを含む HTML ページを生成するツールであり，Web上からもネットワークの状況を監視することが可能である。しかしながら，ネットワーク接続機器の増加にともなう通信量の増大のため，MRTG のデータ更新に遅延が見られるようになってきた。このため，
MRTG の代替として，Cacti[2]と呼ばれる監視ツールの導入をおこなった。Cacti は，MRTG と同様に
Figure 3: Display of Sniffer portable
SNMP を利用したグラフツールであるが，MRTG よりも高機能なグラフツール（RRDTool）が使用可能
3.3 無線 LANである。当該機能により，グラフデータの保存およ入射器では，2007 年にクライストロンギャラリ内びグラフ生成が容易に実現可能である。さらに，過に無線LAN システムを導入した（Aruba Wireless
去のグラフデータを参照する，あるいはメーカー独Network社 Aruba2400 ， AP-65 ） 。 入 射 器 の 無 線
自の SNMP 情報の利用も簡便であることが利点としLANシステムは，アクセスポイント（AP）用のコてあげられる。
ントローラ 1 台および 15 台の AP で構成される。
AP のアンテナは，ギャラリの広範囲で利用可能とするため，クライストロンモジュレータ天井部に設置している。PC から無線 LAN への接続においては，セキュリティを鑑み，MAC アドレスおよび WEP を用いた認証をおこなっている。
2011 年には，SuperKEKB に向けたビームラインの改造工事作業においてトンネル内でもネットワーク機器を使用したいという要望があった。このため，安価な無線 LAN の AP を導入したが，長期的なメンテナンス時でしか使用することができなかった。
また，トンネル内のため AP を放射線から防護する必要があり，加速器運転時には AP の回収をおこなっていた。このように AP の設置および回収の手間を省くために，2013 年 3 月に新たにトンネル内に無 線 LAN シ ス テ ム （ Motorola 社 製 RFS6000 ，AP6532）を導入した。トンネル内無線 LAN システ
ムは，AP 用コントローラ１台と AP10 台で構成されFigure 2: Display of Cactiている。AP は，放射線から機器を防護するため地上部に設置し，アンテナ部のみをトンネル内に設置3.2 ネットワークアナライザによる監視した。本システムの認証については，最近の技術動入射器では，Cacti によるネットワーク監視に加え 向を鑑みて，個人認証および WPA2 を用いることをて，ネットワークの障害時にパケット解析が可能な 検討中である。

- 1114 -Proceedings of the 10th Annual Meeting of Particle Accelerator Society of Japan (August 3-5, 2013, Nagoya, Japan)

4.

課題と今後

4.3

ネットワーク構成の変更

前章で述べたウィルス防護および不正侵入の対策として，所内ネットワークと制御ネットワークの両ネットワーク接続型の計測器機器および EPICS 方に接続している計算機を廃止するとともに，両者CA プロトコルを用いたソフトウェアの増加により， のネットワーク間にファイヤーウォールを設置するネットワーク負荷が増大する傾向にある。このため， ことを検討中である。制御ネットワークから所内
ネ ッ ト ワ ー ク ブ ー ト を 使 用 し てい る 旧 BPM 用 ネットワークへのアクセスに関しては，プロキシVME[5]（OS-9 使用）システムが起動しない障害が幾 サーバおよび NAT を用いることを想定している。
度か発生した。旧 BPM 用 VME システムは，DHCP 所内ネットワークから制御ネットワークへのアクセを利用して起動ファイルを取得する仕組みを採用し スについては，ファイヤーウォールを用いたアクセているため，ブロードキャストが増加することに起 ス制限をおこなうとともに，ログイン専用計算機を因したネットワーク処理の遅延により，起動するこ 準備する予定である。このようにネットワーク構成とができなくなった。また，最近では，ネットワー を変更することで，不正侵入およびウィルス防護にク作業中にネットワークループが発生し，一部の 対するリスクを緩和することを目指している。さらPLC CPU が停止する障害も発生した。いずれの障害 に，ウィルス侵入に関しては，ファイヤーウォールにおいても，ブロードキャストが大量に発生したこ の機能のひとつであるアンチマルウェア機能で防ぐとで，10Mbps 帯域のネットワーク機器がパケット ことを検討している。の処理をおこなえず CPU が停止していた。ブロードキャストストームによる CPU 停止の対策として， 5. まとめ
100Mbps 帯域以上のネットワーク機器への更新をお現在，入射器では，SuperKEKB へ向けた制御機器こなった。の更新および拡充を精力的に進めている。このため，2013 年春に，制御ネットワークシステムの更新をお4.2 セキュリティ管理
入射器の制御システムは，複数の Unix/Linux 計算 こなった。さらに，ネットワークの安定な運用を目機（HP Tru64 Unix，CentOS5 Linux）によるサーバ 的とした，ネットワーク監視ツールの強化もおこ部，多様なフロントエンド（VME，PLC など）によ なった。今後は，SuperKEKB に向けた更なる改善をる機器制御部，およびオペレータインタフェース おこない，入射器の安定したビーム運転に貢献して（OPI）部の 3 階層から構成されている。OPI であ いく予定である。
4.1

ブロードキャストストーム

るコンソールシステムでは ，主に，Windows PC（ Windows7 ， Windows XP ） を 採 用 し て い る 。 参考文献
Windows PC を制御ネットワークに接続する際， [1] http://www.mrtg.jp
ウィルス防護などのセキュリティ管理が不可欠とな [2] http://www.cacti.net[3] http://www.wireshark.org
る。入射器では，市販のウィルス防護ソフトウェア [4] A.Zagar et al., “Network Analyser for the EPICS Channel（ESET NOD32）を導入し，管理をおこなっている。
Access Protocol”, Proceedings of PCaPAC in Slovenia,
また，近年，測定機器においても Windows をベース
Ljubljana, Oct, 2008にしているものが多数導入されている。具体的には， [5] N.Kamikubota et al., “DATA ACQUISITION OF BEAMPOSITION MONITORS FOR THE KEKB INJECTOR入 射 器 の BPM 用 デ ー タ 収 集 シ ス テ ム [6] で は ，LINAC”, Proceedings of International Conference on
Windows XP ベースのオシロスコープを用いている。
Accelerator and Large Experimental Physics Controls
Windows ベースの機器は，ウィルス対策防護ソフト
System in Italy, Trieste, 1999
ウェアの導入により測定機器の処理が遅くなる可能 [6] M.Satoh et al., “Development of a Fast BPM DAQ System
Using Windows Oscilloscope-based EPICS IOC”,性が高い。また Windows Update をおこなった場合、Proceedings of the 4th Annual Meeting of Particle
ベンダ製ドライバーのエラー出力によりオシロス
Accelerator Society of Japan and the 32nd Linear
コープが動作しないこともあり，ウィルス防護の導Accelerator Meeting in Japan, Wako, Aug, 2007
入については慎重な検討を要する。
ウィルス防護以外のセキュリティにおいても，外部からの不正侵入の防止も検討課題である。入射器においては，機器担当者が現場から離れた居室から運転および機器情報を読み出す，あるいはデータ解析のためのファイル共有を簡便におこなうことが望ましい。このため，制御ネットワークおよび所内ネットワークの両方に接続されている計算機を用意している。本方式を用いた場合，一般ユーザーが制御ネットワークにアクセスし、意図せず運転パラメータを変更するなどの予期せぬ障害が発生する恐れもある。

- 1115 -