Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 FRP04

J-PARC ハドロンビームライン制御用ネットワーク監視システム
NETWORK MONITORING SYSTEM FOR J-PARC HADRON BEAMLINE CONTROL
豊田晃久#, 青木和也, 上利恵三, 秋山裕信, 家入正治, 加藤洋二, 倉崎るり, 里嘉典, 澤田真也, 白壁義久,
高橋俊行, 高橋仁, 田中万博, 広瀬恵理奈, 皆川道文, 武藤史真, 森野雄平, 山野井豊, 渡辺丈晃
Akihisa Toyoda #, Kazuya Aoki, Keizo Agari, Hironobu Akiyama, Masaharu Ieiri, Yohji Kato, Ruri Kurasaki,Yoshinori Sato, Shinya Sawada, Yoshihisa Shirakabe, Toshiyuki Takahashi, Hitoshi Takahashi, Kazuhiro Tanaka,
Erina Hirose, Michifumi Minakawa, Fumimasa Muto, Yuhei Morino, Yutaka Yamanoi, Hiroaki Watanabe
KEKAbstract
At the J-PARC Hadron Experimental Facility, a control system that uses EPICS is in operation, and the number of thelatest EPICS channels is about 7,000. As the number of beamlines increases, the amount of data continues to grow, andtemporary increases in network load have caused delays in updating some data displays. To address this issue, initially,various tools like vnstat, mrtg, and munin were introduced on each PC to check for any problems. While this approachsometimes allowed for identifying the causes of issues, during actual network outages, information from the affected PCs
stopped coming in, making it difficult to determine the details of the problem. In pursuit of more effective information
gathering, a smart switch was introduced and managed using Zabbix, ensuring more reliable information collection during
network failures. This report provides a comprehensive account of the control network monitoring system deployed at
the J-PARC Hadron Experimental Facility.

1.

はじめに

3.

従来のネットワーク監視システム

J-PARC[1]ハドロン実験施設[2]では、EPICS[3]を採用した制御システムが 2009 年の運転開始から運用されており、現在の EPICS channel 数は約 7000 に上るものとなっている。ビームラインの増加に伴い、データ量も増加し続けており、一時的なネットワーク負荷増大によって一部のデータ表示の更新が滞るなどの問題が発生している。この問題を解決するため、当初は各 PC に vnstat[4]や mrtg[5]、munin[6]などを導入して、問題がないかをチェックしていた。これにより、原因究明できる場合もあったが、実際にネットワーク障害が発生すると、問題が発生している当該 PC からの情報がこなくなり、詳細が分からないことがあった。そこで、より効果的な情報収集を目的として、スマートスイッチを導入し、zabbix[7]で管理することで障害時の情報収集をより確実に行えるようにした。本
報告では、J-PARC ハドロン実験施設における制御ネット
ワーク監視システムの詳細について報告する。

ハドロン実験施設は 2009 年に A ラインの運転を開始、2020 年に B ラインの運転を開始、2023 年に C ラインの運転を開始と年々ビームラインを拡張しており、そのため2.

ビームライン制御機器が年を追うごとに増大してきている。
それに伴って様々な原因による状態表示の更新速度の低下などのネットワークトラブルが出てきている。その対策 と し て は 2 つ 実 施 さ れ て お り 、 一 つ は 各 EPICS
IOC(Input Output Controller)が稼働していることを示すレ

ハドロン制御システムの概要

Figure 1 にハドロンビームライン制御システムの概要を示す。ハドロン制御システムは、J-PARC 制御ネットワーク内の HD VLAN にネットワーク接続されており、各種ネットワーク機器が 1000 BASE-T もしくは 100 BASE-T でお互いに接続されている。ネットワーク接続された機器はおよ そ 160 台 で あ る 。 制 御 フ レ ー ム ワ ー ク と し て はEPICS(version 3.4.12)が採用されている。EPICS channel数は合計約 7000 channel である。
____________________________________________#akihisa.toyoda@j-parc.jp

Figure 1: Schematic view of the hadron beamline control.

Figure 2: Example of network traffic monitoring andrecording with vnstat.

- 822 -

Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 FRP04

コードの用意とアラームハンドラーによる監視であり、これによってネットワーク障害が生じた場合にオペレーターが気づいて対処することができる。もう一つはネット
ワーク障害が生じたときにどこに原因があるかを把握しやすくするためのネットワーク監視システムである。ビー
ム開始初期段階では、ネットワーク監視システムとしてvnstat を導入し、定期的にネットワークトラフィック情報をファイルサーバーに書き込むことで障害状態が把握できるようにした。記録されるデータの一部について Fig. 2 に例を示した。これによって最低限の情報は得られるように

Figure 3: Example of network device monitoring withmrtg.
なったが、常時記録されているわけではないので、後で原因究明する際には役立つが、ネットワーク障害の原因を追究して解消する作業の際には使えない。
よってその後 mrtg(The Multi Router Traffic Grapher)を利用したネットワーク監視システムを導入した。

イッチの各ポートのトラフィック監視を行えるようにした。
Table 1: Hardware Specifications of Server for Zabbix
モデル

HP DL20 Gen 10

CPUXeon E-2236 3.4 GHz 1P6C

メモリ32 GBHDD

1 TB (RAID1)

OSScientific Linux 7.9

そ れ と あ わ せ て Zabbix(version 5 、 mariaDB version5.5.68)を利用して監視するシステムを構築した。Zabbix
サーバーのスペックは Table 1 に示した通りである。
Zabbix には複数のグラフなどの監視設定をまとめたテンプレートがあるが、今回は Zabbix の netgear のページにあるテンプレート「Template Net Netgear Fastpath SNMP」を利用した。このテンプレートを利用することで複雑な設定をすることなく表示画面(スクリーン)を作成することができる。Zabbix は Web ページで各種設定からリアルタイム監視ができるようになっており、例として Fig. 5 に Zabbix
ダッシュボードの様子を示す。これによって Zabbix 監視システム自体の状態を把握することができる。

ネットワーク機器に SNMP(Simple Network ManagementProtocol)を導入し mrtg で監視することで、各機器のネットワーク負荷状態、CPU 負荷状態、メモリ状態、Disc 状態をリアルタイムに監視できるようになった(Fig. 3)。また並行して munin を導入することで MySQL データベースの状態を監視できるようになった(Fig. 4)。

Figure 5: Zabbix dashboard for monitoring network smart
switch information.

Figure 4: Example of MySQL database monitoring withmunin.

4.

今回開発したネットワーク監視システム

3 節で説明したシステムだと、ネットワーク機器のみの監視しか行っていなかったため、何か障害が生じた際に当該ネットワーク機器近辺からの情報が得られずどこで問題が起きているか特定するのに時間がかかることがあった。そこで L2 機能を持ったギガビットスマートスイッチ(netgear 社 GS724T 6 台、GS716T 1 台)を導入して、ス実際のスマートスイッチの情報を表示している例をFig. 6 にしめす。スマートスイッチ各ポートの任意の時間スケールに対するネットワーク負荷やネットワークエラーを表示することができている。
このシステムによって以前より障害発生個所をより早く特定できるようになった。また今まではネットワーク機器によっては SNMP などを導入できない機器が障害を起こした際に気づくことができなかったが、今回導入したシステムによって検知できるようになったのも大きい。

- 823 -

Proceedings of the 20th Annual Meeting of Particle Accelerator Society of Japan
August 29 - September 1, 2023, Funabashi

PASJ2023 FRP04

Figure 6: Example of Zabbix screen for monitoring
network smart switch information.

5.

まとめと今後

今回ネットワークスイッチを導入し Zabbix で監視することで、ネットワーク障害が生じた際にどこに問題があるかが分かりやすくなった。同時に SNMP などを導入できないネットワーク機器の異常も検知できるようになった。
今後は、現状で SNMP 監視やデータベース監視を実施している mrtg や munin から Zabbix に監視システムを移行することで、一元的にネットワーク状態を管理できるようにする予定である。SNMP についても徐々に Zabbix
agent に移行していくことを考えている。
また、ビーム停止中、運転中に運用していく中で長期的な負荷の変動などの障害の傾向を見ることで異常発生を未然に防ぎ、システムの安定性を向上して行ければと考えている。

参考文献[1] J-PARC Web page; http://www.j-parc.jp[2] K. Agari et al., Prog. Theor. Exp. Phys., 2012, pp 02B009-1– 02B009-16.
[3] EPICS Web page; https://epics.anl.gov/[4] vnstat Web page; https://github.com/vergoh/vnstat[5] mrtg Web page; https://oss.oetiker.ch/mrtg/[6] munin Web page; http://munin-monitoring.org/[7] Zabbix Web page; https://www.zabbix.com/- 824 -