Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 TUOA02

アーカイバーアプライアンスの RIBF 制御系への展開
DEPLOYMENT OF ARCHIVER APPLIANCE TO RIBF CONTROL SYSTEM
内山暁仁#, A), 金子健太 B), 木寺正憲 A), 込山美咲 A)
Akito Uchiyama #, A), Kenta Kaneko B), Masanori Kidera A), Misaki Komiyama A)
A)
RIKEN Nishina CenterB)SHI Accelerator Service Ltd.

Abstract
The Archiver Appliance has been introduced for the RILAC control system, and very useful in understanding thebehavior of the superconducting linear accelerator and in detecting anomalies. As a result of this success, the Archiver
Appliance has been extended to the entire RIBF control system, now almost all EPICS records as about 220,000 data
points are archived. In order to reduce the cost of searching for required data from a huge number of data, a descriptionof the EPICS record in Japanese was prepared and a search function was implemented. In the case of analyzing data
correlation using the current archive viewer, it is needed to select and visualize the data in a huge number of that may berelevant. On the other hand, the Pearson's correlation coefficient is one of the indexes showing the relevance of the data.
For example, a tool for searching and analyzing the Pearson's correlation coefficient between the beam current and thevacuum value would be effective in reducing the cost of data search. We will report on the operation of the Archiver
Appliance deployed throughout the RIBF control system and the tools that have been developed.

1.

はじめに大型実験施設において、コンポーネントの履歴データを蓄積するシステムのことをデータアーカイブシステムと呼んでいる。理研 RIBF における SRILAC プロジェクトでの制御系は、RIBF 制御系同様 EPICS を用いて開発され、上位プロトコルは Channel Access（CA）プロトコルで統一されている[1]。制御システムとしては、主に超伝導キャビティ、28GHz 超伝導 ECR イオン源といったマシンが増える事で制御点数が大幅に増加することが見込まれた。そこで EPICS ベースなデータアーカイブシステム
で J-PARC, KEKB Linac, SuperKEKB, PF-AR において実績がある[2-5]アーカイバーアプライアンス（ArchiverAppliance[6]）を導入する事にした[7]。結果として冷却温度、真空度、電磁石電源、高周波といった約 9,300 のデータ点数を 1 秒間隔で 2020 年 1 月から現在までアーカイブし続けている。SRILAC ビームコミッショニングではビームチューニング中の予期しないビーム状態の変化の原因解析やビームに影響を与えたパラメータの相関検索、超伝導加速空洞の挙動の理解、性能向上を目的とした相関解析等で利用されており、加速器運転に必須なシステムの一つになっている。SRILAC プロジェクトが無事にコミッショニングを終え、Archiver Appliance の有用性が検証できた事から、RIBF 制御系全体にもシステム展開することを目指し、検討、実装を行った。

2.

システム検討2.1

アーカイブポリシー

SRILAC では予め必要と思われるデータを見積もり、アーカイブをしていたが、ビームコミッショニングが進むにつれて他にアーカイブすべきデータが出て、結局大きく点数を増やす対応が必要になった。また制御やビーム診断に関してシステムのデバッグを進めるにあたり、EPICS で中間変数的な役割を持つレコードに関しても、アーカイブして参照が必要になるケースがあった。さらに将来的にシステム展開される事を目指している機械学習を用いたアプリケーションに関しても、教師データとして利用する可能性があるため、アーカイブする必要があるかどうかその時点では判断しない方が良いと考えた。以上のことから RIBF で運用されている全ての EPICS レコードをアーカイブする事にした。
2.2

他システムとの連携

加速器制御用ネットワークが引かれていない居室から、アーカイブデータの可視化や JSON 形式でデータ取得して Matlab や Mathematica といった他システムと連携したいという要望がある。一方で Archiver Appliance の可視化システムやデータ取得用 API は HTTP アクセスから利用する事、従来 RIBF 制御系では Web アプリケーションに関して、リバースプロキシを用いて所内ネットワークから加速器ネットワークシステムへのアクセスを可能にさせていた事から[8]、特別に追加でシステム開発をせずとも、これら要望を満たすことは可能である。
2.3

検索コスト削減

時系列で複数データを可視化、チャートで相関関係を見るという事はアーカイブシステムの利用方法として、一般的である。一方で、ある程度相関しそうなデータについて見当が付いている場合は良いが、そうでない場合は多くのデータと比較することになり、検索するためのコストが大きい。このコストを下げるために、時系列チャートによる視覚化に頼った相関分析だけでなく、まとめて数値で相関を確認できるシステムの開発をすることを考えた。

___________________________________________# a-uchi@riken.jp-9-Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 TUOA02

3.

運用

3.1

設定

RIBF 制 御 系 で は 、 ビ ー ム 電 流 等 一 部 を 除 い て
EPICS レコードの SCAN フィールドは”Passive”もしくは最高で”.1 second”に設定されている。したがって、全てのデータをアーカイブするためには Archiver Applianceのデフォルト設定を”Monitored? true”, ”sampling period0.1”にすればよい事になる。また、膨大な数の EPICS レ
コードをアーカイブする時、CA コネクションのタイミングで ca_search に起因する問題が報告されている[9]。ここで RIBF 制御系では ca_search の問題をクリアするために EPICS の環境変数 EPICS_CA_AUTO_ADDR_LISTに NO を設定して、UDP ブロードキャストをさせない様にしている。
3.2ゲートウェイ

現 在 、 RIBF の Archiver Appliance は 、 約 120 のEPICS IOC (Input/Output Controller)に対して、仮想環境に実装された 4 台の PVgateway を経由してアクセスして い る （ Fig. 1 参 照 ） 。 こ こ で Archiver Appliance のEPICS_CA_ADDR_LIST 環境変数に PVgateway のホス ト 名 を 設 定 し 、 新 た な IOC を 追 加 す る 時 に もPVgateway に IOC のホスト名を追加すれば良いため、コストが大きいアーカイブプロセスの再起動を避ける事が可能である。

EPICS スタートアップスクリプトをパースして、レコード、フィールド、デバイス名等をデータベースに格納して、検索や死活監視、管理に利用するシステムの事である[11]。
この管理システムには RIBF 制御系で運用されている全EPICS レコードの情報が格納されている。EPICS 管理システムでは新規に作成されたレコード名のリストを取得する Web API が備わっているため、それを用いてレコードリストを取得し、Archiver Appliance に登録している。
3.5

サーバ計算機の仕様を Table 1 に示す。ArchiverAppliance のプロセスはメモリを多く消費し、パフォーマンスはメモリ容量に依存するため、256 GB メモリを積んでいる。また、RAID6 構成のオールフラッシュストレージ（使用容量 24 TB）を用意したが、現在の書き込みレートは約 20 GB/day なため、3 年程度しかもたない計算になる。そのため今後、80 TB (RAID6, 使用容量 64 TB)ディスクを増設する予定である。
Table 1: Specification for Archiver Appliance Server
CPUIntel Xeon Silver 4110 CPU @2.10GHz (8 cores, 16 threads)

Memory256 GB

Storage

SATA SSD 4TB ✕ 8, (RAID6)

OSCentOS 7.9 x86_64

DBMariaDB 5.5.68

Versionarchappl_v0.0.1_SNAPSHOT_13November-2019T15-45-42

Servlet Container

Apache Tomcat 9.0.41

3.6

Figure 1: System chart between IOCs, PVgateway(s) andthe archiver appliance for RIBF control system.
3.3

ビット単位アーカイブ

mbbiDirect, mbboDirect 等のレコードは各々のビットに対してステータスや命令が割り当てられている事が多い
ので Integer でアーカイブすると可視化したときに見通しが悪くなるケースがある。このため、mbbiExample.B0～
mbbiExample.BF 等ビット単位にばらしてアーカイブすることにした。

サーバ仕様

実績

SRILAC プロジェクト以前における従来のアーカイブシステム[12]では、アーカイブ点数は合計約 3,000 点であったが 2019 年 SRILAC 運用でアーカイブ点数は約9,300 点に拡張されていた。今回、RIBF へ展開されたことにより、2021 年度より RIBF 制御系全てのレコード点数である約 220,000 点をアーカイブできている。

4.

データ可視化

アーカイブデータの可視化には JavaScript でチャート出力するための jQuery のプラグインである jqPlot を用いて開発されていた。getData サーブレットで取得したアー
カイブデータの処理は、そのままダイレクトに使用させるだけでなく平均(mean), メディアンフィルタ(median)を選択して、データ処理できるようにしている。この時、実際
3.4 自動アーカイビングのデータ可視化までの時間的コストはユーザアクティビ
Hefei Light Source II ではアーカイブされる EPICS レティの低減に繋がるため、データ点数に応じた間引き処コードの登録を自動で行う、自動アーカイビングを採用し理をしている。Archiver Appliance に標準実装されていている[10]。RIBF 制御系においても、全 EPICS レコード
る Viewer を参考に、例えば１年分のデータ表示をするをアーカイブする時の漏れを防ぐ目的で EPICS 管理シ
ケ ー ス で は 21,600 点 の 内 １ 点 を 表 示 す るステムと連携し、自動アーカイビングの機能を実装させた。
lastSample_21600(test:pv:123) 、 同 様 に １ か 月 表 示 のEPICS 管理システムとは仁科センターで開発された、- 10 -Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 TUOA02

ケースは lastSample_1800(test:pv:123), １週間表示はlastSample_300(test:pv:123) に し て い る 。 ま た 、 従 来 のRIBF で運用されているアーカイブシステムのデータ可視化にも対応している[13]。
一方で、jqPlot ベースによるアーカイブデータの可視化システムには、チャートへの表示点数（合計 3 万点程度程度）、Y 軸目盛りの指数表記、同時シリーズ数（10以上実現できない）についてデメリットがあった。これらを解決するために、Web で動的コンテンツを描画するのに広く使用されている JavaScript ライブラリ、d3.js[14]を採用した可視化システムの開発も行われている。Figure 2に d3.js ベースで実現されたアーカイブデータ可視化システムのスクリーンショットを示す。

は別に、日本語ディスクリプションのリストを作成、PostgreSQL ベースのデータベースに格納してデータ検索で扱えるようにした。
5.2

検索履歴収集可視化されたアーカイブデータは過去に他のユーザが検索して、すでに使用されているケースも多い。例えば、あるトラブルが起こると、そのトラブル箇所周りの特定のアーカイブデータの検索が多くなるという事が挙げられる。したがって過去の可視化履歴（EPICS レコード名、日時、組み合わせ等）をバックエンドで保存、収集して、それを検索に利用すればデータ検索のコスト削減に繋がると考えた。このデータを用いて、表示回数順（使われた順）による検索、表示日時順による検索の機能が実装された。また、選択している EPICS レコード名から、過去一緒に可視化された組み合わせをリコメンデーションさせる機能も実装されている。アーカイブデータの検索画面のスクリーンショットを Fig. 3 に示す。

Figure 2: Screenshot of archive data visualization system
implemented as a d3.js-based web application.

5.

データ検索コスト削減

5.1

日本語ディスクリプション

アーカイブ点数が多いほど、欲しいデータを検索、選択するコストが増大するという問題点がある。従来のデータアーカイブシステムでは、そもそもアーカイブ点数が少ないという事だけでなく、グループや加速器の種類や電源、真空といったコンポーネントごとにラベリングして検索させ、ユーザが欲しいデータにたどり着きやすい構造になっていた。一方、Archiver Appliance においてグループやコンポーネントに相当するものは通常 EPICS レコー
ド名の中で表わされている。例えば RIBF 制御系における ”R28GECRIS:WATERCOOL:PC1_FLOW” の EPICS
レコード名は ”28GHz ECR イオン源のプラズマチャン
バー1 の冷却水流量” といった様に意味を持たせている。
ところが、RIBF 制御系では EPICS レコード名に制御開発側で理解しやすい名前付けがされているケースも多く、必ずしもユーザ側で理解しやすい名前ではないケースもある。また他加速器施設ではレコード名の名づけを厳格なルールのもと運用しているケースもある[15]が、RIBF
ではそのようなルールは特に決めていなかった。かといって EPICS の alias 機能も含めて、今更レコード名を変更することは逆に混乱を招くため、得策ではないと考えた。したがって、この問題を解決するために主な
EPICS レコード約１4,000 点に対して DESC フィールドとFigure 3: Search screen for the archived data. Searchbased on Japanese descriptions, display in order of
number of times displayed, display in order of date andtime, and recommendation functions are implemented.

6.

相関分析ツール

アーカイブシステムの一般的な使用方法として、データの相関を取り、ある値に影響を与えたパラメータを検索する事がよくある。相関を見るとき、関係しそうなパラメータを選択し視覚化する作業が必要になるが、これはある程度原因に見当がついていないケースでは、逐一視覚化が必要になるためコストが大きい。一方、相関関係を表す一つの指標としてピアソン相関係数がある。相関係数は-1 から 1 の数値で、2 変数間の関係の強さと方向性を表す値である。例えばビーム電流値や真空度に影響を与える他のパラメータを探す際、アーカイブデータを取得し、まとめて相関関係を数値として表示できれば、視覚化するコストが下げられると考えた。
ここで 2 変数間での相関係数を計算する時、RIBF 制
御系のアーカイブデータは caMonitor で取得しているため、サンプリング間隔は各々のデータで異なる。そこで時系列を合わせるため、前後の値をそのまま使用してデータ補完をしている。上記、データ補完をした後に、相関係- 11 -

Proceedings of the 19th Annual Meeting of Particle Accelerator Society of JapanOctober 18 - 21, 2022, Online (Kyushu University)

PASJ2022 TUOA02

数を計算するが、ハードウェアリソースを効率的に使用するため、それはマルチプロセスで処理されている。
相関関係をまとめて計算するためのユーザーインターフェースを Fig. 4 に示す。この例では仁科棟受電電力(MYDAQ2:Nishina_6600V:c1) の レ コ ー ド に 対 し て
RRC(RIKEN Ring Cyclotron)の RF に関するレコード（rf_mel:RRC:*）との相関関係を 1 対多でまとめて計算させている。相関係数について、0<|r|<0.2 は相関無し、0.2<|r|<0.4 は弱い相関、0.4<|r|<0.7 は相関、0.7<|r|<1.0を強い相関として判定している。Fig. 5 に強い負の相関
関係 (-0.96) があった時のアーカイブデータを可視化した例を示す。
一般的に関係性を分析する際の手法として、線形回帰が挙げられる。同じ時系列にあるアーカイブデータ 2
変数を X と Y に取り、散布図として表すことにより値の予測や、相関から外れている値を分析することが可能である。これらを簡便に実現すればアーカイブデータの分析のコスト削減にさらに繋がると考え、線形回帰の可視化システムを実装した（Fig. 6 参照）。

Figure 6: An example of linear regression visualization ofarchive data in case of the strong negative correlation"-0.96".

7.

Figure 4: An example that calculates the correlation byarchive data between the voltage of receiving electricity
for the entire Nishina building and multiple data types
related RF of the RRC. Also, the correlation coefficient"r" is represented by a numerical value, and the symbol
depending on 0.2<|r|<0.4, 0.4<|r|<0.7, and 0.7<|r|<1.0.

Figure 5: An example of visualization of archived data incase of a strong negative correlation “-0.96”.

まとめと今後SRILAC プ ロ ジ ェ ク ト の 成 功 に よ っ て 、 Archiver
Appliance の有用性は確認され SRILAC 制御系だけでなく、RIBF 制御システム全体に展開されることになった。
RIBF 制御系への展開では EPICS 管理システムと連携することによって、全 EPICS レコード約 22 万点をアーカイブできている。新規作成された EPICS レコードも自動でアーカイビングされることになり、アーカイブの漏れを防いでいる。また、アーカイブ点数が増大したことによる、データ検索のコストを下げるために、日本語ディスクリプションを追加し、検索可能にさせた。さらにコストを下げる手段として、ユーザのアーカイブデータの使用履歴を収集し、表示日時順、表示回数順でアーカイブデータを選択可能にさせた。またアーカイブデータの組み合わせをリコメンデーションする機能も実装されている。頻度が高い使用目的である、データの相関関係を調べるコストを下げるために、まとめて相関係数を計算するツールも開発、実装された。
今後は現在 RIBF 制御系で運用されている MySQLや PostgreSQL といったリレーショナルデータベースの時系列データとアーカイブデータを同じ手法で可視化する
ため KEK で開発された Archiver Appliance 用 Grafana
プラグイン[16]の運用も検討されている。またアーカイブデータの利用方法として、定常状態での加速器運転中のアーカイブデータをもとに教師データを作成、異常値検知も進めていく予定である。

参考文献[1] A. Uchiyama et al., “Control system of the SRILAC projectat RIBF”, Proceedings of ICALEPCS2021, Shanghai,
China, 2021, pp. 147-152.
[2] S. Yamada et al., “Deployment of archiver appliance at JPARC main ring”, Proceedings of the 14th Annual Meetingof Particle Accelerator Society of Japan, Sapporo, Japan,
Aug. 1-3, 2017, pp. 1144-1147.

- 12 -Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 TUOA02[3] H. Kaji et al., “Application of EPICS Archiver Appliance at
SuperKEKB”, Proceedings of the 16th Annual Meeting ofParticle Accelerator Society of Japan, Kyoto, Japan, Jul. 31Aug. 3, 2019, pp. 592-595.
[4] I. Satake et al., “Introduction of Archiver Appliance in
KEK electron positron injector linac”, Proceedings of the16th Annual Meeting of Particle Accelerator Society ofJapan, Kyoto, Japan, Jul. 31-Aug. 3, 2019, pp. 861-864.
[5] T. Nakamura et al., “Deployment of Archiver Appliance at
PF-AR accelerator”, Proceedings of the 16th Annual
Meeting of Particle Accelerator Society of Japan, Kyoto,Japan, Jul. 31-Aug. 3, 2019, pp. 881-883.
[6] M. Shankar et al., “The EPICS Archiver Appliance”,
Proceedings of the ICALEPCS2015, Melbourne, Australia,Oct. 17-23, 2015, pp. 761-764.
[7] A. Uchiyama et al., “Introduction of Archiver Appliance toRILAC control system”, Proceedings of the 17th Annual
Meeting of Particle Accelerator Society of Japan, Online,Japan, Sep. 2-4, 2020, pp. 739-742.
[8] A. Uchiyama et al., “Network Security System and Methodfor RIBF Control System”, Proceedings of ICALEPCS11,Grenoble, France, 2011, pp. 1161-1164.
[9] I. Satake et al., “Operation status of Archiver Appliance in
KEK electron positron injector linac”, Proceedings of the17th Annual Meeting of Particle Accelerator Society ofJapan, Online, Japan, Sep. 2-4, 2020, pp. 735-738.
[10] Y. Song et al., Nuclear Science and Techniques volume 29,Article number: 129 (2018);
https://doi.org/10.1007/s41365-018-0461-6[11] A. Uchiyama et al., “EPICS PV Management and Methodfor RIBF Control System”, Proceedings of the
ICALEPCS2015, Melbourne, Australia, Oct. 17-23, 2015,
pp. 769-771.
[12] M. Komiyama et al., “Construction of New Data Archive
System in RIKEN RI Beam Factory”, Proceedings of
ICALEPCS11, Grenoble, France, 2011, pp. 90-93.
[13] A. Uchiyama et al., “Data Archive System forSuperconducting RIKEN Linear Accelerator at RIBF”,
Proceedings of IPAC2021, Campinas, SP, Brazil, 2021, pp.
2178-2181.
[14] N.D. Arnold et al., “Discovering process-variable-to-signal
relationships in EPICS 3.x and 4.x”, Proceedings of 10th
ICALEPCS, Geneva, 10-14 Oct. 2005, PO2.073-5 (2005).
[15] https://d3js.org/[16] S. Sasaki et al., “Development of Grafana plugin tovisualize archive data on Archiver Appliance”, Proceedingsof the 17th Annual Meeting of Particle Accelerator Societyof Japan, Online, Japan, Sep. 2-4, 2020, pp. 504-508.

- 13 -