KEK 電子陽電子入射器における Archiver Appliance の導入
INTRODUCTION OF ARCHIVER APPLIANCE IN KEK ELECTRON POSITRONINJECTOR LINAC佐武いつか#, A), 佐藤政則 A, B), 草野史郎 C), 工藤拓弥 C), 櫻井雅哉 D)
Itsuka Satake #, A), Masanori SatohA, B), Shiroh KusanoC), Takuya KudouC), Masaya SakuraiD)
A)
High Energy Accelerator Organization (KEK), Accelerator Laboratory
B)
The Graduate University for Advanced Studies (SOKENDAI), Department of Accelerator ScienceC)
Mitsubishi Electric System & Service Co., LtdD)
Kanto Information Service (KIS)

Abstract
In the KEK electron positron injector linac, electron and positron beams are supplied to four different rings of KEKB
electron, positron, PF, PF-AR. For Phase-III operation of SuperKEKB, the injector has upgraded for the 4 rings
simultaneous top up injection with low emittance beam and high bunch charge. The control system of the injector linac
is developed by using EPICS framework which is a distributed control system widely used. Currently, we store
approximately 87,000 data in the archive system. The data collection software is built on CSS archiver, which is a toolfor data logging in EPICS control system framework. The number of EPICS PV to be archived and the data size areincreasing year by year. For this reason, we are introducing Archiver Appliance, which is expected to read data at highspeed performance and reduce the disk space consumption. We started recording PV on both CSS archiver and Archiver
Appliance for the data. In this paper, we report on the introduction of Archiver Appliance in injector linac in detail.

1.

はじめに電子陽電子入射器（入射器）は、SuperKEKB（HighEnergy Ring 及び Low Energy Ring）、放射光施設である PF、PF-AR の下流リングに電子・陽電子ビームを供給する全長約 600m の線形加速器である[1,2]。KEK では、2019 年 3 月より SuperKEKB の PhaseⅢ運転が始まった。
入射器では、SuperKEKB、PF、PF-AR、陽電子ダンピングリングの計 5 種類のリング加速器に対して、エネルギーや特性の大きく異なるビームを高速で切り替えながら制御する同時入射が成功した（Fig. 1）。最終的には、さらに高精度の安定したビームが求められている。
入射器では、様々な制御機器の状態や変化を監視、記録するためのアーカイブシステムとして、2011 年から
Control System Studio[3,4]（CSS）Archiver を運用している。これまで、加速器の性能向上に伴ってアーカイブの対象となる制御点及びデータサイズは毎年増加しており、現在の制御点は約 9 万点である。そこで、データ読み出しの高速化やディスク消費量の軽減が期待される
Archiver Appliance の導入を検討することとした。2019 年
4 月から CSS archiver と Archiver Appliance の両方で PVの記録を始めた。本稿では、Archiver Appliance 導入と運用状況について報告する。

2.

入射器の現状システム

2.1

CSS Archiver の概要

KEK 加速器では、Experimental Physics and Industrial
Control System (EPICS) [5]と呼ばれる制御システムソフトウェアフレームワークを使用して、加速器の運転制御を行っている。CSS は、EPICS および Eclipse を基盤にDESY で開発が開始された、加速器などの大規模制御システムを操作や監視するための制御システムツール群
で、Linux や Windows、Macintosh などの複数の OS 上で動作可能である。また、CSS には加速器制御のためのツールが豊富にあり、データ収集ツールや GUI、アラームシステムなどの様々な機能が組み込まれている。データ収集ソフトウェアは、CSS archiver で構築されている[6]。
Figure 2 に、CSS archiver のシステム概要を示す。
Figure 1: Schematic layout of KEK e+/e– Linac andrelated accelerators.
___________________________________________# Itsuka.satake@kek.jp

Figure 2: Schematic view of CSS Archiver of the KEK
injector linac.

3.

Archiver Appliance の導入

3.1

Archiver Appliance の概要

Archiver Appliance[7,8]は、クラスタ化による拡張性をもち、短期、中期、長期データ保存用に異なる記憶媒体を使い分けることが可能である（Ramdisk，SSD，SAN など）、Apache Tomcat[9]を用いた Java
Servlet である。また、ブラウザを用いたシステム管理・監視機能をもつ管理インターフェイスや Pythonを用いた処理スクリプトなどが用意されている。
Servlet にはデータを収集するものと、データを読み出す機能のものがある。前者は CSS Archiver と同様に Engine と呼ばれ、PV のデータを監視し、データをサンプリングして、PV の値とタイムスタンプをデ ィ ス ク に 書 き 込 む 。 デ ー タ は 、 Google Protocol
Buffers[10]を用いたバイナリファイルとして記録される。また、PV ごとに（指定された文字で区切られた）異なるディレクトリを作成し、データファイルを短期、中期、長期データ保存用に分割することで、データをより高速に読み出している。後者はデータの retrieval 用で、クライアントとの通信にはHTTP を用いる。JSON や CSV、MAT などのフォーマットでのデータ取得も可能である。データを表示するクライアントには、CSS ツール群の一部である
Data Browser (バージョン 4.3 以降)や Java Archive
Viewer が利用可能である。しかし、使用する端末へ
Table 1: Specifications of Server

Figure 3: Screenshot of CSS Archive Viewer of the KEK
injector linac.
CSS Archiver は 、 EPICS 通 信 プ ロ ト コ ル で あ る
Channel Access を介して情報を収集する Archive Engineとリレーショナルデータベース管理システム（RDBMS）である PostgreSQL で構成されている。Archive Engine はEPICS PV のデータを収集し、サンプリングした PV の値とタイムスタンプを PostgreSQL に記録している。データベース上にある CSS archiver 情報は、AMFPHP を用いた Web アプリケーションにより表示している。この Viewer
は、Adobe Flash Player が動作する環境であれば、OS の種類によらず表示可能である（Fig. 3）。
2.2

ServerHP DL380 Gen10

Cores of processor

6 cores

Memory size

148 GB

Storage

26 TB

CSS Archiver の問題点

RDBMS である PostgreSQL を運用する中で、データベースサイズはさらに肥大化し、読み出し速度の低下が見られるようになった。データ容量が大きいため、長期間のデータを Web Viewer アプリケーションで表示するのに時間がかかってしまう。そのため、読み出し速度の高速化や利便性の向上が期待できる別の新たなアーカイブシステムの導入を検討することになった。
Figure 4: Schematic view of Archiver Appliance of theKEK injector linac.

Figure 5: Screenshot of Management GUI Interface ofArchiver Appliance.

Figure 6: Screenshot of Archiver Appliance viewer.
当該ソフトウェアをインストールする必要があるた
め利便性に乏しく、入射器内ではあまり使用されていない。入射器では、Archiver Appliance 用にサーバを 1 台用意し（Table 1）、2019 年 4 月より CSS Archiverに登録されているほとんどの PV について、ArchiverAppliance によるアーカイブを開始した。Figure 4 に、Archiver Appliance のシステム概要を示す。現在も継続してデータをアーカイブしており、数か月の間安定して運用できている。Figure 5 に、Archiver Applianceの Web ブラウザ上の管理画面、Figure 6 に管理画面内の Viewer を示す。
3.2

Archiver Appliance 導入時の問題と対処

Archiver Appliance の管理画面（管理用 webapp）より、Channel Archiver の設定からアーカイブするレコードをimport できる。Channel Archiver の xml ファイルを用いて、PV のアーカイブを開始した。しかしながら、約 10 万個の PV のうち一部は登録できなかった。それらの PV が登録できなかった問題と、その対処について以下に示す。
Archiver Appliance の ソ ー ス に は 、 Business Process
Logics (BPL)と呼ばれる API を利用したサンプルプログ
ラム（Python）が用意されているため、これらを使用した。
 エイリアス名をもつ PV
アーカイブできなかった PV のうち 7 個の PV は、
BELLE2 から SuperKEKB の CA-Gateway を介し、入射器が SuperKEKB から読み出す PV であった。これらのPV はエイリアス名が設定されていた。Archiver Applianceでは default でエイリアス PV 名でなく、正式 PV 名でアーカイブしようとするため、設定を変更する必要があった。
Archiver Appliance 管理用 MySQL のテーブルでは、pvName と realName が異なって登録される。そのため、以下の対処を行った。
PV の登録直後に skipAliasCheck という API を呼び出す と 、 alias の チ ェ ッ ク が 省 略 さ れ る こ と に な り 、skipAliasCheck というユーザーパラメータが true になる。
この変更により、本名でアーカイブしないように設定される。
 現在はアーカイブしていない過去の PV
アーカイブできなかった PV のうち約 2 万個の PV は、現在データをアーカイブしていないが、過去にアーカイブしており、過去データ保持及び読み出しのために残している PV であった。 JSON で記述した PV 名、overrideまたは createnew を指定した putPVTypeInfo を呼び出す Python スクリプトを用いて、登録を実施した。試験的に5 つの PV に対して、Quick chart や CSS DataBrowser などで過去データの読み出しを確認した。これらの PV は現在 Paused とした。PVDetails が正しく表示されないが、これは PVTypeInfo の指定範囲による影響だと思われる。
引き続き、残りの PV に対しても登録を行う予定である。
Archiver Appliance のサーバ上で caget できる 4 つのPV について、まだ登録できておらず、現在原因を調査中である。現在 Archiver Appliance でアーカイブしている PV は約 87000 個である。Archiver Appliance のログ設定においては Warning が表示されるよう変更し、アクセスログ設定においては最大保存日数を 1 週間と変更した。

4.

アーカイブシステムによるデータサイズとデータ読み出し時間の比較

Archiver Appliance の 運 用 を 検 討 す る に あ た り 、Channel Archiver 、CSS Archiver とのデータサイズ及びデータ読み出し時間を比較した。Table 2 は 3 つのアー
カ イ ブシ ステム に お け るデー タ サイ ズ を示 し た。 CSSArchiver は、Channel Archiver に比べて約 4 倍のディスク消費量であり、一方 Archiver Appliance と比較しても 3倍以上のディスク消費量であった。Archiver Applianceはディスク消費量の削減に関して、効果が期待できることがわかった。

Table 2: Data Size of Archiver Systems
Archiver name

Data size/year

Archiver Appliance~ 2.1 TBCSS Archiver~ 7.1 TB

Channel Archiver~ 1.8 TB

Figure 7 は各アーカイブシステムからデータを読み出すのに要する時間の比較である。1Hz あるいは 10Hz で取得している PV のデータについて、1 時間、1 日、1 週間、1 年間分のデータを読み出す時間（10 個の PV の平均時間）を比較した。Archiver Appliance は、いずれの期間の場合も CSS Archiver と比べてデータ読み出しが高速であった。1 年分のデータの場合、CSS Archiver では約 6 時間かかるが、Archiver Appliance では約 27 秒であり、約 800 倍高速であった。

[seconds]

10,000.00

1 year
4 weeks
1 weeks
1 day

100.001.00
0.01
CSS ArchiverArchiver Appliance

Figure 7: Benchmark of data retrieval from archive
system.

5.

まとめと展望KEK 入射器におけるアーカイブシステムにおいて、
デ ー タ 読 み 出 し 速 度 の 向 上 が 期 待 で き る Archiver
Appliance の導入を検討するため、現在運用している
CSS Archiver との比較をおこなった。データサイズとデー
タ読み出し速度に関して、両方に効果があることがわかった。現在、Archiver Appliance では登録された PV において、安定してデータをアーカイブできている。
今後は、SuperKEKB 計画の Phase-III 2019 年秋の運転に向けて、CSS Archiver と同様に、Web ブラウザ上で閲覧できる Viewer を用意する必要がある。また、現在取得している全 PV をについて登録を完了させる予定である。当面の間は、CSS Archiver と Archiver Appliance の両アーカイブシステムを運用していく。入射器の各制御機器の状態監視・記録のため、より効率的なシステム、操作性の向上を目指して改良を続けていく。

謝辞
本発表の Archiver Appliance 導入にあたり、山田秀衛氏に大変有益な情報を頂きました。深く感謝申し上げます。

参考文献[1] Mitsuo Akemoto et al., Prog. Theor. Exp. Phys. (2013)
03A002.
[2] R. Zhang et al., “KEK 電子陽電子入射器の現状”, inProceedings of the 16th Annual Meeting of Particle
Accelerator Society of Japan, Kyoto, Japan, Jul. 31-Aug. 3,
2019, FSPI003.
[3] Control System Studio;
http://cs-studio.sourceforge.net/[4] Control System Studio (CSS) at KEK;
http://www-linac.kek.jp/cont/epics/css/[5] EPICS;
http://www.aps.anl.gov/epics/[6] T. Kudou et al., “PRESENT STATUS OF CSS ARCHIVER
AT KEK INJECTOR LINAC”, in Proceedings of the 12th
Annual Meeting of Particle Accelerator Society of Japan,Tsuruga, Japan，Aug. 5-7, 2015, WEP113.
[7] The EPICS Archiver Appliance;
https://slacmshankar.github.io/epicsarchiver_docs/[8] S. Yamada et al., “DEPLOYMENT OF ARCHIVERAPPLIANCE AT J-PARC MAIN RING”, Proceedings ofthe14th Annual Meeting of Particle Accelerator Society ofJapan, Sapporo, Japan, Aug. 1-3, 2017, WEP100.
[9] Apache Tomcat;
http://tomcat.apache.org/[10] Google Protocol Buffers;
https://developers.google.com/protocol-buffers/