SuperKEKB 入射器コントロールシステムの現状
CONTROL SYSTEM UPGRADE FOR SUPERKEKB INJECTOR LINAC佐藤政則#, A, B) , 工藤拓弥 C)，草野史郎 C)，市川智浩 C), 水川義和 C), 久積啓一 C), 高木誠 D), 早乙女秀樹 D),
清宮裕史 A, B), 宮原房史 A, B), 三川勝彦 A), 諏訪田剛 A, B), 古川和朗 A, B)#, A, B)
, Takuya KudouC), Shiroh Kusano C), Tomohiro Ichikawa C), Yoshikazu Mizukawa C), Keiichi
Masanori SatohHisazumi C), Makoto Takagi D), Hideki Saotome D), Yuji Seimiya, Fusashi Miyahara, Katsuhiko Mikawa, Tsuyoshi
Suwada, and Kazuro FurukawaA)Accelerator Laboratory, KEKB)
Department of Accelerator Science, SOKENDAIC)
Mitsubishi Electric System & Service Co., LtdD)
Accelerator Group, Kanto Information Service (KIS)

Abstract
The KEKB project has successfully completed its decade operation in the June of 2010. SuperKEKB main ring iscurrently being constructed for aiming at the peak luminosity of 8 x 1035 cm-2s-1. The electron/positron injector linac
upgrade and beam commissioning are also going on for increasing the intensity of bunched charge with keeping thesmall beam emittance. The key upgrade issues are the construction of positron damping ring, a new positron capturesystem, and a low emittance photo-cathode rf electron source. The injector linac beam commissioning started in theOctober of 2013. The control system performance determines the beam operation efficiency of injector linac, and it
eventually has a strong impact on the experimental results of physics. In this decade, the linac control system has
gradually transferred from the in-house system to the Experimental Physics and Industrial Control System based one for
improving the availability of beam operation. In this paper, we present the detailed present status of the SuperKEKB
injector linac control system.

1.

はじめに入し、アプリケーション開発の時間短縮やより高度なアプリケーションの開発を容易にした。また、
KEKB 主リングと放射光源 PF リングの同時トップアップ運転のために、イベントタイミングシステムを導入し、パルスごとに異なるエネルギーのビームを入射するという高度なビーム制御を実現した [2, 3, 4,5]。

SuperKEKB 電子/陽電子入射器（入射器）のビー
ム制御システムは、標準的なクライアント/サーバモデルに準じた三階層構成となっている。すなわち、オペレータインターフェース部に当たるクライアン
ト部、中間層に相当するサーバ部、および機器を直接制御するローカル制御部から構成される。従来の制御システム
入射器制御システムは、Remote Procedure Call (RPC) 2.
を利用し、独自開発のライブラリ群を基盤として開 2.1 計算機システム発された。オペレータインターフェース(OPI)部には、入射器の制御システムは、標準的なサーバ/クライシェルスクリプトによるコマンドラインインター
アントモデルを基盤としているため、多種多様なフェース(CLI)および Tcl/Tk スクリプト言語によるローカルコントローラを用いたシステムを実装するグラフィカルユーザーインターフェース(GUI)が用には有益な構成である。KEKB 運転開始時には、いられてきた。
サーバ計算機として 6 台の Compaq Alpha 計算機をKEKB 運転の中期頃、これら既存のシステムは、運用していた。その内の 2 台は、Tru64 UNIX OS 上
Experimental Physics and Industrial Control Systemのクラスタ機能および RAID を用いた冗長化ファイ(EPICS) [1] を基盤とした制御システムへ徐々に移行ルサーバとして運用してきた。これにより、一方のしてきた。KEKB 主リングは、当初より EPICS を基計算機に障害が発生した場合においても、他方が盤とした制御システムを構築していたため、入射器ファイルサービスを提供し続けることが可能である。
およびリング制御システム間の親和性を高めること実運転においても本機能を採用していたため、幾度ができた。すなわち、双方にまたがるパラメタ間のかの計算機障害時においても、ビーム運転の停止を相関解析などを容易におこなうことが可能となり、避けることができた。
障害発生時の原因究明に要する時間を短縮化するこ
その後 Tru64 UNIX のサポートが終了し、ハードとに威力を発揮した。また、EPICS 環境導入後には、ウェアとしてのサーバ計算機の保守も困難になってGUI および CLI 開発に Python スクリプト言語を導きたため、汎用性の高い Linux OS を基盤とした___________________________________________
サ ー バ 計 算 機 へ の 移 行 を お こ な っ て き た 。 Linux# masanori.satoh@kek.jp

サーバ計算機においても高信頼性を維持するため、数種類の高可用性クラスタシステムの試験運用をおこなった。試験的なフェールオーバーでは概ね問題は無かったが、実運用中の予期せぬ障害時には、フェールオーバーを正常におこなうことができない場合があった。このため、クラスタシステムの採用を見送り、サーバ計算機単体での可用性を高めるため、ブレード型計算機を導入した。OS として、パッケージの更新頻度の高い CentOS を採用し、現在、主に 5.11 x86_64 を運転に使用している。また、将来の OS 更新を考慮し、CentOS 6.6 および 7 についても試験的に導入している。
クライアント部に相当するオペレータ端末として、
Tektronix X 端末および PC9801/DOS PC を用いた独自開発のタッチパネルシステムを利用してきた。これらについても保守が困難になったため、Linux PCおよび Windows PC への置き換えをおこなった。
Windows PC 上では、ASTEC-X や Reflection X といった X サーバソフトウェアを使用し、サーバ計算機上で実行する GUI を表示している。
2.2

ネットワークシステム

Table 1: List of Local Controllers Used for the
Linac Control SystemDevices

VME64xPLCNetwork
attached power
supplyLinux based
PLC
EmbeddedLinux
Data logger
Oscilloscope
NIM modules
TotalAccelerator
components (# ofcomponents)
Event based timing
system (MRF EVG230, EVR-230RF)
Magnet (363)
Vacuum (333)
Klystron (5)Charge interlock
Magnet (105)# of localcontrollers

Profile monitor (100)30

Klystron (66)66

Temperature (690)
Beam position monitor(90)Timing watchdog (15)2823255926
5310515385

近年の加速器施設においては、多数のネットワーク接続機器が使用されているため、ネットワークシステムは加速器制御システムの最重要構成要素の一 真空ポンプ、真空ゲートバルブ、安全系システムなつになっている。ネットワークシステムの重障害は、 ど、幅広い用途に用いている。約 170 台使用してい計算機障害とともに、加速器運転の停止をもたらす た CAMAC および VME 基板の信号遅延モジュール可能性が高い。このため、KEKB 運転時には、Cisco は、VME64x を基盤としたイベントタイミングシス
Catalyst4506 および 3750 をアクティブ/スタンバイ テムへ更新した。これは、20 ms 間隔で各種タイミ冗長化コアスイッチとして運用していた。45 台の ングを変更し、KEKB および PF リングへ同時トッ
エッジスイッチには、Catalyst2950 を使用していた。
プアップ入射をおこなうためである。同時に、タイコアスイッチおよびエッジスイッチ間の光ファイバミング関連のモジュール数が大幅に削減されたため、接続は、スター型トポロジを採用し、ネットワーク帯域幅は 100 Mbps であった。また、コアスイッチ 制御システムの可用性が向上した。クライストロンおよびエッジスイッチ間のみならず、エッジスイッ 制御用 PLC は、徐々に組み込み Linux システムへの[6]チおよび Programmable Logic Controller (PLC)などの 移行を進めている 。本システムでは、組み込み制
ローカルコントローラ間も光ファイバ接続を用いて 御機器上で EPICS Input/Output Controller (IOC)を動いる。これは、大電力クライストロンが発するノイ 作させることが可能である。Windows を基盤としたズの影響を極力回避するためである。
高速デジタルオシロスコープは、ビーム位置モニタ
SuperKEKB 計画に向けて、カメラや電磁石電源な 用データ収集系として使用している。本システムは、どのネットワーク接続機器が増加してきたため、 現在開発中の VME モジュールに更新される予定でネットワーク増強の必要性が高まってきた。そのた ある[7]。新システムは、10 m 以下のビーム位置測め、2013 年に、より高性能なコアスイッチとして 定精度を目指し、精密なビーム軌道制御、ひいてはCisco Catalyst3750X を 6 台導入した。これらは、ア 低エミッタンスビーム保存を実現するために必要でクティブ/アクティブ冗長化システムとしてエッジス ある。
イッチと接続されている。また、これと同時にエッEPICS 環境ジスイッチの更新もおこない、47 台の Catalyst2960S 3.
を導入した。本構成における通常運用時には、エッ3.1 概要
ジスイッチにおけるアップリンク帯域幅は 2 Gbps とTable 2 に、サブシステムごとに使用しているなっている。
EPICS IOC の数をまとめた。入射器制御システムで2.3 ローカル制御部
は、EPICS 導入当初、base R3.14.9 を基盤として入射器制御システムのローカル制御部では、VME IOC の開発をおこなった。これは、既存制御ソフトや PLC を始めとした多様な機器が使用されている。 ウェアへのラッパーとして開発したものである。しTable 1 に、ローカル制御機器ごとの使用目的および かしながら、制御機器情報更新時のソフトウェア変使用機器数をまとめた。ラダーPLC は電磁石電源、 更作業が繁雑となり、制御対象機器数の増加による

Table 2: Number of EPICS IOCs Used for Each
Subsystem
Subsystem
SafetyMonitorRF
MagnetVacuumOperation
TimingTemperature
Total# of ICOs
248571913212153

制御速度低下が問題となってきた。このため、PLCなどのローカル制御機器を直接制御するための IOCを開発し、真空制御系については既に更新をおこなった。電磁石およびクライストロン制御系に関しては、秋からのビーム運転時に更新をおこなう予定である。これらの開発には、EPICS base R3.14.12 を使用した。
3.2アラームシステム

入射器制御システムでは、サブシステムごとに異なるアラームシステムを開発し、運用してきた。入射器制御システムの EPICS 化にともない、包括的なアラーム管理を目指し、EPICS Control System Studio(CSS) [8] alarm 3.0.0 を採用した。本システムでは、バックエンドデータベースとして PostgreSQL 9.1.4を用いている。現在、約 1000 個の Process Variable(PV)を アラー ム に登 録し て いる 。 Figure 1 に、Python によって実装されたアラームシステム用 GUIの表示例を示す。本 GUI は、アラームの現在状況を表示するものであり、上段半分は各サブグループのアラームサマリを示している。アラームを発報している PV を含んだサブグループは、バックグランドカラーが赤く点灯している。同図の下段半分は、アラームが発砲している具体的な PV 名が列記されている。さらに、より詳細なアラーム発報履歴については、別のウィンドウにおいて詳しく表示されることが可能である。
登録 PV の総数は、SuperKEKB 運転に向けて増加すると考えられる。このため、大規模なアラームシステムを構築した際の、スピード性能および堅牢性に関する評価を進めている [9]。

Figure 1: Example of EPICS CSS alarm status
GUI.

3.3

データアーカイバシステム

入射器既存の制御システムでは、独自開発のパラメタロギングツールを用いてきた。本システムは、テキストファイルを基盤とした単純なものであり、サブシステムごとに異なるフォーマットが用いられている。そのため、ビーム位置および RF 位相の相関解析など、横断的なログ分析が簡便ではなかった。
そ こ で 、 EPICS 基 盤 の 制 御 シ ス テ ム の 導 入 後 、EPICS チャネルアーカイバ[10]および CSS アーカイバ
3.2.2 を導入し、運用を開始した。CSS アーカイバのバ ッ ク エ ン ド デ ー タ ベ ー ス と し て 、 PostgreSQL
9.1.4/9.3.3 を用いている。システムの可用性を高めるため、二つの独立した CSS アーカイバエンジンを、異なる計算機およびストレージを用いて運用している。現在、アーカイバに登録されている PV 数は44063 である。サブシステムごとの登録数については、Table 3 に示すとおりである。1 日当たりに消費するストレージ容量は、チャネルアーカイバおよびCSS アーカイバで、それぞれ、2 GB および 4.5 GBになっている。
チャネルアーカイバには、既存の Java で開発されたビューアアプリケーションを使用している。一方、CSS アーカイバビューアには、専用の Web アプリ
ケーションを開発し、使用している。本 Web アプリ
ケーションは、Flex 4.6、PHP 5.3.6、および Amfphp1.9.を用いて構築した。Web アプリケーションを用いることで、モバイルデバイスを含めて、ブラウザが動作する多くの環境からアーカイバ履歴を閲覧することが可能となった。本アプリケーションは、相関プロット、複数垂直軸、PV 名前検索、PV 名オー
トコンプリートなど、効率的なパラメタ解析のための機能性を有している。
CSS アーカイバの消費ストレージ容量は、チャネ
ルアーカイバと比較して大きくなっている。これは、
リ レ ー シ ョ ナ ル デ ー タ ベ ー ス (RDB) で あ る
Table 3: List of EPICS PVs Registered for the
EPICS Channel and CSS Archiver Systems
Subgroup
Klystron
VacuumTemperature
Environment
MagnetPF ring
RF phase monitor
SafetyOperation
TimingAlignment
Slow e+ facility
BPMInjector# of EPICS PVs
18384056943245410
70808690456329
1513027180
84PostgreSQL をバックエンドデータベースに使用して ム入射モード切り替えに起因しデータベースサイズいるためである。また同様の理由から、CSS アーカ が飛躍的に増加した。 既存のシステムでは、大規イバからのデータ取得速度は、チャンネルアーカイ 模データベースの管理が困難であったことや、新たバ経由と比較して劣る傾向にある。これを改善する な OS への移植にコストがかかることが問題であっために、PostgreSQL のオプションである pg_reorg を た。これらの理由より、2010 年、新たな運転ログを導入した。この機能により、データベースファイル 開発した。本運転ログは、Flex 4.6、PHP 5.3.6、およサイズを約 30%削減することに成功し、読み出し速 び Amfphp 1.9 を用いて開発し、バックエンドデータ
度 に 若 干 の 改 善 が 見 ら れ た 。 し か し な が ら 、 ベースとして PostgreSQL 9.4.0 を用いている。
Figure 2 に、新運転ログシステムの画面表示例をSuperKEKB 主リングコミッショニングのためには、さらなる読み出し速度の改善が必要と思われる。こ 示す。本運転ログは、サマリ情報および詳細情報かのため、RDB の代わりに、NoSQL 型データベース ら構成される。Figure 2 (a)に示すとおり、サマリ情の一つである Casandra をバックエンドデータベース 報では、シフトごとの加速器運転員および安全シフト担当者氏名、機器障害の概略について表示される。
として使用する試験を開始した。
また、CSS アーカイバの運用中、エラーステータ また、Fig. 2 (b)に示すとおり、より詳細な情報につスを出すことなくアーカイビングが停止することや、 いては別画面にて表示が可能である。本運転ログにデータが欠落するなどの問題が見られた。本不具合 おいては、旧運転ログと同様、ビーム繰り返しの変は、CSS アーカイバエンジンをより高速かつ大容量 更を含む代表的なパラメタ変化情報は自動的に記載
メモリを備えたサーバ計算機上で動作させることに される。また、機器障害および対処方法などのよりより、解消されたと思われる。しかしながら、この 詳細な記述については、加速器運転員あるいは機器ような障害対策として、チャネルアーカイバおよび 担当者が Web アプリケーションを用いて記入するこ二系統の CSS アーカイバを平行運用し、可用性を高 とができる。
本運転ログでは、オペレータインターフェースのめている。入射器における CSS アーカイバシステムの運用については、別途、詳細に報告される予定で スナップショットなど、画像情報の掲載が可能である。これにより、ビーム調整の詳細な状況を把握すある[11]。
ることがより容易となった。さらに、本運転ログは4. アプリケーションソフトウェア
複数キーワードを用いた高速情報検索機能を有している。障害発生時には、過去の同様な障害事例を検4.1 オペレータインターフェース索し、対処方法を参照することが可能である。今後
入射器既存のオペレータインターフェースには、は、障害情報を運転ログに記載した際、関連する機Tcl/Tk スクリプト言語による GUI、シェルスクリプ
器担当者へ自動的にメールアラートを送信するなど、トおよび C 言語による CLI を開発し、利用してきた。
さらに運転効率を向上させるための機能を実装してKEKB 計画開始以降、複数リングへの同時トップいく予定である。
アップ入射などの複雑なビーム運転形態に呼応して、より高度な運転ソフトウェアが必要となってきた。
そのため、アプリケーション開発環境を Python スクリプト言語に移行し、開発期間の短縮化を図ることに成功している。Python および EPICS PV 間の通信には、KEKB 計画のために開発された PythonCA モジュールを用いている。今後、単純なオペレータイ(a) Summary information. (b) Detailed information.
ンターフェースの開発については CSS 環境を最大限活用し、さらなる開発効率の向上を目指すことが課
Figure 2: Image example of the linac operation
題である。
electronic logbook system based on web application.
4.2 電子運転ログブックシステム
Web を基盤とした電子運転ログブックシステム（運転ログ）は、効率的な加速器ビーム運転において、重要なツールの一つである。これにより、加速器運転員および機器担当者間において、効率的かつ迅速な運転情報の共有が可能となる。入射器では、Microsoft SQL 6.5 を用いた運転ログを 1995 年に開発し、運用してきた。GUI 部は、Microsoft Access および Visual basic 言語により実装した。KEKB および
PF 同時トップアップ入射を開始した後、頻繁なビー

5.

まとめ入射器のビーム制御システムは、RPC を基盤とした独自開発のシステムから、EPICS を基盤としたものに更新されてきた。2015 年 2 月に開始予定のSuperKEKB 主リング運転に向けて、アーカイバの速度改善や高機能運転ソフトウェアの開発を精力的に進め、効率的なコミッショニングを目指している。
また、VMware vCenter を用いた仮想運転サーバ計算機を基盤として、堅牢かつ効率的な運転制御システ

ムの構築を目指している。

参考文献[1] http://www.aps.anl.gov/epics/.
[2] K. Furukawa, et al., “Pulse-to-pulse Beam Modulation andEvent-based Beam Feedback Systems at KEKB Linac”, inProceedings of IPAC’10, Kyoto, Japan, pp.1271-1273(2010).
[3] 佐藤政則, “(話題) 高速ビームモード切り替えのための KEK 入射器アップグレード”, 日本加速器学会誌,
日本加速器学会, 第 3 号, 第 2 巻, (2005).
[4] 佐藤政則, “(話題) 高速ビームモード切り替えのための KEK 入射器アップグレード (II)”, 日本加速器学会
誌, 日本加速器学会, 第 5 号, 第 2 巻, (2008).
[5] M. Akemoto, et al., ”The KEKB injector linac”, Prog.
Theor. Exp. Phys. 2013, 03A002.
[6] Y. Yano, et al., “RF CONTROL SYSTEM FOR
SUPERKEKB INJECTOR LINAC”, in Proceedings of the
11th Annual Meeting of Particle Accelerator Society ofJapan, August 9-11 2014, Aomori, Japan, pp.624-628(2014).
[7] R. Ichimiya, et al., “DEVELOPMENT OF HIGHPRECISION BEAM POSITION MONITOR READOUTSYSTEM WITH NARROW BANDPASS FILTERS FOR
THE KEKB INJECTOR LINAC TOWARDS THE
SUPERKEKB”, in Proceedings of IBIC2013, Shanghai,China, September 16-19, pp.698-701 (2013).
[8] http://controlsystemstudio.org/.
[9] T. Nakamura, et al., “EVALUATION OF THE CSSBASED ALARM SYSTEM FOR SUPERKEKB”, in theseproceedings.
[10] http://ics-web.sns.ornl.gov/kasemir/archiver/.
[11] T. Kudou, et al., “PRESENT STATUS OF CSSARCHIVER AT KEK INJECTOR LINAC”, in theseproceedings.