先端加速器試験施設における White Rabbit を用いた Beam Gate システムのアップデート〇伊藤 史哲 a)、梶 裕志 a)、飯塚 祐一 b)a)

高エネルギー加速器研究機構

加速器研究施設 加速器第四研究系、b)東日本技術研究所

１．はじめに高エネルギー加速器研究機構（KEK）内の先端加速器試験施設（ATF）は、加速器要素技術の開発を目的とした試験型加速器である。その ATF において、オープンハードウェアのタイミングシステムである White Rabbit（WR）モジュールを用いて Beam Gate と呼ばれるビーム運転自体を制御する機構を構築している。本発表においては WR の特徴、Beam Gate、アップデート作業及び動作検証について述べる。
２．White Rabbit
WR は、制御およびデータ収集システムに用いる汎用的な新技術を開発するため、欧州原子核研究機構（CERN）等、複数の研究所・企業からなる共同プロジェクトにより開発された。最大の特徴は数キロ離れたモジュール同士をサブナノ秒の単位で同期できることが挙げられ、これは、PTP（Precision TimeProtocol）と呼ばれる精密時間同期の標準規格 IEEE1588-2008 を拡張することで実現されている。またこの拡張機能はその他の追加機能と共に、IEEE1588-2019 に正式に採用されている。正確な時間記録とdeterministic なデータ配信も可能であり、大型加速器の様な大規模分散制御型施設での運用に非常に適している。WR プロジェクトの最初の目的は CERN の制御・タイミングシステムを改修するためであったが、ハードウェア、ファームウェア、ソフトウェアの開発にオープンソースを採用し、標準規格との互換性も優れることから、応用先が拡大している。日本においても KEK を含むいくつかの施設において、導入が進められている[1-3]。
２.１ White Rabbit のネットワーク
WR ネットワークは WR スイッチとノードによって構成される。ＷＲスイッチは通常のイーサネット用スイッチの機能と、それとは独立に高精度時間同期のための機能を提供している。master となるモジ
ュールは、master 配下に接続された slave と呼ばれるノードモジュールの FPGA 動作クロックを自身の動作クロックと同期させる。ＷＲスイッチを master と slave 間にいくつも用意することで、数千台のノードを数キロメートルになるファイバで同期するといった、大規模なネットワークを構築することも可能である。CERN においての試験では、４段のスイッチを挟み、合計 15 km のファイバで接続されたモジュールをサブナノ秒の精度で同期させている[4]。
２.２ Open Hardware Repository
WR はこれも CERN を中心に進められている Open Hardware Repository（OHR）[5]にて、開発に必要なあらゆる情報が公開されている。様々な機能を持つ入出力用 FPGA メザニンカード（FMC）や、FMC のキャリアボードである Simple PCI Express Carrier（SPEC）[6]等の基板も公開されており、このようなものを組み合わせて活用することで、用途に合わせた機能を速やかに実現することができる。
３．Beam Gate
パルス動作を行う電子銃やキッカー電磁石などへのトリガー信号は、後述するタイミングシステムによって数十ピコ秒の精度で制御されている。このトリガー信号を供給・停止することで、ビーム運転を制御する機能を KEK では Beam Gate と呼んでいる。Beam Gate は他の機器と同様、ATF の制御室から分散制御用フレームワークである EPICS をベースにしたシステムで制御される。
３.１ タイミングシステムの概略
ATF は入射器と周長約 140 m のダンピングリング（DR）及び出射ビームラインからなり、各場所にある機器を正確なタイミングで動作させ、ビームを狙った通りに制御するために、タイミングシステムが構築されている。以前は動作タイミングが異なる各パルス動作の機器毎に、プリセットカウンタ方式のディレイモジュールが数珠つなぎに接続され、正確にビームに同期されていた。しかし、維持コストや同期周波数の変化によるカウンタずれなどの問題から、現在 ATF においてタイミングシステムは、

SINAP が開発と供給を行っている Event Generator（EVG）と Event Receiver（EVR）による構成に移行されつつある[7]。加速管への高周波（RF）に同期された EVG と、EVG からの信号を受け取った入射側と出射側の EVR により、各パルス動作の機器へと任意のタイミングでトリガーを送ることができ、EVRの任意チャンネル出力を停止することができる INHIBIT 入力端子が実装されている。
３.２ WR の導入
前述したとおり、EVR には INHIBIT 信号端子が実装されているため、ここに制御信号を入力することで、EVR から出力される各トリガー信号を任意のタイミングで停止することができる。しかし、出射停止時には入射も停止する必要があり、入射を止めた瞬間に出射も止めてしまえば、ビームはリングに残り続けてしまう。そのため、入射と出射は、確定した時間差で動作させる必要がある。時刻同期精度が非常に高く、deterministic なネットワーク通信が可能な WR は、このような INHIBIT 端子に制御信号を入力する用途にも適している。また WR は、タイミング信号の配信元と配信したい場所に設置し、その間をシングルモードファイバで繋ぐだけで敷設が済み、タイミング等の調整も容易に行うことができる。ダンピングタイム後に出射トリガーを出力する際に必要となる、大きな遅延量も容易に生成可能であるから、追加のモジュールを用いることなく、様々な運転モードを制御できる。上記の理由から、WRを用いて Beam Gate システムは構築されることとなった。
３.３ Beam Gate システムのプロトタイプ
INHIBIT 信号生成用の WR ノードモジュールは、SPEC と 5 チャンネルの LEMO コネクタによるデジタル入出力が可能な FMC-DIO[8]を組み合わせた構成とした。入出力用のメザニンカードが分離されることで、FPGA デバイスの更新などが容易に行えるようになる。このノードモジュールを計算機の PCIExpress スロットに挿入し、EPICS ベースの制御システムで動作させるために開発したプロトタイプのInput Output Controller（IOC）を同計算機上で動作させた。ノードモジュールが刺さった計算機で IOC を動かすことで、EPICS の CA（Channel Access）プロトコルを通してイーサネット越しに操作を行うことができる。FMC-DIO を操作する IOC に必要な EPICS デバイスサポートも開発し、既に公開されている[9]。このプロトタイプで可能なビーム制御は、入射後 DR で一定時間ビームを溜めその後出射するというサイクルを繰り返す、という通常ビーム運転モードの ON/OFF であり、WR の deterministic なデータ転送を用いて入射側 INHIBIT 信号出力を出射側で正確に追従させることで実現されている。
４．アップデート
上記のプロトタイプの機能をより拡張し、様々な運転モードの切り替えを WR を用いた Beam Gate システムで実現しようと計画している。今回追加した機能は、ビーム入射を一回行い、出射は行わずに DRにビームを溜める「storage mode」と、入射が止まっている状態で、DR からビームを出射する「extractionmode」の導入である。
４.１ 方針EVR は各チャンネル出力と INHIBIT 信号の積で実際の各チャンネル出力が決まるため、あるチャンネルが１を出力している途中で、INHIBIT 信号が０から１に変化すると、そのチャンネルは従来の時間から遅れて立ち上がることとなり、正規のタイミングでトリガーがかからないことになる。例えば任意のタイミングで storage mode を ON にする操作を行ったとき、上記のような問題を確実に避けるためには、運転周波数 3.125 Hz に合わせて INHIBIT 信号の解除を行う必要がある。そのため、WR ノードにEVR から運転周波数を入力し、運転モードの変更の際は、運転周波数の変位を待って動作をさせることとした。また、上記のような仕様は、既に運用されていたプロトタイプにも適用させることとし、修正を行うこととした。ATF への導入は、ATF とは独立に用意した試験環境での動作確認後に行うこととした。
４.２ 作成した IOC
前節で述べたようなシステムを構築し、動作確認をすると、想定通りに動かないことがあった。storage
mode を ON にすると、その後の運転周波数信号の変位検知で、割り込み処理が発生し、IOC 上で EPICSネットワークにパブリッシュされたプロセス変数（PV）の一連が動作する。その結果、WR が INHIBIT信号を出力するのだが、その PV の動作が終わらないうちに（PV の内部変数である PACT が True のうちに）割り込み処理が発生すると、PV の動作は受け付けられずにスキップしてしまう。このような事象が度々発生したた
め、割り込み処理ではなく、任意のタイミングで PV を動作させ、PV 動作の一連の中で、運転周波数信号を読み込むこととした。この変更に伴い、EPICS デバイスサポートのアップデートも行うこととなった。完成した IOC の簡易ダイアグラムを
図 1 に示す。矢印が PV 実行の流れを、点線は条件付き PV 実行の流れを、実線は論理値の参照を表している。storage modeが ON になると、運転周波数信号を読み込むループに入り、信号変位時に INHIBIT 信号を出停止する。通常運転モードのON/OFF を行う操作時においても同様にループに入り、運転周波数に合わせて INHIBIT 信号の制御を行わせるよう変更した。

図 1 IOC の簡易ダイアグラム

５．動作試験
試験環境下において、上記 IOC がうまく動作することを確認したので、実際に ATF に導入し、まずは運転停止期間中に試験を行った。図 2 は INHIBIT 信号により制御されるトリガー信号（ch1）、INHIBIT信号（ch2）、運転周波数（ch3）をデジタルオシロスコープに入力して取得した波形の様子と、入射側と出射側の INHIBIT 信号を制御する PV が変化した際の時間を記録したものである。任意のタイミングで制御室から操作したが、INHIBIT 信号は運転周波数信号の立下り時において変化していることが分かる。
デジタルオシロスコープのトリガーは ch1 としており、入射・出射のトリガー信号が、通常運転モードの ON/OFF に合わせて制御されていることも確認できた。また、出射側の変位は入射側の 220 ミリ秒後に起こっており（図 2 右参照）、想定通りに動作していることが確認できた。storage mode 及び extraction
mode においても、同様に想定通りに動作したため、許可を得た上で 2023 年 2 月から行われた ATF 運転中に試験を行った。

図２

運転停止中の試験時の波形と、入射出射側での INHIBIT 信号変位の時間差

通常運転モードの ON/OFF については ATF 運転中においても問題なく動作したが、storage mode をON にすると、1 パルスだけビームが入射されるものの、その後 DR にビームが溜まらなかった。図 3 はビームカレントモニタの値をオシロスコープで取得したものである。入射から 220 ミリ秒後に出力されている出射キッカー用トリガーのタイミングにおいては、カレントが存在し続けているため、出射側トリガーはきちんと INHIBIT 信号により停止されていることが分かる。逆に運転周波数 3.125 Hz に対応
する約 320 ms 後においてカレントがなくなっていることから入射側の問題であることが分かった。これは、電子銃レーザー室へのトリガーは INHIBIT 信号にて制御されているが、入射キッカー用トリガーについては制御できていなかったためであり、このため、入射キッカーによって DR 内のビームが蹴り出されてしまっていた。割り当てられた試
験時間内にこの修正をすることは難しかったため、今期のATF 運転中に storage mode を導入し、動作確認を行うということはできなかった。
図３ カレントモニタの波形

６．まとめと今後
WR の長距離間の高精度な時間同期と deterministic なデータ配信機能を用いて、ATF において BeamGate システムを構築している。同システムは一部の機能がプロトタイプとして実際に運用されているが、今回その機能追加と、プロトタイプのアップデートを行った。INHIBIT 信号の制御自体は ATF 停止期間中に試験し、想定通りに動作することが確認された。しかし、ATF 運転期間中に行った試験により、INHIBIT 信号によって制御されるトリガー信号自体の設定に修正が必要ということが分かり、機能追加については、次回の運転期間中に再度行うことになった。今後は、Beam Gate システムを用いて更に様々な運転モードを設定できるように改良していく予定である。また WR を用いた Beam Gate システムの有効性を ATF で示した後、ゆくゆくは SuperKEKB 加速器にも導入していきたい。
参考文献
[1]

T. Masuda, “Timing Signal Distribution for Synchrotron Radiation Experiments Using RF over White Rabbit”, in Proc.
ICALEPCS2019, New York, USA, 2019.

[2]

H. Nakanishi, “Study of White Rabbit-Based Sub-Nanosecond Precision Timing Distribution for Fusion Experiments”, J.
Plasma Fusion Res. 97, 597-603, 2021.

[3]

H. Kaji, “Distributed TDC System Based on White Rabbit”, in Proc. of the 19th Annual Meeting of PASJ, 2022.

[4]

P.P.M. Jansweijer et al., “White Rabbit: Sub-nanosecond timing over Ethernet” NIM. A, 725, 187-190, 2013.

[5]

http://www.ohwr.org[6]

http://www.ohwr.org/projects/spec[7]

H. Kaji, “Upgrade Plan of the Bucket Selection and Timing System at ATF”, in Proc. of the 18th Annual Meeting of PASJ,2021.

[8]

http://www.ohwr.org/project/fmc-dio-5chttla[9]

https://ohwr.org/project/fmc-tdc/wikis/how-to-set-up-the-pect-and-fmc-dio-with-epics

謝辞
本研究は ATF 施設の皆様のご協力の基に実現いたしました。特に KEK 応用超電導加速器センターの照沼信浩教授、関東情報サービスの塚田義則氏には、Beam Gate システムのアップデート及びビーム運転において多大なご協力を頂きました。この場を借りて御礼申し上げます。