Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 FROB01

White Rabbit を用いた Distributed TDC システム
DISTRIBUTED TDC SYSTEM BASED ON WHITE RABBIT梶裕志 ∗Hiroshi Kaji ∗High Energy Accelerator Research Organization (KEK)

Abstract
The distributed TDC system is applied at the SuperKEKB collider for the first time in the world. The system wasdeveloped based on the White Rabbit timing system. The PCIexpress type slave nodes are installed at the SuperKEKB
beamline and operated as TDC. The timestamp of the signal from the newly installed beam loss monitors is detectedwith the GPS time. The beam loss caused by the injection beam-bunch can be determined with the timestamp of theinjection trigger. Besides, we can determine the bunch number which caused the beam loss. They give a large advantage
to studying the sudden beam loss accident, and partially, revealed the mechanism of the beam loss. The expansion of the
distributed TDC system is planned for the further study of the sudden beam loss.

1.

はじめにSuperKEKB は世界最高ルミノシティでの電子・陽電子衝突実験を行う加速器である。そのデザインル
ミノシティは 8 × 1035 cm−2 s−1 であり、これは前プロジェクト KEKB 加速器が実現したルミノシティの40 倍にも及ぶ。建設・試運転を経て 2018 年より衝突実験を開始し、物理ランにおける最高ルミノシティは世界最高記録である 4.65 × 1034 cm−2 s−1 である。
今後もこれを更新しながら運転を続けていく予定である。
本講演の主題である「distributed TDC システム」は加速器ビームライン上の異なる複数の位置に設置された TDC (Time to Digital Convertor) が共通時計を持つ統合システムである。それぞれのノードが測定した信号入力時刻（タイムスタンプ）は直接比較することができ、あたかも 1 つの巨大な TDC が加速器ビームライン全てをカバーしているように振る舞う計測システムである。これは SuperKEKB のようにビームラインが長距離に及ぶフロンティア加速器においてのビーム診断に大きなアドバンテージをもたらす。
SuperKEKB の Distributed TDC システムは White
Rabbit（WR）タイミングシステム [1] をベースに構築されている。本講演では KEK つくばキャンパスに構築された WR システムの全容に簡単に触れたの
ち、distributed TDC の応用例として sudden beam loss
事象の解析結果についても紹介する。

2.

WHITE RABBIT タイミングシステム

本節では KEK つくばキャンパスに構築されている WR タイミングシステムについて紹介する。
2.1

Grand-master モジュール

WR の grand-master モジュールは配下に接続された slave モジュール FPGA の動作クロックを自身の動作クロックと同期させる機能を持つ。WR システ∗ hiroshi.kaji@kek.jp

Figure 1: Picture of the grand-master module and the GPS
receiver.

ム各ノードのシステム時計はこの FPGA クロックをベースにしているため、必然的に WR 全ノードは共通時計を持つことになる。このときノード間の時計同期精度は O(100ps) である [1, 2]。
SuperKEKB の grand-master モジュールは中央制御棟 (Central Control Building, CCB) に設置されている。
同所にあるルビジウムクロック内臓の GPS 受信機からの PPS (Pulse Per Second) 信号と 10 MHz クロックを grand-master モジュールに入力することで、システム全体の時刻を GPS 時刻と同期させている。Figure
1 は grand-master モジュール及び GPS 受信機の写真である。
2.2

Slave モジュール

Distributed TDC システムの個々の TDC の役割を担うのが、SPEC (Simple PCIe FMC Carrier) [3] をベースとしたスレイブモジュールである。PCIexpress の空きスロットに SPEC を挿入した計算機で EPICS IOC(I/OController) を構築することで、加速器運転での運用を実現している。
我々は TDC 機能を担う FMC カードとして FMCDIO カードを用いている。SPEC と FMC-DIO を載せた EPICS IOC は各チャンネルの TTL レベル信号
入力が HIGH/LOW ステータスの間で遷移した瞬間の時刻を EPICS Process Variable (PV) で通知する。この時刻は FPGA の動作クロックである 125MHz がベースとなっているため時刻測定精度は 8 ns になる。EPICS デバイスサポートについては [4] で公開している。Ubuntu18.04LTS もしくは Ubuntu20.04LTS- 207 -Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 FROB01

Figure 2: Picture of FMC-DIO (left) and FMC-TDC(right).

上での動作が確認されており、EPICS は ver3.15.8 を用いている。
TDC 機能を持つ WR スレイブノードとしては、他にも SPEC と FMC-TDC カードの組み合わも可能である。この構成の TDC ノードでは時刻測定精度は81ps と FMC-DIO を用いた場合よりも大幅に向上する。まだ KEK での実運用の例はないが、EPICS デバ
イスサポートはすでに開発済みで [5] で公開されている。
Figure 2 に FMC-DIO と FMC-TDC の写真を載せる。White Rabbit のスレイブノードの機能は、搭載する FMC カードにより決定される。スレイブノード本体となるキャリアボードは、どのプラットフォームタイプでもすべての FMC カードを搭載可能なように開発されており、この汎用性は White Rabbit の持つ長所の 1 つである。そのためそれぞれの加速器環境に合ったプラットフォームでスレイブノードを構築し、そこに必要な機能の FMC カードを実装することが可能である。

Figure 3 は SuperKEKB に構築した distributed TDCの概略図である。左図が distributed TDC に接続されたビームロスモニターの場所を表し、右図はその入力信号を含めた全入力信号のチャンネルマップを表している。5 台中 3 台はビームロスモニターからの信号の到達時間を測定しており、D06, D10 電源棟の制御室と Tsukuba ホール地下 4 階フロアのモニター室に設置されている。残りの 2 台は中央制御棟内に設置され、ビーム入射トリガー信号、ビームアボート信号の発報時間、ビームゲート信号の遷移時間を記録している。
各チャンネルに信号入力（エントリー）があった時
刻はすべて EPICS Process Variable (EPICS PV) で提供され、EPICS Archiver Appliance に記録されている。オフラインでのデータ解析はこのアーカイバ上のデータに対し行われる。

4.

オフラインデータ解析

この節ではオフラインデータ解析の方法と応用
例として sudden beam loss (SBL) 事象の解析結果を示す。オフラインデータ解析は各スレイブノード・チャンネルのエントリー時刻を比較し、ひも付けしていくことが基本である。
4.1

時刻同期処理各ビームロスモニターからのエントリーとビーム入射トリガー信号やビームアボートトリガー信号のエントリーの時刻を比較することで「ビームロスがそれらと関連しているか?」を判定することができる。
3 . DISTRIBUTED TDC システム
Figure 4 は D06-TDC ノードが稼働コリメータ付近
SuperKEKB における distributed TDC システムは、 に設置したロスモニターのエントリー時刻と LER 入
SPEC と FMC-DIO を組み合わせた WR スレイブノー 射トリガー・エントリー時刻の時差をプロットしたドで構成されている。現在のところ 5 台のスレイブ ものである。時差分布に 10 µs ごとのスパイクが見らノードがこの目的で SuperKEKB ビームライン上に れるのは入射直後から常に同じバンチがビームロス設置されている。
を発生していることを示しており、入射起因のビー

Figure 3: Overview of the distributed TDC system at SuperKEKB: the signals from the beam loss monitor at D06, D10
and the Tsukuba hall are monitored (left). Five TDC nodes are installed and operated so far. Three of them are used tomonitor the signal from the beam loss monitor while the remaining two are used to monitor the injection trigger, abort
request signal, revolution, and so on (right).

- 208 -

Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 FROB01

2. 入射起因のビームロス・エントリーと revolution
信号エントリーの時差 ∆trev を求める。
3. ∆trev を入射 RF バケットの関数としてみた相関図を作る。
こうして作られた相関関係を Fig. 5 に示す。この相関関係はビームロス発生バンチが自明な入射起因のビームロス・エントリーを使って、各バンチのビームロス・タイミングと revolution 信号・タイミングのキャリブレーションを行っていることになる。
測定されたビームロス・バンチと revolution 信号相
関関係は入射起因のビームロス・エントリーだけでなく、ストレージビーム起因のビームロス・エントリーにも当てはめられる。このため distributed TDCで測定されたすべてのビームロスは、その発生バンチを同定することができる。これは次節で議論する
アクシデント事象などの原因究明において大きなアドバンテージをもたらす。
Figure 4: Time difference between the positron injection 4.2 Sudden Beam Loss
trigger and the signal entry from the beam loss monitor inSuperKEKB は運転中に蓄積電流の数割を、突然
the D06 region: the results from the loss monitors near thehorizontal (up) and vertical (middle, down) collimators are に、1, 2 ターンのうちにロスするアクシデント事象
shown. the injection trigger is provided about 100 µs be- が多発している。我々が Sudden Beam Loss（SBL）とfore the injection beam. Therefore, the vertical red line on 呼んでいるこの事象は、衝突点の超電導収束電磁石（QCS）をクエンチしたり、QCS や Belle II 検出器など
the figures indicates the injection-beam timing.の保護を目的に設置した稼働コリメータを損傷するため、高パフォーマンスでの長期的な運転を困難にしている。SBL を引き起こすビームの不安定性の原ムロスが持つ特徴である。特に D06 区域は LER 入射因はまだわかっていないが、この事象発生時にコリ点の直下流にあり、ここに設置されたロスモニターメータ付近で大量のビームロスが観測されること、は LER 入射ビームに起因するビームロスに感度が高
いくつかの SBL 事象後にコリメータに損傷が確認さく、入射から 100 ターン以上に及びビームロスを観れたことから、「不安定性により振動したビームが測することも少なくない。
開口幅の狭いコリメータ部でそのヘッドに衝突し、またビームロス・エントリーと revolution 信号・ビームロスを発生している」と考えられている。
エントリーの時間関係からは「そのビームロスがこ の Sudden Beam Loss の 原 因 究 明 に distributed
どのバンチから発生したものか?」を同定できる。
TDC データが用いられている。Figure 6（上）の概revolution タイミングとビームロス発生バンチの相念図は、衝突点付近のビームロスモニターからの信関関係は、前述した入射起因のビームロス・エント号の測定ラインを表したものである。ビームロスモ
リーを用いて以下のように求めることができる。
ニターからの信号を 2 つに分け、オシロスコープと1. ビームロス・エントリーと入射トリガー・エン distributed TDC の両方に入力することで、distributed
トリーの時差から、入射ビーム起因のビームロ TDC はオシロスコープの波形データの複数点にランドマークとなる GPS 時刻を与えることができる。
ス・エントリーを同定する。

Figure 5: These examples are the circular charts showing the shares of PC’s OSs used to write the papers for IPAC10.

- 209 -

Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 FROB01

Figure 7: The raw signal waveform from the beam loss
monitors at D06 and D02 vertical collimators.

るスレイブノードは PCIexpress 型のボートが採用されている。加速器ビーム診断の最初の応用として、SuperKEKB ビームラインに設置された高時間分解能ビームロスモニターからの信号を用いて、正確なFigure 6: Schematic view of the signal line from the beam ビームロス発生時刻の測定を行っている。
loss monitor to the distributed TDC (up), the raw signal
distributed TDC システムは入射トリガー信号、ビー
waveform of the beam loss measured with the oscilloscope ムアボート要求信号や revolution 信号の時刻も記録(middle), and the bunch current on the same timing(down). しているため、上述モニターからのビームロス・エントリーとそれらの時間関係を知ることが可能である。例えば「ビームロスが入射ビームによりもたらFigure 6（中）はその 1 例である。オシロスコープ されたものか?」を同定することが可能であり、また画像上の緑の波形データは、電子リングの衝突点直 ストレージビームによるビームロスにおいても発生前の垂直コリメータ（D01V1）付近に設置したロス させたバンチの場所を ±4 RF-bucket の精度で同定すモニターからの生データである。distributed TDC へ ることが可能である。
これらの機能の用いて、現在、SBL 事象の発生点の入力矩形波を生成するディスクリミネータの閾値を −100 mA としていたため、この波形データ上の の同定と原因究明が進められている。今後、同目−100 mA 部分の GPS 時刻を知ることができ、また 的でビームロスモニターを増設し、そのすべてがビームロス発生バンチまで同定することができた。 distributed TDC に接続される予定であり、同システ
この情報を基に Bunch Current Monitor のターン毎の ムが SBL の研究に大きく貢献すると期待される。
電流減少値（Fig. 6（下））と直接比較することが可能になり、この SBL 事例におけるこのコリメータ付 謝辞
近で発生したビームロスの寄与を明らかにすること
本 研 究 で 用 い た ビ ー ム ロ ス モ ニ タ ー は、 Suができた。
perKEKB/Belle
II 合同ビームロスモニターチームにまた同じ方法で離れた場所に設置されたロスモより開発されました。同グループからは本公演に関ニター間で、ロス信号波形データを直接比較することも可能である。陽電子リングで発生した SBL 事 しましてたくさんのご助力をいただきました。特に象について、入射点直後の垂直コリメータ（D06V1, 掲載したロスモニターデータは総研大の Yuxin Liu
D06V2）と衝突点直前の垂直コリメータ（D02V1） さんの解析結果を提供していただきました。こころからの波形データを Fig. 7 に示す。D06 電源棟と より感謝いたします。またその他の皆様にも研究をTsukuba ホールに設置されたオシロスコープの信号 遂行するうえで貴重な助言をたくさんいただきまし
波形を直接比較することができ、D06 区域の 1 つ目 た。重ねて御礼申し上げます。の垂直コリメータで最初にビームロスを観測し、その後、ビームがアボートされるまでにリングの複数 参考文献
[1] https://ohwr.org/project/white-rabbit/wikis/の箇所でビームロスが発生していることがわかる。

5.

まとめSuperKEKB 加速器は distributed DAQ システムの1 つである distributed TDC システムを世界で初めて運用した。同システムは White Rabbit タイミングシステムをベースに構築され、個々の TDC に相当す

home[2] H. Kaji and Y. Iitsuka, “Performance test and initial Application of White Rabbit system at SuperKEKB”, in Proc. of the17th Annual Meeting of PASJ, online, Japan, Sep. 2020.
[3] https://ohwr.org/project/spec/wikis/home[4] https://ohwr.org/project/fmc-tdc/wikis/
how-to-set-up-the-spec-and-fmc-dio-with-epics- 210 -Proceedings of the 19th Annual Meeting of Particle Accelerator Society of Japan
October 18 - 21, 2022, Online (Kyushu University)

PASJ2022 FROB01[5] https://ohwr.org/project/fmc-tdc/wikis/
how-to-set-up-the-spec-and-fmc-tdc-with-epics- 211 -