1■研究紹介

小柴賞を受賞して高輝度電子・陽電子衝突実験のための大規模データ収集システムの開発研究
高エネルギー加速器研究機構

伊 藤領 介，田 中

真 伸，中 尾幹 彦，鈴 木聡，樋 口岳 雄2008 年 5 月 31 日

COPPER モ ジ ュ ー ル は 完 成 し た が ， そ れ で は 次 に

1 はじめに

COPPER を使用してどのように Belle データ収集システム

このたびは大変名誉ある賞をいただきまして，本当にあのパイプライン化を進めるかが問題となった。Belle 実験はりがとうございました。今回受賞対象となった私たちの研進行中の実験であり，長期間シャットダウンしてフロント究は，種々の紆余曲折や困難を乗り越えて完成したものでエンドエレクトロニクスごと読み出しシステムのすべてをあっただけに，非常に感慨深いものでした。そこで本稿で入れ替えてパイプライン化することは許されない。そこでは私たちの研究を改めて紹介させていただきます。詳細はCOPPER をベースに，従来使用していた FASTBUS TDC

2007 年の高エネルギーニュース 26 巻 3 号[1]のなかで既にと信号のコネクタレベルまで完全に互換性を持つパイプラ述べましたので，オーバーラップする部分が多々あること

イン TDC モジュールを製作し，読み出しシステムを検出器を最初にお断りしておきます。本稿では加えて現状と今後ごとに順次入れ替えていくという段階的なアップグレードについても述べたいと思います。

をおこなうことにした。パイプライン TDC チップには ATLAS実験に使用される AMT3 を用いたが，TDC 本体を COPPERに搭載する FINESSE として製作することにより，最小限

2 Belle DAQ のパイプライン化のコストとマンパワーで，パイプライン TDC モジュールをKEKB 加速器は実験開始以来順調に性能向上を続け，34製作することができた（図 1）。

2

2003 年には初期の目標であったルミノシティ 10 / cm / secに到達した。これにともない，Belle 実験装置のトリガーレー
トも上昇し， 500 Hz に近くなることも増えてきた。 Belleのデータ収集システムは，当初 500 Hz の場合全データ収集時間のうち 10% 程度のデッドタイムを許容するように設計されていた。しかし 10% のデッドタイムは事実上 10% のルミノシティを失うことと等価であり，何らかの対策が必要であった。しかも KEKB 加速器スタッフの努力によりルミノシティはさらに上昇を続けており，crab cavity を加速器に追加することで，近い将来ルミノシティは3 × 1034 / cm2 / sec を越え，トリガーレートは 1kHz に迫ると予想された。それまで使用していた FASTBUS の読み出しシステムは，パイプライン化されていないため読み出しデッドタイムが不可避であり，トリガーレートが 1kHz 程度に達した場合，デッドタイムは 20% にも上ることが予想された。
この状況を根本的に解決するためには，FASTBUS の使用をやめ，パイプライン化したデッドタイムレスの読み出しシステムに置き換える必要があることは自明であった。
そこで Belle データ収集グループは，KEK エレクトロニク
スシステムグループによるパイプライン読み出しプラットフォーム COPPER の開発に当初から全面的に参加し，共同で完成させた。

図 1：Belle DAQ のパイプライン化に用いた
COPPER-TDC モジュール
LeCroy 1877S とピンコンパチブルな信号コネクタ 6 個を 2 枚の大型 FINESSE に搭載し，物理的に完全な互換性を実現している。

2
図 2 に COPPER による Belle 検出器読み出しシステムの概念図を示す。COPPER は 9U の VME クレートに収納さCOPPER システムが完全に動作することが実証され，次の検出器 CDC に着手することになった。

れる。たとえば Belle の中央飛跡検出器（CDC）の読み出

CDC は Belle の主要トラッキングデバイスであり，チャしシステムは，89 枚の COPPER が 6 個のクレートに搭載ンネル数も多いため，最長の読み出しデッドタイムを持っされる。トリガーを受けると AMT3 から読み出されたデーていた。Belle のデータ収集システムのデッドタイムは，もっタはリードアウト FIFO に移され，COPPER 上の CPU カーとも読み出しの遅い検出器で決まっており，CDC がパイプドでデータのフォーマッティングや圧縮処理がなされた後，ライン化されればパイプライン化作業途上においてもデッreadout PC で部分的なイベントビルディングがおこなわれドタイムの低減に貢献できると考えられた。しかし CDCる。さらに local event builder PC で検出器単位のイベントのシステムではテストの段階で問題が噴出した。読み出しビルディングがおこなわれ，Belle のイベントビルダーに送た信号が三つのピークを持ってしまったり，レートは十分出される。

低いのに AMT3 のパイプラインがオーバーフローしてしまうといった問題が続発したのである。これらの解決には半年以上の時間を要したがすべてをクリアすることができ，2007 年の正月明けから CDC の読み出しシステムの入れ替えを始めた。
入れ替え作業は Belle DAQ グループ総出でおこない，1月末までには Belle の他の検出器と協調して宇宙線ランができるようになった。そして 2 月より始まったビームランで実際の運用が始まった。すぐにビームラン中での性能評価がおこなわれたが，図 3 に示すように FASTBUS システム
では 30 μ sec 程度あったデッドタイムが 1/10 以下に低減されており，パイプライン化の効果が確認された。また心配されていた CDC の運動量分解能も，従来の性能とまったく
図 2：COPPER によりパイプライン化した検出器読み出しシステムの構成変化がないことが確認され，物理解析に影響がないことが実証された。

COPPER からイベントビルダーに至るまで Belle の標準ソフトウェアフレームワークである B.A.S.F.が動作し，高度な分散処理を可能にしている。

このシステムの最大の特徴は，読み出しモジュールのすべてに Linux が動作する CPU カードが搭載されており，高度な分散処理を実現している点にある。この CPU の上ではデータ収集システムのみならず Belle のオフライン解析でも使用されている統一ソフトウェアフレームワークが動作し，オンライン・オフラインを問わないシームレスなソフトウェ
ア環境で，複雑な分散並列処理がおこなわれていることである。検出器フロントエンドの読み出しの最初の段階で，オフライン解析と同じソフトウェアを使用してデータ処理をおこなわせているシステムは他には例がなく，このシステムを非常に独創的なものにしている。

図 3：トリガーあたりのデッドタイムの長さを CDC 読み出しシステムの COPPER 化前後で比較した図
TDC あたりのヒット数の関数としてプロットしてある。赤色（上）で示されたのが従来の FASTBUS 読み出し時のデッドタイム，青3 パイプライン化作業の経緯
2005 年 の 夏 か ら 検 出 器 の 読 み 出 し シ ス テ ム を 順 次
COPPER システムに入れ替える作業を開始した。まず，もっ色（下）が COPPER を用いた場合のデッドタイムである。

4 現在の Belle DAQ システムとも小規模な超前方カロリーメータ（EFC）の読み出しシ

CDC のパイプライン化の成功を受け，他の検出器の読みステム を入 れ 替えて 動作 試 験をお こな っ た。そ の結果出しシステムを順次パイプライン化する作業を開始した。

3
パイプライン化されていないシステムが残っていれば，そのシステムが Belle DAQ システムの全体のデッドタイムを5 SuperKEKB に向けて決めてしまうため，パイプライン化を急ぐ必要があった。

KEKB 加速器は現在 crab cavity のチューニングが進んで2007 年の夏にはエアロジェルチェレンコフカウンタ（ACC）

おり，順調にいけば非常に近い将来，ルミノシティは目標の読みだしシステムを COPPER 化した。CDC の作業で十である 3 × 1034 / cm2 / sec に達すると思われる。これはトリ分に経験を積んでいたため，入れ替え作業は短期間で終えガーレートが 1kHz に近づくことを意味する。FASTBUS のることができた。
このシステムも現在おこなわれているビー

読み出しシステムが残っていれば，デッドタイムは 20% 近ムランで非常に安定に動作している。データクオリティにくに達すると思われるので，パイプライン化を早急に進めついてもオフライン解析の結果，従来と変わらない性能がていく必要がある。2008 年度には残りの検出器の読み出し得られていることが確認されている。

システムのパイプライン化を進めていく予定である。

これに自信を得て 2008 年 1 月にはさらにトリガー情報の

しかし，早ければ 2009 年度から，いよいよ SuperKEKB読み出しシステム(TRG)のパイプライン化をおこなった。

へのアップグレードが始まることになり，Belle のデータ収

このシステムは比較的データ量が多いため，パイプライン集システムも対応する必要がある。SuperKEKB では最大化の効果が期待できるが，その反面非常に速い信号が多い

30 kHz にも達するトリガーレートが予想され，読み出しシため，AMT3 の性能の限界を越える可能性があった。入念ステムの大規模なアップグレードは必須である。これまでなテストを経て，読み出しシステムの COPPER への入れおこなってきた Belle DAQ のパイプライン化は，既に替えを決行した。入れ替え作業は非常にスムースであった

SuperKEKB へのアップグレードを見据えた上で進めてきが，予期しなかったトラブルが起こった。シリコン崩壊点ている。COPPER による読み出しシステムは，SuperKEKB検出器（SVD）のデータ解析に必要な，レベル 0 トリガーにおける 30 kHz のトリガーレートに耐えることが実証されの情報が読めていないことが発見されたのである。この情ているし，統一したソフトウェアフレームワークによる大報はトリガー信号の通常のモニタに含まれていなかったた規模分散処理も， 1GB/秒 を越えると予想されるフロントめ，発見が遅れてしまった。調査の結果，信号の入力されエンドのデータの流れを速い段階で効率良く圧縮するためていた TDC モジュールが不調であることがわかったので交の備えでもある。

換したが，それでも信号が読めない。しかしシステム自身

しかし SuperKEKB に向けてのアップグレードにおいて，の動作にはまったく異常が見つからず，原因究明は困難を各検出器の読み出しエレクトロニクスは大きく変わる。非極めた。2 週間ほど苦闘した結果，オフラインで使用して常に高いレートに耐えるために，検出器の検出単位の細分いる COPPER のデータをデコードするソフトウェアのエ化を進める必要があり，その結果読み出しチャンネルの数ラー処理に問題があることがわかり，修正の結果解決した。

は現在の数倍にも増加する。また信号のディジタイズの手オフライン処理の問題であったので，それまでに収集した法も，波形サンプリングの導入など検出器ごとに特化したデータも問題なく解析に使用できることがわかり，亊無き方法を使用する必要があり，現在 Belle で使用しているようを得た。

な Q-to-T 変換を使った統一的な手法を用いることができな

図 4 に現在の Belle DAQ システムの全体像を示す。既にくなる。よって現在のような COPPER を用いて作られた

従 来 の FASTBUS に よ る 読 み 出 し シ ス テ ム の 半 分 がパイプライン TDC をエレクトロニクスハットに設置し，そCOPPER によりパイプライン化されており，システム全体こまで検出器フロントエンドからの信号を引き回す方法でのデッドタイムの低減と動作の安定化に貢献している。

は対応できない。
そこで現在使用している COPPER をいわゆるリードアウトモジュールとして使用し，検出器の近くに設置されたフロントエンドエレクトロニクスに組み込まれたディジタ
イザないしはデータコレクタから，光ファイバーを通して送られるデータを受信するような改造を考えている。データ送受信のためのプロトコルを標準化し，COPPER 側のデータのレシーバーは，すべての検出器で共通の FINESSE カードとして搭載する。またフロントエンド側のディジタイザ直後に置く，レベル 1 パイプラインやデータを送出するた

図 4：現在の Belle DAQ システム

めのロジックも共通化し，FPGA に搭載できるコアとして供給することを考えている。ディジタイザを測定器の近く

4に設置した場合には，従来 COPPER の中で閉じておこなうことができたディジタイザへのトリガータイミングの分配やハンドシェイクも，長い距離の光ファイバーを介しておこなう必要があり，新たなデッドタイムの原因になり得る。現在これを防ぐための設計を進めており，ハンドシェイクをおこなわない非同期データ読み出しの可能性も含め，検討が進んでいる。今年度の後半には基本的なデザインをまとめる予定である。

6 おわりに
著者らはまず，パイプライン化作業を現場で率先しておこなってきた東京大学大学院の学生である中山浩幸氏とKEK の J. Schuemann 氏に深い感謝の意を表します。彼らの献身的な努力がなければ，パイプライン読み出しの成功はありませんでした。彼らこそが小柴賞の真の受賞者です。
さらに KEK エレクトロニクスシステムグループのみなさ
まにも深い感謝の意を表します。COPPER の成功は，彼らの忍耐と努力とアイディアのたまものでした。そして最後に，実験中途の無謀なパイプライン化を許し，かつ協力してくださった EFC，CDC，ACC，TRG の各検出器サブグ
ループの皆様，そして Belle 実験グループのメンバー全員に深く感謝いたします。

参考文献[1] 伊藤領介・田中真伸，「COPPER を用いた次世代データ収集システム」，高エネルギーニュース，第 26 巻 3 号，232 (2007)。