1196■ 研究紹介Belle II 実験のデータ収集システム
KEK 素粒子原子核研究所

伊藤 領介, 中尾 幹彦, 山田
KEK 計算科学セン

鈴木

悟

ー

聡

首都大学東京今野智之

東京大学カブリ数物連携宇宙研究機構

樋口岳雄

2014 年 (平成 26 年) 11 月 18 日

1

Belle II データ収集システム

表 1: Belle II デー 収集システムの要求性能。
最大トリガーレート
30kHz

新世代 B ファクトリ実験である Belle II 実験は加速器，検出器ともにその建設が順調に進んでいる。一部の最大イベントサイズ

1MB

検出器はすでに測定器構造体内への組み込みが完了し ，最大 Level 1 デー フロー

デー 収集システムへの組み込みがまさに始まろうとしピクセルデー サイズリ クション

30GB/sec
1/10ている。本稿では Belle II デー 収集システムの詳細を

HLT レートリ クション
最大デー 記録レート

1/3 ∼ 1/6
1.8GB/sec

論じるとともに，2014 年 1 月にド イツ DESY で行われたバーテックス検出器のビームテストにおけるデー 収
集システムの実証試験について述べる。

ステムで共通となるクロックと共に各検出器のフロント

Belle II 実験では Belle 実験の 40 倍以上の高いルミノシティでのデー 収集が行われる。そのため検出器はoccupancy を低く抑えるために検出要素を高精細化した

エンド 電子回路に分配される。フロントエンド は検出ジ器の近傍に設置されており，検出器に応じて多様なディ
イザで信号をデジル化する。デジル化された設計がなされている。また CP の破れのより詳細な研究

信号は共通の Belle2link と呼ばれる高速光デー 転送シのためにピクセル検出器が採用されている。その結果検ステムを用いて共通読み出しモジュール COPPER に送出器からのデー 量はイベントあたり総計で 1MB を越られる。送られたデー はオンボードプロセッサによりえる。またレベル 1 トリガーレートも最大で 30kHz とフォーマットされ，ギガビットイーサネット (GbE) ネッ

見積もられている。Belle II デー

トワークに送出される。200 枚を越える COPPER から収集システムに要求される性能を表 1 にまとめる。デーの流れに換算す

送られたデー は 40 台の Readout PC に集められ，部

ると 1 秒間に 30GB という膨大なデー 量となる。もち分的なイベントビルディングが行われる。Readout PC

ろんこのデー の流れをそのまま記録することは非現実で前処理されたデー は 2 段のネットワークスイッ を的であり，デー 収集システム内のリアル

イム処理で通して全イベントビルディングが行われ，10GbE ネッ

どこまでデー 量を削減出来るかが Belle II デー 収集

トワークで高次トリガー (HLT) に送られる。HLT はオ

システムの設計の鍵となる。

フラインとまったく同じ全イベント再構成がイベント毎

また Belle II 実験のデー 収集システムには可能な限
りデー を取りこぼさないことが要求される。不感時間を最小にするとともに，システムトラブルによる ウンの並列処理で行われ，その結果を用いて物理イベントの選択を行う。
ピクセル検出器 (PXD) のデー

量は他の検出器と比イムを最小にする設計が必要である。

して圧倒的に大きく，COPPER を使用して読み出すこと

この様な要件の基に設計した Belle II デー 収集シスが難しい。そこで特別な読み出しシステムを用い，HLT

テム [1] を図 1 に示す。トリガーシステムから受け取っで再構成された粒子の飛跡を PXD センサーの表面までたトリガー信号は，加速器の RF 信号から作られた全シ

外挿して信号が発生するピクセルを予測し，その部分だ2

ftsw-clk

ftsw-svd
ftsw-bpid
ftsw-ecl
ftsw-bklm

ftsw-bpid
ftsw-epid
ftsw-epid
ftsw-ecl
ftsw-ecl
ftsw-bklm
ftsw-eklm
ftsw-trg

図 2:

ftsw-svd
ftsw-svd
ftsw-svd
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc

to COPPERs

RF clockftsw-bpid
ftsw-bpid
ftsw-bpid
ftsw-bpid
ftsw-bpid
ftsw-bpid
ftsw-bpid
ftsw-bpid

ftsw-fam
ftsw-fam
ftsw-fam
ftsw-fam
ftsw-fam
ftsw-fam

ftsw-epid
ftsw-epid
ftsw-epid
ftsw-epid
ftsw-epid
ftsw-epid

ftsw-epid
ftsw-epid
ftsw-epid
ftsw-epid
ftsw-epid
ftsw-epid

ftsw-ecl
ftsw-ecl
ftsw-ecl
ftsw-ecl
ftsw-ecl
ftsw-ecl

ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc

ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc

ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc

ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc

ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc
ftsw-cdc

ftsw-bklm
ftsw-bklm
ftsw-bklm
ftsw-bklm
ftsw-bklm
ftsw-bklm
ftsw-bklm
ftsw-bklm

ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm

ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm

to frontend boards

ftsw-eklm
ftsw-eklm
ftsw-eklm
ftsw-eklm

ftsw-svd
ftsw-svd
ftsw-svd
ftsw-svd
ftsw-svd
ftsw-svd
ftsw-svd
ftsw-svd

to frontend boards

ftsw-pxd(intermediate nodes)
ftsw-epid
ftsw-epid
ftsw-epid

to frontend boards

ftsw-pxd
ftsw-svd
ftsw-cdc
ftsw-bpid
ftsw-epid
ftsw-ecl
ftsw-bklm
ftsw-eklm
ftsw-trg

to frontend boards

L1 trigger
ftsw-main

to frontend boards

197

イミング分配システムの全体像。FTSW と言う同一のモジュールが光ファイバーもしくは LAN ケー
ブルでツリー上に接続され、トリガーとクロックを分配
図 1: Belle2 デー

収集システムの全体像。

けのデー を後段に送ることでデー
そのデー は他の検出器の生デー

し，フローコントロールを行う。

量の削減を図る。

分配する「 上り」と検出器側から中央へ集約してくる及び HLT の処理結「下り」側の相方向で 1 本ずつ使用する。上りのシリア

果と第２段イベントビル ーで結合され，高速 RAID シ
ステムに記録される。

ルリンクにはトリガー時刻，トリガー番号やイプ，時刻，加速器の周回信号，リセット信号などをのせ，また下りのシリアルリンクには接続先の状態信号をのせる。

2

上りは同一の信号をすべてに分配するが，下りはバラタイミング分配システム

バラの信号が集まってくるので，各段階で信号の集約を

イミング分配システムは，クロック，トリガー，リ行う。

セットなどの信号を Belle II の検出器のすみずみまで届ト リガーのフロー制御は，中央の FTSW でのト リ

ける役割りを持つ。システムの全体像を図 2 に示す [2]。

ガーの時間情報とフロントエンド からの読み出し 事象

すべての信号は SuperKEKB 加速器 の RF 同期信号

数，COPPER からのビジー信号，フロントエンドからの 509 MHz を 4 分周した 127 MHz に同期しており，のビジー信号の 3 種類の情報を元に行う。個々のトリ

これを 254 Mbps のシリアルリンクの上に載せて分配

ガーに対してのハンドシェイクは行わず，読み出しのたしている。クロックとシリアル信号は主にカテゴ リ 7 のめのバッファがあふれる可能性がある時やエラー検出時

LAN ケーブルを使って，またエレクトロニクスハット
側と検出器側の間については光ファイバを使用して受けにトリガーを一時停止する。フロントエンドからバック渡す。このクロックはパイプライン動作をしているフロ

いように帯域幅が設定されており，決められた数のトントエンドでの読み出しの基準信号として使用され，まリガー数であればバッファがあふれることなく処理でき

エンド へのデー

転送の途中にボトルネックが生じなたデー 転送リンクである Belle2link を駆動するのにもる。このトリガー数が一定数を越えないようにする制御用いられる。

は中央で行う。ただしバックエンド の処理が追いつかな

イミング分配のためにフロントエンド・ イミング・

くなった場合には，COPPER は自身でバッファのオー

スイッ(FTSW) と名付けた 2 スロット幅の VME 6Uのモジュールを開発した。このモジュールは Xilinx 社

バーフローを検知し，トリガーを止めるためのビジー信の Virtex-5 FPGA を核としており，そのファームウェ

してトリガーを一時停止させることが出来るが，信号のアを入れ替えることにより一種類のモジュールで複数の遅延があり効率的ではないため，必要のない限りは使用

役割りを担う。フロントパネルにしない。これらの組み合わせにより 30 kHz ト リガー

イミング送受信の号を生成する。フロントエンドからもビジー信号を生成ための 24 個の RJ-45 コネク を装備している。基板上時にデッドに FMC 規格の子ボードを取り付けられるようになっている。

おり，1 種類のモジュールと 2 種類の子ボードで光通信の分配と受信に対応する。このモジュールを最大 3 回

イムを 1% 以下に抑えるように設計して読み出しシステムの小規模な試験では 1 台の FTSW
ですべての

イミング分配の機能をまかなうことができ中継することにより図のように全検出器の読み出し基板

る。この構成が後述する PocketDAQ のと接続できる。

の核として使用されている。

254 Mbps のシリアルリンクは中央から検出器側へのイミング制御3198

図 4: Belle2link の概念図。従来は COPPER 上に実装されたディジ

イザカード (FINESSE) を光ファイバーを通した高速通信により離れた場所に置けるようにする。

3.2

図 3: COPPER ボードによるデー 読み出しの模式図。

3

Belle2link と COPPER

3.1

フロント エンド からのデータ読み出し

Belle II 実験では，検出器からのアナログ信号は全て検出器の近くに設置されたフロントエンド 電子回路で処理され，デジ ル化されたデー がエレ クトロニク
スハットまで送られる。フロントエンド 電子回路は各検出器グループが主として開発を行い，DAQ グループは
デー を送出するファームウェア以降を担当している。
フロントエンドから送られてきた PXD をのぞく各検出器のデー は，KEK で開発され Belle や J-PARC の実験でも用いられている汎用パイプライン読み出しモジュール COPPER(COmmon Pipelined Platform forElectronics Readout)[3] を用いて共通のハード ウェア
で処理される (図 3)。信号入力部は FINESSE(Frontend Instrumentation Entity for Sub-detector SpecificElectronics) と呼ばれるド ー ーカード としてモジュール化された構造になっており，用途に応じたシグナル受
信カード を搭載できる。最大 4 枚の FINESSE からのデー

は COPPER 上のイベントバッファに書き込まれ，PrPMC 規格に基づいてド ー ーカードとして実装されたオンボードプロセッサで処理される。その結果はギガビット イーサネット (GbE) 経由で下流の Readout

PC に送られる。COPPER は２つのネットワークポートをもち，一つはデー フロー用に，もう一つはスロー
コントロール用に用いられる。
COPPER は改版が何度か行われ，現在最新のバージョ
ンは 3 となっており，バージョン 2 に比べて FINESSE へのクロック分配やオンボード のイーサネットトランシー
バのギガビット化，部品の持続性 (sustainability) 等において改良が施されている。Belle II 実験では，Belle 実験
で使っていた COPPER II と新たに生産した COPPER

III 両方を読み出しボード として併用する予定である。

Belle2link

Belle 実験では FINESSE には AMT chip を用いた
TDC を実装し，アナログ信号を直接受け取っていたが，Belle II ではフロントエンド 電子回路からのディジ ル
デー を光ファイバーを通して受けるための受信カードとなる。この高速光デー 送受信システムは Belle2linkと呼ばれ，中国 IHEP と KEK の協力の下に開発された[4]。Belle2link の概念図を図 4 に示す。
Belle2link は従来 COPPER 上にド ー ーカード として装着していたディジ イザ (FINESSE) をそのまま遠方に設置し，代わりに COPPER 側に装着した受信カード「 仮想的な」FINESSE(HSLB) と光ファイバーで接続し，として使用するために開発されたシステムである。

Belle2link は検出器フロントエンド からのデ ー を
COPPER に転送する機能に加え，フロントエンドの種々の設定パラメー ーを COPPER から転送し設定する機能も持つ。光ファイバー上の通信プロトコルは下層はXilinx 社の高速シリアルトランシーバーの機能を使用しており，高速シリアル通信を行う。この上層に RF ク
ロックに同期して 2.54Gps で通信をを行う Belle2link の独自のプロトコルを実装した。その開発には中国 IHEPが BES3 実験で蓄積した種々の経験が行かされている。

Belle2link のデー 送信ファームウェアは検出器のデジ ル化されたデー に イミング分配システムからのトリガー情報と時間情報を付与し，CRC ェックサムを追加するという機能を持つ。このファームウェアは検出器フロントエンドの各種 FPGA(Virtex-5/6, Spartan-6,Zynq) に応じてそれぞれ実装する必要があり，そのために Belle2link Working Group が結成され，各検出器と DAQ グループの密接な協力のもと開発が行われている。受信カード (HSLB) は Xilinx Virtex-5 を搭載しており，その上のファームウェアで CRC のェックやマ

ジックワードをヘッ に付加するなどの作業を行った後，

COPPER 上のイベントバッファへのデー を書き込む。
Belle2link という統一されたイン ーフェイスの導入により各検出器からのデー 転送システムの開発において，作業コストを低減させることに成功している。

4
199

3.3

オンボードプロセッサによるデータ処理"   $ "%
$""#'




 




#"" #"%
$"&$"  "

 

COPPER ボード 上のイベントバッファに納められた
デー は，その後オンボードプロセッサのメモリに DMA
転送される。デー はド ライバソフトウェアによってイ
ベント 単位でヘッ およびフッ を付加された状態で#"



読み出すことが出来る。オンボードプロセッサは Belle

II 実験のために (株) 電産と新たに開発したものであり，
Intel Atom CPU 1.6GHz とメモリ 512MB が搭載されている [5]。デ ィスクレ スであり，下流の Readout PC
からネットワークブートされる。

#" !
$"  

図 5: EB1 の全体構成。2 層のフルメッシュ接続された

6 台のネットワークスイッ で構成されている。

このプロセッサは Linux OS で運用されており，DAQ
ソフトウェアが COPPER ボードからデー を読み出し

器のフロントエンド 電子回路の開発，量産が佳境に入った後，解析上必要な情報をデー にヘッ ，フッ としており，この PocketDAQ システムを用いてテストが行て付加し，下流の readout PC へと送信する。結果としわれている。

て検出器フロントエンドからのデー には，Belle2link，

COPPER ボード，PrPMC 上のデバイスドライバ，DAQ
プログラムと種々のノードによってヘッ とフッ が付加されるが，ヘッ 情報の重複部は下流の Readout PC
において削除される。

Belle II デー 収集システムにおいては，オフラインとオンラインのソフトウェアを共有するため，basf2(belle
analysis software framework 2) という統一されたフレー
ムワークのもとでプログラムが作成されている。basf2
では生デー は ROOT の TObject として扱われるが，デー

送出時には重い処理の必要な ROOT ストリーミ

ングを使用せず，バイナリデーのみを取り出して送るように実装しており，CPU 使用率を下げる工夫をしている。最も厳しい条件であるシリコン衝突点検出器(SVD) からのデー

量 (COPPER1 枚あたりのデー

サイズ 1kB/event，イベントレート 30kHz ) において，CPU 使用率が 60% 弱で処理出来ることが確認されている [6]。

4

イベントビルディング

Belle II デー 収集システムではイベントビルディング
は 3 段階に分けて行われる [7]。第 1 段階は各クレートに搭載された複数枚の COPPER からのデー を Readout
PC の上でまとめる EB0， 第 2 段階は Readout PC から送られた全ての COPPER のデー をイベント単位にまとめ高次トリガー (HLT) に送る EB1，さらに HLT の処理結果とピクセル検出器 (PXD) のデー をまとめ最終的なイベントデー を作成する第 3 段階の EB2 である。この章では EB0 と EB1 について述べる。

EB0 は 1 つの VME クレートに搭載される最大 17 枚の COPPER からギガビット イーサネット (GbE) で送られる各検出器の信号のイベントフラグ メントを GbE
ネットワークスイッ を介して 1 台の Readout PC で受け取り，1 つのデー に結合して後段に渡す処理を行う。
前述のように COPPER からのデー は ROOT のス
トリーミングを回避してバイナリパケットとして送出さ

3.4

PocketDAQ システムれるため，Readout PC では簡素なプログラムによりイ

Belle II 実験では，世界各国の研究所で検出器の開発が行われている。それぞれのフロントエンド 電子回路の開発及びビームテストなどでのデー

取得試験のために，Belle II DAQ のミニ ュア版である PocketDAQというシステムを用意した。このシステム は PC1 台とCOPPER がインストールされている 9U クレート 1 台で構成され，基本的に BelleII DAQ の上流部分である
COPPER から Readout PC までを切り出したものである。Belle II DAQ とまったく同じ basf2 を用いたデー
読み出しソフトウェアが COPPER と Readout PC で動作する。PocketDAQ でフロントエンド 電子回路からデー が読めるようになれば，そのまま Belle II の DAQに接続してデー 収集ができるようになる。現在各検出

ベントビルディングを実現でき，各 COPPER からのギ
ガビットイーサネットの帯域幅を最大限に活用した高速なイベントビルデ ィングが可能である。

EB1 は全ての Readout PC から送られるイベントフ
ラグメントをまとめ，PXD を除く全ての検出器からの完
全なイベントを構成し，高次トリガーの複数のユニットの一つに送出する。40 台に上る Readout PC から GbEで送出されたイベントフラグ メントは 4 台の前段ネット
ワークスイッ に集積され，10GbE でフルメッシュ接続
された後段の 2 台のネットワークスイッ に送られる。
図 5 に全体の構成を示す。
前段のスイッ は多くの GbE を集約して 10GbE に変換するが，仮に出力側がデー を受け取れない場合で

5
200





    

大容量のリングバッファを通してイベントの分配、収集





図 7: HLT の構造を示す。各ユニットは入力出力ともに

を行うことで、ロード バランシングを行う。

 

  











高次ト リガー (HLT)

5









Belle II の高次ト リガー (HLT) は複数のユニットから構成される。一つのユニットの構成を図 7 に示す [8]。
EB1 でイベント毎で集められた PXD 以外の検出器のデー

は，各ユニットのインプット ノード に光ファイバーの 10GbE 接続で送られる。受け取られたイベント
は大容量のリングバッファに蓄積される。20 台程度の図 6: EB1 の 1/4 スケールテストシステムとテスト結果を

ワーカーノードが 10GbE-T スイッ を介してインプッ示す。マル スレッディングにより入力レート 7.5kHz(フトノードに接続されており，各ワーカーノードからのリ

ルスケールシステムでの 30kHz に相当する) で十分な性クエストが来るとイベント毎に送出される。この機構に能が出ることが実証された。

よりワーカーノード 間のロード バランスが保たれる。1台のワーカーノードは 16 ないしは 20 のコアを持つマルもパケットが消失しないように十分な長さのバッファを

コア PC サーバーであり，basf2 を用いてオフライン

もったスイッ が必要となる。後段のスイッ は前段の 4と同一の全イベント再構成処理が行われる。basf2 はマ

つのスイッ から 10GbE ネットワークでデー を受け取

ル コアを用いた並列処理機能をもち，ワーカーノード

り，HLT の各ユニットに分配する。行き先のユニットはのすべての CPU コアを効率的に使用してイベント毎並

イベント番号により選択される。このスイッ は，HLT

列処理を行う。

の受信バッファがいっぱいになり更なるデー を受信出

イベント再構成の結果を用いて，ハド ロニックイベン

来なくなった場合にフローコントロールを行うために，

トセレクションや ウイベントセレクションなどの物理送出を止める機能 (pause

過程ごとの選別を行ない，これをソフトウェアトリガー

frame を送る) を持つ必要がある。この機能に関して，
1/4 スケールのイベントビル を作成して調査した結果を総合し，前段のスイッ には ARISTA 社の 7050T を，として使用する。ビームコンディションにもよるが，この後段には 7150 を選択した。前者は 10GbE で到着する

トワークを用いてアウトプット ノード に送られ，リンパケットを 1/10 の速度でゆっくりと 1000BaseT に送出

グバッファにまとめて蓄積される。イベントは basf2 にするために 768MB のパケットバッファを持つ。一方，

読み込まれ，イベントの最終的な取捨選択処理を行い，7150 は数 MB 程度の非常に短いパケットバッファしか持たないが，バッファが一杯になっているときに HLT側から pause frame を送信する。そのテスト結果を図 6

10GbE のリンクでストレージノードに送出される。
SuperKEKB 加速器の最大ルミノシティを処理するためには，10 ユニット以上が必要となるが，その最初のに示す。

ユニットが既に実装されている。図 8 に示す。

前段のスイッ からのデー処理で 1/3 から 1/6 のイベントレートの削減を行う。検出器からのデー と処理結果は入力と同じ 10GbE ネッ

高次トリガーの各ユニットのインプットノードで動作

HLT は大量の CPU コアを効率的に用いて高速並列処

する受信プログラムは高速でデー を受信するため，複理を行うために，リングバッファを用いてロードバラン

数のスレッドを用意し，それぞれが複数の入力を処理す

シングを行うように実装されているが，この機能によりるように配置されている。

十分な性能を達成できることをテストベン を用いて調べた。このテストベン は 10 台の 12 コアを持つマル

6201

図 10: ピクセル検出器のデー の読み出し 。PXD からのデー は ONSEN と呼ばれる FPGA を用いたい読み出しシステムのメモリに蓄えられ 、HLT から送られる

RoI とマッ したデー のみが送出され、第 2 段階のイ
図 8: HLT の最初のユニット

ベントビルデ ィングがなされる。
ことで，デー

量を圧縮する [9]。この機構を図 10 に示す。

HLT の各ワーカーノード ではイベントごとにシリコン検出器と中央飛跡検出器の信号を用いて，特に低い運動量の粒子まで捉えられる特別のアルゴ リズムにより飛跡再構成を行う。その結果を２層の PXD センサーの表面まで外挿し ，センサーの部分を示す四角形の Regionof Interest(RoI) を生成する。各 CPU コアで生成された
RoI は HLT のアウトプットノードに HLT の処理結果の一部として転送される。アウトプットノード 上の basf2が集められた RoI 情報を切り出し，メッセージキューを介して RoI コレクションノードに集められ，イベント番号とともに PXD の読み出しシステムに送られる。

図 9: HLT の性能評価。
コア PC サーバーで構成されており，高速の RAID ディスクが装着されている。これを用いて Belle II 測定器のシミュレー の出力を読み込み，イベント再構成を行い出力を書き出すベン

マークプログラムを実行し，並列処理に使用するコアの数を変えて性能を測定した結果を
図 9 に示す。図から分かるように十分なリニアリティが達成されている。

6

ピクセル検出器の読み出し 機構と第 2 段階イベントビルディング

前述のようにピクセル検出器 (PXD) はイベントあた
り 1MB 以上の膨大なデー を発生するため，他の検出器のような COPPER を使用した読み出しができない。
そこで HLT で再構成された飛跡を PXD のセンサー表面まで外挿し，そのまわりのヒット信号のみを転送する

PXD 読み出しシステム (ONSEN と呼ばれる) は多数の相互接続された FPGA で構成されており，メモリー
ルックアップにより受け取った RoI 情報と PXD からの信号のマッ ングを行う。トラックとマッ した信号のみを後段に送出する。HLT ではイベント単位の並列処理が行われているため，イベントの順序が入れ替わる。また HLT では完全なイベント再構成が行われるため，処理時間 (レ イテンシ ) が最大で 5 秒に渡る可能性がある。
そこで ONSEN には大容量のメモリが搭載されており，

HLT のレ イテンシに対応する。
ONSEN からの PXD の信号と他の検出器の生デーを含む HLT の処理結果は，イベントビル ー 2(EB2)
でまとめられ，ストレージに送られる。HLT の出力はイベント順序が前後で入れ替わっているが，ONSEN からもメモリルックアップにより同じ順でデー が出力されるため，特別な処理をすることなくイベントビルドが可能である。

7
202
EPID
PS

SVD
RC

GDL

CDC
PS

BPID
RC

TTD

PS
control

CDC
RC

EPID
RC

ECL
RC

KLM
RC

Master RC

Exp
reco

Storage

HLT

DQM

config
tools

DB

EB

TRG
RC

NSM2
SuperKEKB EPICS

NSM2/EPICS
Gateway

CSS

Operator
UI

Data
viewer

Alarm
UI

ENV

interlock

PXD
PS

DHHC

GW

Alarm
serverArchiver

DB

EPICS

SVD
tuxDAQ

図 11: デーストレージソフトウェアの構造。basf2 を

図 12: Belle II デー

核として処理を行う。

7

8

ストレージシステム
デー

ストレージは Belle II DAQ システムの終着点に当たり，全ての検出器から収集されたデー をファイルとしてディスクへ記録するシステムである。HLT の各ユニットに 1 基のストレージシステムが接続され，デーは複数のストレージデバイスに並列に記録される。各
ストレージサーバーは光の 10GbE 接続で HLT ユニッ
トからのデー を受信する。1 基のストレージシステムには 30TB の容量をもつ RAID が 4 台の 6Gbps の SAS
イン ーフェイスで接続されており，1 台を HLT からの書き込みに使用し，残りをオフラインからの読み出しに使用する。書き込みディスクを順次切り替えて使用することで，一つの RAID に読み書きの同時アクセスが起こらないようにし ，1 ユニットあたり最大 300MB/sec の転送速度を保証する。図 11 にデーストレージのネッ

トワーク構成とストレージシステムのデー フローソフ
トウェア構成を示す。

EB2 でまとめられたイベントデー はストレージサー
バーで再び basf2 を用いて読み込まれ，ROOT オブジェ
クトに戻される。そこから最終的に記録するオブジェク
トのみを切り出し，シーケンシャル ROOT ファイルに書き出す。シーケンシャル ROOT ファイルはストリーム化
された ROOT オブジェクトをイベント毎に順に保存するために DAQ 用に特別に開発されたフォーマットであり，通常の ROOT I/O に比べ非常に高速である。basf2
上で一部のイベントはサンプリングされ，モニ ー用のイベントとして Express Reco と呼ばれる PC ファームに転送される。
ミーデー を用いて性能評価をおこなったところ，要求されるストレージシステム 1 台あたり 300MB/secの性能の 2 倍以上を達成した。また，COPPER ボード

26 基，HLT ファーム 1 組と連結したデー フローテス
トでは約 200MB/sec (1 イベントあたり約 100kB) の処
理能力を確認した。

SVD
PS

CO2

Onsen

Datconconfigtools

DB

収集システムの制御モデル。

スローコント ロール

Belle II DAQ 制御システム (スローコントロール ) の全体像を図 12 に示す。ランコントロール (Master RC)
は DAQ 制御の中核を担うソフトウェアでトリガー分配システムや検出器読み出しエレクトロニクス，デー フ
ローバックエンド の他，各検出器への電力供給システムなど DAQ コンポーネントに対してス ート /ストップやコンフィグレーションのロード の要求を発するとともに，これらのコンポーネントに加え加速器モニ など各種モニ からステー ス情報を収集することでシステム全体の監視・制御を行う [10]。
スロ ー コ ン ト ロ ール の 通 信 フレ ー ム ワ ー クに はNSM2 と EPICS 二つのシ ステ ムを 使 用し て い る 。
NSM2(Network Shared Memory2) は従来の Belle 実験で運用実績のある Network Shared Memory (NSM) の改良版で TCP ソケットでのメッセージ交換や共有メモリのネットワーク共有機能などを持つ。ランコントロール
システムや

イミング分配システム，COPPER による各検出器の読み出しサブシステム，高次トリガーやストレージなどの Belle II DAQ の基幹部分の制御は NSM2を用いて行われている。これに対して PXD や SVD の制御，および環境モニ ーや加速器とのインーフェイ

スには EPICS[11] を導入し，商用機器との親和を図っている。
グラフィカルユーザインーフェース (GUI) の開発

は NSM2 と EPICS のそれぞれの制御下にあるシステ
ムへの透過的なアクセスを保証するために CSS (Con-trol System Studio) を開発プラットフォームに採用した。CSS では EPICS システムとの通信には組み込みプ
ラグ インが存在するのに対し ，NSM2 のシステムに対しては独自にプラグ インを開発することで両系統に対してシームレ スなインーフェースを供給することが可能となった。グローバルな GUI の設計はこれからの課題であるが，個別のシステムの GUI としては例えば

COPPER システムの制御に図 13 のような GUI を開発して，検出器の組み込み試験などに活用されている。

8
203

され，RoI マッ ングはオフラインで調査できるようにした。記録ノード で SVD のデー とマージされてデ ィ
スクに保存された。
このビームテストの最大の目的のひとつである RoI を用いた PXD デー のオンラインリ クションは，現場にいるフロントエンド 電子回路，デー 収集系の開発者だけでなく，ビームのトラッキングソフトウェアを担当するソフトウェアグループとも一緒になって作業を進める必要があった。ビームイムが 1ヶ月と潤沢にあったことが逆に災いしてか，個々のコンポーネントがそれぞれ ready になるまで時間がかかったが，ビームイムが残り僅かになった 1 月末になって HLT からの RoI 情報
を使って正確に PXD のヒット部分周りのみを取り出す
図 13: COPPER システム制御 GUI の例。

ことができるようになった。実際に取得した 1000000 イ
ベントを用いて，SVD から外挿したトラックから予想される PXD 上のトラック通過位置と，実際の PXD 上のヒットの位置との距離の分布を取ってみると，両者の差の広がりは 100 μ m 前後におさまっており，RoI ス
キームにおける PXD のデー 量低減が十分に可能であることを実証できた結果となった。ビームテストにおけるトリガーレートは 100-500Hz 程度であり，最大 30kHzを処理する必要のあるデー 収集システムのテストとし

図 14: DESY でのビームテストで用いたデー

収集シ

ステム。

9

DESY ビームテスト

2014 年 1 月に DESY のテストビームラインにおいてBelle II で用いるバーテックス検出器のビームテストが行われた。このビームテストの目的は，1 層のピクセル検出器と 4 層のシリコンバーテックス検出器を磁場中で同時に動作させ，トラッキングの性能試験を行うと同時に，ピクセル検出器の読み出しシステムへのフィードては物足りないイベントレートではあるものの，Belle

II デー 収集システムに必要な全てのコンポーネントをインテグレートして実際のビームで測定を行うことができたのは非常に意義深いことであった。またランコント
ロールやモニ リングのシステムについても，開発者とは異なるシフトの人達に実際に使ってもらうことで有用なフィードバックも得ることができ，ビームテスト期間
中に大きく開発が進んだのも重要な進歩であった。このビームテストのいろいろなスナップショットを図 15 に示す。

バックにより，想定されたデー 量の削減が可能である
ことを証明することであった。このため規模は小さいがBelle II デー 収集システムの全てのコンポーネントを実装する必要があり，DAQ 開発にとっても重要なマイルストーンとなった。

10

おわりに

収集システムを示す。SVD4DESY でのビームテストにより，Belle II デー 収集システムのすべてのコンポーネントが設計どおりに動作することが実証され，DAQ ームはその設計に破綻が層のデー は Belle2link により 2 枚の COPPER で受信なかったことに自信を深めた。それを受け，現場での検され，Readout PC を経由して mini HLT に送られる。

出器実機の DAQ への組み込みが既に始まっている。11

図 14 に使用したデー

mini HLT は 8 個の CPU コアを持つワーカーノード 3
台で構成されており，24 コアを用いた並列処理によりトラッキングを行うと同時に RoI 情報の生成を行う。その結果は mini HLT のアウトプットノード で集積され，PXD のリード アウトシステムである ONSEN に送られ

月現在すでにバレルカロリーメー のすべての読みだしエレクトロニクスが組み込まれており，宇宙線テストが開始されている。また KL /µ 検出器の部分的インテグ
レーションテストが進行中である。各検出器の構造体への設置の進行に応じて順次 DAQ への組み込みが進めらる。PXD のデー は ONSEN 上で RoI とのマッ ング

れる体制は整っている。しかし Belle II 実験の開始に向が行われる。このテストではイベント番号の合致のみがけて，高いトリガーレートでの性能試験や，デー 収集

行われ PXD のすべてのデー が RoI 情報とともに送出中の部分的なトラブルをデー 収集を止めること無く自9
204

るオンラインエレクトロニクスの現状と将来」, 高エネルギーニュース Vol.24, No.3, 195 (2005).

[4] D.Sun, Z.Liu, J.Zhao, H.Xu, “Belle2link: a Global
data Readout and Transmission for Belle II Experiment at KEK”, Phys. Procedia 37, 1933
(2012).
[5] S.Y.Suzuki,

T.Higuchi,

M.Nakao,

R.Itoh,Y.Igarashi, “New Backend Processor Card for
the Pipelined Readout System at Belle II”, IEEE
Trans. Nucl. Sci. 60, 3557 (2013).
[6] S.Yamada, S.Y.Suzuki, R.Itoh, K.Nakamura,
M.Nakao, T.Konno, T.Higuchi, “Global Data

図 15: DESY ビームテストのスナップショット。
己修復する「 Non Stop DAQ 」機構の実装 [12]，リアル
タイムでのデータクォリティのモニタリングなど課題は山積しており，DAQ グループ一同気を引き締めて BelleII DAQ システムの完成に向けて努力を続けていく所存
である。

参考文献
「 Belle II 実験のト リガーとデータ収集[1] 伊藤領介，システム」, 2014 年日本物理学会秋季大会における企画講演, 佐賀大学 (2014); S.Yamada, R.Itoh,

K.Nakamura, M.Nakao, S.Y.Suzuki, T.Konno,
T.Higuchi, “Data Acquisition System for the Belle
II Experiment”, IEEE Real Time 2014 国際会議における招待講演, 奈良県新公会堂 (2014); M.Nakao,
T.Higuchi, R.Itoh, S.Y.Suzuki, “Data Acquisition
System for Belle II”, JINST 5, C12004 (2010).
[2] M.Nakao, “Multi-Purpose Trigger Timing Distribution System for a Small Test Setup”, IEEE
Real Time 2014 国際会議におけるポ スター, 奈
良県新公会堂 (2014); M.Nakao, M.Friedl, C.Lim,
T.Uchida, “Minimizing Dead Time of the Belle II
Data Acquisition System with Pipelined Trigger
Flow Control”, IEEE Trans. Nucl. Sci. 60, 3729
(2013).
[3] 伊藤領介 、田中真伸, 「 COPPER を用いた次世代データ収集システム」, 高エネルギーニュース
Vol.26, No.3, 232 (2007); 田中真伸, 「 KEK におけProcessing System with Onboard CPU Cards for
the Belle II Experiment”, IEEE Real Time 2014
国際会議におけるポスター, 奈良県新公会堂 (2014).
[7] S.Y.Suzuki,
S.Yamada,
R.Itoh,M.Nakao,
T.Konno, T.Higuchi, “he Three Level Event
Building System for the Belle-II Experiment”,
2014 国際会議におけるポス
IEEE Real Timeター, 奈良県新公会堂 (2014).
[8] R.Itoh, T.Higuchi, M.Nakao, S.Y.Suzuki, S.Lee,“Data Flow and High Level Trigger of Belle II
DAQ System”, IEEE Trans. Nucl. Sci. 60, 3720
(2012).
[9] R.Itoh,

M.Nakao,

S.Y.Suzuki,

T.Higuchi,

T.Konno, “Test of Data Reduction by Belle II
Hlgh Level Trigger in DESY Test Beam”, IEEE
Real Time 2014 国際会議における講演, 奈良県新公会堂 (2014).
[10] 今野智之,「 Design and Implementation of Slow
Control in Belle II DAQ 」, 2014 年日本物理学会
秋季大会における講演, 佐賀大学 (2014).
[11] http://www.aps.anl.gov/epics を参照.
[12] M.Nakao,

S.Y.Suzuki,

R.Itoh,S.Yamada,

T.Higuchi, T.Konno, “Non-Stop Data Acquisition System for the Belle II Experiment”, IEEE
Real Time 2014 国際会議における講演, 奈良県新公会堂 (2014).