232■研究紹介

COPPER を用いた次世代データ収集システム
KEK 素粒子原子核研究所

伊 藤

領 介

ryosuke.itoh@kek.jp

田 中

真 伸

manobu.tanaka@kek.jp

2007 年 11 月 20 日

1 はじめに• デジタルデータ収集の方法に関しては，速度・開発コス
ト/リスクなどを考慮しモジュール内ではバスを選択し，2005 年高エネルギーニュース 24 巻 3 号に“KEK におけ開発時点で枯れた技術として PCI バスを選択した。バス

るオンラインエレクトロ二クスの現状と将来”を書いてか

ボトルネックを軽減するため，ひとつのバスマスタが管ら 2 年が過ぎた。この間 COPPER を用いた BELLE の DAQ

理するバススレーブ数を減らした。またこれによりアップグレード，J-PARC 用エレクトロ二クスの開発，実PMC-PCI モジュールも使用できるようになった。

験への応用も含め適用可能範囲および将来についての展望• ネットワークによってわれわれが維持すべき技術と産業などが明確になってきた。この記事では前回のおさらいを/民生品およびその発展に頼る部分を切り分けた。また簡単にした後，実際の成功例として BELLE 実験におけるそのときに問題となるネットワークインターフェースに

ネットワークを使用したマルチ CPU 環境下での分散デー関しては，独自に技術を開発した（前述の SiTCP）。

タ収集システムとそのパフォーマンスおよび J-PARC への応用について解説し，現在残された問題とその解決方法として，KEK 測定器開発室で行われているデータ収集シス
テムの研究開発について紹介する。

上記の導入は下記に述べる功罪を生んだ。
• PMC-CPU（以降 PrPMC と書く：processor-PMC カードの略）モジュールの導入

フロントエンドに近いところ

でデータの信頼性チェック，ゼロサプレスなどを行う場

2

COPPER のおさらい

合ハードウエアで行うことも可能であるが，ソフトウエ
アで行うことでより柔軟性を持たせられる。Linux を動COPPER はデータ収集システムにおけるパイプライン

作させ解析環境と同一の環境にし，ソフトウエア開発コの標準読み出しモジュールとして開発された。このシステ

ストを下げるなどが功の部分であり，罪の部分としてはムの設計時における主導原理は徹底的な“モジュール化にコスト，ノイズの心配などが上げられる。現状ノイズのよる機能分離”と“ネットワークの導入によるモジュールレ

問題はないことが確認されているが，アプリケーション

ベルでの分散化”である。このモジュール化は多分野へのによってはコスト増が気になる場合がある（と言ってもノウハウの有効活用と開発戦略にとって非常に有利であり

Fastbus モジュールなどより充分安い）。

汎用化できた所以でもある。またモジュールへのネットワ• ASIC の開発およびデジタルアナログ高密度実装技術

ークの導入は SiTCP によって加速され，素粒子原子核実験

小型カード（FINESSE）にアナログデジタル変換部を押のみならずスーパーカミオカンデ，スバル望遠鏡などの非し込んだため自動的に高密度実装，集積回路開発を積極

加速器実験への応用，物性実験（中性子，ミュオン実験）的に推し進める必要があり，欧米の高エネルギー分野でへの応用へ新しい展開を見せている。具体的には，

10 年以上かけて行われていたような技術蓄積を数年で• 汎用な機能と目的ごとに変わる機能（ADC，TDC など）

行おうとしている。さらにこの分野の開発においては工をイベントバッファの前後で分離し，それぞれモジュー

学分野，国際協力，会社との技術協力など以前にもましル化した（COPPER ボードと FINESSE カード）。これて積極性が必要となってきている。

により案件に応じ開発するモジュールは小型の• FPGA の導入による書き換え可能なデジタル機能の導入

FINESSE カードになり開発，保守コスト/リスクが低下

FPGA の導入により何でもできるが，回路図を見ただけした。ここでコストとは資金，時間，人員のすべてをさでは動作はわからない。一方 FPGA の導入によりデジす。

タル回路製作の閾値は下がり，ハードウエアの開発から積極的に関与する人数が増加している。

233
上の第二および第三項は技術のトレンドとして避けられあるオプションを指定しないと立ち上がらないことに気がない道であり，功罪というよりどちらかというと進むべき付いた。この理由を中尾氏が調査し，OS 書き込み時にブ道を進んでいるといえる。第一項のポイントであるートセクターの書き込み方で成功することを突き止めた。

PrPMC については，用途によっては必須のものであり

結局これも PrPMC の BOIS のバグであったが，取り敢え“功”の部分を積極的に使用しているのが BELLE のマルチず中尾氏がブートローダーのソースコードを書き換えるこ

CPU 高速分散データ収集システムである。現時点で百台とで対処し，以降すべてのコンパクトフラッシュでブート

規模の CPU をフロントエンドに組み込み，実験に使用しできるようになった。これは現象を粘り強く調査，分析している実験グループはない。これにより BELLE 独自の，特徴を割り出すこと，およびその現象からの論理的な推察

かつ高性能なデータ収集システムが構築されている。

と OS に関する深い知識によって解決できた。このような

実際ここに到るまでには多くの苦労話が存在し，それらときこそ個人の力量がはっきりわかると感じた時であっによってわれわれ自身にノウハウが蓄積されてきた。当初た。

PrPMC やネットワークに関し，通常われわれが使用してい3. OS によって解釈が異なるネットワークプロトコル仕様

るのと同じように簡単に使用できると甘く見ていた。しか当時総研大の院生であった内田氏が，SiTCP を使用しし実際にテストを始めるといくつかの問題が起こった。こLinux を使ってデバッグしていたときのこと，自宅でふとれらのうち特徴的な三つの話題を書くことにする。

デバッグしたくなり同じ環境がなかったため WINDOWS

1.

上の Linux 環境を使用しデバッグをすると，今まで動作しブートしない，割り込みを感知できない PrPMC
COPPER 開発当初 PrPMC を購入し特性を調べようと，ていたものがまったく動作しなくなった。色々と見直した販売会社から購入したマザーボードに実装し電源を入れが悪いところはまったく見つからない。どうしようもない

VT100 ターミナルをモニターとして使用し動作を見ているので次の日ネットワークプロトコルアナライザを使用しプと，動作するはずの PrPMC がうんともすんとも言わない。

ロトコル評価をすると，なんと Linux と Windows でネット

会社に電話してもそんなことはないの一点張り。Belle

ワークプロトコルレベルでの動作が異なることがわかった。

DAQ グループの樋口氏と鈴木（聡）氏の二人が BIOS の設

確かに仕様書を読み返してみると，どちらの動作も許容し定を細かくチェックし，問題点を会社に指摘し事なきを得ているように読める（普通の人は Linux の動作を思い浮かた。これ以降われわれが会社に出す要求はすんなりと通るべると思うが）。そこで修正してみると Windows でも正しようになった。次に問題になったのは割り込みである。デく動作し問題ないことがわかった。Linux と Windows，こータ取得時に PrPMC は割り込みを感知し DMA 転送を始の二つがネットワークプロトコルレベルで違う動作をする

めるのであるが，当初いつまでたっても割り込みを感知しなど予想していなかったが，TCP/IP の複雑な動作を深いない。まったく理由がわからず結局前述の二人は自分たちところまで理解し，かつ即座に FPGA に変更を加えられるの所有しているマザーボードの割り込み線をプローブでチ

内田氏の知識と技術力が発揮された例である。

ェックし COPPER の配線が間違っていることを指摘した。

このように種々の苦労を乗り越えた末，ようやく以降問題なく割り込みを感知できるようになった。これら

COPPER が実際の実験に使用できるようになった。そこの例に限らずこの時点で彼らは会社を指導できるような技

で次に BELLE の DAQ システムおよび J-PARC への応用に術を持っていた。このことはわれわれが誇りにしてよいこ

ついて述べる。

とである。
2.

コンパクトフラッシュを選ばないとブートしない
PrPMC の台数が増え十台程度を使用したシステムテス

トを行おうとしていた時のこと，結構な台数の PrPMC が

3 BELLE 実験での成功
3.1 なぜパイプライン化する必要があったのか？

ブートしなかった。当時はネットワークブートも可能にな

KEKB 加速器は実験開始以来順調に性能向上を続け，っていたが，ブート用にコンパクトフラッシュで立ち上げ

2003 年に初期の目標であったルミノシティ 1034 / cm2 / secていた。また BIOS などの設定かと思い，チェックしたがに到達した。これにともない，Belle 実験装置のトリガー

問題ない。色々と調べていくうちにブート可能なコンパク

レートも上昇し， 500 Hz に近くなることも増えてきた。

トフラッシュとそうでないコンパクトフラッシュがあるこ

Belle のデータ収集システムは，当初 500 Hz の場合全デーとに気が付いた。同じ会社のものを購入したのになぜ？

タ収集時間のうち 10% 程度のデッドタイムを許容するよ

このときは Belle DAQ グループの中尾氏と KEK エレクト

うに設計されていた。しかし 10% のデッドタイムは事実

ロニクスシステムグループの五十嵐氏が活躍した。五十嵐上 10% のルミノシティを失うことと等価であり，当時激氏が詳細な調査を行い，同じ会社の同じ型番でも購入時にしく追い上げていたアメリカの BaBar 実験との競合を考え234
ると，何らかの対策が必要であった。そこでまず Belle デはもちろん進行中の実験であり，長期間シャットダウンしータ収集システムに使用されていた FASTBUS の読み出して読み出しシステムの入れ替え作業を行うことはできない。

システムの高速化を実施し，デッドタイムを半分以下に抑また検出器のフロントエンドエレクトロニクスの変更を含えることには成功した。しかし KEKB 加速器スタッフの努

むような，大がかりなアップグレードを行うことも不可能

力によりルミノシティはさらに上昇を続けていた。またである。そこで以下のような方針をとることにした。

crab cavity を加速器に追加する計画が始まっており，近い(1) Belle の読み出しシステムは，シリコン検出器を除き，将来ルミノシティは 3 × 1034 / cm2 / sec を越え，その結果ト

すべて信号を Q-to-T 変換して，その時間情報を共通のリガーレートは 1kHz に迫ると予想された。FASTBUS のFASTBUS TDC（LeCroy 1877S）で読み出すように設読み出しシステムはパイプライン化されていないため，必計されている。そこで ATLAS 実験で使用予定のパイプず読み出しデッドタイムが存在する。その結果 1kHz に達ライン TDC チップ AMT3 を用いて FASTBUS TDC とした場合には，再びデッドタイムの増加が無視できなくな

同等の機能を持つ TDC FINESSE を製作し，COPPERると考えられていた。

に搭載した。この際 FINNESE に FASTBUS TDC と

図 1 は，従来の FASTBUS システムにより，緩いトリガ

まったく同じ信号コネクタを実装し，検出器からの信ー条件でデータ収集を行った際に実測したデッドタイムを号ケーブルをそのまま COPPER に差し替えるだけでパトリガーレートの関数としてプロットしたものである。読イプライン化が行えるようにした。図 2 にこのようにみ出しシステムに使われているオペレーティングシステム

して製作した COPPER-TDC モジュールを示す。

の性質のため，デッドタイムはトリガーレートに対してパラボリックに増加することが観察された。またトリガーレートが 1kHz 程度に達した場合，デッドタイムは 20% にも上ることが予想された。この状況を根本的に解決するためには，FASTBUS の使用をやめ，パイプライン化したデッドタイムレスの読み出しシステムに置き換える必要がある
ことは自明であった。そこで Belle データ収集グループは
パイプライン読み出しプラットフォーム COPPER の開発に当初から全面的に参加した。そして KEK エレクトロニ
クスグループと共同で完成に至ったことは前述したとおりである。

図 2 Belle DAQ のパイプライン化に用いた
COPPER-TDC モジュール
LeCroy 1877S とピンコンパチブルな信号コネクタを 6 つ，2 枚の大型 FINESSE に搭載し，物理的に完全な互換性を実現している。

図 1 パイプライン化する以前の Belle データ収集システムのトリガーレートとデッドタイムの相関
デッドタイムは全データ収集時間に対する割合として示す。

3.2 パイプライン化をいかにして進めるか？

(2) 各検出器の COPPER の読み出しシステムを，既存のFASTBUS の読み出しシステムと完全に互換性を持つように設計し，検出器単位でステップバイステップに

COPPER システムに入れ替えていくことができるようにした。これにより夏と冬の短いシャットダウン期

COPPER モ ジ ュ ー ル は 完 成 し た が ， そ れ で は 次 に間の間に，検出器ごとに COPPER システムへの入れ

COPPER を使用してどのように Belle データ収集システム

替えができるので，多年度にまたがる段階的なアップのパイプライン化を進めるかが問題となった。Belle 実験

グレードを行うことにした。

235

3.3

Belle 実験の COPPER 読み出しシステムている B.A.S.F. にネットワークに対してデータを送受で

図 3 に COPPER を用いた検出器読み出しシステムの概きる機能を付加し，スローコントロールのために独自開発

念図を示す。COPPER は 9U の VME クレートに収納されしたツールである NSM を組み合わせたものである。

る。たとえば Belle の中央飛跡検出器（CDC）の読み出し

Belle のオフラインのソフトウェア環境と完全な互換性をシステムは，89 枚の COPPER が 6 つのクレートに搭載さ持っているので，COPPER で動作するソフトウェアはオれる。それぞれの COPPER には，2 つの AMT3 が搭載さフラインで開発し十分デバッグしたあと，まったく手を加れた通常の 2 倍の幅を持つ FINESSE カードを 2 枚ずつ装

えずに COPPER で動作させることができる。現在使用し着する。AMT3 は 1 チップあたり 24 チャンネルの信号入力ているデータリダクションのソフトウェアは，実際にオフが可能なので，COPPER 1 枚あたり 96 チャンネルの信号

ライン環境で開発したものをそのままポーティングして実を扱うことができ，従来の LeCroy 1877S TDC と完全な互行させている。フレームワークの動作の制御は，NSM を

換性をもたせることができた。AMT3 の中のレベル 1 パイ

介して Belle データ収集システムのマスターコントロール

プラインに蓄積された時間情報は，トリガーを受けるとリから行われる。COPPER の持つもうひとつのネットワー

ードアウト FIFO に移され，COPPER に送出される。デー

クポートは，図では省略されているが，この制御系のネッ

タは COPPER 上の CPU カードで処理され，100Base-T のトワークに接続されている。

ネットワークインターフェイスよりネットワークスイッチ

FINESSE はトリガー信号を受けて内部のパイプラインを経由して直接 Readout PC に送出される。データ転送にバッファの内容を COPPER に送出するが，トリガー信号

は VME クレートのバックプレーンはまったく使用しない。

の受け渡しのハンドシェイクは，このシステムのために特Readout PC は 一 つ の ク レ ー ト に 装 着 さ れ た 十 数 枚 の別に開発された TTD と呼ばれるシステムを用いて行って

COPPER から送られたデータを集め，部分的なイベント

いる。TTD は TT-IO，TT-SW と TT-RX からなり，トリビルディングを行い，さらに次段の Local event builder でガーハンドシェイクを高速のシリアルバス上の独自プロト

検出器単位でのイベントビルドがなされる。

コルにより実装している。既存のトリガー信号分配システ
ムからのトリガーおよびハンドシェイクの信号は，TT-IO
を介して TT-SW により各クレート上のそれぞれの TT-SWに分配される。TT-SW は複数段重ねることができ，信号をカスケード状に分配する。さらに分配された信号は各

COPPER の上に装着された TT-RX で受信され，FINESSEとのハンドシェイクを行う。

3.4 パイプライン化作業開始！
2005 年の夏から，前述の方針に従って検出器の読み出しシステムを順次 COPPER システムに入れ替える作業を開始した。最初に EFC 検出器をテストケースとして選んだ。
この検出器は超前方のカロリーメータであり，チャンネル
図 3 COPPER によりパイプライン化した検出器読み出しシステムの構成数が非常に少ないので，信号をスプリットすることにより

COPPER からイベントビルダーに至るまで Belle の標準ソフトウェアフレームワークである B.A.S.F. が動作し，高度な分散処理を可能にしている。

易にできた。そこで COPPER システムを並列に設置し，既存の FASTBUS 読み出しシステムと共存させることが容ビームラン中の振る舞いをイベント単位で FASTBUS シス
テムと比較することで，動作試験をおこなった。その結果

パイプライン化した Belle データ収集システムの特徴は，

COPPER の持つ CPU を最大限に活用した高度な分散処理

COPPER システムが完全に動作することが実証され，次の検出器 CDC に着手することになった。

を実現している点にある。 COPPER の上に搭載された

CDC は Belle の主要トラッキングデバイスであり，チャCPU は，ネットワークブートした Linux で動作する。そのンネル数も多いため，最長の読み出しデッドタイムを持っ上で Readout PC や Event builder に用いられているものとていた。Belle のデータ収集システムのデッドタイムは，同じ統一ソフトウェアフレームワークを用いて，データのもっとも読み出しの遅い検出器で決まっており，CDC がフォーマッティングやリダクションの処理を行っている。

パイプライン化されればパイプライン化作業途上においてこのフレームワークは，Belle のオフライン解析に使われもデッドタイムの低減に貢献できると考えられた。

236
CDC 読み出しシステム入れ替えの最初のステップとし

COPPER 読み出しシステムへの換装により，オフラインて，EFC の場合と同様に一部の信号を既存システムと並列でトラッキングを行う際の性能の変化が懸念された。しかに読み出せるようにして試験を行った。その際信号のレー

しキャリブレーションを行った後に μ 粒子ペアのイベント

トが高いチャンネルで，AMT3 内のレベル 1 パイプラインの運動量分解能を調べたところ，FASTBUS システムで得がオーバーフローしてしまうという現象が観察された。しられていた値とまったく変化がないことが確認され，従来かもこの現象は数十分後に何もしないうちに，突然解消しと同じ方法で物理解析ができることが実証された。

てしまう。入力信号のレートは AMT3 のパイプラインの深さの設計値より十分低く，原因究明は困難を極めた。オフ
サイトに設置したフルスケールのテストベンチを用いていろいろ試行錯誤した結果，信号レートの高い状態で AMT3の初期化を行うとこの問題が起こることがわかった。そこ
で AMT3 初期化時のエラー処理を強化することで，問題発生を回避できるようになった。その他にも様々な解決しなければならない問題が生じたり，検出器ローカルでキャリ
ブレーションランを行うための機構の実装など，CDC 読
み出しシステムのパイプライン化への道のりは決して平坦ではなかった。しかしついにすべてをクリアすることができ，2007 年の正月明けから CDC の読み出しシステムの入れ替えを始めた。
入れ替え作業は Belle DAQ グループ総出で行い，1 月末
までには Belle の他の検出器と協調して宇宙線ランができるようになった。そして 2 月より始まったビームランで実際の運用が始まった。図 4 に入れ替え作業の様子を示す。

図 5 1 トリガーあたりのデッドタイムの長さを CDC 読み
出しシステムの COPPER 化前後で比較した図
TDC あたりのヒット数の関数としてプロットしてある。上（赤色）で示されたのが従来の FASTBUS 読み出し時のデッドタイム，下（青色）が COPPER を用いた場合のデッドタイムである。

この成功を受け，2007 年の夏には続いてエアロジェルチ
ェ レ ン コ フ カ ウ ン タ （ ACC ） の 読 み 出 し シ ス テ ム を

COPPER 化した。CDC の作業で十分に経験を積んでいたため，入れ替え作業は短期間で終えることができた。このシステムも現在行われているビームランで非常に安定に動作している。データクオリティについては現在評価中であるが，オンラインモニターでは従来と変わらない性能が得られていることが確認されている。

3.5 今後の予定
KEKB 加速器は今年 crab cavity を用いた電子陽電子ビー
ム衝突に世界で初めて成功し，現在そのチューニングが進んでいる。順調にいけば非常に近い将来，ルミノシティは
図 4 CDC の COPPER 読み出しシステムへの換装作業の様子
狭いエレクトロニクスハットの中で既存の FASTBUS クレートを抜き出し，COPPER クレートに入れ替える作業は困難を極めた。
写真はクレート入れ替え後，COPPER を挿入しケーブリングを行っているところ。手前で作業をしているのは東大院生の中山君。

目標である 3 × 1034 / cm2 / sec に達すると思われる。これはト リ ガ ー レ ー ト が 1kHz に 近 づ く こ と を 意 味 す る 。

FASTBUS の読み出しシステムが残っていれば，それがデータ収集システム全体のデッドタイムを決めてしまい

20% 近くに達すると思われるので，パイプライン化を早急に進めていく必要がある。2007 年度には KLM 検出器とビームラン中に得られた，CDC 読み出しシステムの 1 ト

トリガー情報の読み出しシステムを，2008 年度には残りのリガーあたりのデッドタイムの長さを，TDC 1 枚あたりの検出器をすべてパイプライン化する予定である。一方来る

hit 数の関数として図 5 に示す。FASTBUS システムではべき SuperKEKB へのアップグレードに対する対応も，す30 μ sec 程度あったデッドタイムが 1/10 以下に低減されてでに考慮済みである。COPPER による読み出しシステム

おり，パイプライン化の効果が確認された。また

は，SuperKEKB で予想される最大のトリガーレートであ237
る 30 kHz まで耐えるように設計されている。またディジ
タイザは検出器ごとに種々の異なるものが使われる可能性があるが，FINESSE のみを作り替えることで対応可能であり，COPPER はそのまま使い続けることができる。しかし各検出器にどのようなディジタイザが使用されるかはこれからの議論により決定されるので，どんなデバイスにも対応できるようにさらに準備を進めていく予定である。

4 J-PARC への応用
COPPER は BELLE だけでなく多様な実験に使用できる
汎用性を持っていることは，一昨年の高エネルギーニュー
ス[1]でも触れた。実際に J-PARC で KEK-VME/COPPER
導入予定の実験は下記のものがある。
• T2K のビームラインモニター読み出し• K1.8 での実験装置読み出し（KEK/京都大/東北大)• K1.8BR での実験装置読み出し（理研/KEK）• 物質・生命科学実験施設ミュオン実験装置読み出し

図 7 T2K ビームラインモニター用データ収集システム
セットアップの写真
ニュートリノグループ坂下氏とデータ処理センター鈴木（聡）氏が中心となってプロジェクトを進めている。

K1.8，K1.8BR 用検出器読み出しシステムを図 8 に示す。
ここでは主に MWPC およびドリフトチェンバー読み出し

これ以外に TRIUMF での PIENU 実験においてはエンジニ用としてそれぞれ 3000 チャンネル，1200 チャンネルのデ

アリングランで稼働中である。

ータ収集システムを構築中である。データ収集システムの

以下上記の読み出しシステムにどのように使用されてい構成としては COPPER 以外に TKO をベースにしたモジュるかを現状を交えて記述する。T2K 実験ビームラインモニールも含まれているが，ネットワークベースのデータ収集

ターデータ収集システムの全体図を図 6 に示す。

システムを選択したために複数のバスシステムの混在が可能となっている。ここでは E05 実験グループ/E15 実験グ
ループ/KEK エレクトロニクスシステムグループが中心となり，図 9 に示すようにデータ収集システムを構築し最終段階へ向け調整中である。

図 6 J-PARC ニュートリノビームラインデータ収集シス
テム全体図
このうち Spill sync. Readout & DAQ と書かれている部分に

COPPER が使用され，4 箇所に点在したエレクトロ二クス
ハット内で計 49 枚の COPPER が使用される。システムは，
チャンネル数にして 1096 チャンネルのビームラインモニ
ターおよび電磁ホーンの信号を 64 MHz 12 bit FADC でデ

図 8 J-PARC K1.8, K1.8BR 用データ収集システム

ジタイズしネットワーク経由でデータ転送およびイベント

現状では COPPER，TKO が混在しているが，TKO は，実験プロ
グラムの進行にしたがって順次 COPPER へ置き換えていく予定である。

ビルドを行う構成になっている。図 7 に現在の T2K 用テス
トセットアップを示す。

238
実験も含め） 500 MHz FADC カード， 64 MHz FADC カー
ド，BELLE で使用されている AMT を使用した TDC カー
ド，MWPC エンコーダおよび同じ基板を使用した TDC カードである。 このうち 500 MHz FADC カードは 前述の

PIENU 実験エンジニアリングランで稼動中で動作が実証されており，本実験でのデータ収集開始を待っている（図11 参照）。

図 9 K1.8,K1.8BR 用検出器読み出しシステムと検出器との結合テスト中の写真
写真左より高橋（智）氏，五十嵐氏，高橋(俊)氏。

物質・生命科学実験施設ミュオン実験装置では現在の検出装置のチャンネル数を数十倍に増やし高強度ビーム下での実験に備えようとしており，現在 SiTCP をベースとする
ネットワーク DAQ を構築する R&D が進められている。

μSR 用検出器を図 10 に示す。まずは現在の CAMAC ベースのデータ収集システムを COPPER に置き換えることで，システムをコンパクトかつ保守可能なものとし，そのうえ
で将来のビーム強度増大とそれに伴う検出器の増強（2〜3年以内）をにらんで次世代のものに置き換える方針である。
最終的には 2000 チャンネルほど検出器を読み出すことになる予定である。

図 11 上の写真は 500 MHz FADC FINESSE，下のグラフはPIENU 実験において COPPER システムを使用し取得した
π → μ → e 崩壊チェーンのデータ（データ提供 大阪大青木氏）
PIENU 実験で使用しているデジタイザの FPGA コードおよびDAQ 開発は，大阪大学院生の山田氏と室井氏が行った。

前述のもの以外に実験に使用するもので現在要求がある

FINESSE は TOF 用 TDC カード，チャージセンシティブ
ADC カードがあるが，来年度以降ユーザーと協議しながら開発を進めていく予定である。その他必要なものがあれば相談していただければ幸いである。われわれは FINESSE
カードの回路図は基本的にオープンにする方針で開発しており，これにより新規開発に関して学生などが容易に参加
図 10 KEK ミュオン施設で使用されてきた μSR 用検出器
Day1 で使用予定であるが，大強度化に伴い早い段階でアップグレードの予定。

できる体制を作り，加速器実験分野の学生，スタッフの技
術レベルを向上していけるとよいと思っている 。実際

PIENU 実験で使用している FINESSE 上の FPGA 開発および COPPER のデータ収集システム開発は大阪大学の学生

さてここまでは FINESSE カード（ディジタイザカード）が行った。また T2K で使用するディジタイザは KEK が開に関しほとんど話が出てこなかったので，最後に実際に使発し，韓国の企業が製造した。FPGA の開発は T2K グルー

用されているものと，これから開発予定のものについて少プと KEK が共同で行なった（図 12 参照）。

し触れておく。現在実際に使用されているものは（テスト239
バスであったために，分散化のレベルがクレートで止まっていた。これをモジュール上にネットワークを持ち込むことで，より細かい分散化が可能となったためである。
これによりデータ転送系のみに着目すれば，DAQ 構築
はソケットプログラミングとネットワーク構成方法のノウ
ハウと CPU，ネットワーク機器選定（スイッチなど）が主
図 12 MWPC エンコーダ FINESSE
J-PARC 用 MWPC 読み出し用として開発されたが，FPGA の書き換えで 1 nsec の時間分解能を持つ TDC として使用可能である。

J-PARC でのアプリケーションは，ほとんどの場合オンボードで CPU を持つ必要がない。そこで現在 COPPER の簡易版として CPU ボードを GbE でデータ転送が可能な

SiTCP に置き換えたプラットフォーム（COPPER-Lite）を開発中である。これは CPU で行っていたネットワークデータ転送の機能をハードウエア（SiTCP）で行っている。

FINESSE はまったく同じものを使用でき，FINESSE からのデータはボード上でローカルイベントビルドされ SiTCPとなる。
しかしながら，この状況下でも下記の問題は依然として残っており，それらは現在測定器開発室の先端 DAQ プロ
ジェクトにおいて R＆D が進められている。
• いかに簡単にマルチ CPU 環境下で DAQ システムが構築できるか（ネットワーク DAQ の構築）。
• データ収集システムにおけるトリガーの扱い（トリガーレス DAQ）。
以下簡単にそれぞれの内容を解説する。

5.1 ネットワーク DAQ の構築

インターフェースへ送られギガビットイーサネットで外部

ネットワーク DAQ の構築においては，ソフトウエアのコンピュータへ転送されるる。この機能は COPPER と視点から DAQ ミドルウエア・プロジェクトが進められてまったく同じである。現在プロトタイプにより機能テストいる。

を行っているところである（図 13 参照）。

DAQ ミドルウエアは国際標準ロボット技術（RT ミドルウエア）をベースにした分散データ収集システムである。
その目的は，多くの検出器を扱う実験が，それぞれの実験ごとに自分で容易に構成を変更しながら運用できるような，
汎用 DAQ フレームワークを研究・開発することである。
すでに基礎的な研究開発段階から実用化へ向けての開発に入り，物質・生命科学実験施設（MLF）中性子・ミュオン装置への適用を予定している。MLF の計算機フレームワークを図 14 に示す。

図 13 COPPER-Lite プロトタイプモジュール
データは EventBuilding 用 FPGA によりボード内でイベントビル
ディングされ，その後１Gbps で動作する SiTCP によりコンピュータへ転送される。さらにコミュニケーション用 100M Ether
SiTCP も実装されている。

5 その先にあるもの
ここまでで従来のデータ収集システムと何が変わったかを再考すると，より分散化が進んだことが明らかになる。
今まではクレート内モジュール通信を支えてきたものが，

図 14 DAQ ミドルウエアの応用例
動作が確認され検出器などと統合され試験を行っている。

240
ワーキングデスクトップと呼ばれるユーザインターフェ

だけをたよりにイベントビルドを行わなければならない。

ースは管理サーバを介して制御サーバ・DAQ サーバ・解

また信号は非同期に連続的にディジタイズされ送られるの析サーバにアクセスし，それらは管理サーバのもとで一括

で，リードアウトシステムやイベントビルダーで扱わなけ管理される。このなかの DAQ サブシステムに DAQ ミドル

ればならないデータ量は爆発的に増加する。これらの問題

ウエアは採用されており，を解決する方策を考え，トリガーレス DAQ の大規模実験• 要素開発：SiTCP からデータを読み出す Gatherer，デー

におけるフィージビリティを探る研究を始めている。ILC

タを記録する Logger，データを解析表示する Monitor な

実験では既にトリガーレス DAQ の使用を真剣に考慮して

どおり，この研究の完成による ILC への貢献も期待される。

• データベースとの連携による汎用化：XML 構成パラメータをデータベース化し，そのデータベースを元に DAQを構成する仕組みの開発に努力が払われている。さらに IT 技術の基盤である Web
技術は，DAQ においても重要な技術であるため，DAQ ミ
ドルウエアに Web 技術を取り込み，制御サブシステムや解析サブシステムとの統合も検討中である。
この研究は外部の研究所との連携により発展してきており，この方向でコミュニティが広がることはマンパワーが少ないわれわれにとっても重要である。具体的には産総研との共同研究を通して，RT ミドルウエアの機能・性能改
善を行い国際標準化に貢献しつつ，彼らのノウハウを利用しながら実用に耐える DAQ ミドルウエアを構築している。
また GUI の視点から，RT ミドルウエアの GUI ツールである RTC-Link を DAQ のために拡張したり，WEB 技術の利用を共同で研究開発している。

5.2 トリガーレス DAQ の開発

図 15 トリガーレス DAQ と従来のシステムとの比較
システム全体が非同期動作になるので，ハードウェアは簡素化されるが，イベントビルディングや爆発的なデータ量の増加をどう扱うかが研究課題。

現在のデータ収集システムは多くの場合検出器からの高速信号を用いて生成されたトリガー信号によりデータ収集

6 おわりにを開始するように設計されている。しかしトリガー信号を作るために高速で複雑なロジックを必要とするし，物理解析においても稀崩壊実験などにおいて，トリガーの効率の低さやイベント選択のバイアスが問題になることがある。

著者はまず，本稿に述べたシステムの開発から組み込みまでを行った， Belle DAQ グループの中尾，樋口，鈴木（聡），中山， J. Schuemann の各氏，および KEK エレク
トロニクスシステムグループの五十嵐，田内，高橋，山田，

そこで検出器からの信号波形をすべて連続的に収集し，後段で高度なソフトウェア処理を行ってイベントの再構成をおこなう，「トリガーレスデータ収集システム」の開発を開始した。図 15 に従来の DAQ システムとの違いを示す。

仲吉の各氏に，深い感謝の意を表します。彼らは忍耐と努力，さらには斬新なアイディアを持って実際に動作するデータ収集システムを構築しました。また内田氏は忙しい中

SiTCP を GbE まで動作可能にしてくださいました。ネットワーク DAQ をわれわれが手にできたのは，彼の SiTCP

このシステムの実現において問題になる点はいくつかあのアイディアがあったからです。さらに現在ここまでこれるが，まず考えなければいけないのは，多くの検出器からたことは，実験グループの努力と忍耐によるものが大きく，

全く非同期にやってくる大量の信号をイベント単位に再構

Belle の EFC， CDC，ACC 各サブグループ，T2K グルー

成するイベントビルディングのアルゴリズムである。従来

プ，ハドロン実験グループ（特にハイパー核実験），のデータ収集システムではトリガーごとにイベントのタグ

PIENU グループの方々にも深く感謝いたします。

がすべての信号に付随していたので，一意的にイベントを再構成することができたが，トリガーレスシステムの場合はタグが存在しないので，ディジタイズされた時間の情報

241

参考文献
[1] 田中真伸, 高エネルギーニュース, 24(3), 195-201(2006).
[2] R. Itoh, T. Higuchi, M. Nakao, S. Y. Suzuki et al.,“Unified Software Framework for Upgraded Belle DAQ
System”, presented at International Conference on
Computing in High Energy Physics 2006 (CHEP2006),
Mumbai, India, Feb.13-17 (2006).
[3] T. Higuchi, R. Itoh, M. Nakao, and S. Y. Suzuki,“Modular pipeline readout electronics for the SuperBelledrift chamber”, IEEE Trans. Nucl. Sci., 52, 1912 (2005).
[4] M. Nakao and M. Tanaka, “Serial-Bus Based Trigger
Timing Distribution System for SuperBelle”, IEEE
Trans. Nucl. Sci., 52, 1196-1201 (2005).
[5] Y. Igarashi, et al., “A common data acquisition system forhigh-intensity beam experiments”, IEEE Trans. Nucl.
Sci., 52, 2866 (2005).