255■研究紹介

T2K ニュートリノビームライン制御システム
高エネルギー加速器研究機構

鈴 木聡

soh.suzuki@kek.jp

坂 下健

kensh@post.kek.jp

2010 年(平成 22 年)2 月 15 日

1 はじめにた機器保護の観点からも危険なので，ビーム運転中にもし1.1 本文

ビーム運転を停止する。

データ収集システムが止まってしまった場合は，ただちにT2K 実験は，大強度陽子加速器施設 J-PARC の 30GeV 陽子を用いてミューオンニュートリノビームを生成して，こ2.2 特徴のニュートリノを 295 km 離れたスーパーカミオカンデ(SK)通常，データ収集システム(DAQ)で重要視されるのは全で検出し，電子ニュートリノ出現事象の発見や，ニュート体としてのデータ処理速度や不感時間(一つのトリガーが受リノ振動現象を精密測定することにより，質量，フレーバーけ付けられた後，次のトリガーの受け付けができるまでの混合などニュートリノの未知の性質を解明することを目指時間)であり，システム内に滞留する時間についてはあまりす実験である。

問題にされない。

本記事では，T2K 実験のビームラインの制御システムに計算機でデータを処理する際，ディスクやネットワークついて紹介する。この制御システムとは，ビームの情報(強に対する入出力操作はデータ量がどんなに小さくても一定度，位置，ロスなど)やビームライン機器の情報を収集して，のオーバーヘッドがかかる。そのためデータ量が小さい場

これらの情報からビーム軌道などを調整したり，ビームラ合は個別に操作せずに，ある程度まとめてから入出力したイン機器を操作したりして，フィードバックをかける仕組方がこのオーバーヘッドの割合を削減することができ，全みである。以下の章では，まず，ビームモニターなどのデー体の転送性能は向上する。このまとめ操作のために一時的タ収集システム(第 2 章)，GPS を用いた SK とのイベントにデータを保持するためのキャッシュが配置されているこ同期(第 3 章)を紹介し，次に EPICS を用いたビーム制御にとが多い。このキャッシュのためにシステム内にデータがついて紹介する(第 4 章)。第 5 章では，その他の制御シス滞留する時間が発生し，データ記録装置やオンラインモニテム(ビームラインのインターロック)について簡単に紹介

タなどに対してデータの到着時間の遅れや揺らぎが発生すする。なお，ビームライン全般については過去の高エネルる。この遅れがビームライン DAQ では非常に問題である。

ギーニュース[1,2,3]，ビームモニターについては本号の別の記事に詳しい説明があるので，そちらを参照して下さい。

2 ビームラインデータ収集システム
2.1 目的と要求仕様
T2K 実験では，一次陽子ビームが大強度であるため，常時ビームをモニターして，ビームライン機器の放射化や，データ収集システム内に滞留する時間が長いと危険を示すデータが含まれていたり，正しくビームをモニターできていなかったなどの事態を制限時間内に検知することができない。T2K ビームライン DAQ システムではトリガーは3.5 秒毎でデータサイズも 1 トリガーあたり数メガバイト程度であり，要求はさして厳しくないが，滞留時間はできるだけ短くするシステムを開発した。

故障を防ぐ必要がある。また，ニュートリノビームの不定性を小さく抑えるためには，二次ミューオンビームの方向

2.3 ハードウェア構成や強度を常にモニターし，ビーム方向のズレがないことを2.3.1 検出器保証する必要がある。そのために，陽子ビームモニターやビ ー ム ラ イ ン モ ニ タ の た め の 検 出 器 と し て Current

ミューオンモニターなどの信号を，3.5 秒毎の加速器のビー

Transformer (CT), Beam Loss Monitors (BLM), Segmented

ム取り出しに同期してデータを収集して，常にこれらの量Secondary Emission Profile Monitor (SSEM), Electro Stat-を記録し，監視する。ビームモニターの情報なしに運転しic Beam Position Monitor (ESM), Optical Transition Rad-ても，そのようなビームは後のデータ解析にも使えず，まiation Monitor (OTR), Muon モニター，ホーン電磁石の電256流モニターが使用されている。これらに加えてビーム取り

2.4 ソフトウェア(MIDAS)

出しタイミングを GPS によってモニターしている。検出器

T2K 実験では J-PARC 側にビームライン，INGRID，前はビームライン上に配置されており，最寄りの建物内で読置検出器(ND280)にそれぞれ独立の DAQ システムが存在み出しを行う。建物の数は全部で五つあり，それぞれの建するが，どれも MIDAS[4]ミドルウェアによってコントロー

物は光ファイバーによって結ばれ，ギガビットイーサネッルされている。MIDAS は，PSI と TRIUMF で開発されたトを用いて通信を行っている(図 1)。

データ収集用ミドルウェアで，VME ドライバ・CAMAC ドライバ・イベントビルダ・遠隔操作用 WWW インターフェースなどを提供しており，RUN の開始・終了・状況確認など，実験シフトレベルの操作はすべて遠隔から可能である。プ
ログラム間のデータ受け渡しは同一ホスト上では共有メモリが，異なるホスト間ではネットワークを通じて行われるが，これらの違いは MIDAS ライブラリ側で完全に隠蔽されており，プログラム側からは DAQ システムが複数のホストに分散しているかどうかを意識する必要がまったくない。データの受け渡し以外のログ集約やキャラクタ端末に図1

よるチャット機能なども MIDAS ライブラリで提供されてニュートリノビームライン全体図

約 350 m のビームラインに沿って五つの建屋があり，それぞれをおり，ネットワーク操作を明示的に行うことなく複数ホスギガビットイーサネットと光ファイバーで接続している。

トをネットワークで連携させて DAQ システムを構築することが容易に可能である。

2.3.2 読み出し機器

MIDAS には OnlineDataBase(ODB)という仕組みが用意検出器からの信号をデジタル化する機器は検出器毎に異されており，キャリブレーションなどによって変動する値な る ( 表 1) 。 SSEM, BLM, HORN の 読 み 出 し にや，RUN 中の統計情報，その履歴などを自動的に記録する

65 MHz FlashADC を装着した COPPER が，ESM，CT のことが出来る。ODB に記録される統計情報を元に警告の表

読み出しには 160 MHz サンプリングレートの ADC が，ま示・RUN の強制停止を行うことも可能である。ODB の内た GPS および OTR についてはそれぞれ専用のハードウェ

容はテキストや XML 形式でバックアップ・リストアするアを使用している。 65 MHz FlashADC は T2K 実験が初めことができ，過去の値に戻すなどの操作が容易である。て本格的に使用するハードウェアであり，COPPER の開発

MIDAS で管理できるプログラムはトリガーに同期して検段階から入念なテストと性能評価を行ってきた。COPPER

出器からデータを読み出すものに限らず温度などの環境条の読み出しに関して Belle 実験で蓄積してきたノウハウを活件などを定期的に読み出すプログラムや，MIDAS に対してかし，非常に短い応答時間でデータの取り出しを可能にしデータのやりとりを行わないものでもよい。MIDAS で管理ている。

されるプログラムはウェブブラウザから動作状況の確認や表1起動・停止操作が行えるので，多数のプログラムが協調し各検出器の台数と読み出しチャンネル数

読み出しは，a： 160 MHz FADC，b：COPPER 65 MHz FADC，b’：

COPPER 65 MHz FADC を 200 kHz サンプルで使用，c：専用のハードウェア。GPS のデータを含めて，1 スピルあたりのデータ量は約 1.8 MB である。

台数

総 ch 数

読み出しCT55a

BLM

5050b

SSEM

19912bESM

2184aOTR

1

画像情報c

Mumon

Si:49 + IC:4998bHorn Current

1414b’

GPS/LTC

1-c

検出器て動作しているときに状態の把握が行いやすい。

MIDAS が出力するデータフォーマットは MIDAS 独自・
YBOS・ROOT などがある。MIDAS の独自形式で出力しておき，解析時に必要に応じてフォーマット変換を行うという手順が一般的であるが，T2K ビームライングループでは直接 ROOT 形式のファイルを生成することで，解析時の手間やディスク領域の節約をはかった。MIDAS から生成される ROOT フォーマットのファイルは特殊クラスを一切含まない TTree で記録されているため，粗い解析であれば root
コマンドのみで即座に可能である。

257

2.5DAQ システム構築

2.5.1 イベントビルダとサブイベントビルダ

T2K ビームライン DAQ のために MIDAS の利用を検討

サブイベントビルダと COPPER の間のデータ転送にはMIDAS の機能を用いず，ROOT オブジェクトをソケット経由で直接受け渡すものとした。

し始めたのは 2007 年末である。MIDAS は多数の実験で利サブイベントビルダを採用する場合のシステムの性能を用されているが，ソフトウェアの構造上，データ読み出し測定するため，COPPER を 12 枚用意し，実際の実験で想のプログラムの数に応じて DAQ サーバ上のプロセスが増定されるデータを発生させ，イベント発生時刻からイベン加する。このため，UNIX ベースの OS では応答時間が悪化

トビルド完了までの遅延時間を測定したところ，ほとんどすることが予想された。そこで MIDAS の提供するイベン

6  7 ミリ秒であったが，稀に 250 ミリ秒を越えることがトビルダで複数のデータ源からのデータを結合する所要時あった(図 3)。ネットワークモニタを行った結果，パケッ

MIDAS イベントビルダの性能の評価を行った。
間を測定し，トロスが発生した際に遅延が延びていることがわかった。

ダミーデータを生成するソフトウェアを用意して，MIDAS

COPPER の出力は 100 Mbps であるが，12 枚からのデータのデータ源の数を増やしていった結果が図 2 である。実際が同時にスイッチに到着するとスイッチ上でパケットロスにはデータ源の数は 50 前後になるので，MIDAS に直接すが発生したと考えられる。この問題は産総研で開発された

べての読み出しプロセス管理を任せた場合，要求性能を達PSPacer[5,6]を COPPER モジュールに適用して速度を調整成することは不可能に近いと判断された。遅延の振る舞いし，パケットロスが起きないようにすることで解決した。

を見ると UNIX 上のプロセス切り替えの影響と考えられる。

その後 32 枚の COPPER を二つのサブイベントビルダで集このプロセス数を少なくするため，サブイベントビルダを約した場合の遅延を測定したところ，常時 20 ミリ秒に収ま用いた多段階ベントビルドを行う方針とした。サブイベンる結果となった。サブイベントビルダを使用して建物毎のトビルダは MIDAS からみると一つのデータ源であるが，COPPER をそれぞれ一つに集約すると DAQ システム全体実際には多数の COPPER からのデータを自力で収集し，のプロセスは 10 前後となり，イベントビルダとして MIDAS一つのイベントにまとめて MIDAS に送り出すものである。

を採用しても要求性能を満たすことが可能となった。

図 3 サブイベントビルダが 12 枚の COPPER 想定サイズのデータを収集した際の処理完了までの遅延時間250 ミリ秒を越える遅延が稀に発生している。

2.5.2 データの記録

MIDAS においては，データ記録は，通常 mlogger と呼ばれるプログラムを用いて行う。これは，各データ源が送ってくるデータの構造を保持して記録していくものである。
イベントビルダから受け取るデータは MIDAS 形式である
ため，MIDAS 形式以外でファイルに記録する場合は変換が必要となる。T2K ビームライン DAQ においては，ROOT
図2

データ源の数が 10 個および 20 個の場合のデータ発生時刻か形式でデータを記録することとしたので，mlogger でデータらデータ収集完了までの遅延時間形式の変換も行う。配付されている mlogger にも ROOT 形

UNIX のタイムスケジューリングの特徴である 10 ミリ秒単位の切り替えの影響が見られる。

式への変換機能は実装されているが，この変換を行うためにはすべてのデータ源の生データを ODB 上にも展開する

258必要がある。ODB 上のデータはキャッシュを通じて更新さ出しは FlashADC で行っているので指定されたチャンネルれるため，Flash ADC のような巨大なデータを展開するとの波形を取り出す部分までは検出器によらず共通インター性能の悪化が顕著である。T2K ビームライン DAQ グルーフェースとして実装した。また，モニタプログラムは ROOT

プでは ODB と無関係に最初のイベントからデータ構造をのオブジェクトとしてイベントデータを受信するので，判断するような変更を加えた。

MIDAS の動作環境を整えなくとも ROOT オブジェクトを送信してくれるサーバがあればそれを使って動作確認が出

2.5.3 GPSGPS は T2K のビームが東海から神岡に向けて発射された時刻情報を正確に記録し，SK で測定されているデータと来る。モニタプログラムが依存しなくてはならないライブ
ラリは ROOT だけであり，半年程度の間にほとんどすべての検出器のモニタプログラムが開発された。の突き合わせに使用するので非常に重要である。
名称は GPSとしているが，GPS から算出される時刻情報の他にルビジウム原子時計の時刻情報も併せて使用し，10 ナノ秒の精度で時刻を測定している。東海から神岡にこの情報を送信するには SINET3 の提供する L2VPN を使用している。この時刻情報は T2K のビーム運転中かどうかにかかわらず恒常的に送る必要があるので，ハードウェアから時刻情報を読み出した後，ビーム運転中かどうかのフラグを付与してビー
ムライン DAQ と SK 側にそれぞれデータを送り出している。

SK 側では，このデータを受け取った後，SK の稼働状況などの情報を付加して，東海側に送り返している。ビームライン DAQ では RUN 中に SK からの打ち返し情報を自分のGPS 情報と比較し，SK 側が時刻情報を正しく受け取って図4

イベントディストリビューションいるかを確認している。

2.6 全体性能
2.5.4 イベントディストリビュータ

2010 年 1 月末の実際の応答性能が図 5 である。システム

ビームライン DAQ が収集したデータは即座に解析を行全体で要求性能の 500 ms はクリアしている。COPPER とい，シフトがビーム状況を確認できるように可視化しなくGPS の場合よりも全体の時間が延びているのは CT，ESMてはならない。シフトルームに限らず各建屋や現場などでの読み出しに使用している 160 MHz の FlashADC には DMAもデータの確認のために可視化は必須であり，データ源の機能がないことに由来する。SSEM，BLM，Mumon の読み数以上にモニタプログラムの数も多くなると予想された。

出しに使用している COPPER の場合はモジュールで同時MIDAS でモニタプロセスを用意した場合，たとえモニタプロセスが別ホスト上で動作していたとしても DAQ サーに DMA 処理が行われ，サブイベントビルダ上のメモリにデータが到着するまで数十ミリ秒である。しかし CT，ESMバ側には必ずプロセスが一つ増える。既に述べたようにプログラムの数が増えれば増えるほど性能が悪化するので，性能を確保するためにはモニタプログラムの数を抑えなくてはならない。サブイベントビルダと同様，MIDAS からは一つのプログラムに見えるが別途配下を管理するものが有効であろうと考え，ビームライン DAQ グループではイベントディストリビュータを開発した。
イベントディストリビュータは MIDAS の機能を使ってデータを受信し，ROOT の TSocket クラスを通じてイベントデータをオンラインモニタプログラムに配布する(図 4)。

図5

ビームライン DAQ の応答性能

実際に DAQ サーバに隣接してディストリビュータを設置

縦軸はイベント数，横軸はトリガー時刻からイベントの到着までし，中央制御棟のシフト用モニタなどはすべてそこからデーの時間。実線はすべての機器からのデータ収集が完了するまで，タを受信している。オフライン・オンライン共に直接 ROOT

点線は COPPER からのデータ収集が完了するまでの時間である。

を使用した解析を行う方針をとっており，かつ大半の読みただし，OTR についてはイメージデータが非常に大きいため除外されている。

259に使用している FlashADC は VME モジュールであり，複数の FlashADC を一つの VME クレートに装着して一つのコントローラで読み出している。この読み出しに DMA 機能がないためクレート全体のデータ量に応じて読み出し時間が延び，データを読み出し PC のメモリ上に読み出す部分だけで 100 ms 以上の時間が消費されることが原因である。

3 GPS を用いた SK とのイベント同期
SK での T2K ニュートリノ事象を同定するために，ビーム生成時刻を GPS をもちいて記録し，この情報を用いてSK とイベント同期を行っている。
SK で T2K 事象が起こるタイミングは，時刻 TSK ;TSK = Ttrig + Tdelay + TTOFで表す事ができる。ここで， Ttrig は，加速器からの取り出し信号と GPS を用いて測定したビーム時刻， Tdelay は，このビーム時刻から実際に陽子ビームがターゲットに衝突す
図6る時刻までの遅延時間， TTOF は，ターゲットから SK 検出器にニュートリノが到達する飛行時間である。東海側(ビームライン)と神岡側(検出器)で，同様に GPS を用いて時刻

4 EPICS を用いた情報収集と制御
ビームラインを安定に運用するためには，最初に述べたを記録して TSK の時の SK 事象を探すことで，T2K ニュートリノ事象を測定する。

GPS を用いたビーム時刻の測定

ように，ビームモニターの情報や，その他のビームライン東海側，神岡側ともに，それぞれ二つの GPS 受信機を用機器からの情報をもとに，ビーム軌道を調整したり，ビーいて時刻を記録している。二つの受信機を用いることで，ムライン機器を操作したりして，フィードバックをかける(制片方の受信機が故障しても，もう一方の受信機のデータを御する)必要がある。

用いてイベントを失うことを回避できる。ビーム時刻は，これまでに紹介したビームモニターのデータ収集とは別

GPS からの 1pps 信号を 100 MHz のクロック(ルビジウム原に，ビームライン機器の情報や加速器の情報を収集してビー

神岡側は 60 MHz
子時計の 10 MHz クロックを利用して生成，ムライン機器を制御するために，EPICS１と呼ばれる分散制で運用)で内挿した値が，Local-Time-Clock(LTC)と呼ばれ御システムを用いている。EPICS は，J-PARC の加速器制るカスタムメイドの VME モジュールによって記録される(図御で用いられており，加速器と情報を共有するためにも，6)。

制御システムの構築に EPICS を用いた。

Tdelay は，取り出し位置からターゲットまでの距離を GPS

EPICS を用いて収集している情報は，ビームライン機器を用いた測量で測定し，この情報に加えてすべてのロジッの状態(運転/停止，異常，設定値/運転値など)，各装置のクや信号ケーブルの遅延時間の測定結果を用いて計算する。

温度・流量・圧力や，DAQ のラン番号，スピル番号など様々

TTOF もターゲットから SK 検出器の中心までの距離を GPSである。これらの情報は，一定時間毎にディスクにアーカを用いた測量で測定して，算出している。

イブされており，過去のデータを参照することも可能であ

実験の間， TSK の安定性をモニターするために，各 GPSる。

で測定した時刻の差や，加速器からの取り出し信号と実際機器の制御には，主に PLC(Programable Logic Con-のビーム信号(陽子モニターからの信号)の相対時間差をスtroller)を用いている。PLC は，シーケンスを動かすためのピル毎に測定して確認している。
本格的に運用を始めた 2009

CPU モジュールやデジタル入出力，アナログ入出力モジュー

年 4 月から現在まで，GPS 受信エラーはなく，東海側の二ルを備えた機器である。あらかじめ「入力信号がある条件

つの GPS で測定した時刻の差は 200 nsec 以内で一致していになった場合に，モジュール○○の ch1 から出力信号を出る。
（この時刻の差は 200 nsec 以内ではあるが，差の値が時す」などといったシーケンスを用意して PLC 上で動かすこ期により変化する現象が起きている。
この原因については，とにより，機器を制御している。また PLC を EPICS で上現在調査中である。
）また，加速器からの取り出し信号と実位操作することで，遠隔での制御を実現している。この PLC際のビーム通過の時間差も 5 nsec 以下で安定している。

１

Experimental Physics and Industrial Control System[7].

260
や，機器の状態監視をするためのデータロガーなどを EPICS

インターロックシステムによって J-PARC 加速器のビームを用いて装置を制御するために，加速器制御グループの開運転モード(ビーム行き先)も決めている。

発した各装置のデバイスドライバーを使用した。

後者，機器保護インターロックは，大強度ビームからビーまた，ニュートリノビームラインのビーム調整でも EPICS

ムライン機器を保護するためのインターロックであり，機を利用している。前述のビームライン DAQ で収集したビー

器異常時に，メインリングの中のビームをアボートダンプ

ムモニターの情報は，オンラインモニターによって物理量へ放出し，ニュートリノビームラインへのビーム入射を防(ビーム強度，位置，プロファイルなど)に変換された後に，いて，機器を保護する。また，ビームロスを最小限に抑えEPICS を用いて制御ネットワークに送信される。これらのて機器の放射化を防ぐ目的もある。T2K ニュートリノビー

情報を別の端末上のビーム軌道・オプティクス調整ツール

ムラインでは，超伝導電磁石のクエンチ発生，常伝導電磁（SAD[8]）で読み取り，計算との比較，調整に必要な電磁石石の異常，ビームラインの真空異常，ホーン電磁石の電流の電流変化値の計算などを行う。電磁石の制御は，制御室バランス異常やビームロスが閾値を超えた場合など(その他から専用の SQL データベースを操作して行う(図 7)。にも多数)が，機器保護インターロックに含まれている。
これらのインターロック要素は，ビーム運転前に実際に異常信号を発報して，ビーム停止のロジックが正しく動作するかの確認を行った。機器保護インターロックについて
は，ビームコミッショニングの初期に，実際にビーム運転を行って，インターロック発報時にビームがアボートダンプへ放出されることも確認した。

6 今後
これまでに，システムのコミッショニングや，2009 年 4月からはビームコミッショニングを行った。各制御システ
ムは大きな問題はなかったが，より安定した運用のために少しずつ改善を行っている。
次のステップは，ビームの大強度化に向けたビームライ
図7

EPICS を用いたビーム調整ン制御システムの改善である。J-PARC 加速器の大強度化に向けて，取り出し周期が段階的に短くなっていくので，加速器とニュートリノビームラインで双方向で各々のEPICS データの参照が可能であるため，お互いの機器運転短い取り出し周期を想定した試験と必要な改善を行っていく。

状態を確認したり，ビーム取り出し部とニュートリノビームラインの情報を統一的に解析してビーム調整をしたりで7 おわりにきる。当初の目的とおり，機器立ち上げやビームコミッショ

T2K ビームライン制御システムの開発・構築にあたって

ニングでは EPICS を用いた一体的なビームライン制御を実は，KEK 加速器グループ，計算機科学センター，エレクト現することができた。

ロニクスシステムグループ，ハドロングループ，施設部な5 インターロック

ど色々な方々のご支援・ご協力をいただきました。この場をお借りして感謝と敬意を表したいと思います。

T2K ニュートリノビームラインでは，人保護インターロッ
クと機器保護インターロックの 2 種類のインターロックシ

参考文献

ステムが稼働している。共に J-PARC 加速器施設で共通の[1] 小林 隆，「T2K 実験の概要」，高エネルギーニュース，インターロックであり，異常時には加速器の運転を停止させる。
前者はビームライン施設での放射線被爆からの人の保護と法令で決められた放射線施設の認可条件の担保を目的にしており，非常停止ボタン，扉インターロック，パーソナルキー，空調排気機器，ビーム誤入射防止機器や，放射線エリアモニターなどのインターロックである。また，この28-2 (2009).

[2] 藤井芳昭，山田善一，「ニュートリノ実験施設の概要」，
高エネルギーニュース，28-2 (2009).

[3] 荻津 透，槇田康博，「J-PARC ニュートリノビームライ
ン用超伝導複合磁場電磁石システムの開発」，高エネル
ギーニュース，28-2 (2009).

261[4] https://midas.psi.ch/[5] R. Takano, T. Kudoh, M. Matsuda, Y. Kodama, H. Tezuka, and Y. Ishikawa, A Consideration of TCP/IPCongestion Control Mechanisms for the GridMPI (inJapanese), SWoPP04 (2004).

[6] R. Takano, T. Kudoh, M. Matsuda, Y. Kodama, H. Tezuka, and Y. Ishikawa, Precise Software Pacing Methodfor Long Fat Pipe Communication (in Japanese), Inter-net Conference (IC2004) (2004).
[7] http://www.aps.anl.gov/epics/[8] Strategic Accelerator Design,
http://acc-physics.kek.jp/SAD/