素粒子実験領域 22aDL-12!

CTA大口径望遠鏡用40Gbps級超高帯域データ収集システム開発 !
Development and Evaluation of 40Gbps ultra high bandwidth DAQ System for the CTA Large-Sized Telescope
石尾一馬 A、中嶋大輔 A、大岡秀行 A、窪秀利 B、今野裕介 B、斎藤浩二 A、齋藤隆之 B、手嶋政廣 A, C、
花畑義隆 A、Daniela Hadasch A、林田将明 A、Daniel Mazin A、山本常夏 D、吉越貴紀A、他 CTAJapan Consortium
東大宇宙線研 A、京大理 B 、Max-Planck-Inst. fuer Phys. C 、甲南大理工 D!
2015年3月22日 日本物理学会春季大会

於 早稲田大学

B

C

宇宙ガンマ線のエネルギー領域とCTA計画
1GeV

10GeV

100GeV

Fermi

1TeV

10TeV

ガンマ線光子統計の限界

1 km（人工衛星の大型化に限界）

検出難CTA：次世代チェレンコフ望遠鏡

Fig. 6. Different possible array layouts with estimated construction costs within the assumed budget. Thesize circles) and SSTs (small circles). The array with the most balanced performance in MC production 1 w

チェレンコフ光子密度の減少

大口径望遠鏡(LST)
SSTLSTMST
低エネルギー閾値Ź 3.2.1 23m ƏŘǗɀͫͼFÁÊÒȝȁɟ͟pÒ¾Ð¸³ÒTube m¼Ò¸ÍÒÂɟ͟PlF×Ͱɟ͟pE§ÒÌ´ºiKE˲ͳ͵ 100 ¬ÐF→高トリガレート

4桁のエネルギー領域で感度10倍にする

Ź 3.1.2oʳɡǪǈȺ˴έ͆ήjEMAGIC(Ζ),
H.E.S.S.(˳)oͩǯǪǈȺ˴FFig. CTA
7. Differential
sensitivity (in units of the energy-dependent
flux of the Crab

2015年3月22日
日本物理学会春季大会
於 早稲田大学nebula) for
array E (50 h, 5r, 5% background,
10 events, alpha = 0.2, i.e. intervals of100

Fig. 8. Integral
sensitivities in co
HAWC) for some

大口径望遠鏡LSTのカメラ・DAQ
トリガ15kHz→32Gbps

Ref :Version:
Date:
Page:

LST - Technical Design Report

MAN-PO/140408
1.4January 5, 201543/277

焦点面にLST
口径23m

1855本のPMTCTA Telescope Simulation
Run 3, event 1, array 0, telescope 1

データ読出し(a) Front

Number of triggered pixels: 61 of 1855
Number of pixels in selected image: 47
Number of significant pixels: 1855
Sum of signals in selected pixels: 2972.6 p.e.

(b) SideFigure 37: Fixation of the Camera body to the frame in the Camera Support Structure.

30 nsの波形情報• The maximum temperature di↵erence between any two points of the front-end electronics has to be• Once stabilized, the temperature at any point in the Camera should not vary more than ± 3°C over
the observation time.
smaller than 10°C.
The Environmental Control System is able to provide these parameters inside the Camera, whenever theexternal temperature is in the range between -20°C and 40°C, according to the CTA requirements [10].
Moreover, the Environmental Control System is kept ON during no operation of the telescope to: a) keep
the temperature between 0°C and 30°C ; b) avoid temperature changes faster than 10°C per hour; c) keep
the humidity inside the Camera below 65%.
The Environment Control System is based on a mixed concept using liquid and air (see figure 38). The heatproduced by the electronic devices inside the Camera is transferred to a forced turbulent air flow. The airflows along the ducts delimited by the Modules themselves and the internal load bearing structure. The aircirculation is forced by fans optimally placed to reach homogeneous temperature inside the Camera. The
heat accumulated in the air is transferred outside the Camera through a closed liquid circuit. The heatexchange between the air and the liquid is produced either in a specific heat exchanger or through the platesof the bearing structure of the Camera. The air is forced to pass through the former with the fans. The
latter have internal drilled holes in which the liquid circulates making the bearing structure also a heatexchanger. The liquid is then re-circulated through a chiller on the telescope basement, and pumped backto the Camera.

データ収集

265枚の“Dragon” FrontEndBoard

1枚あたりPMT7本から波形読み出し
FEB1枚が１回のトリガで送信するデータは約1kB→265kB/camera/event

SiTCP技術をFPGA内に実装しTCP/IP通信でデータ伝送

トリガ頻度15kHz
43

pixel above thresholdAlt

pixel in selected image
simulated direction

シャワーのフラッシュをx

reconstructed direction

second moments

yAz

ellipse (*1/*2)

04

10 20 40 100 200 p.e.

Primary: gamma of 0.500 TeV energy at 62 m distance「写真」にする

32Gbps/camera(144TB/tel/night)

DAQハードウェア構成と開発環境
PMT!
×1855

:

Camera ServerCentral!
Control

48port!
Ethernet Switch

制御信号
10Gbps!
SFP+

1Gbps

48port!
Ethernet Switch

部分的に開発、試験

FEB!
FEB!
FEB!
×45
×45
×45

監視データ

Camera!
Server

3.4GHz i7 4930K
6core 12thread

NIC

観測データ

…

FEB!
FEB!
FEB!
×45
×45×45

…

:FEB!
FEB!
FEB!
×45
×45
×45

…

:Switch!
×6

FEB!
×265

Intel X520DA2Data!
Store

48port!
Ethernet Switch

Chelsio T420CR

Dragon FEB

スイッチ

スケールテストではスイッチング・ファブリック：176Gbps
パケットフォワーディング：130.9Mpps
パケットバッファメモリ：2MB

PCで代用2015年3月22日 日本物理学会春季大会

SFP+ケーブル

於 早稲田大学

エミュレータを用いた試験の様子

エミュレータ(Max 26)

うち17台はiPMU大林先生提供ありがとうございました。
48port!
Ethernet Switch

Camera Server
10Gbps!
SFP+

2015年3月22日 日本物理学会春季大会

於 早稲田大学

エミュレータ開発
・PCはDragonFEB同様、1Gbps接続が可能→エミュレータとして使用できる・データの流れと逆方向はネットワークに余裕がある→トリガの伝播に使える（ブロードキャストパケット）・トリガに付番（送付データに埋込）→イベント結合に利用

トリガ配布マシン
Trigger
Generator

エミュレータマシン

FakeFEB

Trigger(Broadcast packet)

FakeFEB

データ収集マシン

FakeFEB

Data

2015年3月22日 日本物理学会春季大会

於 早稲田大学

DAQ

データ収集プログラム構成
ring buffers
Dragon!
FEB: :::Dragon!
FEB::Dragon!
FEB: :::Dragon!
FEB

×265

:
:

collector

:
:

:
:
:

:
:

:
:

:
:

:
:

:
:

collector

~×N

:

:
:

:

:

:

:
:

Camera Server
builderanalyzer

storermonitor
Disks

×265

開発範囲

・リングバッファ・マルチスレッド
データを一時保管し、collector ̶ TCP/IP通信でデータを取得
非同期通信による到着時間のずれを吸収
複数スレッドで収集可
builder ̶ イベント結合
2015年3月22日 日本物理学会春季大会

於 早稲田大学

collectorスレッドを複数にした効果
１スレッド

2スレッド

40 kHz
30 kHz
20 kHz60

40
CTA requirement

2000

5

10

15

20

25

30

35

要求性能を満たさない

40 45 50# connections[kHz]
Eventsize
Accepted Trigger Rate[kHz]

50 kHzThroughput-1.450e+04+1.097e+06x80

接続当たり取得レート＝Eventsize
Accepted Trigger Rate[kHz]

Throughput

接続当たり取得レート＝60 kHzbps

70 kHzbps

80 kHz

100110 kHz

10 G

90 kHz

120

7.5 G

bps

100 kHz

5 Gbps

110 kHz

10 G

bps

7.5 G

120×103

5 Gbps[kHz]×103

100 kHz90 kHz80 kHz100

70 kHz60 kHz-8.047e+01+1.206e+06x80

50 kHz40 kHz
30 kHz
20 kHz6040
CTA requirement

2000

510

15

20

25

30

35

40 45 50# connections

要求性能の約2倍が期待できる（リングバッファ書込による性能低下を補えた）

2015年3月22日 日本物理学会春季大会

於 早稲田大学

bondingの効果
48port!
Ethernet Switch

Camera Server
10Gbps!
SFP+ ×2

1Gbps!
Ethernet ×N90 kHz

Throughput/# connection
Acquire rate =[kHz]
event size

Eventsize
Accepted Trigger Rate[kHz]

Throughput

bpss

接続当たり取得レート＝

20 G

100 kHz80 kHz100

70 kHz60 kHz
50 kHz80

40 kHz
30 kHz
20 kHz6040

CTA requirement

20

00

Gbp

40

17.5

20 kHz60

110 kHzbps

30 kHz

15 G

40 kHzsGbp

50 kHz12.5-8.047e+01+1.206e+06xbps

60 kHzbps

70 kHz

10 G

100

7.5 G

80 kHz120

5 Gbps

100 kHz90 kHz80

collector2スレッド、2 10Gbps SFP+2スレッドの制約が見える
×103

110 kHz

bps
10 G

bps
7.5 G

120

5 Gbps[kHz]

collector2スレッド、１ 10Gbps SFP+
ケーブルの制約が見える×103

51015200040 45 50
connections
2015年3月22日# 日本物理学会春季大会
253035

CTA requirement2051015

於 早稲田大学

20253035

40 45 50# connections

collector 4スレッド

×103

×103
Throughput/#connection
Throughput
[kHz]
[kHz]

90 kHz80 kHz70 kHzEventsize

Acquire rate =接続当たり取得レート＝event size

接続当たり取得レート＝bps

100 kHzs

Throughput/# connection
Acquire rate =[kHz]
Throughput
event size

20 G

Gbp

5

17.5

00bps

00s

20

2015 G

40Gbp

40bps

60

12.560110 kHz

10060
70kHz×103 kHz
50 kHz360×10 kHz
40 kHz350×10 kHz
30 kHz
40×103 kHz
20 kHz30×103 kHz

80bps

80×10 kHz

10 G

70 kHz3

7.5 G

90kHz
×10 kHz80

5 Gbpsbps

3100 100
80

120

100×103 kHz
90kHzsGbp

ps

110 kHz
110×103 kHz
100
kHz

20 G

17.5bpsbps

120b15 G bps
10 Gs
Gbp
12.75.5 Gbps

×10

10 5GGbps

120

3

7.5 G

Eventsize
Accepted
Trigger Rate [kHz]collector 3スレッド
5 Gbps[kHz]

bonding

60 kHz
50 kHz40 kHz80

20×103 kHz

30 kHz
20 kHz6040

CTA requirement

CTA requirement

5101015152020252530

30353540

45

CTA requirement

205040# connections
45 50# connections005

2015年3月22日 日本物理学会春季大会

101520

於 早稲田大学

25303540 45 50# connections

耐久試験結果・エミュレータ16台に45kHzでトリガ、10時間収集に成功（collectorは2スレッド使用）

・結果の外挿により、15kHzで48接続が可能と予想

上段：全リングバッファの平均レート（赤）リングバッファへの書き込み（緑）リングバッファからの読み出し

下段：各リングバッファ内滞留イベント数

2015年3月22日 日本物理学会春季大会

於 早稲田大学

まとめ

・LSTはチェレンコフ望遠鏡による観測エネルギー閾値の限界に挑む。
そのため、15kHzのトリガレート、32Gbpsの超広帯域データ収集が必要・ネットワークによるデータ収集プログラムを開発した。
・テスト結果の外挿より、要求性能を満たすと予想できる。
- 2 Collectorスレッド+1 Builderスレッドにより16接続から45kHzで10時間DAQ稼働→詳細の仕様は合致していないが、45接続から15kHzでのデータ収集と同様の負荷- スレッド数増やbondingによって性能の調整が可能

2015年3月22日 日本物理学会春季大会

於 早稲田大学

エミュレータの調整

将来展望・Dragon FEBのネットワーク特性を詳しく調査し、パラメータを揃える

実際のDragon FEBを用いたスケールテスト

・データ構造の決定（トリガ番号、イベント番号の実装）が必要

後段処理の開発・カスケードビルド
builderを多段化して負荷分散する。
・低レベル解析
実際のデータを用いて解析が必要

データリダクションの影響調査が必要→シミュレーション

・データ保存ディスクの超広帯域書込は難度が高い。要注意

エラーハンドリング

・トリガ番号エラー、受信エラー、処理能力超過など
2015年3月22日 日本物理学会春季大会

於 早稲田大学