実験装置制御のためのバス
第1回J-PARCの中性子実験装置の制御用ハードウェアの検討会
２００４年３月１６日＠原研東海研内研究附属3棟2階会議室
KEKオンライングループ

安芳次

内容バス・リンクの動向! 大規模データ収集システムの現状
LHC/ATLASを例に! KEK標準Copperシステム! SpaceWireを用いたデータ収集システム! ３つの技術の紹介：
LVDS,SpaceWire,Advanced TCA! パイプラインCAMACから次世代データ収集システムへ!

バス・リンクの動向
現在使われているバスの規格! VMEバス規格の流れ! PCIバス規格の流れ! シリアルリンク規格の流れ! シリアル技術の比較!

現在使われているバスの規格
NIM :AEC(米国原子力委員会)Report TID20893! CAMAC : EUR4100e(1972), IEEE-583-1982! VME : IEEE1014-1987! VXI : VXIbus Consortium! FASTBUS : IEEE960-1989! VME64x : VITA1-1997, 9U x 400mm form
factor : VITA1.3-1997! CompactPCI : PICMG2.0! PCI(-X) : PCI SIG!

VMEバス規格の流れ!
!
!
!
!
!
!
!

VME(up to 40MB/s) ： IEEE1014-1987
VME64(up to 80MB/s) : VITA1-1994
DS link (IEEE Std. 1355-1995) on VMEbus P2 : VITA13-1995
VME64x : VITA1.1-1997
Myrinet-on-VME : VITA26-1998
2eSST(up to 320MB/s) : VITA1.5-1999
Serial links (10GEthernet, InfiniBand, PCI Express,RapidIO) on VMEbus P0 : VXS VITA41(Draft)
New bus without VMEbus : VITA34(Draft)

VITA : VMEbus International Trade AssociationPCIバス規格の流れ!
!
!
!
!
!
!
!
!
!

PCI local bus specification, Rev.2.3 : PCI SIG
PMC on PCI : VITA36
PCI-X Addendum to the PCI Local Bus Specification, Rev. 1.0a,
PCI SIG, 2000
PMC on PCI-X : PICMG
Compact PCI, Rev2.1 : PICMG2.0, 1997
PMC on CPCI : PICMG2.3, 1998
CPCI serial backplane : PICMG2.16, 2001
New bus without PCI (Advanced Telecom Computing Architecture,ATCA) : PICMG3.0, 2002
ATCA, Ethernet and Fiber channel : PICMG3.1, 2003
ACTA, InfiniBand : PICMG3.2, 2003

PCI SIG : PCI Special Interest Group
PICMG : PCI Industrial Computer Manufacturers Group

シリアルリンク規格の流れ!

!
!
!
!

!
!
!

Ethernet (10M Ethernet ->IEEE 802.3-1985, 10M/100M/1G
Ethernet -> ANSI/IEEE Std 802.3-2002, 10G Ethernet ->IEEE Std 802.3ae-2002 )ANSI/TIA/EIA-644(LVDS) - 1995
IEEE1355 - 1995
IEEE1394 - 1995
USB1.1 - 1998 by compaq, Intel, Microsoft and NEC, USB2.0- 2000 by compaq, HP, Intel, Lucent, Microsoft, NEC andPhilips
InfiniBand – 2000 by InfiniBand Trade Association,
Rev1.1 – 2002
PCI Express1.0 – 2002 by PCI SIG
ISO/IEC 18372(RapidIO) - 2003

シリアル技術の比較
システム構成Ethernet

Infiniband

RapidIO

PCI express

PCI(-X)

message-based

message-based

message-based

message-based

memory-mapped

TTL/LVTTL

物理層

PECL

LVDS

LVDS

serialdifferential
low-voltage
interconnect

接続

ポイントーポイ
ント・スイッチ

ポイントーポイ
ント・スイッチ

ポイントーポイ
ント・スイッチ

ポイントーポ
イント・ス
イッチ

共有バス

フロー制御

-creditretry/throttle/creditcredit/retry-speed10Gbps/channel

2.5Gbps(x1) 30Gbps(x12)8-bit:4GB/s,
16-bit:8GB/s

2.5Gbps(x1)80Gps(x32)

4GB/s(PCI-X
533), 34Gbps

encoding,
Error Check

8B/10B, 32-bit
CRC/32-bit CRC

8B/10B, 16-bit
CRC

8B/10B, 32bit CRC-大規模データ収集システムの現状
LHC/ATLASを例に
LHC/ATLASデータ収集システムの概要! データ収集ネットワーク! ATLASデータ収集のバス・リンク!

LHC/ATLAS 検出器

高さ22m・全長46m・重量7000トン

アトラスデータ収集アーキテクチャ
パイプライン
メモリ

多段のトリガーシステム
イベントの選択並列イベントビルダ
平行してイベント
フラグメントを１つにまとめる

Event Size :~ 2 MB

データ収集ネットワーク

Front-end link

Read-out link

TGC Electronics
onThin Gap
Chambers

nearoff

Read-out Link in Read-out system

Read-out system

Read-Out System
S-Links

ROBIN

ROBIN

PCI bus

ROBIN

NIC

ROBIN

PCIbusGbE

GbEthernet
L2
L2 && Event
Event Builder
Builder
Networks
Networks

Bus-Based (BB) with Switch-Based (SB)as option for increased scalability

ROBIN : 3 Slink input – PCI
and GbE output

ATLASデータ収集のバス・リンク
Frontendは実験に依存した独自のリンク! クレート・電源等はVME64x! Readout SystemのリンクはCERN標準のSLink! BackendリンクはEthernet!

KEK標準Copperシステム 提供:
オンライングループ：五十嵐さん
KEK-VME crate and Read-out modules! Prototype Read-out module! FINESSE Front-end daughter card
! Form Factor and Power Supply!

KEK-VME crate and Read-out modules

Prototype Read-out module!
!

A/D card slot

PMC slot!

VME

A/D card slot

PCI (PMC)

A/D card slot

PMC slot

PMC slot(Processor)

A/D card slot

!

!
!
!

9U euro card(VME)
4 Front-end A/Dcard slot
2 general PMC slot
1 Processor PMCslot
VME interface
512kB x 4 FIFO
32bit 33MHz PCIbus

上位のDAQへ
KEK elec./online/
BELLE DAQ group

FINESSE
Front-end daughter card
(under debugging)!

Time Memory Cell (TMC) based
pipeline TDC!

!

!

!

!

TMC : AMT2 (the latest TMC chip
which is developed for ATLAS muonchamber)
Input : 24ch LVDS!
96 ch/board
Resolution: 0.78 ns/bit (at using 40MHz clock)
Trigger buffer depth: 8 words

A prototype of flash ADC card.
!
!
!

!

ADC: Analog Devices AD9235-20
Resolution: 12bit
Number of channel: 8!
32 ch/board
Max sampling clock: 40MHz(under debugging)
ADC
ADC
ADC

PLD
(Control logicand FIFO)

ADC

40MHz clockForm Factor and Power Supply!

9U Euro card/crate!
!
!

!

Cost effectiveness Voltage
There are 6U type. Total Max
Current
VME-32 bus

J0 Connector forPower Supply!

To treat front-end
analog-digitalconversion devices

-5.0V

-3.3V

+3.3V

100A

320A

200A

Pin assignment of power supply
connector(IEC 61076-4-101)

SpaceWireを用いたデータ収集シス
テム（提供：大阪大学能町さん）
２００３年気球実験! 新しいデータ収集システムのプラットフォーム! メリット!

SpaceWireを用いたデータ収集システム

2003年気球実験
Osaka/Yamagata/ISAS新しいデータ収集システムのプラット
フォーム--Euro-card Power Station--SpaceWireを用いたデータ収集システムのメリット

データ収集システムの流れ
80年代

９０年代

２０００年代

フロントエンドエレキ

PAL

FPGA

VLSI

リードアウトFastbus/CAMAC/VME

VME/PCI

VME/PCI/バスレス？

構成バスバスリンク

イベントビルダ

Parallel/Sequential

Parallel/Sequential

Parallel/Parallel

ハードウエア

高価

安価

より安価

ソフトウエアややシンプル

複雑

大変複雑

Serial link vs. Parallel bus"

メカニカルハウジングとパワーサプライはいずれにしても必要。

パラレル：
いい点：アクセス時間が短い（Low latency）
悪い点：信号のスキュー問題、信号線が多いのでコスト高,
Big endian / Little endian問題"
シリアル：
いい点：信号のスキュー問題がない、信号線が少ない分安い、endian問題がない"
もはや、パラレルではスピード(Throughput)アップできない?
"

３つの技術の紹介
LVDS(EIA-644)とSpaceWire（IEEE1355.2)! Advanced TCA!

EIA-644(LVDS)の信号

What is SpaceWire(IEEE1355.2)• Point to point, bi-directional, full duplex• High-speed : up to 400Mbps• Cable or PCB backplane• LVDS(Low Voltage Differential Signaling)• Data-Strobe encoding (DS-link）• Flow-control built-in (Credit-based), never loses
data by using flow control token from receiverto transmitter• Switch FabricSpaceWire 構成

ATCAクレート

ATCAの特徴!
!
!
!

!

!

!
!

Board size : front - 8U x 280mm D, rear - 8U x 70 mm D,Front Panel width 25 mm
PCB thickness 1,6mm - 2,4 mm allowed
Data transport : base interface (10/100/1000baseTEthernet:64singal pairs), Fabric interface(120signalpairs), others
Topology of data transport : dual star, full mesh : Baseinterface - dual star(2ch for switch boards+14ch fornormal boards),
Only 48V DC on the backplane, dual independent feeds “A”
and “B”
Backplane is protocol independent
Cooling should work up to 200 W / board 3kW / Chassis（Realistic cooling up to 120 W / board today）

ATCAのバックプレーン

パイプラインCAMACから次世代データ収集システムへ
パイプラインCAMACの概要! パイプラインCAMACの重要な特徴! PCI/SpaceWireインターフェースの開発! 夢・その１：並列CAMAC、並列VME! 夢・その２：並列ReadOutSystem!

パイプラインCAMACの概略
Fast Ethernet

PC104plus PC board computer
PCM-9370's Crusoe TM5400,
Memory, Flash Disk,
Ethernet,
USB, …
ALTERA FPGA for PCI
ALTERA FPGA for CAMAC

重要な特徴Message-based アーキテクチャ
CAMAC/DAQ command frame
CAMAC/DAQ reply frame
Start/normal/endフレームを含めて１つのパケットを形成する。

デザインコンセプトの有用性
パイプラインCAMACコントローラに限らず、この方式は次世代のデータ収集用I/Oコントローラに適用可能

例えば、low cost/low latencyのネットワークスイッチと組み合わせて、イベントビルダより前段の読み出しシステムに適用し、実験毎に異なったプロトコル・方式から、汎用化へ？
FADC
FADC
VME
CAMAC

NE
TW
ORKPC
PCFPGASpaceWire/PCIインターフェースの開発
DeskTop PCI仕様! 2 channel / board! クロック：５０MHｚ! シリアルコネクタ：９ピンDサブコネクタが２つ! PCIインターフェースはCAMACとほぼ同じ仕様（メッセージベース・アーキテクチャ）! SpaceWire部は現在大阪大学・能町研究室で作成中! 一方、シリアル汎用ボードとしてファード社から販売の予定!

夢・その１
並列CAMAC、並列VME
Parallel CAMAC/VME system
ATCA?

A controller including
switching function

既存モジュールの有効利用のため

A CAMAC/VME Module夢・その２
並列ReadOutSystem
ATCA-based?

RO
DT
R
IGGE
RA
DCT
DC

A controller including
SpaceWire switchingfunction( and Ethernet)

A
DC/
T
DC

TR
GS
W
I/
F

A module including
SpaceWire network

Trigger path

Control/status& data path