修士学位論文
大規模エレクトロニクスシステムにおける次世代型オペレーションモデルの研究- 自律型ステートマシーンの導入
及び SoC による遠隔型制御の実現 Study on Next-Generation Operation Models




for
Large-Scale
Electronics
Systems- Introduction of autonomous state machineand realization of remote control by SoC -東京大学大学院
理学系研究科 物理学専攻
石野研究室
青木 匠

2022 年 1 月 27 日




2

概要
近年エレクトロニクスの進歩は目覚ましく、特に高速通信によるデータ送受信の技術を用いた大規模エ
レクトロニクスシステムは高度化、大型化、及び複雑化を続けている。これらの大規模エレクトロニクス
システムにおいては、非常に多数の回路が複雑に接続されていることから、クロックの分配や同期、及びそれぞれの回路に適したパラメータの設定を行うことに困難が伴うことが多い。回路が直接アクセスできない場所に設置される場合、これらのことを完全に遠隔で行う必要がある。また、高放射線環境下での運用が求められる場合、放射線損傷に対しても堅牢であるシステムが要求される。本研究では LHC 加速器に設置された ATLAS 検出器のエレクトロニクスの刷新に着目し、固定位相でのクロック分配、遠隔でのクロック位相制御及び位相測定、不揮発性メモリを利用した自律型ステートマシーンの開発を行い、これらの機能が ATLAS 実験などの高エネルギー物理学実験のみに留まらず、様々な大規模エレクトロニクス
システムにおいて非常に有用な技術であり、次世代型オペレーションモデルのリモート化、スマート化を大幅に促進させるものであることを立証した。

2027 年から始まる高輝度 LHC-ATLAS 実験では、標準模型の精密測定及び新物理の探索感度向上のため、瞬間最高ルミノシティーを 7.5 × 1034 cm−2 s−1 まで増強し運転を行う。ATLAS 検出器のエンドキャップ部分に位置し、陽子バンチ衝突点から飛来するミューオンを捉える Thin Gap Chamber 検
出器の読み出し・トリガーエレクトロニクスも加速器の高輝度化に対応するべく一新される。主な変更
点は検出器からのすべての信号をヒットの有無に関わらず、前段回路が高速シリアル通信を用いて後段回路へ転送する点にあり、より柔軟かつ包括的なトリガー判定を可能にしている。これを実現するた
めに各前段回路には FPGA を導入し、さらに前段回路の制御回路として、CPU と FPGA を統合した

System-on-a-Chip (SoC) デバイスが搭載された専用回路を新設する。
前段回路では、後段回路から分配される 40 MHz の LHC バンチ交差クロックと検出器からの信号を同期し、信号の発生起源である陽子バンチ交差番号を各信号へ付与する (BCID)。ヒット信号を取りこぼすことなく BCID を行いつつ、主に低エネルギーの中性子や光子に起因する陽子バンチ交差のタイミングとは同期しないバックグラウンドの寄与を最小限に抑えるためには、全 1,434 枚の前段回路における40 MHz クロックの位相を十分な精度で一致させる必要がある。また適切な BCID のためには、前段回路
における 40 MHz クロックと陽子バンチ衝突のタイミングを合わせる必要があるため、前段回路におけるクロックの位相制御機能が必須となる。本研究ではまず、後段回路や前段回路のリセットや再コンフィ
ギュレーションに伴って、前段回路におけるクロックの位相が変化しない固定位相でのクロック分配を実現した。また 40 MHz クロックの位相を 18 ps の精度で遠隔制御する機能を実装し、SoC デバイスによる前段回路上のクロック位相測定機能の考案及び開発を行なった。

3
全 1,434 枚の前段回路上の FPGA や素子には、それぞれ異なるパラメータを設定する必要がある。現行の Thin Gap Chamber 回路系では後段回路からの制御パスを用いて、それぞれの前段回路にパラメー
タを書き込んでいるが、その実行に約 4 分という比較的長い時間を要する上、前段回路を再コンフィ
ギュレーションする度に後段から書き込まなければならないという設計になっている。本研究では、通常

FPGA のファームウェアを収めるために設置されている不揮発性メモリを利用する新たな発想の元に、自動的にパラメータを設定する自律型制御機構の FPGA への実装を行なった。この自律型制御機構は、自らが置かれている状況を自分で認識し、外からの命令がなくとも必要な手続きを必要な順番で実行するものである。
これらの固定位相でのクロック分配、クロック位相制御・位相測定、及び自律型制御機構の実証試験を行う統合試験のためのテストベンチを立ち上げた。この統合試験において、固定位相でのクロック分配が30 ps の精度で実現できていること、クロックの位相制御・位相測定が 18 ps の精度で実現できてること、
自律型制御機構によってエレクトロニクスが準備に必要とする時間が現行システムに比べて 1/60 倍に抑えられること、及び読み出しシステムがすべて正しく働くことを実証した。さらにこれらの技術を用いた
高輝度 LHC-ATLAS 実験における Thin Gap Chamber 回路系のオペレーションモデルに対する考察を
行なった。

4

目次

概要
第1章

2
序論

10

1.1

素粒子物理学における標準模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

1.2

LHC-ATLAS 実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.3

高輝度 LHC-ATLAS 実験に向けたアップグレード計画. . . . . . . . . . . . . . . . .

14

1.4

LHC-ATLAS 実験における TGC 検出器 . . . . . . . . . . . . . . . . . . . . . . . . .

15

1.5

本論文の目的・内容と構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

19

2.1

高輝度 LHC-ATLAS 実験における TDAQ システム . . . . . . . . . . . . . . . . . . .

19

2.2

TGC 検出器トリガーシステム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

FPGA 間の固定位相でのクロック分配・固定時間でのデータ転送

38

3.1

TGC 検出器システムにおけるクロック分配及びデータ転送 . . . . . . . . . . . . . . .

38

3.2

GT トランシーバーを用いたクロック分配・データ送受信 . . . . . . . . . . . . . . . .

39

3.3

GT トランシーバー RX におけるクロックの再構成 . . . . . . . . . . . . . . . . . . . .

43

3.4

固定位相でのクロック分配・固定時間でのデータ転送の実現 . . . . . . . . . . . . . . .

44

3.5

LHC バンチ交差と同期したデータ転送 . . . . . . . . . . . . . . . . . . . . . . . . . .

48

遠隔でのクロック位相制御及び JATHub によるクロック位相測定

50

4.1

TGC 検出器システムにおけるクロック位相制御及びクロック位相測定 . . . . . . . . .

50

4.2

遠隔でのクロック位相制御 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

4.3

JATHub による遠隔でのクロック位相測定 . . . . . . . . . . . . . . . . . . . . . . . .

52

4.4

全 PS board におけるクロックの位相合わせの戦略 . . . . . . . . . . . . . . . . . . . .

56

不揮発性メモリを用いた自律型制御機構の実現

58

5.1

TGC 検出器システムにおけるエレクトロニクスの制御 . . . . . . . . . . . . . . . . . .

58

5.2

不揮発性メモリを利用した自律型制御機構の開発 . . . . . . . . . . . . . . . . . . . . .

59

第6章

高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの統合試験

65

第2章

第3章

第4章

第5章

5
6.1

TGC 検出器エレクトロニクスシステムの統合試験の概要 . . . . . . . . . . . . . . . .

65

6.2

固定位相でのクロック分配の JATHub による性能評価 . . . . . . . . . . . . . . . . . .

66

6.3

PS board 間のクロックの位相合わせのデモンストレーション . . . . . . . . . . . . . .

67

6.4

PS board における自律型制御機構の性能評価 . . . . . . . . . . . . . . . . . . . . . .

69

6.5

読み出しシステムのデモンストレーション . . . . . . . . . . . . . . . . . . . . . . . .

71

高輝度 LHC-ATLAS 実験における TGC 検出器システムのオペレーションモデル

75

7.1

TGC 検出器エレクトロニクスの機能整理 . . . . . . . . . . . . . . . . . . . . . . . . .

75

7.2

システム全体のブートや回復のシークエンス . . . . . . . . . . . . . . . . . . . . . . .

81

結論と今後の展望

85

第7章

第8章
謝辞

87

付録 A

TAM モジュールの設計

89

付録 B

PS board から SL へのデータフォーマットの詳細

100

参考文献

105

6

図目次

1.1

LHC 加速器の概観 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.2

LHC 加速器のレイアウト . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.3

ATLAS 検出器の全体像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

1.4

ATLAS 検出器の座標系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

1.5

LHC と高輝度 LHC の運転予定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

1.6

代表的な物理事象におけるレプトンの横運動量閾値とアクセプタンスの関係 . . . . . . .

15

1.7

高輝度 LHC-ATLAS 実験でのミューオンスペクトロメータの R-z 平面断面図. . . . .

16

1.8

TGC のチェンバーとステーションの構造 . . . . . . . . . . . . . . . . . . . . . . . . .

16

1.9

TGC 検出器の正面写真 (M1) と 1/12 セクター . . . . . . . . . . . . . . . . . . . . . .

17

2.1

高輝度 LHC-ATLAS 実験における TDAQ システム . . . . . . . . . . . . . . . . . . .

19

2.2

現行 TGC BW のトリガーのコンセプト . . . . . . . . . . . . . . . . . . . . . . . . .

21

2.3

現行 TGC システムにおけるトリガー・読み出し回路系のブロック図 . . . . . . . . . .

22

2.4

現行 TGC システムにおける TTC システムの概要 . . . . . . . . . . . . . . . . . . . .

23

2.5

高輝度 LHC-ATLAS 実験における TGC 検出器システムの概要 . . . . . . . . . . . . .

24

2.6

ASD の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

2.7

PS board の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

2.8

PP ASIC の回路ブロック図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.9

ミューオンが TGC に入射してから検出器から信号が出力されるまでの時間分布 . . . .

28

2.10

陽子バンチ識別回路のタイミングチャート . . . . . . . . . . . . . . . . . . . . . . . .

29

2.11

PS board と JATHub の設置予定位置 . . . . . . . . . . . . . . . . . . . . . . . . . .

31

2.12

JATHub の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

2.13

SL の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

2.14

SL におけるトリガーロジックの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

2.15

パターンとして保持する飛跡の情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

2.16

SL における Coincidence Window の概要 . . . . . . . . . . . . . . . . . . . . . . . .

36

3.1

高輝度 LHC-ATLAS 実験におけるクロック分配系の概要 . . . . . . . . . . . . . . . .

39

3.2

GT トランシーバーの概念図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

3.3

GT トランシーバーのデータ送信部分 (TX) のブロック図 . . . . . . . . . . . . . . . .

41

7
3.4

GT トランシーバーのデータ受信部分 (RX) のブロック図 . . . . . . . . . . . . . . . .

42

3.5

CDR におけるクロック再構成の概要図 . . . . . . . . . . . . . . . . . . . . . . . . . .

44

3.6

TX におけるクロックパスのブロック図 . . . . . . . . . . . . . . . . . . . . . . . . . .

45

3.7

RX におけるクロックパスのブロック図 . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3.8

PS board におけるクロックパス . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

4.1

Clocking Wizard IP コアのブロック図 . . . . . . . . . . . . . . . . . . . . . . . . . .

51

4.2

Clocking Wizard IP コアによるクロックの位相制御 . . . . . . . . . . . . . . . . . . .

52

4.3

JATHub におけるクロック位相測定のコンセプト . . . . . . . . . . . . . . . . . . . .

53

4.4

JATHub によるクロック位相測定結果の例 . . . . . . . . . . . . . . . . . . . . . . . .

53

4.5

JATHub によるクロック位相測定の再現性 . . . . . . . . . . . . . . . . . . . . . . . .

54

4.6

JATHub における 11 個の入力クロックの測定結果の比較 . . . . . . . . . . . . . . . .

55

4.7

ILOGIC を導入した時の JATHub における 11 個の入力クロックの測定結果の比較 . .

56

4.8

全 PS board におけるクロックの位相合わせの全体像. . . . . . . . . . . . . . . . . .

57

5.1

QSPI フラッシュメモリに収める情報 . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

5.2

PS board における自律型制御機構のパラメータ設定部分の概要 . . . . . . . . . . . . .

61

5.3

自律型制御機構の全体的な手順 (PS board FPGA が電源を入れられた時、再コンフィ
ギュレーションされた時、SL からソフトリセットを命令された時) . . . . . . . . . . .

5.4

62

自律型制御機構の全体的な手順 (JATHub による GTX トランシーバーのリセット信号を受け取った時) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

6.1

TGC 検出器エレクトロニクスシステムの統合試験の概要 . . . . . . . . . . . . . . . .

66

6.2

PS board の再コンフィギュレーションに伴う再構成クロックの位相の変化 . . . . . . .

67

6.3

位相調整前のクロックの位相測定結果 . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

6.4

位相調整後のクロックの位相測定結果 . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

6.5

PS board の GTX トランシーバーのリセットに伴うリンク切れ時間分布 . . . . . . . .

69

6.6

GTX トランシーバーのリセットの際に自律型制御機構の各手順に必要となる時間 . . .

70

6.7

PS board FPGA の再コンフィギュレーションに伴うリンク切れ時間分布 . . . . . . . .

71

6.8

SL から PS board へのデータフォマットの概要 . . . . . . . . . . . . . . . . . . . . .

72

6.9

PS board から SL へのデータフォマットの概要 . . . . . . . . . . . . . . . . . . . . .

73

6.10

読み出しシステムのデモンストレーションの概要 . . . . . . . . . . . . . . . . . . . . .

73

6.11

Delay Curve の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

74

7.1

TGC 検出器エレクトロニクスの接続の概要 . . . . . . . . . . . . . . . . . . . . . . . .

76

7.2

TGC 検出器システムにおけるブートのシークエンスの概要 . . . . . . . . . . . . . . .

82

7.3

TGC 検出器システムにおける回復のシークエンスの概要 . . . . . . . . . . . . . . . .

83

A.1

TAM モジュールの接続の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

90

図目次

8
A.2

TAM モジュール第 1 試作機の回路図 TOP . . . . . . . . . . . . . . . . . . . . . . . .

91

A.3

TAM モジュール第 1 試作機の回路図 BANK 0 . . . . . . . . . . . . . . . . . . . . . .

91

A.4

TAM モジュール第 1 試作機の回路図 BANK 13, 14 . . . . . . . . . . . . . . . . . . .

92

A.5

TAM モジュール第 1 試作機の回路図 BANK 15, 16 . . . . . . . . . . . . . . . . . . .

92

A.6

TAM モジュール第 1 試作機の回路図 BANK 33, 34 . . . . . . . . . . . . . . . . . . .

93

A.7

TAM モジュール第 1 試作機の回路図 BANK 115 . . . . . . . . . . . . . . . . . . . .

93

A.8

TAM モジュール第 1 試作機の回路図 BANK GND, POWER. . . . . . . . . . . . .

94

A.9

TAM モジュール第 1 試作機の回路図 BOARD INTERFACE . . . . . . . . . . . . . .

94

A.10

TAM モジュール第 1 試作機の回路図 SFP+ . . . . . . . . . . . . . . . . . . . . . . .

95

A.11

TAM モジュール第 1 試作機の回路図 LEMO IN . . . . . . . . . . . . . . . . . . . . .

95

A.12

TAM モジュール第 1 試作機の回路図 LEMO OUT . . . . . . . . . . . . . . . . . . .

96

A.13

TAM モジュール第 1 試作機の回路図 JITTER CLEANER . . . . . . . . . . . . . . .

96

A.14

TAM モジュール第 1 試作機の回路図 VME J1, J2 CONNECTOR . . . . . . . . . . .

97

A.15

TAM モジュール第 1 試作機の回路図 VME J3 CONNECTOR . . . . . . . . . . . . .

97

A.16

TAM モジュール第 1 試作機の回路図 VME ADDRESS BUFFER . . . . . . . . . . .

98

A.17

TAM モジュール第 1 試作機の回路図 VME DATA BUFFER . . . . . . . . . . . . . .

98

A.18

TAM モジュール第 1 試作機の回路図 VME J3 BUFFER . . . . . . . . . . . . . . . .

99

A.19

TAM モジュール第 1 試作機の回路図 電源 . . . . . . . . . . . . . . . . . . . . . . . .

99

B.1

PS board から SL へのデータフォーマット (ワード 0 の詳細) . . . . . . . . . . . . . . 100

B.2

SLR 構造の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

B.3

SLR 構造を考慮した飛跡再構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

B.4

PP ASIC の番号付け . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

B.5

2 つのトリガーセクターからの入力がある PS board . . . . . . . . . . . . . . . . . . . 103

B.6

PS board から SL へのデータフォーマット (ワード 1 からワード 4 の詳細) . . . . . . . 104

9

表目次

1.1

標準模型におけるフェルミオンとその性質 . . . . . . . . . . . . . . . . . . . . . . . .

10

1.2

標準模型におけるボソンとその性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

10

第1章

序論
1.1

素粒子物理学における標準模型

素粒子物理学における標準模型は物質を構成する、6 つのクォーク、6 つのレプトン、およびその間に働く電磁相互作用、強い相互作用、弱い相互作用の振る舞いを定式化した理論体系である。標準模型は特殊相対性理論と矛盾がない量子論 (場の量子論) で記述されており、電磁相互作用と弱い相互作用はヒッグス機構を導入した電弱統一理論と呼ばれる SU (2)L × U (1)Y ゲージ理論によって、強い相互作用は量子色力学と呼ばれる SU (3)c ゲージ理論によって表される。
表 1.1 に標準模型におけるフェルミオンとその性質をまとめる。標準模型のフェルミオンは強い相互作
用をしないレプトンと、強い相互作用をするクォークに大きく分けられる。クォークとレプトンは共に 3
つの世代から構成されており、それぞれの世代間は質量のみが異なり、すべての基本的相互作用および量子数は同一である。
表 1.1 標準模型におけるフェルミオンとその性質 [1]。ニュートリノの質量は上限値を記した。

第 1 世代
クォーク

第 2 世代
第 3 世代

第 1 世代
レプトン

第 2 世代
第 3 世代

名称

表記

質量

電荷

スピン

アップ

u

2.2 MeV

+2/3

1/2

ダウン

d

4.7 MeV

-1/3

1/2

チャーム

c

1.3 GeV

+2/3

1/2

ストレンジ

s

93 MeV

-1/3

1/2

トップ

t

173 GeV

+2/3

1/2

ボトム

b

4.2 GeV-1/3

1/2

電子ニュートリノ

νe< 2 eV

0

1/2

電子

e

511 keV-1

1/2

ミューニュートリノνµ< 0.19 MeV

0

1/2

ミューオン

µ

106 MeV-1

1/2

タウニュートリノντ

< 18.2 MeV

0

1/2

タウ

τ

1.78 GeV-1

1/2

1.2 LHC-ATLAS 実験

11

次に、表 1.2 に標準模型のボソンとその性質をまとめる。ゲージボソンには強い相互作用を媒介するグ
ルーオン、弱い相互作用を媒介する W ボソンと Z ボゾン、電磁相互作用を媒介する光子がある。また
ヒッグスボソンは、ヒッグス二重項として導入される 4 つの自由度のうち、SU (2)L × U (1)Y ゲージ対称性の自発的破れの後に残る唯一の自由度に対応する。
表 1.2 標準模型におけるボソンとその性質 [1]。

ベクトルボソン

名称

表記

質量

電荷

スピン

グルーオン

g

0

0

1

W ボソン

W

±

80.4 GeV

±1

1

Z ボソン

Z0

91.2 GeV

0

1

光子

γ

0

0

1

ヒッグス

h

125 GeV00

スカラーボソン

標準理論は現在まで多くの実験によって高い精度で検証されているものの、暗黒物質の正体やヒッグス
ボソンの質量に対する階層性問題、フェルミオンの世代構造等の多くの問題点を内包している。これらの問題を解決する標準模型を超えた新物理として、超対称性理論や余剰次元理論等があるが、現時点では新物理の理論を決定する実験的な証拠は存在しない。加速器を用いた高エネルギー粒子の衝突は、一般的に大きな質量を持つとされている新物理の粒子を直接生成する唯一の方法だと考えられているため、新物理を探索する上では特に重要な方法である。

1.2

LHC-ATLAS 実験

スイスのジュネーブ郊外にある欧州原子核研究機構 (CERN) で行われている LHC-ATLAS 実験では、高エネルギー・高統計の素粒子実験を実現している。Large Hadron Collider (LHC) 加速器は周長Geneva
CERN
LHCb

CMS

ALICE

ATLAS

LHCb

ATLAS

PS
BOOSTER

SPS

CMS

図 1.1

LHC

ALICE

~100 mLHC 加速器の概観 [2]。周長 26.7 km の円形加速器がスイスとフランスの国境を跨いで地下
100 m の位置に設置されている。

第 1 章 序論

1226.7 km の円形加速器であり、図 1.1 に示すようにスイスとフランスの国境を跨いで地下 100 m の位置に設置されている。LHC は図 1.2 のように、8 つの Arc (曲線部分) と 8 つの Straight-section (直線部分) から構成されており、Straight-section はそれぞれ Point 1 から Point 8 と呼ばれている。そのうち 4
箇所では陽子衝突が起こるような設計になっており、Point 1 では ATLAS 実験、Point 2 では ALICE
実験、Point 5 では CMS 実験、そして Point 8 では LHCb 実験が行われている。陽子は 1011 個程度が束になってビームバンチを構成し、それぞれの陽子が約 7 TeV のエネルギーを持って衝突点において
2

IEEE TR

40.079 MHz の頻度で衝突を起こす。

1) Beam Loss Monitors [7]:system has been developed asprotection infrastructure. Its amachine components and magn
It consists of more than 360
with nitrogen gas (volume of
distributed around the LHC in
Each chamber is a cylinder
with parallel aluminum electro
working under 1.5 kV [9]. T
below 0.1 ms.
The signal of the monitor ia current-to-frequency convert
period of 40 µs, and values
ics for further analysis [10].
simulation [11], values are conin the CERN Accelerator Logg
The first source of uncertain
process, which, in mixed fiel
ference up to 21% between G
BLM measurement [11]. For r
signal has to be further proces
to approximately 0 Gy/s once
machine. In low-radiation are
Fig. 1. Scheme of the LHC with the eight IRs, each containing a long, straight
図 1.2 LHC 加速器のレイアウト [3]。LHC は 8 つの Arc (曲線部分) と 8 つの Straight-section
section (LSS: cyan areas) and two DSs (DSR and DSL: yellow areas). Arc ing further processing would(直線部分) から構成されている。図における
LSS1
sectors are marked with the green[4]. から LSS8 が Straight-section であり、それぞれoverestimation by up to an oPoint 1 から Point 8 と呼ばれる。
sections, especially in 2017 andCollimator regions, located in IR 3 and IR 7, are used to were lower, the signal for som
interceptATLAS
particles
do not LHC
have acceptable
longitudinalor to the detection limit, leading
Point 1 に設置されている(AthatToroidalApparatuS)
検出器は大型の汎用型検出器であtransverse
oscillation
amplitudes.
Consequently,
particlesareuncertainty.
る。図 1.3 に全体像を示す。最内層にある内部飛跡検出器は、solenoid magnet が作り出す磁場によってstopped in the collimators that are designed to withstand highAlthough the fluences cann
曲げられた荷電粒子の飛跡の曲率を観測することで、荷電粒子の運動量を再構成する。その外側にあるカ
beam losses, hence high radiation levels.
BLMs, the FLUKA particle
ロリメータは、電子や光子、ハドロンを検出し、それらのエネルギーを測定する。そして最外層に設置さIn the LHC arc sectors, the main expected beam loss enables us to perform simulatiomechanism is the scattering of the beam on the residual gas the BLM’s TID measurements i
れているミューオンスペクトロメータは内側のすべての検出器を透過してきたミューオンを捉え、その運
inside the vacuum chamber. Scattered particles impact the benchmarked regions, agreemen
動量の測定を行う。ミューオンスペクトロメータの詳細については 1.4 節で説明する。
beam screen (the innermost layer of the vacuum chamber). with the implemented BLMs an
ATLAS 実験では位置や角度を記述するために、検出器中央部から
LHC の中心への向きを正とした
For the given beam energy, the radiation levels scalewith the than 40% [14]. x
beam intensity(absolute number (ofparticles2) Radiation Monitors (Rad軸、上向きを正としたtime-integrated
y 軸、ビーム軸に沿った
z 軸からなる直交座標系
右手系)(x, y, z) を採用している
in the accelerator integrated over time) and the density of has been developed at CERN a(図 1.4 参照)。z > 0 は A-side、z < 0 は C-side と呼ばれている。円筒座標系では、ビーム軸からの動径
residual gas [5].
measuring the important quandamage [15]. It consists of Ra
C. Radiation Monitoring in the LHC
which measure TID, silicon pTo ensure undisturbed LHC operation, it is critical not only of the 1-MeV equivalent neutr
to qualify the equipment but also to monitor the radiation envi- ories for the HEH and thermalronment. The main quantities used at CERN to characterize it The accuracy of RadMon (versi

1.2 LHC-ATLAS 実験

132008 JINST 3 S08003

Figure 1.1:
Cut-away view [4]of 。長さthe ATLAS
of the detector are 25 m in
ATLAS
検出器の全体像
44 detector.
m、直径The25dimensions
m の円筒型検出器であり、内側から順に内heightand44minlength.
The
overallweightofthedetectorisapproximately
7000 tonnes.
部飛跡検出器、カロリメータ、ミューオンスペクトロメータの 3 つの部分に大きく分けられる。

図 1.3

The ATLAS detector is nominally forward-backward symmetric with respect to the interaction point. The magnet configuration comprises a thin superconducting solenoid surrounding theを R、方位角を ϕと定義する。また天頂角を用いて、擬ラピディティ(Pseudorapidity)
ηを
inner-detector
cavity, and three largeθsuperconducting
toroids (one barrel andtwo end-caps) arranged with an eight-fold azimuthal symmetry aroundthecalorimeters.
This
fundamental
choice)(has driven the design of the rest of the detector.
θη in=a−lnsolenoidal
tan field. Pattern recognition, momentum
The inner detector is immersed
2T2
and vertex measurements, and electron identification are achieved with a combination of discrete,high-resolution semiconductor pixel and strip detectors in the inner part of the tracking volume,と定義する。η は各検出器が覆う領域を記述する際に使われる。特に本研究で扱うミューオンシステムでand straw-tube tracking detectors with the capability to generate and detect transition radiation in
は、|η| < 1.05 の円筒の側面に対応する領域をバレル(Barrel) 部、|η| > 1.05 の円筒の底面に対応する部
its outer part.
High granularity liquid-argon (LAr) electromagnetic sampling calorimeters, with excellent
分をエンドキャップ (Endcap) 部と呼ぶ。
performance in terms of energy and position resolution, cover the pseudorapidity range |h| < 3.2.
The hadronic calorimetry in the range |h| < 1.7 is provided by a scintillator-tile calorimeter, which
is separated into a large barrel and two smaller extended$ barrel cylinders, one on either side of
the central barrel. In the end-caps (|h| > 1.5), LAr technology is also used for the hadronic=0
calorimeters, matching the outer |h| limits of end-cap 'electromagnetic
calorimeters. The LAr
forward calorimeters provide both electromagnetic and hadronic energy measurements, and extend' = 1.05
the pseudorapidity coverage to |h| = 4.9.
The calorimeter is surrounded by the muon spectrometer. The air-core toroid system, with along barrel and two inserted end-cap magnets, generates strong bending power in a large volume%
within a light and open structure. Multiple-scattering effects are thereby minimised, and excellent, + tracking chambers.
muon momentum resolution is achieved with three layers of high precision
!



'=∞

C-side!<#

図 1.4

A-side!>#–4–

ATLAS 検出器の座標系。x 軸は LHC の中心方向を指し、y 軸は地上方向を指すような右手座標系を採用している。z > 0 を A-side、z < 0 を C-side と呼ぶ。η は各検出器が覆う領域を記述する際に使われる。

第 1 章 序論

14

LHC-ATLAS 実験のビームバンチの衝突頻度は 40 MHz と極めて高く、衝突によるすべての信号を記録することは不可能である。またほとんどの衝突事象は物理解析を行う上で興味が薄い、陽子同士の非弾性散乱であり、膨大な背景事象から興味がある事象のみを選び出して記録をする必要がある。そこでATLAS 実験においては、オンラインで事象選別を行うトリガーシステムを導入している。ATLAS のト
リガーシステムは、高速で信号処理を行う初段のハードウェアトリガーと、より時間を掛けて精密なトリガー判定を行う後段のソフトウェアトリガーから構成されている。

高輝度 LHC-ATLAS 実験に向けたアップグレード計画

1.3

2027 年には、標準模型の精密測定や新物理探索を目的として、ビーム輝度をこれまでの約 3 倍に向上させた高輝度 LHC が運転開始予定である (図 1.5 参照)。重心衝突エネルギーを 14 TeV まで、瞬間最高
ルミノシティーを 5 ∼ 7.5 × 1034 cm−2 s−1 まで向上させ、10 年の運転で 3, 000 ∼ 4, 000 fb−1 の積分ル
ミノシティーに到達する予定である。

LHC
Run 1
LS1

7 TeV

HL-LHC

Run 2

8 TeV

Run 3
LS2

EYETS

13 TeV

splice consolidation
button collimators
R2E project

cryolimit
interaction
regions

Run 4 - 5...

13 - 14 TeV EYETS

Diodes Consolidation
LIU Installation

inner triplet
radiation limit

Civil Eng. P1-P5

LS3

14 TeV

HL-LHC
installation
2027

upgrade phase 1

experimentbeam pipes
nominal Lumi

2 x nominal Lumi

ALICE - LHCb

2040
5 to 7.5 x nominal Lumi

ATLAS - CMS
ATLAS - CMS
HL upgrade

2 x nominal Lumi

upgrade75% nominal Lumi

30 fb-1-1
integrated 3000 fb
luminosity 4000 fb-1

350 fb-1

190 fb-1

HL-LHC TECHNICAL EQUIPMENT:
DESIGN STUDYPROTOTYPESCONSTRUCTIONINSTALLATION & COMM.

PHYSICS

HL-LHC CIVIL ENGINEERING:
DEFINITIONEXCAVATIONBUILDINGS

図 1.5

LHC 加速器の運転とアップグレード計画 [5]。高輝度 LHC の装置実装は 2025 年から、高輝
度 LHC の運転は 2027 年からを予定している。

高輝度 LHC-ATLAS 実験の物理としての主なターゲットとしては、ヒッグスポテンシャルの形の直接測定に対応するヒッグスボソン対生成事象や、暗黒物質の残存密度から好まれる縮退した超対称性模型等がある。LHC 加速器の高輝度化によって統計量が増大し、これらの物理に対してより精密な測定を行うことが可能となる。しかし陽子陽子衝突回数の増加に伴う背景事象の増加に対応し、効率的なデータ収集を行うためには、検出器自体の大幅なアップグレードも必須となる。具体的に ATLAS 検出器では、内部飛跡検出器がすべてシリコン検出器に置き換わる他、各検出器のエレクトロニクスの多くが刷新される。

2.1 Physics Signatures with Single-Electron and Single-Muon Triggers

Acceptance

1.4 LHC-ATLAS 実験における TGC 検出器

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1 Target
Threshold
0
0
20

15
ATLAS Simulations = 14 TeV

W→ lν
HH→ττ bbtt
Compressed SUSY
(Δ m (χ02,χ00)= 40 GeV)No Upgrade

40

60
80
100
120
Lepton p Threshold [GeV]
T

図 1.6

高輝度 LHC-ATLAS 実験の主なターゲットとなる事象における、レプトンの pT 閾値とア

。ATLAS 検出器のアップグレードによって横運動量閾値を 50 GeV(アップグ
Figure 2.2:クセプタンスの関係
The integrated[6]acceptanceas a function of the single lepton pT threshold for four represレードが行われないとしたときの予測横運動量閾値) から 20 GeV まで下げることが可能となり、興味
entative channels:
W ! `n, H ! ttbb̄, tt, and a compressed spectrum SUSY model relevant forのある事象に対するアクセプタンスの大幅な上昇が見込める。
“Well-tempered Neutralino” motivated models. The Phase-II TDAQ upgrade would enable lowering the single lepton Level-0 threshold to 20 GeV from 50 GeV, the projected threshold without the
本研究で扱うミューオントリガーシステムにおいても、一部を除いたすべてのエレクトロニクスの刷新
upgrade.

を行う。このアップグレードにより、背景事象と興味がある事象との判別能力が大幅に上昇する。現行のトリガーシステムのまま LHC 加速器の高輝度化が行われると、現行システムのミューオンの運動量分解

primary
motivator for the Phase-II physics programme,
requires these single-electron
能及び読み出し能力の限界からレプトンの横運動量(pT ) 閾値を 50 also
GeV に上げなくてはならないが、トand single-muon
thresholds to remain low.
リガーシステムのアップグレードによって運動量分解能を向上し、読み出し能力を増強することによって
pT 閾値を 20 GeV まで低く抑えられる。このようにトリガー閾値を低く抑えることによって図 1.6 に示

Amongthe physics processes selected by the single-lepton triggers are tt production, inすように、ヒッグス対生成事象や縮退した超対称性模型等の興味のある物理事象に対するアクセプタンス
clusiveW ! ln, HH ! ttbb̄ with at least one t ! e or µ, and electroweak SUSY signaが上昇し、より効率的なデータ収集が可能となる。
tures with low-pT leptons. The acceptance for each of these four processes as a function of
the lepton pT threshold is shown in Fig. 2.2. The SUSY model is a “Well-tempered Neut1.4 LHC-ATLAS 実験における TGC 検出器
ralino” model that is designed to be consistent with the dark matter relic density [2.1]. A
± 0
0
0
ATLAS
の検出器群の最も外側に位置するミューオンスペクトロメータは、カロリメータを透過して
thresholdof 20
GeV provides good acceptance for W H, tt, and c̃1 c̃2 ! W ± c̃1 Z c̃1 withきたミューオンを捉え、その運動量を測定するための検出器である。
Run 2scenario.
まで使われていたミューオ
significant
losses if the thresholds are raised to the no-upgrade
ンスペクトロメータには Monitored Drift Tube (MDT), Cathode Strip Chamber (CSC), Resistive

Plate Chamber(RPC), 及びHH
Thinproduction
Gap Chamber(TGC)の 4 つの検出器が含まれていた。
MDT と are
The search
for non-resonantandanomalous
Higgs boson self-couplings
CSC は位置分解能に優れ、運動量の精密測定の役割を果たす。一方、と TGC
は時間分解能に優
key goalsof the HL-LHC programme. Modification of the RPC
Higgs
boson
self-coupling can(Tile カロ inlead れ、事象選別を行うためのトリガー検出器としての役割を果たす。またハドロンカロリメータ
to changes the cross-section of order unity [2.2]. Specially, because of destructive
リメータと呼ばれるの最外層は到達する粒子がほとんどミューオンであるため、ミューオンのトリガー
terference
removing )thecoupling approximately doubles the HH cross-section. Figure 2.3
判定に用いられる。
shows
the sensitivity of the search for HH ! ttbb̄, with one t ! e or µ and one t de3 以降では CSC
MDTNew Small Wheel
(NSW)
に置き
cayingRun
hadronically,
as aと一部のfunctionof が、より位置分解能が高い
the offline lepton pT requirement
which
is determinedby the trigger threshold. The points in the figure show the estimated sensitivity basedon fully simulated signals and backgrounds scaling from the Run 2 result to the HL-LHC
luminosity and centre-of-mass energy of 14 TeV. The analysis also includes a data-driven
estimate of the jets misidentified as t leptons (fake-t background), which leads the result tobe limited by the required minimum lepton pT (27 GeV) corresponding to the Run 2 trigger

1 Introduction

16

第 1 章 序論

TGCs

TGCs
TGCs
EIL4
TGC

BI RPCs

BIS78

NSW

NSW

BI RPCs

sMDTs

M3

M3

M2

MM
M1

High-η
tagger

M2

MM
M1

High-η
taggersTGCs(a) Large Sector でのミューオン検出器の配置図

sTGCs(b) Small Sector でのミューオン検出器の配置図

Figure 1.3: Two R-Z views of the Phase-II ATLAS muon spectrometer layout showing a small sector
1.7(bottom).
高輝度
LHC-ATLAS
R-z 平面断面図 [7]。黒文字の(top) and a large図
sector
The drawings
show the new実験でのミューオンスペクトロメータのdetectors to be added in the PhaseII upgrade, including the addition of the high-h tagger (red text: BI RPC, sMDT, EIL4 TGC, high-h
検出器は
Run
2
以前から設置されていたもの、緑文字はRun
3に向けて新設された検出器、赤文字はtagger), those to be installed during LS2 (green text: Micromegas and sTGC in the New Small Wheel
and BIS78 RPC and sMDT), and those that will remain unchanged from the Run 1 layout (black text).

高輝度 LHC-ATLAS 実験に向けて新設される検出器である。TGC BW 以外のミューオンスペクト
TGCs
ロメータの各検出器は、Toroid Magnet や支持機構と干渉しないよう、
ϕ 方向に Large Sector, Small
EIL4
BI RPCsTGC

NSW

Sector という 2 種類のセクターに分かれている。TGC BW については Large Sector, Small Sector
8の区別なく、
ϕ the
方向に
48 回もしくは
ate is measured by the TGC
wire groups,
azimuthalcoordinate24 回対称になるようにチェンバーが設置されている。TGC BW
は 3to
つのステーションから構成されており、衝突点に近い側から順に
M1, M2, M3 と呼ぶ。
need good time resolution
tag the beam-crossing with highMMn2008 JINST 3 S08003

ularity to provide a sufficiently sharp cut-off in the momentum of
he granularity to the required momentum resolution, the size ofHigh-η
sTGCstagger31 as a function 換わる他、
of h, correspondinga variationin width from
RPC toBIS78
等の新たな検出器が設置される。また高輝度
LHC-ATLAS 実験に向けては BI
ment of wire groups in consecutive layers is staggered to optimise
RPC 等の新たな検出器が更に設置される。またFigure
MDTの情報もトリガーに用いることとなる。
1.3: Two R-Z views of the Phase-II ATLAS muon spectrometer layout showing a small sector
n number of electronics channels. The radial strips are staggered(top) and a large sector (bottom). The drawings show the new detectors to be added in the Phase図2–3
1.7mrad,に高輝度
LHC-ATLAS
実験におけるミューオンスペクトロメータの各検出器の配置を示す。
II upgrade, including the addition of the high-h tagger (red text: BI RPC, sMDT, EIL4 TGC, high-hmuthal granularity ofas seen fromthe interaction
point.
tagger), those to be installed during LS2 (green text: Micromegas and sTGC in the New Small Wheel
dinal cut through TGC
the end-cap.
TGC’s
are
locatedintheinnermostは 1.05 < |η| < 2.4 のエンドキャップ領域をカバーする円盤型の検出器である。
は 1Endcap
and BIS78 RPC and sMDT), and those that will remain unchangedTGC
from the Run
layout (black text).
e layers (EM-wheels marked M1–M3, corresponding to TGC1–3).
Toroid Magnet より内側に位置する Endcap Inner (EI) と外側に位置する Big Wheel (BW) に大別さ
all (S) and large sector (L) are shown for reference. The location
れる。
TGC
BW6.11.
以外のミューオンスペクトロメータの各検出器は、Toroid Magnet や支持機構と干渉し
f the TGC wheels
are givenin tableA detailed listing of all
8
is given in the TGC
parameterϕbook[212]. Large Sector, Small Sector という 2 種類のセクターに分かれている。TGC BW
ないよう、
方向では

については Large Sector, Small Sector の区別なく、ϕ 方向に 48 回もしくは 24 回対称になるようにチェof the TGC’s

Pick-up strip
Graphite layer(forward) and an outer (end-cap) part, having a different azimuthal segmentation. A module covers

prevents the occurrence of streamers in all operating conditions.
15 in azimuth in the inner and 7.5 in the outer part.

in the interaction of low energy neutrons (1–10 MeV) is only aminimum ionising particle.

TGC wires and the small wire-to-wire distance lead to very goodrity of the tracks. Only tracks at normal incidence passing midway

Modularity
Modules/sector
Units/module
Chambers/unit

M1 triplet
Inner Outer
2
4
1
4
3
3

EM big wheel
M2 doublet
Inner Outer
2
4
1
5
2
2

M3 doublet
Inner Outer
2
4
1
5
2
2

I layer
I doublet
Inner Outer

Total

2008 JINST 3 S

ortional chamt the wire-tosmaller than
1.8 mmmm, as shown+HV
ly quenching
1.4 mm
50 µm wire
2 (n-pentane),peration in aa gas gain ofas gain, com1.6 mm G-10
ns of the TGC(a) TGC チェンバーの断面図(b) Triplet と Doublet ステーションの断面図
Figure 6.32: Cross-section of a TGC triplet and doublet module. The triplet has three wire layers
ke full use of Figure 6.31: TGC structure showing anode
図 1.8 TGC のチェンバーとステーションの構造[4]The。図dimensions
1.8(a) はof TGC
but only two strip layers.
the gasチェンバーの断面図であgaps are enlarged with respect to the otherry ionisation. wires, graphite
cathodes, G-10 layers and a pickelements.
り、ワイヤーとストリップが直交していることがわかる。図1.8(b)
はTripletと Doublet ステーショ
till kept, even up strip, orthogonal to the wires.
ンの断面図である。図の左側が Triplet, 右側が Doublet。
lar:Table 6.13: TGC modularity. Each wheel consists of 12 sectors, each sector containing an inner1.4 LHC-ATLAS 実験における TGC 検出器

171/12 sector

図 1.9

TGC 検出器の正面写真 (M1) と 1/12 セクター。赤枠で囲っている部分が 1/12 セクターである。1/12 セクターは 4 つのエンドキャップ領域のトリガーセクター、2 つのフォワード領域のトリガーセクターから構成される。

ンバーが設置されている。TGC BW は 3 つのステーションから構成されており、衝突点に近い側から
順に M1, M2, M3 と呼ぶ。TGC チェンバーの構造を図 1.8 に示す。TGC はアノードワイヤー間隔が1.8 mm、ワイヤー直径 50 µm、アノードワイヤーとカソードストリップの距離が 1.4 mm である MWPCである。ワイヤーとストリップは直交しており、R 方向 (ワイヤー) と ϕ 方向 (ストリップ) の 2 次元読み出しを行う。ワイヤーには約 2.8 kV の電圧をかけており、ガス層を混合比 55:45 の CO2 /n-C5 H12 で満たしている。TGC のステーションは 3 層あるいは 2 層のガス層を含んでおり、3 層のものを Triplet、2層のものを Doublet と呼ぶ。BW においては M1 のみが Triplet であり、M2, M3 は Doublet である。
図 1.8(b) に示すように、Triplet には 3 層のワイヤーと 2 層のストリップがあり、Doublet には 2 層のワイヤーと 2 層のストリップがある。
ガス層を荷電粒子が通過すると荷電粒子のエネルギーの一部がガス分子に与えられ、ガス分子の電離を起こす。電離した電子は、アノード・カソード間の印加電圧による電場によってアノードワイヤーの方向に移動し、アノードワイヤー近傍の強い電場によって電子雪崩を発生させる。アノードワイヤーでは電子
雪崩の時に発生した正イオンのドリフトによる電流が、カソードストリップではそれらの鏡像電荷による電流が検出される。

TGC はトリガー用の検出器であり、検出した粒子がどの陽子バンチ衝突に由来するのかの識別 (Bunch
Crossing IDentiﬁcation; BCID) を行う必要がある。ワイヤーの短いピッチにより電子雪崩が起きるま
での時間が短く抑えられ、TGC は BCID を行うために 25 ns のバンチ間隔に対して十分な時間分解能を持つ。一方 TGC には位置分解能の観点ではそれほどの高い精度は求められていないため、チャンネル数の調整のためにワイヤー電極を 4 ∼ 20 本まとめてから読み出しを行う。TGC は結果としてワイヤー、
ストリップの合計 32 万チャンネルを持つ。

第 1 章 序論

18

TGC の全 32 万チャンネルを扱い、ヒット情報を読み出すためには多数のトリガー・読み出しエレクト
ロノクスが必要となる。具体的には高輝度 LHC-ATLAS 実験における TGC 検出器システム全体では、4種類のエレクトロニクスを合わせて約 2 万 5000 枚設置する。

BW の外側 (1.05 < |η| < 1.92) はエンドキャップ領域、円盤の内側 (1.92 < |η| < 2.4) はフォワード領域と呼ばれる。エンドキャップ領域では ϕ 方向に 48 回対称になるように、フォワード領域では ϕ 方向に 24 回対称になるようにチェンバーが設置されている。エンドキャップ領域の 1/48、フォワード領域の 1/24 はトリガー回路的に独立しており、それぞれが “トリガーセクター” と呼ばれる。また電源供給、ガス供給、電気回路制御、読み出しの観点から BW は ϕ 方向に 12 個のセクターに分割される (図 1.9 参照)。各 “1/12 セクター” には x 軸の正の方向から y 軸の正の方向に向かって順に、A-side では A01 から A12、C-side では C01 から C12 までの名前が付いている。

1.5

本論文の目的・内容と構成

本研究は高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの刷新を通して、
大規模エレクトロニクスシステムの次世代型オペレーションモデルの研究を行なったものである。TGC
検出器エレクトロニクスシステム (2.2.2 節で詳細は説明する) のような、非常に多数の回路が複雑に接続されている大規模エレクトロニクスシステムにおいては、クロックの分配や同期、及びそれぞれの回路に適したパラメータの設定を行うことに困難が伴う。これらの問題を解決し、次世代型オペレーションモデ
ルの確立を大幅に進めたという観点から、本研究の重要度は非常に高いと言える。
本論文の構成は以下の通りである。第 2 章では、高輝度 LHC-ATLAS 実験に向けた TGC 検出器シス
テムのアップグレードについて説明し、各エレクトロニクスの役割を紹介する。第 3 章では、多数の回路へのクロックの固定位相での分配手法について述べる。第 4 章では、遠隔でのクロック位相制御方法やクロック位相測定方法について説明する。第 5 章では、エレクトロニクスの制御として必要となるすべての手続きを自動で、かつ高速に行う自律型制御機構について述べる。次に第 6 章は、高輝度 LHC-ATLAS
実験に向けた TGC 検出器エレクトロニクスシステムの統合試験についてである。第 7 章では、高輝度

LHC-ATLAS 実験における TGC 検出器エレクトロニクスシステムのオペレーションモデルについて議論する。最後に第 8 章での本研究の結論と今後の展望についてまとめる。

19

第2章

高輝度 LHC-ATLAS 実験に向けた
TGC 検出器システムのアップグレード
2.1

高輝度 LHC-ATLAS 実験における TDAQ システム

1.2 節でも述べたように LHC では 25 ns の間隔で陽子バンチ衝突が起こるため、衝突によるすべての信号を記録することは不可能である。また限られたリソースを最大限有効活用するためには、興味のある衝突事象のみを記録する必要がある。ATLAS 実験においてはオンラインで事象選別を行うトリガーシ
5.2.1 Level-0 Calorimeter Trigger(a) Level-0 Trigger システムの概要

(b)
Event
と DAQ システムの概要
Figure 5.4:
Themain Filter
functional
blocks of the TDAQ architecture for Phase-II,
DAQ
aspects.
Shown
in
green
are
Readout
components and yellow the Data
図 2.1 高輝度 LHC-ATLAS 実験における TDAQ システムの概要 [6]。図 2.1(a) に theLevel-0
Trigger
Figure 5.2: Diagram of the Level-0 Trigger architecture. The arrows indicate the type of object
withthatinterfaces to other systems indicated by white for Software dependence, DC
Level-0
Trigger
は、L0Caloと in
L0Muonis transmitted システムの概要を示す。初段のハードウェアトリガーである
between each component of the system. Super cell energies are sent to the
eFEX,
Event
Filter in Red
and Permanent
Storagegray.

while coarser granularity, based on sums of super cells energies, are sent to the jFEX and gFEX,に大別され、最終的なトリガー判定が CTP でなされる。ある事象データが後段に渡されるべきである
respectively, as is done in the Phase-I system. Information from calorimeter cells with |h | >2.5,に Event
Filter と DAQと判定された場合には、
L0A
CTP
によって発行される。図without an energy
threshold, is sent to the fFEX.
Tile信号がcalorimeter
informationfrom the outermost
multi-gigabit2.1(b)network.
TTC information
will beシreceived from a PON anlayer is used in coincidence with muon trigger primitives from the RPC and TGC in the Barrel
ステムの概要を示す。FELIX 経由で L0A 信号を受けた各システムは、該当する衝突データを
FELIX
detector FE electronics as well as to the Data
Handler.
and Endcap Sector Logic components, respectively. Hit information from the NSW and MDT aresent to their corresponding
Trigger
Processors.
The
MDT
Trigger
Processor
refinesthemomentumへ送り、FELIX は受け取ったデータを後段トリガーに渡す。後段トリガーでは Event Filter がソフ
The
lpGBT protocol is being explored by subdetector systems and L0 trigge
measurement for muon candidates determined by the Sector Logic components; the resulting
muon
CERN の serial
Permanet
Storage the FELIX and their elbi-directional point-to-pointlinks connecting
candidates areトウェアベースのトリガー判定を行い、最後まで残った衝突データがtransmitted to the MUCTPI for overlap removal and multiplicity determination.
Elementary calorimeter
cells
above
a
transverse
energythreshold
of
|
E
|
>
2s
are
sent
to
the
Globalに保存される。
Tsystems will either directly incorporate a GBTX chip on the electronics com
Trigger for use in topological clustering and other refined algorithms. Trigger OBjects (TOBs) are
plement lpGBT protocol with FPGAs. For the downlinks (links to the deteformed by each of the FEXs, as well as the MUCTPI, which are refined by the Global Trigger. The
most systems plan to use lpGBT to send TTC information,collect Busy in
CTP combines information from the Global Trigger and MUCTPI, consisting of trigger algorithm
to perform configuration and control. For the uplinks (links from the dflags and multiplicities of selected objects, to make the final Level-0 trigger decision.

ics) some systems like ITk foresee to have different protocols to transmit d
DCS information. To accommodate the downlink transmission FELIX m• LAr EM, EMEC, HEC calorimeter pre-processors called LAr Digital Processing Syspackets from the commodity multi-gigabit network and route them to the stem (LDPS) and LASP, carrying Super Cell and Full granularity detector data toplaces a requirement on FELIX reliability and uptime beyond that of da
L0Calo, respectively.
tions. FELIX therefore functions as a router between custom serial links• Global Trigger, to which Trigger Objects are sent for refined processing.

20

第2章

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

ステムを導入しており、正しい物理データを取得するためには、トリガーシステムとデータ取得 (Data

AcQuisition; DAQ) システムが連動して機能する必要がある。ATLAS 実験ではトリガーとデータ取得をまとめて Trigger and Data AcQuisition (TDAQ) システムと呼ぶ。
高輝度 LHC-ATLAS 実験では TDAQ システムのエレクトロニクスを一新し、トリガー性能の向上を目指す。高輝度 LHC-ATLAS 実験における TDAQ システムの概要を図 2.1 に示す。TDAQ システムはLevel-0 Trigger、Event Filter、DAQ システムから構成される。
Level-0 Trigger はハードウェアで構成された初段トリガーである。Level-0 Trigger はカロリメータ
による情報を用いてトリガー判定を行う Level-0 カロリメータ (L0Calo) トリガーと、ミューオン検出
器 (RPC, MDT, TGC) による情報を用いる Level-0 ミューオン (L0Muon) トリガーに大別される。これらの 2 種類のトリガーで処理された情報は最終的に Central Trigger Processor (CTP) に渡され、Level-0 トリガー判定がなされる (図 2.1(a) 参照)。ある事象データが後段のトリガーに渡されるべきであると判定された場合には、Level-0 Accept (L0A) 信号が CTP によって発行される。Front-End LInk

eXchange (FELIX) 経由で L0A 信号を受けた各システムは、該当する衝突データを FELIX へ送り、
FELIX は受け取ったデータを後段トリガーに渡す。後段トリガーでは Event Filter がソフトウェアベースのトリガー判定を行う。そして最後まで残った、興味のある物理事象を含む衝突データが CERN のPermanet Storage に保存される。
現行の TDAQ システムとの主な違いとして、初段トリガーレートや Permanet Storage への記録レート、トリガー判定に使える時間がある。高輝度 LHC-ATLAS 実験ではより多様な物理にアクセプタンスを持つトリガーシステムを実現するために、初段トリガーレートを 100 kHz から 1 MHz に、Permanet

Storage への記録レートを 1 kHz から 10 kHz までに拡張する。また、より洗練されたトリガーアルゴリ
ズムの導入を可能にするために、トリガー判定に使える時間を 2.5 µs から 10 µs まで伸ばす。
本研究では主に L0Muon トリガーの内、Endcap 部をカバーする TGC 検出器システムについて扱う。

2.2 節では TGC 検出器トリガーシステムの詳細について説明する。

2.2

TGC 検出器トリガーシステム

本節では、TGC 検出器のエレクトロニクスシステムについて説明する。前節で述べた高輝度 LHC-ATLAS 実験におけるトリガー・読み出し性能の要求を満たすため、TGC 検出器のエレクトロニクスも高輝度 LHC-ATLAS 実験に向けて一新される。2.2.1 節で現行のトリガーシステムとその限界、2.2.2 節
で高輝度 LHC-ATLAS 実験でのトリガーシステムとその特徴について述べる。

2.2.1

現行 (Run 3) の TGC トリガーシステム

現行 (Run 3) の TGC 検出器のトリガーのコンセプトを図 2.2 に示す。1.05 < |η| < 2.4 の領域に対して TGC は、7 層のコインシデンスによってミューオン候補を検出し、さらにミューオンのヒット点の位置の情報を用いてその運動量の概算を行い、トリガー判定の入力とする。衝突点で生成されたミューオン
が Endcap Toroid Magnet による磁場によって曲げられ、TGC の 3 つのステーションを通過することによって、各ステーションにおける (R, ϕ) の 2 次元の位置情報が得られる。M1, M2 におけるヒット位

ATLAS エンドキャップミューオントリガー
2.2 TGC 検出器トリガーシステム

21
M2

M3

M1
ビーム軸

トロイド磁場領域dRdΦz = 14.5 m

z = 14 m
z = 13 m

実

際

の

軌

跡

R

運

限

無

量

拡大図

dR

動

TGC chamber front-end

衝突点

TGC 1 TGC 2 TGC 3
ASDdΦ
Mounted on
TGC chambers

PS-board

Big wheel edge

Φ

VMEbus crate
Delay
現行の TGC BW のトリガーのコンセプト [9]。ミューオンが実際に残したヒット点と、無限BCID
3/423hits
運動量飛跡の M1 及び M2 の交点との位置の差分 (dR13 , dϕ13 ) 及び (dR23 , dϕ
) を利用してミュー
High-p

図 2.2

図 2.5

Counti(USA1

VMEb

エンドキャップ部のトリガーのコンセプト。M1・M2・M3 でのヒットの位置からミューオT
オンの pT を概算する。

Readout
Delay
ンの飛跡の曲がり具合を測定し、その情報を用いてトリガー判定を行う。
BCID
Doubletswire

High-pT

Se
lo

strip
置は、M3 におけるヒット点と衝突点を結んだ無限運動量飛跡と比較される。このように無限運動量飛跡
ASDとの比較を行うことによって運動量を概算することが可能である。具体的には
M3 でのヒット点を pivot
Delay
EI/FI

StarBCID
Mounted onhits
として、ミューオンが実際に残したヒット点と、無限運動量飛跡の
M1
及び2/3
M2
の交点との位置の差分
TGC chamber front-end
switchBig wheel edge
Counting room
TGC chambers
Readout
TGC232, dϕ
TGC(dR13 , dϕ13 ) TGC
及び1 (dR
pT に対して閾値を設け、
Delay(USA15)233) を利用してミューオンの pT を概算する。このPS-board
ASD
BCID

それ以上の pT を持つミューオンがある衝突事象を選別する。
Mounted onMounted
Mounted onon
TGC chamber
TGC
TGC
front-endchamberchamber front-end
front-end
VMEbuscrate
Delay
TripletBigµwheel edge
Big
Big
wheel
wheel
edge
edge room
Counting
Counting
Counting roomroom
TGC chambers
TGC
TGC chambers
chambers
図 2.3 に上記のコンセプトを実現する現行システムにおけるトリガー・読み出し回路系のブ
VMEbus crate
BCID TGCTGC 1 TGC 2 TGC
TGC 311 TGCTGC 22 TGC
TGC 33(USA15)(USA15)(USA15)
3/4 hits
High-pT
PS-board
PS-board
ASD
ASD
ASD
ロック図を示す。信号の流れはトリガーパス(PS-board赤線)Readoutと読み出しパス (青線)に大別される。ミューオンがTriggerwire
Delay

Sector

Delay
Delay
Delay
Racks near VMEbus
big wheels
TGC に入射すると 1.4 節で述べたように、アナログの電流信号が発生する。アナログ信号は
Ampliﬁerlogic
crate VMEbus
VMEbuscrate
crate
ASD BCID
BCID

BCID
3/4BCID
hits

VMEbus crate VMEbus
VMEbus crate
crate

MUCTPI

3/4
3/4 hits
hits

High-pHigh-pT
High-pHigh-p
T TT
Doublets
Shaper-Discriminator (ASD) での増幅、整形、波高弁別を経てデジタル信号となり、後段の “PSboard”
PS-board in VMEbus
crate
VMEbus crate

Trigger
Trigger
Trigger
strip
wire
wire
Readout
Readout
Readout wire
Delay
Delay
BCID
BCID
Delay
logic
logicStar1/2logic
hits
VMEbuscrate MUCTPIMUCTPI
MUCTPI
Delay
EI/FI から PS board に至るケーブルの長さの違いに起因する、チャンネル毎のタイミングの差を
や ASD
ASD
High-pTBCID High-p
High-p
StarT
T
Doublets
Doublets
Doublets
Readout
switchBCID
Readout
2/3 hits strip
strip
strip
switchEI/FIdoublet単位で吸収し、信号の発生起源である陽子バンチ交差を同定する(BCID)。この後から信号はトリガーパ
ASD
ASD
ASD
ROD
Readout
Delay
VMEbus crate VMEbus
VMEbus crate
crateROB
Delay
Delay
Delay
スと読み出しパスに分かれる。
EI/FI
EI/FI
BCID
StarStarStarBCID
BCID
BCID
Readout
Readout
Readout
2/3 hits
2/3
2/3 hits
hitsswitch
トリガーパスは PS board から High-p
Sector Logic(SL) というパスを辿る。
PS
switchswitchT (HPT) ボード、
Triplet
µ
ROD
ROD
ROD
Readout
Readout
Delay
Delay
Delay
board によってまずワイヤー(R) とストリップ(ϕ)Readout、それぞれでステーション内コインシデンスが取ら
ROB
ROB
ROB
ROS
BCID
BCID
BCID
Delay
BCID

ASD
Sector
Sector
Sectorと呼ばれるボードへ送られる。詳細は2.2.2 節で述べるが、PS board ではミューオンの飛行時間の違い

EI/FI

れる。また M2, M3 の間のコインシデンスが取られ (dR23 , dϕ23 ) が計算される。その後 HPT によっµTripletµµTriplet
TripletRacksnear big wheels

ASD間のワイヤーとストリップ、それぞれのコインシデンスが取られ、(dR13 , dϕ13 ) が計算さて M1, M3
PS-board
in VMEbus crate
VMEbus crateれる。M3 におけるヒット位置及び (dR
13 , dϕ13 ) の情報を受け取った SL ボードによってワイヤー・ス

Racks near big
Racks
Racks
wheelsnear
near big
big wheels
wheelsEndcapMagnetDelayToroid1/2
hits より内側の検出器とのコインシデンスが取ASDトリップ間コインシデンス、及び
ASD
ASD
StarBCID

Readout
switch crateられる。SL はミューオンの入射位置、(dRcratedϕVMEbus
pT を概算する。入射位置とpT 情報はPS-board in VMEbus
PS-board
PS-board
in
VMEbuscrate
crate crate
13 , in13 ) を用いて
VMEbus
VMEbus
VMEbuscrate
EI/FI doublet

Delay
BCID
EI/FI doublet

Delay
1/2Delay
hits
BCID
BCID
Readout
EI/FI
EI/FI doublet
doublet1/2
1/2 hitshits
StarReadout
Readout
switchStarStarswitch
switch

VMEb

RO

第2章

22

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

TGC chamber front-end
TGC 1 TGC 2 TGC 3
ASD

Mounted on
TGC chambers
PS-board

Delay
BCID
Delay
BCID

Readout

ASD

ASD

Sectorlogic

Trigger
MUCTPI

2/3 hits

Starswitch

Readout

Readout
ROD

ROB

Triplet

Racks near big wheels
PS-board in VMEbus crate

Delay
BCID

1/2 hits
Readout

VMEbus crate

Starswitch

EI/FI doublet

図 2.3

現行 TGC システムにおけるトリガー (赤線)・読み出し (青線) 回路系のブロック図 [4]。
TGC 検出器からの信号は ASD によってデジタル信号に変換されてから、ATLAS 実験室内に設置さFigure 8.10: Schema of the trigger signal and readout chain of the L1 muon end-cap trigger. See
れている PS board によって BCID をなされた後、ワイヤー (R) とストリップ (ϕ)、それぞれでステー
text for details.
ション内コインシデンスが取られる。また M2, M3 間のコインシデンスも行われる。その後 HPT
ボードによって M1, M3 間のワイヤーとストリップ、それぞれのコインシデンスが取られたのち、
at this stage, and physical overlaps of TGC chambers are handled. In addition, detector control
ATLAS
回路室内に設置されている SL ボードによってワイヤー・ストリップ間コインシデンス、及system and other control and monitoring signals are routed to the other parts of the electronics
び Endcapより内側の検出器とのコインシデンスが取られる。
CTP
へは MUCTPI
mountedToroidon the Magnet
chambers.
The aligned signals are passed to the so-called slave
section,where
を通してミューオンのp
情報が渡される。
CTP
によるトリガー判定を待っている間、衝突データはT
the coincidence conditions
are applied and readout functions are performed. The PS-boards are
PS board
L1Aof信号が発行された場合にはSSW,
を通して後段へ読
placed においてバッファーされ、
on the accessible outer surfaces
the TGC wheels: the electronics
forRODthe twodoublets are
み出しが行われる。
mounted on the outside of the outer doublet wheel M3 and those for the triplets on the inner surface

2008 JINST 3 S08003µ

VMEbus crate

VMEbus cratecoincidence

Delay
BCID

High-pT
wire
High-pT
strip

Doublets

Delay
BCID

Counting room
(USA15)

VMEbus crate

3/4 hits

coincidence

EI/FI

Big wheel edgeof the triplet wheel M1. The EI/FI PS-boards are installed in racks located near the EI/FI chambers.
Signals from the doublet and triplet slave boards are combined to identify high-pT track candidates
in coincidence
boardsProcessor
combining allInterface
three trigger
planes (M1, に送られ、
M2, M3), so-calledboards,
MUon-to-Central
Trigger(MUCTPI)CTP high-p
ヘ pTT情報が渡される。
located in dedicated mini-racks around the outer rim of the triplet wheel. Wire (R-coordinate) and
CTP によって後段トリガーへ送られるべき事象であると判定された場合には Level-1 Accept (L1A) 信
strip (f -coordinate) information is still treated separately at this point. Signals from high-pT boards
号が発行される。
are sent to sector logic boards containing an R f coincidence unit and a track selector to selectthe highest-p
coincidences.
The SWitch
sector logic(SSW)
also receives
directly
the signals
from theEI/FI slave
読み出しパスはPS Tboard
から Star
ボード、
ReadOut
Driver(ROD)というパスをboards and can incorporate them into the trigger logic. The sector logic boards are located in the
辿る。PS board はトリガー判定を待っている間、バッファーに最大 128 バンチ分のデータを保持する。
USA15 counting room. The resulting trigger information for 72 separate trigger sectors per side is
L1A を PSsent
board
SSW ヘ送る。データ
to theが受け取った時には、そのバンチと前後のバンチによるデータを
MUCTPI.
は SSW, ROD によってまとめられ (event build と呼ぶ)、さらに後段の ReadOut System (ROS) へ送られる。

PS board が L1A を受け取った時には、正しくその L1A に対応するデータの読み出しを行わなくては– 235 –
ならない。このことを可能にするためにトリガーシステムは Fixed Latency scheme を採用している。つまり、バンチ交差が起こってから PS board に L1A が届くまでの時間 (L1 latency と呼ぶ) が、トリガー
ソースとなるサブシステムやイベント中の粒子数などに依存せず、固定の値になるようにデザインされて

2.2 TGC 検出器トリガーシステム

23

図 2.4

現行 TGC システムにおける TTC システムの概要。USA15 は ATLAS 回路室、UX15 はATLAS 実験室である。TTC 信号は TTC 専用モジュール及び TTC 専用線を用いて、PS board(PSB), HPT, SSW, SL まで伝播される。

いる。この機構により PS board は L1A を受け取った時には、L1 latency だけ前のデータを読み出すことで、正しく L1A に対応するデータの読み出しを行うことができる。

ASD, PS board, HPT, SSW は ATLAS 実験室内に設置されており、SL, ROD 以降は ATLAS 回路
室内に設置されている。ATLAS 実験室と ATLAS 回路室は 100 m 程度離れており、HPT から SL 及びSSW から ROD へは ATLAS 実験室と ATLAS 回路室間の限られた帯域幅を用いて、データ送信を行わなくてはならない。

TGC 検出器システムのトリガーパスについては、Fixed Latency scheme の実現のために LHC と同期して動作しなければならない。各検出器を LHC と同期させるために用意されたシステムを、Timing,

Trigger and Control (TTC) システムと呼び、そのために配布される信号を TTC 信号と呼ぶ。ATLAS
では CTP がすべてのサブシステムに TTC 信号を配布する。TTC 信号には 40.079 MHz の LHC バンチ
交差クロックや L1A 信号等が含まれている。図 2.4 に現行 TGC システムでの TTC システムの概要を示す。CTP はまず各サブシステムにおいて TTC 信号を司る Local Trigger Processor (LTP) モジュール
へ TTC 信号を分配する。その後、TTC 信号は TTCvi, TTCex、TTXrx と呼ばれる TTC 専用モジュー
ル及び TTC 専用線を用いて PS board, HPT, SSW, SL へ分配される。
現行 TGC システムのままでは高輝度 LHC-ATLAS 実験におけるトリガー・読み出し性能の要求を満たすことができない。限界は主に PS board 上に設置されているバッファーの大きさ、及び ATLAS 実験
室と ATLAS 回路室間の帯域幅から来ている。現行 PS board 上に設置されているバッファーは最大 128
バンチ分のデータしか保持できないため、高輝度 LHC-ATLAS 実験においてトリガー判定時間として用意されている 10 µs (400 バンチ) の間データを保持することができない。また 1 MHz の初段トリガー
レートに対応して読み出しを行うには、現行システムでの ATLAS 実験室と ATLAS 回路室間の帯域幅は不十分であり、さらに発展的なトリガーレスでの SL への 40 MHz でのデータ転送を行うには圧倒的に帯域幅が足りない。

第2章

24

2.2.2

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

高輝度 LHC-ATLAS 実験での TGC トリガーシステム

前節で述べた現行システムの限界を克服するため、高輝度 LHC-ATLAS 実験では TGC 検出器エレク
トロニクスシステムのデザインを大きく変更する。高輝度 LHC-ATLAS 実験に向けたアップグレードのコンセプトは、PS board で受け取った TGC 検出器からの信号をヒットの有無にかかわらず (コインシ
デンスを取ることなく) 全て SL へ転送する点にある。これは ATLAS 実験室と ATLAS 回路室間の帯域
M2,M3 Doublets (1/24)
62
62
64
64
64
64
64
64
60
60
64
64
64
64
64
64
64
64
64
64
64
64
64
64
212 212206 206
64 64
64 64
192 192
220 22064 6464 64
244
64

250
64

on-detector

off-detector
36 Rx
18 Tx

Endcap:
160 ASD boards
80 ASD boards

GbE SW-Hub

Forward:32 ASD boards
8 ASD boards

2 Rx
2 Tx

2 JATHubs

72
64
69
64

185
64

185
64

274 274
64 64
314
64

TILE

BIS78

6 Rx

2 Rx

2 Rx

11 PS boards

Endcap:84 ASD boards
32 ASD boards

GbE SW-Hub

Forward:
21 ASD boards
4 ASD boards

4 Tx

MUCTPI

22 Rx
11 Tx

4 Tx

FELIX

1 Rx
1 Tx

Ethernet

TDAQ
serverEthernet

DCS

1 JATHub

4 Rx
1 Tx

EIL4 Triplet (1/24)
Total: 192 channels

MDT
Trigger
Processor

1 PS board

Total:2090 channels
96
96

6 or 8 Rx
6 or 8 Tx

Endcap
Sector Logic 1 Rx

Total:4318 channels

M1 Triplet (1/24)
72
64
69
64

NSW

18 PS boards

6 ASD boards
6 ASD boards

GbE SW-Hub

1 Rx
1 Tx

IPMI

ATCA Self
Manager
OpBcal ﬁber
Copper cable

1 JATHub

図 2.5

高輝度 LHC-ATLAS 実験における TGC 検出器システムの概要 [7]。この図では Endcap 片側の 1/24 分の領域を示している。TGC 検出器からの信号は ASD によってデジタル信号に変換されてから、ATLAS 実験室内に設置されている PS board によって BCID が行われた後、信号の有無に関わらずすべて SL に転送される。SL 1 枚は Endcap 片側の 1/24 分の領域を担当し、TGC BW,

TGC EI, NSW, RPC BIS78, Tile カロリメータの情報を用いてパターンマッチングによりミューオンの pT の概算を行う。その後 SL は MDT Trigger Processor へミューオン飛跡の情報を送ることで、より良い pT 分解能を得る。CTP へは MUCTPI を通してミューオンの入射位置や pT 情報が渡される。CTP によるトリガー判定を待っている間、衝突データは SL においてバッファーされ、
L0A が発行された場合には FELIX を通して後段への読み出しが行われる。TTC 信号は CTP から
FELIX を通して各 SL に分配され、PS board へのコントロール信号に乗せられ各 PS board に分配される。JATHub はデータパスとは独立しており、PS board 上の FPGA のコンフィギュレーショ
ン、回復不可能な SEU エラーへの対処、及び PS board 上の LHC バンチ交差クロックの位相のモニター等を行う。

2.2 TGC 検出器トリガーシステム

25

幅の大幅な拡張によって可能となったものであり、Run 1 に向けた現行 TGC エレクトロニクスの設計時には技術的に不可能であったことである。この変更により、CTP が L0A を発行するまで衝突データを保持しておく L0 バッファーは PS board 上ではなく、SL 上に設置されることとなる。また SL は TGC

BW 7 層すべてのヒット情報を用いてトリガー判定を行うことができるようになるため、より柔軟かつ包括的なトリガーアルゴリズムを導入することが可能となる。例として現行システムではトリガーの各ス
テップにおいて、出力することができるミューオン候補の数の上限がハードウェアの設計によって固定されてしまっているが、高輝度 LHC-ATLAS 実験ではすべてのヒット情報を SL に送るため、情報が削減されることなく、より包括的に飛跡再構成を行うことができる。具体的には現行システムの PS board のM1 ワイヤー (ストリップ) に対するトリガーロジックでは 1 枚の PS board から最大 3 つ (4 つ) の M1のヒット点しか、M2, M3 に対するに対するトリガーロジックでは 1 枚の PS board から最大 2 つの M3のヒット点しか出力できない。さらに、1 枚の HPT からは最大 2 つのミューオン候補しか出力することができないといった制限があるが、これらのハードウェアの設計に起因する現行システムの制限は高輝度

LHC-ATLAS 実験における TGC 検出器システムにおいては存在しない。
図 2.5 に高輝度 LHC-ATLAS 実験での TGC 検出器のエレクトロニクスシステムの概要 (Endcap 片側の 1/24 分の領域) を示す。TGC BW における ASD は現行システムのものをそのまま用いる。一方

Primary ProceSsor board (PS board)、JTAG AssisTance Hub (JATHub), Endcap Sector Logic(SL), 及び EI の ASD はすべて新しく設置されるエレクトロニクスである。以下ではそれぞれのエレク
トロニクスとその役割について説明していく。

Ampliﬁer-Shaper-Discriminator (ASD) ボード
ATLAS Thin Gap Chamber
Production Readiness Review Report
TGC 検出器によるワイヤーとストリップの電流信号はまず
TGC のチャンバーに直接取り付けられてAmplififer-Shaper-Discriminator ICs
9 November 1999

2i
SW
A

B

C f = 1 pF
Rf = 16 kΩ
INV

NON-INV

offsetsetting
Cf
Rf

G 7

Cb

SW-position

C b

NON-INV > INV

B

discharged by i

NON-INV < INVAcharged-up by ipreamplifier

図 2.6

comparator

Vthi

Figure 4-1 Block diagram of theASDchip. チップの回路ブロック図(a) ASD ボードの写真(b)ASD(a) ASD Ϙʔυͷࣸਅ(b) ASD νοϓͷճ࿏ϒϩοΫਤThe second stage consists of a main-amplifier with a baseline restorer and differential outputs.
ASD の概要 [10]。図 2.6(a) は ASD
ボードの写真。ASD ボード 1 枚あたり 4 枚の ASD

The main-amplifier section has a gain of 7. Depending on the output differential signal levelseen16by チャンネル分の検出器信号を処理する。図
the switch control section, the switch is connected to the “A”
side orは
the “B” side (see
チップが載っており、
1 枚の
ボードでは
ਤ
4.4 ASD ͷ֓ཁ [20]ɻਤASD
4.4(a)
͸ ASDϘʔυͷࣸਅɻϘʔυ
1 ຕ͋ͨΓ 4 ຕͷ ASD2.6(b)νοϓ͕౥ࡌ͞
Figure 4-1). When the switch is connected to the A side, the capacitor Cb will be charged from
ASD チップの回路ブロック図。
ASD チップの回路は電流信号を電圧信号に変換する
Preampliﬁer,
the current sourceASD
by the amountof “i”. When the switch is connectedto the B side, the capaciΕ͍ͯΔɻਤ
4.4(b) ͸ ASD νοϓͷճ࿏ϒϩοΫਤɻνοϓͷճ࿏͸ిྲྀ৴߸Λిѹ৴߸ʹม‫͢׵‬Δ
tor will be discharged by the amount “i”, resulting in stabilized DC output levels, or a baseline

電圧信号を増幅する
Main-Ampliﬁermain-amplifier、そして電圧信号を閾値電圧と比較してpreamplifierɺిѹ৴߸Λ૿෯ͤ͞Δ
LVDS‫ʹ֨ن‬ม‫͢׵‬ΔίϯύϨʔλͷ
restoration. ɺͦͯ͠ిѹ৴߸ΛIn other words, the circuit makes
theLVDS
baseline 規格のデジタル
level of the differential outputs fromthemain-amplifiertobeequal.
信号に変換するコンパレータの3
段階に大きく分けられる。
3 ஈ֊ʹେ͖͘෼͚ΒΕΔɻ

ASIC
ASIC

Following the main-amplifier is an offset setting circuit which transforms the main-amplifier
outputs to the levels required at the inputs to the comparator, where offset voltage is controlled
by DC voltage (Vth) supplied from outside of the chip. The comparator is shown in Figure 4-3.
Its outputs conform to the Low Voltage Differential Signalling standard, LVDS [7], to assureʹೖͬͯ͘ΔɻՃ͑ͯɺ
ͷ৴߸ͱ driveability
ͷ and immunityΫϩοΫͱͷؒʹ͸Ґ૬͕ࠩ͋Δɻ͢ͳΘͪɺagainst noise and minimizing power. By design, this circuit can beused for both wire and strip signals by setting an appropriate threshold level. Table 4-2 is aͰ͸ͷ֤νϟϯωϧ͔Βདྷͨ৴߸ͷλΠϛϯάௐઅΛߦ͍ɺνϟϯωϧ୯ҐͰಉ͡όϯνަ͔ࠩΒ
summary of this chip’s characteristics.

ASD

LHC

40 MHz

TGC

PP

32

དྷͨ͢΂ͯͷ৴߸Λ LHC ͷΫϩοΫͱಉҐ૬ʹͳΔΑ͏ʹ߹ΘͤΔɻ͜ͷ‫ػ‬ೳΛόϯνަࠩࣝผ (bunch crossing
4.2.2 Simulation

identification, BCID) ͱ‫Ϳݺ‬ɻλΠϛϯάௐઅ͸ ASD Ϙʔυ୯Ґ (16 νϟϯωϧ୯Ґ) Ͱߦ͑ΔΑ͏ʹͳͬͯ

第2章

26

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

いる Ampliﬁer-Shaper-Discriminator (ASD) ボードにて電圧信号に変換された後に増幅され、最終的には LVDS 規格の差動信号として PS board へ出力される。図 2.6 に ASD の概要を示す。1 枚の ASD
ボードには 4 枚の ASD チップが載っており、各 ASD チップが 4 チャンネルを担当するため、1 枚の ASD
ボードでは 16 チャンネル分の検出器信号を処理する。ASD チップの回路は前段増幅機 (Preampliﬁer)、
メインの差動増幅回路 (Main-Ampliﬁer)、コンパレータの 3 段階に大きく分けられる。Preampliﬁer では 0.8 V/pC のゲインで電流信号を電圧信号に変換する。その電圧信号は Main-Ampliﬁer にて 7 倍に増幅され、コンパレータにて PS board から供給される閾値電圧と比較されることによって LVDS 規格の差動信号として出力される。TGC の全 32 万チャンネルを処理するため、システム全体では ASD ボード
はおおよそ 2 万 3000 枚設置される。

Primary Processor board (PS board)
ASD ボードによって LVDS 規格として出力された検出器信号は次に TGC 検出器上に設置されている、
PS board に入る。PS board には、Patch-Panel ASIC (PP ASIC) と Xilinx 社製の Kintex-7 FPGA1

from/to
Sector Logic blade

Low Voltage
Mother board
ASD Vth

8-ch
DAC

16-ch
ADC

Twisted-pair
TTC signals

SFP+  2
Data (16 Gbps )TTC signals, Control

8-ch
DAC

Xilinx
Kintex-7
FPGA

MonitorControl
Data bus

from/tofrom/to
SPP board JATHub board
RJ45

JTAG for configuration
SPI bus for SEM functionality

TTC & I2C/SPI bus

from/to Mezzanine

from/to Mezzanine

from/to Mezzanine

from/to Mezzanine

PP
ASIC

PP
ASIC

PP
ASIC

PP
ASIC

ASD 32ch Test Pulse ASD 32ch Test Pulse ASD 32ch Test Pulse ASD 32ch Test Pulse
Vth Data
Vth Data
Vth Data
Vth Data
from/to ASD
from/to ASD
from/to ASD
from/to ASD

Mezzanine cardfrom/to Motherfrom/to Motherfrom/to Motherfrom/to Mother

PP
ASIC

PP
ASIC

PP
ASIC

PP
ASIC

ASD 32ch Test Pulse ASD 32ch Test Pulse ASD 32ch Test Pulse ASD 32ch Test Pulse
Vth Data
Vth Data
Vth Data
Vth Data
from/to ASD
from/to ASD
from/to ASD
from/to ASD(a) PS board 最終試作機の写真

図 2.7(b) PS board のブロック図

PS board の概要。1 枚の PS board には 8 個の PP ASIC (メインボードに 4 個、メザニン

ボードに 4 個) が搭載されており、PS board FPGA は 256 チャンネル分の信号を扱う。PP ASIC に
おいて BCID がなされた後に、すべての信号をヒットの有無に関わらず高速光通信を用いて SL に転送する。ASD に閾値電圧を供給する DAC、及び閾値電圧をモニターする ADC は PS board FPGAによって制御される。

1 Field Programmable Gate Array の略。ユーザーがファームウェアを編集することで、自由に内部のデジタル回路を編集できる集積回路である。

2.2 TGC 検出器トリガーシステム

27という 2 種類の集積回路が搭載されており、ASD から送られてきた TGC 検出器からの信号に対してBCID を行なった後、すべての信号をヒットの有無に関わらず SL へ高速光通信を用いて転送する。図2.7 に PS board 最終試作機の写真とブロック図を示す。1 枚の PS board には 8 個の PP ASIC (メイン
ボードに 4 個、メザニンボードに 4 個) が搭載されている。以下では PP ASIC、PS board FPGA の役
割を紹介し、PS board に必要となる機能を整理する。

Patch-Panel ASIC (PP ASIC)
ASD ボードからの信号はまず PP ASIC に入る。PP ASIC のブロック図を図 2.8 に示す。1 つの PP
ASIC は 2 つの ASD ボードと接続され、合計 32 チャンネルの LVDS 信号を受ける。PP ASIC においてはトリガーとして最も重要な役割の一つである BCID が行われる。つまり TGC からの信号がどの陽TGC Patch-Panel ASIC Design Reportfor Production Readiness Review
子バンチ識別回路が搭載されている。

子バンチ交差に由来するのかを判定する必要があり、これを行うために PP ASIC には可変遅延回路と陽M. Miyahara, O. Sasaki, H. Asada, Y. TGC
Horii, M.
Ikeno,
衝突点で生じたミューオンが通過することによる生じるからの信号は、衝突点からのミューオ
H. Inaguma, S. Ito, M. Tomoto, T. Yamada, et al.

ンの飛行時間の違い (45 ∼ 64 ns) や、ASD(TGC
からElectronics
PP ASIC
までのケーブル長の違い (1.8 ∼ 12.5 m) によGroup)
16 Sep. 2019 (revised on 14 May 2021)

り、各 PP ASIC に入ってくるタイミングが最大 26 ns 異なる。この時間のばらつきを調整し、最も信号
1. Overview
Channel B
Channel A

CMOS input for debug

BCID

48 Step Variable Delay

MASK

BCID

Each one

MASK

Test Pulse
Driver

48 Step Variable Delay(BCID Gate)

32 Step Variable Delay(PLL)

Bypass control

CP &Filter

Mask control

48 Step Variable Delay(BCID Delay)
Delay contr ol

PFD

BCID
Delay

48 Step Variable Delay(TPG Fine Delay)

Icp
cont.

1/2

MASK

Each

REF CLK(40MHz)48 Step Variable Delay

Gate

CoarseDelay
Inverting control

TPG
Trigger

BypassSharedby 16chBypassBypassDelay cell bias

48 Step Variable Delay

Output signal to FPGA (1.8V CMOS)LVDS input

Each one

Input signal from ASD board (16ch)

48 Step Variable Delay

図 2.8

Figure 1(SPI Mode
Select)

CKE

CKP

SSB

MISO

SCK

MOSI

Lock
detectSPI

Block diagram of the Patch-Panel ASIC.

PP ASIC の回路ブロック図。Channel A と Channel B はそれぞれ 1 つの ASD ボードに対応し、1 つの PP ASIC は 32 チャンネルの LVDS 信号を受け取る。PP ASIC には可変遅延回路、Patch-Panel ASIC is a full custom CMOS IC to be implemented on PS board in the PS
陽子バンチ識別回路が搭載されており、このつの回路を用いてBCIDを行う。またチャンネル毎にpack of the TGC system. Figure 1 shows a2block
diagram. It receives
discriminatoroutput signals
from two 16-channel ASD boards by LVDS receivers and performs bunch-crossing identification
マスクがかけられるような機能も搭載されている。
(BCID). The signals from the ASD board are transmitted with the LVDS level via twisted-paircables. Prior to the BCID, variable delay is introduced to each signal from ASD boards in order toadjust the delay difference from time of flight and cable length and also to adjust the phasedifference between LHC 40 MHz clock and signals from ASD boards. The BCID circuit contains

1000

0˚

800

500
400

5˚

400
300

300

400

200

200

200

100

100

600
500

15˚

400
300
200
100
0

0

140
160
Arrival time (ns)

120

140
160
Arrival time (ns)

120

700
600
500
400
300
200
100
0

0

140
160
Arrival time (ns)
Hits

120

Hits

Hits

500

600

0

図 2.9

Hits

Hits

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード
Hits

第2章

28

30˚

120

140
160
Arrival time (ns)

700
600
500
400
300
200
100
0

10˚

120

140
160
Arrival time (ns)

45˚

120

140
160
Arrival time (ns)ミューオンが TGC に入射してから、検出器から信号が出力されるまでの時間分布 [8]。時間分布はミューオンが入射する角度に依存して、20 ∼ 30 ns 程度の幅を持つ。

の到着時間が遅いチャンネルにすべてのチャンネルの信号のタイミングを合わせるのが可変遅延回路である。可変遅延回路では 1 ns 以下の刻み幅で、信号に対して最大 45 ns の遅延をかけることが可能である。

PP ASIC では ASD ボード単位で異なる遅延パラメータを設定することができる。
一方、単一チャンネルの中でも衝突からの信号の到着時間は有限の分布を持つ。主にミューオンの検出器への入射位置の違い2 による、イベント毎の検出器中の電子のドリフト時間の違いや ASD までの信号の伝搬時間の違いに起因して、PP ASIC への信号の到着時間分布は 20 ∼ 30 ns 程度の幅を持つ。この時間分布の幅の違いは、η の違いによるチャンネル毎のミューオンの入射角度の違いに起因するものである(図 2.9 参照)。上記の可変遅延回路では、この到着時間分布の立ち上がりが、最も信号の到着時間が遅い
チャンネルの到着時間分布の立ち上がりに一致するように ASD ボード単位で遅延をかける。
可変遅延回路によりタイミングが揃えられた信号は、次に陽子バンチ識別回路に入る。陽子バンチ識別回路で信号は 40.079 MHz の LHC バンチ交差クロックに同期され、どの陽子バンチ交差由来の信号であるのかが同定される。陽子バンチ識別回路は検出器からの信号の立ち上がりを検出する。図 2.9 で示したように信号には到着時間分布の幅があるが、その時間分布幅に入る信号には同じ BCID を付与しなくてはならない。同じ BCID を付与する時間幅を有効ゲート幅と呼び、陽子バンチ識別回路では対象チャンネルの信号の到着時間分布幅が 25 ns を超える場合に対応するため、有効ゲート幅は 25 ns を超えて設定することができる。25 ns を超える到着時間分布幅を持つのは主にストリップによる信号である。有効ゲート幅が 25 ns を超えるチャンネルにおいて、2 つの有効ゲートが重なる時間に信号が入ってきた場合には、陽子バンチ識別回路は LHC バンチ交差クロックに同期した 2 バンチ分 (50 ns) の信号を出力し、それ以外のタイミングの信号に対しては 1 バンチ分 (25 ns) の信号を出力する (図 2.10 参照)。2 バンチ分の信号が出力されたとしても、7 層コインシデンスをする中で正しい BCID を選択することができるため
2 具体的にはワイヤーから最近接一次電子発生点の距離の違い

2.2 TGC
検出器トリガーシステム
で除去される。

29
Overlap region

Signal timing
distribution

BCID CLK
25nsecBCID CLK(after delay)
Effectivegate width

INPUT1OUTPUT1

INPUT2OUTPUT2

図 2.10

陽子バンチ識別回路のタイミングチャート [12]。INPUT1 は、有効ゲートが重ならないタ
図 5.1.10: BCID 回路のタイミングチャート
イミングで陽子バンチ識別回路に入力した信号を示し、
OUTPUT1 は、INPUT １に対応する陽子バ
ンチ識別回路の出力信号を示す。INPUT2 は、有効ゲートが重なるタイミングで陽子バンチ識別回路に入力した信号を示し、OUTPUT2 は、INPUT2 に対応する陽子バンチ識別回路の出力信号を示す。
5.1.2.4 テスト パルス回路

Patch Panel ASIC が、TTC から、テストパルストリガーを受け取ると、テストパルス回路は、幅 3µ sの差動式の方形波を出力する。この差動信号は、
ASD ボードに送られ、第 7 章で詳しく説明するタイミ問題は生じない。
ング調整に使われる。差動信号の振幅は、16 段階で段階的に変更可能な可変振幅で、JTAG プロトコル
有効ゲート幅は到着時間分布幅を覆うように広げなければならないが、有効ゲート幅を広げすぎてしま
によって制御出来る。また、TTC から来るテストパルストリガーを、40.08MHz のクロックの上りエッ
うと異なるバンチによる信号を無駄に拾ってしまうだけではなく、陽子バンチ交差のタイミングとは外れ
ジと下りエッジのど ちらで取り込むかも JTAG プロトコルで選択可能である。さらに、テストパルスト
リガーを受信してから、テストパルスを出力するまでの時間を 1 クロック単位の精度で、0〜8 クロックた低エネルギーの中性子や光子に起因する信号が混入してしまう。加えてトリガーのバンチ識別能力の低の幅で制御出来る粗い可変遅延回路 (coarse delay) と、1nsec 以下の精度で制御可能な PLL 回路と全く同下にもつながる。このため、有効ゲート幅は必要最小限の幅に狭めておくことが必要となる。
じレ イアウトの 32 段のデ ィレ イセル (図5.1.6参照) で構成された可変遅延回路 (fine delay) の 2 つで調整
上記で説明した可変遅延回路と陽子バンチ識別回路は、
PS board における LHC バンチ交差クロックすることが出来る。図5.1.11に遅延回路を除いたテストパルス回路の回路図を示す。この図では、5 つの電流源だけが描かれているが 、実際には 15 の電流源が実装されている。

によって駆動される。すべてのチャンネルにおける信号のタイミングをできるだけ揃え、陽子バンチ識別回路における有効ゲートを必要最小限の幅に抑えるためには、すべての PS board における LHC バンチ
5.1.2.5

JTAG プロト コル

交差クロックの位相が十分な精度で一致している必要がある。PS board への LHC バンチ交差クロック

Patch Panel ASIC のほとんどの制御は、JTAG プロトコルによって行なわれる。表5.1.1に示すように、
インストラクションレジスタは 8 ビットからなり、BSC(Boundary Scan Register) は、実装されていない。
第 4 章で議論する。
Patch Panel ASIC は、2 つの ASD ボード (ポート A 、ポート B) を処理するので、それぞれのポートに対して、独立にパラメータを設定出来るようになっている。
また PP
ASIC には回路系の試験のために ASD に擬似的な検出器信号 (ASD テストパルス) を供給すインストラクションレジスタとデータレジスタには、中性子などの放射線粒子の通過によって、レジることができるテストパルス回路や、ノイズの多いチャンネルの入力を遮断することができるマスク機能
スタの値が反転するという SEU(Single Event Upset) 現象を対処するために、図5.1.12に示すような多数
決論理回路を導入した。この回路は、Patch Panel ASIC に限らず、TGC エレクトロニクスの中で放射線が搭載されている。

分配、及びクロックの位相測定と位相制御は本研究の主な内容の一つであり、詳細はそれぞれ第 3 章及び

46

第2章

30

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

PS board FPGAPP ASIC において BCID され、LHC バンチ交差クロックに同期した信号は次に PS board 上のKintex-7 FPGA3 に入る。PS board には 8 個の PP ASIC が搭載されているため、PS board FPGA は
256 チャンネル分の信号を扱う。PS board は 2 万 3000 枚の ASD からの信号を扱うためにシステム全
体で 1,434 枚設置される。PS board FPGA はすべての信号をヒットの有無に関わらず (コインシデンスを取ることなく) すべて SL へ転送する。データ転送は Xilinx 社製の FPGA に搭載されている高速シリ
アル通信対応のトランシーバーの 1 種である 7 シリーズ GTX トランシーバーを用いて行われる。転送レートの要求は 256 チャンネル分のヒット信号とヘッダー (64 bit) を、40 MHz で、8B/10B プロトコルの元で送るので 16 Gbps となる (式 (2.1) 参照)。PS board ではこの転送レートを、それぞれ 8 Gbps で動く 2 本の光ファイバーを用いることで実現する。

{256 bit (hit signal) + 64 bit (header, control signal read back)}
×40 MHz × 10/8 (8B/10B encoding) = 16 Gbps

(2.1)

また PS board FPGA は SL からのコントロール信号を 1 本の光ファイバー経由で受け取る。結果として PS board には合計で 3 本の光ファイバーが接続される (2 本は送信用、1 本は受信用)。コントロー
ル信号にはレジスタ制御用の信号等が含まれるが、TTC 信号もこのコントロール信号に乗せられて PS

board に分配される。詳細は 3.3 節で述べるが、PS board においてはこのシリアルデータから LHC バ
ンチ交差クロックを再構成する必要がある。高輝度 LHC-ATLAS 実験における TGC 検出器システムでは、コントロール信号に乗せて TTC 信号を分配するため、TTC 専用モジュールや TTC 専用線を用いる必要が無くなり、エレクトロニクスシステムの大幅な単純化が実現される。PS board において再構成された LHC バンチ交差クロックは適切な遅延をかけられてから、FPGA 外のジッタークリーナー4 を通り、FPGA や GTX トランシーバー、PP ASIC に供給される。

ASD に閾値電圧を供給する Digital to Analog Convertor (DAC)、及び閾値電圧をモニターする
Analog to Digital Convertor (ADC) も PS board FPGA によって制御される。
FPGA 上にデジタル回路を構成するためには、FPGA の Static Random Access Memory (SRAM)
を適切にプログラムする (このことを FPGA のコンフィギュレーションと呼ぶ) 必要がある。SRAM は
揮発性のメモリであり、FPGA の電源を入れ直したり、異なるデジタル回路を構成したりする時には毎回

SRAM をプログラムし直す必要がある。PS board においては FPGA のデジタル回路を記述したファー
ムウェアを、PS board 上の不揮発性メモリである QSPI フラッシュメモリに保存する。FPGA は電源を入れられた時や、再コンフィギュレーションを指示された時には、QSPI フラッシュメモリ内のファーム
ウェアを自動的に読み込みデジタル回路を構成する。この時に FPGA 内のレジスタの値や SL との通信
上下線は初期状態に戻る。しかし、それぞれの PS board には LHC バンチ交差クロックに対する遅延パ
ラメータ等の、ボード毎に異なるパラメータが多数存在する。またクロックの再構成や通信上下線の再確
立等もボード毎に行う必要がある。この点について、本研究ではエレクトロニクスの制御として必要となるすべての手続きを自動で、かつ高速に行う自律型制御機構の開発に取り組んでおり、詳細を第 5 章で議3 型番 : XC7K325T-2FFG900C
4 安定した電圧制御発振器を用いてクロック信号からノイズの除去を行う素子

2.2 TGC 検出器トリガーシステム

31

PS-pack

Mini-Rack

図 2.11

PS board と JATHub の設置予定位置。PS board は TGC 検出器上に設置されている
PS-pack の中に、JATHub は TGC 検出器の端に設置されている Mini-Rack 内の VME クレートに置かれる予定である。1/12 セクターにつき、4 つの PS-pack (M1 からの信号を扱う PS board 用が2 つと、M2, M3 からの信号を扱う PS board 用が 2 つ) と 1 つの Mini-Rack が設置されている。

論する。

PS board は検出器上の PS-pack 内に収められる (図 2.11 参照)。TGC は ATLAS 検出器の最外層に設置されている上、PS-pack はビーム軸からは離れて設置されているため、PS board が受ける放射線
損傷はそれほど大きくない5 。しかし FPGA や素子が受ける放射線損傷の中にはデータ収集上、致命的なエラーを引き起こすものがある。放射線損傷には半永久的損傷を起こしうる、電離作用による Total

Ionizing Dose Eﬀect (TID) や、Non Ionizing Energy Loss (NIEL) による弾き出し損傷効果、及びソ
フトエラーである、メモリのビットが反転してしまう Single Event Upset (SEU) の 3 種類が考えられる。PS board 上の素子は、TID と NIEL に対しては高輝度 LHC-ATLAS 実験における放射線環境に耐える素子の選定及び試験を行っている。一方、SEU には修復可能なものと修復不可能なものが存在する。

FPGA の SRAM に SEU が生じた場合、FPGA が設計通りに動かなくなる (具体的には SL とのリンクが切れてしまうこと等) 可能性があるため、FPGA における SEU の対処を行う必要がある。PS board

FPGA には修復可能な SEU (1 ビットエラーおよび隣接する 2 ビットエラー) を自動的に修復する Soft
Error Mitigation Controller (SEM) が実装される。また修復不可能な SEU (隣接しない 2 ビットエラー
及び 3 ビット以上のエラー) に対しては FPGA の再コンフィギュレーションを行う必要があり、自動的
な再コンフィギュレーションを実現する機能を有する、次に述べる JATHub が新設される。
5 積分ルミノシティー 4000 fb−1 で TID は 6 Gy、NIEL は 1 MeV neutron equivalent ﬂux に換算して 1.5 × 1011 n/cm2が予想されている [7]

第2章

32

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード

JTAG Assistace Hub (JATHub)
JATHub はデータパスとは独立した、PS board 用の制御回路である。概要を図 2.12 に示す。PSboard FPGA に修復不可能な SEU が発生した場合に救難要請の信号を PS board から受け取り、再コン
フィギュレーション信号を PS board に送る役割を果たす他、PS board 上の LHC バンチ交差クロックの位相の測定や、PS board QSPI フラッシュメモリへのファームウェアの書き込み、PS board FPGAのデバッグを行う。JATHub は CPU と FPGA を統合した System-on-a-Chip (SoC) デバイスである

Xilinx 社製の Zynq-70006 を搭載しており、SFP+7 経由で ATLAS 回路室とのイーサネット通信を行う。
また図 2.11 に示すように、JATHub は TGC 検出器の端に設置されている Mini-Rack 内の VME クレートに設置されるため、VME マスターからの VME 通信が可能になっている。

JATHub 1 枚は最大 11 枚の PS board と、RJ45 multi-jack に接続したそれぞれ 2 本の Cat 6 ケーブ
ルによって接続される。1 本の Cat 6 ケーブルは PS board QSPI フラッシュメモリへのファームウェ
アの書き込みや PS board FPGA のデバッグを行う JTAG パスである。もう 1 本は PS board FPGAに修復不可能な SEU が発生した場合に再コンフィギュレーション信号を PS board に送るパスや、PS

VME J1 connector

VME J3 connector
Zynq-7000

QSPI flash

JTAG 
RJ45 multi-jack

SD card×2

SFP+

LEMO

JATHub

図 2.1211 PS boards

Recovery / Monitor


JATHub の概要。JATHub には CPU と FPGA を統合した SoC デバイスである Zynq7000 が搭載されている。JATHub は PS board 用の制御回路であり、PS board の再コンフィギュ
レーション信号を送る他、PS board 上の LHC バンチ交差クロックの位相の測定や、PS board FPGAのデバッグを RJ45 multi-jack に接続した Cat 6 ケーブル経由で行う。JATHub における修復不可
能な SEU に対応するために、隣接する JATHub とも Cat 6 ケーブルで接続される。また冗長性を持たせたブートのために、QSPI フラッシュメモリ及び 2 枚の SD カードにブートファイルを納めておく。JATHub は TGC 検出器の端に設置されている Mini-Rack 内の VME クレートに設置されるた
め、VME マスターからの VME 通信が可能になっている。ATLAS 回路室とのイーサネット通信を行うための SFP+ も搭載されている。

6 型番 : XC7Z045-2FFG900I
7 電気信号と光信号を相互に変換する光モジュールの一種

2.2 TGC 検出器トリガーシステム

33

board の GTX トランシーバーへリセット信号を送るパス、PS board 上の LHC バンチ交差クロックを
JATHub へ送るパスとして使われるため Recovery / Monitor パスと呼ばれる。
JATHub も ATLAS 実験室内に設置されるため、放射線損傷に対する対策が必要となる。PS board と同様に、TID と NIEL に対しては高輝度 LHC-ATLAS 実験における放射線環境に耐える素子の選定及び試験を行っており、FPGA 内の修復可能な SEU に対しては SEM で対処する。一方、修復不可能な SEUに対しては、隣の JATHub に救難要請の信号を送り、隣の JATHub から再コンフィギュレーション信号を受信することによって回復する。
これまで説明してきた ASD、PS board、JATHub は ATLAS 実験室内に設置されるため、フロントエ
ンドエレクトロニクスと呼ばれる。一方、これから説明する SL は ATLAS 回路室内に設置されるため、バックエンドエレクトロニクスと呼ばれる。

第2章

34

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード(a) SL 第一試作機の写真(b) Zynq MPSoC が SL 上にマウントされている様子

SL の概要。SL は ATCA 規格のボードである。SL 1 枚は Endcap 片側の 1/24 の領域を担当し、TGC, NSW, RPC BIS78, Tile カロリメータからの情報を用いて飛跡再構成、pT の計算を行う。SL には制御用に Zynq MPSoC メザニンが、ATCA shelf manager とのやり取りやボードのモニター用に CERN IPMC がマウントされる。

図 2.13

Sector Logic (SL)SL は PS board からくる TGC のヒット情報と、磁場領域よりも内側の検出器である NSW, RPC
BIS78, Tile カロリメータから受信した情報を用いる飛跡再構成、pT の概算、及び飛跡情報の読み出しを行う役割を担っている。SL 1 枚は Endcap 片側の 1/24 の領域からの信号をすべて受け取るため、システム全体で SL は 48 枚設置される。SL の概要を図 2.13 に示す。SL 1 枚は、TGC からは 31 枚の PS2.2 TGC 検出器トリガーシステム

35

EndcapTGC-BW

Wire

wire

Pattern
Matching

strip

TGC-EI

Wire - Strip
coincidence

Strip

Pattern
Matching

4

BW-Inner

EI HitProcessor

Coincidence

Tile カロリーメータ

Track

Selector

Decoder

RPC BIS78
NSW

2Forward
TGC-BW

wire
strip

NSW

Wire
Pattern

Matching
Strip

Wire - Strip
coincidence

Pattern
Matching

4

BW-Inner
Coincidence

Track
Selector

Decoder

におけるトリガーロジックの概要 [13]。1 枚の. SL
はエンドキャップ領域のトリガーセ
図図7.12.14: SL SLに実装するトリガー用ファームウェアの概要
1 つのSL はエンドキャップ領域のト
クターリガーセクター
2 つ、フォワード領域のトリガーセクター
1 つの計 3 つのトリガーセクターから
TGC
BW
2 つ (上), フォワード領域のトリガーセクター
1 つ (下) の計
3 つのトのヒット情報を受け取る。
TGC
BW
から受信した全7
層のヒットデータを用いて、ワイヤー、ストリガーセクターから TGC のヒット情報や磁場内部の検出器の情報を受け取り, トリガー
リップでそれぞれ独立にパターンマッチングによって飛跡再構成が行われ、飛跡の位置 (η, ϕ) と角度判定を行う. エンドキャップ領域では, TGC EI, Tile カロリメータ, RPC BIS78, NSW
情報 (∆θ, ∆ϕ) が計算される。飛跡の位置・角度情報はその後、ワイヤー・ストリップコインシデンからヒット情報を受け取り, TGC BW とのコインシデンスをとる. フォワード領域では,スに送られ、飛跡の角度情報 (∆θ, ∆ϕ) を用いた Coincidence Window によって飛跡の pT が概算さ
NSW からのみヒット情報を受け取り, TGC BW とのコインシデンスをとる.
れる。パターンマッチングとワイヤー・ストリップコインシデンスで得られた飛跡の情報は、磁場領域より内側の検出器で測定した精密な位置・角度情報と組み合わされることによって、より詳細な pTの計算が行われる

board (29 枚は BW、2 枚は EI) を経て約 6,500 チャンネル分の信号を受け取る。
SL におけるトリガーロジックの概要を図 2.14 に示す。TGC BW から受信した全 7 層のヒットデー
タを用いて、ワイヤー、ストリップでそれぞれ独立にパターンマッチングによって飛跡再構成が行われ、飛跡の位置 (η, ϕ) と角度情報 (∆θ, ∆ϕ) が計算される (図 2.15 参照)。パターンマッチングアルゴリズム
では TGC BW のヒット情報と飛跡情報を対応させたパターンリスト (Look-Up-Table と呼ばれる) を予め作成することで、複雑な計算を必要とせずに高速な飛跡再構成を行うことができる。飛跡の位置・角度情報はその後、ワイヤー・ストリップコインシデンスに送られ、飛跡の角度情報 (∆θ, ∆ϕ) を用いた

Coincidence Window によって飛跡の pT が概算される (図 2.16 参照)。パターンマッチングとワイヤー・
ストリップコインシデンスで得られた飛跡の情報は、磁場領域より内側の検出器で測定した精密な位置・ୈ 4 ষ ߴً౓ LHC ͷͨΊͷॳஈΤϯυΩϟοϓ෦ϛϡʔΦϯτϦΨʔͷ֓ཁ
ୈ 4 ষ ߴً౓ LHC ͷͨΊͷॳஈΤϯυΩϟοϓ෦ϛϡʔΦϯτϦΨʔͷ֓ཁ

第2章

36

高輝度 LHC-ATLAS 実験に向けた TGC 検出器システムのアップグレード
M2M2
M3M3
M2M2
M3M3

R RR R

70
70

M1M1
M1M1

磁場領域
磁場領域
磁場領域
磁場領域

飛跡の角度
飛跡の角度
飛跡の角度
飛跡の角度
ΔθΔθ
Δθ
Δθ
+
μ+μ
μ+μ+

飛跡の位置
飛跡の位置
飛跡の位置
飛跡の位置
ηη
ηη

z zz z(a) ύλʔϯʹอଘ͢Δη ํ޲ͷ৘ใ
(a) ύλʔϯʹอଘ͢Δη ํ޲ͷ৘ใ
(a) パターンに保存する
η 方向の情報

飛跡の角度
飛跡の角度
z zz z 飛跡の角度
飛跡の角度
Δφ
Δφ
ΔφΔφ
M3M3
M3M3

+μ +
μμ
+μ

+

飛跡の位置
飛跡の位置
飛跡の位置
飛跡の位置
φφφφ

M2M2
M2M2
M1M1
M1M1

磁場領域
磁場領域
磁場領域
磁場領域

(b) ύλʔϯʹอଘ͢Δφ φํ޲ͷ৘ใ
ํ޲ͷ৘ใ
(b)
パターンに保存する ϕ 方向の情報(b) ύλʔϯʹอଘ͢Δ

φφ φφ

ਤ :4.1: パターンとして保持する飛跡の情報ύλʔϯͱͯ͠อଘ͢Δඈ੻ͷ৘ใ.[14]੺͍ઢ͸ύλʔϯϚονϯάΞϧΰϦζϜʹΑͬͯ࠶ߏਤύλʔϯͱͯ͠อଘ͢Δඈ੻ͷ৘ใ. ੺͍ઢ͸ύλʔϯϚονϯάΞϧΰϦζϜʹΑͬͯ࠶ߏ
図4.1
2.15
。赤い線はパターンマッチングアルゴリズムによっPreliminary ੒͞ΕΔඈ੻Λද͍ͯ͠Δ
Design for Endcap Sector Logic. ࠇ͍఺ઢ͸, িಥ఺ͱ M3 εςʔγϣϯʹ͓͚Δඈ੻ͷҐஔΛ݁ͿNovember 29, 2021 - Version 1.2
੒͞ΕΔඈ੻Λද͍ͯ͠Δ. ࠇ͍఺ઢ͸, িಥ఺ͱ M3
M3 における飛跡の位置を結ぶ直線を表してεςʔγϣϯʹ͓͚Δඈ੻ͷҐஔΛ݁Ϳ
て再構成される飛跡を示している。黒い点線は衝突点と௚ઢΛද͍ͯ͠Δ.
Ґஔ৘ใͱͯ͠࠶ߏ੒ͨ͠ඈ੻ͱ
M3
ͷަ఺,֯౓৘ใͱͯ͠࠶ߏ੒ͨ͠ඈ
௚ઢΛද͍ͯ͠Δ. Ґஔ৘ใͱͯ͠࠶ߏ੒ͨ͠ඈ੻ͱ
M3 ͷަ఺, ֯౓৘ใͱͯ͠࠶ߏ੒ͨ͠ඈ
いる。位置情報として再構成した飛跡とM3 の交点、及び角度情報として再構成した飛跡の黒い点線
੻ͷࠇ͍఺ઢ͔Βͷ֯౓Λอଘ͢Δ.
੻ͷࠇ͍఺ઢ͔Βͷ֯౓Λอଘ͢Δ.
からの角度を保存する。
359

2.3.4

Wire/Strip Coincidence

After the segments are reconstructed separately for the wire and strip channels, they are combined (“wire/strip
coincidence”) before they are transferred to the next block for the inner coincidence. In order to implement the
角度情報と組み合わされることによって、より詳細なの計算が行われる。磁場内部の検出器に対してT used.
362
wire/strip coincidence, a “Coincidence Window” algorithmpis
The algorithm for one Endcap SL is divided
363
into
78
smallerregions:35
regionsfortheEndcap1
trigger
sector,35 regions for the Endcap 2 trigger sector,
ヒットを要求することによって衝突点由来ではない、主にビームパイプ由来の荷電ハドロンによる偽のト364
and 8 regions for the Forward trigger sector. One region interfaces with one Subunit for the wire segment
リガー信号を削減することができる。さらにSL は、精密に飛跡を再構成することができる
MDT
365
reconstruction and one Unit for the strip segment
reconstruction. The algorithm is performed in parallel
forからのR366
these
78 regions.
Rη
DoubletTGC
Triplet ProcessorTGC
TGC Triplet
TGC Doublet
情報を扱う
MDT
Trigger(MDTTP) へミューオンの飛跡候補を送り、位置分解能に優れた
TGC
Doublet
TripletTGC Triplet
TGC Doublet
367
BasedTGC
on theangles ∆θ and ∆φ, thecorresponding η
pT threshold
is obtained as illustrated
in Figure 2.14.
代表点
代表点
368 からの情報による、より精密な
The Coincidence Windows are implemented
as a look-up table utilizing BRAMs
of
the
FPGA.
∆θ 代表点will beMDT
pT を受け取ることで、より高い
p代表点分解能でミューオン候補の判T369
binned in the region −0.16 < ∆θ < 0.16 in 64 bins (6 bits), and ∆φ in the region −0.032 < ∆φ < 0.032 in 16 bins
定を行う。最終的に計算された飛跡情報は
MUon-to-Central
TriggerWindow
Processor
Interface(MUCTPI)370(4 bits). The pT threshold is stored in the BRAMs
in 4 bits. The Coincidence
regions
are derived
from371
simulatedsamplesofsinglemuons,
definedasaregionincluding
more
than
99%
of
the
muons
with
p
of
T
経由で CTP に送られ、トリガー判定がなされる。トリガー判定を待っている間、ヒット情報はthe
SL 上の
372
threshold ±1 GeV.
360

AF
T

361

図 2.16R

ਤ 4.2 : (ࠨ) ॎ࣠Λ R ͱͨ࣌͠ͷ TGC Triplet ͱ Doublet ͷϫΠϠʔͷ഑ஔ. ఺ઢ͸ η ͕ಉ͡ͱͳΔ
ਤ 4.2 : (ࠨ)௚ઢΛ͍ࣔͯ͠Δ
ॎ࣠Λ R ͱͨ࣌͠ͷ
Tripletͱ Doublet. ఺ઢ͸η ͕ಉ͡ͱͳΔ. (ӈ) TGCॎ࣠Λη ͱͨ࣌͠ͷ
TGCͷϫΠϠʔͷ഑ஔ
Triplet ͱ Doublet
ͷϫΠϠʔͷ഑ஔ. ηํ௚ઢΛ͍ࣔͯ͠Δ. (ӈ) ॎ࣠Λ η ͱͨ࣌͠ͷ TGC
Triplet ͱ Doublet ͷϫΠϠʔͷ഑ஔ. η ํ޲ʹରͯ͠ҐஔΛͣΒͯ͠഑ஔ͍ͯ͠ΔͨΊ, ॏෳ͢Δ෦෼Λ֤εςʔγϣϯͷ୅ද఺ͱͯ͠ఆ
޲ʹରͯ͠ҐஔΛͣΒͯ͠഑ஔ͍ͯ͠ΔͨΊ, ॏෳ͢Δ෦෼Λ֤εςʔγϣϯͷ୅ද఺ͱͯ͠ఆ
ٛ͢Δ͜ͱͰσʔλྔΛ‫ݮ‬Βͭͭ͠, Ґஔ෼ղೳΛ޲্Ͱ͖Δ.
ٛ͢Δ͜ͱͰσʔλྔΛ‫ݮ‬Βͭͭ͠, Ґஔ෼ղೳΛ޲্Ͱ͖Δ.

SL における Coincidence Window の概要 [14]。パターンマッチングによって求められたD

飛跡の角度情報 (∆θ, ∆ϕ) を用いた Coincidence Window によって飛跡の pT が概算される。
Figure 2.14: The conceptual diagram of the wire/strip coincidence.

2.2 TGC 検出器トリガーシステム

37

L0 バッファーに保持され、SL が FELIX 経由で L0A を受け取った場合には、FELIX 経由で後段に渡される。

SL には上記のトリガー処理を行うための、Xilinx 社製の大規模 FPGA である Virtex UltraScale+
FPGA8 (メイン FPGA と呼ぶ) が搭載されている。各検出器への/からのデータ送受信は Xilinx 社製の FPGA に搭載されている高速シリアル通信対応のトランシーバーの 1 種である UltraScale+ GTY
トランシーバーを用いて行われる。また、メイン FPGA や各素子の制御のための Enclustra 社製メザ
ニンカード (Mercury XU5) がマウントされる (図 2.13(b) 参照)。メザニンカードには Xilinx 社製のZynq UltraScale+ MultiProcessor System-on-a-Chip9 (MPSoC) が搭載されている。さらに、SL はAdvanced Telecommunications Computing Architecture (ATCA) 規格のボードであり、ATCA shelf
manager とのやり取りやボードのモニター用に、CERN が開発した Intelligent Platform Management
Controller (IPMC) がマウントされる。
SL は CTP から FELIX 経由で TTC 信号を受け取り、各 PS board に TTC 信号を分配する。また、PS board のレジスタ制御等のコントロールも担当する。
このように高輝度 LHC-ATLAS 実験の TGC 検出器システムにおいては、非常に多数のエレクトロニ
クスが用いられており、エレクトロニクス毎の試験だけではシステム全体の動作試験にはならない。本研究では ASD, PS board, JATHub, SL を用いた TGC 検出器エレクトロニクスの統合試験に取り組んでおり第 6 章で説明する。また、それぞれのエレクトロニクスにもたらす機能や、システム全体のブートや回復のシークエンスのデザインについて第 7 章で詳細を議論する。

8 型番 : XCVU13P-1FLGA2577E
9 型番 : ZU+ C784

38

第3章

FPGA 間の固定位相でのクロック分配・
固定時間でのデータ転送
TGC 検出器システムにおけるクロック分配及びデータ転送

3.1

2.2.2 節で述べたように、高輝度 LHC-ATLAS 実験における TGC 検出器エレクトロニクスシステム
においては、1 枚の SL から 31 枚の PS board へ光リンク経由でコントロール信号に乗せて、TTC 信号の一種である 40.079 MHz の LHC バンチ交差クロックを分配する。また、ただ単にクロックを分配するのではなく、PS board における BCID の観点から “固定位相でのクロック分配” を実現する必要がある。
固定位相でのクロック分配とは、SL や PS board のリセットや再コンフィギュレーションに伴って、PS

board において再構成されるクロックの位相が変化しない分配の仕方を意味する。図 2.10 に示したように、PP ASIC へ分配された LHC バンチ交差クロックの位相と、TGC からのヒットを PP ASIC で受けるタイミングの関係が割り振られる BCID を決定する。このため、SL や PS board のリセットや再コンフィギュレーションに伴って PS board におけるクロックの位相が変化するクロック分配を行うと、クロックの位相とヒットのタイミングの関係がリセットや再コンフィギュレーション毎に変化し、適切な BCID が実行できない。またこの観点から、クロック分配系の上流に対応する CTP, LTI10 間や、LTI,

FELIX 間、及び FELIX, SL 間 (図 3.1 参照) も固定位相でのクロック分配がなされなければならない。
この章では特に SL, PS board 間のクロック分配について説明していくが、この技術は任意の FPGA を搭載したボード間のクロック分配に応用できるものとなっている。
また、データの転送に関しても特殊な対処が必要となる。2.2.1 節で述べたのと同様に、L0 Trigger シ
ステムは Fixed Latency scheme を採用している。Fixed Latency scheme の実現のためには、各エレク
トロニクス内での信号処理の時間が一定であることのみならず、エレクトロニクス間のデータ転送も固定の時間で行わなければならない。この章では特に PS board, SL 間の固定時間でのデータ転送について説明していくが、この技術は任意の FPGA を搭載したボード間のデータ転送に応用できるものとなっている。

SL はデータの送受信に UltraScale+ GTY トランシーバーを、PS board はデータの送受信に 7 シリー
10 Local Trigger Interface の略。CTP, FELIX 間のインターフェースを提供すると共に、各サブシステム単独の試験を行う

時にはクロックのマスターとなる。

3.2 GT トランシーバーを用いたクロック分配・データ送受信

39

1:32
×8

× 48

図 3.1

高輝度 LHC-ATLAS 実験におけるクロック分配系の概要。CTP は LHC 加速器からバンチ交差に同期したクロックを受け、最大 8 枚の LTI に分配する。LTI は最大 256 枚の FELIX I/O

card にクロックを分配し、FELIX I/O card は最大 48 枚の検出器エレクトロニクスにクロックを分配する。

ズ GTX トランシーバーを用いているが、GTY/GTX トランシーバーの主な違いは最大ラインレート11のみであり、クロック分配・データ転送に対して技術的な違いは存在しない。今後、この 2 つのトラン
シーバーをまとめて GT トランシーバーと呼ぶ。

3.2

GT トランシーバーを用いたクロック分配・データ送受信

TGC 検出器システムで採用する 8B/10B プロトコルでは、データにクロック信号を乗せてクロックを分配するため、クロック分配とデータの送受信は切り離せない関係にある。8B/10B 符号化は IBM 社が開発した高速シリアル通信で用いられるデータ転送方法である [15]。入力されたパラレルデータは 8 bit
ごとに分解され、8B/10B 変換表を用いて 10 bit に変換される。このビット変換には決まった法則がな
く、あらかじめ決められた変換表に基づいた変換が行われる。8B/10B 符号化により “0” と “1” が 5 ビッ
ト以上続かないように変換され、レシーバ側におけるクロックの再構成が容易になる。クロックの再構成
については 3.3 節において詳しく述べる。

GT トランシーバーの概念図について図 3.2 に示す。GT トランシーバーは Phase Locked Loop
(PLL) を用いて基準クロック (REFCLK) から周波数の高いクロック (TX 側では TX PLLCLK、RX 側
では RX PLLCLK と呼ぶ) を生成し、生成したクロックを用いてシリアル通信を行う。以下でトランス
ミッター (TX) 部分とレシーバ (RX) 部分でのクロック・データの処理について説明する。この節では、固定位相でのクロック分配・固定時間でのデータ転送の実現のためには使用しないブロックについても説明する。

11 Virtex UltraScale+ 上の GTY トランシーバーは最大 32.75 Gbps、Kintex-7 上の GTX トランシーバーは最大 12.5 Gbps

第 3 章 FPGA 間の固定位相でのクロック分配・固定時間でのデータ転送

40

FPGA
GT transceiver

TX Data(Serial)TX

TX Data(Parallel)
TX PLLCLK

Serial ← Parallel

RX Data(Serial)RX PLLCLKRXPLLTX REFCLKPLLRX REFCLK

Serial → Parallel

RX Data(Parallel)
RXOUTCLK

図 3.2

GT トランシーバーの概念図。GT トランシーバーは PLL を用いて基準クロック (TX 側では TX REFCLK、RX 側では RX REFCLK) から周波数の高いクロック (TX 側では TX PLLCLK、
RX 側では RX PLLCLK) を生成し、生成したクロックを用いてシリアル通信を行う。TX 内でパラレルデータをシリアルデータに変換することで送信し、RX 内で受信したシリアルデータをパラレル
データに変換する。また RX からは再構成されたクロック (RXOUTCLK) が出力される。

GT transceiver TX
図 3.3 に GT トランシーバーのデータ送信部分 (TX) のブロック図を示す。以下ではまず GT トラン
シーバー TX におけるクロックドメインを説明した後に、それぞれのクロックドメインに属する各ブロックについて説明する。

TX 側には 4 つのクロックドメインが定義されている (以下のクロック名は図 3.3 及び参考文献 [16] に倣っている)。ユーザーロジック内でパラレルデータを扱うための FPGA TX Parallel Clock (TXUS-

RCLK2)、トランシーバー内でパラレルデータを扱うための TX PCS Parallel Clock (TXUSRCLK)、
パラレルデータをシリアルデータに変換するブロックにデータを入力するための TX PMA Parallel

Clock (TX XCLK)、シリアルデータの送信に用いられる TX シリアルクロックの 4 つである。一般的に TXUSRCLK2 と TXUSRCLK は同一のクロックから生成されるものであり、位相関係は変化しない。このため、TXUSRCLK2 と TXUSRCLK の境界部分に対しては特別な対処は必要なく、以下ではTXUSRCLK2 と TXUSRCLK の境界部分については述べない。
• TXUSRCLK2 によって動作するブロック– FPGA TX interface
この部分では送信したいデータをパラレルデータのまま TX interface に渡す。TX

interface への入力データ幅は、8B/10B 変換を用いる場合、16 bit, 32 bit, 64 bit の中から選択することができる。必要な転送レートから、FPGA の性能に合わせた入力データ
幅と TXUSRCLK2 の周波数設定を行う。

• TXUSRCLK によって動作するブロック

Functional Description
The GTX/GTH transceiver TX datapath has two internal parallel clock domains used in
the PCS: the PMA parallel clock domain (XCLK) and the TXUSRCLK domain. To transmit
data, the XCLK rate must match the TXUSRCLK rate, and all phase differences between
the two domains must be resolved. Figure 3-18 shows the XCLK and TXUSRCLK domains.
GT トランシーバーを用いたクロック分配・データ送受信
41

3.2
X-Ref Target - Figure 3-18

TX Serial Clock

TX
OOB
TX
Driver and
PCIe

TX
Pre/
Post
Emp

TX PMA Parallel Clock (XCLK)(TX XCLK)
PCIe
Beacon
PISO

FPGA
TX
FPGA
Parallel
Clock
Parallel
Clock(TXUSCLK2)

TX Gearbox
Pattern
Generator

SATA
OOB

Polarity

TX
Clock
Dividers

TX PIPE
Control
8B/10B
Encoder

Phase
AdjustFIFOFPGA TX
Interface

TX Phase
Interpolator
Controller (GTH)

TX Phase
Interpolator
TX PMA
From Channel
Clocking
Architecture

TX PCS Parallel Clock (TXUSRCLK)TX PCS
To RX Parallel Data
(Near-End PCS
Loopback)

From RX Parallel
Data (Far-End PMA
Loopback)

From RX Parallel
Data (Far-End PCS
Loopback)
UG476_c3_03_112311

図 3.3

GT トランシーバーのデータ送信部分 (TX) のブロック図 [16]。TX には 8B/10B Encoder、Figure 3-18: TX Clock Domains
Phase Adjust FIFO、PISO 等のデータ送信に必要となる機能が揃っている。赤線が PS board, SL
The GTX/GTH transmitter includes a TX buffer and a TX phase alignment circuit toの TX 部分に実装されたデータの送信パスである。
resolve phase differences between the XCLK and TXUSRCLK domains. The TX phasealignment circuit is used when TX buffer is bypassed (see TX Buffer Bypass, page 135). All
TX datapaths must use either the TX buffer or the TX phase alignment circuit. Table 3-14
– 8B/10B Encodershows trade-offs between buffering and phase alignment.
入力されたパラレルデータは 8 bit ごとに分解され、8B/10B 変換表を用いて 10 bit に変換される (例えばデータ幅が 32 bit ならば 40 bit に変換される)。8B/10B Encoder は

TX Physical Coding Sublayer (TX PCS) というデータの符号化を行う部分で働く。
• TXUSRCLK と TX XCLK の境界– Phase Adjust FIFO12
データのシリアル化を行う際には、シリアルデータを送信するために用いられるシ
リアルクロックと位相の調整が行なわれているクロックを用いる必要がある。そこ
で TXUSRCLK と同じ周波数の TX XCLK というクロックを用いる。TX XCLK とTXUSRCLK の 2 つのクロックの位相の関係は何もしなければ定まっていない。通常の場合、2Transceivers
つのクロック間での位相・周波数の関係が一定でなければ、FIFO 構造を用いて7 Series FPGAs GTX/GTH
User Guide www.xilinx.com
133
UG476 (v1.12.1) August
14,
2018
データの受け渡しを行う必要がある。そのために Phase Adjust FIFO を用いる。本研究の実装における TXUSRCLK と TX XCLK の関係については 3.4 節で述べる。

• TX XCLK と TX シリアルクロックの境界– Parallel In Serial Out (PISO)
Parallel In Serial Out (PISO) はパラレルで入力されたデータをシリアルに変換してデータを送信するブロックである。TX XCLK に同期して入力されたパラレルデータ
は、TX シリアルクロックに乗せられて送信される。PISO は TX Physical Medium

12 First In, First Out の略。先に入ってきたものを順に出力するための機構であり、出入りの順序は保存される

第 3 章 FPGA 間の固定位相でのクロック分配・固定時間でのデータ転送

42

Attachment (TX PMA) というデータのパラレル・シリアル変換を行う部分で働く。

GT transceiver RX
図 3.4 に GT トランシーバーのデータ受信部分 (RX) のブロック図を示す。以下ではまず GT トラン
シーバー RX におけるクロックドメインを説明した後に、それぞれのクロックドメインに属する各ブロックについて説明する。

RX 側には 4 つのクロックドメインが定義されている (以下のクロック名は図 3.4 及び参考文献 [16] に倣っている)。シリアルデータの受信に用いられる RX シリアルクロック、シリアルデータをパラレルデー
タに変換する RX PMA Parallel Clock (RX XCLK)、トランシーバー内でパラレルデータを扱うため

RX Elastic Bufferの RX PCS Parallel Clock (RXUSRCLK)、ユーザーロジック内でパラレルデータを扱うための FPGARX Parallel Clock (RXUSRCLK2) の 4 つである。一般的に RXUSRCLK と RXUSRCLK2 は同一のWhen the RX elastic buffer is bypassed, data received from the PMA can be distorted due

クロックから生成されるものであり、位相関係は変化しない。このため、RXUSRCLK
RXUSRCLK2
to phase differences after conditions such as a GTH transceiverreset orとratechange. If thereceived data evaluated at the fabric interface
is invalid
on any lane, the の境界部分につRX alignmentの境界部分に対しては特別な対処は必要なく、以下ではRXUSRCLKと RXUSRCLK2

いては述べない。

procedure needs to be repeated for the interface after RX CDR is locked on all lanes.

RX •Elastic
BufferRX シリアルクロックによって動作するブロック– RX Clock Data Recovery (RX CDR)

Functional
Description
RX Clock Data Recovery (RX CDR) では受信したデータから、クロックを抽出する。
The GTX/GTH transceiver RX datapath has two internal parallel clock domains used in
the PCS: The PMA parallel clock domain (XCLK) and the RXUSRCLK domain. To receive
グをすることで
TX parallel
で用いていたシリアルクロックをRX
data, the PMA
rate must be sufficiently close to
theシリアルクロックとして再構
RXUSRCLK rate, and all phasedifferences between the two domains must be resolved. Figure 4-49 shows the two parallel
成する。RX CDR はデータの復号化を行う RX PMA 部分で働く。
clock domains: XCLK and RXUSRCLK.

受信したデータを、RX PLLCLK を基準としてデータサンプリング・エッジサンプリン

X-Ref Target - Figure 4-49

From TX Parallel
Data (Near-End
PCS Loopback)From Channel
Clocking
Architecture

To TX Parallel
Data (Far-End PCS
Loopback)

To TX Parallel
Data (Far-End
PMA Loopback)RXSLIDERX
Clock
Dividers

RX
EQ

RX PIPE
Control

DFE

Comma
DetectandAlignPolaritySIPO

RX CDRRX OOB

PRBS
Checker

RX PMA

RX Status
Control
8B/10B
DecoderRX
Elastic
BufferFPGA RXInterfaceRX
Gearbox

RX PCS

RX Serial
Clock

RX PMA Parallel
Clock
(RX
XCLK)
(XCLK)RX PCS Parallel
Clock(RXUSRCLK)FPGAParallelRX
FPGA
Parallel
Clock
Clock
(RXUSRCLK2)
UG476_c4_20_052311

図 3.4

GT トランシーバーのデータ受信部分 (RX) のブロック図 [16]。RX には CDR, SIPO,
Figure 4-49: RX Clock Domains
Comma Detect and Align, 8B/10B Decoder, RX Elastic Buﬀer 等のデータ受信に必要となる機能
The GTX/GTH
includes an RX elastic buffer to resolve differences
between theが揃っている。赤線がPS board,transceiver
SL の RX 部分に実装されたデータの受信パスである(なお Comma
XCLK
andRXUSRCLK
domains.
The
phase
of
the
two
domainscanalso
bematchedAlign 機能は無効にしている)。また Comma の手動でのアラインのための機能として RXSLIDE と byusing the RX recovered clock from the transceiver to drive RXUSRCLK and adjusting its
呼ばれる信号が備わっている。
phase to match XCLK when the RX buffer is bypassed (see RX Buffer Bypass, page 242).
All RX datapaths must use one of these approaches. The costs and benefits of eachapproach are shown in Table 4-39.
Table 4-39:

Ease of Use

RX Buffering versus Phase Alignment
RX Elastic Buffer

RX Phase Alignment

The RX buffer is the recommended
default to use when possible. It is robust

Phase alignment is an advanced feature that requires
extra logic and additional constraints on clock sources.

3.3 GT トランシーバー RX におけるクロックの再構成

43• RX シリアルクロックと RX XCLK の境界– Serial In Parallel Out (SIPO)
Serial In Parallel Out (SIPO) では RX シリアルクロックと RX XCLK を用いて、シリアルで入力されたデータをパラレルに変換する。SIPO は RX PMA 部分で働く。本研究の実装における RX シリアルクロックと RX XCLK の関係について 3.4 節で述べる。

• RX XCLK によって動作されるブロック– Comma Detect and AlignComma Detect ロジックは受信したパラレルデータの中から Comma という特別なデー
タパターン (10 bit) を探す。この Comma がどのようなパターンであるのかは、TX とRX で同じ認識を持つ必要がある。Comma を見つけると、SIPO から出力されるパラレ
ルデータの下位 10 bit に Comma が来るように Comma Align ロジックによってデータがシフトされる。Comma Detect and Align ロジックは RX PCA 部分で働く。

– 8B/10B Decoder
Comma Detect and Align ブロックによって正しくアラインされたデータは、8B/10B
Encoder と同じ対応表を逆に用いて、10 bit のデータを 8 bit に戻す。この部分では PCS
パラレルクロック (RXUSRCLK) を用いる。8B/10B Decoder ブロックは RX PCA 部
分で働く。

• RX XCLK と RXUSRCLK の境界– RX Elastic Buﬀer
このバッファーは 8B/10B Decoder までで用いられた RX XCLK と後段で用いられる

RXUSRCLK の位相差を吸収する部分である。TX 部分の Phase Adjust FIFO と同じ役割を果たす。本研究の実装における RX XCLK と RXUSRCLK の関係について 3.4 節で述べる。

• RXUSRCLK2 によって動作されるブロック– FPGA RX interface
RX パラレルデータをユーザーロジック内で扱うために、データは RXUSRCLK2 というクロックに乗せられる。これによりデータの送受信が完了する。

3.3

GT トランシーバー RX におけるクロックの再構成

この節では RX CDR におけるクロックの再構成について詳しく説明する。RX CDR においては、RX

REFCLK を PLL で逓倍することで生成した RX PLLCLK を基準として、入ってくるシリアルデータと同期する RX シリアルクロックを構成する。RX PLLCLK は、周波数がラインレートの半分 (ラインレートが 8 Gbps の時、RX PLLCLK の周波数が 4 GHz) となるように生成される。図 3.5 に CDR におけるクロックの再構成の概要図を示す。RX CDR の中のエッジサンプリングにおいて、RX シリアル
データ中の “0” から “1”、もしくは “1” から “0” と変化する時間 (エッジ) を検出する。そして RX CDR
中のデータサンプリングにおいて、エッジの検出位置から求めたデータビットの中心の位置 (図 3.5 にお第 3 章 FPGA 間の固定位相でのクロック分配・固定時間でのデータ転送

44

Clock 1Clock 2RX serial data

図 3.5

CDR におけるクロック再構成の概要図 [16]。RX CDR の中のエッジサンプリングにおいて、RX シリアルデータ中のエッジを検出する。そして RX CDR 中のデータサンプリングにおいて、エッジの検出位置から求めたデータビットの中心の位置 (D0 , D1 ) に立ち上がり、もしくは立ち下がりが同期されるように、RX PLLCLK の位相及び周波数が微調整され、シリアルデータと同期する RX
シリアルクロックが構成される。この時に、どのように RX シリアルクロックが生成されるかに依存
して、1 UI だけ位相が異なる 2 種類のクロックが再構成されうる (Clock 1, Clock 2)。

ける D0 , D1 ) に立ち上がり、もしくは立ち下がりが同期されるように、RX PLLCLK の位相及び周波数が微調整され、シリアルデータと同期する RX シリアルクロックが構成される。この時に、どのようにRX シリアルクロックが生成されるかに依存して、1 UI13 だけ位相が異なる 2 種類のクロックが再構成されうる (図 3.5 における Clock 1, Clock 2)。クロックが安定して再構成されるためには、エッジサンプリ
ングにおいて高い頻度でエッジが検出されなければならない。8B/10B 符号化は、高頻度でのエッジの出現を保証するためにデータに対して行われる変換である。この再構成で生成されるクロックの位相は (上で説明した 1 UI の違いを除いて)、TX と RX 間の物理的な伝播遅延 (e.g. ファイバー長) のみによって決まり、不定性を持たず一意に決まる。そのためトランシーバーのリセットや、パワーサイクルに対して再現性を持った位相で RX シリアルクロックは再構成される。

3.4

固定位相でのクロック分配・固定時間でのデータ転送の実現

TGC 検出器システムにおいて重要となるのは、40 MHz の LHC バンチ交差クロックの分配であり、SL と PS board 間に対する “固定位相でのクロック分配” とは SL における 40 MHz クロックの位相とPS board において再構成される 40 MHz クロックの位相が固定された関係にあることを意味する。以下
では各クロックの周波数は SL、PS board 間の通信に必要となるものとして記述するが、任意の (GT トランシーバーが対応した) 周波数に応用可能である。

SL と PS board 間の 1 本のファイバーのラインレートは 2.2.2 節で説明したように 8 Gbps で
13 Unit Interval の略、シリアル通信におけるデータ 1 ビットの幅 (ラインレートが 8 Gbps の時、1 UI=125 ps)

3.4 固定位相でのクロック分配・固定時間でのデータ転送の実現

45ある。以下では 1 本のファイバーに注目して説明を行う。FPGA 内部ではパラレルデータとして

32 bit データ (この単位をワードと呼ぶ) を用いる。40 MHz の頻度で 5 ワード (160 bit) を送信する(32 bit × 5 × 40 MHz × (10/8) = 8 Gbps) ことが可能となるように、32 bit のパラレルデータが同期されている TXUSRCLK2, RXUSRCLK2 は 200 MHz の周波数となる。TXUSRCLK, TX XCLK,RXUSRCLK, RX XCLK も 200 MHz の周波数を持つ。一方、TX PLLCLK、TX シリアルクロック、RX PLLCLK、RX シリアルクロックはラインレートから 4 GHz の周波数となる。
固定位相でのクロック分配・固定時間でのデータ転送を実現するためには、3.3 節で述べた GT トラン
シーバーの TX, RX の両方に対して工夫を施す必要がある。まず TX 側に必要となる対処を説明する。

TX におけるクロックパスを図 3.6 に示す。図 3.6 において色をつけた矢印が、PS board, SL において実装した TX 側のクロックパスである。赤線が 4 GHz、青線が 200 MHz のクロックに対応する。

TX では送るパラレルデータをシリアルデータに変換するために TXREFCLK を PLL で逓倍した TX
PLLCLKTransmitterを用いるが、図 3.6 における QPLLCLK がこれに対応する。一方、図 3.6 中の QPLLREFCLK

Chapter 3:が TXREFCLK に対応する。TXREFCLK はそのまま GT トランシーバー TX から TXOUTCLK とし
X-Ref Target - Figure 3-28

GTXE2_CHANNEL (GTX Transceiver Primitive)
TX PMA

TX PCSTXP/N

TX DATA fromupstream PCS blocks

TX DATAPISO

TX Polarity
Control÷D

PhaseInterp1{1,2,4,
8,16}

÷2 or
÷4

÷4 or
÷5

TXOUTCLKPCSTXSYSCLKSEL[0]0‘1’

QPLLCLKTXOUTCLKPCS(TX PLLCLK)TXSYSCLKSEL[1]CPLL

TXOUTCLKPMATXPLLREFCLK_DIV1

0

QPLLREFCLK÷2

1(TX REFCLK)TXPLLREFCLK_DIV2

TXOUTCLKSEL

000
001

Delay
Aligner

0
TXOUTCLK

010
011

1

100
TXDLYBYPASSTXOUTCLKFABRICREFCLK Sel

REFCLK Distribution

MGTREFCLK[0/1]P

IBUFDS_GTE2
O

MGTREFCLK[0/1]N

÷2

ODIV2

0

IBUFDS_GTE2 Output to CMT / BUFH / BUFG

1REFCLK_CTRL
UG476_c3_10_100114

Figure 3-28: TX Serial and Parallel[16]Clock
Divider
TX におけるクロックパスのブロック図。色をつけた矢印が、PS board, SL において実装したクロックパスである。赤線がNotes relevant to Figure 3-28: 4 GHz、青線が 200 MHz のクロックに対応する。図中の
QPLLCLK が文中のTX PLLCLKに、図中の QPLLREFCLKTXREFCLK
1. TXOUTCLKPCS
and TXOUTCLKFABRIC
are redundantが文中のoutputs. Use
TXOUTCLK に対応す
forはそのまま
new designs.GT トランシーバー TX から TXOUTCLK として出力される。TX
る。TXREFCLKREFCLK_CTRL option is controlled automatically by software and is not user
PLLCLK は 2.
TXThe
シリアルクロックとして、
TXREFCLK は TX パラレルクロックとして PISO に供

図 3.6

selectable. The user can only route one of the IBUFDS_GTE2’s O or ODIV2 outputs to
the FPGA logic via the CMT (PLL, MMCM or BUFMRCE), BUFH, or BUFG.

給される。
3.

IBUFDS_GTE2 is a redundant output for additional clocking scheme flexibility.

4.

There is only one CPLL in the GTXE2_CHANNEL/GTHE2_CHANNEL. The QPLL
from the GTXE2_COMMON/GTHE2_COMMON can also be used, when applicable.

5.

The selection of the /2 or /4 divider block is controlled by the TX_INT_DATAWIDTH
attribute from the GTXE2_CHANNEL/GTHE2_CHANNEL primitive. /2 is selected
when TX_INT_DATAWIDTH = 0 (2-byte internal datapath) and /4 is selected when
TX_INT_DATAWIDTH = 1 (4-byte internal datapath).

6.

The selection of the /4 or /5 divider block is controlled by the TX_DATA_WIDTH
attribute from the GTXE2_CHANNEL/GTHE2_CHANNEL primitive. /4 is selected46

第 3 章 FPGA 間の固定位相でのクロック分配・固定時間でのデータ転送て出力される。
図 3.3 に示したように TX 側には、TX XCLK, TXUSRCLK という位相関係が一定ではない 2 つのク
ロックドメインがあり、TX XCLK, TXUSRCLK の位相差を吸収するために Phase Adjust FIFO が備わっている。クロックの位相関係が変化した時には、Phase Adjustment FIFO によるデータの受け渡しにかかる時間は変化するため、まず前提として TX XCLK と TXUSRCLK の位相関係を固定させる必要がある。しかし、TX XCLK と TXUSRCLK の位相関係が固定されていたとしても、Phase Adjust

FIFO による位相吸収の仕方には任意性があるため、さらに Phase Adjustment FIFO をバイパスすることが必要となる。そこで、TX XCLK を TXOUTCLK から生成し、TXUSRCLK, TXUSRCLK2 として TXOUTCLK をそのまま用いることで、TXCLK, TXUSRCLK の位相関係を固定し、Phase Adjust

FIFO をバイパスするという実装を行うことで固定時間でのデータ送信を実現した。
次に RX 側に必要となる対処を説明する。RX におけるクロックパスを図 3.7 に示す。図 3.7 において色をつけた矢印が、PS board, SL において実装した RX 側のクロックパスである。赤線が 4 GHz、緑線が 800 MHz、青線が 200 MHz のクロックに対応する。QPLLCLK と図中に書かれているものが RX

PLLCLK である。RX PLLCLK を基準として、RX シリアルデータに同期した RX シリアルクロック
が RX CDR によって生成され出力される。RX シリアルクロックは SIPO に供給されるとともに、1/20倍に分周され 200 MHz の RX パラレルクロックを作る。RX パラレルクロックは SIPO に供給されるとともに、RXOUTCLK として出力される。

RX シリアルクロックは 3.3 節で述べたように 1 UI だけ異なる 2 種類の位相を持って再構成されうる。
また 1/20 倍に分周されていく中で 200 MHz の RX パラレルクロックは合計で 40 種類の位相を持って再構成されうる。固定位相でのクロック分配を実現するためには、この 40 種類のクロックの位相が再構成されうる中で、特定の 1 つの位相を常に再構成する必要がある。RX シリアルクロックの RX シリアル
データへの同期、及び RX パラレルクロックへの 1/20 倍の分周の仕方はユーザーロジック側から指定することはできない。よって固定位相でのクロック再構成のためには、200 MHz の RX パラレルクロック
が 40 個の候補からとある位相で再構成された後に、後述の要領でパラレルデータ中に現れる Comma の位置を確認することでクロックの位相の妥当性を試験し、もし想定どおりの位相でないとわかったら次のクロック位相の候補に移り同様の試験を行う、ということを繰り返すことで 40 個の候補から想定どおりの位相を見つけるという手法を取らなければならない。

RX パラレルクロックの位相を調整することを可能にするためには、RX のデータ受信部分に適切な設定をする必要がある。3.2 節で述べた GT トランシーバー RX の中の Comma Align 機能は RX パラレ
ルクロックの位相を固定したまま、RX シリアルデータをシフトすることで Comma を適切な位置に動かす。このため Comma Align 機能を有効にすると、RX パラレルクロックの位相の調整はユーザーロ
ジック側から行えなくなる。つまり固定位相でのクロック再構成のためには Comma Align 機能を無効にする必要がある。この場合、Comma がアラインされないまま後段に渡されるため、データを適切な位置で 10 bit ごとに分けることが必要となる 8B/10B Decoder を用いることができない。従ってユー
ザーロジック側で Comma のアラインに基づく RX パラレルクロックの位相の調整の制御、及び 8B/10B

Decode を行う必要がある。
Comma の手動でのアライン及び RX パラレルクロックの位相の調整のための機能として、GT トラ
ンシーバー RX には RXSLIDE と呼ばれる信号が備わっている。RXSLIDE パルスを打つたび、パラレ

RX Fabric Clock Output Control
Functional Description
The RX clock divider control block has two main components: serial clock divider control
and parallel clock divider and selector control. The clock divider and selector details areillustrated in Figure 4-23.
固定位相でのクロック分配・固定時間でのデータ転送の実現
47

3.4
X-Ref Target - Figure 4-23

GTXE2_CHANNEL (GTX Transceiver Primitive)
RX PMARXP/N

RX PCS
RX DATA todownstream PCS blocks

RX DATA

SIPO

CDR

Phase
Interp.

1

0/D{1,2,4,8,16}

RX Polarity
Control
/4 or
/5

/2 or
/4

RXOUTCLKPCSRXSYSCLKSEL[0]‘1’

QPLLCLK(RX PLLCLK)RXOUTCLKPCSRXSYSCLKSEL[1]CPLL

RXOUTCLKPMARXPLLREFCLK_DIV1

0

QPLLREFCLK÷2

1

RXPLLREFCLK_DIV2

RXOUTCLKSEL

000
001

Delay
Aligner0
RXOUTCLK

010
011

1

100
RXDLYBYPASSRXOUTCLKFABRICREFCLK Sel

REFCLK Distribution

MGTREFCLK[0/1]P

IBUFDS_GTE2
O

MGTREFCLK[0/1]N

÷2

ODIV2

REFCLK_CTRL

0

IBUFDS_GTE2 Output to CMT / BUFH / BUFG

1

UG476_c4_07_100114

Figure 4-23: RX Serial[16]andParallel Clock Divider
RX におけるクロックパスのブロック図。色をつけた矢印が、PS board, SL において実装したクロックパスである。赤線が 4 GHz、緑線が 800 MHz、青線が 200 MHz のクロックに対応す
Note relevant to Figure 4-23:る。図中の QPLLCLK が文中の RX PLLCLK に対応する。RX PLLCLK を基準として、RX シリ
1. RXOUTCLKPCS and RXOUTCLKFABRIC are redundant outputs. RXOUTCLK
アルデータに同期した RX シリアルクロックが RX CDR によって生成され出力される。RX シリア
should be used for new designs.
ルクロックは SIPO に供給されるとともに、1/20 倍に分周され 200 MHz の RX パラレルクロックを
2. The REFCLK_CTRL option is controlled automatically by software and is not user
作る。RX パラレルクロックは SIPO に供給されるとともに、RXOUTCLK として出力される。
selectable. The user can only route one of IBUFDS_GTE2’s O or ODIV2 outputs to the
FPGA logic via the CMT (PLL, MMCM or BUFMRCE), BUFH, or BUFG.
図 3.7

3. IBUFDS_GTE2 is a redundant output for additional clocking scheme flexibility.
ルデータは 1 ビット右にシフトする。また RX パラレルクロックは 2 回の RXSLIDE パルス毎に 2 UI
4. There is only one CPLL in the GTXE2_CHANNEL/GTHE2_CHANNEL. QPLL from
分だけ位相が進む (これがthe
シリアルクロックの分周の仕方を変更することに対応する
RXGTXE2_COMMON/GTHE2_COMMON)。つまりユー
can also be used whenapplicable.

ザーロジック側では Comma がパラレルデータの下位 10 bit に対応するようになるまで、RXSLIDE パ
ルスを打つ必要がある。しかし、このように Comma を手動でアラインしたとしても 200 MHz のパラレ
ルクロックの位相は 1 種類に決まらず、2 種類の位相を取りうる。これは 3.3 節で説明したように 4 GHz) ことが原因であの RX シリアルクロックを構成するときに 1 UIwww.xilinx.com
だけ異なる位相を持ちうる
図 3.5 参照210
7 Series FPGAs(GTX/GTH
Transceivers
User Guide
UG476(v1.12.1)
August14, 2018
り、RXSLIDE による 2 UI 単位でのクロックの位相調整では 1 UI だけ異なる位相を吸収することができない。この 2 種類の位相は Comma をアラインするまでに必要となる RXSLIDE の回数の偶奇で判別することができる。本研究の実装では RXSLIDE の回数が奇数となる位相を持った 200 MHz クロックを再構成するとした。また、1 UI の位相の違いはどのような GT トランシーバー RX 中の機構を使っても

48

第 3 章 FPGA 間の固定位相でのクロック分配・固定時間でのデータ転送

吸収することができないため、Comma の Align に必要となる RXSLIDE の回数が奇数となるまで、GT
トランシーバー RX のリセットを繰り返すという実装を行なった。
上記の対処を行うことで 200 MHz のパラレルクロックは、固定位相で再構成することができる。一方、
固定時間でのデータ受信にはさらなる GT トランシーバー RX に対する工夫が必要となる。図 3.4 に示したように RX 側には、RX XCLK, RXUSRCLK という位相関係が一定ではない 2 つのクロックドメイ
ンがあり、RX XCLK, RXUSRCLK の位相差を吸収するために RX Elastic Buﬀer が備わっている。ク
ロックの位相関係が変化した時には、RX Elastic Buﬀer によるデータの受け渡しにかかる時間は変化す
るため、まず前提として RX XCLK と RXUSRCLK の位相関係を固定させる必要がある。しかし、RXXCLK と RXUSRCLK の位相関係が固定されていたとしても、RX Elastic Buﬀer による位相吸収の仕方には任意性があるため、さらに RX Elastic Buﬀer をバイパスすることが必要となる。そこで、RX

XCLK を RXOUTCLK から生成し、RXUSRCLK, RXUSRCLK2 として RXOUTCLK をそのまま用いることで、RXCLK, RXUSRCLK の位相関係を固定し、RX Elastic Buﬀer をバイパスするという実装を行うことで固定時間でのデータ受信を実現した。
ここまで説明したことは 200 MHz のパラレルクロックの固定位相での再構成を実現するために必要な対処であり、40 MHz の LHC バンチ交差クロックの固定位相での再構成を実現するためにはまだ不十分である。RX において 200 MHz の RX パラレルクロックから、40 MHz に分周するときには 5 つの異なる位相を取りうる。この分周には FPGA 内の Mixed Mode Clock Manager (MMCM) を用いる。固定の位相で 40 MHz のクロックを生成するために受信するデータの種類を用いる。データフォーマットの詳細については 6.5 節で述べるが、SL から送るデータ、PS board から送るデータ共に、40 MHz の頻度
で送る 5 ワードの 1 ワード目にヘッダーと呼ばれる Comma を含むデータがある。TX 側ではヘッダーが送られるタイミングが 40 MHz クロックに対して一定となるように、40 MHz クロックの立ち上がりの次の 200 MHz のパラレルクロックにおいて FPGA TX interface からヘッダーを出力する (TX における

40 MHz の LHC バンチ交差クロックと 200 MHz の TX パラレルクロックは同じクロックから生成されており、位相関係は固定されている)。また、RX 側では MMCM によって生成した 40 MHz クロックの立ち上がりのタイミングで、FPGA RX interface で受信するデータがヘッダーとなるまで、MMCM のリセットを繰り返すという実装を行なった。このようにして SL における 40 MHz クロックの位相と PS

board において再構成される 40 MHz クロックの位相が固定された関係にある “固定位相でのクロック分
配” 及び PS board から SL への固定時間でのデータ転送を実現した。

PS board の実機を用いた固定位相でのクロック分配の試験や、どの精度で位相が固定できているのかの JATHub を用いた測定については 6.2 節で述べる。

3.5

LHC バンチ交差と同期したデータ転送

L0 Trigger システムは Fixed Latency scheme を採用しており、LHC バンチ交差クロックと同期した
データ読み出しを行わなくてはならない。このため 3.4 節で述べた TX の基準クロックとして LHC バン
チ交差クロックを 200 MHz に逓倍したものを用いる必要がある。図 3.8 に PS board におけるクロック
パスを示す。PS board の TX, RX は両方 SL に繋がる。

RX REFCLK は逓倍された時に TX シリアルクロックと十分に近い周波数を持つことが安定した

3.5 LHC バンチ交差と同期したデータ転送

49
FPGA

GT transceiver

TX

PLL

LHC BC clock

LHC BC clock

TX REFCLKPP ASIC8

Clock jittercleaner
RXOUTCLK/5
divider

Delay

RX
PLL

RX REFCLKCrystal

図 3.8

PS board におけるクロックパス。RX REFCLK は 160.316 MHz のクロックを出力する水晶発振器 (Crystal) から供給する。GT トランシーバー RX からは 200 MHz の再構成されたクロッ
クが RXOUTCLK として出力され、1/5 倍に分周を行う MMCM (/5 divider) によって固定位相の40 MHz クロックが生成される。40 MHz クロックを、クロックのジッターを除去するクロックジッ
タークリーナーに通し、ノイズが小さい 200 MHz クロックを TX REFCLK として GT トランシー
バー TX に供給する。またクロックジッタークリーナーはノイズが小さい 40 MHz クロックを LHC
バンチ交差クロック (LHC BC clock) として FPGA 及び PP ASIC に供給する。PS board 間のLHC バンチ交差クロックの位相合わせのための遅延機構 (Delay) については 4.2 節で詳細を述べる。

CDR の条件となるため、RX REFCLK の周波数は 40.079 MHz の整数倍かつ PLL によって 4 GHz まで逓倍できるものでなければらない。PS board では 160.316 MHz のクロックを出力する水晶発振器から RX REFCLK を供給する。GT トランシーバー RX からは 3.4 節で述べたように、200 MHz の再構成されたクロックが RXOUTCLK として出力され、1/5 倍に分周を行う MMCM によって固定位相の40 MHz クロックが生成される。この RXOUTCLK は、そのまま TX REFCLK として用いるにはジッ
ターが大きすぎる。このため 40 MHz クロックを、クロックのジッターを除去するクロックジッターク
リーナーに通し、ノイズが小さい 200 MHz クロックを TX REFCLK として GT トランシーバー TX に供給する。またクロックジッタークリーナーはノイズが小さい 40 MHz クロックを LHC バンチ交差ク
ロックとして FPGA 及び PP ASIC に供給する。上記と同様のクロックパスを FELIX からクロックから受ける SL においても実装する必要がある。

50

第4章

遠隔でのクロック位相制御及び JATHub
によるクロック位相測定
4.1

TGC 検出器システムにおけるクロック位相制御及びクロック位
相測定

2.2.2 節で述べたように、高輝度 LHC-ATLAS 実験における TGC 検出器エレクトロニクスシステム
においては、PS board における適切な BCID を行うために全 1,434 枚の PS board における 40 MHz のLHC バンチ交差クロックの位相が十分な精度で一致している必要がある。PS board におけるクロック
は、O(100 ps) の精度で一致していれば適切な BCID を行えることが分かっている。この精度でクロックの位相を揃えることによって、PP ASIC の可変遅延回路で十分に信号のタイミングを揃えることが可能となり、陽子バンチ交差のタイミングと外れた低エネルギーの中性子や光子に起因する信号が混入しないように、PP ASIC の陽子バンチ識別回路における有効ゲート幅を必要最小限の幅に狭めることができる。第 3 章で述べた、固定位相でのクロック分配はこのクロック位相合わせを行うための必要条件である。その一方で、SL と PS board の間の光ファイバーの長さはすべて同じではないため、クロックの位
相合わせを行うためには PS board においてクロックの位相を調整することが必須となる。この章では、

PS board におけるクロックの位相合わせを可能にするための、クロック位相制御及びクロック位相測定について述べる。

PS board は図 2.11 に示したように、TGC 検出器上に設置されるため加速器が稼働している間はもちろん、加速器が稼働していない間も容易にアクセスすることができない。このためクロック位相合わせのための位相制御及び位相測定は遠隔で行う必要がある。遠隔でのクロック位相制御については 4.2 節で、JATHub を用いた遠隔でのクロック位相測定については 4.3 節で説明する。

4.2 遠隔でのクロック位相制御

図 4.1

51

Clocking Wizard IP コアのブロック図 [17]。clk in1 ポートがクロック入力ポート、clk out1

ポートがクロック出力ポートである。また psclk, psen, psincdec, psdone ポートは Dynamic Phase

Shift 機能のためのポートであり、locked ポートが安定したクロックを出力できていることを示すポー
ト、resetn ポートが MMCM のリセットをするためのポートである。

4.2

遠隔でのクロック位相制御

FPGA におけるクロック位相制御のために、Xilinx 社から提供されている Clocking Wizard IP コ
14

ア [17] における、“Dynamic Phase Shift” と呼ばれる機能を用いる。Clocking Wizard IP コアは

MMCM や PLL のクロック生成機能を使うための IP コアであり、Dynamic Phase Shift 機能は MMCMにのみ搭載されている機能である。Dynamic Phase Shift 機能を使うための Clocking Wizard IP コアのブロック図を図 4.1 に示す。ブロック図における clk in1 ポートがクロック入力ポート、clk out1 ポー
トがクロック出力ポートである。また psclk, psen, psincdec, psdone ポートは Dynamic Phase Shift 機
能のためのポートであり、locked ポートが安定したクロックを出力できていることを示すポート、resetn
ポートが MMCM のリセットをするためのポートである。PS board においては固定位相で再構成した

40 MHz クロックを入力 (clk in1 ポートに入る) として、位相がシフトした 40 MHz クロックを出力する (clk out1 ポートから出てくる)。PP ASIC に供給するクロックの位相を制御する必要があるため、Clocking Wizard IP コアは図 3.8 における Delay の位置に挿入する。
MMCM において安定した出力をもたらす電圧制御発振器 (Voltage Controlled Oscillator; VCO) の
周波数 (FVCO ) は、Clocking Wizard IP コアによって自動的に計算される。入力を 40 MHz、出力を40 MHz として設定した時には FVCO = 1 GHz となる。Dynamic Phase Shift 機能においては、psen
ポートにパルスを入れることによって 1/(56FVCO ) ずつ出力クロックの位相をシフトすることができる。
つまり、PS board においては 1/56 ns (≃ 18 ps) ずつ出力クロックの位相をシフトすることが Clocking

Wizard IP コアによって可能となる。また psincdec ポートが “1” の場合には出力クロックの位相が進
み、“0” の場合には出力クロックの位相が遅れる。
図 4.2 に実際に Clocking Wizard IP コアを用いた時の、Dynamic Phase Shift 機能によるクロック位相制御の様子を示す。PS board における実装と同様に、入力を 40 MHz、出力を 40 MHz のクロックと14 Intellectual Property Core の略、機能ごとにまとめられた、既に開発・検証をされており再利用可能である回路コンポー

ネントの設計情報

第 4 章 遠隔でのクロック位相制御及び JATHub によるクロック位相測定

52(a) シフト前のクロック波形(b) シフト後のクロック波形

図 4.2

Clocking Wizard IP コアによるクロックの位相制御。横軸は 10 ns/div であり、図 4.2(a)と図 4.2(b) は同じ時間原点を持つ。入力を 40 MHz、出力を 40 MHz のクロックとしている。図4.2(a) にシフト前のクロックの波形を、図 4.2(b) にシフト後のクロックの波形を示す。この場合にはpsincdec が “0” であり、psen に 350 回パルスを打ち込んでいる。つまり 40 MHz クロックの位相を
6.25 ns (= 1/56 ns × 350) だけ遅らせている。

している。図 4.2(a) にシフト前のクロックの波形を、図 4.2(b) にシフト後のクロックの波形を示す。この場合には psincdec が “0” であり、psen に 350 回パルスを打ち込んでいる。つまり 40 MHz クロックの位相を 6.25 ns (= 1/56 ns × 350) だけ遅らせている。
このようにして Clocking Wizard IP コアの psen ポートにパルスを打ち込むことによって 18 ps の精
度で LHC バンチ交差クロックの位相を制御することができる。つまり、SL から PS board FPGA 内の

Clocking Wizard IP コアの psen ポートに繋がるレジスタを制御することによって遠隔でのクロック位
相制御を行うことが可能となる。

4.3

JATHub による遠隔でのクロック位相測定

PS board 上の LHC バンチ交差クロックの位相を合わせるためには、それぞれの PS board 上のクロックの位相測定を行う必要がある。この位相測定の役割を JATHub が果たす。JATHub は 2.2.2 節で述べたように、最大 11 枚の PS board と Cat 6 ケーブルによって接続される。PS board はクロックジッター
クリーナーから FPGA に入る LHC バンチ交差クロック (図 3.8 参照) を JATHub へ送る。JATHub は

LHC バンチ交差クロックと同じ周波数を持ち、LEMO コネクターから入るクロック位相測定のための基準クロック (LEMOCLK と呼ぶ) を参照してクロック位相測定を行う。この位相測定は JATHub 上のZynq SoC の FPGA 部分で行われ、CPU 部分へ測定結果が渡される。これによって測定結果がイーサ
ネット経由で遠隔から取得可能となる。

4.3 JATHub による遠隔でのクロック位相測定

53

Clock Phase monitor
reference clock(LEMOCLK)

Clock from
PS board 
Clock from
PS board 
図 4.3

JATHub におけるクロック位相測定のコンセプト。クロック位相測定の基準クロックである
LEMOCLK の立ち上がりで、PS board から送られるクロックをサンプリングし、クロック位相制御機構を用いて PS board における LHC バンチ交差クロックの位相を 18 ps だけ進めることを繰り返
2 はクロック○
1 のすことでクロックの位相を 2π すべてスキャンすることができる。図中のクロック○位相をある程度進めたクロックを示している。

JATHub におけるクロック位相測定のコンセプトを図 4.3 に示す。まずクロック位相測定の基準ク
ロックである LEMOCLK の立ち上がりで、PS board から送られるクロックをサンプリングする (このサンプリングは D フリップフロップ15 を用いて行われる)。次に 4.2 節で述べたクロック位相制御機構
を用いて、PS board における LHC バンチ交差クロックの位相を 18 ps だけ進める。そしてこの位相の1000 
“1”

1000 
“1”

PS board からのクロックを再び LEMOCLK の立ち上がりでサンプリングする。この手順を 1400 回(a) 25 ns 全体の位相測定結果



/ns



/ns

(b) 立ち上がり部分を拡大した結果

図 4.4

JATHub によるクロック位相測定結果の例。図 4.4(a) が 25 ns 全体の測定結果を、図 4.4(b)が立ち上がり部分を拡大した結果を示している。横軸は PS board FPGA 上のクロック位相制御機構
によるクロックのシフト時間を表しているため、クロックの位相と等しい。縦軸は 1000 回のサンプルのうち “1” と判定された回数であり、誤差棒は 1000 回のサンプリングを 1000 回繰り返した時のデー
タが 68.3 % だけ入る範囲を示している。

15 クロックの立ち上がりエッジでの入力の値が出力として保持されるようなフリップフロップ

第 4 章 遠隔でのクロック位相制御及び JATHub によるクロック位相測定1000 
“1”

1000 
“1”

54





/ns

(a) 測定の再現性の確認 (25 ns 全体)





/ns

(b) 測定の再現性の確認 (立ち上がり部分)

JATHub によるクロック位相測定の再現性。黒点が 1 回目の測定、赤点が 2 回目の測定、緑点が JATHub を再コンフィギュレーションした後に測定を行なった結果である。
図 4.5(= 25 ns/(1/56 ns)) 繰り返すことで、40 MHz クロックの位相を 2π すべてスキャンすることができる。
クロックの立ち上がりや立ち下がりの部分では、クロックの電圧は High と Low16 の間の値をとる。このため、この部分をサンプリングした結果は、ある確率で “1” もしくは “0” が出力される (High に近ければ近いほど “1” が出力される確率が高まり、Low に近ければ近いほど “0” が出力される確率が高まる)。
つまり、JATHub におけるサンプリングは複数回行う必要があり、本研究における実装では 1 つの位相に対して 1000 回サンプリングすることを 1000 回繰り返し、“1” と判定された回数を保存する、という実装を行なった。JATHub によるクロック位相測定の結果の例を図 4.4 に示す。図 4.4(a) が 25 ns 全体の測定結果を、図 4.4(b) が立ち上がり部分を拡大した結果を示している。横軸は PS board FPGA 上のクロック位相制御機構によるクロックのシフト時間を表しているため、クロックの位相と等しい。縦軸は1000 回のサンプルのうち “1” と判定された回数であり、誤差棒は 1000 回のサンプリングを 1000 回繰り返した測定結果のうち 68.3 % が含まれる範囲を示している。

JATHub による測定の再現性は、同じクロックを同じ RJ45 ジャックに入れ、そのクロックの位相を 3回測定することで確かめた (図 4.5 参照)。図 4.5 における黒点が 1 回目の測定、赤点が 2 回目の測定、緑点が JATHub を再コンフィギュレーションした後に測定を行なった結果である。十分に良い測定の再現性が確認された。

JATHub は最大 11 枚の PS board からクロックを受けるが、様々な要素によって同じ位相のクロックが入力されていたとしても測定結果が異なる。図 4.6 に、1 つの JATHub に備えられた 11 個の RJ45
ジャックに同じ位相のクロックを入れた時の、それぞれのクロックの測定結果を示す。どの色がどの

RJ45 ジャックに入力したクロックの測定結果であるかはここでは重要ではないため明記しない。図4.6(b) から分かるように同じ位相のクロックが入力されているのにも関わらず、測定結果には最大 700 ps
程度の違いがある。この測定結果の違いを引き起こす要因として考えられるのは、

16 PS board から出力されるクロックは High = 3.3 V, Low = 0 V551000 
“1”

1000 
“1”

4.3 JATHub による遠隔でのクロック位相測定(a) クロック測定結果の比較 (25 ns 全体)

図 4.6

/ns





/ns

(b) クロック測定結果の比較 (立ち上がり部分)

JATHub における 11 個の入力クロックに対する測定結果の比較。図 4.6(b) から分かるように同じ位相のクロックが入力されているのにも関わらず、測定結果には最大 700 ps 程度の違いがある。

• LVDS レシーバ17 の出力スキュー18• JATHub 基板上の配線長 (LVDS レシーバの出口から FPGA の I/O ピンまで) の違い• FPGA 内の配線長 (FPGA の I/O ピンからサンプリングされる D フリップフロップまで) の違いが挙げられる。この中で LVDS レシーバの出力スキューと JATHub 基板上の配線長の違いはハードウェ
アに起因するものであり、基板の設計によって測定結果に違いが出る部分である。LVDS レシーバの出力
スキューは最大 1 ns [18]、JATHub 基板上の配線長の違いは最大 75 ps である。一方、FPGA 内の配線長の違いはファームウェアの工夫で削減することができる部分になっている。FPGA 内の配線でクロッ
ク位相測定結果の違いに寄与するのは、FPGA の I/O ピンから、基準クロックによってサンプリングされる D フリップフロップまでの配線である。この配線の長さを、11 個の入力に対して統一することによって FPGA 内の配線長の違いによる測定結果の違いへの寄与を最小化することができる。本研究では

ILOGIC [19] と呼ばれる、FPGA のそれぞれの I/O ピンのすぐ横に位置するフリップフロップを用いる
ことによって、I/O ピンから D フリップフロップまでの配線長の違いを最小化した。ILOGIC を用いた
時の JATHub によるそれぞれのクロックの測定結果を図 4.7 に示す。図 4.7(b) から分かるように同じ位相のクロックを入力すると、測定結果には最大 300 ps 程度の違いがある。ILOGIC の導入により FPGA
内の配線長の違いが最小化され、ILOGIC を導入していない図 4.6 と比較して、測定結果の違いが小さくなっていることが分かる。この測定結果の違いは主に LVDS レシーバの出力スキューに起因するものであり同一ボードに対する再現性は確認された。一方で、異なる JATHub (異なる LVDS レシーバ個体) で試験を行なった時には、11 個の入力に対する測定結果の位相関係は図 4.7 とは異なることが確認できた。

O(100 ps) の精度でのクロック位相合わせを行うためにはここで議論した、同じ位相のクロックを入れた時の 11 個の入力に対する測定結果の違いをオフセットとして考慮することが必要となる。

17 PS board からのクロック信号は LVDS 規格の差動信号として出力されるため、JATHub において LVDS 信号をシングル

エンド信号に戻す必要がある
18 入力から出力までの遅延時間の素子間の時間差 (パーツの個体差に対応する)

第 4 章 遠隔でのクロック位相制御及び JATHub によるクロック位相測定1000 
“1”

1000 
“1”

56





(a) クロック測定結果の比較 (25 ns 全体)

/ns





/ns

(b) クロック測定結果の比較 (立ち上がり部分)

図 4.7 ILOGIC を導入した時の JATHub における 11 個の入力クロックの測定結果の比較。図4.7(b) から分かるように同じ位相のクロックが入力されている時には、測定結果には最大 300 ps 程度の違いがある。

4.4

全 PS board におけるクロックの位相合わせの戦略

4.2 節、4.3 節で述べたクロック位相制御機構、クロック位相測定機能を用いることで PS board における LHC バンチ交差クロックの位相合わせを行うことができる。2 枚の PS board を用いたクロックの位相合わせのデモンストレーションについては 6.3 節で詳しく説明する。この節では全 1,434 枚の PS

board におけるクロックの位相合わせの戦略について議論する。
SL と PS board 間の光ファイバーの長さは同サイド、同 1/12 セクター、同ステーションに属する PS
board については等しいため、TGC BW においては 48 種類 (= 2 × 12 × 2) の長さの SL, PS board 間のファイバーが存在する。しかし同じ長さであるとはいえ独立なファイバーである上、光レシーバ等の個体差は再構成されるクロックの位相に影響を及ぼすため、それぞれの PS board において独立にクロックの位相合わせを行う必要がある。
図 4.8 に全 PS board におけるクロックの位相合わせの全体像を示す。JATHub と PS board は等しい
長さの Cat 6 ケーブル (図 4.8 水色線) で繋がれるため、同じ JATHub に接続されている PS board については 4.2 節、4.3 節で述べたクロック位相制御機構、クロック位相測定機能を用いることで LHC バン
チ交差クロックの位相合わせを行うことができる。また 4.3 節で述べたように JATHub におけるクロッ
ク位相合わせには基準クロックを用いるため、異なる JATHub につながっている PS board 間の位相合わせを行うためには、それぞれの JATHub に同じ位相の基準クロックを分配する必要がある。同じ 1/12
セクターの中では、この基準クロックの分配は Mini-Rack 内の VME クレートに設置される Timing

Alignment Master (TAM) モジュール19 から、JATHub へ等長配線で行われる (図 4.8 緑線)。TAM モ
ジュールは PS board と同様に SL から光ファイバー経由で LHC バンチ交差クロックを受ける (図 4.8 ピ

19 TAM モジュールは Mini-Rack 内の VME クレートの VME マスター、及び JATHub の QSPI フラッシュメモリへのブートファイルの書き込みの役割も果たす。TAM モジュールの設計については付録 A で補足する。

4.4 全 PS board におけるクロックの位相合わせの戦略

57
ATLASSLSLATLAS

PS board

M1 PS-pack

PS board

A-sideC-side

A01

C01

A12

C12

TAM
moduleJATHubPS board

M2, M3 PS-pack

JATHubPS board

図 4.8

全 PS board におけるクロックの位相合わせの全体像。SL から PS board に伸びる青色、赤色の線が SL から PS board へクロックを分配する光ファイバーを示しており、同じ色は同じ長さの光ファイバーを意味する。同じ JATHub に接続されている PS board については 4.2 節、4.3 節で述
べたクロック位相制御機構、クロック位相測定機能を用いることでクロックの位相合わせを行う (水色線)。また、同じ 1/12 セクター内の異なる JATHub につながっている PS board 間の位相合わせを行うために、TAM モジュールから基準クロックを同じ 1/12 セクター内の JATHub へ等長配線で分配する (緑線)。TAM モジュールは PS board と同様に SL から光ファイバー経由で LHC バンチ交差
クロックを受ける (ピンク線)。異なる 1/12 セクター間での PS board の位相合わせを行うために隣接するセクターの TAM モジュールは接続される。A-side/C-side 間については、地下の作業で両サ
イドから基準クロックを引っ張り、オシロスコープを見ながら位相を合わせることになる。

ンク線)。一方、異なる 1/12 セクター間での PS board の位相合わせを行うためには、異なる 1/12 セク
ターでの TAM モジュールから分配する基準クロックの位相が一致している必要がある。1/12 セクター間での位相合わせを行うために、隣接する 1/12 セクターの TAM モジュールは接続される。TAM モ
ジュールは隣の 1/12 セクターの TAM モジュールから基準クロックを受け、その基準クロックに自分の基準クロックの位相を一致させる。このことによって同じサイド内の PS board の位相合わせを行うことができる。最後に A-side/C-side 間については、地下の作業で両サイドから基準クロックを引っ張り、オ
シロスコープを見ながら位相を合わせることになる。

58

第5章

不揮発性メモリを用いた自律型制御機構の実現
5.1

TGC 検出器システムにおけるエレクトロニクスの制御

2.2.2 節で述べたように、TGC 検出器システムにおける PS board では、適切な BCID を行うために
PP ASIC における可変遅延回路や陽子バンチ識別回路の適切な設定を行う必要がある。また、3.1 節で述
べた PS board における LHC バンチ交差クロックの位相を合わせるためには、クロックの遅延パラメー
タを指定しなければならない。これらのパラメータは PS board 毎に異なるが、それに対応するためにそれぞれの PS board に必要となるパラメータを組み込んだ別々のファームウェアを準備する (最大 1,434
種類のファームウェア) のではなく、1 種類のファームウェアを準備し、FPGA をコンフィギュレーショ
ンした後にパラメータを設定するという方法を取る。また、固定位相でのクロック再構成や SL とのデー
タ通信用シリアルリンクの確立もそれぞれのエレクトロニクス毎で行う必要がある。
現行の TGC 検出器システムでは、それぞれの PS board に必要となるパラメータの設定及び PS boardの動作モードを制御するために、ATLAS 回路室から SSW を経由する制御パスを利用する。この制御パ
スは JTAG プロトコルを使用しており、それぞれの PS board に逐次的にアクセスする。現行システム
においては、すべての PS board にパラメータを書き込むのに、4 分という比較的長い時間を要しており、システムに電源を入れる度に後段からパラメータを書き込むという設計になっている。
高輝度 LHC-ATLAS 実験における TGC 検出器システムでは、PS board は SL から制御する。SL からそれぞれの PS board へは別々に光ファイバーが繋がるため、すべての PS board へ並列にパラメータの設定や制御を行うことが可能である。しかしこの SL からの制御パスを用いたとしても、システムに電源を入れる度、あるいは PS board を再コンフィギュレーションする20 度に後段からパラメータを書き込まなければならない。本研究ではこの点に関して、不揮発性メモリを利用して必要となる情報を PS

board 自らが保存するという新たな発想の元で、エレクトロニクスの制御として必要となるパラメータの設定やクロックの再構成、通信上下線の再確立についてすべて自律的、自動的かつ高速に行う自律型制御機構の開発に取り組んだ。この自律型制御機構はファームウェアとして実装されており、自らが置かれて20 現行システムでは PS board には FPGA ではなく ASIC を用いているため、現行システムにおいて “PS board をコン

フィギュレーションする” という事象は起きない5.2 不揮発性メモリを利用した自律型制御機構の開発

59

いる状況を自分で認識し、外からの命令がなくとも必要な手続きを必要な順番で実行するものである。次節に自律型制御機構の詳細について説明する。

5.2

不揮発性メモリを利用した自律型制御機構の開発

FPGA を搭載したボードには QSPI フラッシュメモリが (ほとんどの場合) 搭載されている。QSPI フ
ラッシュメモリは不揮発性メモリであり、ボードの電源を落としたとしても中の情報は保持される。この QSPI フラッシュメモリは通常の場合 FPGA のファームウェアを収めるために設置されているが、“不揮発性” という性質を用いることによってさらなる使い道を見いだすことができる。本研究ではそれぞれのエレクトロニクスに必要となるパラメータを、ファームウェアが収められている領域とは別の QSPI
フラッシュメモリの領域に保存し、その情報を FPGA から読み取ることでシステムに電源を入れる度、あるいは FPGA を再コンフィギュレーションする度に行う必要があった後段からのパラメータの書き込みを不要とした。以下では PS board における自律型制御機構について説明するが、この機構は任意のFPGA 及び QSPI フラッシュメモリを搭載したボードに応用できるものとなっている。
QSPI フラッシュメモリに書き込む必要がある情報のうち、各 PS board 毎に異なるパラメータには以下のものがある。

• 8 個の PP ASIC に設定するパラメータ (224 bit × 8)
• LHC バンチ交差クロックに対する遅延パラメータ (12 bit)
• 1,434 枚の PS board を識別するための ID (11 bit)が挙げられる。これらの情報は PS board が所定の動作をするために必須となる情報であり、QSPI フ
ラッシュメモリへの放射線損傷によって QSPI フラッシュメモリ内のビットが反転すると致命的な動作不良をもたらす。このため本研究ではこれらの情報を 3 重化して QSPI フラッシュメモリ内に保存し、FPGA 内で多数決を取るという実装を行なった。つまり QSPI フラッシュメモリに納める必要がある
情報は 700 Byte 程度である。PS board のファームウェアの大きさは 10 MByte 程度である一方、PSQSPI flash ( ~ 700 Byte )16 MByte(32 MByte)

16 MByte(32 MByte)


図 5.1

 ( < 10 MByte )QSPI フラッシュメモリに収める情報。PS board のファームウェアは 10 MByte 以下の大きさ、パラメータ情報は 700 Byte 程度の大きさを持つため、PS board に搭載されている 16 MByte(量産の際には 32 MByte に変更の可能性あり) の QSPI フラッシュメモリに十分にファームウェア及びパラメータの情報を収めることができる。

第5章

60

不揮発性メモリを用いた自律型制御機構の実現

board の搭載されている QSPI フラッシュメモリの容量は 16 MByte (量産の際には 32 MByte に変更の可能性あり) であるため、残りのメモリ空間に PS board の動作を規定するパラメータを問題なく保存することができる (図 5.1 参照)。

PS board のファームウェアは、JATHub からの JTAG パスを用いて QSPI に書き込まれる。この書
き込みは JATHub 上の Xilinx Virtual Cable (XVC) と呼ばれる、遠隔で FPGA のコンフィギュレー
ションやデバッグを行うことができる機能を用いて実行する。XVC は Kintex-7 FPGA に繋がれている QSPI フラッシュメモリへの、アドレスのオフセットを持たせた書き込みは実行できない21 ため、オフセットを持たせる必要があるボード毎に異なるパラメータについては SL からの制御パスを利用して、

QSPI フラッシュメモリに繋がる SPI 線を SPI プロトコルに則って SL から操作することで書き込みを行う。現行システムの方法をそのまま使うと、システムに電源を入れる度、あるいは PS board を再コン
フィギュレーションする度に後段から PS board FPGA ヘのパラメータの書き込みを行う必要があるが、

QSPI フラッシュメモリに必要なパラメータを収めるという手法を取ることで、パラメータの書き込みは
1 回実行するだけで十分となる。
PS board における自律型制御機構は、PS board 上に設置されている水晶発振器からの 200 MHz のク
ロックを FPGA 内の MMCM (4.2 節で述べた Dynamic Phase Shift を行う MMCM とは異なることに注意) で 50 MHz まで分周したクロックによって駆動される。このため自律型制御機構は、再構成される

40 MHz の LHC バンチ交差クロックとは独立して働く。この分周を行う MMCM が安定したクロックを出力していることを示すロック信号 (図 4.1 における locked ポートから出力される) の立ち上がりを見ることで、自律型制御機構は電源が入れられたことや再コンフィギュレーションされたことを自動的に感知し、パラメータの設定やクロックの固定位相での再構成、通信上下線の再確立を開始する。まずパラメー
タの設定の部分について説明する。
図 5.2 に PS board における自律型制御機構のパラメータ設定部分の概要を示す。まず QSPI フラッシュメモリには、それぞれのボード毎に異なるパラメータが 3 重化して保存されている。自律型制御機構の中の Flash SPI Controller は、QSPI フラッシュメモリにつながっている SPI 線を SPI プロトコルに則って操作し、3 重化された内容を読み出す。放射線損傷によるビット反転に対する堅牢性を持たせるために、この 3 重化されたパラメータは 1 ビットずつ多数決が取られる。3 つの入力を A, B, C 、多数決を取った結果を V とすると多数決ロジックは式 (5.1) のように表される。

V = (A ∧ B) ∨ (B ∧ C) ∨ (C ∧ A)

(5.1)

多数決を取られたパラメータは次に、パラメータを FPGA 内で保持する Parameter Register に入る。

Parameter Register における情報の保持時間は実質的に長いため、SEU 対策のためにパラメータは 3 重化される。PP ASIC 用のパラメータは PP ASIC controller によって Parameter Register から読み取られ、8 個の PP ASIC それぞれに適切なパラメータが書き込まれる。また LHC バンチ交差クロックに対する遅延パラメータは MMCM controller が読み取り、Dynamic Phase Shift を行う MMCM の psen
ポート (図 4.1 参照) に遅延パラメータの回数だけパルスを打ち込むことにより、PS board 間のクロック

21 XVC はファームウェアを書き込むための機能であるため、Kintex-7 FPGA のファームウェアが収められるオフセット 0の位置以外への書き込みを実行することはできない

5.2 不揮発性メモリを利用した自律型制御機構の開発

61

PP ASIC
Kintex-7 FPGA

SPI protocol

PP ASIC controller

MMCM(Dynamic Phase Shift)

MMCM controller

FPGA register

Parameter register

Flash SPI controller
SPI protocol

QSPI flash
図 5.2

PS board における自律型制御機構のパラメータ設定部分の概要。自律型制御機構は電源が入れられたことや再コンフィギュレーションされたことを自動的に感知しパラメータの設定を開始する。

QSPI フラッシュメモリには、それぞれのボード毎に異なるパラメータが 3 重化して保存されている。
自律型制御機構の中の Flash SPI Controller は、QSPI フラッシュメモリにつながっている SPI 線を
SPI プロトコルに則って操作し、3 重化された内容を読み出した後にビット毎に多数決を取る (図中の Flash SPI Controller の中の記号は多数決を取ることを表している)。多数決を取られたパラメー
タは次に、パラメータを FPGA 内で保持する Parameter Register に入る。Parameter Register において情報を保持するときにも、SEU 対策のためにパラメータは 3 重化される (図中の Parameter
Register の中の記号はこの 3 重化を表している)。PP ASIC 用のパラメータは PP ASIC controllerによって Parameter Register から読み取られ、8 個の PP ASIC それぞれに適切なパラメータが書き込まれる。LHC バンチ交差クロックに対する遅延パラメータは MMCM controller が読み取り、
Dynamic Phase Shift を行う MMCM を操作することによって、PS board 間のクロックの位相合わせに必要となる遅延を LHC バンチ交差クロックにかける。PS board を識別するための ID は SL へ
送るデータフォーマットの一部に組み込まれる。

第5章

62

不揮発性メモリを用いた自律型制御機構の実現の位相合わせに必要となる遅延を LHC バンチ交差クロックにかける。最後に PS board を識別するための ID は SL へ送るデータフォーマットの一部に組み込まれる (図 B.1(c) 参照)。
上で説明した自律型制御機構による自動的なパラメータの設定は、PS board に電源が入れられた時や再コンフィギュレーションされた時のみならず、SL からソフトリセットを指示された時にも行われる。
また、QSPI フラッシュメモリの中に保存されているパラメータ情報に放射線損傷によるビット反転が生じていないかを監視するために、Flash SPI Controller は一定の時間間隔で QSPI フラッシュメモリ
からのパラメータの読み出しを行う (この時に Parameter Register へのパラメータの書き込みは行わない)。Flash SPI Controller が多数決を取る中でビット反転を感知した時には、PS board は SL へのデー
タフォーマット中のエラービットを立てる (図 6.9 参照) ことで、SL へビット反転が起きたことを知らせ、

SL は再び QSPI フラッシュメモリへのパラメータの書き込みを行うことでビット反転は解消される。
次に自律型制御機構の全体的な手順について説明する。その中でクロックの固定位相での再構成、SL>8on / -) #'*$)/ SL 
 &,1
QSPI %#!"&< 0Parameter Register
6=

GTX RX &*/*GTX TX &*-75(
9:

Dynamic Phase Shift(*&**23
(./GTX TX &*PP ASIC
%!*;3


図 5.3

+

RX4$)TX4$)自律型制御機構の全体的な手順 (PS board FPGA が電源を入れられた時、再コンフィギュ

レーションされた時、SL からソフトリセットを命令された時)。パラメータ設定の部分については、
QSPI フラッシュメモリからパラメータを読み取ってから Parameter Register にそのパラメータを書き込む。PP ASIC へのパラメータ設定は、LHC バンチ交差クロックに対して Dynamic Phase Shiftを行い、クロックジッタークリーナーから安定したクロックが供給された後に行う。一方、Dynamic
Phase Shift を行う前に安定した LHC バンチ交差クロックが再構成されている必要があるため、GTX
トランシーバーの RX 側のリセットのアサート/ディアサートをまず最初に行い、40 MHz の LHC バ
ンチ交差クロックを固定位相で再構成する。TX 側のリセットのディアサートは、Dynamic Phase
Shift を行い、クロックジッタークリーナーから安定したクロックが供給された後に行う。また、TX側のリセットのアサートは手順の最初に行い、データ送信は TX 側のリセット後にのみ行うように設計をした。

5.2 不揮発性メモリを利用した自律型制御機構の開発

63との通信上下線の再確立についても述べる。まず、PS board FPGA が電源を入れられた時や再コン
フィギュレーションされた時、SL からソフトリセットを命令された時の手順を図 5.3 に示す。パラメー
タ設定の部分については上で述べたように、QSPI フラッシュメモリからパラメータを読み取ってから

Parameter Register にそのパラメータを書き込む。また PP ASIC には適切な位相の LHC バンチ交差
クロックが供給される必要があるため、LHC バンチ交差クロックに対して Dynamic Phase Shift を行
い、クロックジッタークリーナーから安定したクロックが供給された (図 3.8 参照) 後に、PP ASIC ヘのパラメータ書き込みを行う。また、GTX トランシーバーの RX 側のリセットのアサート/ディアサー
ト22 はまず最初に行われ、3.4 節で述べた機構を用いて 40 MHz の LHC バンチ交差クロックを固定位相で再構成する。Dynamic Phase Shift 機構は、再構成クロックの確立、及び Paramter Register への書き込みの両方が完了した時に働く。TX 側には 3.5 節で述べたように LHC バンチ交差クロックを逓倍した

200 MHz の TX REFCLK をクロックジッタークリーナーから供給する必要があるため、TX 側のリセッ
トのディアサートは、Dynamic Phase Shift を行い、クロックジッタークリーナーから安定したクロックが供給された後に行う必要がある。また、TX 側のリセットのアサートは手順の最初に行い、データ送信
は TX 側のリセット後にのみ行うように設計をした。
上で説明したように、GT トランシーバーのリセットを行うためには適切な手順を踏む必要がある。こJATHub  GTX "&GTX RX  /  

Dynamic Phase Shift

GTX TX   #+*
,-  '( $%GTX TX   

PP ASIC  .(
!

図 5.4

RX)



TX)



自律型制御機構の全体的な手順 (JATHub による GTX トランシーバーのリセット信号を受け取った時)。GTX トランシーバーの RX 側のリセットのアサート/ディアサート、TX 側のリセットのアサートは最初に行う。GTX トランシーバー RX において、固定位相での 40 MHz クロックの再構成を行なった後に Dynamic Phase Shift を行う。その後にクロックジッタークリーナーから安定したクロックが出力されてから、PP ASIC ヘのパラメータ設定、及び TX 側のリセットのディアサートを行う。

22 アサートは信号を “0” から “1” にすること、ディアサートは “1” から “0” にすることを意味する。GT トランシーバーにおいてはリセット信号をアサートするとデータの送受信を停止し、ディアサートすると実際のトランシーバーのリセットが
始まる。

64

第5章

不揮発性メモリを用いた自律型制御機構の実現のため、2.2.2 節で説明した JATHub による GTX トランシーバーのリセット信号を PS board が受信した時にも自律型制御機構が働く必要がある。JATHub による GTX トランシーバーのリセット信号を受け取った時の手順を図 5.4 に示す。この場合にも GTX トランシーバーの RX 側のリセットのアサー
ト/ディアサート、TX 側のリセットのアサートは最初に行う。またパラメータ情報はすでに Parameter

Register に収められているため、QSPI フラッシュメモリからのパラメータの読み取りを再び行う必要はない。GTX トランシーバー RX において、固定位相での 40 MHz クロックの再構成を行なった後にDynamic Phase Shift を行う。その後、クロックジッタークリーナーから安定したクロックが出力されてから、PP ASIC ヘのパラメータ設定、及び TX 側のリセットのディアサートを行う。

PS board, JATHub, SL を用いた、PS board における自律型制御機構の性能評価については 6.4 節で
述べる。

65

第6章

高輝度 LHC-ATLAS 実験に向けた
TGC 検出器エレクトロニクスシステム
の統合試験
6.1

TGC 検出器エレクトロニクスシステムの統合試験の概要

第 3 章で述べた固定位相でのクロック分配・固定時間でのデータ転送、第 4 章で述べた PS board 上のクロックの位相合わせ、第 5 章で述べた自律型制御機構の試験を行うためには、それぞれのボード単体での試験だけではなく、PS board, JATHub, SL を接続した統合試験を行う必要がある。また最も重要な機能の一つである読み出しシステムの試験のためにも、ASD, PS board, SL を接続して、システム全体を統合したテストベンチを構築する必要がある。
高輝度 LHC-ATLAS 実験において用いる SL は 2021 年 10 月に第一試作機の製作が完了した段階であり、本研究で行なった統合試験では、高輝度 LHC-ATLAS 実験において用いる SL ではなく、試験用の SL23 を用いた。ASD, PS board, JATHub, SL を用いた統合試験を行うために、KEK にテストベン
チを構築した (図 6.1 参照)。PS board には 8 つの ASD が接続され、PS board と SL は 2 本の光ファ
イバーによって接続されている。また JATHub と PS board は 2 本の Cat 6 ケーブルで接続されている。SL は VME マスターによって制御され、PC ヘ読み出しデータをダンプする。このテストベンチ
は高輝度 LHC-ATLAS 実験で用いるエレクトロニクスの試験システムのプロトタイプであり、高輝度

LHC-ATLAS 実験の本番システムで用いる機能の実装と、運用経験に基づくシステム設計の洗練を目的としている。

SL から PS board への固定位相でのクロック分配について、JATHub を用いて位相の固定精度を測定した結果については 6.2 節で述べる。また、2 枚の PS board を用いたクロックの位相合わせのデモンス
トレーションについては 6.3 節で議論し、6.4 節では PS board における自律型制御機構の性能評価について述べる。最後に、読み出しシステムのデモンストレーションについて 6.5 節で説明する。

23 Run 3 で用いる SL であり、本研究での統合試験のサイズにおいては十分に高輝度 LHC-ATLAS 実験での SL の代用をすることができる

66

第 6 章 高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの統合試験()SL

ASDs
PS board

PS board

JATHub(a) KEK テストベンチの写真
Cat 6 × 2
VME backplane- JTAG-  JATHub
Zynq




PS board
PP ASICASDs
PP ASICPP ASICPP ASICEthernet
Switching Hub

VME



 

Kintex-7
FPGA
 
&$#


PS board
ASDs



(!%)
SL
"


PC

Kintex-7
FPGA(b) KEK テストベンチのブロック図

図 6.1

TGC 検出器エレクトロニクスシステムの統合試験の概要。図 6.1(a) に統合試験のためのKEK におけるテントベンチの写真を、図 6.1(b) にテストベンチのブロック図を示す。本研究で行なった統合試験では、高輝度 LHC-ATLAS 実験において用いる SL ではなく、試験用の SL を用いた。PS board には 8 つの ASD が接続され、PS board と SL は 2 本の光ファイバーによって接続されている。また JATHub と PS board は 2 本の Cat 6 ケーブルで接続されている。SL は VME マ
スターによって制御され、PC ヘ読み出しデータをダンプする。

6.2

固定位相でのクロック分配の JATHub による性能評価

SL から PS board への固定位相でのクロック分配について、3.4 節では必要となる機構について説明した。この節では固定位相でのクロック分配について、どの精度での位相の固定が実現できているのかの評価を行う。つまり、SL や PS board の再コンフィギュレーションや GT トランシーバーのリセットを複数回行う中で、PS board において再構成される 40 MHz のクロックの位相がどの程度変化するのかを測6.3 PS board 間のクロックの位相合わせのデモンストレーション

1000 
“1”

1000 
“1”

67





/ns

(a) クロック位相測定結果 (25 ns 全体)

図 6.2





/ns

(b) クロック位相測定結果 (立ち上がり部分)

PS board の再コンフィギュレーションに伴う再構成クロックの位相の変化。1 回再コンフィ

ギュレーションを行なった後に 1 回 JATHub によるクロックの位相測定を行うことを 10 回繰り返したため、10 個の測定結果を重ねて書いている。PS board の 10 回の再コンフィギュレーションに伴って 30 ps 程度の位相の変化が見えている。

定した。この測定は第 4 章で述べた、JATHub による PS board 上のクロックの位相測定機能を用いて行なった。
図 6.2 に PS board を 10 回再コンフィギュレーションした時の、PS board において再構成されるクロックの位相の変化を示す。再コンフィギュレーションを行なった後に JATHub によるクロックの位相測定を行うことを 10 回繰り返したため、図 6.2 には 10 個の測定結果を重ねて書いている。それぞれの色が何回目の測定に対応するかは重要ではないため明記しない。図 6.2 から分かるように、PS board の 10
回の再コンフィギュレーションに伴って 30 ps 程度の位相の変化が見えている。この位相の変化は、設定した到達目標である O(100 ps) の精度に対して十分に小さい値であり、十分に良い精度の固定位相でのクロック分配が実現できていることが確認できた。

PS board の再コンフィギュレーションと同様に、PS board の GT トランシーバー RX のリセット、
SL の再コンフィギュレーション、SL の GT トランシーバー TX のリセットについてもそれぞれ 10 回行
い、PS board において再構成される 40 MHz クロックの位相の変化を JATHub を用いて測定した。これらに場合においても観測された位相の変化は 30 ps 程度であり、設定した到達目標である O(100 ps) の精度に対して十分に小さい値である。

6.3

PS board 間のクロックの位相合わせのデモンストレーション

PS board 間のクロックの位相合わせについて、4.2 節、4.3 節で必要となる機構について説明した。この節では 2 枚の PS board を用いた、クロックの位相合わせのデモンストレーションについて説明する。
このデモンストレーションでは、2 枚の PS board を異なる長さのファイバーを用いて同じ SL に接続することで試験を行なった。また、クロック位相測定のために 2 枚の PS board を同じ JATHub に繋げた。図 6.3 に JATHub による、位相調整前のクロックの位相測定結果を示す。それぞれの色がそれぞれの PS board 上のクロックの測定結果を表している。この測定結果から、黒点の測定結果をもたらした

68

第 6 章 高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの統合試験

PS board 上のクロックの位相を (この場合には) 829/56 ns だけ進めれば十分に良い精度で位相が一致することを読み取ることができる。この遅延差は、光ファイバーの長さの違いから期待される遅延差と一致していることが確認できた。4.2 節で述べた、PS board 上のクロックの位相制御機構による位相調整を行なった後の位相測定結果を図 6.4 に示す。図 6.4(b) から、十分に良い精度でのクロックの位相合わせを実現できていることが確認できる (このデモンストレーションでは 4.3 節で述べた、JATHub のどの1000 
“1”

RJ45 ジャックを用いるかに依存する測定結果の違いを考慮していない)。



図 6.3



/ns

位相調整前のクロックの位相測定結果。それぞれの色がそれぞれの PS board 上のクロックの測定結果を表している。この測定結果から、黒点の測定結果をもたらした PS board 上のクロックの位相を (この場合には) 829/56 ns だけ進めれば十分に良い精度で位相が一致することを読み取るこ1000 
“1”

1000 
“1”

とができる。

(a) クロック位相測定結果 (25 ns 全体)



/ns



/ns

(b) クロック位相測定結果 (立ち上がり部分)

図 6.4

4.2 節で述べた、PS board 上のクロックの位相制御機構による位相調整を行なった後の位相測定結果。それぞれの色がそれぞれの PS board 上のクロックの測定結果を表している。十分に良い精度でのクロックの位相合わせを実現できていることが確認できる。

6.4 PS board における自律型制御機構の性能評価

6.4

69

PS board における自律型制御機構の性能評価

PS board における自律型制御機構の機能については 5.2 節で述べた。この自律型制御機構は、システ
ムに電源を入れた時のみならず、PS board FPGA に修復不可能な SEU エラーが発生し、JATHub に
よって PS board FPGA が再コンフィギュレーションされた後や、JATHub から GTX トランシーバーのリセット信号を受け取った時にも働く。FPGA の再コンフィギュレーションや GTX トランシーバーのリセットを行っている最中は、データを SL へ送ることができない。このため、FPGA の再コンフィ
ギュレーションや GTX トランシーバーのリセットを行った際に、自律型制御機構がリンクを再確立し、SL においてリンクが回復するまでの時間を計測することは重要である。

自動トランシーバーリセット
PS board が JATHub から GTX トランシーバーのリセット信号を受け取った時に、自律型制御機構
によって PS board, SL 間のリンクが回復するまでの時間を計測した結果を図 6.5 に示す (ここでは 60 回の測定を行なった)。具体的には SL の FPGA において計測した、PS board からの光リンクが回復するまでの時間である。なお、この時間計測での Dynamic Phase Shift によるクロックのシフト幅は 5 ns であり、280 回のシフトを行なったことに相当する。PS board における自律型制御機構の性能評価をするために図 6.5 における時間計測では、SL の GT トランシーバー RX において RXSLIDE の回数が奇数になるまで SL の GT トランシーバー RX のリセットを繰り返す (3.4 節参照) 時間は含めていない。図 6.5から分かるように、JATHub から GTX トランシーバーのリセット信号を受け取った時に、自律型制御
機構がリンクを再確立し、SL においてリンクが回復するまでの時間は 196.5 ∼ 199 ms 程度である。自律型制御機構の手順の中で最も時間がかかるのは MMCM による Dynamic Phase Shift が終わってから、

Entries / 0.2 ms

クロックジッタークリーナーが安定したクロックを出力するまで待つ時間であり、全体の時間の約 99 %SL
図 6.5



/ ms

PS board の GTX トランシーバーのリセットに伴うリンク切れ時間分布。JATHub から
GTX トランシーバーのリセット信号を受け取った時に、自律型制御機構がリンクを再確立し、SL においてリンクが回復するまでの時間は 196.5 ∼ 199 ms 程度である。

第 6 章 高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの統合試験

70

JATHub  GTX 

GTX RX 
/

0.4 ~ 2.8 ms

78 μs
(

% 5 ns "!)195.35 ms

0.4 msDynamic Phase Shift

'&
()

GTX TX 





 
#$ PP ASIC*$GTX TX 



図 6.6

GTX トランシーバーのリセットの際に自律型制御機構の各手順に必要となる時間。自律型制御機構の手順の中で最も時間がかかるのは MMCM による Dynamic Phase Shift が終わってから、クロックジッタークリーナーが安定したクロックを出力するまで待つ時間であり、全体の時間の約 99 % を占める。時間分布の幅を形成するのは主に、固定位相でのクロックの再構成を行う際に、

RXSLIDE の回数が奇数になるまで GT トランシーバー RX のリセットを繰り返す手順である。

(195.35 ms 程度) を占める。また時間分布の幅を形成するのは主に、固定位相でのクロックの再構成を行う際に、RXSLIDE の回数が奇数になるまで GT トランシーバー RX のリセットを繰り返す手順である。

GT トランシーバー RX のリセットを 1 回行うには 0.4 ms 必要であり、本計測では最大 6 回の GT トラ
ンシーバー RX リセットを行なった事象が存在した。PS board において計測したそれぞれの手順に必要となる時間を図 6.6 にまとめる。

自動 FPGA 再コンフィギュレーション
PS board が JATHub から再コンフィギュレーション信号を受け取った時に、PS board の FPGA がQSPI フラッシュメモリ内のファームウェアによってコンフィギュレーションされ、自律型制御機構によって PS board, SL 間のリンクが回復するまでの時間を計測した結果を図 6.7 に示す (ここでは 30 回の測定を行なった)。なお、この時間計測での Dynamic Phase Shift によるクロックのシフト幅は 5 nsである。GTX トランシーバーのリセットに伴うリンク切れ時間の計測と同様に、SL の GT トランシー
バー RX において RXSLIDE の回数が奇数になるまで SL の GT トランシーバー RX のリセットを繰り返す時間は含めていない。図 6.7 から分かるように、JATHub から再コンフィギュレーション信号を受け取った時に、PS board の FPGA が QSPI フラッシュメモリ内のファームウェアによってコンフィ
ギュレーションされ、自律型制御機構がリンクを再確立し、SL においてリンクが回復するまでの時間は

4, 218 ∼ 4, 233 ms 程度である。手順の中で最も時間がかかるのは FPGA がコンフィギュレーションされるのにかかる時間であり、全体の時間の約 95 % (4, 018 ms 程度) を占める。また時間分布の幅を主に形成するのも FPGA がコンフィギュレーションされるのにかかる時間である。
現行の TGC システムではすべての PS board にパラメータを書き込むのに 4 分という比較的長い時間

6.5 読み出しシステムのデモンストレーション

Entries / 1 ms

71SL



/ ms

図 6.7

PS board FPGA の再コンフィギュレーションに伴うリンク切れ時間分布。JATHub から
再コンフィギュレーション信号を受け取った時に、PS board の FPGA が QSPI フラッシュメモリ内のファームウェアによってコンフィギュレーションされ、自律型制御機構がリンクを再確立し、SL においてリンクが回復するまでの時間は 4222 ∼ 4233 ms 程度である。

がかかる。この時間の長さは、ATLAS 回路室からの狭い通信帯域を用いていること、及び PS board への逐次的なアクセスを行なっていることに起因する。本研究で開発した自律型制御機構を用いることにより、これらの問題を最適な解で解決した。具体的には PS board へのパラメータの設定のみならず、PSboard FPGA の再コンフィギュレーション、パラメータの設定、及び通信上下線の確立をすべての PS
board で並列に行うことが可能となり、わずか 4 秒ですべての PS board がデータ収集に向けて万全の態
勢となることがこの時間測定によって明らかとなった。

6.5

読み出しシステムのデモンストレーション

PS board から送られるデータを SL で読み出すシステムの実証は、データ収集システムに必須となる試験である。本研究では ASD のテストパルス機能 (2.2.2 節参照) を用いて、読み出しシステムのデモン
ストレーションを行なった。
まず PS board, SL 間のデータフォーマットについて説明する。このデータフォーマットに実装すべき項目を以下に列挙する。

• 40 MHz で、決まったフォーマットを固定長で送り続ける (PS board → SL, SL → PS board)• PS board 1 枚が担当する全 256 チャンネルのヒット情報を送る (PS board → SL)• TTC 信号を配布する (SL → PS board)• 制御・監視用の通信を担う (PS board → SL, SL → PS board)
これらの要求を満たすデータフォーマットを定義した。SL から PS board へのデータフォマットの概要を図 6.8 に示す。ワード 0 はヘッダーであり Comma を含んでいる。またワード 0 には PS board のソ
フトリセットを指示するビット (Soft Reset)、テストパルスを指示するビット (TPT)、BCID のリセッ

第 6 章 高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの統合試験

72
SFP+ 0Forth byte [31:24]

Words (32-bit)
Word-00x0

Word-1

Soft Reset

TPT

1'b0

8'b0

4'b0

8'b0

Word-4

Second byte [15:8]

4'b0

First byte [7:0]

BCID [11:0]
DAC Bitmap [1:0]

Address

Word-2
Word-3

Third byte [23:16]
BCR

SCL

SDA

1'b0

Comma = 0xbc
CS Bitmap [10:0]
Command

FPGA TP pattern ID
Footer = 0x0e0d

SPIRST SIRSTB SCLK SDI
Data

SL Full board ID

図 6.8

SL から PS board へのデータフォーマットの概要。ワード 0 はヘッダーであり Comma、PS board のソフトリセットを指示するビット (Soft Reset)、テストパルスを指示するビット (TPT)、BCID のリセットを指示するビット (BCR)、及び BCID が含まれている。ワード 1 は PS board 上の素子をビットバンキングによって制御するためのワードである。ワード 2 の 32 bit 及びワード 3 の下位 16 bit は、PS board FPGA 内のレジスタの書き込み、読み出しを行うためのものである。ワー
ド 3 の 3 バイト目は PS board FPGA からのテストパルスのパターンを指示するものであり、ワード
4 はフッターである。

トを指示するビット (BCR)、及び BCID が含まれている。ワード 1 は PS board 上の素子 (QSPI フラッシュメモリ, PP ASIC, クロックジッタークリーナー, DAC, ADC) をビットバンキング24 によって制御するためのワードであり、基本的にはデバッグ用である。ワード 2 の 32 bit 及びワード 3 の下位 16 bit
は、PS board FPGA 内のレジスタの書き込み、読み出しを行うためのものである。ワード 3 の 3 バイ
ト目は PS board FPGA からのテストパルス25 のパターンを指示するものであり、ワード 4 はフッターである。

PS board から SL へのデータフォーマットの概要を図 6.9 に示す。PS board は 2 本の光ファイバーを用いて SL へデータを送るため、図 6.9 では 2 つのデータフォーマットを SFP+0、SFP+1 と分けて書いている。ここではデバッグ用ではない、加速器運転中に用いるデータフォーマットを示す。デバッグ用のデータフォーマット詳細については付録 B で補足する。PS board から SL へのデータフォーマットは、
ワード 0 が Comma を含むヘッダーであり、ワード 1 からワード 4 に TGC 検出器からのヒット信号が入っている。ワード 1 からワード 4 のデータフォーマットの詳細についても付録 B で補足する。SFP+0のデータフォーマットのワード 0 には、データフォーマットの種類を示すビット (Status bit)、QSPI フ
ラッシュメモリの中のパラメータ情報にビット反転が起きていないかを示すビット (QSPI status)、ク
ロックジッタークリーナーが安定したクロックを出力しているか示すビット (Si5345 Lock)、PP ASIC が正常に働いているか (PLL がロックしているか、SEU エラーが生じていないか) を示すビット (PP ASIC

status)、PS board FPGA に実装された SEM の状態を示すビット (SEM status)、BCID が含まれている。一方で、SFP+1 のデータフォーマットのワード 0 には BCID、PS board の ADC、DAC、電圧、及び温度に対するモニタリングデータ、及び PS board FPGA 内のレジスタの値の情報が含まれる。
上で説明したデータフォーマットを用いて行なった、読み出しシステムのデモンストレーションの概要
を図 6.10 に示す。(試験用の) SL から PS board に ASD テストパルスを打つように命令 (図 6.8 における “TPT” を利用) することで、PP ASIC は 25 ns 幅のパルス信号をテストパルストリガーとして ASDに送る。ASD ボードはテストパルストリガーを受信したタイミングで、全 16 チャンネルに同時に検出器

24 送信信号の生成、及び受信信号の処理を行うのに専用ハードウェアを用いるのではなく、ソフトウェアによって素子のコント

ロールを行う方法の総称
25 ASD を繋げることなく、PS board FPGA においてヒットパターンを生成するテストパルス

6.5 読み出しシステムのデモンストレーション

73

SFP+ 0Word (32 bit)

Forth byte [31:24]
Status bit [1:0] = 2'b11 xADC readWord-0

ADC read

Third byte [23:16]

DAC read DAC write

QSPI status

Si5345 Lock

Word-132 bit hit data

Word-232 bit hit data

Word-332 bit hit data

Word-432 bit hit data

PP ASIC status SEM status [2:0]Second byte [15:8]

First byte [7:0]

BCID [11:0]

Comma = 0xbc

Second byte [15:8]

First byte [7:0]

BCID [11:0]

Comma = 0xbc

SFP+ 1
Word (32 bit)

Forth byte [31:24]

Word-0PS data [7:0]

Third byte [23:16]
Data type [3:0]Word-132 bit hit data

Word-232 bit hit data

Word-332 bit hit data

Word-432 bit hit data

図 6.9

PS board から SL へのデータフォーマットの概要。PS board は 2 本の光ファイバーを用いて SL へデータを送るため、図では 2 つのデータフォーマットを SFP+0、SFP+1 と分けて書いている。ワード 0 が Comma を含むヘッダーであり、ワード 1 からワード 4 に TGC 検出器からのヒット
信号が入っている。SFP+0 のデータフォーマットのワード 0 には、データフォーマットの種類を示す
ビット (Status bit)、QSPI フラッシュメモリの中のパラメータ情報にビット反転が起きていないかを示すビット (QSPI status)、クロックジッタークリーナー (Si5345) が安定したクロックを出力しているか示すビット (Si5345 Lock)、PP ASIC が正常に働いているか (PLL がロックしているか、SEU
エラーが生じていないか) を示すビット (PP ASIC status)、PS board FPGA に実装された SEM の状態を示すビット (SEM status)、BCID が含まれている。一方で、SFP+1 のデータフォーマットの
ワード 0 には BCID、PS board の ADC、DAC、電圧、及び温度に対するモニタリングデータ、及び PS board FPGA 内のレジスタの値の情報が含まれる。

応答を模したテストパルス信号を入力する。ASD テストパルスはまず ASD でデジタル信号に変換されてから、PP ASIC の可変遅延回路において遅延をかけられ、陽子バンチ識別回路によって BCID される。その後は PS board FPGA によって SL に転送された後に SL FPGA 内の L0 バッファに収められ、

SL FPGA 内で生成される L0A に対応して PC へダンプされる。
PC
ASDs

PS board
PP ASICDelay
PP ASICBCID 

Kintex-7
FPGA

PP ASIC
図 6.10()
SL

 

 

PS board
PP ASIC 

Kintex-7
FPGA

読み出しシステムのデモンストレーションの概要。SL から PS board に ASD テストパル

スを打つように命令し、ASD から ASD テストパルスが 40 MHz クロックに同期して、すべてのチャンネルから同時に出力される。ASD テストパルスは PP ASIC の可変遅延回路において遅延をかけられてから、陽子バンチ識別回路によって BCID される。その後は PS board FPGA によって SL に転送された後に SL FPGA 内の L0 バッファに収められ、SL FPGA 内で生成される L0A に対応して

PC へダンプされる。

第 6 章 高輝度 LHC-ATLAS 実験に向けた TGC 検出器エレクトロニクスシステムの統合試験
Efficiency

741Previous BC
Current BC

Next BC

0.8
0.6
0.4
0.2
0
0

10

20

30

40
50
PP ASIC delay / ns

図 6.11

Delay Curve の例。ある ASD の 16 チャンネル分をまとめて書いている。陽子バンチ識別回路の有効ゲート幅を 25 ns、可変遅延回路の刻み幅を 1.19 ns に設定した。遅延が 0 ns の時にアサインされる BCID を Previous BC、Previous BC のそれぞれ 1 BC, 2 BC 後を Current BC, Next BCと呼ぶ。遅延を増やすことによって、ASD テストパルスが順に Previous BC, Current BC, Next
BC と BCID されていることがわかる。

まず SL において、PS board からの BCID の連続性を確認することによって SL, PS board 間のリンクが正しく確立できていることを確認した。また、読み出しシステム及び SL から PS board への制御パスの実証のために “Delay Curve” の作成を行なった。この Delay Curve は、PP ASIC の可変遅延回路の遅延を変化させた時に、ヒット信号 (ここでは ASD テストパルス) がどのように BCID されるのかを示すものである。図 6.11 に、ある ASD における Delay Curve を示す (16 チャンネル分をまとめて書いている)。この試験では陽子バンチ識別回路の有効ゲート幅を 25 ns に設定したため、1 つのヒットは 1 つの BCID にのみアサインされる (2.2.2 節参照)。また、可変遅延回路の刻み幅を 1.19 ns に設定し、50 ns(= 2 バンチ分) の遅延を可能とした。図 6.11 では、遅延が 0 ns の時にアサインされる BCID を Previous
BC、Previous BC のそれぞれ 1 BC, 2 BC 後を Current BC, Next BC と呼んでいる。遅延を増やすことによって、ASD テストパルスが順に Previous BC, Current BC, Next BC と想定どおり BCID されていることがわかる。Delay Curve の作成によって、SL から PS board への制御パス (特に PP ASIC へのパラメータ設定)、及び ASD, PS board, SL への読み出しパスが正しく働くことを実証した。この Delay

Curve の作成はタイミングキャリブレーションとして重要であり、正しい BCID を行うために必須である。このため実際の TGC のセットアップにおいても行うものである。

75

第7章

高輝度 LHC-ATLAS 実験におけるTGC 検出器システムのオペレーションモデル
本章では、高輝度 LHC-ATLAS 実験での TGC 検出器エレクトロニクスシステムにおいて各エレクト
ロニクスにもたせる機能を整理し、システム全体のブートや回復のシークエンスについて議論する。

7.1

TGC 検出器エレクトロニクスの機能整理

2.2.2 節、及び 4.4 節で説明したように、高輝度 LHC-ATLAS 実験での TGC 検出器エレクトロニク
スシステムの主な構成要素は、PS board, JATHub, TAM モジュール, SL (上のメイン FPGA, Zynq

MPSoC, IPMC) である。それぞれのエレクトロニクスの接続の概要を図 7.1 に示す。なお QSPI フラッシュメモリは FPGA の配下にある存在であることから、図 7.1 及び以下の説明において FPGA と QSPI
フラッシュメモリ間の経路を示さない。
以下では図 7.1 を参照しながら、これまで説明した技術を元にしてそれぞれのエレクトロニクスにもたせる機能を整理する。

SL 上の Zynq MPSoC
SL 上の Zynq MPSoC のインターフェイス及び機能については以下のようにまとめることができる。
• インターフェイス– OPC UA server26 経由での、イーサネット通信を介した上位のコントロールシステムとの通信– AXI Chip2Chip27 経由での、SL メイン FPGA との通信 (図 7.1 中の経路 A)– JTAG 線経由での、SL メイン FPGA との通信 (図 7.1 中の経路 B)

26 Open Platform Communications Uniﬁed Architecture server の略。Zynq MPSoC 上にソフトウェアとして実装され、コントロールシステムとの通信をを担う
27 AXI プロトコルに従った FPGA 間の安全な通信を行うための IP コア

第7章

76

高輝度 LHC-ATLAS 実験における TGC 検出器システムのオペレーションモデル

TAM 

SL

FPGA
E
G

H

I

D

JATHub


FPGA
B

Zynq

A

Zynq
MPSoC

F
C

PS board

IPMC
FPGA

図 7.1

TGC 検出器エレクトロニクスの接続の概要。より上位のコントロールシステムとの接続、及び他検出器のエレクトロニクスとの接続は記していない。SL 上の Zynq MPSoC は AXI Chip2Chip
経由 (図中 A)、及び JTAG 線経由 (図中 B) で SL メイン FPGA と接続されており、IPMC とも接続されている (図中 C)。SL メイン FPGA は、Zynq MPSoC と接続されていると共に、PS board (図中 D)、TAM モジュール (図中 E) と光ファイバーによって接続されている。JATHub と PS board
及び JATHub と TAM モジュールは Cat 6 ケーブルで接続されている (図中 F, G)。TAM モジュー
ルは JATHub の VME マスターとして働く (図中 H) と共に、JATHub へクロック位相測定のための基準クロックを分配する (図中 I)。

– IPMC とのシリアル通信 (図 7.1 中の経路 C)• コントロールに関する機能– SL 上の QSPI フラッシュメモリへの、SL メイン FPGA のファームウェアの書き込み (経路B)。Zynq MPSoC のプロセッサー上の XVC アプリケーションが外部サーバーで走る Vivado
Hardware Manager アプリケーションからのコマンドをイーサネット経由で受信し、SL ボー
ド上の JTAG 線の制御を行うことで実現する。

– SL 上の QSPI フラッシュメモリへの、SL メイン FPGA に必要となるパラメータ情報の書き込み (経路 A)。Zynq MPSoC のプロセッサー上のソフトウェアアプリケーションが、SL メ
イン FPGA を介して SPI 線を制御 (ビットバンギング) し、実現する。

– PS board の QSPI フラッシュメモリへの、PS board FPGA に必要となるパラメータ情報の書き込み (経路 A, D)。Zynq MPSoC のプロセッサー上のアプリケーションが、SL メイン

FPGA、光通信、PS board 上の FPGA を介して、PS board 上の SPI 線を制御 (ビットバン
ギング) し、実現する。

– TAM モジュールの QSPI フラッシュメモリへの、TAM モジュール FPGA に必要となるパラメータ情報の書き込み (経路 A, E)。Zynq MPSoC のプロセッサー上のアプリケーション
が、SL メイン FPGA、光通信、TAM モジュール上の FPGA を介して、TAM モジュール上の SPI 線を制御 (ビットバンギング) し、実現する。

7.1 TGC 検出器エレクトロニクスの機能整理

77– JATHub の QPSI フラッシュメモリへの、JATHub ブートファイルの書き込み (経路 A, E,
H)。Zynq MPSoC のプロセッサー上のアプリケーションが、SL メイン FPGA、光通信、
TAM モジュール上の FPGA、VME backplane を介して、JATHub 上の SPI 線を制御 (ビットバンギング) し、実現する。

– SL / PS board / TAM モジュールの QSPI フラッシュメモリに入っている、パラメータ情報のバリデーション (経路 A, D)。QSPI フラッシュメモリへのパラメータ情報の書き込みと同様に、Zynq MPSoC 上のアプリケーションがビットバンギングにより各ボード上の SPI 線を制御し、フラッシュメモリに入っている情報の確認手続きを行う。

– SL メイン FPGA、PS board FPGA, TAM モジュール FPGA のソフトリセットの命令 (経路 A, D)。Zynq MPSoC 上のアプリケーションからのコマンドによりソフトリセット機能がSL メイン FPGA で有効になり、またソフトリセット信号がメイン FPGA、光通信を介して
PS board FPGA、TAM モジュール FPGA に分配される。
– JATHub への VME アクセス (経路 A, E, H)。SL メイン FPGA、光通信、TAM モジュール
FPGA を介して、VME backplane を制御することで実現する。
– PS board 上の DAC の書き込み/読み出し、ADC の読み出し (経路 A, D)。Zynq MPSoC 上のアプリケーションが、SL メイン FPGA、光通信、PS board 上の FPGA を介して、DAC
素子の I2C 線を制御 (ビットバンギング) する。また PS board FPGA 上の自立型監視機能が読み出した ADC のモニター情報を、SL メイン FPGA が光通信を経由して受信する。Zynq

MPSoC がこれを読み出し、上位のコントロールシステムに情報を送信する。
– IPMC へのシリアル通信を介して、データの取得を行う (具体的には IPMC が ATCA Zone 1
コネクタ28 を介して取得し保有するハードウェアアドレス情報等)。

• トリガー / DAQ / TTC / キャリブレーションに関する機能– なし

SL 上のメイン FPGASL 上のメイン FPGA のインターフェイス及び機能については以下のようにまとめることができる。
• インターフェイス– AXI Chip2Chip 経由での、Zynq MPSoC との通信 (図 7.1 中の経路 A)– PS board との通信 (図 7.1 中の経路 D)– TAM モジュールとの通信 (図 7.1 中の経路 E)– NSW, RPC BIS78, Tile カロリメータからのデータの受信 (図 2.5 参照)– MDT TP との通信 (図 2.5 参照)– FELIX との通信 (図 2.5 参照)– MUCTPI へのデータの送信 (図 2.5 参照)• コントロールに関する機能– SL 上の QSPI フラッシュメモリからパラメータ情報を読み取り、メイン FPGA 上にファー28 図 2.13(a) における右上の白色コネクタ

78

第7章

高輝度 LHC-ATLAS 実験における TGC 検出器システムのオペレーションモデル

ムウェアとして実装された自律型制御機構がパラメータの設定、通信上下線の確立を行う– GT トランシーバー RX で受信する信号の状態をモニターし、接続確立時 (回復時) にはリセッ
トの一連の手続きを自動で行う• トリガー / DAQ に関する機能– PS board からデータを固定時間で受け取り (経路 D)、25 ns 単位での遅延をかける29– TGC BW から受信した全 7 層のヒットデータ、及び磁場内部の検出器からのヒットデータを用いた飛跡の再構成– MDT TP へ飛跡候補を送り、位置分解能に優れた MDT からの情報による、より精密な pTを受け取ることでより高い pT 分解能でミューオン候補の再構成を行う– MUCTPI への飛跡候補の送信– FELIX から L0A を受け取った場合に FELIX へヒット情報及びトリガー情報を渡す• TTC に関する機能– FELIX から TTC 信号 (40.079 MHz の LHC バンチ交差クロック、L0A を含む) を固定位相、固定時間で受け取る。

– PS board へ LHC バンチ交差クロックを固定位相で送る (経路 D)– TAM モジュールへ LHC バンチ交差クロックを固定位相で送る (経路 E)• キャリブレーションに関する機能– SL の入力に対するテストパルス30

SL 上の IPMC
SL 上の IPMC のインターフェイス及び機能については以下のようにまとめることができる。
• インターフェイス– ATCA Zone 1 コネクタを介して、ATCA の Intelligent Platform Management Bus (IPMB)
インターフェース、Hardware Address インターフェースに接続。また IPMB インターフェースを介した ATCA shelf manager31 との通信。

– ATCA shelf manager を経由した上位のコントロールシステムとの通信– Zynq MPSoC とのシリアル通信 (図 7.1 中の経路 C)– I2C 線経由での温度モニター、電圧モニター、DC/DC コンバーターとの通信– Zynq MPSoC との JTAG 信号線を用いたデバッグ用の通信• コントロールに関する機能– ATCA Zone 1 コネクタと ATCA shelf backplane の IPMB インターフェースを介して、ATCA shelf manager との通信を行い、ボードマネージメントに関する情報を送信する。
– ATCA Zone 1 コネクタと ATCA shelf backplane の Hardware Address インターフェース
を介して、ハードウェアアドレス (スロットの物理的な番号) を取得する– メイン FPGA と Zynq MPSoC にかかる電圧、温度をモニターする
29 複数の PS board からのデータのタイミングを一致させるため
30 PS board を繋げることなく、SL メイン FPGA 内でヒットパターンを生成するテストパルス
31 SL が収められている ATCA クレートのクレートインフラを管理する

7.1 TGC 検出器エレクトロニクスの機能整理

79– DC/DC コンバータを制御・監視する– SL ボードのプライマリー電源のオン・オフを管理する。ホットスワップ機能32 もサポート
する– Zynq MPSoC への JTAG 信号線を用いた通信のマスターとして機能する (デバッグ用)。
IPMC 上のプロセッサー上で実行されるアプリケーション (XVC 等) の機能として実現される。

– Zynq MPSoC へのシリアル通信をブリッジし、イーサネットから Zynq MPSoC のシリアルポートへの通信を実現する。

• トリガー / DAQ / TTC / キャリブレーションに関する機能– なし

PS board
PS board のインターフェイス及び機能については以下のようにまとめることができる。
• インターフェイス– PS board FPGA による SL との通信 (図 7.1 中の経路 D)– ASD の制御、ASD からのデータ受信– PS board FPGA による Cat 6 ケーブル経由での JATHub との通信 (図 7.1 中の経路 F)• コントロールに関する機能– PS board FPGA が PS board 上の QSPI フラッシュメモリからパラメータ情報を読み取り、PS board FPGA 上にファームウェアとして実装された自律型制御機構が PS board FPGA,PP ASIC, MMCM のパラメータの設定、通信上下線の確立を行う– PS board FPGA において SEM を走らせることで SEU ステータスを監視し、修復不可能な
SEU エラーが生じた場合には、接続された JATHub へ救難要請の信号を送る (経路 F)– PS board FPGA による DAC の書き込み/読み出し、ADC の読み出し– GT トランシーバー RX で受信する信号の状態をモニターし、接続確立時 (回復時) にはリセッ
トの一連の手続きを自動で行う• トリガー / DAQ に関する機能– ノイズが多いチャンネルの入力を PP ASIC のマスク機能を用いて遮断する– PP ASIC において、ミューオンの飛行時間、ASD から PP ASIC までのケーブル長の違いによる信号のタイミングの違いを吸収し、BCID を行う– PS board FPGA が SL へすべてのデータを固定時間で送る (経路 D)• TTC に関する機能– PS board FPGA が SL からの LHC バンチ交差クロックを固定位相で再構成する (経路 D)– SL, PS board 間の光ファイバーの長さの違いによる再構成クロックの位相の違いを PS board
FPGA の中の Dynamic Phase Shift によって吸収し、PS board 間のクロックの位相を揃える– PP ASIC へ LHC バンチ交差クロックを分配する
32 ATCA shelf の電源を入れ稼動状態を保ったまま、ATCA shelf からのボードの抜き差しを可能にする機能

第7章

80

高輝度 LHC-ATLAS 実験における TGC 検出器システムのオペレーションモデル

• キャリブレーションに関する機能– SL から配布されるテストパルストリガーに同期した、PS board FPGA の入力に対するテス
トパルス33– SL から配布されるテストパルストリガーに同期した、ASD テストパルス

JATHubJATHub のインターフェイス及び機能については以下のようにまとめることができる。
• インターフェイス– ATLAS 回路室とのイーサネット通信– Cat 6 ケーブル経由 (JTAG パス、Recover / Monitor パス) での PS board との通信 (図 7.1
中の経路 F)– Cat 6 ケーブル経由 (JTAG パス、Recover / Monitor パス) での TAM モジュールとの通信(図 7.1 中の経路 G)– Cat 6 ケーブル経由 (JTAG パス、Recover / Monitor パス) での隣接した JATHub との通信
– VME backplane を通した TAM モジュールとの通信 (図 7.1 中の経路 H)– TAM モジュールからのクロックの受信 (図 7.1 中の経路 I)• コントロールに関する機能– PS board / TAM モジュールの QSPI フラッシュメモリへの、PS board / TAM モジュールのファームウェアの書き込み (経路 F, G)– SEM を走らせることで SEU ステータスを監視し、修復不可能な SEU エラーが生じた場合には、接続された JATHub へ救難要請の信号を送る (経路 G)– JATHub, PS board, TAM モジュールからの救難要請の信号を受け取り、それぞれに再コン
フィギュレーション信号を送る (経路 F, G)• キャリブレーションに関する機能– PS board 上の LHC バンチ交差クロックの位相測定を行う (経路 F)– XVC による JATHub, PS board, TAM モジュールのデバッグ (経路 F, G)• トリガー / DAQ / TTC に関する機能– なし

TAM モジュールTAM モジュールのインターフェイス及び機能については以下のようにまとめることができる。
• インターフェイス– SL との通信 (図 7.1 中の経路 E)– Cat 6 ケーブル経由での JATHub との通信 (図 7.1 中の経路 G)– VME backplane を通した JATHub との通信 (図 7.1 中の経路 H)– JATHub へのクロック送信 (図 7.1 中の経路 I)
33 FPGA 内での複数のパターンを保持し、指定されたパターンを出力する

7.2 システム全体のブートや回復のシークエンス

81– 隣接する 1/12 セクターの TAM モジュールへの/からのクロック送受信• コントロールに関する機能– TAM モジュール上の QSPI フラッシュメモリからパラメータ情報を読み取り、TAM モジュー
ルの FPGA 上にファームウェアとして実装された自律型制御機構がパラメータの設定、通信
上下線の確立を行う– SEM を走らせることで SEU ステータスを監視し、修復不可能な SEU エラーが生じた場合には、接続された JATHub へ救難要請の信号を送る (経路 G)– SL からの指令による JATHub の QSPI フラッシュメモリへの JATHub ブートファイルの書
き込み (経路 H)– SL からの指令による JATHub との VME 通信 (経路 H)– GT トランシーバー RX で受信する信号の状態をモニターし、接続確立時 (回復時) にはリセッ
トの一連の手続きを自動で行う• キャリブレーションに関する機能– 同じ VME クレートに入っている JATHub への、クロック位相測定のための基準クロックの分配 (経路 I)– 異なる 1/12 セクター間のクロックの位相合わせを行うために、隣の 1/12 セクターの TAM モ
ジュールから基準クロックを受け、その基準クロックに自分の基準クロックの位相を合わせる• トリガー / DAQ / TTC に関する機能
– なし

7.2

システム全体のブートや回復のシークエンス

本節では高輝度 LHC-ATLAS 実験での TGC 検出器エレクトロニクスシステム全体のブートや回復のシークエンスについて議論する。第 5 章で説明した自律型制御機構の導入によって、それぞれのエレクト
ロニクスが必要とする情報を自分のボード上の QSPI フラッシュメモリ内に保存するようになり、後段からのパラメータの設定が不要となるため、システム全体のブートや回復のシークエンスを大幅に簡略化することが可能となった。

ブートのシークエンス
高輝度 LHC-ATLAS 実験での TGC 検出器エレクトロニクスシステム全体のブートのシークエンスの概要を図 7.2 に示す。まず SL 上の Zynq MPSoC 用のブートファイルは SL に挿入される micro SD 内に保存される。SL に電源を入れた際には、Zynq MPSoC は自動的に micro SD 内のブートファイルを読むことでコンフィギュレーションされる。一方で、SL 上のメイン FPGA 用のファームウェアは SL 上の QSPI フラッシュメモリに収められる。このファームウェアは Zynq MPSoC によって JTAG 線経由で書き込まれる。SL 上の QSPI フラッシュメモリには、ファームウェアの他にも SL のメイン FPGA に必要となるパラメータ情報が収められる。このパラメータ情報は Zynq MPSoC が AXI Chip2Chip 経由で書き込む。SL に電源を入れた際には、SL メイン FPGA は自動的にコンフィギュレーションされ、SL

第7章

82

高輝度 LHC-ATLAS 実験における TGC 検出器システムのオペレーションモデル

TAM 
QSPI

SL

FPGA

FPGA

QSPI

Zynq
MPSoC

micro
SD

JATHub
QSPI

Zynq

SD

PS board
QSPI
図 7.2

IPMC

QSPI

FPGA

TGC 検出器システムにおけるブートのシークエンスの概要。それぞれの Zynq (FPGA)のブートファイル (ファームウェア) が収められているフラッシュメモリから、それぞれの Zynq

(FPGA) に向けて赤矢印が引かれている。また緑矢印がファームウェアを書き込む経路を示している。SL 上のメイン FPGA 用のファームウェアは Zynq MPSoC から JTAG 線経由で SL 上の QSPI
フラッシュメモリに書き込まれる。一方で、PS board (TAM モジュール) 用のファームウェアは
JATHub から JTAG 線経由で PS board (TAM モジュール) 上の QSPI フラッシュメモリに書き込まれる。紫矢印はパラメータ情報を書き込む経路を示している。SL 上のメイン FPGA 用のパラメータ情報は Zynq MPSoC から AXI Chip2Chip 経由で SL 上の QSPI フラッシュメモリに書き込まれる。一方で、PS board (TAM モジュール) 用のパラメータ情報は Zynq MPSoC から AXI
Chip2Chip 経由、及び SL から PS board (TAM モジュール) への制御パス経由で PS board (TAM
モジュール) 上の QSPI フラッシュメモリに書き込まれる。

の自律型制御機構がパラメータの設定、FELIX からのクロックの再構成、及びシリアル通信線の確立を行う。また IPMC のファームウェアは IPMC ボード上のフラッシュメモリに保存されており、IPMC はSL に電源を入れた際に自動的にコンフィギュレーションされる。
PS board のファームウェアは JATHub からの JTAG 線を用いて、PS board 上の QSPI フラッシュ
メモリに書き込まれる。一方で、PS board に必要となるパラメータ情報は SL からの制御パスを用いて

QSPI フラッシュメモリに書き込む。PS board に電源を入れた際には、PS board FPGA は自動的にコンフィギュレーションされ、PS board の自律型制御機構がパラメータの設定、SL からのクロックの再構成、及びシリアル通信線の確立を行う。TAM モジュールのブートのシークエンスは PS board と同様のため省略する。

JATHub 用のブートファイルは、JATHub 上の QSPI フラッシュメモリ及び JATHub に挿入される
SD カードに保存される34 。JATHub に電源を入れた際には、JATHub 上の Zynq SoC は自動的にブー
34 不揮発性メモリへの放射線損傷を想定した冗長性のあるブートシステムを構築するために JATHub のブートファイルは

QSPI フラッシュメモリ、SD カードに分けて保存される。QSPI フラッシュメモリには同一のブートファイルが 2 つ保存され、2 枚の SD カードには同一のブートファイルが収められる

7.2 システム全体のブートや回復のシークエンス

83

トファイルを読むことでコンフィギュレーションされる。
上で説明したシステム全体のブートのシークエンスを構築することによって、以下のことが実現される。まず ATLAS 回路室・ATLAS 実験室にそれぞれ Zynq を搭載したボートを設置することによって、

QSPI フラッシュメモリへのファームウェアの遠隔での更新・書き込みが可能となる。また、SL 上のZynq MPSoC 起点で QSPI フラッシュメモリへのパラメータ情報の書き込みを行うことで、イーサネッ
ト経由でのデータベースからのパラメータの取得、及び遠隔でのパラメータの更新・書き込みが可能となる。

回復のシークエンス
高輝度 LHC-ATLAS 実験での TGC 検出器エレクトロニクスシステム全体の回復のシークエンスの概要を図 7.3 に示す。PS board、JATHub、TAM モジュールは ATLAS 実験室内に設置されるため、放射線損傷に対する対処が必要となる。FPGA における修復可能な SEU については、それぞれの FPGA に実装した SEM が自動的に修復する。一方で修復不可能な SEU が発生した場合にはそれぞれのエレクト
ロニクスは、接続された JATHub へ救難要請の信号を送り、JATHub からの回復信号によって FPGA
が再コンフィギュレーションされることで SEU は解消される。その後 PS board、TAM モジュールにおいては自律型制御機構によってパラメータ設定、クロックの再構成、シリアル通信線の確立が行われる。
また、PS board と SL 間及び TAM モジュールと SL 間のシリアル通信線をリセットするためには、TAM FPGA SEM

JATHubJATHub
Zynq

Zynq

SEM

PS board
FPGA SEM
図 7.3

TGC 検出器システムにおける回復のシークエンスの概要。FPGA における修復可能な SEUについては、それぞれの FPGA に実装した SEM が自動的に修復する。一方で修復不可能な SEU が発生した場合にはそれぞれのエレクトロニクスは、接続された JATHub へ救難要請の信号 (青矢印)
を送り、JATHub からの回復信号 (赤矢印) によって FPGA が再コンフィギュレーションされること
で SEU は解消される。また、PS board と SL 間及び TAM モジュールと SL 間のシリアル通信線をリセットするためには、JATHub からのトランシーバーのリセット信号 (緑矢印) を用いる。

84

第7章

高輝度 LHC-ATLAS 実験における TGC 検出器システムのオペレーションモデル

JATHub からのトランシーバーのリセット信号を用いる。
上で説明したシステム全体の回復のシークエンスを構築することによって、以下のことが実現される。

ATLAS 実験室内に制御回路 (JATHub) を設置することにより、修復不可能な SEU に対する対処を完全に自動的に行うこと、及び FPGA のトランシーバーのリセットを遠隔で行うことが可能となる。

85

第8章

結論と今後の展望
本研究では、大規模エレクトロニクスシステムにおける次世代オペレーションモデルの研究を行なった。その応用として 2027 年開始予定の高輝度 LHC-ATLAS 実験に着目し、ミューオンのトリガーを行
う TGC 検出器エレクトロニクスシステムのアップグレードに取り組んだ。高輝度 LHC-ATLAS 実験に向けて TGC 検出器システムは、一部を除いたすべてのエレクトロニクスの刷新を行う。新たなエレクトロニクスとして、検出器からの信号に対して BCID を行なった上ですべての信号を後段へ転送する

PS board、TGC 全 7 層及び磁場内部の検出器からの信号を用いてミューオンの飛跡再構成を行う SL、
PS board 上のクロックの位相測定及び PS board FPGA における修復不可能な SEU への対処を行う
JATHub がある。
高輝度 LHC-ATLAS 実験における TGC 検出器システムでは BCID を適切に行うために、SL から PS

board への固定位相でのクロック分配、遠隔でのクロック位相制御、及び JATHub によるクロック位相測定が必要となるため、これらすべての機能について開発を行なった。また、エレクトロニクスの制御として必要となるすべての手続きを自動でかつ高速に行う自律型制御機構について開発を行なった。この自律型制御機構は、それぞれのエレクトロニクス上の不揮発性メモリに必要となるパラメータ情報を収めるという新たな発想に基づいている。これらの機能の検証のために、ASD, PS board, JATHub, (試験用の) SL を用いた統合試験のためのテストベンチを立ち上げた。この統合試験において、固定位相でのクロック分配が 30 ps という十分に良い精度で実現できていること、クロックの位相制御・位相測定が 18 psの精度で実現できてること、及び自律型制御機構によってトランシーバーのリセットの際には 200 ms、

FPGA の再コンフィギュレーションの際には 4, 200 ms という非常に短い時間で PS board がデータ収集に向けて万全の態勢となることが実証された。
本研究で開発及び実証を行なった固定位相でのクロック分配、遠隔でのクロック位相制御・位相測定、
不揮発性メモリを用いた自律型制御機構は、ATLAS 実験などの高エネルギー物理学実験のみならず、様々な大規模エレクトロニクスシステムにおいて応用可能な技術であり、次世代型オペレーションモデル
のリモート化、スマート化を大幅に促進するものである。
今後は、まず高輝度 LHC-ATLAS 実験における SL を用いた試験を進めていく必要がある。高輝度

LHC-ATLAS 実験における SL を用いたクロック分配等を実証する統合試験を行い、さらに具体的なシ
ステムのオペレーションモデルの確立を目指す。一方で、JATHub や PS board の量産が始まるため、これらの量産ボードに対する性能評価や、TAM モジュールの第一試作機を用いた全 PS board におけるク

86

第 8 章 結論と今後の展望

ロックの位相合わせの手法の確立が必要となる。ASD, PS board, JATHub, TAM モジュール, SL (上のZynq MPSoC、メイン FPGA、IPMC) から構成される、高輝度 LHC-ATLAS 実験における TGC 検出
器エレクトロニクスシステムの完成に向けて、本研究で開発した技術や議論を行なったオペレーションモ
デルを最大限活用するとともに、より洗練されたものに進化させていく。

87

謝辞
本研究を遂行するにあたって、多くの方々にお世話になりました。まず指導教員である石野雅也教授には、研究内容や発表資料等に関する数多くの助言を頂き、大変お世話になりました。また奥村恭幸准教授には様々な面において助けていただきました。特に技術的な面に対しても詳細なコメントを頂き、本研究をスムーズに進めることができました。御二方の手助けにより逐一研究方針や研究の位置付けを明確にすることができ、ATLAS 実験という巨大な実験の中でも自分の役割を認識して適切に他の研究者たちとコ
ミュニケーションをとって研究を進めることができました。
日々の研究に関して多くの助言をくださった、研究室ミーティングに参加してくださっているスタッフの皆さまにも心から感謝申し上げます。斎藤智之助教、増渕達也助教には現行システムの観点から様々な助言を頂き大変参考になりました。
他の ICEPP の皆様にもお世話になりました。浅井祥仁センター長には様々な研究テーマを与えてくださったこと感謝しています。田中純一教授、澤田龍准教授には ATLAS 検出器のセミナーや研究発表会で質問やコメントを頂き、研究をさらに深めることができました。齊藤真彦特任助教には機械学習の輪講で大変お世話になりました。他にも ICEPP 夏の学校等で、多くの ICEPP のスタッフや学生の方々に助けていただきました。また秘書の皆さまにも出張手続きをはじめとした様々な面で支えていただきました、
感謝申し上げます。

JATHub、PS board、SL の開発にあたり、高エネルギー加速器研究機構素粒子原子核研究所の佐々木修氏、宮原正也氏、池野正弘氏、庄子正剛氏、田内一弥氏には、多くの技術的な助力をいただき大変感謝
しております。特にハードウェア関連の様々な助言やコメントを頂きました、ありがとうございます。
共同で高輝度 LHC-ATLAS 実験に向けたアップグレードの研究を行っている、TGC グループの皆様にも大変お世話になりました。戸本誠氏、堀井泰之氏、前田順平氏には、研究に対する幾つもの質問やコメントを頂き、研究の方針を決定するにあたり大変参考になりました。青木雅人氏には、KEK のネット
ワーク設定やテストベンチ作成で多くのお力添えをいただきました。水上さん、岡崎さん、三野さん、山田さんには技術的なサポートをいただいたこと感謝申し上げます。皆川くんには PS board の開発及び統合試験に共に取り組んで頂けたこと大変感謝しています。KEK での共同研究では長い間、お世話になりました。大隅くん、橋爪くん、鍋山くんには主に放射線耐性試験の際にお世話になりました。石野研究室の先輩である田中さんには、研究の初期から面倒をみてくださったこと大変感謝しています。JATHubの開発のみならず、統合試験等の様々な問題についても的確なアドバイスを頂きました。また、後輩である三島くん、山下さんには SL のハードウェア試験やデータフォーマットに対する考察をリードして頂いたこと、感謝申し上げます。

88

謝辞

石野研究室、奥村研究室の同期にも大変お世話になりました。岡崎、Zynq の開発で色々な情報交換ができて大変助かった。社会人になっても頑張って。林、研究課題は違ったけど雑談に付き合ってくれてありがとう。これからもよろしく。
以上に述べた他にも、多くの方々にお世話になりました。本研究の遂行に協力していただいたこと、深く感謝申し上げます。そして最後に、研究生活を支えてくれた家族に感謝します。

89

付録 A

TAM モジュールの設計
第 3 章、第 7 章で述べたように TAM モジュールは、SL からクロックを受け取り JATHub へクロック
位相測定のための基準クロックを分配すると共に、JATHub の VME マスター、及び JATHub の QSPI
フラッシュメモリにブートファイルを書き込む役割を果たす。TAM モジュールの仕様は以下のように設計した。

• Kintex-7 FPGA35• GTX トランシーバー 3 レーン• クロック出力用 LEMO jack 8 個• クロック入力用 LEMO jack 2 個• RJ45 jack 2 個• VME コネクタ
TAM モジュールの接続の概要を図 A.1 に示す。GTX トランシーバーの 3 レーンはそれぞれ SL からの TTC 信号の受信、JATHub との VME 通信を行うための SL との通信、FPGA のデバッグ用の

SiTCP36 [20] に用いられる。また、1 つの Mini-Rack 内の VME クレートには 6 枚の JATHub が収められるため、基準クロックの分配のためにクロック出力用 LEMO jack が 6 個使われる。一方で、隣接する

1/12 セクターとのクロック位相合わせのために、TAM モジュールは隣接する 1/12 セクターの TAM モ
ジュールと基準クロックのやりとりを行う。隣のセクターから基準クロックを受けるためにクロック入
力用 LEMO jack が 1 個使われ、もう一方の隣のセクターへ基準クロックを送るためにクロック出力用

LEMO jack が 1 個使われる。また隣のセクターからの基準クロックと自分の基準クロックを比較するために、セクター間の LEMO ケーブルと同じ長さの LEMO ケーブルを用いて自分の基準クロックを自分に回し入れる。この役割のために、クロック入力用 LEMO jack が 1 個、クロック出力用 LEMO jack が1 個使われる。合計で TAM モジュールにはクロック出力用 LEMO jack が 8 個、クロック入力用 LEMO
jack が 2 個搭載される。
TAM モジュールは ATLAS 回路室に設置されるため、放射線損傷に対する対処が必要となる。PS

35 型番 : XC7K70T-2FBG484
36 FPGA とネットワークを接続する技術であり、ソフトウェアを介在させずに 1 Gbps までのデータ転送を可能にする

付録 A TAM モジュールの設計

90

Cat 6 × 2

VME Backplane

TAM

LEMO
IN ×2 LEMO OUT ×8- JTAG

JATHub ×6

Kintex-7
FPGA
1

2 3 4

5

6

LEMO

TTC

SL

VME
図 A.1

TAM モジュールの接続の概要。TAM モジュールは SL から TTC 信号を受信すると共に、
JATHub との VME 通信を行うために SL との通信を行う。また JATHub へのクロック分配、及び1/12 セクター間のクロックの位相合わせのために、クロック出力用 LEMO jack が 8 個、クロック入
力用 LEMO jack が 2 個搭載される。JATHub との回復手続きパス及び JTAG パスのために、TAM
モジュールには PS board と同様に RJ45 jack が 2 個搭載される。TAM モジュールは JATHub の
VME マスターとして働くと共に、VME backplane を通して JATHub の QSPI フラッシュメモリに
ブートファイルを書き込む役割を果たすため、VME コネクタが TAM モジュールに搭載される。

board と同様に、修復可能な SEU に対しては FPGA 内の SEM で対処し、修復不可能な SEU に対しては Cat 6 ケーブルで接続された JATHub へ救難要請の信号を送り再コンフィギュレーション信号を受けることで回復する。また TAM モジュールのファームウェアを収める TAM モジュール上の QSPI フラッシュメモリへの書き込みは、JATHub からの JTAG パスを用いて行う。この回復手続きパス及び JTAG
パスのために、TAM モジュールには PS board と同様に RJ45 jack が 2 個搭載される。
また TAM モジュールは JATHub の VME マスターとして働くと共に、VME backplane を通して

JATHub の QSPI フラッシュメモリにブートファイルを書き込む役割を果たす。このために VME コネ
クタが TAM モジュールに搭載される。
以下に TAM モジュール第一試作機の回路図を示す。

91
5

4

3

2

1

D

D

LEMO_IN

BANK_33,34
CLKIN0
CLKIN1

CLKIN0
CLKIN1

Jitter_cleaner

CLKIN0
CLKIN1

LEMO_OUTLEMOOUTPLEMOOUTNLEMOOUTPLEMOOUTNGTRECLKPGTRECLKN/SICSBSISCLKSISDI
SISDO/SIRSTB
INSEL0
INSEL1
/INTR
/LOL
/LOS0
/LOS1
/LOS3

GTRECLKPGTRECLKN/SICSBSISCLKSISDI
SISDO/SIRSTB
INSEL0
INSEL1
/INTR
/LOL
/LOS0
/LOS1
/LOS3

PAGE10LEMOOUTPLEMOOUTN

PAGE11
PAGE05C

BANK_13,14

GTRECLKPGTRECLKN/SICSBSISCLKSISDI
SISDO/SIRSTB
INSEL0
INSEL1
/INTR
/LOL
/LOS0
/LOS1
/LOS3

FPGA40

FPGA40VME_J3_Buffer

FPGA40/V-LAM[20:1]/V-SPICS
V-SPICL
V-MOSI
V-MISOQSPICL/V-LAM[20:1]/V-SPICS
V-SPICL
V-MOSI
V-MISOVME_J3_Connectors/V-LAM[20:1]/V-SPICS
V-SPICL
V-MOSI
V-MISO/VLAM[20:1]/VSPICSVSPICLVMOSI
VMISO/VLAM[20:1]/VSPICSVSPICLVMOSI
VMISO

PAGE17

PAGE14

VME_Data_Buffer
V-D[31:0]
V-A[31:24]

V-D[31:0]
V-A[31:24]

V-D[31:0]

BANK_15,16/V-IACK/V-SYSRST/V-OBERR
VDDIR/V-DOE
V-AM[5:0]/V-IRQ[7:1]/V-DTACK/V-IBERR/V-IACK/V-SYSRST/V-OBERR/V-DDIR/V-DOE
V-AM[5:0]/V-IRQ[7:1]/V-DTACK/V-IBERRVME_J1_J2_Connectors
D[31:0]/IACK/SYSRST/BERR
AM[5:0]/IRQ[7:1]/DTACK

D[31:0]/IACK/SYSRST/BERR
AM[5:0]
IRQ[7:1]/DTACK

PAGE03

PAGE12/VLAM[20:1]/VSPICSVSPICL
VMOSI
VMISO

D[31:0]/IACK/SYSRST/BERR
AM[5:0]/IRQ[7:1]/DTACKC/V-IACK/V-SYSRST/V-OBERR
V-DDIR/V-DOE
V-AM[5:0]/V-IRQ[7:1]/V-DTACK/V-IBERR/V-AOE
PAGE16
VME_Address_Buffer

BANK115

V-A[23:1]/V-AOE/V-LWORD/V-WRITE/V-AS/V-DS[1:0]

SFP-SFP+GTXTXP[2:0]
GTXTXN[2:0]
GTXRXP[2:0]
GTXRXN[2:0]

GTXTXP[2:0]
GTXTXN[2:0]
GTXRXP[2:0]
GTXRXN[2:0]

GTXTXP[2:0]
GTXTXN[2:0]
GTXRXP[2:0]
GTXRXN[2:0]

SFPPSCL[2:0]
SFPPSDA[2:0]A[31:1]/LWORD/WRITE/AS/DS[1:0]
SYSCLK

PAGE15Interfaces
TXENABLE/RECREQBMONITOR/GTXRSTBB

PAGE06

A[31:1]/LWORD/WRITE/AS/DS[1:0]
SYSCLKA[31:1]/LWORD/WRITE/AS/DS[1:0]
SYSCLK

PAGE13

SFPPSCL[2:0]
SFPPSDA[2:0]

SFPPSCL[2:0]
SFPPSDA[2:0]

V-A[31:24]
V-A[23:1]/V-AOE/V-LWORD/V-WRITE/V-AS/V-DS[1:0]

V-A[23:1]/V-AOE/V-LWORD/V-WRITE/V-AS/V-DS[1:0]

PAGE09TXENABLE/RECREQBMONITOR/GTXRSTBTXENABLE/RECREQBMONITOR/GTXRSTBB

PAGE04
BANK_0QSPICLQSPICLFPGATCKFPGATMSFPGATDIFPGATDOBANK_GND,POW/FPGAPROGBFPGATCKFPGATMSFPGATDIFPGATDOFPGATCKFPGATMSFPGATDIFPGATDO/FPGAPROGB/FPGAPROGB

PAGE02

PAGE08

PAGE07POWER

PAGE18POWER_DESCRIPTIONA

A

PAGE19Phase-2 HSC
Title

TOP

Size
A3

Document Number
<Doc>

Date:
5

図 A.2

4

3

Rev
1.0

Friday, August 06, 2021

2

Sheet

1

of

19

1

TAM モジュール第 1 試作機の回路図。TOP ページ。TOP ページは全体の回路図の概要を示しており、配下のページ間の配線を示している。

5

4

3

2

1

D

D

+3V3D

+1V8D

+3V3D

+3V3D

C

C

U1-1

C2
100U/3225

+3V3D

J7
N7

VCCO_0_J7
VCCO_0_N7

FL1
1
C1

3
R1
4.7K/1005

NFM18PS105D0J3D

R2
750/1005

0.1U/1005

QSPICLFPGATCKFPGATMSFPGATDOFPGATDI/FPGAPROGBQSPICLFPGATCKFPGATMSFPGATDOFPGATDI/FPGAPROGB

R3
0/1005

1

+3V3D

N11
K12
K11
N12
L11
M12
L12
M11
P7
G7
K7
L6
J6
K6
L7
M6
M7
P6
J5
H7
H6

2

BANK0

DXN_0
VCCADC_0
GNDADC_0
DXP_0
VREFN_0
VREFP_0
VP_0
VN_0
VCCBATT_0
CCLK_0
TCK_0
TMS_0
TDO_0
TDI_0
INIT_B_0
PROGRAM_B_0
CFGBVS_0
DONE_0
M2_0
M0_0
M1_0

R4
0/1005R5

D1
SML-D12U1WT86(Red)0/10052

XC7K70T-2FBG484

B

B

FPGA







A

A

Phase-2 HSC
Title

BANK_0Size
A3Document Number
<Doc>

Date:
5

図 A.3

4

3

2

Friday, August 06, 2021

Rev
1.0
Sheet

2

of

19

1

TAM モジュール第 1 試作機の回路図。BANK 0 ページ。FPGA のコンフィギュレーショ

ン用の信号を含む。

付録 A TAM モジュールの設計

92
5

4

3

2

1

+3V3D

U1-2

U1-3

BANK13

D

C

+3V3D

+3V3D

AA17
AB14
T22
U19
V16
Y20

C3
100U/3225

VCCO_13_AA17
VCCO_13_AB14
VCCO_13_T22
VCCO_13_U19
VCCO_13_V16
VCCO_13_Y20

T19
T21
U21
U22
V22
T18
U18
W21
W22
U17
V18
T20
U20
Y21
Y22
AA20
AB21
AA21
AB22
AA19
AB20
V20
W20
V19
W19
Y18
Y19
W17
Y17
AA18
AB18
AB15
AB16
AA16
AB17
AA14
AA15
U16
V17
R16
T16
W16
Y16
W14
Y14
V15
W15
T15
U15
V14

IO_0_13
IO_L1P_T0_13
IO_L1N_T0_13
IO_L2P_T0_13
IO_L2N_T0_13
IO_L3P_T0_DQS_13
IO_L3N_T0_DQS_13
IO_L4P_T0_13
IO_L4N_T0_13
IO_L5P_T0_13
IO_L5N_T0_13
IO_L6P_T0_13
IO_L6N_T0_VREF_13
IO_L7P_T1_13
IO_L7N_T1_13
IO_L8P_T1_13
IO_L8N_T1_13
IO_L9P_T1_DQS_13
IO_L9N_T1_DQS_13
IO_L10P_T1_13
IO_L10N_T1_13
IO_L11P_T1_SRCC_13
IO_L11N_T1_SRCC_13
IO_L12P_T1_MRCC_13
IO_L12N_T1_MRCC_13
IO_L13P_T2_MRCC_13
IO_L13N_T2_MRCC_13
IO_L14P_T2_SRCC_13
IO_L14N_T2_SRCC_13
IO_L15P_T2_DQS_13
IO_L15N_T2_DQS_13
IO_L16P_T2_13
IO_L16N_T2_13
IO_L17P_T2_13
IO_L17N_T2_13
IO_L18P_T2_13
IO_L18N_T2_13
IO_L19P_T3_13
IO_L19N_T3_VREF_13
IO_L20P_T3_13
IO_L20N_T3_13
IO_L21P_T3_DQS_13
IO_L21N_T3_DQS_13
IO_L22P_T3_13
IO_L22N_T3_13
IO_L23P_T3_13
IO_L23N_T3_13
IO_L24P_T3_13
IO_L24N_T3_13
IO_25_13/V-LAM1/V-LAM2/V-LAM3/V-LAM4/V-LAM5/V-LAM6/V-LAM7/V-LAM8/V-LAM9/V-LAM10/V-LAM11/V-LAM12/V-LAM13/V-LAM14/V-LAM15/V-LAM16/V-LAM17/V-LAM18/V-LAM19/V-LAM20

JATHub QSPI

FPGA40

FPGA40/V-SPICS
V-SPICL
V-MOSI
V-MISO

IO_0_14
IO_L1P_T0_D00_MOSI_14
IO_L1N_T0_D01_DIN_14
IO_L2P_T0_D02_14
IO_L2N_T0_D03_14
IO_L6P_T0_FCS_B_14
IO_L3P_T0_DQS_PUDC_B_14
IO_L3N_T0_DQS_EMCCLK_14
IO_L4P_T0_D04_14
IO_L4N_T0_D05_14
IO_L5P_T0_D06_14
IO_L5N_T0_D07_14
IO_L6N_T0_D08_VREF_14
IO_L7P_T1_D09_14
IO_L7N_T1_D10_14
IO_L8P_T1_D11_14
IO_L8N_T1_D12_14
IO_L9P_T1_DQS_14
IO_L9N_T1_DQS_D13_14
IO_L10P_T1_D14_14
IO_L10N_T1_D15_14
IO_L11P_T1_SRCC_14
IO_L11N_T1_SRCC_14
IO_L12P_T1_MRCC_14
IO_L12N_T1_MRCC_14
IO_L13P_T2_MRCC_14
IO_L13N_T2_MRCC_14
IO_L14P_T2_SRCC_14
IO_L14N_T2_SRCC_14
IO_L15P_T2_DQS_RDWR_B_14
IO_L15N_T2_DQS_DOUT_CSO_B_14
IO_L16P_T2_CSI_B_14
IO_L16N_T2_A15_D31_14
IO_L17P_T2_A14_D30_14
IO_L17N_T2_A13_D29_14
IO_L18P_T2_A12_D28_14
IO_L18N_T2_A11_D27_14
IO_L19P_T3_A10_D26_14
IO_L19N_T3_A09_D25_VREF_14
IO_L20P_T3_A08_D24_14
IO_L20N_T3_A07_D23_14
IO_L21P_T3_DQS_14
IO_L21N_T3_DQS_A06_D22_14
IO_L22P_T3_A05_D21_14
IO_L22N_T3_A04_D20_14
IO_L23P_T3_A03_D19_14
IO_L23N_T3_A02_D18_14
IO_L24P_T3_A01_D17_14
IO_L24N_T3_A00_D16_14
IO_25_14

BANK14NC/V-SPICS
V-SPICL
V-MOSI
V-MISO/PRESETB
+3V3D

F22
G19
K20
L17
N21
P18

XC7K70T-2FBG484

VCCO_14_F22
VCCO_14_G19
VCCO_14_K20
VCCO_14_L17
VCCO_14_N21
VCCO_14_P18

K16
H18
H19
G18
F19
L16
K18
J19
G20
F20
L18
K19
K17
E21
E22
H22
G22
G21
F21
J21
J22
J20
H20
L19
L20
N18
N19
M17
M18
N22
M22
K21
K22
N20
M21
M20
L21
R18
R19
P19
P20
R17
P17
P21
P22
P16
N17
R21
R22
M16

R6
(1K/1005)

QSPI0
QSPI1
QSPI2
QSPI3
/QSPICSB

D

R7

V-A24
V-A25
V-A26
V-A27
V-A28
V-A29
V-A30
V-A31

0/1005swap prohibited : K18

V-D0
V-D1
V-D2
V-D3
V-D4
V-D5
V-D6
V-D7
V-D8
V-D9
V-D10
V-D11
V-D12
V-D13
V-D14
V-D15
V-D16
V-D17
V-D18
V-D19
V-D20
V-D21
V-D22
V-D23
V-D24
V-D25
V-D26
V-D27
V-D28
V-D29
V-D30
V-D31

C

XC7K70T-2FBG484

JATHubVME
+3V3D

+3V3D

C4

C5

10U

0.1U

V-D[31:0]
V-A[31:24]
+3V3D

B

QSPI

+3V3D

R8
4.7K

+3V3D

R9
2.4K

R10
4.7K
U2

/QSPICSB
QSPI1
QSPI2

R11
R13

1
2
3
4

15
15

S
DQ1
W#
VSS

VCC
HOLD
C
DQ0

8
7
6
5

QSPI3

R12
15

QSPI0

R14

/V-LAM[20:1]

QSPICL



QSPI





+3V3D

2

1

3

2

4

C6

+3V3D

0.1U
U3

3
4

3
4

MR*

4.7K

RSTVDD*SENSE RSTSENSE*

1

2

R17
13K

/PRESETB

V-D[31:0]

V-D0
V-D1
V-D2
V-D3
V-D4
V-D5
V-D6
V-D7
V-D8
V-D9
V-D10
V-D11
V-D12
V-D13
V-D14
V-D15
V-D16
V-D17
V-D18
V-D19
V-D20
V-D21
V-D22
V-D23
V-D24
V-D25
V-D26
V-D27
V-D28
V-D29
V-D30
V-D31

B

A

5

GND

EVQ-Q2P02W

R16

VDD

A

+3V3D

R15
27K

SW1
1

+1V8D

6

Push switch/V-LAM[20:1]/V-LAM1/V-LAM2/V-LAM3/V-LAM4/V-LAM5/V-LAM6/V-LAM7/V-LAM8/V-LAM9/V-LAM10/V-LAM11/V-LAM12/V-LAM13/V-LAM14/V-LAM15/V-LAM16/V-LAM17/V-LAM18/V-LAM19/V-LAM20

15

S25FL128LAGMFI010

V-A[31:24]

V-A24
V-A25
V-A26
V-A27
V-A28
V-A29
V-A30
V-A31

+3V3D

Phase-2 HSC
BANK_13,14

TPS3106K33DBV
Title
Size
A3

Document Number
<Doc>

Date:
5

4

3

Rev
1.0

Friday, August 06, 2021

2

Sheet

3

of

19

1

図 A.4

TAM モジュール第 1 試作機の回路図。BANK 13, 14 ページ。JATHub の QSPI フラッシュメモリへのブートファイル書き込みに用いる信号、JATHub との VME 通信用信号、及びファームウェアを収める QSPI フラッシュメモリを含む。

5

4

3

2

1

5
6
7
8

+3V3D

R18
10K

5
6
7
8

RA1
CN1J4103J

JATHubRecovery / Monitor

4
3
2
1

4
3
2
1

D

U1-4

BANK15

C

+3V3D

A17
B14
C21
D18
E15
H16

VCCO_15_A17
VCCO_15_B14
VCCO_15_C21
VCCO_15_D18
VCCO_15_E15
VCCO_15_H16

D12
G15
G16
C12
B12
F15
F16
A13
A14
C13
B13
E14
D14
C14
C15
B16
A16
B15
A15
B17
A18
D15
D16
C17
C18
E17
E18
E16
D17
H17
G17
J16
J17
F18
E19
D19
D20
C19
C20
B18
A19
C22
B22
A20
A21
D21
D22
B20
B21
H15

/V-AOE/V-SYSRST/V-IACK/V-OBERR/V-DOE/V-AOE/V-SYSRST/V-IACK/V-OBERR/V-DOE

V-A1
V-A2
V-A3
V-A4
V-A5
V-A6
V-A7
V-A8
V-A9
V-A10
V-A11
V-A12
V-A13
V-A14
V-A15
V-A16
V-A17
V-A18
V-A19
V-A20
V-A21
V-A22
V-A23
VDDIR
/V-LWORD/V-WRITE/V-AS/V-DTACK/V-IBERR/V-DS0/V-DS1
V-AM0
V-AM1
V-AM2
V-AM3
V-AM4
V-AM5
/V-IRQ1/V-IRQ2/V-IRQ3/V-IRQ4/V-IRQ5/V-IRQ6/V-IRQ7

BANK16

+3V3D

VDDIR
/V-LWORD/V-WRITE/V-AS/V-DTACK/V-IBERR

IO_6_T0_VREF_16
IO_L7P_T1_16
IO_L7N_T1_16
IO_L8P_T1_16
IO_L8N_T1_16
IO_L9P_T1_DQS_16
IO_L9N_T1_DQS_16
IO_L10P_T1_16
IO_L10N_T1_16
IO_L11P_T1_SRCC_16
IO_L11N_T1_SRCC_16
IO_L12P_T1_MRCC_16
IO_L12N_T1_MRCC_16
IO_L13P_T2_MRCC_16
IO_L13N_T2_MRCC_16
IO_L14P_T2_SRCC_16
IO_L14N_T2_SRCC_16
IO_L15P_T2_DQS_16
IO_L15N_T2_DQS_16
IO_L16P_T2_16
IO_L16N_T2_16
IO_L17P_T2_16
IO_L17N_T2_16
IO_18_T2_16
IO_L19P_T3_16
IO_L19N_T3_VREF_16
IO_L20P_T3_16
IO_L20N_T3_16
IO_L21P_T3_DQS_16
IO_L21N_T3_DQS_16
IO_L22P_T3_16
IO_L22N_T3_16
IO_L23P_T3_16
IO_L23N_T3_16
IO_24_T3_16

C11
D8
F12
G9

VCCO_16_C11
VCCO_16_D8
VCCO_16_F12
VCCO_16_G9

F14
D10
C10
G13
F13
H14
H13
E13
E12
F11
F10
E11
D11
G11
G10
H12
G12
F9
E9
H9
H8
G8
F8
H10
D9
C9
B11
B10
A9
A8
C8
B8
A11
A10
E8

/GTXRSTB/REQRECBMONITORTXENABLE

V-A[23:1]/GTXRSTB/RECREQBMONITORTXENABLE

V-A[23:1]

V-A1
V-A2
V-A3
V-A4
V-A5
V-A6
V-A7
V-A8
V-A9
V-A10
V-A11
V-A12
V-A13
V-A14
V-A15
V-A16
V-A17
V-A18
V-A19
V-A20
V-A21
V-A22
V-A23

SFPPSCL0SFPPSDA0SFPPSCL1
SFPPSDA1SFPPSCL2
SFPPSDA2

LED0
LED1
LED2
LED3

DIPSW0DIPSW1DIPSW2DIPSW3
DIPSW4DIPSW5DIPSW6DIPSW7C/V-DS[1:0]/V-DS[1:0]/V-DS0/V-DS1
V-AM[5:0]

V-AM[5:0]

V-AM0
V-AM1
V-AM2
V-AM3
V-AM4
V-AM5

XC7K70T-2FBG484/V-IRQ[7:1]/V-IRQ[7:1]/V-IRQ1/V-IRQ2/V-IRQ3/V-IRQ4/V-IRQ5/V-IRQ6/V-IRQ7
SFPPSCL[2:0]

XC7K70T-2FBG484

B

D

U1-5
IO_0_15
IO_L1P_T0_AD0P_15
IO_L1N_T0_AD0N_15
IO_L2P_T0_AD8P_15
IO_L2N_T0_AD8N_15
IO_L3P_T0_DQS_AD1P_15
IO_L3N_T0_DQS_AD1N_15
IO_L4P_T0_AD9P_15
IO_L4N_T0_AD9N_15
IO_L5P_T0_AD2P_15
IO_L5N_T0_AD2N_15
IO_L6P_T0_15
IO_L6N_T0_VREF_15
IO_L7P_T1_AD10P_15
IO_L7N_T1_AD10N_15
IO_L8P_T1_AD3P_15
IO_L8N_T1_AD3N_15
IO_L9P_T1_DQS_AD11P_15
IO_L9N_T1_DQS_AD11N_15
IO_L10P_T1_AD4P_15
IO_L10N_T1_AD4N_15
IO_L11P_T1_SRCC_AD12P_15
IO_L11N_T1_SRCC_AD12N_15
IO_L12P_T1_MRCC_AD5P_15
IO_L12N_T1_MRCC_AD5N_15
IO_L13P_T2_MRCC_15
IO_L13N_T2_MRCC_15
IO_L14P_T2_SRCC_15
IO_L14N_T2_SRCC_15
IO_L15P_T2_DQS_15
IO_L15N_T2_DQS_ADV_B_15
IO_L16P_T2_A28_15
IO_L16N_T2_A27_15
IO_L17P_T2_A26_15
IO_L17N_T2_A25_15
IO_L18P_T2_A24_15
IO_L18N_T2_A23_15
IO_L19P_T3_A22_15
IO_L19N_T3_A21_VREF_15
IO_L20P_T3_A20_15
IO_L20N_T3_A19_15
IO_L21P_T3_DQS_15
IO_L21N_T3_DQS_A18_15
IO_L22P_T3_A17_15
IO_L22N_T3_A16_15
IO_L23P_T3_FOE_B_15
IO_L23N_T3_FWE_B_15
IO_L24P_T3_RS1_15
IO_L24N_T3_RS0_15
IO_25_15

SFPPSCL[2:0]

SFPPSCL0SFPPSCL1
SFPPSCL2

JATHubVME

B

+3V3D

R21
330

R22
330

D5
SML-D12M1WT86(Green)

5
6
7
8
4
3
2
1

RA3

1
2
3
4
5
6
7
8

DIPSW0DIPSW1DIPSW2DIPSW3
DIPSW4DIPSW5DIPSW6DIPSW7

CHS-08B

1

A

4.7K_1608X4P(3216)

SW2
16
15
14
13
12
11
10
9

2

D4
SML-D12M1WT86(Green)

2

2

2

D3
SML-D12M1WT86(Green)

1

R20
330

1

1

R19
330

D2
SML-D12M1WT86(Green)

LED0

4
3
2
1

LED1

1

LED2

4
3
2
1

4
3
2
1

RA2
LED3

SFPPSDA[2:0]

5
6
7
8

4.7K_1608X4P(3216)

5
6
7
8

5
6
7
8

SFPPSDA[2:0]
SFPPSDA0SFPPSDA1SFPPSDA20A

ADDRESS SW
Title
Size
A3
Date:
5

図 A.5

4

3

2

Phase-2 HSC
BANK_15,16
Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

4

of

19

1

TAM モジュール第 1 試作機の回路図。BANK 15, 16 ページ。JATHub との VME 通信用

信号、JATHub との回復手続きパス用の信号を含む。

93
5

4

3

2

1

D

D













U1-6

U1-7
T6
AA5
AB5
AB8
AB7
AA6
AB6
AA10
AB10
AA9
AA8
W11
Y11
W6
Y6
R7
R6
U8
V8
U7
U6
V7
W7
Y8
Y7
W9
Y9
U10
V9
V10
W10
T11
T10
U12
U11
T9
T8
W12
Y12
AA11
AB11
Y13
AA13
AB13
AB12
V13
V12
T13
U13
T14

IO_0_VRN_33
IO_L1P_T0_33
IO_L1N_T0_33
IO_L2P_T0_33
IO_L2N_T0_33
IO_L3P_T0_DQS_33
IO_L3N_T0_DQS_33
IO_L4P_T0_33
IO_L4N_T0_33
IO_L5P_T0_33
IO_L5N_T0_33
IO_L6P_T0_33
IO_L6N_T0_VREF_33
IO_L7P_T1_33
IO_L7N_T1_33
IO_L8P_T1_33
IO_L8N_T1_33
IO_L9P_T1_DQS_33
IO_L9N_T1_DQS_33
IO_L10P_T1_33
IO_L10N_T1_33
IO_L11P_T1_SRCC_33
IO_L11N_T1_SRCC_33
IO_L12P_T1_MRCC_33
IO_L12N_T1_MRCC_33
IO_L13P_T2_MRCC_33
IO_L13N_T2_MRCC_33
IO_L14P_T2_SRCC_33
IO_L14N_T2_SRCC_33
IO_L15P_T2_DQS_33
IO_L15N_T2_DQS_33
IO_L16P_T2_33
IO_L16N_T2_33
IO_L17P_T2_33
IO_L17N_T2_33
IO_L18P_T2_33
IO_L18N_T2_33
IO_L19P_T3_33
IO_L19N_T3_VREF_33
IO_L20P_T3_33
IO_L20N_T3_33
IO_L21P_T3_DQS_33
IO_L21N_T3_DQS_33
IO_L22P_T3_33
VCCO_33_AA7
IO_L22N_T3_33
VCCO_33_T12
IO_L23P_T3_33
VCCO_33_U9
IO_L23N_T3_33
VCCO_33_V6
IO_L24P_T3_33
VCCO_33_W13
IO_L24N_T3_33
VCCO_33_Y10
IO_25_VRP_33

BANK33

C

+1V8D

+1V8D

C7
100U/3225

AA7
T12
U9
V6
W13
Y10



SISCLK
SISDI
SISDO/SICSB/SIRSTB
INSEL0
INSEL1
/INTR
/LOL
/LOS0
/LOS1
/LOS3

SISCLK
SISDI
SISDO/SICSB/SIRSTB
INSEL0
INSEL1
/INTR
/LOL
/LOS0
/LOS1
/LOS3

FPGA200P
R23
100/1005
FPGA200N
GTRECLKPGTRECLKN

IO_0_VRN_34
IO_L1P_T0_34
IO_L1N_T0_34
IO_L2P_T0_34
IO_L2N_T0_34
IO_L3P_T0_DQS_34
IO_L3N_T0_DQS_34
IO_L4P_T0_34
IO_L4N_T0_34
IO_L5P_T0_34
IO_L5N_T0_34
IO_L6P_T0_34
IO_L6N_T0_VREF_34
IO_L7P_T1_34
IO_L7N_T1_34
IO_L8P_T1_34
IO_L8N_T1_34
IO_L9P_T1_DQS_34
IO_L9N_T1_DQS_34
IO_L10P_T1_34
IO_L10N_T1_34
IO_L11P_T1_SRCC_34
IO_L11N_T1_SRCC_34
IO_L12P_T1_MRCC_34
IO_L12N_T1_MRCC_34
IO_L13P_T2_MRCC_34
IO_L13N_T2_MRCC_34
IO_L14P_T2_SRCC_34
IO_L14N_T2_SRCC_34
IO_L15P_T2_DQS_34
IO_L15N_T2_DQS_34
IO_L16P_T2_34
IO_L16N_T2_34
IO_L17P_T2_34
IO_L17N_T2_34
IO_L18P_T2_34
IO_L18N_T2_34
IO_L19P_T3_34
IO_L19N_T3_VREF_34
IO_L20P_T3_34
IO_L20N_T3_34
IO_L21P_T3_DQS_34
IO_L21N_T3_DQS_34
IO_L22P_T3_34
VCCO_34_AB4
IO_L22N_T3_34
VCCO_34_M4
IO_L23P_T3_34
VCCO_34_N1
IO_L23N_T3_34
VCCO_34_R5
IO_L24P_T3_34
VCCO_34_T2
IO_L24N_T3_34
VCCO_34_W3
IO_25_VRP_34

BANK34

GTRECLKPGTRECLKN

+1V8D

AB4
M4
N1
R5
T2
W3

K4
L3
M3
K1
L1
M2
M1
K3
K2
N3
N2
L5
L4
P2
R2
P1
R1
M5
N4
T1
U1
P4
R4
R3
T3
T4
U3
V4
W4
U2
V2
T5
U5
V3
W2
N5
P5
W5
Y4
W1
Y1
Y3
Y2
AA1
AB1
AA3
AB2
AA4
AB3
V5

LEMOOUTPLEMOOUTNLEMOOUTPLEMOOUTN

NC
NC}



CLKIN0
CLKIN1

CLKIN0
CLKIN1C

The same lengthin accuracy of 300ps

B

B

XC7K70T-2FBG484

XC7K70T-2FBG484

+3V3D

R24
(0)
C8

C9

10U

0.1U

R25
(0)

X1
1
2
3

NC
OE
GND

VDD
CLKCLK+

6
5
4

FPGA200NFPGA200P

510BBA200M000AAG

200MHz clock oscillator for PL system clock
OE includes internal pull-up

A

A

Title
Size
A3
Date:
5

図 A.6

4

3

Phase-2 HSC
BANK_33,34
Document Number<Doc>
Friday, August 06, 2021

2

Rev
1.0
Sheet

5

of

19

1

TAM モジュール第 1 試作機の回路図。BANK 33, 34 ページ。クロックジッタークリー

ナーの制御用信号、クロックジッタークリーナーへの再構成クロックの出力、基準クロックの出力、及び基準クロックの入力を含む。

5

4

3

2

1

D

D

SL

U1-8
A4
B6
A3
B5
B2
C4
B1
C3
D6
D5
F5
F6
D2
E4
D1
E3
H1
H2
F2
G4
F1
G3

MGTXTXP3_115
MGTXRXP3_115
MGTXTXN3_115
MGTXRXN3_115
MGTXTXP2_115
MGTXRXP2_115
MGTXTXN2_115
MGTXRXN2_115
MGTREFCLK0P_115
MGTREFCLK0N_115
MGTREFCLK1N_115
MGTREFCLK1P_115
MGTXTXP1_115
MGTXRXP1_115
MGTXTXN1_115
MGTXRXN1_115
MGTAVTTRCAL_115
MGTRREF_115
MGTXTXP0_115
MGTXRXP0_115
MGTXTXN0_115
MGTXRXN0_115

BANK115C+1V2A
GTXTXP[2:0]

GTXTXN[2:0]

GTXTXN[2:0]

GTXTXN0GTXTXN1GTXTXN2

R26
100/1005
GTXTXP1GTXRXP1GTXTXN1GTXRXN1GTXRXP[2:0]

GTXRXP[2:0]

GTXRXP0GTXRXP1GTXRXP2GTXTXP0GTXRXP0GTXTXN0GTXRXN0GTXRXN[2:0]C

GTXRXN[2:0]

GTXRXN0GTXRXN1GTXRXN2

The same length

XC7K70T-2FBG484+3V3D

GTXTXP[2:0]

GTXTXP0GTXTXP1GTXTXP2GTXTXP2GTXRXP2GTXTXN2GTXRXN2

+3V3D
+3V3D

C10
1U

+3V3D

C11
0.1U

B

C12

C13

10U

0.1U

R27
R28
(0)
(0)
B

X2
1
2
3

NC
OE
GND

VDD
CLKB
CLK

6
5

X3
C14

0.1U/1005

C15

4

C16
C17

0.1U/1005

0.1U/1005

6
5
4

VDD
OE
CLKNC
CLK+ GND

1
2
3

0.1U/1005
531BA125M000DG

590BD200M395DGR

200.395 MHz clock oscillator
for Optical-link with Phase 2 SL

125 MHz clock oscillator
OE includes internal pull-up

A

A

Title
Size
A3
Date:
5

図 A.7

4

3

2

Phase-2 HSC
BANK_115
Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

6

of

19

1

TAM モジュール第 1 試作機の回路図。BANK 115 ページ。SL との通信用信号を含む。

付録 A TAM モジュールの設計

94
5

4

3

2

1

D

D

+1V0A
U1-9
A1
A12
A22
A5
A7
AA12
AA2
AA22
AB19
AB9
B19
B3
B4
B7
B9
C1
C16
C5
C7
D13
D3
D4
D7
E1
E10
E20
E5
E7
F17
F3
F4
F7
G1
G14
G5
H11
H21
H3
H4
H5
J1
J10
J12

C

B

+1V0A

U1-10

GND_A1
GND_A12
GND_A22
GND_A5
GND_A7
GND_AA12
GND_AA2
GND_AA22
GND_AB19
GND_AB9GND_B19
GND_B3
GND_B4
GND_B7
GND_B9GND_C1
GND_C16
GND_C5
GND_C7
GND_D13
GND_D3
GND_D4
GND_D7
GND_E1
GND_E10
GND_E20
GND_E5
GND_E7
GND_F17
GND_F3
GND_F4
GND_F7
GND_G1
GND_G14
GND_G5
GND_H11
GND_H21
GND_H3
GND_H4
GND_H5
GND_J1
GND_J10
GND_J12

GND_J14
GND_J18
GND_J2
GND_J3
GND_J8
GND_K13
GND_K15
GND_K5
GND_K9
GND_L10
GND_L14
GND_L2
GND_L22
GND_L8
GND_M13
GND_M15
GND_M19
GND_M9GND_N10
GND_N14
GND_N16
GND_N6
GND_N8
GND_P11
GND_P13
GND_P15
GND_P3
GND_P9
GND_R10
GND_R12
GND_R14
GND_R20
GND_R8
GND_T17
GND_T7
GND_U14
GND_U4
GND_V1
GND_V11
GND_V21
GND_W18
GND_W8
GND_Y15
GND_Y5

J14
J18
J2
J3
J8
K13
K15
K5
K9
L10
L14
L2
L22
L8
M13
M15
M19
M9
N10
N14
N16
N6
N8
P11
P13
P15
P3
P9
R10
R12
R14
R20
R8
T17
T7
U14
U4
V1
V11
V21
W18
W8
Y15
Y5

A6
C6
E6
G6
A2
C2
E2
G2
J4
J11
J13
J15
J9
K14
K8
L15
L9
M14
M8
N15
N9
P14
R15
N13
R13
L13
K10
M10
P10
P12
P8
R11
R9

MGTAVCC_A6
MGTAVCC_C6
MGTAVCC_E6
MGTAVCC_G6
MGTAVTT_A2
MGTAVTT_C2
MGTAVTT_E2
MGTAVTT_G2
MGTVCCAUX_J4
VCCINT_J11
VCCINT_J13
VCCINT_J15
VCCINT_J9
VCCINT_K14
VCCINT_K8
VCCINT_L15
VCCINT_L9
VCCINT_M14
VCCINT_M8
VCCINT_N15
VCCINT_N9
VCCINT_P14
VCCINT_R15
VCCBRAM_N13
VCCBRAM_R13
VCCBRAM_L13
VCCAUX_K10
VCCAUX_M10
VCCAUX_P10
VCCAUX_P12
VCCAUX_P8
VCCAUX_R11
VCCAUX_R9

+1V8A

+1V2A

+1V2A

C18

C19

10U/1005

10U/1005

+1V8A
C

C20
10U/1005

+1V0D

+1V0D

+1V0D

+1V0D

+1V0D

C21

C22

C23

C24

GRM32ER60G337ME05L

100U/3225

10U/1005

10U/1005

+1V8D

+1V8D

XC7K70T-2FBG484

+1V8D

+1V8D

+1V8D

+1V8D

C25

C26

C27

C28

C29

100U/3225

100U/3225

10U/1005

10U/1005

10U/1005

B

XC7K70T-2FBG484

A

A

Phase-2 HSC
BANK_GND,POW

Title
Size
A3

Document Number
<Doc>

Date:
5

4

3

Rev
1.0

Friday, August 06, 2021

Sheet

2

7

of

19

1

図 A.8

TAM モジュール第 1 試作機の回路図。BANK GND, POWER ページ。FPGA への電源、及び GND を供給する。

3

2

+3V3D

+3V3D
C30

JATTDOP
JATTDON
JATTDIP
JATTMSNJATTMSPJATTDIN
JATTCKP
JATTCKN

JATTCKN
JATTCKP

1
2

JATTMSPJATTMSN

3
4

JATTDIN
JATTDIP56
786116522-3

ROUT1
ROUT2

RIN3RIN3+

ROUT3

15

JATTCK

14

JATTMS

11

JATTDI

9

EN*

+3V3D

+3V3D

+3V3D
C32

GND
GND

/RECREQBP/RECREQBNMONITORP/PROGBN/PROGBPMONITORN/GTXRSTBP/GTXRSTBN

1
2/GTXRSTBN/GTXRSTBP

3
4/PROGBP/PROGBN56
7
86116522-3

13

RIN1RIN1+

15

ROUT1
RIN2+
RIN2-

/GTXRSTB

SN65LVDT348PWU6/GTXRSTB
2

IN

OUT

10

ROUT4
RIN4+
RIN4-

R29
4.7K/1005

11

ROUT3

SW3
9

EN*

C35

10U

14

ROUT2

RIN3RIN3+

+3V3D
C34

16

EN

+3V3D

0.1U

0.1U

4

C

/FPGAPROGB

GND

B9
B10

B1
B2
B3
B4
B5
B6
B7
B8

GND

C

1
2
3
4
5
6
7
8

VCC

U5
SHIELDED

+3V3D

C33

10U

1
2

12

CN1B

D

10

ROUT4

SN65LVDT348PW

JATHubJTAG

0.1U

16

EN

RIN2+
RIN2-

RIN4+
RIN4-

C31

10U

13

RIN1RIN1+

3

GND
GND

A1
A2
A3
A4
A5
A6
A7
A8

GND

D

A9
A10

1
2
3
4
5
6
7
8

12

SHIELDED

VCC

U4

CN1A

1

+3V3D

VCC

4

MAX6816EUS+T

1

3

2

4

1

5

3
4

EVQ-Q2P02W

+3V3D
+3V3D

B

JATHubRecovery / Monitor

DS90LV047ATMTCX/NOPB+3V3D

TXENABLE

1EN

DO4DO4+
DO3+
DO3DO2DO2+
DO1+
DO1-

4

TXENABLE
U7
9
10
11
12
13
14
15
16

JATTDON
JATTDOPMONITORP
MONITORN/RECREQBN/RECREQBP

VCC

0.1U

GND

C37

10U

8
7
6

EN*
DI4
DI3

JATTDOMONITOR

3
2

DI2
DI1

/RECREQB

B

5

+3V3D
C36

+3V3D

0.1U

PINTCKJATTCKPINTMS
JATTMSPINTDI
JATTDIPINTDO
JATTDO
+3V3D

+3V3D

A

C40
0.1U

GND
GND
GND
GND
GND
GND
GND

VCC
TMS
TCK
TDO
TDI
NC
NC

NC1
NO1
NC2
NO2
NC3
NO3
NC4
NO4

IN1-2
COM1
COM2
IN3-4
COM3
COM4

4

CN2
1
3
5
7
9
11
13

15
13
3
1
7
5
11
9

VCC

U8

2
4
6
8
10
12
14

No pull-up resistors consideringinternal pull-ups in FPGA.(i)16
14

FPGATCK

2
8
6

FPGATMSFPGATDI

10

FPGATDO

GND

C39

10U

12

+3V3D
C38

+3V3D
TS3A44159PW
JP1
1
2
3

1
2
3

HIGH

LOW

RJ45 RX

14PIN

A

Title

JUMPER3Size
A387833-1420

Date:
5

4

3

2

Phase-2 HSC
Interfaces
Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

8

of

19

1

図 A.9 TAM モジュール第 1 試作機の回路図。BOARD INTERFACE ページ。JATHub とのJTAG パス、回復手続きパスのための RJ45 jack。

95
5

4

3

2

1

+3V3D
FL2
1

3

+3V3D
C42

10U

NFM18PS105D0J3D

0.1U

R31
4.7K

FL3
1
CN3
1
2
3
4
5
6
7
8
9
10

SFPPSDA0SFPPSCL0

20
19
18
17
16
15
14
13
12
11

VEET
VEET
TX_FAULTTDINV.
TX_DISABLE
TD+
SDA
VEET
SCL
VCCT
MOD_DETECT VCCR
RS0
VEER
LOS
RD+
RS1
RDINV.
VEER
VEER

D

3

2

R30
4.7K

D

2

C41

NFM18PS105D0J3D

GTXTXN0GTXTXP0CN4GTXRXP0GTXRXN0
C43

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

C44

UE76-A20-3000T
10U

0.1U

AFBR-709ASMZ

+3V3D
FL4
1

C

3

+3V3D
C46

10U

NFM18PS105D0J3D

0.1U

R33
4.7K

FL5
1
CN5
1
2
3
4
5
6
7
8
9
10

SFPPSDA1SFPPSCL1

3

2

R32
4.7K

2

C45

20
19
18
17
16
15
14
13
12
11

VEET
VEET
TX_FAULTTDINV.
TX_DISABLE
TD+
SDA
VEET
SCL
VCCT
MOD_DETECT VCCR
RS0
VEER
LOS
RD+
RS1
RDINV.
VEER
VEER

NFM18PS105D0J3D

GTXTXP[2:0]

GTXTXP[2:0]

GTXTXP0GTXTXP1GTXTXP2GTXTXN[2:0]

GTXTXN[2:0]

GTXTXN0GTXTXN1GTXTXN2GTXRXP[2:0]

GTXRXP[2:0]

GTXRXP0GTXRXP1GTXRXP2CGTXRXN[2:0]

GTXRXN[2:0]

GTXRXN0GTXRXN1GTXRXN2

U77-A261M-2081

GTXTXN1GTXTXP1

SFPPSCL[2:0]
GTXRXP1GTXRXN1

SFPPSCL[2:0]

SFPPSCL0SFPPSCL1
SFPPSCL2C47

C48
SFPPSDA[2:0]

UE76-A20-3000T
10U

SFPPSDA[2:0]

SFPPSDA0SFPPSDA1SFPPSDA2

0.1U

AFBR-709ASMZ
B

B

SLSFP+
+3V3D
FL6
1

3

+3V3D
C50

10U

NFM18PS105D0J3D

R35
4.7K

FL7
1
CN7
1
2
3
4
5
6
7
8
9
10

SFPPSDA2SFPPSCL2

A

CN6

0.1U

20
19
18
17
16
15
14
13
12
11

VEET
VEET
TX_FAULTTDINV.
TX_DISABLE
TD+
SDA
VEET
SCL
VCCT
MOD_DETECT VCCR
RS0
VEER
LOS
RD+
RS1
RDINV.
VEER
VEER

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

3

2

R34
4.7K

2

C49

NFM18PS105D0J3D

GTXTXN2GTXTXP2GTXRXP2GTXRXN2
C51

C52

UE76-A20-3000T
10U

0.1U

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

A

U77-A1613-1001

AFBR-709ASMZ
Title
Size
A3
Date:
5

4

3

Phase-2 HSC
SFP-SFP+
Document Number
<Doc>

Rev
1.0

Friday, August 06, 2021

Sheet

2

9

of

19

1

図 A.10

TAM モジュール第 1 試作機の回路図。SFP+ ページ。SL との通信及びデバックのためのSiTCP 用の SFP+。

5

4

+1V8D

+1V8D

+1V8D

+1V8D

C53

C54

C55

C56

3

+1V8D

10U

0.1U

1000P

1000P

+1V8D

2



+1V8D

+1V8D
R36
15K

D

1

DO NOT POPULATE THIS PART

R37
(0)

D

U9
10

VDD

VCC

R38
8

CLKIN0

A
R
B

10
4
6
9

NC
NC
NC

GND
GND

5
C57
2
3

0.1U
R39
15K

1
7

R40
51

SN65LVDS4RSER

Recommended range for VID (A-B) :0.15V < | VID | < 0.6V
|VID| should not be greater than 1.0V

+1V8D

R41
15K

C

CN8

R42
15K

+1V8D

+1V8D

+1V8D

C59

C60

C61

C58

1000P

1000P

+1V8D

6
3

2

5
4

EPY.00.250.NTN

0.1U

+1V8D

0.1U

C

1

+1V8D

+1V8D
R43
15K

DO NOT POPULATE THIS PART

R44
(0)

U10
10

B

VDD

VCC

R45
8

CLKIN1

A
R
B

10
4
6
9

NC
NC
NC

GND
GND

5

B

C62
2
3
1
7

0.1U
R46
15K

R47
51

SN65LVDS4RSER

Recommended range for VID (A-B) :0.15V < | VID | < 0.6V
|VID| should not be greater than 1.0V

+1V8D

R48
15K

A

A

R49
15K

C63
0.1U
Title
Size
A3
Date:

5

図 A.114

3

2

Phase-2 HSC
LEMO_IN
Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

10

of

19

1

TAM モジュール第 1 試作機の回路図。LEMO IN ページ。2 つのクロック入力用 LEMO jack。

付録 A TAM モジュールの設計

96
5

4

3

2

1



D

D

Provides HCSL output
+1V8D

+1V8D

+3V3D

+3V3D

+3V3D

C64

C65

C66

1U/1005

1U/1005

1U/1005

C67

LEMOOUTP}

R50
100/1005

0.1U/1005
19
20

VDD
VDDOA
VDDOB

U11
14
15

C68

LEMOOUTN

1244
34

0.1U/1005

CLK0
CLK0B

+1V8D

11
28

CLK_SEL
OEA
OEB
VREF
DIVA
SFOUTA0
SFOUTA1DIVB
SFOUTB0
SFOUTB1

GND
GND
GND
GNDPAD

23
16
18
17
1
3
2
33
31
32

NC
NC

Si53302-B-GM

LEMOOUT0

R51
33

R52
33

R53

33

R55

R54

LEMOOUT1
33

LEMOOUT2
33

R56

33
33

LEMOOUT4

R59
33

R60
33

R61

33

R63

33

R65

R64

LEMOOUT633

LEMOOUT7
33

R66

C

LEMOOUT533

R62

The same lengthin accuracy of 300ps

LEMOOUT3

R57

33
R58

33

13
21

LOS0
LOS1

R67
50

6
22
39
45

C

10
9
8
7
5
4
43
42
41
40
38
37
36
35
30
29
27
26
25
24

Q0
Q0B
Q1
Q1B
Q2
Q2B
Q3
Q3B
Q4
Q4B
Q5
Q5B
Q6
Q6B
Q7
Q7B
Q8
Q8B
Q9
Q9B

CLK1
CLK1B

R68
50

R69
50

R70
50

R71
50

R72
50

R73
50

R74
50

B

B

CN9

CN10

LEMOOUT0

1

6
3

LEMOOUT4

1

LEMOOUT1

2

5
4

LEMOOUT5

2

EPY.00.250.NTN

6
3
5
4

EPY.00.250.NTN

CN11

CN12

LEMOOUT2

1

6
3

LEMOOUT61

6
3

LEMOOUT32

5
4

LEMOOUT72

5
4

EPY.00.250.NTN

EPY.00.250.NTN

A

A

Title
Size
A3
Date:
5

4

3

Phase-2 HSC
LEMO_OUT
Document Number
<Doc>

Rev
1.0

Friday, August 06, 2021

Sheet

2

11

of

19

1

図 A.12

TAM モジュール第 1 試作機の回路図。LEMO OUT ページ。8 つのクロック出力用
LEMO jack。FPGA から出力したクロックを 8 つにファンアウトしている。

5

4

3

2

1

+3V3D



FL8
NFM18PS105D0J3D
1
3

D

C69

2

D

1U/1005

3
37

INSEL0
INSEL143
44

C80
0.1U/1005
SIOUT1OSCCLK

C81

C82

0.1U/1005

0.1U/1005
R77
100/1005

SIOUT1B

41
42

C83
0.1U/1005
X4
2
4

1
2
10
11

GND
GND

XTAL1
XTAL2

4
5
6
7

1
3

CX3225SB48000D0FPJC
12
38
16
14
13
15

/SICSBSISCLK
SISDI
SISDO

B

17
22

/SIRSTB

C84

+1V8D

+1V8D

+1V8D

+1V8D

+1V8D

+1V8D

+1V8D

+1V8D

+1V8D

+3V3D

C70

C71

C72

C73

C74

C75

C76

C77

C78

1U/1005

1U/1005

1U/1005

1U/1005

1U/1005

1U/1005

1U/1005

1U/1005

1U/1005

18
23

8
9
VDDA
VDDA

R75
100/1005

+3V3D

VDDO0
VDDO1

0.1U/1005

GTRECLKN

26
29
34

VDD
VDD
VDD
VDD

C79

GTRECLKP

+1V8D

VDDS
VDDS
VDDS

U12
C

21
32
39
40

+1V8D

C

IN_SEL0
IN_SEL1
IN0
/IN0

OUT0
/OUT0

IN1
/IN1
OUT1
/OUT1

IN2
/IN2
IN3
/IN3

/INTR
/LOL

X1
XA
XB
X2

/LOS_XAXB/OE
I2C_SEL
/LOS0
/LOS1
/LOS2
/LOS3

A0//CSSCLK
SDA/SDIO
A1/SDO

20
19

R76

25
24

SIOUT1SIOUT1B

18/1005

33
27

FPGA40

/INTR
/LOL

28

30
31
35
36

/LOS0
/LOS1
/LOS3
B

/RST
NC
Si5342-B-D-GM

0.1U/1005

+3V3D
FL9
NFM18PS105D0J3D
3

2

1

C85
X5
0.1U

1
2

OE
GND

VDD
OUT

4
3

OSCCLK

R78
33

A

A

MXO3-7050C-40.079MHz

Title
Size
A3
Date:
5

図 A.134

32

Phase-2 HSC
Jitter_cleaner
Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

12

of

19

1

TAM モジュール第 1 試作機の回路図。JITTER CLEANER ページ。再構成されたクロックを受け、ノイズを除去するクロックジッタークリーナー。

97
5

4

CN13A

3

CN13B

2

1

CN13C
A[31:1]

D

D00
D01
D02
D03
D04
D05
D06
D07
GND
SYSCLK
GND
DS1*
DS0*
WRITE*GND
DTACK*
GND
AS*
GND
IACK*
IACKIN*
IACKOUT*
AM4
A07
A06
A05
A04
A03
A02
A01
-12V
+5V

VME
P1

C

A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11
A12
A13
A14
A15
A16
A17
A18
A19
A20
A21
A22
A23
A24
A25
A26
A27
A28
A29
A30
A31
A32

D0
D1
D2
D3
D4
D5
D6
D7
SYSCLK/DS1/DS0/WRITE/DTACK
/AS
/IACK

BBSY*
BCLR*
ACFAIL*
BG0IN*
BG0OUT*
BG1IN*BG1OUT*
BG2IN*BG2OUT*
BG3IN*BG3OUT*
BR0*
BR1*
BR2*
BR3*
AM0
AM1
AM2
AM3
GND
SERCLKSERDAT
GND
IRQ7*
IRQ6*
IRQ5*
IRQ4*
IRQ3*
IRQ2*
IRQ1*
+5V STDBY+5V

SYSCLK/WRITE/DTACK

VME
P1

/AS
/IACK

AM4
A7
A6
A5
A4
A3
A2
A1

B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
B13
B14
B15
B16
B17
B18
B19
B20
B21
B22
B23
B24
B25
B26
B27
B28
B29
B30
B31
B32

D08
D09
D10
D11
D12
D13
D14
D15
GND
SYSFAIL*BERR*
SYSRESET*LWORD*
AM5
A23
A22
A21
A20
A19
A18
A17
A16
A15
A14
A13
A12
A11
A10
A9
A8
+12V
+5V

AM0
AM1
AM2
AM3

VME
P1

/IRQ7
/IRQ6
/IRQ5
/IRQ4
/IRQ3
/IRQ2
/IRQ1

C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C13
C14
C15
C16
C17
C18
C19
C20
C21
C22
C23
C24
C25
C26
C27
C28
C29
C30
C31
C32

D8
D9
D10
D11
D12
D13
D14
D15
/BERR
/SYSRST/LWORD
AM5
A23
A22
A21
A20
A19
A18
A17
A16
A15
A14
A13
A12
A11
A10
A9
A8

A[31:1]

A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11
A12
A13
A14
A15
A16
A17
A18
A19
A20
A21
A22
A23
A24
A25
A26
A27
A28
A29
A30
A31

/BERR
/SYSRST/LWORD

DC

D[31:0]
PCN10-96P-2.54DS(72)PCN10-96P-2.54DS(72)

CN14A

CN14B
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD

B

VME
P2

A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11
A12
A13
A14
A15
A16
A17
A18
A19
A20
A21
A22
A23
A24
A25
A26
A27
A28
A29
A30
A31
A32

CN14C

+5V
GND
RETRY*
A24
A25
A26
A27
A28
A29
A30
A31
GND
+5V
D16
D17
D18
D19
D20
D21
D22
D23
GND
D24
D25
D26
D27
D28
D29
D30
D31
GND
+5V

VME
P2

B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
B13
B14
B15
B16
B17
B18
B19
B20
B21
B22
B23
B24
B25
B26
B27
B28
B29
B30
B31
B32

A24
A25
A26
A27
A28
A29
A30
A31
D16
D17
D18
D19
D20
D21
D22
D23

VME
P2

D24
D25
D26
D27
D28
D29
D30
D31

UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD

C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C13
C14
C15
C16
C17
C18
C19
C20
C21
C22
C23
C24
C25
C26
C27
C28
C29
C30
C31
C32

PCN10-96P-2.54DS(72)B/DS[1:0]

AM[5:0]AM[5:0]

AM0
AM1
AM2
AM3
AM4
AM5
/IRQ[7:1]/IRQ[7:1]

/IRQ1
/IRQ2
/IRQ3
/IRQ4
/IRQ5
/IRQ6
/IRQ7

A

PCN10-96P-2.54DS(72)

Title

VME backplane (JATHubVME



)

Size
A3

Phase-2 HSC
VME_J1_J2_Connectors
Document Number
<Doc>

Date:
5

/DS[1:0]

/DS0
/DS1

A

PCN10-96P-2.54DS(72)D[31:0]

D0
D1
D2
D3
D4
D5
D6
D7
D8
D9
D10
D11
D12
D13
D14
D15
D16
D17
D18
D19
D20
D21
D22
D23
D24
D25
D26
D27
D28
D29
D30
D31

PCN10-96P-2.54DS(72)

4

3

Rev
1.0

Friday, August 06, 2021

2

Sheet

13

of

19

1

図 A.14

TAM モジュール第 1 試作機の回路図。VME J1, J2 CONNECTOR ページ。JATHubとの VME 通信のための VME コネクタ。

5

4

3

2

1

D

D

SRC+3V3D

CN15A

CN15B
+3.3VD+3.3VD
UD
UD
UD
UD
GND
GND
UD
UD
GND
GND
UD
UD
GND
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
GND
UD
UD
UD
UD
UD
UD

C

VME
P3

B

A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11
A12
A13
A14
A15
A16
A17
A18
A19
A20
A21
A22
A23
A24
A25
A26
A27
A28
A29
A30
A31
A32

PCN10-96P-2.54DS(72)

CN15C+3.3VD+3.3VD
UD
UD
UD
UD
GND
GND
UD
UD
GND
GND
UD
UD
GND
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
GND
UD
UD
UD
UD
UD

VME
P3

B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
B13
B14
B15
B16
B17
B18
B19
B20
B21
B22
B23
B24
B25
B26
B27
B28
B29
B30
B31
B32

VME
P3

/VLAM2/VLAM4/VLAM6/VLAM8/VLAM10/VLAM12/VLAM14/VLAM16/VLAM18/VLAM20/VSPICSVSPICLVMOSIVMISO/VSPICSVSPICLVMOSI
VMISO

PCN10-96P-2.54DS(72)

VME backplane+3.3VD+3.3VD
UD
UD
UD
UD
GND
GND
UD
UD
GND
GND
UD
UD
GND
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
UD
GND
UD
UD
UD
UD
UD

(JATHub QSPI

C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C13
C14
C15
C16
C17
C18
C19
C20
C21
C22
C23
C24
C25
C26
C27
C28
C29
C30
C31
C32

C

/VLAM[20:1]/VLAM[20:1]/VLAM1/VLAM2/VLAM3/VLAM4/VLAM5/VLAM6/VLAM7/VLAM8/VLAM9/VLAM10/VLAM11/VLAM12/VLAM13/VLAM14/VLAM15/VLAM16/VLAM17/VLAM18/VLAM19/VLAM20/VLAM1/VLAM3/VLAM5/VLAM7/VLAM9/VLAM11/VLAM13/VLAM15/VLAM17/VLAM19

PCN10-96P-2.54DS(72)B)SRC+3V3D

+3V3D

FL10
1

F1

2

MF-USML600-2

3

+3V3D

C86

NFM21PC475B1A3D

100U/3225- hold current 6A- trip current 12A
A

A

Title
Size
A3
Date:
5

図 A.154

3

2

Phase-2 HSC
VME_J3_Connectors
Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

14

of

19

1

TAM モジュール第 1 試作機の回路図。VME J3 CONNECTOR ページ。JATHub のQSPI フラッシュメモリへのブートファイルの書き込み用、及び電源供給用 VME コネクタ。

付録 A TAM モジュールの設計

98
5

4

3

+3V3D

+3V3D

/V-AOE

+3V3D

+3V3D

2

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

1

+3V3D

C87

C88

C89

C90

C91

C92

C93

C94

C95

C96

C97

0.1U

0.1U

0.1U

0.1U

0.1U

0.1U

0.1U

10U

10U

10U

10U

U13
/V-LWORD

1
2
3
4
5
6
7
8
9
10

V-A1
V-A2
V-A3
V-A4
V-A5
V-A6
V-A7

D

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

20
19
18
17
16
15
14
13
12
11

A1
A2
A3
A4
A5
A6
A7

20
19
18
17
16
15
14
13
12
11

A8
A9
A10
A11
A12
A13
A14
A15

/LWORD

SN74LVTH541PW

U14
1
2
3
4
5
6
7
8
9
10

V-A8
V-A9
V-A10
V-A11
V-A12
V-A13
V-A14
V-A15

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

D

V-A[23:1]

V-A[23:1]

V-A1
V-A2
V-A3
V-A4
V-A5
V-A6
V-A7
V-A8
V-A9
V-A10
V-A11
V-A12
V-A13
V-A14
V-A15
V-A16
V-A17
V-A18
V-A19
V-A20
V-A21
V-A22
V-A23

SN74LVTH541PW
V-A[31:24]

U15
1
2
3
4
5
6
7
8
9
10

V-A16
V-A17
V-A18
V-A19
V-A20
V-A21
V-A22
V-A23

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

20
19
18
17
16
15
14
13
12
11

A16
A17
A18
A19
A20
A21
A22
A23

20
19
18
17
16
15
14
13
12
11

A24
A25
A26
A27
A28
A29
A30
A31

A[31:1]

U16
1
2
3
4
5
6
7
8
9
10

B

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

SN74LVTH541PW
X6
1
2
U17
1
2
3
4
5
6
7

1CLR*
1D
1CLK
1PRE*
1Q
1Q*
GND

OE
GND

VDD
OUT

4
3

MX03-7050-32MHz
14
13
12
11
10
9
8

VCC
2CLR*
2D
2CLK
2PRE*
2Q
2Q*

C

A[31:1]

A1
A2
A3
A4
A5
A6
A7
A8
A9
A10
A11
A12
A13
A14
A15
A16
A17
A18
A19
A20
A21
A22
A23
A24
A25
A26
A27
A28
A29
A30
A31

SN74LVTH541PW

V-A24
V-A25
V-A26
V-A27
V-A28
V-A29
V-A30
V-A31

V-A[31:24]

V-A24
V-A25
V-A26
V-A27
V-A28
V-A29
V-A30
V-A31

C

B

/V-DS[1:0]/V-DS[1:0]/V-DS0/V-DS1JP2
12
3SN74LVC74APW/DS[1:0]1
2
3/DS[1:0]

/DS0
/DS1

JUMPER3SYSCLK
U18
1
2
3
4
5
6
7
8
9
10

/V-DS1A/V-DS0/V-WRITE
/V-AS

1OE*
1A1
2Y4
1A2
2Y3
1A3
2Y2
1A4
2Y1
GND

VCC
2OE*
1Y1
2A4
1Y2
2A3
1Y3
2A2
1Y4
2A1

20
19
18
17
16
15
14
13
12
11

VME /DS1/WRITE
/AS

Title
Size
A3

SN74LVTH244APW

Date:
5

図 A.16





A

/DS0

4

3

Phase-2 HSC
VME_ Address_Buffer
Document Number<Doc>
Friday, August 06, 2021

2

Rev
1.0
Sheet

15

of

19

1

TAM モジュール第 1 試作機の回路図。VME ADDRESS BUFFER ページ。VME のア

ドレス線用のバッファー。

5

4

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

3

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

2

1

+3V3D
V-D[31:0]

C98

C99

C100

C101

C102

C103

C104

C105

C106

C107

0.1U

0.1U

0.1U

0.1U

0.1U

0.1U

0.1U

0.1U

10U

10U

/V-DOEU19

D

V-DDIR

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

V-D0
V-D1
V-D2
V-D3
V-D4
V-D5
V-D6
V-D7
V-D8
V-D9
V-D10
V-D11
V-D12
V-D13
V-D14
V-D15

1DIR
1B1
1B2
GND
1B3
1B4
VCC
1B5
1B6
GND
1B7
1B8
2B1
2B2
GND
2B3
2B4
VCC
2B5
2B6
GND
2B7
2B8
2DIR

48
47
46
45
44
43
42
41
40
39
38
37
36
35
34
33
32
31
30
29
28
27
26
25

1OE*
1A1
1A2
GND
1A3
1A4
VCC
1A5
1A6
GND
1A7
1A8
2A1
2A2
GND
2A3
2A4
VCC
2A5
2A6
GND
2A7
2A8
2OE*

D0
D1
D2
D3
D4
D5
D6
D7
D8
D9
D10
D11
D12
D13

D[31:0]V-D[31:0]

V-D0
V-D1
V-D2
V-D3
V-D4
V-D5
V-D6
V-D7
V-D8
V-D9
V-D10
V-D11
V-D12
V-D13
V-D14
V-D15
V-D16
V-D17
V-D18
V-D19
V-D20
V-D21
V-D22
V-D23
V-D24
V-D25
V-D26
V-D27
V-D28
V-D29
V-D30
V-D31

+3V3D
RA4
V-D0
V-D1
V-D2
V-D3

8
7
6
5

8
7
6
5

1
2
3
4

1
2
3
4

CN1J4103J
RA5
V-D4
V-D5
V-D6
V-D7

8
7
6
5

V-D8
V-D9
V-D10
V-D11

8
7
6
5

8
7
6
5

1
2
3
4

1
2
3
4

CN1J4103J
RA6
8
7
6
5

1
2
3
4

1
2
3
4

CN1J4103J
RA7
V-D12
V-D13
V-D14
V-D15

D14
D15

8
7
6
5

8
7
6
5

1
2
3
4

1
2
3
4

V-D16
V-D17
V-D18
V-D19

SN74LVTH16245ADGG
U20
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

V-D16
V-D17
V-D18
V-D19
V-D20
V-D21
V-D22
V-D23
V-D24
V-D25
V-D26
V-D27
V-D28
V-D29
V-D30
V-D31

1DIR
1B1
1B2
GND
1B3
1B4
VCC
1B5
1B6
GND
1B7
1B8
2B1
2B2
GND
2B3
2B4
VCC
2B5
2B6
GND
2B7
2B8
2DIR

48
47
46
45
44
43
42
41
40
39
38
37
36
35
34
33
32
31
30
29
28
27
26
25

1OE*
1A1
1A2
GND
1A3
1A4
VCC
1A5
1A6
GND
1A7
1A8
2A1
2A2
GND
2A3
2A4
VCC
2A5
2A6
GND
2A7
2A8
2OE*

8
7
6
5

D16
D17

8
7
6
5

AM[5:0]

1
2
3
4

1
2
3
4

V-D20
V-D21
V-D22
V-D23

D22
D23
D24
D25

8
7
6
5

8
7
6
5

1
2
3
4

1
2
3
4

CN1J4103J
RA10
V-D24
V-D25
V-D26
V-D27

D26
D27

8
7
6
5

D28
D29

8
7
6
5

V-AM[5:0]
1
2
3
4

1
2
3
4

RA11
V-D28
V-D29
V-D30
V-D31

8
7
6
5

SN74LVTH16245ADGG

8
7
6
5

/V-IRQ[7:1]

1
2
3
4

1
2
3
4

B

+3V3D

C109

C110

0.1U

0.1U

10U

+3V3D

14

+3V3D

C108
U21

/DTACK

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

U22
VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

20
19
18
17
16
15
14
13
12
11

+3V3D

1

/V-IACK/V-IRQ1/V-IRQ2/V-IRQ3/V-IRQ4/V-IRQ5/V-IRQ6/V-IRQ7

3
5/V-OBERR

9/V-DTACK

11/V-SYSRST

13

C112

C113

0.1U

0.1U

10U

SN74LVC07APW

1A

1Y

2A

2Y

3A

3Y

4A

4Y

5A

5Y

6A

6Y

2

/IACK

4
6
8
10

/SYSRST

12G

SN74LVC541APW

VME 

7/V-AOE
U23

A

1
2
3
4
5
6
7
8
9
10

V-AM0
V-AM1
V-AM2
V-AM3
V-AM4
V-AM5

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

B

+3V3D

C111

V

1
2
3
4
5
6
7
8
9
10

/IRQ1
/IRQ2
/IRQ3
/IRQ4
/IRQ5
/IRQ6
/IRQ7

+3V3D

/V-IRQ[7:1]/V-IRQ1/V-IRQ2/V-IRQ3/V-IRQ4/V-IRQ5/V-IRQ6/V-IRQ7

CN1J4103J+3V3D

V-AM[5:0]

V-AM0
V-AM1
V-AM2
V-AM3
V-AM4
V-AM5

CN1J4103J

D30
D31

+3V3D

C

IRQ[7:1]

/IRQ1
/IRQ2
/IRQ3
/IRQ4
/IRQ5
/IRQ6
/IRQ7

RA9

D20
D21

AM[5:0]/IRQ[7:1]

CN1J4103J

D18
D19

D

AM0
AM1
AM2
AM3
AM4
AM5

CN1J4103J
RA8C

D[31:0]

D0
D1
D2
D3
D4
D5
D6
D7
D8
D9
D10
D11
D12
D13
D14
D15
D16
D17
D18
D19
D20
D21
D22
D23
D24
D25
D26
D27
D28
D29
D30
D31

20
19
18
17
16
15
14
13
12
11

AM0
AM1
AM2
AM3
AM4
AM5


A

/BERR
+3V3D
U24
1
2
3

INA1
GND
INA2

OUTY2
VCC
OUTY1

4
5
6

/V-IBERR
Title

Phase-2 HSC
VME_Data_Buffer

SN74LVTH541PW
Size
A3

NL27WZ04DFT2

Date:
5

図 A.174

3

2Document Number<Doc>
Friday, August 06, 2021

Rev
1.0
Sheet

16

of

19

1

TAM モジュール第 1 試作機の回路図。VME DATA BUFFER ページ。VME のデータ線用のバッファー。

99
5

4

3

2

1

D

D

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

+3V3D

C114

C115

C116

C117

C118

0.1U

0.1U

0.1U

10U

10U

U25
1
2
3
4
5
6
7
8
9
10

/V-LAM1/V-LAM2/V-LAM3/V-LAM4/V-LAM5/V-LAM6/V-LAM7/V-LAM8

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

/V-LAM[20:1]

20
19
18
17
16
15
14
13
12
11

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

SN74LVTH541PW

C

U26
1
2
3
4
5
6
7
8
9
10

/V-LAM9/V-LAM10/V-LAM11/V-LAM12/V-LAM13/V-LAM14/V-LAM15/V-LAM16

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

20
19
18
17
16
15
14
13
12
11

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

/VLAM[20:1]/V-SPICS
V-SPICL
V-MOSI
VMISO

OE1*
A1
A2
A3
A4
A5
A6
A7
A8
GND

20
19
18
17
16
15
14
13
12
11

VCC
OE2*
Y1
Y2
Y3
Y4
Y5
Y6
Y7
Y8

/VLAM[20:1]/VLAM1/VLAM2/VLAM3/VLAM4/VLAM5/VLAM6/VLAM7/VLAM8/VLAM9/VLAM10/VLAM11/VLAM12/VLAM13/VLAM14/VLAM15/VLAM16/VLAM17/VLAM18/VLAM19/VLAM20

U27
1
2
3
4
5
6
7
8
9
10

/V-LAM17/V-LAM18/V-LAM19/V-LAM20

C/VLAM9/VLAM10/VLAM11/VLAM12/VLAM13/VLAM14/VLAM15/VLAM16

SN74LVTH541PW

B/V-LAM[20:1]/V-LAM1/V-LAM2/V-LAM3/V-LAM4/V-LAM5/V-LAM6/V-LAM7/V-LAM8/V-LAM9/V-LAM10/V-LAM11/V-LAM12/V-LAM13/V-LAM14/V-LAM15/V-LAM16/V-LAM17/V-LAM18/V-LAM19/V-LAM20/VLAM1/VLAM2/VLAM3/VLAM4/VLAM5/VLAM6/VLAM7/VLAM8/VLAM17/VLAM18/VLAM19/VLAM20/VSPICSVSPICLVMOSI
V-MISO

B

SN74LVTH541PW

JATHub QSPI



A

A

Phase-2 HSC
VME_J3_Buffer

Title
Size
A3

Document Number
<Doc>

Date:
5

図 A.18

4

3

Rev
1.0

Friday, August 06, 2021

2

Sheet

17

of

19

1

TAM モジュール第 1 試作機の回路図。VME J3 BUFFER ページ。JATHub の QSPI フ

ラッシュメモリへのブートファイルの書き込み用信号のためのバッファー。

5

4

3

2

1

1

+3V3D
D6

1

+3V3D

3

3

3

2

2

2

3

D7

1

RR601BM4STL

RR601BM4STL

D

2

D

1

+1V0D

+1V8D

1

1
U29
15
16
17
14

2

RR601BM4STL

U28

13
11
10
9
7
6
5

C130
0.1U

VIN
VIN
VIN
EN

4

PG

1
19
20

VOUT
VOUT
VOUT

NR/SS
1.6V
800MV
400MV
200MV
100MV
50MV

C125 C126 C127

0.01U

10U

10U 100U/3225

2
12

SNS
BIAS

C128

C129

100U/3225

0.1U

3

FB

13
11
10
9
7
6
5

8
18

GND
GND

VOUT
VOUT
VOUT

NR/SS
1.6V
800MV
400MV
200MV
100MV
50MV

SNS
BIAS
FB
GND
GND

4
1
19
20

C120

C121 C122 C123

0.01U

10U

10U

100U/3225

2
12
3
8
18

TPS7A8500RGRR
R8010K

TPS7A8500RGRR

21

C

C124

PG

21

100U/3225

TP

15
16
17
14

C119

VIN
VIN
VIN
EN

TP

2

3

D8

3

R79
10K

C

3.3VD -> 1.8VD

+1V0A

3

2

2

3

3

2

U30
2

15
16
17
14

C131
RR601BM4STL

RR601BM4STL

2

2

1

2

1

T4
GPIN5

1

2

T3
GPIN5

1

2

2

1

1

T2
GPIN5

1

1

1

2

T1
GPIN5

2

100U/3225

R81
330

13
11
10
9
7
6
5

C136

D11
SML-D12M1WT86(Green)

2

0.1U

VIN
VIN
VIN
EN

NR/SS
1.6V
800MV
400MV
200MV
100MV
50MV

SNS
BIAS
FB

21

R82
(0)

B

PG
VOUT
VOUT
VOUT

GND
GND

TP

D10

1
3

1

D9
+3V3D
+3V3D

1

1

3.3VD -> 1.0VD

4
1
19
20

C132

C133 C134 C135

0.01U

10U

10U 100U/3225

2
12
3
8
18

TPS7A8500RGRR

B

+1V8A

+1V2A

3.3VD -> 1.0VA

2

15
16
17
14

C138
100U/3225

C147

PG
VOUT
VOUT
VOUT

NR/SS
1.6V
800MV
400MV
200MV
100MV
50MV

SNS
BIAS
FB

21

0.1U

13
11
10
9
7
6
5

GND
GND

4

3

1
19
20

RR601BM4STL

3

2

1

U32

1

D14

1

+3V3D

VIN
VIN
VIN
EN

2

3

3

2

2

15
16
17
14

C137
C139

C140 C141 C142

0.01U

10U

10U

RR601BM4STL
100U/3225

VIN
VIN
VIN
EN

PG
VOUT
VOUT
VOUT

4
1
19
20

100U/3225

2
12

13
11
10
9
7
6
5

C148
3
0.1U
8
18

TPS7A8500RGRR

NR/SS
1.6V
800MV
400MV
200MV
100MV
50MV

SNS
BIAS
FB
GND
GND

TP

2

21

3

RR601BM4STL

1

D13
U31

1
3

TP

D12
+3V3D

1

R83
10K

C143

C144 C145 C146

0.01U

10U

10U 100U/3225

2
12
3
8
18

TPS7A8500RGRR

A

A

3.3VD -> 1.2VA

3.3VD -> 1.8VA

Phase-2 HSC



Title

POWER

Size
A3

Document Number
<Doc>

Date:
5

図 A.194

3

2

Friday, August 06, 2021

Rev
1.0
Sheet

18

of

19

1

TAM モジュール第 1 試作機の回路図。電源ページ。リニアレギュレータを仕様して、電源を管理している。

100

付録 B

PS board から SL へのデータフォー
マットの詳細6.5 節で説明した PS board から SL へのデータフォーマットの詳細について述べる。3.4 節で説明した
ように、PS board は 40 MHz の頻度で 5 ワード (160 bit) を送信する。ワード 0 は Comma、及び制御・監視用信号を含むヘッダーであり、ワード 1 からワード 4 には TGC 検出器からのヒット信号が入っている。
まずワード 0 のデータフォーマットを図 B.1 に示す。加速器運転中に用いる本番用のデータフォー
マット (図 B.1(a) 参照) については 6.5 節で説明したため、ここでは説明を省く。PS board 上の素子

(QSPI フラッシュメモリ, PP ASIC, クロックジッタークリーナー, DAC, ADC) を制御するビットバン
Normal
SFP+ 0Forth byte [31:24]

Word (32 bit)Word-0Third byte [23:16]

Status bit [1:0] = 2'b11 xADC read ADC read DAC read DAC write QSPI status Si5345 Lock PP ASIC status SEM status [2:0]Second byte [15:8]
BCID [11:0]

First byte [7:0]Comma = 0xbc

SFP+ 1
Word (32 bit)

Forth byte [31:24]

Word-0PS data [7:0]

Third byte [23:16]
Data type [3:0]Second byte [15:8]
BCID [11:0]

First byte [7:0]Comma = 0xbc(a) 本番用データフォーマット
Bit banging
SFP+ 0Forth byte [31:24]

Word (32 bit)Word-0Status bit [1:0] = 2'b10 xADC read ADC read DAC read DAC write

Third byte [23:16]
2'b0

SDA [1:0]

2'b0Second byte [15:8]
BCID [11:0]

First byte [7:0]Comma = 0xbc

SFP+ 1Forth byte [31:24]

Word (32 bit)Third byte [23:16]

SDO [10:0]

Word-0

Second byte [15:8]
BCID [11:0]

1'b0

First byte [7:0]Comma = 0xbc(b) ビットバンギング用データフォーマット
Connection check
SFP+ 0Forth byte [31:24]

Word (32 bit)Word-0Status bit [1:0] = 2'b01

Third byte [23:16]
PS board ID [10:0]

Second byte [15:8]

First byte [7:0]

BCID [7:0]Comma = 0xbc

Second byte [15:8]

First byte [7:0]

BCID [7:0]Comma = 0xbc

Link number = 1'b0 2'b0

SFP+ 1Forth byte [31:24]

Word (32 bit)Word-0Status bit [1:0] = 2'b01

Third byte [23:16]
PS board ID [10:0]

Link number = 1'b1 2'b0(c) SL, PS board 間の接続試験用データフォーマット

図 B.1

PS board から SL へのデータフォーマット (ワード 0 の詳細)。

101
ギングを行うためのデータフォーマットを図 B.1(b) に示す。このビットバンギングは基本的にデバッグに用いるものである。図 B.1(c) に SL, PS board 間の接続が正しいものになっているのかを試験するためのデータフォーマットを示す。それぞれのリンクに 5.2 節で述べた PS board の ID、及びリンク番号(SFP+0 はリンク番号 0、SFP+1 はリンク番号 1) が含まれている。

Chapter 3

TGC 検出器からのヒット信号を送るワード 1 からワード 4 のデータフォーマットを組み立てるためには、SL のメイン FPGA における Super Logic Region (SLR) 構造 [21] を考慮しなくてはならない。SL
のメイン FPGA は 4 つの FPGA ダイ (それぞれを SLR と呼ぶ) から構成されており、SLR 間は Super

Stacked Silicon Interconnect (SSI)Long Line (SLL) によって繋がれている。SLL は数が限定されており、SLL を用いた信号伝達の遅延は同一 SLR 内の信号伝達の遅延よりも大きいため、SLR 間を跨ぐ信号の数を最小限に抑えるような設計をすることが好まれる。
This guide addresses all designs targeting large FPGA devices. This chapter discusses

1 枚の SL は 2.2.2 節で述べたように、
TGC
BW
3 つのトリガーセクターからヒット信号を受け取
designs specifically
using
the の
StackedSilicon Interconnect (SSI) technology.
る。それぞれのトリガーセクターは独立に飛跡再構成がなされる必要があるため、図B.3 のようにそれ
The SSI technology combines multiple Super Logic Region (SLR) components
mounted ona passive Silicon Interposer.

ぞれの SLR が 1 つのトリガーセクターの飛跡再構成を行うようなデザインを用いる。このように 1 つのCompared to traditional devices, SSI technology enables Xilinx to construct FPGA devices

SLR に 1 つのトリガーセクターからのヒット情報を集め、さらにSLR 間を跨ぐ信号の数を最小限に抑えwith the following characteristics:• 1Thedevices are much1larger.
るためには、PS board からの本のリンクにはつのトリガーセクターからのヒット情報しかないよう•

The devices have more dedicated features.

•

The devices have a lower power envelope.

に、PS board のデータフォーマットを決める必要がある。以下では PP ASIC を指定するために、PP1∼ PP8 という名称を用いるため、
PS termsboardにおけるそれぞれの
ASIC
B.4
Note: The
traditional
device and monolithicPP
devicerefer toの位置を図
devices not using
SSIに示す。
technology.
X-Ref Target - Figure 3-1(IGH "ANDWIDTH,OW ,ATENCY #ONNECTIONS-ICROBUMPS
4HROUGH 3ILICON 6IAS 436
# "UMPS

3,2

3,2

3,2

3,2

&0'! $IE 3,2
3ILICON )NTERPOSER

0ACKAGE 3UBSTRATE"'! 3OLDER "ALLS

図 B.2

SLR 構造の概要 [21]。SL3-1:のメイン
FPGA はSSI
4 つのFPGA
ダイ (それぞれを SLR と呼ぶ)
FigureRepresentative
DeviceConstructionから構成されており、SLR 間は SLL によって繋がれている。

Large FPGA Methodology Guide
UG872 (v14.3) October 16, 2012www.xilinx.com

Send Feedback11

付録 B PS board から SL へのデータフォーマットの詳細

102
Endcap1
Endcap2

SL

FPGA

SLR0





SLR1






   Forward
SLR2





SLR3



図 B.3



SLR 構造を考慮した飛跡再構成。

PP1

PP2

PP3

PP4

PP5

PP6

PP7

PP8

図 B.4

PP ASIC の番号付け。

103
PP ASIC
PP1-A
PP2-A
PP3-A
PP4-A

Trigger Sector
Endcap 1

PP ASIC
PP1-A
PP2-A
PP3-A
PP4-A

Trigger Sector
Endcap 2
Endcap 2
Endcap 1
Endcap 1

PP ASIC
PP1-A
PP2-A
PP3-A
PP4-A

Trigger Sector
Endcap 1
ForwardEndcap 1

PP ASIC
PP1-A
PP2-A
PP3-A
PP4-A

Trigger Sector
Endcap 2
Endcap 2
Endcap 2
Endcap 2

PP1-B
PP2-B
PP3-B
PP4-B

Endcap 1

Endcap 2
Endcap 2
Endcap 1
Endcap 1

PP1-B
PP2-B
PP3-B
PP4-B

Endcap 1
ForwardEndcap 1

Forward

PP1-B
PP2-B
PP3-B
PP4-B

PP1-B
PP2-B
PP3-B
PP4-B

Endcap 2
Endcap 2
Endcap 2
Endcap 2

PP5-A
PP6-A
PP7-A
PP8-A

Endcap 1
Endcap 1
Forward
Forward

PP5-A
PP6-A
PP7-A
PP8-A

Endcap 2
Endcap 2
Endcap 1
Endcap 1

PP5-A
PP6-A
PP7-A
PP8-A

Endcap 1
ForwardEndcap 1
Forward

PP5-A
PP6-A
PP7-A
PP8-A

Endcap 1
Endcap 1
Endcap 1
Endcap 1

PP5-B
PP6-B
PP7-B
PP8-B

Endcap 1
Endcap 1
Forward
Forward

PP5-B
PP6-B
PP7-B
PP8-B

Endcap 2
Endcap 2
Endcap 1
Endcap 1

PP5-B
PP6-B
PP7-B
PP8-B

Endcap 1
ForwardEndcap 1
Forward

PP5-B
PP6-B
PP7-B
PP8-B

Endcap 1
Endcap 1
Endcap 1
Endcap 1

Forward

図 B.5

2 つのトリガーセクターからの入力がある PS board における、それぞれの PP ASIC が扱

うトリガーセクター。

1 枚の SL が受ける、TGC BW からの信号を扱う 29 枚の PS board の内 25 枚の PS board は 1 つのトリガーセクターの信号しか扱わないため、如何なるデータフォーマットを使用したとしても上記の要求は満たされる。2 つのトリガーセクターからの入力がある 4 枚の PS board における、それぞれの PP

ASIC が扱うトリガーセクターを図 B.5 に示す。これらの PS board に対して上記の要求を満たすためには、図 B.6 に示す 3 種類のデータフォーマットを用いる必要がある。それぞれのデータフォーマットをType Alpha (PP1, 2, 5, 6 と PP3, 4, 7, 8 に分ける)、Type Beta (PP1, 3, 5, 7 と PP2, 4, 6, 8 に分ける)、Type Gamma (PP1, 2, 3, 4 と PP5, 6, 7, 8 に分ける) と呼ぶ。1 つのトリガーセクターからの入力しか扱わない PS board に対しては、どのようなデータフォーマットを用いても良いが、ワイヤーに対して Low η を SFP+0 で、High η を SFP+1 で送る Type Alpha のデータフォーマットを用いることとした。

付録 B PS board から SL へのデータフォーマットの詳細

104
SFP+ 0Word (32 bit)

Forth byte [31:24]

Third byte [23:16]

Second byte [15:8]

First byte [7:0]Word-1

PP1 Ach

PP1 BchWord-2

PP2 AchPP2 BchWord-3

PP5 Ach

PP5 BchWord-4

PP6 AchPP6 Bch

SFP+ 1
Word (32 bit)

Forth byte [31:24]

Third byte [23:16]

Second byte [15:8]

First byte [7:0]Word-1

PP3 Ach

PP3 BchWord-2

PP4 Ach

PP4 BchWord-3

PP7 Ach

PP7 BchWord-4

PP8 Ach

PP8 Bch(a) Type Alpha データフォーマット
SFP+ 0Word (32 bit)

Forth byte [31:24]

Third byte [23:16]

Second byte [15:8]

First byte [7:0]Word-1

PP1 Ach

PP1 BchWord-2

PP3 Ach

PP3 BchWord-3

PP5 Ach

PP5 BchWord-4

PP7 Ach

PP7 Bch

SFP+ 1
Word (32 bit)

Forth byte [31:24]

Third byte [23:16]

Second byte [15:8]

First byte [7:0]Word-1PP2 AchPP2 BchWord-2

PP4 Ach

PP4 BchWord-3

PP6 AchPP6 BchWord-4

PP8 Ach

PP8 Bch(b) Type Beta データフォーマット
SFP+ 0Word (32 bit)

Forth byte [31:24]

Third byte [23:16]

Second byte [15:8]

First byte [7:0]Word-1

PP1 Ach

PP1 BchWord-2

PP2 AchPP2 BchWord-3

PP3 Ach

PP3 BchWord-4

PP4 Ach

PP4 Bch

SFP+ 1
Word (32 bit)

Forth byte [31:24]

Third byte [23:16]

Second byte [15:8]

First byte [7:0]Word-1

PP5 Ach

PP5 BchWord-2

PP6 AchPP6 BchWord-3

PP7 Ach

PP7 BchWord-4

PP8 Ach

PP8 Bch(c) Type Gamma データフォーマット

PS board から SL へのデータフォーマット (ワード 1 からワード 4 の詳細)。図 B.5 で示した 2 つのトリガーセクターからの入力を扱う PS board に対して、1 つのリンクに 1 つのトリガーセ
クターからのヒット情報のみが入るようにするためには Type Alpha (PP1, 2, 5, 6 と PP3, 4, 7, 8に分ける)、Type Beta (PP1, 3, 5, 7 と PP2, 4, 6, 8 に分ける)、Type Gamma (PP1, 2, 3, 4 とPP5, 6, 7, 8 に分ける) の 3 種類のデータフォーマットを用いる必要がある。1 つのトリガーセクター
からの入力しか扱わない PS board に対しては、Type Alpha のデータフォーマットを用いることと
図 B.6

した。

105

参考文献
[1] P.A. Zyla et al. (Particle Data Group), The Review of Particle Physics (2020), Prog. Theor.
Exp. Phys. 2020, 083C01 (2020).
[2] CERN Service graphique. Overall view of the LHC. Vue d ensemble du LHC. Jun 2014. General
Photo.
[3] O. S. Bruning et al., LHC Design Report (CERN Yellow Reports: Monographs). Geneva,
Switzerland: CERN, 2004.
[4] The ATLAS Collaboration et al. 2008 JINST 3 S08003.
[5] CERN, HL-LHC industry. Project Schedule.
[6] The ATLAS Collaboration, Technical Design Report for the Phase-II Upgrade of the ATLASTDAQ System. CERN-LHCC-2017-020. 15 June 2018.
[7] The ATLAS Collaboration, Technical Design Report for the Phase-II Upgrade of the ATLAS
Muon Spectrometer. CERN-LHCC-2017-017. 15 December 2017.
[8] The ATLAS Collaboration, ATLAS Muon Spectrometer Technical Design Report. CERNLHCC-97-022, 31 July 1997.
[9] 赤塚 駿一, LHC-ATLAS 実験 Run-3 に向けたミューオントリガーの改良, 修士論文, 2017.
[10] ATLAS TGC Collaboration, Ampliﬁer-Shaper-Discriminator ICs and ASD Boards, 1999.
[11] ATLAS TGC Collaboration, TGC Patch-Panel ASIC Design Report for Production Readiness
Review, 2019.
[12] 竹本享史, ATLAS 実験ミューオントリガーシステム用 LSI の開発と統合評価テスト, 修士論文,
2004.
[13] 小林蓮, 高輝度 LHC ATLAS 実験に向けた初段ミューオントリガーアルゴリズムの改良とハードウェアへの実装, 修士論文, 2021.

[14] 三野裕哉, 高輝度 LHC ATLAS 実験に向けた初段ミューオントリガーアルゴリズムの開発およびハードウェアへの実装, 修士論文, 2020.

[15] A. X. Widmer and P. A. Franaszek, ”A DC-Balanced, Partitioned-Block, 8B/10B Transmission
Code,” in IBM Journal of Research and Development, vol. 27, no. 5, pp. 440-451, Sept. 1983,
doi: 10.1147/rd.275.0440.
[16] Xilinx Inc, 7 Series FPGAs GTX/GTH Transceivers User Guide (UG476), 2018.
[17] Xilinx Inc, Clocking Wizard v6.0 LogiCORE IP Product Guide (PG065), 2021.

106[18] Texas Instruments, Quad High-Speed Diﬀerential Receivers datasheet, 2004.
[19] Xilinx Inc, 7 Series FPGAs SelectIO Resources User Guide (UG471), 2018.
[20] 内田 智久, SiTCP ホーム, 2010.
[21] Xilinx Inc, Large FPGA Methodology Guide (UG872), 2012.

参考文献