Timing Synchronization and Fast-Control for FPGA-based large-scale Readout and Processing Systems
Creators: name: Meder, Lukas Dominik
Publisher: name: Karlsruhe
Year: 2017
Subjects: CBM
TFC
Zeitsynchronisation
Experimentsteuerung

description: In vielen heutigen Datenverarbeitungssystemen der Big-Data-Domäne spielen
verteilte Echtzeitsysteme eine wichtige Rolle. Besonders, wenn Daten verschiedener
Verarbeitungseinheiten in den Kontext der Aufgabe des globalen Systems
gesetzt werden müssen, ist die Synchronisation der Daten oder des gesamten
verteilten Systems notwendig.
Eine sehr markante Anwendung dieser Domäne, welche die präzise Systemsynchronisation
voraussetzt, sind Auslesesysteme von Großexperimenten der Teilchenphysik.
Dabei ist eine sehr große Anzahl an Elektronik in Form einer Verarbeitungskette
miteinander verbunden, um Eventdaten bei Aggregat-Datenraten
im Bereich von mehreren Terabit pro Sekunde zu erfassen. Was diese Aufgabe
zusätzlich herausfordernd macht, ist die Struktur des Systems, welches in
verschiedene Subdetektoren und unterschiedliche Verarbeitungsschichten unterteilt
ist und aus einer Vielzahl verschiedenartiger elektronischer Komponenten
besteht.
Um ein solch komplexes heterogenes System handhaben zu können, kommen
verschiedene Kontrollmechanismen zum Einsatz. Eines dieser Kernsysteme der
Experimente der Teilchenphysik stellen die Systeme zur Zeit- und schnellen Experimentsteuerung
dar, auf welche der zentrale Fokus dieser Arbeit gelegt wird.
Im Falle des Compressed Baryonic Matter (CBM)-Experiments der Facility for Antiproton
and Ion Research (FAIR) in Darmstadt hat das Timing and Fast-Control (TFC)-
System die Aufgabe, einen globalen Takt und Zeitinformationen innerhalb des
gesamten Online-Teils der Experimentauslese bereitzustellen und Steuerungsinformationen
mit niedriger und vor allem konstanter Latenz aufnehmen und
verteilen zu können. Die letztere Anforderung ist im Falle des CBM-Experiments
besonders wichtig, da es über eine selbst-getriggerte Auslese verfügt, bei der die
auf verschiedenen Verarbeitungsebenen befindlichen Einheiten autonom Entscheidungen
darüber treffen müssen, ob bestimmte Eventdaten verwendet und
weitergeleitet werden sollen.
In den folgenden Kapiteln dieser Arbeit wird die Entwicklung eines Prototypen
des TFC-Systems für die Verwendung innerhalb von CBM erläutert. Hierbei
wird ein besonderer Fokus auf den Teil der Digitalelektronik, welche mittels
Field Programmable Gate Arrays (FPGAs) umgesetzt wird, und auf die Integration
spezieller Schnittstellen Printed Circuit Boards (PCBs) gelegt, wo diese benötigt
werden. Während der Konzeptionierungsphase des TFC-Systems entstand
innerhalb von CBM der Bedarf, ein vorläufiges System zur Zeitsynchronisation
zur Verfügung zu haben, um kleinere Aufbauten der Auslese synchronisieren zu
können, das sogenannte Timing Synchronizer (TS)-System. Die bei der Entwicklung
dieses Systems gewonnenen Erkenntnisse flossen in das Konzept des TFCSystems
ein. Das TS-System kam innerhalb der Strahltests von CBM am Conseil
Européen pour la Recherche Nucléaire (CERN) Super Proton Synchrotron (SPS) am
Ende des Jahres 2016 erfolgreich zum Einsatz. Dieses System ermöglichte zum
ersten Mal eine synchrone, selbst-getriggerte, freilaufende, mittelgroße, FPGAbasierte
Datenerfassung innerhalb einer Strahlzeit des CBM-Experiments [168],
was einen wichtigen Meilenstein auf dem Wege zur finalen Experimentauslese
darstellt.
Des Weiteren wird in der Arbeit das Konzept und die Entwicklung der Komponenten
des TFC-Systems detailliert beschrieben, wobei insbesondere die Verwendung
von Glasfasern bzw. verdrillten Zweidrahtleitungen aus Kupfer als
physikalisches Medium in konkurrierenden Ansätzen analysiert werden. Dabei
bietet das Konzept der Anbindung per Glasfaser Vorteile, wie eine hohe Datenrate
und die Verfügbarkeit kommerziell erhältlicher Komponenten, wobei der
letztere kupferbasierte Ansatz eine mechanisch robustere Verkabelung und geringere
Latenzen bei kurzen Nachrichten bietet und keine Hochgeschwindigkeitsübertrager
benötigt. Besonders das letzte Kriterium erlaubt es, die Anwendbarkeit
des kupferbasierten Konzepts auf Systeme auszuweiten, welche nicht
über spezielle, teure Bausteine zur schnellen Datenserialisierung verfügen, was
es beispielsweise erlaubt, diesen Ansatz auf Systeme des niedrigeren Preissegments
zu übertragen. Aufgrund der Verfügbarkeit in Form von Commercial offthe-
shelf (COTS) Hardware, wird sich der Ansatz, der Glasfaserverbindungen
verwendet, potentiell besser für das TFC-System von CBM eignen, da keine spezielle
Schnittstellen-Hardware in größerer Stückzahl entwickelt werden muss.
In Bezug auf die zukünftige Erweiterbarkeit von glasfaserbasierten Systemen
zur Zeitsynchronisation, werden aktuell passive optische Netze (PONs) als favorisierte
Lösung gehandelt, welche innerhalb der nächsten Upgrades der Experimente
am CERN Verwendung finden werden. Jedoch hat das Time-Division Multiple
Access (TDMA)-Verfahren, das in kommerziell erhältlichen PONs, wie 10-
Gigabit-capable PON (XGPON)1, in Upstream-Richtung verwendet wird, einen
starken negativen Einfluss auf die erzielbare Latenz des Verteilungsnetzwerks.
Aus diesem Grund wurde ein neues Modulationskonzept für PONs im Rahmen
dieser Arbeit entwickelt und innerhalb eines Laborsystems evaluiert. Bei diesem
Ansatz wird versucht, die Latenz dadurch zu verringern, dass die Datenrate
durch eine Unterteilung der Systembandbreite im Frequenzbereich auf die
Optical Network Units (ONUs) aufgeteilt wird, wobei das Single-Carrier Frequency
Division Multiple Access (SC-FDMA)-Verfahren zum Einsatz kommt, welches ein
von Orthogonal Frequency Division Multiple Access (OFDMA) abgeleitetes Modulationsprinzip
darstellt.