title: Performance Evaluation of Hardware-in-the-Loop Test Systems for Validation of Autonomous Driving Systems
title: Leistungsbewertung von Hardware-in-the-Loop Testsystemen zur Validierung von Autonomen Fahrsystemen
Creators: name: Funda, Christoph
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024
Subjects: subject: Network Calculus, Measurment based Arrival and Service Curve Methods, Hardware-In-The-Loop, Autonomous Driving

description: Hardware-in-the-Loop (HIL) test systems play a crucial role in the validation of complex technical systems. They enable the integration of real control units and sensors into a virtual environment in order to test the system behaviour under different conditions. Despite their importance, there are no specific norms or standards for the development, validation and performance evaluation of HIL test systems. In practice, standards for measurement systems are often applied, but the most common method for validating HIL systems is to compare the output signals of the ECU in the HIL simulation with those in the test vehicle. The aim of this thesis is to close this gap and present an approach for the development and validation of trustworthy HIL systems. The focus is on verifying the design and evaluating the performance of the HIL system. One of the challenges in the development of HIL systems is to ensure an uninterrupted data flow with minimised performance requirements. This requires consideration of factors such as the end-to-end delay, the backlog, and thus the size of the playback buffer and the pre-buffer time. To make matters worse, for complex HIL systems there are often no standard parameters available for the estimation of arrival and operating curves. In this paper, a new approach called TBASCEM is presented, which is based on measured data and calculates more precise bounds for the delay and backlog in the HIL system. In addition to verifying the design, monitoring the HIL system during runtime is also important. For this purpose, a replay buffer observer is used, which recognises losses and empty buffers and thus enables the repetition of HIL runs. In addition, a prediction use case is presented that allows key metrics of the HIL system to be calculated in advance, e.g. for new input workloads. The results of this work show that it is possible to develop robust HIL systems with uninterrupted data flow and improve the efficiency of test time. Further research is needed to develop standard parameters for stochastic arrival and operating curves to formally validate HIL streaming systems and give guarantees on the Real-Time (RT) behaviour.
description: Hardware-in-the-Loop (HIL)-Testsysteme spielen eine entscheidende Rolle bei der Validierung komplexer technischer Systeme. Sie ermöglichen die Integration von realen Steuergeräten in eine virtuelle Umgebung, um das Systemverhalten unter verschiedenen Bedingungen zu testen. Trotz ihrer Bedeutung gibt es für die Entwicklung, Validierung und Leistungsbewertung von HIL-Testsystemen keine spezifischen Normen oder Standards. In der Praxis werden häufig Normen für Messsysteme angewendet, aber die gängigste Methode zur Validierung von HIL-Systemen ist der Vergleich der Ausgangssignale des Steuergeräts in der HIL-Simulation mit denen im Testfahrzeug. Ziel dieser Arbeit ist es, diese Lücke zu schließen und einen Ansatz für die Entwicklung und Validierung vertrauenswürdiger HIL-Systeme vorzustellen. Der Fokus liegt dabei auf der Verifizierung des Designs und der Bewertung der Leistung des HIL-Systems. Zu den Herausforderungen bei der Entwicklung von HIL-Systemen gehört die Sicherstellung eines ununterbrochenen Datenflusses mit minimalen Leistungsanforderungen. Dies erfordert die Berücksichtigung von Faktoren wie der Ende-zu-Ende Verzögerung, dem Rückstau, und damit der Größe des Wiedergabepuffers und der Vorpufferzeit. Erschwerend kommt hinzu, dass für komplexe HIL-Systeme oft keine Standardparameter für die Schätzung von Ankunfts- und Bedienkurven verfügbar sind. In dieser Arbeit wird ein neuer Ansatz namens TBASCEM vorgestellt, der auf Messdaten basiert und präzisere Grenzen für die Verzögerung und den Rückstau im HIL-System berechnet. Neben der Verifizierung des Designs ist auch die Überwachung des HIL-Systems während der Laufzeit wichtig. Dazu wird ein Wiedergabepuffer-Beobachter eingesetzt, der Verluste und leere Puffer erkennt und so die Wiederholung von HIL-Läufen ermöglicht. Darüber hinaus wird ein Anwendungsfall für Vorhersagen vorgestellt, der es ermöglicht, Schlüsselkennzahlen des HIL-Systems im Voraus zu berechnen, z. B. bei neuem Eingangsfluss. Die Ergebnisse dieser Arbeit zeigen, dass es möglich ist, robuste HIL-Systeme mit ununterbrochenem Datenfluss zu entwickeln und die Effizienz der Testzeit zu verbessern. Weitere Forschungsarbeiten sind notwendig, um Standardparameter für stochastische Ankunfts- und Bedienkurven zu entwickeln um HIL-Streaming Systeme formal zu validieren und stochastische Echzeitgarantien zu geben.