MPC-based motion planning for driving simulators with real-time future driver prediction
MPC-basierte Bewegungsplanung für Fahrsimulatoren mit echtzeitfähiger Fahrerprädiktion
Creators: name: Lamprecht, Alexander
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2023
Subjects: Model predictive control
Motion cueing
Driving simulation
Driver prediction
Human motion perception

description: The usage of human-centered motion simulation systems has been a significant component of the research and development process in various fields for many years. The predominant areas of application are in flight and driving simulation, where such systems are used for the testing of new components or setups as well as for pilot and driver training. The reasons for using a simulator rather than performing an experiment in the real world are safety, time and cost efficiency, as well as the perfectly controllable and reproducible experiment conditions. Independent of the particular application, the level of immersion for a test person in the simulator is crucial in order to be able to transfer the results from simulator experiments to the real world. Thus, modern motion simulation systems are equipped with various immersion systems including a visual system for environment representation, an audio system for noise simulations as well as a motion system to reproduce the real world forces. This thesis focuses on the motion planning for dynamic driving simulators, i.e. the reproduction of the physical accelerations and angular velocities acting on a driver in a real vehicle with the motion system of the simulator. The key challenges in this regard are the constrained motion space of technical simulation systems when compared to the practically unlimited motion space of a vehicle in the real world as well as the hard real-time constraint in combination with small sampling times of typically 1-10 ms for the online driver-in-the-loop application of the motion controller. Traditionally, the algorithms used for the motion planning of dynamic driving simulators, the so-called motion cueing algorithms (MCA), are based on a combination of linear, time-invariant high- and lowpass filters. These state-of-the-art approaches have some clear disadvantages such as the inability to directly incorporate the simulation system limitations into the motion planning or the incapability of dynamically prepositioning the simulator in order to increase the motion space for oncoming maneuvers. With the goal to resolve the key motion cueing challenges and to overcome the main disadvantages of the state-of-the-art filter-based approaches, a motion cueing algorithm based on nonlinear model predictive control (MPC) is developed in the context of this thesis. The key idea is to formulate the motion cueing problem as a dynamical optimization problem over a moving time horizon, which is iteratively solved at every sampling step. The underlying problem formulation includes a suitable cost function to reach the motion cueing control objective and is constraint by the system dynamics as well as the actuator limitations of the used simulator geometry. The derived control scheme is applicable to various simulator geometries and is especially suited to exploit redundant degrees of freedom in simulation systems. In order to fully exploit the predictive potential of the derived control approach in the online driver-in-the-loop application, an algorithm to predict the future driver behavior and consequently the future desired values for the MPC-based motion cueing algorithm is developed. The approach models the human driver as an optimal controller with the goal to follow a predefined reference route. Through this prediction approach, the controller is able to dynamically preposition the the simulator based on future maneuvers in order to increase the available motion space for their reproduction. Since different human drivers in general perform similar control actions when confronted with the same driving situation or task, learning-based methods are employed in order to further increase the accuracy of the predicted future driving actions. In this thesis, learning-based approaches are used for an automated tuning of the control-based prediction method as well as for the development of a purely data-driven prediction method based on neural networks. In order to be able to use the overall control scheme in the actual online driver-in-the-loop context, an efficient method for the numerical solution of the motion cueing as well as the driver prediction optimal control problems has to be used. In this thesis, an augmented Lagrangian approach to incorporate the nonlinear, state-dependent constraints in combination with a real-time capable projected gradient algorithm is employed. Objective evaluations as well as the subjective comparison of the newly developed overall control scheme to a filter-based approach by means of an online simulator experiment show the huge potential of the newly developed method when compared to the state-of-the-art MCA. Furthermore, the results show the broad applicability of the developed control scheme for various different use cases, including standard driving, driving dynamics applications as well as racetrack simulations. Finally, a run-time analysis demonstrates the efficiency of the employed numerical solution method and shows the real-time feasibility of the overall control scheme consisting of driver prediction and MPC-based motion cueing algorithm.
description: Der Einsatz von Bewegungssimulationssystemen für Experimente mit menschlichen Probanden ist seit vielen Jahren ein wichtiger Bestandteil des Forschungs- und Entwicklungsprozesses in vielen Bereichen. Die vorherrschenden Anwendungsgebiete sind dabei die Flug- und Fahrsimulation, wo derartige Systeme für die Erprobung neuer Komponenten oder Einstellungen sowie für das Piloten- und Fahrertraining eingesetzt werden. Die Hauptgründe, ein Experiment in einem Simulator statt in der realen Welt durchzuführen, sind Sicherheit, Zeit- und Kosteneffizienz sowie die perfekt kontrollierbaren und reproduzierbaren Versuchsbedingungen. Unabhängig von der jeweiligen Anwendung ist es entscheidend, bei einer Testperson im Simulator einen möglichst realitätsnahen Gesamteindruck zu erzeugen, um die Ergebnisse aus Simulator-Experimenten in die reale Welt übertragen zu können. Moderne Bewegungssimulationssysteme sind daher mit verschiedenen Immersionssystemen ausgestattet, darunter ein visuelles System zur Umgebungsdarstellung, ein Audiosystem für Geräuschsimulationen sowie ein Bewegungssystem zur Reproduktion der in der Realität wirkenden physikalischen Kräfte. Der Fokus dieser Arbeit liegt auf der Bewegungsplanung für dynamische Fahrsimulatoren, d.h. der Nachbildung der physikalischen Beschleunigungen und Winkelgeschwindigkeiten, die auf einen Fahrer in einem realen Fahrzeug wirken, mit dem Bewegungssystem des Simulators. Die zentralen Herausforderungen sind dabei der stark eingeschränkte Bewegungsraum technischer Simulationssysteme im Vergleich zum praktisch unbegrenzten Bewegungsraum eines Fahrzeugs in der realen Welt sowie die harte Echtzeitanforderung in Kombination mit kleinen Abtastzeiten von typischerweise 1-10 ms für die Online-Anwendung. Traditionell bestehen die für die Bewegungsplanung von dynamischen Fahrsimulatoren verwendeten Algorithmen, die sogenannten Motion Cueing-Algorithmen (MCA), aus einer Kombination von linearen, zeitinvarianten Hoch- und Tiefpassfiltern. Diese Ansätze haben einige klare Nachteile. Beispielsweise können die Beschränkungen des Simulationssystems nicht direkt in der Bewegungsplanung berücksichtigt werden. Ebenso ist es nicht möglich, den Simulator dynamisch vorzupositionieren, um so den Bewegungsraum für bevorstehende Manöver zu vergrößern. Mit dem Ziel, die wichtigsten Herausforderungen des Motion Cueings anzugehen und die Hauptnachteile der filterbasierten Ansätze zu überwinden, wird im Rahmen dieser Arbeit ein Motion Cueing-Algorithmus basierend auf der nichtlinearen modellprädiktiven Regelung (MPC) entwickelt. Die Grundidee dabei besteht darin, das Motion Cueing-Problem als ein dynamisches Optimierungsproblem über einen bewegten Zeithorizont zu formulieren, das in jedem Abtastschritt iterativ gelöst wird. Die zugrundeliegende Problemformulierung beinhaltet eine geeignete Kostenfunktion zur Erreichung des Motion Cueing-Kontrollziels unter Berücksichtigung der Systemdynamik und der Aktorbeschränkungen der verwendeten Simulatorgeometrie. Der entwickelte Bewegungsplanungsansatz ist in Kombination mit verschiedenen Simulatorgeometrien anwendbar und eignet sich insbesondere zur Ausnutzung redundanter Freiheitsgrade in Simulationssystemen. Um das prädiktive Potenzial des entwickelten Bewegungsplanungsverfahrens in der Online-Anwendung voll ausnutzen zu können, wird ein Algorithmus zur Prädiktion des zukünftigen menschlichen Fahrerverhaltens und folglich der zukünftigen Sollwerte für den MPC-basierten Motion Cueing-Algorithmus entwickelt. Der Ansatz modelliert den menschlichen Fahrer als einen optimierungsbasierten Regler mit dem Ziel, einer vordefinierten Referenzroute zu folgen. Durch diesen Prädiktionsalgorithmus ist der entwickelte MCA in der Lage, den Simulator auf der Grundlage zukünftiger Manöver dynamisch vorzupositionieren, um so den verfügbaren Bewegungsraum für deren Reproduktion zu vergrößern. Da verschiedene menschliche Fahrer in der Regel ähnlich agieren, wenn sie mit der gleichen Fahrsituation konfrontiert sind, ist es möglich, lernbasierte Methoden zu verwenden, um die Genauigkeit der vorhergesagten zukünftigen Fahraktionen weiter zu erhöhen. In dieser Arbeit werden die lernbasierten Ansätze sowohl für eine automatisierte Parametrierung der reglerbasierten Prädiktionsmethode als auch für die Entwicklung einer rein datengetriebenen Vorhersagemethode auf der Basis neuronaler Netze verwendet. Um den Gesamtalgorithmus in der Online-Anwendung nutzen zu können, muss eine effiziente Methode zur numerischen Lösung der dynamischen Optimierungsprobleme für das Motion Cueing sowie für die Fahrerprädiktion gewählt werden. In dieser Arbeit wird ein erweiterter Lagrange-Ansatz zur Einbeziehung der nichtlinearen, zustandsabhängigen Beschränkungen in Kombination mit einem echtzeitfähigen projizierten Gradientenverfahren verwendet. Objektive Auswertungen sowie der subjektive Vergleich des neu entwickelten Bewegungsplanungsalgorithmus mit einem filterbasierten Ansatz mittels eines online Simulator-Experiments zeigen das große Potenzial des neu entwickelten Verfahrens im Vergleich zu den filterbasierten Ansätzen. Darüber hinaus zeigen die Ergebnisse die breite Anwendbarkeit des entwickelten MCAs für verschiedene Anwendungsfälle, darunter Standardfahrten, Fahrdynamikanwendungen sowie Rennstreckensimulationen. Abschließend zeigt eine Laufzeitanalyse die Effizienz der verwendeten numerischen Lösungsmethode und demonstriert die Echtzeitfähigkeit des Gesamtverfahrens bestehend aus Fahrerprädiktion und MPC-basiertem Motion Cueing-Algorithmus.