Das Open-Source-Framework
für Leitstände für mobile Roboter—
Felix Keppler M. Sc.
Fraunhofer-Institut für Verkehrs- und Infrastruktursysteme IVIDresden, Germany

Das Fraunhofer IVI in Dresden: Forschung Rund um Mobilität
Elektromobilität, Lenksysteme, mobile Robotik

Page 2

17.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Automatisierung und Robotik am Fraunhofer IVI
Ein typisches Beispiel: Betriebshofautomatisierung

Page 317.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Automatisierung von Fahrzeugen mit ROS
Module für komplexe Robotermissionen
Lokalisierung

Pfadplanung

Web-App

MoveItReglerUmfelderkennung

Yard-/Farm-Management-System

Page 417.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

TruckTrix® Path
Cloud-basierter Pfadplaner für Fahrzeuge mit großen Abmessungen und komplexen Kinematiken

Page 517.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Automatisierung von Fahrzeugen mit ROS
Wie lassen sich Cloud-basierte Planungsdienste einbinden?

TruckTrix
Pfadplanung

Web-App

Lokalisierung
ReglerHTTP
POST

Yard-/Farm-Management-System

Page 617.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI?

HTTP
GET
Umfelderkennung

Das helyOS® Leitstandsystem
Microservice Architektur für verschiedenste Anwendungsfälle
TruckTrix
Pfadplanung

OrchesTruck
Koordination

TruckTrix
Field

Live-Karte…

Web-App

Yard-/Farm-Management-System

Task

Microservices

Fahrt von A nach B●

Koordinierte Logistikfahrt

●

➔

●

Automatische Feldarbeit●➔●© AS Motor➔●© TU Dresden

Database

Page 717.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Das helyOS® Leitstandsystem
Der kleinste gemeinsame Nenner beim Aufbau eines Online-Leitstands

helyOS ist ein Software Framework, um anwendungsspezifische
Online-Leitstände für Roboter und Roboterschwärme aufzubauen

Was ermöglicht helyOS?
§§

helyOS übersetzt »zu verrichtende Arbeit« mit modular eingebundenen Planungsdiensten in Missionen für Roboter
helyOS liefert leistungsfähige Mechanismen, um Roboter und Schwärme zu verbinden, zu regeln, zu überwachen und zu simulieren

Was ist es nicht?
§

helyOS ist kein Farm/Yard/… Management System als solches

Wer profitiert?
§8

helyOS hilft Softwareentwicklern, die Entwicklung anwendungsspezifischer Leitstandsoftware und die Inbetriebnahme von Robotern zu beschleunigen

17.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Das helyOS® Leitstandsystem
Schnittstellen

Web-App

Lokalisierung

TruckTrix
Pfadplanung

helyOSJavascript
SDK

Regler

HTTP
POST

HTTP
GET

AMQP
(RabbitMQ)

GraphQL
Yard-/Farm-Management-System

Page 917.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

VDA5050

helyOS
AgentSDK

Umfelderkennung

Das helyOS® Leitstandsystem
Anbindung von Agenten mit dem helyOS Agent SDK

import rclpy
from rclpy.node import Nodefrom helyos_agent_sdk import HelyOSClient, AgentConnector
def helyos_assignment_callback(self, ch, method, properties, inst_assignment_msg):
print(inst_assignment_msg)
def ros_listener_callback(msg):
helyos_connector.publish_sensors(x=msg.x, y=msg.y, z=msg.z, orientations=msg.orientations, sensors=msg.sensors)
if __name__ == ‘__main__’:def main():rclpy.init(args=args)
node = Node(‘helyos_ros_agent’)
helyOS_client = HelyOSClient(‘rabbitmq_host’, ‘rabbitmq_port’, uuid=‘AGENT_UUID’)
helyOS_client.connnect(‘username’, ‘password’)
initial_agent_data = {'name’: “myTruck", 'pose': {‘x’:-30.167, ‘y’:-5.415, ‘geometry’:{"myTruckShape": {…}}}
helyOS_client.perform_checkin(yard_uid='1', agent_data=initial_agent_data, status="free")helyos_client.get_checkin_result()
agent_connector = AgentConnector(helyOS_client)
agent_connector.consume_assignment_messages(my_assignment_callback)subscription = node.create_subscription(AgentState, ‘agent_state’, listener_callback, 10)
rclpy.spin(node)
rclpy.shutdown()

Page 1017.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Das helyOS® Leitstandsystem
Anbindung von Agenten mit dem helyOS Agent SDK
Lokalisierung

Web-App

helyOSJavascript
SDK

Regler

helyOS
AgentSDK

Yard-/Farm-Management-System

Page 1117.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Umfelderkennung

Das helyOS® LeitstandsystemFrei verfügbar auf GitHub.com/FraunhoferIVIWeb-App

helyOSJavascriptSDK

helyOS
AgentSDK

Page 12

17.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Einsatzmöglichkeiten
Vorteile für Industrie und Forschung§ In der Industrie§ Kein Risiko dank Veröffentlichung des Quelltextes unter Apache-2.0-Lizenz geplant in 2024
§ Entwicklungsbegleitung durch Fraunhofer IVI möglich§ In Forschungsprojekten§ Einsatz mobiler Roboter, ohne jedes Mal das Rad neu erfinden zu müssen
§ Entwicklung von Planungsdiensten und Agenten-Software zu aktuellen Forschungsfragen§ Workshops mit Anwender*innen

Page 13

17.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Die nächsten Schritte
Weiterentwicklungen am Fraunhofer IVI§ Refactoring und Open-Source-Release§ Evaluation mit Projektpartnern in Nutzfahrzeug- und Agrarindustrie§ Aufbau einer Community§ Neue Pfadplanungsdienste§ für große Fahrzeuge§ für landwirtschaftliche Felder§ Lokale Bahnplaner mit Berücksichtigung der Schleppkurve großer Fahrzeuge§ Kinematisch fahrbare Manöver§ Koordination von Trajektorien in Planung und Ausführung§ Nachweislich sichere und deadlockfreie Mehragentensysteme§ Regler für verschiedenste Fahrzeuge§ Mit und ohne Anhänger, vorwärts und rückwärts

Page 1417.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Das helyOS® Leitstandsystem
Dezentrale Simulation
Lokalisierung

Web-AppRegler

helyOS
AgentSDK

Umfelderkennung
Kin.
CAN
Simulation
Ausgang

LiDAR Point Cloud

Page 15

17.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVIMehragenten-Koordination
Effiziente und sichere Trajektorienkoordination – auch bei unvorhergesehenen Störungen

Page 16

17.12.23

Felix Keppler | helyos@ivi.fraunhofer.de | © Fraunhofer IVI

Vielen Dank für Eure Aufmerksamkeit!
felix.keppler@ivi.fraunhofer.de+49 351 4640 662

w www.ivi.fraunhofer.de

in Fraunhofer IVI