ROS 2 in POV.OS — Automatisierungsplattform
für mobile Arbeitsmaschinen
ROSCon DE 2023 — Karlsruhe
23.11.2023

Die Präsentation "ROS 2 in POV.OS - Automatisierungsplattform
für mobile Arbeitsmaschinen" unterteilt sich in drei Abschnitte.

Was ist POV.OS?
Christopher May und Patrick Ziegler (FAPS, FAU
Erlangen-Nürnberg)

ROS und POV.OS bei AGCO

Manuel Abel (AGCO)ROS 2 in der Industrie
Frederik Beaujean (Apex.AI)

Christopher May | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

2Das Ziel des Verbundprojektes POV.OS ist die Erforschung und Entwicklung
einer Open-Source Betriebsplattform für autonome mobile Arbeitsmaschinen.
POV.OS Industrie- und Forschungspartner

Ist-Zustand•

Mobile Arbeitsmaschinen werden anwendungsabhängig
mit proprietärer Hard- und Software (teil-)automatisiert•

Der Markt für mobile Arbeitsmaschinen weist im Bereich
Automatisierungsfunktionen signifikantes Potenzial fürWachstum auf•

Das Wachstum wird derzeit durch hohe Variantenvielfalt
und geringe Stückzahlen gebremst

Ziele des Forschungsprojektes•

Erforschung und Entwicklung einer Open-SourceBetriebsplattform auf Basis von ROS 2 mit modularen
Hard- und Softwarekomponenten für die Umsetzung
autonomer mobiler Arbeitsmaschinen•

Erfüllung von Anforderungen an funktionale Sicherheit•

Bereitstellung offener Schnittstellen zur Systemplattform•

Umsetzung einer kollaborativen Entwicklungsplattform

Christopher May | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen

Umsetzung▪

▪

▪

An POV.OS sind insgesamt 16 Partner aus Industrie undForschung beteiligt
Projektlaufzeit von 01/23 bis 12/25

Prototypische Umsetzung und Evaluierung inAnwendungsfällen der Projektpartner3

Durch die beabsichtigte Modularität und Universalität eröffnet sich ein
großes Marktpotential, insbesondere im Kontext mobiler Arbeitsmaschinen.

Professional Operating Vehicles
POV bilden eine ideale Einsatzumgebung für die Entwicklungeines Betriebssystems, um entsprechende Assistenz-, Fahrund Automatisierungsfunktionen zu realisieren.​■ Geringe Fahrgeschwindigkeit (<80 km/h)​■ Klar spezifizierte repetitive Aufgaben■ Agieren in bekannten Einsatzumgebungen■ Verfügen über notwendige optische und akustischeWarneinrichtungen■ Modulare und genormte Anschlüsse für Anbaugeräte■ Besitzen bereits optische Sensoren zur Unterstützung desBedieners■ Bereits Teilautomatisiert (Lenkung, Handhabung etc.)

Patrick Ziegler | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

4Die Kerninnovation liegt in der erstmaligen und ganzheitlichen Definition undUmsetzung einer Betriebsplattform für professionelle Arbeitsmaschinen.
Plattform fürVernetzung undEntwicklung
Betriebsbegleitende
Optimierung undSimulation

SystemintegrativeSensoren

Offene undzentralisierte
RechnerarchitekturISO 21448
IEC 61508
ISO 13849
ISO 21434

ISO/TR 4804
IEC 62998

Sicherheit vonHardware undSoftware

ROS 2 undautonome
Funktionalisierung

ISO 22737

ISO 19206

ISO 26262

Patrick Ziegler | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

BeschleunigerHardware

Repräsentative
Anwendungsfälle

Modellprädiktive
Regelung

Hardwarenahe
Ansteuerung derLeistungselektronik

5Vorstellung von AGCO

Mehr-Marken
Strategie

AGCO ist der größte reine Landmaschinenhersteller der Welt

1990~$12.6Mrd$9.9Mrd(2)Gründung

Jahresumsatz(1)Marktwert

Mitarbeiter($M)

weltweit

Produkte für den
gesamten
Erntezyklus~23,000(1) Voraussichtlicher Nettoumsatz 2022
(2) Stand 14. Dezember 2022​

Manuel Abel | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

6

ROS bei AGCO

•Vorentwicklung•Studentenprojekte•Abschlussarbeiten•Prototyping•Seit ca. 10 Jahren•Vorserienentwicklung•Umfelderkennung•Seit ca. 2 Jahren

Manuel Abel | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​•Serienentwicklung•Neuprojekte•Seit ca. 2 Jahren

7

ROS bei AGCO• Häufig verwendete Packages/Tools• ros2cli-> Kommandozeilentools• rosbag2-> Datenaufzeichnung• rqt-> Plugins für Parametrierung, Visualisierung, ...
• robot_state_publisher -> Fahrzeugbeschreibung mit Koordinatentransformationen• geometry2 (tf2)-> statische und dynamische Koordinatentransformationen• rviz-> Visualisierung• Treiber• Verwendung von Open Source Treibern zur Hardwareintegration• Treiberentwicklung/-test mit Hardwareherstellern

Beispiel: BOSCH Radar
Radar OHW Premium
Imaging Radar with 1024
locations/15Hz1° angle separability/0.1° accuracy
FoV horizontal ± 60°
FoV vertical ± 12°

Manuel Abel | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

ROS/ROS2 sensor drivers
available on Github:bosch-engineering/off_highway_sensor_drivers

8Spurlinienerkennung(Tramline Guidance)•

Anwendungsfall• Automatisierte Querführung des Traktors
entlang Spurlinien• Längsführung des Traktors mittels Tempomat
oder TIM• Anwendung bei verschiedenen Bewuchshöhen•

Systemaufbau• Monokamera• Industrie-PC mit Ubuntu und ROS

Manuel Abel | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

9

Spurführung im Weinberg(Vineyard Guidance)•

Anwendungsfall• Automatisierte Querführung des Traktors
zwischen Weinreben• Längsführung des Traktors mittels Tempomat• Anwendung zu verschiedenen Jahreszeiten•

Systemaufbau• Lidar• Monokamera für Visualisierung• Industrie-PC mit Ubuntu und ROS

Manuel Abel | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

10Portierung einer Serien-Applikation•

Anwendungsfall• Bestehendes, GNSS-basiertes
Spurführungssystem• Integration neuer Sensoren• Austausch und Erweiterung vonModulen• Definierte Schnittstellen zwischen
Modulen

Manuel Abel | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen​

11

Apex.AIErfahrungenmit ROS 2Frederik Beaujean | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen© 2023 Apex.AI, Inc. | All rights reserved.
Apex.AI, Apex.OS, Apex.Grace, Apex.Ida, Apex.Alan, Apex.Ray are trademarks of Apex.AI.

12

Was funktioniert gut?
• Einfach, ein System neu aufzusetzen und zu
experimentieren• Viele Pakete, viele Entwickler, begeisterte Community,viele Sensoren mit Treibern...
• Viele nützliche Werkzeuge (RViz, CLI, bag...)Apex.AI

Allgemeine Industrieerfahrungen mit ROS 2
Wo fehlt noch etwas ?
• ROS 2 erfüllt Normen für Funktionale Sicherheit oder
Cybersecurity nicht, aber Architektur auf DDS
aufbauend gut• Laufzeitdeterminismus: dynamischer Speicher, RTOS...
• Executor (ROSCon 21 session)/callbacks undKontrolle in großen Systemen• Testabdeckung• Zugriff auf Nachrichtenpuffer in der Middleware• Unterstützung anderer Protokolle: J1939, Isobus, NMEA
2000, UDS, SOME/IP, etc.

Frederik Beaujean | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen© 2023 Apex.AI, Inc. | All rights reserved.
Apex.AI, Apex.OS, Apex.Grace, Apex.Ida, Apex.Alan, Apex.Ray are trademarks of Apex.AI.

13

Gestern
Lücke zwischen Prototypen und Produktion
Prototyp in ROS

Viele große Firmen
in Industrie undAutomobil nutzen
ROS für Prototypen

Produktion• Apex.AI ist Teil von ROS 2:• Im Technical Steering
Committee (TSC)• Mit Open-source Beiträgen,z.B. Rosbag• In Arbeitsgruppen(Bag, Realtime, Rust)

Apex.AI

Warum Apex.AI?
HeuteNahtloser Übergang zur Produktion
Prototyp in ROS

Apex.Grace

Produktion

Schlüssel ist Zertifizierung für Funktionale Sicherheit
Erstes open-source basiertes Projekt zur
höchsten Stufe in Funktionaler Sicherheit
zertifiert (ISO 26262 ASIL D).

Dafür mit CES Innovation Award 2021 geehrt.

Mehr Details: Apex.AI’s ROS World 2021 (https://roscon.ros.org/world/2021/) Vortrag!

➔Apex.OS Cert: Taking ROS 2 from prototype into production (https://vimeo.com/649645295/67e0a6569f)

Entwickler zentriert

Industrie zentriert

Frederik Beaujean | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen© 2023 Apex.AI, Inc. | All rights reserved.
Apex.AI, Apex.OS, Apex.Grace, Apex.Ida, Apex.Alan, Apex.Ray are trademarks of Apex.AI.

14

Apex.AI

Evolution von ROS

ROS 2

Apex.Grace

Apex.Grace Cert

DDS

Apex.Ida

Apex.Ida CertLinuxPOSIX RTOS

QNX for Safety

ROS 1

LinuxROS 1

ROS 1 → ROS 2

ROS 2 → Apex.OSApex.OS → Apex.OS Cert

• Software framework für Robotik• Höhere Code-Qualität• Ausführung in Echtzeit• Weite Verbreitung
im autonomen Fahren• DDS middleware• Vollständige Dokumentationund Tests• Funktionale Sicherheit Zertifizierung —ISO 26262, SEooC, bis ASIL D• Tests und Dokumentation• Unterstützung vonPrototypen und SerienPlattform• Deterministische software Ausführung• Apex.AI eigene Erweiterungen• ...

Frederik Beaujean | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen© 2023 Apex.AI, Inc. | All rights reserved.
Apex.AI, Apex.OS, Apex.Grace, Apex.Ida, Apex.Alan, Apex.Ray are trademarks of Apex.AI.

15

Apex.AI

Beispielarchitektur
MissionMission
Dispatcher
dispatcher

Apex.AI Beitrag zu POV.OS• Funktionale Sicherheit und Security• ROS Unterstützungen• Schnittstellendefinitionen

Cloud

RemoteRemoteMonitoring
monitoring

Telemetry
Telemetry

Andere Maschinen(Schwarm, Folger, etc.)

Cloud
Cloud containerization
Containerization(Kubernetes, etc.)(Kubernetes,etc.)

AWS // Azure
Azure // etc.
AWSetc.

Telematics(MQTT)

Perception
PerceptionSafety
ECU

Planning
Planning //Decision
DecisionControl
Control

Perception
Perception

Planning
Planning //Decision
Decision

Connectivity
Connectivity(Telemetry,(Telemetry, V2X)
V2X)

V2X

DriverDriverMonitoring
Monitoring

Instrument
Instrument
Display
Display

Infotainment
Infotainment
Display
Display

Cert Cert
ROS 2Apex.OS/ Apex.Grace

Cert
ROSApex.OS
2 / Apex.Grace

Qt, Android
Android
Qt,

DDS/ Apex.Ida
Apex.Middleware(SHMEM, DDS,DDS, CAN)(SHMEM,CAN)

DDS/ Apex.Ida
Apex.Middleware(SHMEM, DDS,DDS, CAN,CAN, MQTT)(SHMEM,MQTT)

DDS/ Apex.Ida
Apex.Middleware(SHMEM, DDS,DDS, CAN)(SHMEM,CAN)

QNX
QNX

Linux, Android
AndroidLinux,QNX,INTEGRITY,
INTEGRITY, etc.
QNX,etc.

CentralECU

Hypervisor
Hypervisor

Performance Cores
Performance
Cores

Performance Cores
PerformanceCores

Renesas,NXP,
NVIDIA,
Renesas,TI, TI,NVIDIA,Qualcomm, etc.
Qualcomm,etc.

Renesas,NXP,
NVIDIA,Renesas,
TI, TI,NVIDIA,
Qualcomm, etc.
Qualcomm,etc.

ISOBUS

Implement
ECU

Ethernet backbone
CAN backbone (incl. J1939)
Frederik Beaujean | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen© 2023 Apex.AI, Inc. | All rights reserved.
Apex.AI, Apex.OS, Apex.Grace, Apex.Ida, Apex.Alan, Apex.Ray are trademarks of Apex.AI.

16

Apex.AI

Zusammenfassung
1. FAPS / FAU• Erforschung autonomer ROS 2-Funktionalitäten
im Kontext der Intralogistik• Vernetzung
2. AGCO• Einbringen von konkreten Anwendungsfällen für ROS• Erstellung Leitfaden für Portierung von Serien-Applikationen
nach ROS
3. Apex.AI:• Erfahrungen in funktionaler Sicherheit und ROS einbringen
2025: Plattform mit offenen Schnittstellen für Arbeitsmaschinen

Frederik Beaujean | ROS 2 in POV.OS - Automatisierungsplattform für mobile Arbeitsmaschinen© 2023 Apex.AI, Inc. | All rights reserved.
Apex.AI, Apex.OS, Apex.Grace, Apex.Ida, Apex.Alan, Apex.Ray are trademarks of Apex.AI.

17