Simulation hochdynamischer omnidirektionaler
mobiler Roboter in NVIDIA Isaac Sim
Marvin Wiedemann - Fraunhofer IML© Fraunhofer IML

Eine Reise von hochdynamischen omnidirektionalen realen Robotern …

2© Fraunhofer IML© Fraunhofer IML

Public information

… zu hochdynamischen omnidirektionalen Simulationsmodellen!

3© Fraunhofer IML

Public information

AgendaAktorik & Dynamik
Wie kann man den Roboter modellieren?

01

Simulation

02

03

4

© Fraunhofer IML

Sensorik

Wie können Sensoren abgebildet werden?

Kommunikation & Interfaces
Wie sind die realen Interfaces nachzubilden?

Public information

AgendaAktorik & Dynamik
Wie kann man den Roboter modellieren?

01Simulation

02

03

5

© Fraunhofer IMLSensorik

Wie können Sensoren abgebildet werden?

Kommunikation & Interfaces
Wie sind die realen Interfaces nachzubilden?

Public information

Video last GTC?
New images of Odyn?

Der Demonstrator: O³dyn – die nächste Generation von Logistikrobotern

Seite 6

© Fraunhofer IML© Fraunhofer IML

O³dyn

Public information= Omnidirektional, Outdoor, Open-Source= Dynamisch

Aktorik & Dynamik

Die Reise beginnt: Import des Roboters
CAD-Import7© Fraunhofer IML

URDF-ImportPublic information

Das Simulationsmodell© Fraunhofer IML

Public information

Die Bedeutung der Mecanum-Räder und Rollen© Fraunhofer IML

Public information

Aktorik & Dynamik

Modellierung der Rollen
Automatisch generierte Meshes
Convex Hull10

© Fraunhofer IML

Eigene Collider Designs

Convex Decomposition

6 KugelnPublic information

11 Kugeln

Modellierung der Rollen

Convex Hull
© Fraunhofer IML

11 Kugeln
Public information

Aktorik & Dynamik

Endlich! Ab in das ROS-Ökosystem

Isaac Sim12rviz© Fraunhofer IML

Public informationAktorik & Dynamik

Kontrolle benötigt: Der Base Controller
OmniGraph-Umsetzung

Eigener Controller•

Direkte Implementierung in Isaac Sim•

Implementierung via ROS oder Python•

Visuelle Skriptsprache OmniGraph•

Eigenständiger Knoten•

Beim Laden des Modells direkt aktiv•

Umsetzung spezifischer Systemverhalten
Isaac SimRobot/cmd_vel

controller/odom/joint_states…

13© Fraunhofer IML

Public information/joint_commandAktorik & Dynamik

Sim2Real Vergleich – Verhalten die sich auch gleich?
Realität

RoboterBewegung

Motion Capturerosbag/cmd_vel/poseMsg
Timing
Sim Pose Daten

Simulation
14© Fraunhofer IML

rosbagPublic information

Sim2Real
Gap

Sim2Real Vergleich – Verhalten die sich auch gleich?

Realität

Seite 15

© Fraunhofer IML© Fraunhofer IML

Public information

Simulation

AgendaAktorik & Dynamik
Wie kann man den Roboter modellieren?

01

Simulation

02

03

16

© Fraunhofer IML

Sensorik

Wie können Sensoren abgebildet werden?

Kommunikation & Interfaces
Wie sind die realen Interfaces nachzubilden?

Public information

AgendaAktorik & Dynamik
Wie kann man den Roboter modellieren?

01

Simulation02

03

17© Fraunhofer IML

Sensorik

Wie können Sensoren abgebildet werden?

Kommunikation & Interfaces
Wie sind die realen Interfaces nachzubilden?

Public information

Sensorik

Jetzt geht’s ans Wahrnehmen: Verfügbare Sensoren

KameraLiDAR

Sonstige

18

•
•
•

RGB-Kamera
Tiefenkamera
Replicator zur Erzeugung
synthetischer Daten••

PhysX-basierter LiDAR
RTX-basierter LiDAR••••

PhysX-basierter Entfernungssensor (generisch, Ultraschall)
Kraft- und Kontaktsensoren
IMU
Näherungssensor© Fraunhofer IML

Public information

Structure only.
Slide design and content
missing.

Beispielszenario:
3D-LiDAR
Sensors
LiDAR – Choosing the Best Scanner

19© Fraunhofer IML© Fraunhofer IML

Public information

LiDAR
Sensors– Choosing the Best Scanner

Realität

20© Fraunhofer IML© Fraunhofer IML

Public information

Simulation

AgendaAktorik & Dynamik
Wie kann man den Roboter modellieren?

01

Simulation

02

03

21

© Fraunhofer IML

Sensorik

Wie können Sensoren abgebildet werden?

Kommunikation & Interfaces
Wie sind die realen Interfaces nachzubilden?

Public information

AgendaAktorik & Dynamik
Wie kann man den Roboter modellieren?

01

Simulation

02

03

22

© Fraunhofer IML

Sensorik

Wie können Sensoren abgebildet werden?

Kommunikation & Interfaces
Wie sind die realen Interfaces nachzubilden?

Public information

Kommunikation & Interfaces

TopicsBase Controller /cmd_vel, /odom23© Fraunhofer IML

Joints/joint_state, /joint_command

TF/tf, /tf_static

Sensorik/laser, /point_cloudCustom Msgs

/battery_soc, …

Public information

Kommunikation & Interfaces

TopicsBase Controller /cmd_vel, /odom

24© Fraunhofer IMLJoints/joint_state, /joint_command

TF/tf, /tf_static

Sensorik/laser, /point_cloudCustom Msgs

/battery_soc, …

Public information

Kommunikation & Interfaces

TopicsBase Controller /cmd_vel, /odom

25© Fraunhofer IML

Joints/joint_state, /joint_command

TF/tf, /tf_static

Sensorik/laser, /point_cloudCustom Msgs

/battery_soc, …

Public information

Kommunikation & Interfaces

TopicsBase Controller /cmd_vel, /odom

26© Fraunhofer IML

Joints/joint_state, /joint_command

TF/tf, /tf_static

Sensorik/laser, /point_cloudCustom Msgs/battery_soc, …

Public information

Kommunikation & Interfaces

Actions und Services
Realer O³dynAktoren

herstespez llerifischSPSSensoren

ROBOT BASE NODE
Action Server/load/control_lift

Simulationsmodell
Joints27

atests_nt/joia ndmm
t_conio/j© Fraunhofer IML…

Public information© Fraunhofer IML

Zusammenfassung

Simulation hochdynamischer Roboter ist möglich. Aber
Achtung bei der Rollen-Modellierung & nutze Realdaten.

Isaac Sim bietet viele Möglichkeiten für die Robotik mit
Stärken im Rendering und der Sensor-Simulation.

ROS bildet die Brücke zwischen Simulation und Realität.

28© Fraunhofer IML

Public information

Einordnung NVIDIA Isaac SimVorteile

Nachteile

GPU-Möglichkeiten und Renderer
Fortschrittliche Sensorsimulation inklusiv
synthetischer Daten für Machine Learning.

Hohe Systemanforderungen
NVIDIA RTX GPUs (min: RTX 2070)
Intel i7 oder Ryzen 5, 32 GB RAM.

Fortschrittliche Physiksimulation
Abbildung komplexer Rigid-Body
Simulation, z.B. bei Mecanum-Rädern.

Skalierbarkeit
Skalierung komplexer Robotermodelle
aktuell nur eingeschränkt möglich.

Omniverse ÖkosystemKombination von Tools & Anwendungen:
Robotik, SDG, RL, Menschensimulation, …
29© Fraunhofer IML

Proprietär
Entwicklung von NVIDIA.
Open-Source Ansätze, aber nicht für Alles.
Public information

Interesse an O³dyn? Hol dir das Simulationsmodell nach Hause!

30

O³dyn auf deinem Nucleus

Open Source @ Open Logistics Foundation

omniverse://localhost/NVIDIA/Assets/Isaac/2023.1.0/Isaac/Robots/O3dyn

https://git.openlogisticsfoundation.org/silicon-economy/simulation-model/o3dynsimmodel/© Fraunhofer IML

Public information

Kontakt
Marvin WiedemannAI and Autonomous Systems
marvin.wiedemann@iml.fraunhofer.de
Danke an…
Ossama Ahmed1, Renato Gasoto2, Anna Vasileva1, Elisabeth Drache1,Steffen Daniel1, Mrunal Hatwar1, Jan Finke1, and Sören Kerner1
1 Fraunhofer IML; 2 Nvidia

Gefördert durch

Digitale Visitenkarte

LinkedinO³dyn Modell