rclUE
a ROS2 client library for Unreal Engine

https://github.com/rapyuta-robotics/rclUE
https://github.com/rapyuta-robotics/RapyutaSimulationPlugins
https://github.com/rapyuta-robotics/turtlebot3-UE

会社概要
●

‘14年7月 ETH Zurich Spin-oﬀとして誕生●

100名, 20以上の国籍

link

●

東京とバンガロールにオフィス●10件のUS特許＋16件申請中

主な投資家 (総資金調達額40億円)

Awards and recognitions

取締役メンバー~5億円の補助金：ロボットの群制御AIとシミュレー
ション開発 - 2020年11月~2億円の補助金：コネクティッドインダストリー
実現の為の開発 - 2020年9月
イノベーションプログラム最優秀賞 - 2019
年2月

Dr. Gajan Mohanarajah
Co-founder and CEO

Arul Krishnamoorthy
Co-founder and CFO

Yuji Hirokawa
External Director

2

Contents
1.
2.
3.
4.
5.
6.

Target Simulation
Simulation 比較
What is Unreal Engine and rclUE?
Publisher/Subscriber demo
Todo/気をつけること
Cloud Simulation

Target Simulation
ロボットシミュレータの利用目的：○

アルゴリズム開発、テスト、Oﬄineプログラミング, and etc.

Unreal Engine 4(UE4) & rclUE & ROS2 では？
●

複数ロボット○●Unreal Engine4(UE4)の機能を活用○○○●

将来的には工場全体・物流倉庫全体レンダリング
BluePrint Scripting Language
ネットワークゲーム向けの通信機能

精密な摩擦や接触等は対象としない?

video link

Simulation 比較
OSS

Physics Engine

ROS2 support

Interface/language

GazeboYesODE, Bullet,SimBody,
DART

gazebo_ros_pkg

C++Ignition

Yes

DART

ros_ign_bridge

C++

WebotsYes

ODE(fork)

webot_ros2

C, C++, Java, Matlab,
PythonNvidia Isaac Sim

No

PhysX

Isaac SDK

C++, Python

Unity

No

PhysX, DOTS,
Havok

ROS-TCP-Connector
ROS-TCP-Endpoint

C#Unreal Engine

Yes

PhysX, Chaos

rclUE

C++(UE style)ref: A Review of Physics Simulators for Robotic Applications
Robotics Simulator -wiki-

Unreal Engine 4●

フォトリアリスティックなレンダリング機能
○○

●
●
●

デモ・マーケティング
機械学習

豊富なゲーム用の model
物理エンジン : PhysX*
高機能なエディタ：○○○GUIで環境構築 → シミュレーション環境の編集
Blueprint → 簡易なロジックの作成
Behaviour Tree作成機能 → 人のシミュレーション

FF IIV Remake
https://www.jp.square-enix.com/ffvii_remake/about/index.html*UE5 uses Chaos physics engine*UE採用ゲームリスト
Behaviour tree editor
https://docs.unrealengine.com/4.27/en-US/InteractiveExperiences/ArtificialIntelligence/BehaviorTrees/Behavior
TreesOverview/

Editor and Blueprint

rclUE is a ROS2 client library for UE4●●●●

Supports: Ubuntu 20.04, ROS2 Foxy, UE4.27
https://github.com/rapyuta-robotics/rclUE
bridge node/rosbridgeを使わない
rclcpp ではなくrclcから実装○●●

Unreal Engine C++ style

Blueprintからアクセスが可能・ UE4から直接利用可能
Actor(=UE内のオブジェクト )としてROS Componentを作成可能

[C++]Publisher

Topic名、周期、MsgType設定

周期アップデート関数

[C++]Subscriber

Callback 追加

[C++]Publisher/Subscriber

video link

[Blueprint]Publisher/Subscriber

video link

Turtlebot3

video link

Summary-rclUE によってUE4とROS2を連携させることができる。
ROS2NodeをUE4のC++ や Bluepirntからつくれる
UE4 のEditorを使用することで、 non engineer でも環境の編集やロジックの作成が可能--

環境編集：倉庫や工場の作成・編集
シミュレーションロジックBlueprintでの作成・編集
Behaviour Treeにより人のシミュレーションゲームで使用されているモデル等が利用可能

https://github.com/rapyuta-robotics/rclUE
https://github.com/rapyuta-robotics/RapyutaSimulationPlugins
https://github.com/rapyuta-robotics/turtlebot3-UE

Todo/注意点
Todo- Version--

注意点- Linux セットアップはROS2 Galactic
Unreal Engine 5

-

ROS
-

Robot arm
ROS 2 Control
URDF importer

Build
-

Repoが100GB

Run-

Nvidia GPU--

16GB-32GB Memory

ゲーム向けなので ?
-

左手座標系
単位がcm
Physics simulationはロボット向けのシミュレー
タより精確でない?

Cloud Simulation-

UE4:オンライン対戦ゲームで 100名のプレイ
ヤーの実績

オンラインゲーム

ロボットシミュレーション

通信システムをロボットシミュレーションに利用

ゲームフィールド

シミュレーション環境
倉庫・工場など

プレイヤーキャラクター

ロボットプレイヤー

ロボット制御ソフト(navigationなど)

ゲーム視聴者

オペレータ等--

PixelStreamingでブラウザからアクセス

video linkThank youWe’re hiring and demo at booth