RSJ2023 OpenForum2023/9/11

人とロボットの協働環境を支えるVRデジタルツイン
玉川大学 脳科学研究所

稲邑

http://researchmap.jp/inamura

哲也

inamura@lab.tamagawa.ac.jp

背景・目的人とロボットが共同作業をする中で，人の行動・ロボットの行動の双方が共進化していくためのフレームワーク構築

2

近年のロボット行動学習のトレンド• 予測に基づく学習– ワールドモデル– モデルベースト強化学習– 深層強化学習– 深層予測学習• マルチモーダル基盤モデル– LLM– CLIP– PaLM-E , RT-1 , RT-2 , Gato
– 3D-LLM
3

ワールドモデル• Ha, David, and Jurgen Schmidhuber. 2018. “World Models.”• 我々は世界を大まかに抽象化し，将来の予測をしながら行動を決定している• AI/ロボットが持つ抽象化された世界のモデル

arxiv.org/abs/1803.10122

https://worldmodels.github.io/4

ワールドモデル+ロボットの典型例• モデルベース強化学習• Dreamer / Dreaming 潜在変数空間（ワールドモデル）内での学習• DayDreamer
Dreamer の学習を実機ロボットで実現

Hafner, Danijar et al. “Dream to Control: Learning Behaviors by Latent Imagination.” arxiv.org/abs/1912.01603.
Okada, Masashi et al. “Dreaming: Model-Based Reinforcement Learning by Latent Imagination without Reconstruction.”

Wu, Philipp, et al. “DayDreamer: World Models for Physical
Robot Learning.” CoRL 2022. arxiv.org/abs/2206.14176

5

近年のトレンドにおける課題点• 予測に基づく学習– ワールドモデル– モデルベースト強化学習– 深層強化学習– 深層予測学習

人・ユーザの行動に関するデータ
モデルがほとんど対象となっていない• マルチモーダル基盤モデル– LLM– CLIP– PaLM-E , RT-1 , RT-2 , Gato
– 3D-LLM

理由• 人とロボット間のインタラクション
データを収集するコスト• 人の行動データの不確実性の大きさ

6人とロボットの協働のためのワールドモデル
人の存在がないワールドモデル（従来の研究アプローチ）

環境ワールドモデル人が存在するワールドモデル（我々の提案アプローチ）

記号的表現と実世界の融合（深層学習）
ロボット7

現状の課題• ロボットが獲得したワールドモデルを人が理解できるとは限らない• 人の行動をワールドモデルで表現/学習する事例は皆無• 人の行動とロボットの行動を同時に表現するワールドモデル
はさらに複雑で困難• その理由– 人の行動とロボットの行動の双方を同時に観測し，マルチモーダルな情報＋言語情報をデータベース化するプラットフォームの欠如– 実空間での人・ロボットの行動データと，シミュレーション上での行動データの乖離– 人の行動を改善するためのフィードバック系との連携の困難性
8

人とロボットの協働のためのワールドモデル

記号的表現と実世界の融合（深層学習）

実環境での空間・もの・ひとの計測技術と仮想空間での精緻な人モデルに基づく人の行動再現を統合したデジタルツイン
9デジタルツイン• Michael Grieves が2002頃に提唱した概念• Product Lifecycle Management (PLM) という文脈で提案された• いかに製品を設計し，生産し，改善し，生み出し続けるか？
定義：
The Digital Twin is a set of virtual information
constructs that fully describes a potential or actual
physical manufactured product from the micro
atomic level to the macro geometrical level.

Grieves, M., and J. Vickers. 2017. “Digital Twin: Mitigating Unpredictable, Undesirable Emergent Behavior in Complex Systems.” Transdisciplinary
Perspectives on Complex Systems.

10デジタルツインのレベル
Digital Model:現実世界と切り離された情報空間
Digital Shadow: 現実世界をリアルタイムに反映した情報空間
Digital Twin:
現実世界にリアルタイムにフィードバックを及ぼす情報空間

Kritzinger, Werner, Matthias Karner, Georg Traar, Jan Henjes, and Wilfried Sihn. 2018. “Digital Twin in Manufacturing: A Categorical Literature Review andClassification.” IFAC-PapersOnLine. https://doi.org/10.1016/j.ifacol.2018.08.474.

11

ロボットシミュレータ≒Digital Twin

HSRシミュレータ

Issac Sim -> Omniverse

課題点：人間の存在・活動

Habitat-sim

AI2THOR12

デジタルツインとHRI(Human-Robot Interaction)

人もロボットも同時に考慮しているDigital Twin空間は存在していない（オフラインのDigital Modelが，現状での限界）

Digital Model

Robot (object)
Only

Human only

Human + Robot

Offline Simulator

Digital Human

Offline Simulator

Simulator + IoT

Metaverse/Lifelog

現実とは別世界

Digital Shadow
フィードバックは手動or オフライン

Digital Twin

Robot Controller

今後の課題

リアルタイムのフィードバック13

何が難しいのか？
•人へのリアルタイムなフィードバックを与えること•

ロボットのデジタルツインと人のデジタルツインの統合

単なる情報のディスプレイではなく，経験／体験のフィードバック

デジタル化の対象が全く異なる

解決アプローチ•

物のデジタルツインと人のデジタルツインをVRで結合する

14

解決アプローチ
VR/ARによるデジタルツイン環境へのリアルタイム介入
1. 現在のもの・ひと・ことの状態のリアルタイムでのサイバー空間への反映
2. サイバー空間上でのリアルタイムな将来予測
3. 予測した結果に基づく実世界へのフィードバック
ロボットへのフィードバック：行動計画，行動制御
ユーザへのフィードバック：スキル向上，状況判断のアシスト
4. VR/ARデバイスを介したユーザのサイバー空間への介入
サイバー空間での仮想経験
任意の時空間でのロボットへの指示・インタラクション
Agent AI

Agent AI

RobotRobot

Agent AI“Digital Twin of Experience for Human-Robot Collaboration through Virtual Reality,“ Tetsunari Inamura, International Journal of Automation Technology, 17(3) , 2023

15

VR/ARデジタルツイン環境のメリット• データ収集時 ：実環境／仮想環境の垣根を越え，人・ロボットの行動データ収集のコスト削減• データ運用時 ：人の主観的評価／フィードバックによる行動データの洗練化• 現場での運用時：ロボットの行動の最適化のみならず，効率的な人の行動を促す情報フィードバック“Digital Twin of Experience for Human-Robot Collaboration through Virtual Reality,“ Tetsunari Inamura, International Journal of Automation Technology, 17(3) , 2023

16

人を含めたデジタルツインの応用例
1.生産ラインでの人とロボットの共同作業の効率化
2.雑踏環境下での歩行者行動モデルとロボットの自律行動生成
3.VR+デジタルツインによる小売店舗環境のモデル化

4.コロナ禍へ対応：人とロボットの対話行動競技会のオンライン化

17

1. 生産ラインでの人とロボットの共同作業の効率化• デジタルツインを活用した人・機械協調• 人・機械・作業進捗のデジタル化• 動的スケジューラを用いた作業計画• 身体負荷が低い作業（空箱の取り替え）を人（作業者）に割り当てる• 作業者にとって身体負荷が高いパーツのピッキングをロボットに割り当てる• より良い作業計画の実現• 実験に基づく身体負荷・作業時間予測モデル構築• 予測モデルによる行動生成 → 学習データ拡張
T. Maruyama, et al. “Digital Twin-Driven Human Robot Collaboration Using a Digital Human.” Sensors 21 (24), 2021

18

2. 雑踏環境下での歩行者行動モデルとロボットの自律行動生成• サイバー空間での歩行者とのすれ違い動作学習• ロボットに反応する人の動きをモデル化したい⇒ サイバー空間に人の動きを再現し，ロボット動作学習
実観測データから行動種類/出現確率/出現範囲を導出

動作学習用サイバー空間にロボットに反応する人動作再現

強化学習によるすれ違い動作生成

S. Niijima et al. "Real-Robot Friendly Passing Motion Planner for Autonomous Navigation in Crowds", Trans. of Machine Learning and Artificial Intelligence, 10(1), pp.27-40, 2022.

19

3. VR+デジタルツインによる小売店舗環境のモデル化
デジタルツインの対象
・顧客の行動とロボットのサービス行動
・店員とロボットの共同作業

ＶＲの位置づけ・仮想店舗での顧客行動データ収集の効率化
・店員に対する行動フィードバック（研修への応用）

実際の模擬店舗の様子

デジタルツイン環境

デジタルツインによる将来予測に基づく店員とロボットの協働効率化へ“Digital Twin of Experience for Human-Robot Collaboration through Virtual Reality,“ Tetsunari Inamura, International Journal of Automation Technology, 17(3) , 2023
稲邑, “VR体験と実体験を統合し経験を拡張させるデジタルツイン環境の開発” 第22回 計測自動制御学会 SI部門講演会 2021

20

4. 人とロボットの対話行動競技会のオンライン化• 人とロボットの対話実験をクラウド上のＶＲ空間で実施するプラットフォーム• コロナ禍で実施不可能となったロボット競技会（RoboCup@Home）を完全オンラインで実施• 被験者はＶＲデバイスを介してシミュレータ上のロボットと対話し共同作業する

IROS2022 でのCompetitionの様子．来場できない参加者もオンラインで競技に参加可能となった

T.Inamura et al. “VR Platform Enabling Crowdsourcing of Embodied HRI Experiments – Case Study of Online Robot Competition.” Advanced Robotics, 35(11), pp.697-703, 2021.
Y.Mizuchi et al. “Evaluation of an Online Human-Robot Interaction Competition Platform Based on Virtual Reality,” Advanced Robotics, 2023.

21

まとめ
• 人とロボットの共進化を支える機械学習基盤（ワールドモデル）には人の行動データが不足している• 実世界で人とロボットが協働する状況のデータの収集に人を含めたデジタルツインが重要となる• VR/ARとデジタルツインを融合させた環境が人とロボット双方の行動の共進化を促す

22