情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A03
2018/3/5

身体的社会的対話経験の収集と共有のためのクラウド型 VR
プラットフォーム SIGVerse
稲邑 哲也1,2,a)

水地 良明1,b)

概要：知能ロボットが環境内で適切に自律行動を行うために，膨大な量の行動を行いながらその経験に基づた機械学習を活用する研究が多くなされてきている．しかしながらロボットが人間からスキルを学んだ
り，人間と協働してタスクを実行する場合，膨大な量の人間との行動履歴を収集することが困難となる．
そこで，人間が VR デバイスでクラウド上の仮想環境に設置された実験フィールドにログインし，アバターを経由してロボットと対話を行うことのできるインタラクションシステムを提案する．このシステムにより，被験者は場所・時間を問わず実験に参加することが可能となり，研究者は全世界を対象として被験者実験を展開することが可能となる．本論文ではそのシステムの構成，および応用事例について概説する．

A Could-based VR platform for collecting and sharing social andembodied interaction experience
Tetsunari Inamura1,2,a)

Yoshiaki Mizuchi1,b)

Abstract: Recently, intelligent robot systems often use machine learning techniques to acquire autonomous
behavior through an immense amount of interaction experience in real world. However, it is diﬃcult to acquire social interaction skill or strategy to collaborate with humans, through such huge interaction experience
due to diﬃculties in asking a human to interact with robots. We thus propose a cloud-based virtual reality
system named SIGVerse, which enables general people to take part in experiments in cloud cyber space.
Subjects can log in to the system anytime and anywhere; researchers can carry out experiments with global
scale. This paper describes the system architecture of the SIGVerse and explains an overview of several
applications.

1. はじめに要がある．物体を把持するという環境とのインタラクションでは問題にならないとしても，人間とのインタラクショ近年の人工知能の理論や技術の発展とともに，知能ロンが必要となるタスク・アプリケーションの場合，このよボットの研究開発は加速度的にスピードアップしている．

うな膨大な量のインタラクション経験をどのように収集すロボットが様々な環境内で行動をする戦略を自律的に学ることは極めて困難である．

習する研究は特に注目を浴びており，例えばマニピュレー

この問題を解決するために，従来までに稲邑らは VR 空ターによる物体把持経験を並列に蓄積することで，把持技間上での Human-Robot Interaction の実験・研究を効率能の自律学習などが実現されている [1]．ただし，2 ヶ月間的に行うためのシミュレータシステム SIGVerse[2] を開発に渡る 80 万回という膨大な量の把持をロボットが行う必し，様々な応用展開を行ってきた．SIGVerse は，人間が12a)b)

国立情報学研究所
National Institute of Informatics, Japan
総合研究大学院大学
SOKENDAI (The Graduate University for Advanced Studies), Japaninamura@nii.ac.jp
mizuchi@nii.ac.jp© 2018 Information Processing Society of Japan

VR 空間上のアバターにログインし，仮想ロボットとの対話を VR 空間上で効率的に行うことが可能なシミュレータであり，ユーザの身体的動作，ロボットとの社会的対話の経験を蓄積しクラウドを介して研究者間で共有することが可能となっている．

869

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

従来までの SIGVerse (version 2) は Linux 上にサーバを

3A03
2018/3/5

きる．

立ち上げ，Windows 上のクライアントアプリケーションからサーバに接続する形で動作するシステム構成であった．

2.2 VR デバイスの利用

基本的なフレームワークは独自のソフトウェア構成となっVR 空間内でマルチモーダルな対話を行うため，被験者ており，VR 映像の生成および三次元ヘッドマウントディ

は没入型の VR デバイスを利用してアバターにログイン

スプレイ (HMD) への出力，仮想アバターやロボットの制する．近年では，VR ヘッドセット（HTC Vive，Oculus

御，動作計測デバイスからのデータ読み込みなど，ほとん

Rift and Touch，FOVE，etc.）や簡易運動計測装置（Kinect

どの部分をオリジナルのアプリケーションとして作成する

V2，Leap Motion，Perception Neuron，etc.）などの多種必要があった．近年の VR 技術の発展と廉価版デバイスのの VR インタフェースが開発されている．ほとんどの VR安定供給に伴い，非常に数多くの VR 機器が市場に存在すデバイスには Unity 用の Asset が無償で提供されているたる状況となった現在において，各 VR 機器に対応するソフ

め，VR デバイスのハードウェア・ソフトウェアのアップトウェアモジュールを逐次構築するのは非常に効率が悪い

デートに対してほとんど労力を割く必要がない．

ものとなっているのが現状である．
そこで本稿では，ユーザ人口が非常に多いことで知られ2.3 サーバ/クライアントシステムの構築

る VR アプリケーション開発のプラットフォームである

従来までに実現していたサーバクライアント形式によるUnity に着目し，Unity を基盤フレームワークとした新しマルチエージェントシステムは，Unity の基盤機能を用い

い SIGVerse (Version 3) を提案する．これにより，デバイることで容易に実現可能となる．サーバとクライアントスごとのインタフェース作成のコストを低減させ，さらなは，アバターやロボット，家具などのオブジェクトから構る実験開発の効率化を図る．

成される同一のシーンを持つ．ネットワークを経由して，2. SIGVerse のシステム構成環境内の登録されたオブジェクトの情報を通信することで，それぞれのシーンが同期される．クライアントがログイン

図 1 に，SIGVerse (ver.3) の構成を示す [5]．VR 環境のすると，アバターやロボットなどの動的なオブジェクトが構築には，Unity*1 を採用している．Unity では，Asset とサーバによって VR 環境中に生成される．各クライアント

して，仮想物体の 3D モデルや VR インタフェースのモの所有するアバターやロボットの状態は逐次サーバに送信ジュールなどが共有されてる．また，操作性の高いユーザされ，それらの情報がブロードキャストされることで，そインタフェースを用いた VR 環境の構築が可能である．これぞれのアバターやロボットによる対話が実現される．

れらの豊富な開発資源を流用することで，少ないコストで多様な実験環境を構築することが可能となっている．

2.4 Unity と ROS 間のブリッジ機能

被験者は，ヘッドマウントディスプレイ (HMD) などの近年，多くのロボットがロボットミドルウェアを利用

VR インタフェースを介して VR 環境内のアバターにログして開発されており，ROS*2 は最もスタンダードなミドルインすることができる．仮想ロボットには，ROS 環境とのウェアとして利用されている．実機ロボットと仮想ロボッブリッジ機能により，実機ロボットを制御するためのソフトの制御プログラムにおける互換性を保つためには，Unityトウェアを再利用することができる．また，独自のブリッと ROS をブリッジし，制御コマンドやセンサ情報を通信

ジ機能により，データサイズの大きな仮想センサ情報のリするための機能が必要となる．ROS では，JSON 形式デー

アルタイム通信もサポートしている．

タを利用した WebSocket 通信により，外部プログラムと以下に SIGVerse ver.3 の基本コンポーネントとその機能をまとめる．のデータ通信を可能とするブリッジ機能が提供されている．この JSON を用いて Unity と ROS の通信を可能とする提案 [3][4] もいくつかなされてきてはいるものの，デー2.1 仮想環境の構築

タサイズの大きい RGB 画像や深度画像などのセンサ情報

人間とロボットのインタラクション実験が行われる最もをリアルタイムに通信することは困難であった．そこで，典型的な場面はリビングやキッチンなどの日常生活空間

BSON 形式データを利用した TCP/IP 通信によるブリッである．Unity では，その構成要素となる家具や日用品なジ機能を提案することで，ロボットの制御に必要となるリ

どの 3D 形状モデルや，アバターを制御するスクリプトがアルタイムな仮想センサフィードバックを実現した．

Assets として豊富に共有されている．さらに，Unity は操

特にその効果はカメラ画像のリアルタイムな取得におい作性の高いユーザインタフェースを備えており，それらをて顕著に表れる．640x480 ピクセルの RGB 24bit の画像活用することで容易に大規模かつ複雑な仮想環境が構築でを Unity 側で生成し，ROS 側に送信する速度を計測した*1*2

https://unity3d.com© 2018 Information Processing Society of Japan

http://wiki.ros.org/870

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A03
2018/3/5

WindowsWindowsLinux
Unity client (Robot)

Unity server

ROSBridgeROS㻶㻿㻻㻺㼒㼛㼞㼙㼍㼠rosbridge
serverUnity
C# script

ROS node(thread)Unity
C# script

BSONformat

Unity
C# script

ROS node(thread)

SIGVerse
ROSBridge

generatemainInternetWindows

Real environment

Unity client (Avatar)

sigverse
rosbridge_server

VR interface

Unity
C# script
Audio headset
Multimodalinteraction
experiences

Unity
C# script

ROS node

HMD

Unity
C# script

Participant

Robot software

Motion capture device

図 1 SIGVerse (ver.3) のシステム構成

ところ，GPU として GeForce GTX TITAN X を搭載する

PC での結果は，従来の JSON 形式だと 0.55[fps] であった
ところ，提案する BSON 形式による通信だと 57.60[fps] の速度が出た [6]．

2.5 マルチモーダルな対話経験の蓄積と共有
マルチモーダルな対話経験データを共有するためには，(a) Collection of behavior in washing task in VR environment

仮想空間内での対話経験の実演のみでなく，それらを記録・蓄積する機能が重要となる．その実現のためには，エージェントのセンシング情報を記録するのみで不十分であり，マルチモーダルな対話経験を再現できるレベルで記録する必要がある．SIGVerse ver.3 では ver.2 からひき続き MySQL による対話経験の蓄積と共有を行う．これらをネットワーク経由でデータベースに蓄積し，共有すること
で，クラウドソーシングによる大規模な対話経験の収集と(b) Interactive clean-up task in VR environment

図 2

VR 空間上での人間ロボット間のインタラクション実験の例収集データの相互利用が可能となる．
以上の機能を統合することで図 2 や図 3 のような VR 空間上でのロボットとのインタラクション実験が可能となる．

3. ロボット競技会への展開には@Home 以外にもサッカーやレスキューなどのリーグが存在し，シミュレータによる競技も実施されてきているが，@Home リーグだけはシミュレータが存在していな

本章では，SIGVerse システムの応用例の一つとして，知かった．その根本的な要因は人間がロボットシミュレータ能ロボットの競技会（RoboCup@Home）の事例についてに介入する必要があり，そのような機能を提供するロボッ紹介する．

トシミュレータが存在していなかったためである．そこでRoboCup @Home 競技会は日常生活空間での HumanRobot Interaction を知能化することを目的とした競技会

SIGVerse を用いた Human-Robot Intearction の競技会の実施を行うこととなった．

で，実際のモデルルームの中で活動するサービスロボット

SIGVerse を用いた競技として，ロボットが自然言語発と人間が対話を行うことで競技を行ってきた．RoboCup

話によって人間に適切な行動を誘導するタスクを導入した [7]．被験者となる人間は未知の仮想環境にアバターを© 2018 Information Processing Society of Japan871

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A03
2018/3/5の応用例について紹介した．この他にも，VR を活用したUnity

ニューロリハビリテーションへの応用 [8] や，キッチン環境における料理や片付け行動を対象とした人間の動作の観察とモデル化に関する研究 [9],[10] なども進めており，ロボットやリハビリに限らず，人間の日常生活空間での行動の分析やモデル化などにも各種の応用を展開していく予定
である．
謝辞

本研究の成果の一部は，国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務，ROS (rviz)

JST CREST(グラント番号 JPMJCR15E3)，および科研費26120007 の支援を受けた．
参考文献
[1]

[2]
図 3 ROS-Unity 間のブリッジ機能を用いた距離センサ情報のリア
ルタイム通信機能および人間追従行動への応用．（実際の人間の動きをモーションキャプチャで計測し，VR 上のアバターに[3]動きを反映させた上で VR 上の移動ロボットがそのアバターを追従している．）

介してログインし，ある物体を探し出すことをロボットか[4]らリクエストされる．ロボットはターゲットとなる物体が存在する位置情報元に，その場所を人間に説明するための自然言語を生成する．被験者はその自然言語表現を受け取[5]り，仮想環境の中を歩き回りながら，ターゲットの物体を探し出すことになる．物体位置の座標を自然言語に変換す[6]

るアルゴリズムは，競技に参加するチームが開発し，そのアルゴリズムの善し悪しの評価を被験者の行動で判断する流れとなる．対象物を発見するまでの時間が短ければ，自[7]

然言語表現への変換アルゴリズムは優秀であり，逆に長く時間がかかるようであれば，アルゴリズムの質はあまり良く無いと判断できる．

[8]

複数回行われる評価において一般の観客に参加してもらうことで，ロボットの発話に対する人間の反応を記録することが可能となり，例えば，自然言語による記述とそれに対応する行動・動作パターンの対データが得られることで，[9]

実世界における自然言語処理の研究にデータを提供可能となる．単なる競技会のソフトウェアシステムとして使われるだけでなく，蓄積された経験データが研究開発に有効活用される仕組みを容易に構築できるというメリットがある．

4. まとめ[10]

S. Levine, P.Pastor, A. Krizhevsky, D. Quillen: “Learning Hand-Eye Coordination for Robotic Grasping with
Deep Learning and Large-Scale Data Collection,” arXiv,
1603.02199, 2016.
T. Inamura et al. : “Simulator platform that enables social interaction simulation - SIGVerse: Sociointelligenesis simulator,” in the IEEE/SICE Int’l Symp. on System
Integration, pp. 212-217, 2010.
Y. Hu and W. Meng, ROSUnitySim: development
and experimentation of a real-time simulator for multiunmanned aerial vehicle local planning, SIMULATION:
Trans. Society for Modeling and Simulation Int., vol. 92,
Iss. 10, pp. 931–944, 2016.
R. Codd-Downey, P. M. Forooshani, A. Speers, H. Wang,and M. Jenkin, From ROS to unity: Leveraging robot
and virtual environment middleware for immersive teleoperation, in IEEE Int. Conf. on Information and Automation, pp. 932–936, 2014.
水地，稲邑：“Unity と ROS を統合したクラウド型マルチモーダル対話経験蓄積プラットフォーム”，第 31 回人工知能学会全国大会論文集，4G1-OS-14a-4，2017．
Y. Mizuchi and T.Inamura: “Cloud-based Multimodal
Human-Robot Interaction Simulator Utilizing ROS andUnity Frameworks”，in the IEEE/SICE Int’l Symp. onSystem Integration , 2017.
T.Inamura and Y.Mizuchi: “Competition design toevaluate cognitive functions in human-robot interaction
based on immersive VR,” in the Proc. of the Int’l Symp.
on RoboCup, 2017.
T.Inamura, S.Unenaka, S. Shibuya, Y.Ohki, Y. Oouchida, and S. Izumi: “Development of VR platform forcloud-based neurorehabilitation and its application toresearch on sense of agency and ownership,” Advanced
Robotics, Vol.31, No.1-2, pp.97–106, 2017.
T.Bates, K.Amirez-Amaro, T.Inamura and G. Cheng:“On-Line Simultaneous Learning and Recognition of Everyday Activities from Virtual Reality Performances,” inthe Proc. of Int’l Conf. on Intelligent Robots and Systems, pp. 3510–3515, 2017
横田，水地，崔，稲邑: “クラウドソーシングと没入型 VRを活用した身体動作パターン収集システムの設計,” 計測
自動制御学会 SI 部門講演会, 2017

人間が VR 環境にログインし，ロボットとの社会的身体的対話経験を蓄積・共有するための VR シミュレーションシステム SIGVerse のシステム構成を概説し，いくつか© 2018 Information Processing Society of Japan872