情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-501-10
2017/3/2

没入型インタフェースを伴うクラウド仮想環境におけるHRI に基づく場所の学習
浅田 和弥1,a)

萩原 良信2,b)

谷口 忠大2,c)

稲邑 哲也3,d)

概要：介護や案内といった，人の生活支援を行うロボットの需要が近年増加している．このようなロボッ
トは，活動環境を構成する場所の領域と，その領域を表現する語彙の知識を獲得する必要があると考えられる．本研究では，この場所に関する知識を場所の概念とし，仮想環境において収集したマルチモーダル情報から場所の概念を形成するクラウド概念学習システムを構築する．本稿では，人間の代替となるアバターの追加や仮想環境への没入等の，システムに対する改良を報告する．

Learning Based on HRI in Cloud Virtual Environment
with Immersive Interface
Asada Kazuya1,a)Hagiwara Yoshinobu2,b)Taniguchi Tadahiro2,c)Inamura Tetsunari3,d)Abstract: Demand for robots that support people’s lives, such as nursing care and guidance, has been increasing in recent years. It is thought that the robot needs to acquire the area of the place constituting thehuman activity environment and the knowledge of the vocabulary expressing it. In our research, we will
construct a cloud system for concept learning which forms the location concept from multimodal informationcollected in the virtual environment, with the knowledge on this place as the location concept. In this paper,
we improved the system such as addition of avatar as a substitute for human and immersion into virtualenvironment.

1. はじめに動環境を構成する場所の領域と，その領域を表現する語彙の知識を獲得する必要があると考えられる．

近年，介護や案内といった，人間の生活を支援するサー

このような場所の概念をロボットに獲得させる手法とビスロボットの需要が増加している．このようなロボット

して，石伏らは MCL(Monte Carlo Localization) およびが家庭環境において人間と共存する場合，「玄関」や「台CNN(Convolutional Neural Network) による物体認識結果所」など，そのロボットが導入された環境内における場所を統計的に統合することで，似た物体認識結果が得られるの名前や，その名前が意味する空間的な領域といった，活場所の領域を獲得させるモデルを提案している [1]．しかし，このモデルにおいては，ある 1 つの環境において 1 人

123a)b)c)d)

立命館大学大学院情報理工学研究科
Graduate School of Information and ScienceEngineering, Ritsumeikan University
立命館大学情報理工学部
College of Information and Science Engineering,Ritsumeikan University
国立情報学研究所/総合研究大学院大学
National Institute of Informatics/The Graduate Univ.
for Adv. Studies
k.asada@em.ci.ritsumei.ac.jp
yhagiwara@em.ci.ritsumei.ac.jp
taniguchi@em.ci.ritsumei.ac.jp
inamura@nii.ac.jp© 2017 Information Processing Society of Japanの教師がロボットに対して学習をさせるのに数日を要している．このため，多様な環境および多数の教師がロボットに対して学習をさせることは，大きな負担となる．
そこで本研究では，仮想環境において収集したマルチモーダル情報から場所の概念を形成する，クラウド概念学習システムの構築を行う．これにより，ある 1 つの環境において，1 人の教師がロボットに対して学習をさせるのに要する時間の短縮が見込まれ，複数の教師および環境にお429

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

複数のユーザのログイン2-501-10
2017/3/2

仮想環境内における教示・データ収集
概念の学習・形成

クラウド上での共有ロボットやアバターを操作するインタフェース

図 1

システムの概要図

Fig. 1 System overview

図 2 福井らの提案した手法のグラフィカルモデル

Fig. 2 The graphical model of method presented by Fukui.

ける概念の学習が容易となる．また，使用した環境および取得したデータや学習の結果を，クラウド上で共有することが可能となる．さらに，これらの共有された学習結果を

表 1

福井らの提案した手法の各要素

Table 1 Parameters of method presented by Fukui.
xt

ロボットの自己位置ut

制御値

マルチモーダル概念の形成が期待できる．この統合によりzt

計測値形成された概念は，ロボットが未知の環境に導入された場

Ct

場所概念の index

合に事前に与えることができる，汎化された知識としてのµ, Σ

各ガウス分布の平均および共分散利用ができると考えられる．

φ

画像特徴の多項分布のパラメータλ

語彙の多項分布のパラメータα

画像特徴のディリクレ分布の統合することで，複数の教師による知識を統合した社会的これまで著者らは，仮想環境内における場所の概念の形成に関して研究を進めてきた [2]．これは本システムの構築の一環として，仮想環境内において画像やロボットの自ハイパーパラメータβ

己位置等の情報を収集し，それらの情報を用いて場所の概語彙のディリクレ分布のハイパーパラメータ

念の形成に関する検証を行うものであった．しかし，そのWt

語彙のベクトル検証実験の条件と，想定しているシステムとの間には，環ft

画像の特徴ベクトル境の観察に用いるインタフェース等，現状では大きな差がµ0 , k0ガウス分布のハイパーパラメータあるという問題点が挙げられた．本稿では，このような問Φ0 , v0

逆ウィシャート分布のハイパーパラメータ

題点に対する改良について報告する．

2. 提案するシステム
2.1 提案するシステムの概要

Microsoft Kinect 用インタフェースプラグインの利用のほか，HMD(Head Mounted Display) の使用によるアバターの頭部の動きの制御およびアバターの視点からの映像の投提案するシステムの概要図を図 1 に示す．

影により，アバターとして仮想環境へ没入しているかのよ

仮想環境を用いる利点としては，実世界上で環境を構築うなインタラクションが可能である．

するうえでかかる時間や金銭におけるコストが削減できる
こと，また，教示をする者自身もその実世界の環境へ直接

2.2 場所概念の獲得モデル加わらなければならないという，物理的な距離の制限を無本研究における場所の概念をロボットに獲得させるモデ視できることなどが挙げられる．システムへログインした

ルは，福井らの提案したモデルを参考とする [4]．図 2 に福ユーザは，仮想環境内のロボットやアバターを joystick の井らの提案した手法のグラフィカルモデルを示す．また，ようなコントローラ等により操作し，仮想環境内における

表 1 にグラフィカルモデルの各要素の概要を示す．

画像や自己位置，語彙の情報を収集する．これら収集した

福井らのモデルでは，CNN による物体認識結果と自己位情報をオフラインにて学習し，場所の概念の形成を行う．

置および場所を表す語彙の教示により，場所の概念を決定

また，形成された概念や使用した環境は，クラウド上で共する．ただし，福井らはロボットの自己位置を MCL [5] と有することが可能である．仮想環境は対話・力学・知覚のよばれる手法により推定しているが，本研究ではロボット統合的なシミュレーションが可能なシミュレータであるの自己位置は確定的に得られるものとしている．故に，図 2

SIGVerse [3] を用いる．SIGVerse は，ユーザの全身運動をにおける ut , zt は観測されないものとなる．また，CNN と仮想環境中のアバターに反映させるために提供されているは，ニューラルネットワークの隠れ層を複数重ねあわせた© 2017 Information Processing Society of Japan430

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-501-10
2017/3/2構造を持つ，深層学習の手法の 1 つである [6]．この手法
は畳み込み層とプーリング層という 2 種類の層を繰り返し

N =M =(11)J∑

Wtj(12)j=1

図 2 において，それぞれの場所概念のインデックスを Ctである．とし, 次のように定義する.

Ct ∈ C = {1, 2, · · · , K}

(1)

K は場所概念の総数であり，C は場所概念のインデックスの集合である．それぞれの場所概念は多変量ガウス分布で表され，次の式により定義される．
D2

また，p(ft |φ), p(Wt |λ) のパラメータ φ, λ はディリクレ分布事後分布からのサンプリングにより得る．それぞれのディリクレ分布の式を次に示す．

φ ∼ Dir(φ|α + p)
=1p(xt |µCt , ΣCt ) ∝fti

i=1重ねることで構成されており，一般物体認識などにおいて利用されている．

I∑12(2π) |ΣCt |1× exp(− (xt − µCt )T Σ−1
Ct (xt − µCt ))2(13)I∏Γ(α0 + p0 )φαi +pi −1Γ(α1 + p1 ) · · · Γ(αI + pI ) i=1 i

λ ∼ Dir(λ|β + q)
(2)=

xt は ロ ボ ッ ト の 自 己 位 置 と 向 き を 示 し て お り ，(x, y, sin θ, cos θ) で表される．x, y は二次元座標で表されたロボットの位置座標であり，θ はロボットの向きを示す．

(14)
(15)

J∏

Γ(β0 + q0 )β +q −1
λ j j
Γ(β1 + q1 ) · · · Γ(βJ + qJ ) j=1 j(16)

ここで，α, β はそれぞれ画像特徴と語彙のディリクレ分布のハイパーパラメータであり，

ft は CNN によって得られた物体認識結果を示しており，
I を CNN が学習した物体の総数として，
ft = {ft1 , ft2 , · · · , ftI }(3)

α = (α1 , · · · , αI )T(17)

β = (β1 , · · · , βJ )T(18)と表される．さらに，p, q は，それぞれ場所概念ごとで画と定義される．

Wt は語彙情報を表しており，画像特徴ベクトル ft が学習した物体の総数分の次元数を有していることと同じく，像特徴ベクトルと語彙ベクトルを Bag-of-Features，Bag-of-Words 化したものであり，Wt においても学習した語彙の総数分の次元数を持たせる．

p = (p1 , · · · , pI )T(19)

ゆえに，Wt は J を学習した語彙の総数として，

q = (q1 , · · · , qJ )(20)

Wt = {Wt1 , Wt2 , · · · , WtJ }T(4)と表す．また，α0 , β0 , p0 , q0 は，それぞれ α, β, p, q の要素の総和である．と定義される．

µ, σ は，それぞれ多変量ガウス分布と逆ウィシャート分
布よりサンプリングを行う．すなわち，N (·) をガウス分

2.3 場所概念の学習
本研究では，仮想環境内におけるロボットの自己位置と布，IW (·) を逆ウィシャート分布とすると，その自己位置で得た画像特徴および語彙のデータを収集し,

Σ ∼ IW (Σ|Φ0 , v0 )µ ∼ N (µ|µ0 , (k0 Σ−1 −1))

(5)

その上で場所の概念ごとのパラメータをオフラインで学習(6)を行う．本研究においては，これらのパラメータの学習をGibbs Sampling により行う．

である．
画像特徴と語彙の多項分布は，それぞれ場所概念ごとに存在し，次のように表される．

p(ft |φ) = Multi(ft1 , ft2 , · · · , ftI |φ, N )I∏N!
fi= 1 2
φi t
Ift !ft ! · · · ft ! i=1
p(Wt |λ) = Multi(Wt1 , Wt2 , · · · , WtJ |λ, M )
J
∏
M!
Wj
λj t
=12
J
Wt !Wt ! · · · Wt ! j=1
ここで，N, M は© 2017 Information Processing Society of Japan

3. システムの改良
3.1 これまでの実験環境(7)

著者らはこれまでの研究において，SIGVerse 内においてロボットを移動させ，画像や自己位置，語彙の情報を収(8)(9)集し，それらに基づく場所の概念の形成することを試みた [2]．この試みにおいて，SIGVerse 内のロボットを移動させるインタフェースとして，ソニー・インタラクティブ(10)

エンタテインメント社の Dualshock3 コントローラを用い，環境の観察には通常のディスプレイを用いた．ロボットは

SIGVerse 上に作成された室内を移動しながら，画像とその431

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-501-10
2017/3/2

KitchenDustbox

図 3

場所の概念の形成例

Fig. 3 Examples of forming location concepts
図 4

撮影位置を取得する．また，語彙の情報として，場所の名ロボットのカメラから撮影した画像例

Fig. 4 Examples of images taken from robot cameras

前を表すテキストのメッセージを付与した．取得した画像から画像特徴ベクトルを得るため，学習済みの CNN ツールである Caﬀe [7] を用いた．この実験において形成された場所の概念について，最も生起確率が高い語彙を表した場
所の概念の位置分布，およびその生起確率と得られた画像の例を図 3 に示す．
しかし，上記の通り，この実験環境では仮想環境の観察に通常のディスプレイを用いる，ロボット自体を直接操作する等の点で，想定しているシステムとは大きな差があることが問題点として挙げられる．

3.2 改良を行った点
先述したような点を改良するために，変更を行った部分を述べる．

3.2.1 ロボットのアバターへの追従

図 5 アバターの視点の画像例

Fig. 5 An example of the avatar’s viewpoint

これまでの環境では，仮想環境内には人間の分身であるアバターは存在せず，教示者はロボット自体をコントローし，実世界上においては，ロボットと対面して対話を行う

ラで操作し，仮想環境内の情報を取得していた．これは，ことが予想される．ロボットと一人称の視点で向き合うこ

教示者とロボットが仮想環境内において同一の存在となっとに関して重要な事項の 1 つとして，共同注視の実現が挙ている不自然な状態であり，教示者とロボットは仮想環境げられる．現状は，ロボットは移動した際の自己位置と，内に別々に存在することが本来は望ましいと思われる．

その位置で得られた画像の情報を取得している．この状態

そこで，仮想環境内にアバターを追加し，教示者はそのでは，ロボットは，教示者が特に教示したいと考えているアバターをコントローラにより操作する仕様に変更した．

対象が何であるかを把握することができず，また，ロボッ

一方，ロボットはそのアバターの立っている位置を認識し，ト自身が移動可能な場所の情報しか得ることができない．

アバターが移動するとその背後を追従移動する仕様に変更

しかし，ロボットと教示者による共同注視が実現できれば，した．ロボットは移動と同時に自己位置を取得し，さらに例えば「台所」という場所に関して，さらにそこからロボッ

その位置で頭部に設置されたカメラから画像を取得する．

トが直接移動することのできない「シンク」や「オーブン」

アバターに追従するにあたり，正面のカメラのみから画像といった対象を教示者が指し示し，その位置などの教示をを取得する場合，常にアバターが画像に写り込んでしまう行うことが可能となる．このことから，アバターの視点でため，頭部の前後左右，計 4 箇所にカメラを設置した．図 4

仮想環境に没入することが望ましいと考えられる．に，ロボットのカメラから撮影した画像の一例を示す．

3.2.2 仮想環境への没入
仮想環境の観察に通常のディスプレイを用いる場合，第そこで，ヘッドマウントディスプレイを用いて，アバターの視点での仮想環境への没入が可能となるように仕様を変更した．アバターの視点の画像の一例を図 5 に示す．

三者の視点でアバターやロボットを見ることとなる．しか© 2017 Information Processing Society of Japan432

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

2-501-10
2017/3/2

4. 今後に関して
仮想環境において収集したマルチモーダル情報から場所の概念を形成する，クラウド概念学習システムの構築に関して，本稿では，特に仮想環境内への没入に対する重要性と，システムに対する没入の実行に関して述べた．また，仮想環境においてロボットがアバターに追従すると同時に，前後左右の画像が取得できていることを確認した．今後は，これらの得られた自己位置等の情報から場所の概念を形成することを行うとともに，音声対話の追加等の，没入感をより深めるためのインタフェースの充実を行う．また，社会的マルチモーダル概念の形成を行うため，クラウド上に共有された概念を統合するための理論や手法の提案を行う．
謝辞 本研究は JSPS 科研費 JP16K16133 の助成を受けたものである．
参考文献
[1]

[2]

[3]

[4]

[5]
[6]

[7]

Satoshi Ishibushi, Akira Taniguchi, Toshiaki Takano,
Yoshinobu Hagiwara, and Tadahiro Taniguchi. : Statistical localization exploiting convolutional neural network
for an autonomous vehicle., Industrial Electronics Society, IECON 2015-41st Annual Conference of the IEEE.
IEEE, pp. 1369-1375, 2015.
浅田和弥， 萩原良信，谷口忠大，稲邑哲也：クラウド仮
想環境におけるマルチモーダル情報に基づいた場所概念の形成，計測自動制御学会 システム・情報部門 学術講演会 2016，2016.
Tetsunari Inamura, et al. : Simulator platform that enables social interaction simulation―SIGVerse: SocioIntelliGenesis simulator., System Integration (SII), 2010
IEEE/SICE International Symposium on. IEEE, pp.
212-217, 2010.
福井隆士，石伏智，萩原良信，谷口忠大，高野敏明：移動ロボットによる画像特徴と語彙を統合した教師なし場
所概念獲得，第 60 回システム制御情報学会研究発表講演会，2016.
Sebastian Thrun, Wolfram Burgard, and Dieter Fox. :Probabilistic Robotics., The MIT Press, 2005.
Krizhevsky Alex, Ilya Sutskever, and Geoﬀrey E. Hinton.
: Imagenet classification with deep convolutional neuralnetworks., Advances in neural information processing
systems., pp. 1097-1105, 2012.
Jia Yangqing, et al. ： Caﬀe: Convolutional architecture for fast feature embedding., Proceedings of the 22nd
ACM international conference on Multimedia. ACM,
pp. 675-678, 2014.

© 2017 Information Processing Society of Japan433