情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20014
2020/3/9

複数の自走壁型プロップを用いた
ルームスケール VR の空間インフラの遭遇型触覚提示鄢 一先 †，高嶋 和毅†，アンソニー タン *，藤田 和之†， 北村 喜文†
概要：本研究は，複数の自走する壁型プロップを用いて，ルームスケール VR の空間インフラ（壁やドア等の空間の構造を決める境界）に関する触覚をユーザに提示する方法について検討する．システムは HMD を装着したユーザの位置や動きを計測し，その情報からユーザが触れようとしている VR 内の壁面を予測する．その予測に従って，シス
テムは 2 枚又は 3 枚の壁型プロップをユーザがその壁面に到達する前に自動的に配置し，ユーザに壁面の触覚フィー
ドバックを提示する．本研究では，単純な 4 つの壁に囲まれた部屋を題材として取り上げ，シミュレータによって，提案する予測アルゴリズムが遅延なく壁型プロップを配置できる可能性を示した．また，実機を用いたユーザスタデ
ィにより，提案手法は，ユーザの歩行速度を制限すれば，限られた速度のモバイルロボットでもユーザに遅延なく触覚を提供でき，没入感や体験の質を向上させることが分かった．今回の探索をもとにして，今後のルームスケール VRの遭遇型触覚提示システムの開発に向けた示唆および課題をまとめる．

1. はじめにを再利用して必要な場面（実際に触れる可能性があるとき）にだけ配置して触覚を提示する方法があり，これは，遭遇

部屋規模のトラッキングエリアを持つルームスケール

型触覚提示と呼ばれる．TurkDeck [4]はその代表的研究で，

VR と呼ばれるセットアップが普及し始めてきた．ルーム

人手（ヒューマンアクチュエータ）を使って大型の壁プロ

スケール VR では，ユーザによる実際の歩行や全身運動がップを数十個連携して移動させ，HMD ユーザが通るであ

VR のアクティビティに反映されるため，体験の質や没入

ろう場所の壁やドア等の空間インフラの触覚を表現していが向上する．しかし，それゆえに，ユーザに空間の広さやる．しかし，1 人のユーザの体験のために 10 人以上もの人構成をより正確に理解し体験してもらうことがより重要に手を要するという欠点がある．

なる．例えば，VR 内に壁が存在している際に，ユーザの体

そこで本研究では，ルームスケール VR における空間イ

がそれをすり抜けてしまうのであればリアリティや没入感

ンフラの触覚を，自動的に作り出すための方法論を検討すは大きく低下してしまう．そのため，人の空間行動と密接る．我々のアプローチは，壁型の物理プロップをユーザのに関わる空間のインフラ（壁やドア等の境界）を適切に表

行動に応じて自走させ，VR 内の壁やドア等に対する触覚

現することができる触覚提示の必要性が増してくると考えをユーザに遭遇的に提示することである．図 1 に提案シスられる．しかし，部屋規模の計測空間を持つルームスケー

テムを運用した例を示す．本研究では，まず，空間インフル VR 全体に触覚を提示しようとうする研究例は少なく，ラを表現するに適した壁型プロップを設計し，その後，典

その方法論はまだ明らかにされていない．本研究はこれの型的な 4 壁の室内テスト環境において，ユーザの動きを事

解決法を探ることを目的とする．

前に予測するための予測アルゴリズムや，複数枚の壁型プ

ユーザに VR 内のモノの触覚を提示するには様々な方法

ロップの状態管理や移動制御について検討する．シミュレがあり，代表的なものの一つにパッシブハプティクスがあータによってアルゴリズムや条件の妥当性を検証し，最終る．これは，VR 内のモノと同等の物理物体（プロップと呼的には，提案システム（空間インフラの触覚提示あり）とぶ）を同位置に配置することで，ユーザが VR のモノに接ベースライン（空間インフラの触覚提示なし）を，ゲーム触する際に，その物理的なフィードバックを与えることがシナリオを用いたユーザスタディによって比較検証するこできるものである．この方法は，簡単でありながら効果がとで，提案手法の有用性と課題を議論する．

大きいために多くの研究実績があり，体験の没入感や臨場

なお，本研究における触覚提示とは，VR に存在する境界感を有意に増加させるといった報告もある[6,9]．また，現の存在の事実を，触覚をもって確認できることとし，テク実世界に配置するプロップは VR で表示している物体ほどスチャの違いや重さなどについては検討しない．また，“壁

高精細でなくても十分な効果が得られるとも言われている

面へのタッチ”は，日常生活において頻度が高いとは言え[12]．しかしながら，この方法は，バーチャルな世界が大きないが，VR での FPS (First-Person Shooter)や探索ゲームなく，また複雑になるほど，設置コストが高くなるという欠どにおいては，空間の構造を理解するために自然に用いら点がある．プロップの準備に労力が要するうえ，VR のシーれる．また，ユーザがコンテンツ制作者の想定する境界をンが変更されれば別のプロップを準備し配置し直さなけれすり抜けて移動できてしまうことは，臨場感だけでなく安ばならない．この労力を軽減するために，少数のプロップ† 東北大学 電気通信研究所* Faculty of Information, University of Toronto© 2020 Information Processing Society of Japan123

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 1

INT20014
2020/3/9

提案システムの動き：上段： VR 内でのユーザ；下段：HMD ユーザと物理壁プロップ. (a)アクティブな壁プロップ（青色）は，正面奥にある VR 壁面の一部の触覚を提示し，他方の壁プロップはユーザ周囲に配置されスタンバ
イ状態にセット（灰色）されている; (b) ユーザが右側の壁面に向かった際，スタンバイ状態の壁プロップはディスパ
ッチ状態（黄色）となり，右側の壁へ移動を開始する．ユーザは正面奥の壁から離れていないために，既にアクティ
ブにセットされていた壁プロップはそのまま継続してアクティブ状態でユーザに追従して正面奥の壁面を表現し続ける；(c)二つの壁プロップがアクティブ状態になりコーナーの形状を作り，その触覚を提示する．
全面上重大な問題になり得るため，境界を触覚も含めて正み合わせたルームスケール VR を提案している．しかし，確に表現することは重要である．その他，壁面のスイッチ

歩行が自然ではないことと，触覚提示領域も依然として小へのタッチや，ドアの開閉，ホワイトボードに文字を書く

さいことが欠点として挙げられる．TilePop は空気で膨らまなど，鉛直面に対するインタラクションの機会は多く，壁せることができる立方体のプロップを 27 個（立体的に面の触覚を強化してリアリティを高めることは，潜在的に3x3x3 の配置）用いて，VR 内の大きなオブジェクトの凹凸

それらのインタラクションの強化にもつながると考える．

を物理的に表現することができるシステムである[15]．遭

2. 関連研究

遇型触覚提示のコンセプトはあるものの，空気でプロップを膨らますのに長時間の待ち時間が発生するという欠点がVR 内の触覚提示の研究例は膨大であるが，ここでは，ルある．また，デバイス全体が接地されているために触覚提ームスケール VR での触覚提示と，本研究で用いるロボッ

示範囲は限られる．しかしながら，ユーザが体重を預ける

トによる動的な空間構築に関して議論をまとめる．

ことができ，また変形パターンも多いため，従来のパッシ

2.1 遭遇型触覚提示

ブプロップを強力に拡張している．

ユーザが VR 空間のモノに触れようとしたときにだけシ

非接地型の遭遇型触覚提示方法の研究の大半は，ドローステムが物理プロップを適宜配置して触覚を与えることはンを用いて物理フィードバックを生み出す研究である（例

遭遇型触覚提示(Encounter-type Haptic Device など)と呼ばれえば[1]）．これはルームスケール VR に有望なアプローチ

る．これは，接地型と非接地型に大別される．接地型の遭であるが，騒音も大きく，周囲の気流が大幅に乱されるた

遇型触覚デバイスは，固定されたロボットアーム等になんめに，ユーザへの体験への影響が危惧される. 本研究で提らかの物体を取り付け，それをユーザが触れそうな場所に案する自走壁型プロップは，非接地型触覚提示デバイスに動的配置するものである．この方法は古くから成功してお相当するが，ドローンより安定した接触面の提供が可能でり，ロボットアームの先端に取り付ける形状が変われば，あり，気流も乱すことはない．TurkDeck [4] では，ヒュー異なる形状の触覚をユーザの指に提供することができる

マンアクチュエータらが，物理プロップを手動で事前に必[5]．Kim ら[8]は，このコンセプトを拡張して，タブレット

要な場所に配置し，それらを循環利用し続けることで，広サイズのプロップでホワイトボードサイズの VR コンテン

範囲のルームスケール VR の触覚体験をユーザに提供してツの触覚フィードバックを再現することに成功している．

いる．プロップは，時間をかけて事前に指示通りに配置さ

なお，この接地型は，ロボットアームなどが地面に固定されていることが多いため遭遇性の要素は小さい．この研究れるため，ルームスケール VR には適用し難い．Vonach [18]では，７分間の一人の VR 体験のために，65 個の大型プロ

らはこの問題に取り組み，ロボットアームを用いた遭遇型

ップを 10 人の労働者により移動させている．労働コスト

触覚デバイスと全方位トレッドミルを用いた歩行体験を組© 2020 Information Processing Society of Japan124

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20014
2020/3/9

図 3
図 2

提案システムの概要と構造

自走壁型プロップの実装例

が高いだけでなく，単純な力作業の繰り返しを強いるため労働者の確保にも課題はあると見られる．我々は，

遇型触覚提示を目指す．

3. 提案システムの設計と実装

TurkDeck に刺激を受けつつも，複数のモバイルロボットを本章では，ルームスケール VR での空間インフラを表現

循環させて VR における歩行感覚を支援するシステムなどするための自走壁型プロップの設計，それらの制御や安全のアイディア[20]にならい，モバイルロボットを効果的に性の確保，およびユーザの行動予測に基づくプロップの配用いることで，人手なしでルームスケール VR の空間イン

置アルゴリズムについて述べる．

フラの遭遇型触覚提示を目指す．

3.1 自走壁面プロップの設計

2.2 パッシブハプティクス

壁プロップは，空間インフラを部分的に表現するもので典型的なパッシブハプティクスは，表現したい VR オブ

ある．我々は人間工学などを参考にして，プロップのサイ

ジェクトと同サイズのプロップを現実世界に配置すること

ズは人と同サイズとし，両手を前方に伸ばしたときに触れである[6,9]．このアプローチは，小規模な VR であれば有ることができる程度の幅と，足首から頭部までの高さを持効であるが，オブジェクトが増えた際に準備すべきプロッ

つようにした．プロップは，図 2 に示すように二つのパープが多く，コストがかる．そこで，研究者らは，そのようツからなり，軽量のスタイロフォームボードを用いて壁面な課題を解決するめに，再利用できる仕組みを提案していに相当する部分を作り (H 150 cm × W 80 cm × D 20 cm)，

る．その一つはリターゲッティング[2]と呼ばれる視触覚にその下にモバイルロボット(Roomba)を配置し，無線コマン

おける錯覚である．ユーザの腕の動きをトラッキングし，ドによる移動機能を実装した（図 2）. ユーザとの衝突が万

実際の腕の動きよりも大きく（または小さく）動いている

一発生した際の衝撃を最小限にするために，壁プロップは映像をユーザに見せることで，VE 内での腕の動きを錯覚

軽量に設計されている．結果として，現在のプロトタイプさせている．これにより，現実では常に 1 つのプロップを

では 11 kg 程度の重量であり，人が壁に触れたり軽く叩く

触っているにも関わらず，ユーザは VE 内の複数のバーチ程度の力では揺れないが，押し込むような動作をした場合

ャル物体をそれぞれ触っているかのように錯覚する．そのには倒れる恐れがあり，そのような用途には向かない．モ

他，パッシブハプティクスの特徴として，VR 内の物体と少バイルロボットにはルンバを用いるため，壁プロップは，

し異なる形状の物理プロップでも十分な触覚を提供できる

二輪駆動による 2 自由度の動きとなる．そのため，壁プロ

ことも明らかになっている[12].

ップは表と裏の両面にボードを配置し，プロップが回転す2.3 協調ロボットによる空間構築

る機会が少なくなるようにした．システムが壁プロップの本研究では，複数台の壁型プロップをロボットにより連位置を計測するために Vive トラッカを上部に取り付けて携させながら自走させるものであり，過去の協調型ロボッ

その位置と向きを管理する．モバイルロボットの移動速度

ト型ディスプレイ研究実績に立脚したものである．Shape-には仕様上の最高速度である 0.5 m/s とする．これは，室内

Shifting Wall Display [14] は，モバイルロボット上に設置さで人の歩く速度（1m/s 以上）に比べると遅く，大きな制限

れた複数の壁面ディスプレイが連携し，表示コンテンツやであるが，人の近傍で移動することを考えると，安全上妥

ユーザ数などに応じて，壁面ディスプレイのレイアウトや当な速度である．

形状を動的に変更することができる．また，ロボットタイ

3.2 システムの全体像

ルを複数個循環利用することで永久にその場で様々な方向システムは，VR 世界をレンダリングする視覚表現部分に移動できる床を作る研究などもある[20]．本研究では，こと自走壁型プロップによる触覚表現部分の両方を管理する．

れらの協調的なロボットのアイディアをもとにして，複数

そのため，システム全体としては，VR 内の空間インフラ

台のプロップを高度に連携させ，広い範囲でも効果的な遭（壁やドアなど）の位置は既知である．本研究では，ユー© 2020 Information Processing Society of Japan125

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20014
2020/3/9

ザの位置に応じて必要な場面にのみ壁プロップを提供する

ロップはディスパッチ状態となり，目的地まで移動が開始

ような仕組みを導入することで，少ないプロップでも質のされる．ただし，ユーザの行動によっては，ディスパッチ

高いルームスケール VR 体験を提供したい．これに向けて，状態からアクティブに遷移することもあれば，スタンバイ

図 3 に示すような構成を持つシステムを構築する．図中の状態に戻ることもある．また，アクティブ状態からは，デ

茶色の壁は，ユーザがタッチしようとしている VR 内の壁ィスパッチ状態またはスタンバイ状態のどちらへの遷移も面である（HMD ユーザにだけ見える）．本来であれば，そあり得る．

こに物理的な壁は存在しないため，ユーザがその壁に触っ

3.4 移動経路計画と安全対策ても手や体はすり抜けてしまう．それを防ぐために，同図

ディスパッチ状態の壁プロップは，Reciprocal Velocityに示すように，ユーザが触れようとしている VR 内の壁とObstacles Algorithm [16] を利用し，それぞれの壁プロップ

同じ場所に壁型プロップを動的配置する．これ自体は遭遇がユーザや他のプロップとの衝突を避けるような経路がと型触覚提示の基本的な考え方であるが，本研究ではそれをられる．これを選択した理由は衝突を避けることに長けて遅延なく広範囲の VR で実現するために，ユーザの頭部のいることと，シンプルで高速化が狙えるからである．この移動情報を常に計測し，ユーザが触れようとしている壁面

アルゴリズムでは，それぞれの壁，ユーザの位置やスピーを予測する Predictor と，その予測結果および現在の壁プロドを常に観察し，衝突を事前に避けるように経路が計画さップの配置から適切な壁プロップを移動させる Dispatcherれる．経路決定後は，PID 制御によって壁プロップは目的の二つのアルゴリズムを設計する．次章で詳しく述べるが，地まで到達する．先にも述べたが VIVE トラッカにより移本研究では，Predictor として，基本的なバウンディングボ

動と位置制御をすると 2cm 程度の計測誤差は発生しうるたックスを用いた方法とバウンディングボックスと機械学習

め，それを見越した精度目標に設定している．また，同様を併用する 2 つの方法を検討した．Predictor がユーザの各の理由で，システムの性能のみでは 100%の安全性は確保

種行動情報からユーザが触れそうな壁面を特定できれば，できない．そのため，壁プロップが予期せぬ移動を始めた

Dispatcher にその壁面 ID を指示する．ID を受け取った際に，実験者またはオペレータが即座にシステムを停止すDispatcher は，ユーザ周囲に追従している壁プロップの中るためのキルスイッチを設置した．キルスイッチ自体をから最も適した壁型プロップを選択して，それを目的地まHMD ユーザのコマンドとして持たせることもできる．こで安全に移動させる．この時，最も早く目的地に到達できのボタンを押すと，移動している全ての壁プロップは強制るかどうか，またできるだけ少ない回転運動で到達できる的に停止し，HMD ユーザには VR 内にすべての壁プロップ

かを考慮して選択される．

の位置が可視化される．この可視化は，システム停止後に3.3 自走壁プロップの状態管理

ユーザがプロップを視認できないことによる衝突などを防複数の壁プロップが同時に Dispatcher により選択される

ぐものである．以上で示したように，壁プロップの制御はことも多いため，それらを安全に混乱がないようにするた

安全かつ安定的に設計されている．次に，それらの壁プロ

めに，壁型プロップは，“スタンバイ”，“アクティブ”，“デップの移動の方針を決定する Predictor について述べる．

ィスパッチ”の三つの状態の一つに設定されるように管理される．アクティブとは，当該壁プロップは VR の壁面の

4. 予測アルゴリズムの設計一部分に既に配置されており，触覚をユーザに提示できる

Predictor では，VR を体験するユーザの動きからどの壁状態のことである（図 3 中の青色の壁）．この時，ユーザが面を触ろうとしているのかを予測する．しかし，ユーザのその壁面に沿って歩いた時は，その壁プロップは壁面上を動きは VR コンテンツやアプリケーションによっても異な並進して触覚を提示し続ける．例えば，暗い部屋に入ったるため万能の予測をすることは困難である．そこで本研究ときにユーザが壁伝いに歩いている場合などにこのようなでは，4 つの壁に囲まれた基本的な部屋でユーザが壁面に動きとなる．スタンバイ状態では，その壁プロップは VR

沿って空間の構造を探索するシーンを題材として，基本的の壁面の一部にはなっておらず，必要な場面で瞬時にアクな行動予測アルゴリズムが遭遇型触覚提示の実現に向けてティブ状態に遷移できるようにユーザの周囲に配置されユどのように利用できるかを議論する．

ーザに追従する（図 3 中の灰色）．この時，不用意な壁同士

本研究では，2 つの予測アルゴリズムを検討した．1 つの衝突や干渉を避けるために，既にアクティブになっていは，ユーザの周囲にバウンディングボックス（仮想的な立る壁プロップを避けるようにユーザの周辺に配置される．

方体又は直方体）を定義し，リアルタイムでユーザの触る

基本的にスタンバイ状態にある壁プロップはユーザの周囲可能性の高い壁面を予測する方法である．もう 1 つは，そ（ユーザが手を伸ばしても届かない場所）に配置されるこのバウンディングボックスに加えて，ユーザの室内での動とになるが，ユーザと壁との距離や周囲のアクティブ状態

きを事前に学習させておいた機械学習器を併用する方法での壁の存在などによって適宜微調整される．スタンバイ状ある．後者を設けたのは，前者のアルゴリズムでは，自走態にある壁プロップを Dispatcher が指定すれば，その壁プ

壁プロップを減らした場合に，特に長距離の移動が発生す© 2020 Information Processing Society of Japan126

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 4

INT20014
2020/3/9

バウンディングボックス Predictor と Dispatcher の挙動 (a) ユーザのバウンディングボックス周辺に壁プロップ

はスタンバイ状態で配置される; (b) もしユーザが VR の壁面に近づいたら（バウンディングボックスと面が重なったら），その面がタッチされると予測し，Dispatcher は適切な一つの壁プロップを送る; (c) その壁プロップはユーザ正面の領域に配置されアクティブな状態（触覚を提示）となる．他の壁プロップはスタンバイ状態で周辺に待機する．
るケースで壁プロップの配置に大きな遅延が発生することっている．これを回避するために，次節で示すように，ユが判明したためである．学習の必要性や精度など，それぞーザが向かいそうな壁をより早く予測し，そこに優先的にれ一長一短の特徴を持つが，遭遇型提示を実現するための壁プロップを配置するような Predictor を検討する．

基本的なアプローチであり，その有用性を検証しておくこ

4.2 SVM＋バウンディングボックス Predictorとは今後複雑な構造を持つ部屋への展開を考えても有用に

上記のバウンディングボックス Predictor は狭い空間であなると考えた．なお，アルゴリズムの挙動や数値的解析は，ればよく機能するが，優先順位をつける仕組みが弱く，バ実機と同システム上で動作するシミュレータで検証した．

ウンディングボックスが 2 つの壁面を捉えた際や，ユーザ

4.1 バウンディングボックス Predictor

が遠方にある壁面に向かって歩いている際に壁プロップの

図 4 に示すように，ユーザの周囲に仮想的なバウンディ

配置が遅れやすかった．ユーザが明快な意図をもって進行

ングボックスを定義し，その範囲内に VR の壁面があれば方向先の壁に触れようとするのであれば，ユーザが歩き始

ユーザはそれらの壁面をタッチすると予測するシンプルなめた際にその先にある壁面を優先的に選択するような仕組

アルゴリズムである．本研究においても，部屋のサイズ等みが必要である．これには，ユーザの頭部の向きや歩き始をもとにして，長方形のバウンディングボックスがユーザめた方向を計測することで大まかにその行先を予測するこの前方を中心に囲むように配置されている（図 4a の灰色部とはできるが，あまりに単純な動作特徴量から予測しよう分）．ユーザが移動して，このバウンディングボックス内にとすると誤りも多く，Dispatcher による無駄な壁プロップ

VR の壁面等が含まれれば，システムは，ユーザはその面をの選択と解除などが頻発し，壁プロップの不要な振動が発

触ろうとしていると判断する．タッチする可能性が高い面

生しやすかった．そのため，ユーザが持つより多くの行動が特定された後には，図 4b に示すように，適切な（近い）情報から行先を予測するアルゴリズムを構築しなければな

壁プロップがディスパッチ状態に指定されて目的地まで移らないが，多くの特徴量からルールを構築するのも手間が動を開始する．そして，最終的には図 4c に示すように，ユかかるうえ局所的な対応になりかねない．

ーザの正面に配置され，VR の壁面の触覚を提示する．図

そこで，室内での人の行動パターンを事前に学習して予

4c の状態でユーザが横に移動したとすれば，アクティブ状測モデルを構築しそれを利用することとした．本研究で提態にある壁プロップもそれに追従する．ここでの Predictor

案するモデルは，ユーザの HMD のセンサから取得できるの出力は，5 つの条件（4 つの壁のどれか，またはニュート

1 秒ごとの移動情報をもとにして，そのユーザがどの面をラル）のいずれかである．なお，図 4 に示すような挙動はタッチしようとしたのかを予測するものである．検証や学

理想的なものであり，実際には Predictor と Dispatcher だけ

習器はすべて，障害物のない 4 面の壁で囲まれた 4 m×3 mで成り立つわけではなく，衝突を回避する RVO アルゴリの部屋で実施したため，今回の SVM は，過去の 1 秒の情ズムによる経路選択によって経路は変わる可能性はある．

報から次に向かう面を予測する 5 条件（4 面の壁＋ニュー

このバウンディングボックスの方法は，シンプルながらトラル）を識別するものである．SVM で利用する行動パラ

安定稼働するが，壁プロップの枚数を少なくした際に，壁メータは，ユーザの位置 (PosX, PosZ)，頭部の向き(DirX,

プロップの配置が極端に遅延することが予備的検討で分か© 2020 Information Processing Society of Japan127

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20014
2020/3/9

図 6
図 5

SVM とバウンディングボックスによるシミュレータによる提案システムのプロップ
配置遅延時間の検証結果

タッチ面優先選択アルゴリズム
DirZ), 歩く速度 (VelX, VelZ), と角速度(GyroY)の７変数であり，全て HMD に装着されたセンサにより 20Hz で計測される．図 5 に SVM モデルの構造を示す．
学習データは，本研究とは関係のない 3 名の行動から収集した．参加者は Vive トラッカを頭部につけた状態で，部屋の中を歩き回り，壁を触るという行為を繰り返す．単調な動きではなく自由自在に動き回ってもらった．ただし，定期的にその時点で向かう面の番号をハンドヘルドデバイ
スのボタンで指定してもらい，これを教師データとした．
10 分間の行動収集を 3 セット繰り返した（3 名分で 90 分程度）．得られた教師データと 7 つの特徴量を使って SVM
学習モデルを構築した．5 条件（4 つの面と１つのニュート
ラル条件）の識別精度を 10 分割交差検定した結果，識別精度の平均は 0.89 であった．これは完璧ではないが，経験的に，頭部方向等の単純な特徴量のみを使った予測より十分に高い精度と考えた．
4.3 シミュレータによる Predictor-Dispatcher の評価
4.1 と 4.2 で設計した 2 つの Predictor の性能を Dispatcherも含めてシミュレータで評価した．これには，実際に室内を歩く人のデータを計測して，それらをシミュレータに投入し，2 つの Predictor によって壁プロップがどの程度の早さで配置できるかを計算した．実際の人のデータとして，- バウンディングボックスを使った 4 枚の壁プロップ条件-

SVM＋バウンディングボックスを使った 2 枚の壁プロ

ップ条件
遅延（待ち時間）は，ユーザが目的地に到達してから壁プロップが来るまでにどの程度待ったかを計算したものである．なお，この実験では，5 人の被験者には自然な歩行
速度で歩いてもらっていたことから，人と同程度の速度を持つロボットを使う想定でのシミュレーション結果を示す．
つまり，遅延の絶対値はロボットの性能に依存するものであるが，条件間の相対的な差を検証することで，4 つの条
件の有効性を議論することができる．図 6 に結果を示す．
バウンディングボックスで 2 枚の壁プロップを利用する条件は，他の条件に比べて極端に悪く，その他の条件であれ
ば，たとえアクチュエータの制約があったとしても，工夫次第で遅延なく壁プロップを配置できる可能性が示された．
バウンディングボックスのアルゴリズムでも 3 つ壁プロッ
プを使えば十分な応答を実現できることや，現状のテスト方法においては，4 つの壁プロップを導入する必要ないことも分かった．以上のシミュレーションにより，PredictorDispatcher およびハードウエアの現実的な選択肢を確認することができたため，これに基づき，実機によるユーザス
タディを実施した．

別の 5 人に依頼して，同じ 4 m×3 m の部屋の中を，自然

5. ユーザ体験の検証

なスピードで次に示す 4 つの歩行パターンを実施しながら

5.1 概要

手で壁に触れてもらった．パターンは，室内を時計周り，

実際のセンサとアクチュエータの環境で運用し，その時反時計周り，正対する二面の往復（長辺と短辺），の計 4 つの主観評価および壁プロップ配置待ち時間を評価する．先である．
（反）時計周りでは，4 つの壁を順に触っていくものシミュレータでは理想的なロボットを用いたが，我々がのであり，次のターゲットが近く，壁プロップの移動距離利用するルンバの最高速度は 0.5 m/s である．そのため，人も短い．一方で，往復パターンでは，次のターゲット位置が歩く速度をそれと同等かやや遅い程度に制限する必要がが離れるため，遅延が発生する可能性が高くなる．それぞある．本研究では，過去の同様の研究にならい（例えば，

れ 5 回の繰り返してもらい，これらのデータをシミュレー[4])，ゲームシナリオを用いて歩行速度に制限をかけた．

タに投入し，次の４つの条件の遅延時間を調査した．

本実験では，先行研究や先のシミュレータの検証結果に- バウンディングボックスを使った 2 枚の壁プロップ条件

基づき，次の 2 つの仮説を中心に検証する．

- バウンディングボックスを使った 3 枚の壁プロップ条件

1.

© 2020 Information Processing Society of Japan

提案システムの触覚提示により，ユーザはより高い臨

128情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 7

INT20014
2020/3/9

ユーザ体験スタディの様子 (a) VR 内でロックを解除する VR 内でのユーザ: (b) ベースライン条件（触覚提示なし）での現実世界のユーザ: (c) 提案シス
テム条件（触覚提示あり）での現実世界のユーザ
場感と楽しさを得ることができる
2.

ユーザの歩行速度をゲームにより制限すれば，提案シ
ステムにより遅延のない触覚提示が可能である

5.2 実験参加者
実験参加者は，本研究のことを全く知らない大学生または大学院生 12 名 (うち女性 3 名) であった（22 から 28 歳；
平均は 24.8 歳）．参加者のうち 5 名が過去に VR を体験したことがあるが，日常的に使っている人はいなかった．
5.3 タスクと実験計画
本実験では，ユーザの歩行速度を 0.4 m/s に制限するために，空間内を慎重に歩き，次々に簡単な課題を達成していくエスケープルームゲームを題材とした．環境は，4 m×3m の 4 つの壁面を持つ環境である．ただし，照明はなく，参加者は，ランタンを持ち，その光で足元を照らしながら壁面を順次たどっていく．そして，壁面に表示されているパターンを手でなぞることで，ロックを解除していく．その様子を図 7 に示す．ロック解除の機会は 5 回あり，その際に壁プロップが触覚を提示することになる．ロック解除
パターンは，一つを終えたら次が順に出現する．また，歩行速度が設定よりも速くなるとデーモンがうめき声をあげる．デーモンが起きればゲームはクリアできないため，ユーザはゆっくりと歩きながらデーモンを起こさないようにして，ロックを解除し続けることがクリアの要件になっている．本実験における比較は，次の 3 条件である．
-

壁プロップを用いない（触覚提示なし）ベース条件-

バウンディングボックスで 3 つ壁プロップ条件-

SVM＋バウンディングボックスで 2 つ壁プロップ条件

である．後者の二つの条件は，同等のレスポンスと期待されるが，ベース条件との比較により，提案システムによって体験の質が向上したかどうかを検証する．
5.4 測定仮説 1 への回答をするために，主観評価として，臨場感について Witmer and Singer's classic Presence Questionnaire[19] から没入 Involvement と自然さ Naturalness の二つの項
目をピックアップして 7 段階で回答を求めた．また，独自の質問として，どの程度楽しかったかについて 2 つの質問

© 2020 Information Processing Society of Japan

図 8

ユーザの主観評価結果.

を設けた．仮説 2 に対して，ユーザが到達して面を触る時
間と壁プロップが配置される時間の差（遅延）を検証した．
もし壁が先に配置されていればこの時間差は 0 となる．
5.5 手続き
実験概要や注意点を説明した後参加者は，HMD を頭部に装着し，また両手に Vive トラッカ付きのグローブを装着する．このグローブの座標は，ロック解除パターン時と遅延の計測に利用される．また，モバイルロボットからのノ
イズを軽減するためにノイズキャンセリングヘッドフォンを装着してもらい，かつ実験シナリオに適したサウンドを出力した（デーモンの叫び声など）．参加者は，歩行速度の制約とロックパターンについて十分な練習を積んでから本番に入った．実験は，実験者とアシスタントで実施し，ア
シスタントは常にシステムの挙動を監視し，危険や参加者からの申し出があればシステムをいつでも止めることができた．ターゲットとなるロック解除パターンはランダムな順で提示される．なお，このタスクでは，壁が配置されるべき VR の壁面が明らかになっているが，実験時の壁プロ
ップの配置にはその情報は一切使っておらず，Predictordispatcher のみを利用した結果である．上記の 3 の条件の提示順は，12 人の参加者間でカウンターバランスをとった．
実験後には，総合インタビューを実施し，提案手法全体や今後の改善などについて回答してもらった．
5.6 結果5.6.1 主観評価
実験参加者は，12 個の質問を条件毎に回答した．12 個は，3 区分があり，6 個の質問が Involvement, 4 個の質問がNaturalness そして最後の 2 つの質問が楽しさについてであった．我々はそれぞれの区分の平均値を解析するにあたり，
まず デ ータ の 正規 性 を確 認 した と ころ （ D'Agostino andPearson's の方法）すべてにおいて正規性が見られた．そのため，三つの質問区分について 3 条件間の比較をするための一要因分散分析を実施した．二つの壁プロップの条件は，
図 8 に示すように，スコアが同等であるため比較せず，ベ

129

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20014
2020/3/9

ースラインとそれら二つの提案システム条件の比較のみ実

5.7.2 物理プロップと VR の壁の位置のズレ施した．その結果，2 つの壁プロップ条件はベースライン

4/12 名 の参加者が壁プロップと視覚的に確認できる VR

条件より有意に高い没入 Involvement が得られた（SVM vs内の壁が完全に一致していなかったと指摘した．これはセη2 = .745,

Boundingbox vs base:

ンサドリフトおよびそれに影響を受ける PID 制御によるもF(1,11) = 59.9, p < .001, η2 = .845). また，同様の傾向が自然ので，現在のような簡易的な空間位置計測システムを使う

さの区分にもみられた (SVM vs base: F(1,11) = 15.2, p < .005,

限りはゼロにすることは難しい．なお，この問題について

η2 = .581 and Boundingbox vs base: F

base: F(1,11) = 32.2, p < .001,

ηは，センサシステムの更新やハプティックリターゲッティ

2 = .744)．楽しさについての質問についても同様に，提案シング [2,3]など，錯覚によりこの問題を軽減する方法が有望

ステムがベースライン条件より有意に高い結果が得られたと考えている．これは，ユーザの仮想の手の身体性が保た(1,11) = 31.9, p < .001,(SVM vs base: F(1,11) = 19.8, p = .001,

η2

Boundingbox vs base: F(1,11) = 12.5, p < .001,

η2 = .533).

= .643 and全体的に，壁プロップを利用することはポジティブな結果をもれれば，ズレを考慮した腕の動きに変化させてもユーザには気づかれにくいというものである．
5.7.3 システムへの不安たらしたといえる．楽しさについては，10 人のヒューマン

6/12 名の参加者が，自身の周囲で動く壁プロップの状況

アクチュエータで得られた TurkDeck [4]と同様の結果であが把握できないことに心配や不安を覚えたと意見があった．

った．本研究と[4]はシナリオも VR 世界の複雑さも全く違

ノイズがかすかに聞こえるために生じた懸念である．これうものの，人手なしに質の高いフィジカル VR の環境を構

は衝突の懸念や不安によるものであり，体験の質に影響す築できる可能性を示している．以上の結果をまとめると，る根深い課題である．被験者の中には，壁プロップの位置

仮説 1 は支持されたと結論づけられる．

を半透明表示してはどうかという提案をする者もいた．

5.6.2 遅延主観評価でポジティブな結果を示していることからもわかるように，壁プロップの遅延はほぼなかった．提案す6. 議論
6.1 壁プロップの拡張

るに 2 つの手法条件では，バウンディングボックス条件でプロップは，本研究のように手袋をして表面のテクスチ

平均 0.09 sec で，SVM を併用する条件では 0.07 sec であっャを重要視しない場合は，スタイロフォームで十分であり，た．これらは，0.2s ガイドライン [7]より遥かに良好な結果

その形状は工作次第で様々なものができる．インフラといであり，ユーザの歩行速度を制限したとはいえ，安定したう観点では壁だけではなく，ドアや窓を表現することも重挙動を示せたと考える．同時に，歩行速度の制限を緩和で要であり，現在の自走壁プロップを応用すればそれらも設きるかもしれないことも示唆している．本提案により遅延計することができる．例えば，空間インフラとして重要なのない遭遇型触覚提示を実現できたため，仮説 2 も明確に

スライドドアは簡単に作ることができる．図 9b にその一支持された．

部を示している．ここでは，ユーザがドアノブに触れたと

5.7 インタビュー

きに，ロボットの移動によるパワーアシストでスライドド

主観評価及び遅延の検証で示したように，提案システム

アを表現している．その他，壁プロップの回転を利用するの壁プロップによる VR の壁に対する触覚提示は全体的にと開閉ドアも表現できる．素材の感触なども含めた触覚を肯定的であり十分な有用性と可能性を確認することができ

提示する場合は，異なる素材をプロップの両面に張り付けた．また，歩行速度制限については，ゲーム体験の一部とることなどもできると考える．その他，壁の高さを変えた

して取り入れていたため目立った不満はなかった．楽しかり，天板を設けたりすることでより多様な触覚提示が可能ったという意見は全員から出ており，参加者の中には，将である．このように壁だけではなく多様なプロップを導入

来の FPS ゲームでの利用を期待していたものもいた．全体

する際は，現在のシステムの管理体制を更新し，優先順位

的に本提案は肯定的であった一方で，以下のように，今後

やプロップの属性を加えることで対応することができるとの研究の方向性を示唆する指摘もあった．

考える．

5.7.1 ノイズ

6.2 アプリケーション例

4/12 名の参加者が，ルンバの移動音がノイズとして聞こ本提案手法を利用する代表的なアプリケーションは，え，体験が阻害されたとコメントした．ノイズキャンセリ

FPS ゲーム，インテリアデザイン，VR トレーニングなど，

ングヘッドフォンだけでは不十分であった場面もあった．

高い没入とともに空間理解が体験の質を決定するものであルンバのモーター音だけではなく，床とのグリップ音も時ると考える．いずれも，典型的な VR アプリであるが，従折大きく（高速での反転など）発生していたために目立っ来のデスクトップ VR ではなく，ルームスケール VR になて聞こえてしまった模様である．アクチュエータの静音化ればその効果はより高まると予想され，今後の発展が期待

やヘッドフォンの音量の調整などを工夫すべきと考える．

できる．図 9 に，試験的に実装した一人称視点シューティ
ングゲームを示す．これは，VR パークゲームの The Void

© 2020 Information Processing Society of Japan130

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

INT20014
2020/3/9

図 9 提案システムを使った FPS (一人称視点)のシューティングゲームの例. (a) 一人のユーザは細い廊下を進み，コー
ナーにて敵から身を隠している．(b) 廊下終点にて，小部屋へ入るためのスライドドアを壁プロップで表現している．(a), (b)ともに VR 内においても部屋の物理性や触覚フィードバックが体験の質を左右する[17]を参考にしたものである．図 9 キャプションに示すよ

際に床からの視覚フィードバックを含める方法など様々なうに，VR ユーザは，自走壁プロップに周囲を囲まれている可能性がある．特にゲーム用途には有用であると考える．

ために，相手との攻防時に壁に身を隠すことができる．ま最 後 に ， 近 年 急 速 に 研 究 が 進 ん で い る Redirected

た，敵がいるかもしれない小部屋に入る際に，スライドド

Walking(e.g. [10,13])の技術を応用することで，ユーザはゆアの重さを感じることができる．このように空間性を利用っくり歩いているのにもかかわらず，VR 空間では自然なした体験が実現できる．ただし，これまで述べてきたようスピードでの移動体験をさせるなど錯覚を用いることも有に，全身による素早い動きにはまだ対応できない．

望である．

6.3 限界と改善点

経路探索：我々のシステムでは，衝突回避をするための本研究では，プロップの実装や，ソフトウエア，臨場感

経路計画アルゴリズムを走らせていたが，100％の接触回避研究など様々な要素に取り組んだ．一方で，以下のようなはできなかった．シミュレータ上では実現できていたが，様々な課題や議論が生まれた．

ルンバの回転と人が腕を伸ばすタイミングが重なると，軽アクチュエータロボット・トラッキングエリア：我々がく接触することもあった．これは，ルンバが反転する際に利用したのは掃除ロボットであり，自由度とスピードにつグリップを失い，少しずれて配置・移動してしまうことや，いてはもともと課題がある．ただし，現状のスピードは安

単純にセンサエラーの蓄積など様々な課題から発生したも全性や心理的な障壁を小さくするためには，決して悪くなのである．壁プロップ自体に光学近接センサを設けるなど，

い選択肢である．研究としては高価な全方位ロボットを導高精度な制御に向けた工夫は別途必要である．

入し様々な設計を議論することも有意義であるが，おそら

タッチ面予測アルゴリズム：今回の機械学習モデルは，

く近未来のルームスケール VR の環境はリビング，教室，

学習したシナリオとテストシナリオがほぼ同等であったたオフィスの一角などそれほど広くない環境だと予想する．

めに精度よく機能した．本研究はケーススタディに近く，人が VR 内を歩く速度は，1.26 m/s（in virtual reality [11])と予測モデルを一般化することはできない．しかし，ユーザされており，これに高速に追従しようとすると異常なほどがどの面に向かっているのかを 1 秒毎に予測し続ける予測

高速なロボットを稼働させなければならず，室内空間ではモデルは，他の典型的な碁盤目構造の部屋に適用できるか現実的ではない（実際に理想的なアクチュエータの速度をもしれない．例えば，図 9 の例では，SVM とバウンディン

計算した結果，最低でも 1 m/s の早さを持つロボットを準

グボックスの Predictor を利用しており，与えられた環境を備しなければならない）．したがって，ユーザの歩行速度を

4 つの部分に区切り（図 9 中の左手廊下，中央手前廊下，

制限したままでもリアルな体験を生み出すことができるか

右手廊下，奥の小部屋），それぞれで予測アルゴリズムを働どうかを検討することも極めて重要である．一つの解決方

かせている．結果は良好であり，今後詳細な検証が必要だ

法は，より高性能な制御アルゴリズムを開発してプロップ

が，基本的な環境で得た学習データであっても，構造が類の数を増やすことである．本研究のケースでは，3 つの壁

似していれば，他の室内シナリオへも適用できる可能性はプロップがあれば十分にユーザに追従できるが，4 つ以上十分にあることが分かった．

あればより多様な空間へ対応することができる．または，

見えないロボット：実験を通して，ルンバの移動音はユ

本研究や関連研究[4,15]で利用したようなナレーションやーザの心理に悪影響を与えた．HMD を装着している状態

ストーリーを持たせて体験の一環として歩行速度を抑える

ではその不安はさらに大きくなる．システムの制御の質が方法である．今回は暗闇のゲームにしたが，細い道や歩く向上したとしても，実験参加者が指摘したように，ユーザ© 2020 Information Processing Society of Japan131

情報処理学会 インタラクション 2020
IPSJ Interaction 2020が状況を把握できるような仕組み，例えば，壁プロップの位置を半透明にユーザに提示することも有用だと考える．
慣れてきた場合に，非表示にするかどうかをユーザが決められるような方法も有用かもしれない．本研究は，没入感や楽しさといった VR 体験を重要視したが，常にそれが必要とは限らないという考え方もある．ロボットを使う研究である以上，その安全に関する懸念をどのように解消する
べきか，さらに議論が必要である．

7. まとめ
複数の自走壁プロップを用いて，ルームスケール VR における空間インフラの触覚提示の方法を提案した．ユーザの行動からユーザがタッチするであろう VR の壁面を予測し，それに基づいて自走壁プロップを適宜配置して遭遇型
触覚提示を実現する方法を模索した．4 m×3 m の 4 つの壁に囲まれた部屋の環境において，ユーザのタッチ面予測ア
ルゴリズムの性能をシミュレータにより検証し，必要な壁プロップの数等の利用可能な条件を選定した．さらに，実際にモバイルロボットを用いてプロトタイプを実装し，ゲームを使ったユーザスタディを実施した．その結果，提案システムにより，ユーザのルームスケール VR 体験の質が有意に向上したことを示した．今後はモバイルロボットの制約を様々な錯覚手法で解決することなどが挙げられる．

謝辞
本研究の一部は JSPS 科研費（17K00262, 19KK0258）の補助を受けた．

参考文献
1. Muhammad Abdullah, Minji Kim, Waseem Hassan,Yoshihiro
Kuroda, and Seokhee Jeon. Hapticdrone: an encounteredtype kinesthetic haptic interface with controllable force
feedback: Initial example for 1D haptic feedback. Adjunct
UIST, 115–117, 2017.
2. Mahdi Azmandian, Mark Hancock, Hrvoje Benko, Eyal Ofek,
and Andrew D Wilson. Haptic retargeting: dynamic
repurposing of passive haptics for enhanced virtual reality
experiences. CHI, 1968–1979, 2016.
3. Lung-Pan Cheng, Eyal Ofek, Christian Holz, Hrvoje Benko,
and Andrew D Wilson. Sparse hapticproxy: touch feedback in
virtual environments using ageneral passive prop. CHI,
3718–3728, 2017.
4. Lung-Pan Cheng, Thijs Roumen, Hannes Rantzsch,Sven
Köhler, Patrick Schmidt, Robert Kovacs, Johannes Jasper,
Jonas Kemper, and Patrick Baudisch. Turkdeck: physicalvirtual reality based on people. UIST, 417–426, 2015.
5. Ryokichi Hirata, Hiroshi Hoshino, Taro Maeda, Susumu
Tachi. A force and shape display for virtual reality system.
Transactions of the Virtual Reality Society of Japan, 1, 1, 23–
32, 1996 (in Japanese).
6. Brent Edward Insko, M Meehan, M Whitton, and F Brooks.
Passive haptics significantly enhances virtual environments.
Ph.D. Dissertation. University of North Carolina at Chapel
Hill, 2001.
7. Caroline Jay and Roger Hubbold. Delayed visualand haptic© 2020 Information Processing Society of Japan

INT20014
2020/3/9

feedback in a reciprocal tapping task. World Haptics, 655–
656, 2005.
8. Yaesol Kim, Hyun Jung Kim, and Young J Kim. Encounteredtype haptic display for large VR environment using per-plane
reachability maps. Computer Animation and Virtual Worlds,
29, 3–4, 2018
9. Néstor Andrés Arteaga Martin, Victor Mittelstädt, Michael
Prieur, Rainer Stark, and Thomas Bär. Passive haptic
feedback for manual assembly simulation. CIRP 7, 509–514,
2013.
10. Keigo Matsumoto, Yuki Ban, Takuji Narumi, YoheiYanase,
Tomohiro Tanikawa, and Michitaka Hirose. Unlimited
corridor: redirected walking techniques using visuo haptic
interaction. SIGGRAPH 2016 E-tech.
11. Betty J Mohler, William B Thompson, Sarah HCreem-Regehr,
Herbert L Pick, and William H Warren. Visual flow influences
gait transition speed and preferred walking speed.
Experimental Brain Research, 181, 2, 221–228, 2007.
12. Adalberto L. Simeone, Eduardo Velloso, and Hans Gellersen.
Substitutional reality: using the physical environment todesign virtual reality experiences. CHI, 3307–3316, 2015
13. Qi Sun, Anjul Patney, Li-Yi Wei, Omer Shapira, Jingwan Lu,
Paul Asente, Suwen Zhu, Morgan Mcguire, David Luebke,
and Arie Kaufman. Towards virtual reality infinite walking:dynamic saccadic redirection. ACM TOS, 37, 4, 67, 2018.
14. Kazuki Takashima, Takafumi Oyama, Yusuke Asari, Ehud
Sharlin, Saul Greenberg, and Yoshifumi Kitamura. Study anddesign of a shape-shifting wall display. DIS, 796–806, 2016.
15. Shan-Yuan Teng, Cheng-Lung Lin, Chi-huan Chiang, TzuSheng Kuo, Liwei Chan, Da-Yuan Huang, and Bing-Yu Chen.
TilePoP: Tile-type pop-up prop for virtual reality. UIST, 639–
649, 2019.
16. Jur Van den Berg, Ming Lin, and Dinesh Manocha.
Reciprocal velocity obstacles for real-time multi-agent
navigation. IEEE Robotics and Automation. 1928–1935,
2008.
17. The Void. 2019.https://www.thevoid.com.
18. Emanuel Vonach, Clemens Gatterer, and Hannes Kaufmann.
VRRobot: robot actuated props in aninfinite virtualenvironment. IEEE VR, 74–83, 2017.
19. Bob G Witmer and Michael J Singer. 1998. Measuring
presence in virtual environments: A presence questionnaire.
Presence 7, 3, 225–240, 1998.
20. 福島 寛之, 矢野 博明, 野間 春生, 岩田 洋夫, 全方位
移動ロボットを用いた歩行感覚呈示装置 CircularFloor,
日本バーチャルリアリティ学会論文誌, 11 巻, 2 号, p.
237–244, 2006.

132