情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-26
2019/3/6

仮想現実空間における振動スピーカを内蔵した靴型デバイスによる足底への擬似圧覚提示
小栗 令央1

中島 武三志2

菅野 由弘1

概要：VR・MR 環境で手に生じる体性感覚を表現する手段として，クロスモーダル刺激と呼ばれる複数の感覚刺激が相互に作用することによって誘発される錯覚刺激が注目されており，様々な方法で検討されている．その結果，聴覚刺激が付加された VR・MR 環境下で触る・引っ張るという運動を行うと，手にクロスモーダル刺激が生じることが明らかにされた．しかし，歩く・走る・跳ぶといった重要な身体運動に深く結びつく足部の体性感覚を誘発するクロスモーダル刺激については十分に検討されていない．特に聴覚刺激の付加によって足からクロスモーダル刺激が生じる可能性については未だ精査されておらず，先行研究では限られた現実空間でいかに歩行感覚を提示するか，という点を調べるに留まっている．本研究では，歩行音の変化により生じる体性感覚について調査することを目的として，VR 環境における歩行運動に歩行音を提示するシステムを開発した．本システムでは，VRHMD と靴型デバイスを着用し，VR 空間を歩行することにより，歩行時に感じられる体性感覚を比較評価することが可能である．

1. はじめに

きに，触印象が聴覚刺激に影響されることを明らかにしている [3]．臼井らは，VR 環境下で弾力性のある仮想物体を近年，VR（仮想現実）・ MR（複合現実）技術が再び注目引っ張ると聴覚刺激が与えられるインタラクションにおいを集め，VR 機器の開発や VR 分野の研究が活発に行われて，擬似力覚が誘発されたと報告している [4]．触覚デバイている．VRHMD（ヘッドマウントディスプレイ）の進化

スによって実触力覚を与えるアプローチと比べ，擬似触力は，VR 空間や MR 空間の視覚的表現力を上昇させ，視覚覚は既存技術の応用で提示できるため，要求される技術水以外の表現力も VR 分野の研究によって高まりつつある．

準やコスト面で優れている．

中でも，触覚・力覚・圧覚といった体性感覚を VR 環境でこれらの先行研究によって，聴覚刺激が付加された VR・表現することを目的としたアプローチが盛んであり，そのMR 環境下で触る・引っ張るという運動を行うと，手にク表現手段として「クロスモーダル刺激」と呼ばれる，複数ロスモーダル刺激が生じることが明らかにされた．しかの感覚刺激が相互に作用することによって誘発される錯覚し，現実世界において人間は手だけでなく，身体全体から刺激が注目されている．

触覚情報を受け取っている．手以外の部位に生じるクロス視覚刺激によって生じる触覚・力覚のクロスモーダル刺

モーダル刺激を明らかにできれば，VR・MR を触覚面で激は，擬似触力覚（Pseudo-haptics）と呼ばれ，どのよう拡張でき，より没入感の高い体験をもたらすことが期待でな環境下で誘発されるか様々な方法で検討されてきた．例

きる．また，触覚を聴覚によって補うという観点から，触えば，Lécuyer らは，コンピュータに表示された仮想のバ覚を提示するデバイスの開発にも応用し得る．

ネを押させる実験において，仮想バネの硬さ変化が擬似的

そこで本研究では，同様の環境下で足にもクロスモーダな感覚変化をもたらしたと述べている [1]．宇治土公らは，ル刺激が生じる可能性に着目し，踏む・歩くといった運動スワイプ操作によってタッチパネル画面をスクロールするに聴覚刺激を付加することで，「擬似圧覚」が誘発される際に，背景移動量の増減が擬似抵抗感に影響することを実か検証するためのシステムを開発した．具体的には，振動験から示している [2]．擬似触力覚を VR・MR 空間に応用

スピーカーを内蔵したサンダルから歩行音を聴覚刺激としした研究例として，鍵本らは，MR 型視覚刺激に触音を聴て提示し，VR 環境下で表示される床のテクスチャと歩行覚刺激として付加し，粗さの異なる実物体を撫でさせたと音を変化させることで，体感される擬似圧覚を比較評価することが可能である．なお本稿では，擬似圧覚を「視覚刺12

早稲田大学大学院基幹理工学研究科表現工学科
東京工芸大学芸術学部インタラクティブメディア学科© 2019 Information Processing Society of Japan激・聴覚刺激によって生じる圧覚のクロスモーダル刺激」

803

情報処理学会 インタラクション 2019
IPSJ Interaction 2019という意味で用いる．

3B-26
2019/3/6

多様な歩行音が生じることは自明である．本研究では歩行以降，既存の歩行感覚提示手法を示し，それらの研究と音の音響的性質をより重要視し，歩行音そのものの変化に本研究の差異を述べる．その後，本研究で開発した VR 環より生じる体性感覚について調査することを目的として境における歩行音提示システムの詳細を説明する．

いる．

2. 関連研究3. 歩行音提示システム

一般的な VR 環境では，視覚情報は VRHMD によって，本章では，VR 環境における歩行運動に歩行音を提示す

聴覚情報はイヤホン・ヘッドホンによって提示される．一るシステムの構成要素を，歩行音・VR 環境・靴型デバイ

方，体性感覚を提示するための汎用的なデバイスは現時点

スの 3 つに分けて説明する．

では存在しない．したがって，視覚的・聴覚的表現力と比べ，相対的に体性感覚の表現力は乏しいのが現状である．

3.1 歩行音しかし，VR 体験により高度な没入感・一体感をもたらすた屋外のアスファルト上で，ゴム底の革靴（図 1）で足踏めには，視聴覚情報の提示だけではなく，現実空間の身体みをしたときの音を録音した．録音フォーマットはサンプ運動と同様の体性感覚情報を提示することが欠かせない．

リングレート 96kHz，量子化ビット数 32bit である．録音

特に，足部は歩く・走る・跳ぶといった身体運動に深く結した音を Audacity[11] で整音し，各地点につき 5 つの足びつくため，足が感じる体性感覚は一層重要であり，様々な踏み音を切り出した．切り出した足踏み音に Audacity の提示手法が提案されてきた．例えば，岩田は，トーラス型ノーマライズ機能を適用し，足踏み音の聴感を調整した．のベルトを並べ，X 軸方向をベルトの回転によって，Y 軸また，先行研究 [9][10] における歩行音と比較するため，各方向をベルトの集合体が移動することによって形成される足踏み音にカットオフ周波数 120Hz のローパスフィルタを全方向無限平面を用いて，現実空間で歩行者の位置を固定かけたもの（以下，ローパス音）を別途作成した．足踏みしながら自然な歩行感覚を与えることに成功し，VR 空間音とローパス音のスペクトログラムを図 2，図 3 に示す．の移動手法として利用できることを実験で示している [5]．

歩行音の録音には，PCM レコーダ（H4n Pro, ZOOM）

また，円形のターンテーブル上に 3 本のアクチュエータをを三脚（W-312，ハクバ）に取り付けて用いた．風による三角錐状に組み合わせ，その上に足を載せるためのプラッノイズの影響を軽減するため，レコーダには風防（WS-11,トフォームを付けたシステム『GaitMaster』を試作し，凹TASCAM）を装着した．

凸面の呈示可能性についても調査している [6]．福島らは，一辺が歩幅一歩分程度の長さを持つ 4 つの正方形可動床を3.2 VR 環境の構成組み合わせ，歩行者の移動を打ち消すように循環させる装VR 空間には床を模した仮想オブジェクト（以下，床オ

置『CirculaFloor』を開発し，可搬性を保ちつつ限られたブジェクト）と靴を模した仮想オブジェクト 2 つ（以下，空間における無限歩行を可能としている [7]．上田貴徳ら

靴オブジェクト）が配置される．歩行時に表示されるプは，ターンテーブル上にベルトコンベアを載せ，コンベアログラム画面を図 4 に示す．靴オブジェクトとして用いと当接するように内部にボールが設置された歩行板を上部る 3D モデルにはインターネット上のフリー素材を利用しに取り付けるという手法により，従来のものより小型化さた [12]．床オブジェクトにはアスファルト面を想定したテれたロコモーションインタフェース『ボールアイトレッド

クスチャ画像が描画される．テクスチャ画像にはインターミル』を提案している [8]．
実歩行を制御する手法ではなく，静止状態で歩行感覚を示そうとする手法も試みられている．雨宮らは，着座状態で歩行音振動と接近音刺激を提示し，胸部に与える触覚刺激を検出させる課題実験を行い，同期した歩行音振動が歩行感覚を生起させることを明らかにしている [9]．上田祥平らは，HMD から提示される歩行映像に，映像と同期した足裏振動を付加することで，振動なしの条件と比べて移動感覚や歩行感覚が増強されたと述べている [10]．
これらの先行研究は，限られた現実空間でいかに歩行感覚を提示するか，という点に重心がおかれている．一方，歩行音自体の多様性は注目されておらず，使用された歩行音振動も全て単一のものである．しかし，歩行音は足または靴と地面の衝突音であり，これらの組み合わせによって© 2019 Information Processing Society of Japan

図 1

録音に使用した革靴804

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

図 2 足踏み音のスペクトログラム

図 3 ローパス音のスペクトログラム

ネット上のフリー素材を利用した [13]．靴オブジェクトと

3B-26
2019/3/6

図 4

図 5

歩行時に表示されるプログラム画面

モード選択時に表示されるプログラム画面

コンピュータ（iMac Retina 5K, Windows 10）から構成さ床オブジェクトとの接触をトリガーとして，床オブジェクれる．視覚刺激として提示する VR 空間は，Unity[15] を使トのテクスチャに対応した歩行音が再生される．歩行音の用して作成した．また，Unity 環境で VRHMD の制御を行

音量は，靴オブジェクトと床オブジェクトの衝突速度を基うために，Unity に SteamVR プラグイン [16] を導入した．に調整される．

歩行音の再生およびパラメータ調整については，Unity プ

コンピュータ上に表示されるプログラム画面を操作することにより，「単一振動モード」「単一音モード」「複数音ロジェクトに組み込んだサウンドミドルウェア Wwise[17]で制御した．

モード」の 3 モードに切り替えることができ，各モード毎に異なる歩行音が振動スリッパから提示される．モード選

3.3 靴型デバイスの構成

択時のプログラム画面を図 5 に示す．単一振動モードで雨宮らや上田祥平らの先行研究 [9][10] を参考に，システ

は，歩行時に 1 種類のローパス音が歩行音として提示されムに用いる靴型デバイス（以下，振動サンダル）を制作しる．単一音モードでは，歩行時に 1 種類の足踏み音が歩行た．振動サンダルの外観を図 6 に示す．振動サンダルは地音として提示される．複数音モードでは，歩行時に 5 種類面と接触する際に歩行音が提示されるデバイスであり，具の足踏み音から，1 つの足踏み音が同一音を連続させない体的には以下の仕組みとなっている．まず，振動サンダルという条件でランダムに選択される．また，歩行音は −100の位置や動きは VR トラッカー（VIVE Tracker, HTC）にセントから 100 セントの範囲でランダムな音程調整が行わ

よってトラッキングされ，VR 空間上の靴オブジェクトのれてから提示される．これらの 3 モード間で感じられる歩動作に反映される．次に，靴オブジェクトの動作に合わせ行感覚を比較することにより，歩行音によって得られる擬て前節で説明したパラメータ処理が行われた後，振動サン似圧覚の大きさを確認することができる．

ダルに取り付けられた振動スピーカから歩行音が生成されシステムの VR 環境は，VRHMD（VIVE Pro, HTC）と© 2019 Information Processing Society of Japanる．なお，歩行可能空間の範囲は VRHMD のトラッキン

805

情報処理学会 インタラクション 2019IPSJ Interaction 20193B-26
2019/3/6

謝辞

本研究は，JSPS 科研費若手研究 18K18095 の助成を受けた．
参考文献
[1]

[2]

[3]
図 6

振動サンダルの外観

[4]

[5]

[6]

[7]

[8]
図 7 システム機器の構成図

グ範囲および振動スピーカのコード長に依存する．

[9]

振動サンダルには市販のサンダルを用い，機器組み込み用途振動スピーカ（50mm × 30mm，4 Ω，25W，Baosity）[10]がサンダル足底部（踵付近）に埋め込まれている．また VR
トラッカーはサンダル甲部にネジで固定されている．オー
ディオ信号はコンピュータのヘッドホン端子から出力され，スピーカアンプ（FOSTEX, AP15d）によって増幅される．スピーカアンプから振動サンダル側面に取り付けられた RCA ジャックにケーブルが接続され，最終的に歩行音が再生される．システム機器の構成図を図 7 に示す．

4. おわりに本研究では，足に生じるクロスモーダル刺激の可能性に着目し，VR 環境における歩行運動に歩行音を提示する

[11]
[12]
[13]
[14]
[15]
[16]

システムを開発した．VRHMD と靴型デバイスを着用し，VR 空間を歩行することにより，プログラムの各モードに[17]

A. Lécuyer, S. Coquillart, A. Kheddar, P. Richard, andP. Coiﬀet.: Pseudo-Haptic Feedback : Can IsometricInput Devices Simulate Force Feedback?; Proceedings
IEEE Virtual Reality 2000 (Cat. No.00CB37048), 8390(2000).
宇治土公雄介，鳴海拓志，伴祐樹，谷川智洋，広田光一，
廣瀬通孝：背景移動量操作を利用した視触覚間相互作用
生起によるタッチパネルでの擬似触力覚提示；日本バー
チャルリアリティ学会論文誌，22(3)，305-313(2017).
鍵本麻美，木村朝子，柴田史久，田村秀行：複合現実型視
覚刺激と聴覚刺激が触印象に与える影響一産業応用シス
テムでの利用を想定した評価一；日本バーチャルリアリ
ティ学会論文誌，14(3)，325-333(2009).
臼井亮人，中島武三志，菅野由弘：視覚及び聴覚刺激によるクロスモーダル現象を利用した力覚の錯覚；エンタテインメントコンピューティングシンポジウム 2017 論文集，184-187(2017).
岩田洋夫：全方向無限平面を用いたロコモーションインタ
フェース；日本バーチャルリアリティ学会論文誌，5(2)，853-862(2000).
岩田洋夫，中泉文孝：凹凸面を呈示するロコモーション
インタフェース GaitMaster；日本バーチャルリアリティ
学会論文誌，5(2)，863-866(2000).
福島寛之，矢野博瞭，野間春生，岩田洋夫：全方位移動ロボットを用いた歩行感覚呈示装置 CirculaFloor；日本
バーチャルリアリティ学会論文誌，11(2)，237-244(2006).
上田貴徳，宍戸俊輔，高橋嶺以，伊藤稔：仮想空間内歩行のための 2 次元歩行打消型ロコモーションインタフェー
ス : ボールアレイトレッドミル；日本バーチャルリアリ
ティ学会論文誌，17(3)，269-278(2012).
雨宮智浩，池井寧，広田光一，北崎充晃：歩行を模擬した
足底振動刺激による身体近傍空間の拡張；日本バーチャ
ルリアリティ学会論文誌，21(4)，627-633(2016).
上田祥平，池井寧，広田光一，北崎充晃：実映像オプティッ
クフローと足裏振動による歩行感覚記録・体験手法の基
礎検討；日本バーチャルリアリティ学会論文誌，21(1)，15-22(2016).
Audacity:
https://www.audacityteam.org/
Free3D:https://free3d.com/
3D TEXTURES:
https://3dtextures.me/
Matlab:https://jp.mathworks.com/products/matlab.html
Unity:
https://unity3d.com/jp
SteamVR Plugin:https://assetstore.unity.com/packages/tools/
integration/steamvr-plugin-32647
Wwise:
https://www.audiokinetic.com/ja/products/wwise/対応した歩行音が提示される．これにより，歩行時に感じられる擬似圧覚を比較評価することが可能である．しかし，現段階では評価実験を実施できていないため，実験によるデータ収集が急務である．今後の課題として，実験を実施するにあたり，振動サンダルの形状およびソール素材による歩行感覚の影響を検討することが必要だと考える．

© 2019 Information Processing Society of Japan806