情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-82
2019/3/6

聴覚刺激による MR 環境下での擬似触覚の強化
植井 康介1

中島 武三志2

菅野 由弘1

概要：VR・MR 環境において，触覚提示デバイスを装着せず視覚刺激による錯覚を用いて触覚を提示する手法が注目されている．この錯覚は擬似触覚（Pseudo-Haptics）と呼ばれ，触覚提示デバイスに比べて簡便に触覚を提示できることが示されている．一方，擬似触覚による手法は得られる感覚の大きさに限界があることも報告されている．本研究では擬似触覚を強化するため，触力覚を受容する体験において共起性の高いモダリティの一つである聴覚刺激に着目した．聴覚刺激の付加による擬似触覚の大きさについて検証するため，仮想の立方体を左右の手のひらで転がす動作に，接触音を付加することによる擬似触覚の変化を評価する実験を行った．その結果，本実験の動作においては接触音を付加することで知覚される擬似触覚の値が大きくなることが示された．

1. はじめに地は大きい.
上記の課題を解決する手段として，本研究では聴覚刺激

触覚は, ヘッドマウントディスプレイ（HMD）を用いたを付加した擬似触覚提示に着目する．触力覚を受容する体VR や MR の体験における仮想物体とのインタラクション

験において聴覚刺激は，共起性の高いモダリティの一つでにおいて重要である. 触覚を提示する従来の手段として，ある. すなわち，人間が対象物体に触れる，動かす等の身触覚提示デバイスが用いられていた．例えば，ユーザの手体動作に伴って，多くの場合で物体が振動し，音波が発生に押し返される感覚をモータにより再現する PHANToMする. したがって，触力覚と聴覚はしばしば同時に知覚さという装置 [1] や指先にアクチュエータが取り付けられ触れることとなる. 人間はこのような触力覚と聴覚刺激の共覚をフィードバックする機能を搭載した手のトラッキン

起性を実世界とのインタラクションから学習し，経験としグが可能なグローブ（High-performance VR/AR Gloves,て蓄積している. この経験こそが，擬似触覚を引き起こすPlexus）[2] などがある. これらの触覚提示デバイスには，重要な手がかりとなる.

シースルー型 HMD による AR コンテンツへの応用を考え聴覚刺激を用いて触力覚へアプローチした事例として，た場合，仮想物体が表示されている部分にユーザの装着しPHANToM を用いて仮想的な表面を叩いた際に，様々なているデバイスが映ってしまうという問題があった. また，衝突音を提示し知覚される物理的剛性について調べたも実際にデバイスを装着する必要があり，手間や制限が生じの [5] がある．また，聴覚刺激と擬似触覚を組み合わせたていた.

事例について，力覚に関しては HMD 上のばねオブジェク

一方，触覚提示デバイスを使用せず, 擬似触覚（Pseudo-トをユーザの手に連動した手オブジェクトで引っ張る際にHaptics）と呼ばれる視覚刺激のみで擬似的に提示される聴覚刺激を付加することで，知覚される擬似力覚が上昇す触覚を活用する手法が検討されている．例えば，盛川らにること [6] が報告されているが，触覚に関してはまだ十分

よって，シースルー型 HMD を用いて手のひらに仮想物体に検討されてこなかった．視覚により与えられる擬似触覚を表示し，手のひらと仮想物体が接触するように表示するは微小であると指摘されていたが，聴覚刺激を付加するこことで微弱な触感（微触感錯覚）を得られること [3] が報とで，与えられる擬似触覚がより大きくなることが期待で告されている．また，スリングショットにおいて実際の動きる．

作よりも低減した動作の映像を提示することで引っ張り力

そのため本研究では, HMD 上に表示される仮想物体を錯覚を誘発する研究 [4] が報告されている．これらの錯覚

手のひらで転がす動作を対象とし，仮想物体と手のひらがによる手法は，前述した触覚提示デバイスでのデメリット

接触する際に聴覚刺激を付加することで擬似触覚の大きさを克服できるが，得られる感覚が微小であるなど検討の余がどの程度上昇するかについて検討した．2 章では，行っ1
2

早稲田大学基幹理工学部表現工学科
東京工芸大学芸術学部インタラクティブメディア学科© 2019 Information Processing Society of Japanた実験の内容について述べる．3 章では，2 章の実験から

725

情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-82
2019/3/6

得られた結果及び考察を述べる．4 章では，本研究を総括

ひらと仮想キューブの衝突速度によって変化する．また，し，今後の課題について述べる．

手のひらと仮想キューブが短時間で連続して接触したとシステムが検出する場合があり，聴感上の違和感が生じる恐

2. 実験方法

れがあったため，多重に再生されることのないようにした．

本章では，聴覚刺激の付加による擬似触覚の大きさにつ聴覚刺激の録音には，スマートフォン（iPhone6s, Apple）いて検討するために行った実験の詳細について述べる.にマイク（MV88，Shure）を取り付けて用いた．

2.1 実験概要

2.4 実験環境

本実験では, 盛川らの研究 [3] をもとに，ビデオシース使用したシステムの構成は図 3 のとおりである. 参加者

ルー型 HMD 上に表示される仮想の立方体（以下，仮想は暗幕で 3 方を囲われたブースの中, MR 環境下で実験をキューブ）を左右の手のひらで転がす動作に，手と仮想行った. スピーカ及びコンピュータは暗幕の外に設置し, 参キューブの接触音を付加することによる擬似触覚の変化に加者からこれらの装置が見えない環境で実験を行った.

着目して実験を行った. 本実験で行った動作の様子を図 1

視覚刺激の提示は HMD(Vive Pro, HTC) を用い, 前面に示す. 定量的評価のため, 仮想キューブと同じサイズの部に搭載されたデュアルカメラを用いて両眼視差を伴った

軽く手で転がしやすいメラミンスポンジに触れる行為を標立体映像を表示した．聴覚刺激の提示はスピーカ (MSP7

準刺激として定めた．なお，本実験は東京工芸大学研究倫

STUDIO, YAMAHA) を用い，各参加者に対して提示刺激理委員会の承認を得て行われた．

が十分に聞こえる音量に調整した. 手の動きの認識はハンドトラッキングデバイス (Leap Motion，Leap Motion) を2.2 実験参加者用い，HMD 前面部に取り付けた．ハンドトラッキングデ実験は 20 歳から 25 歳までの男性，13 人の参加者に対しバイスが取り付けられた HMD の様子を図 4 に示す．視覚行った. 参加者の HMD 装着経験について, 初めてが 5 名，及び聴覚刺激の出力はコンピュータ (NEXTGEAR-NOTE

2〜3 回程度が 6 名，10 回程度が 2 名であった.

i5730BA3-SP，NVIDIA GeForce GTX 1070，MouseComputer) を用いた.

2.3 提示刺激
視覚刺激として MR 空間上で仮想キューブを提示した.
提示した仮想キューブのサイズは 1 辺 3cm とした. 視覚刺激の制作には Unity[7] を用いた. また，Unity 環境で HMDの制御を行うために，Unity に SteamVR プラグイン [8] を導入した.
聴覚刺激は 1 辺 3cm 程度の立方体の大きさに切られたメ
ラミンスポンジをつまむように叩く音を録音したものを用いた. 実験で使用した音のパワースペクトルを図 2 に示す.
窓関数にはハニング窓を使用した．接触音の音量は，手の図 2 実験で使用した音のパワースペクトル

図 1

実験時の動作© 2019 Information Processing Society of Japan

図 3 システムの構成図726

情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-82
2019/3/6の提示にはタブレット端末（iPad Pro, Apple）を用いた．
実験で使用した質問画面を図 6 に示す.
また, 全条件での評価後，「手に感じる感覚はどのようなものか」，「条件 A と条件 B の間で手に感じる感覚はどのように違ったか」，「提示した聴覚刺激についてどう思ったか」といった内容についてインタビューを実施し，自由に回答させた．

3. 結果と考察
本章では 2 章で述べた，擬似触覚の大きさに関する評価実験と実施したインタビューについて，得られた結果及び考察を述べる．
図 4 LeapMotion が取り付けられた HMD

3.1 結果
条件 A と B において対応のある t 検定を行った結果，1%水準で有意な差が得られた．条件 A と条件 B における評価値の平均を図 7 に示す．図 7 において，エラーバーは標準誤差を表す．ただし，実験で得られた 13 件のデータのうち，2 件のデータについては条件 B と条件 A の評価値の差の分布における第 1 四分位数から四分位範囲の 1.5 倍を引いた値より小さかったため，外れ値として扱った．
実験時に行ったインタビューについて，「手に感じる感
図 5 実験手続き

覚はどのようなものか」という質問に対しては，「わずかに存在を感じる」，「暖かさを感じる」，「軽くくすぐったい」

2.5 実験条件と手続き
実験条件として，「視覚刺激のみ提示」を条件 A, 「視覚「軽くて何か乗っかっているような感じ」といった意見が得られた．

刺激と聴覚刺激を提示」を条件 B とした. また標準刺激と「条件 A と条件 B の間で手に感じる感覚はどのようにして，「視覚刺激と聴覚刺激は提示せず, 1 辺 3cm 程度の立違ったか」という質問については，「そこまで大きな差はな方体の大きさに切られたメラミンスポンジを転がす」動作

い」，「条件 B の方が操作しているように感じる」，「聴覚刺を用意した．

激によってやや重さが増したように感じた」，「条件 B のほ

実験の手続きは図 5 のとおりである. 参加者には, 実験うが若干あったかいように感じた」といった意見が出されの目的や取得するデータについての説明をし, 実験刺激のた．特に条件 B で感じた感覚について，「仮想の物体とい提示に先立って HMD の装着感を確認させた. その後，条う箱の中に何かが入っている感じがした」，「かための紙の件 A において仮想キューブを自由に触ることができるか確空き箱をコロコロ転がしている感じ」といった意見を述べ認した. その後，一度 HMD をはずさせ, 実験の流れの説る参加者がいた．

明と音量の確認を行った.

「提示した聴覚刺激についてどう思ったか」という質問

実験順序について, 比較のため標準刺激で観察させた後に対しては，「音量が実際のスポンジと比べて大きかったに条件 A を提示した. これを 1 セットとし, 標準刺激で観ので，小さい音量にして参加者は音量を調整できないほう察させた後に条件 B を提示するセットと合わせ, 計 2 セッがいい」，「音がかたく不自然だった，柔らかい音のほうがトを行った. セットの順番は参加者ごとにランダムとした.

自然かもしれない」，「音が大きすぎる」，「音が定常的で違標準刺激の観察時間を 30 秒と定め，条件 A 及び条件 B和感があった」，「音がかたいため，重いものを転がしていの観察時間は，参加者が仮想キューブを触る動作に慣れてるように感じた」，「音がスピーカーなせいか標準刺激と聞いないことを考慮し 60 秒と定めた．各セット終了後, 一こえる音量の差が激しい」といった意見が得られた．

度 HMD をはずさせ, Visual Analog Scale(VAS) を用いた

また，外れ値として扱ったデータを回答した実験参加者

101 件法（0〜100）による評価を行った. 実際にスポンジへのインタビューでは，「音がメラミンスポンジを触ったとに触れた感覚（標準刺激）をスライダーの右端, 全く感覚がきと乖離していた」，「標準刺激では実物からは音がでないない状態を左端とし, 「立方体に触れたような感覚の大きのに，条件 B で提示された音の音量が大きく没入感につなさはどの程度でしたか？」という質問に回答させた. 質問

がらない」，「聴覚刺激のない方が手の感覚に集中できた」© 2019 Information Processing Society of Japan727

情報処理学会 インタラクション 2019
IPSJ Interaction 20192P-82
2019/3/6

図 6

使用した質問紙

うに違ったか」という質問の条件 B についての回答から，現実と乖離した聴覚刺激により、意図しない擬似触覚を与えてしまうことが考えられる．
外れ値として扱った参加者についてのインタビュー結果
からも，現実と乖離した聴覚刺激を与えられたと参加者が感じた場合，擬似触覚ではなく違和感を感じる可能性が考えられる．実際の感覚と大きく離れた視覚刺激を与えると擬似触覚に違和感が生まれた報告 [9] もあり，違和感が生じる要因については視覚刺激と聴覚刺激で共通している可能性が示唆される．

3.3 今後の課題
インタビューの結果から，聴覚刺激としてはただ音を提示すればいいというわけではなく，適切な音量や音色で提示することは，擬似触覚の体験を向上させるうえで重要で
図 7各条件における擬似触覚の評価値といった意見が得られた．

あると考えられる．また，今回の評価実験では外れ値として扱った参加者が感じた聴覚刺激による違和感について，これも音量や音色が適切になることで違和感を低減することができる可能性がある．

3.2 考察t 検定において 1%水準で有意差が得られたことから，左右の手のひらで仮想の立方体を転がす動作において，仮想今後は提示する聴覚刺激に関して，適切な音量や音色が与える質感について検討する必要がある．

4. おわりにキューブに触れると同時に聴覚刺激を提示することで，手に感じる感覚は増加することが確認できた．

本研究では，仮想キューブを左右の手のひらで転がす動

インタビューで得られた結果について，「条件 A と条件作について，手と仮想キューブが接触した際にメラミンス

B の間で手に感じる感覚はどのように違ったか」という質ポンジを叩いた音を付加することで，擬似触覚がどの程度問の「そこまで大きな差はない」，「聴覚刺激によってやや上昇するかについて検討した．聴覚刺激の有無で条件を変重さが増したように感じた」，「条件 B のほうが若干あった

え実験を行い，その結果，実験で行った動作においては，かいように感じた」といった回答から，評価実験では有意聴覚刺激を提示したほうが擬似触覚が上がることが示さ差が得られたものの，聴覚刺激の付加により与えられる擬れた．

似触覚の大きさはまだ小さいと言える．
「提示した聴覚刺激についてどう思ったか」という質問の回答から，聴覚刺激の音量について，今回の実験ではメ今後は音量や音色についての検討をしていくことで，聴覚刺激の付加で与えることのできる擬似触覚の質を改善できることが期待できる．

ラミンスポンジを実際に触ったときに参加者が聞く音とか謝辞

け離れた音量で聴覚刺激が提示されていたと考えられる．

本研究は JSPS 科研費若手研究 18K18095 の助成を受そのため，不自然に音量が誇張された聴覚刺激は違和感をけた.

与える可能性がある．また，聴覚刺激として提示した音について，提示した音はかたさや重さを連想させる音色とし

参考文献て一部の参加者に知覚されており，音色の印象が知覚に影[1]

響を与える可能性がある．

PHANToM：
入手先 ⟨http://www.nihonbinary.co.jp/Products/VR/Haptic/Phantom/⟩ (2018.12.20).

さらに「条件 A と条件 B の間で手に感じる感覚はどのよ© 2019 Information Processing Society of Japan728

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

[2]
[3]

[4]
[5]

[6]

[7]
[8]

[9]

2P-82
2019/3/6

High-performance VR/AR Gloves：
入手先 ⟨http://plexus.im/⟩ (2018.12.20).
盛川浩志, 飯野瞳, 金相賢, 河合隆史：シースルー型 HMDを用いた微触感錯覚の呈示と評価；日本バーチャルリア
リティ学会論文誌, Vol.18(2)，p.151-159 (2013).
竹内凌一, 橋本渉: 奥行方向引っ張り力錯覚強調について;
インタラクション 2017(インタラクティブ発表)(2017).
E. DiFranco, David and Beauregard, G.Lee and A. Srinivasan, Mandayam: Eﬀect of auditory cues on the haptic
perception of stiﬀness in virtual environments.; Proceedings of the ASME Dynamic Systems and Control Division, vol.61(1997).
臼井亮人，中島武三志，菅野由弘: 視覚及び聴覚刺激によるクロスモーダル現象を利用した力覚の錯覚; エンタテイ
ンメントコンピューティングシンポジウム 2017 論文集，
p.184-187 (2017).
Unity：
入手先 ⟨https://unity3d.com/jp⟩ (2018.12.20).
SteamVR Plugin:
入手先 ⟨https://assetstore.unity.com/packages/tools/integration/steamvr-plugin-32647⟩ (2018.12.20).
A. Pusch and A. Lecuyer：Pseudo-haptics: from the theoretical foundations to practical system design guidelines；Proceedings of the 13th International Conference
on Multimodal Interfaces, p.57-64 (2011).

© 2019 Information Processing Society of Japan729