WISS 2019

ExtickTouch：仮想物体への接触感を提示する先端伸縮型デバイスの開発
片岡 敬志郎†1

山本 拓也†1†3

大槻 麻衣†2 柴田 史久†1

木村 朝子†1

概要． VR（Virtual Reality; 人工現実）研究において，表現力豊かで汎用的な触力覚ディスプレイの実現は重要課題である．しかし，視覚や聴覚情報に比べて，触覚情報は提示できる情報が限定されており，未だ発展途上である．本稿では，物体に触れた際に生じる接触感の再現を目的とし，それを実現するための手法の提案とデバイスの開発を行った．具体的には，VR 空間上で仮想のデバイスが仮想物体に接触した際に，実世界上のデバイスを伸縮させることで実物体と接触させ，生じた反力を接触感として提示する手法を提案し，この手法を実現するデバイス「ExtickTouch」の設計・開発を行った．また，仮想物体との接触感を提示できているのかを確認する評価実験を行い，提示可能であることがわかった．

1

はじめにCG (Computer Graphics) や HMD (HeadMounted Display) 技術の進歩により，VR（VirtualReality; 人工現実）の映像面での表現力は大いに向上した．一方で，VR 空間内で得られる触覚情報は，視覚情報に比べて再現することが難しい．
例えば，VR 空間での体験には，ユーザの動きに対する制限が少なく，把持して利用できるハンドヘルド型のデバイスが利用されることが多い．この種のデバイスには，手の位置を取得するためのトラッキング機能が内蔵されており，その位置・姿勢情報を VR 空間上に反映することで，直観的に操作を行うことが可能である．しかし，一般的なデバイスの多くが振動フィードバックによって仮想物体に触れた感覚を提示している．そのため，手が仮想物体にめり込んでしまい，触れている対象の形状や質感などを認識することができない．このような問題の主な要因として，フィードバックの提示箇所がデバイ
スと指との接触位置のみに留まり，振動のみでは腕全体に接触感を提示することができないことがあげられる．
そこで，本研究では，HMD を装着するタイプのVR 体験において，ユーザの動きをできるだけ制限することなく，仮想物体との接触感を腕全体に提示可能な「ExtickTouch」を提案・試作する（図 1）．
本システムを用いることで，現実には机のような実物体しかなくても，様々な形状の仮想物体に触れるような感覚を提示することが可能になる．さらに，同デバイスによって仮想物体との接触感を提示できるのかを確認する評価実験も行った．

Copyright is held by the author(s).
立命館大学，† 2 産業技術総合研究所，†3
現在，パナソニック

2

関連研究

触覚ディスプレイ／デバイスの提案・開発はこれまでに多数行われている．それらは，その構造から2 種類に大別することができる．一つは実世界に固定して使用する接地型，もう一つは実世界に固定することなく使用する非接地型の触覚デバイスである．
PHANToM は，接地型の力覚提示装置である[1][2]．モータ駆動のリンク機構によって，ペン型や指サック型のインタフェース部の動きを制御し，詳細な力覚提示を可能としている．また，SPIDAR はワイヤを駆動させることで把持部分の動きを制御し，力覚提示を行うデバイスである[3]．把持部には，球体やマウスなど，利用状況に応じた様々な種類が存在している．
このような大型の機器にデバイスを接続するような機構や，動きに合わせて周囲に配置された機器を変形させる機構を用いることで，より現実に近い触覚提示を行うことができる．しかし，デバイスが大型になることや，触覚提示を行うために機構が複雑化してしまうことから，ユーザの可動範囲がデバイスの可動領域に制限されてしまう．

†1

図 1 ExtickTouchWISS 2019

その制限を緩和したデバイスとして，Withana らの ImpAct [4]や Nagasaka らの Haptylus [5] がある．これらは，タブレット端末上での VR 体験を対象としており，ユーザがペン型のデバイスをタブレット端末に押し付けるとその力に合わせて先端部分を筒の中に格納し，格納した長さに合わせてタブレット端末のディスプレイに仮想のペン先を表示する．
デバイスの先端の伸縮はモータで制御し，仮想のペン先が仮想物体に接触した際にデバイスの先端を固定することで触覚を提示している．つまり，必要なときのみ接地することで触覚の提示を行っている接地型のデバイスである．このような構造を採用することで，小型でありながら触覚提示可能な機構を搭載することが可能となる．しかしながら，これらのデバイスではタブレット端末のディスプレイを視覚情報の提示領域としているため，片方の手でペン型デバイスを操作しながら，反対の手でタブレット端末を操作し，カメラ視点を制御する必要があり，作業が煩雑となる．また，両デバイスともにデバイスの提案にとどまっており，どの程度の接触感を提示できるのか定量的な評価が必要である．
一方，非接地型デバイスは，デバイスの構造からくる制約が少なく，広い空間を用いるような状況での使用を可能にしている．例えば，Kamuro ら [6]は空中でのスケッチ入力を力覚提示によって支援を行うペン型の力覚提示デバイスを開発した．このデバイスは仮想物体をつつく，なぞるといった動作を行った際，デバイスの把持部が伸縮，もしくは傾くことによって指先に力覚の提示を行う．また，Benko
ら[7] は VR 空間上で指が触れている仮想物体の形状に合わせて触覚情報を提示するデバイスとして，
NormalTouch と TextureTouch を 開 発 し た ．
NormalTouch は手で持ったデバイス上に人差し指を配置するベースが取り付けられており，このベースが仮想物体の表面形状に合わせて上下に動き，傾くことで指先が仮想物体表面に触れているような感覚を提示する．TextureTouch は，指を配置するベースが 4×4 のピンで構成されており，仮想物体の表面形状に合わせてピンが上下することで触覚を提示している．
上記のような非接地型デバイスは，実物体に触れたときのように腕全体に力覚を提示することはできず，提示箇所はデバイスと指との接触位置のみに留まる．しかし，実世界に固定する必要がないため，このデバイスはユーザの動きを妨げることなく使用することができる．
このように従来のデバイスでは，接地型デバイスの方が現実に近い感覚を提示可能である反面，非接地型デバイスの方が手軽に利用できるというように，2 つの長所がトレードオフとなっていた．

そこで本研究では，ImpAct，Haptylus を参考に，接地型と非接地型の両方の利点を活かし，HMD を装着するタイプの VR 体験において，非接地型デバイスのようにユーザの動きをできるだけ制限しないデバイスと，机や壁といった体験場所にもともと存在しうる実物体を活用して，実物体に触れたかのような仮想物体への接触感を腕全体に提示する手法を提案し，評価を行う．

3

提案手法

3.1 接触感提示手法
ユーザの動作範囲をできるだけ制限せずに仮想物体への接触感を提示するために，実世界に存在する机や壁などの実物体を活用する．具体的には，デバイスと実物体の間に生じる反力を VR 空間における仮想物体との接触感として利用する．仮想空間でデバイスと仮想物体が接触すると，実世界でも，実物体とデバイスが接触するようにデバイス先端部を伸縮させ，実物体とデバイスとの接触感を仮想物体とのそれとして提示する（図 2）．そのため，提案手法
では実世界に机のような実物体が配置されていることを前提条件とする．
デバイスを実物体と接触させる方法には，(1) 接
触対象となる実物体が変形することでデバイスと接触する方法，(2) デバイスが変形することで実物体に接触する方法，(3) 仮想物体と同じ形状の実物体を用意し，実世界と仮想世界の同じ位置・姿勢に同じ接触対象を配置する方法が考えられる．
しかし，(1) の方法の場合，システム全体が大型化してしまい，簡易な機構で再現することが難しい．
(3) の仮想物体と同じ形状の実物体を用いる方法では，様々な仮想物体の形状に合わせて実物体を用意する必要があり現実的でない．このことから，我々は (2) のデバイスを変形させる方法を採用した．
また，VR 空間内で表示されているデバイスは，
図 2 の左右 2 枚の左上に示す図のように，赤いペン状のデバイスとして表示されており，実世界のよう

図 2 先端伸縮機構を有するデバイスを用いた接触感提示

ExtickTouch : 仮想物体への接触感を提示する先端伸縮型デバイスの開発に伸縮されることはなく，常に同じ形を保持したまま表示する．これにより，視覚からも，仮想物体表面にデバイスが接触した瞬間に接触感が得られたかのように知覚させる．
この手法では，仮想物体の形状に合わせてデバイスの長さを伸縮させ，実物体に 1 点接触させることで，仮想物体への接触感を再現している．また，ユーザはデバイスを自由に動かして実物体と接触させることができるため，接触感提示に必要となる実物体との接触点は一か所に固定されない．つまり，接地型デバイスのように外界との接触が必要にはなる
ものの，2 章で紹介した接地型デバイスのように大型の機器に接続する必要がなく簡易な機構で実現することができる．そのため，ユーザはデバイスに動きを阻害されることなく使用することができる．
また，2 章で述べた ImpAct [4]，Haptylus [5]はデバイスがディスプレイと接触するのに対し，本手法では外界との接触を机や壁のような身の回りにある実物体にする点に特徴がある．
さらに，仮想物体をなぞる動作に合わせて，デバイスを連続的に伸縮させることも可能である．これにより，仮想物体に 1 点で触れた際に得られる断続的な接触感だけではなく，なぞるような動作を行った際の連続的な接触感も提示することができ，仮想物体からの触覚刺激をより実世界のものへと近づけることができる．
3.2 接触感提示機構の設計提案手法をもとに接触感提示機構を設計するに当たり，満たすべき条件を検討した．その結果，以下のような条件を列挙した．
(1) 把持しやすく，接触感提示機構を含むデバイス全体の大きさも容易に利用できるサイズであること(2) 仮想物体の形状に合わせた伸縮を可能とするだけの精度を有すること(3) ユーザの動きに対応した伸縮速度であること
まず，(1) に関しては研究目的にもあるようにハンドヘルド型デバイスであることが前提であるため，片手で利用できるサイズであることが望ましい．そこで，接地型デバイスと非接地型デバイスの中間の構造を用いている Lee ら [8]が開発した Beyond や，2 章で述べた ImpAct [4]，Haptylus [5]の研究に着目した．これらの研究では，筒の中にデバイス先端を畳み込んだり，ペンを入れ込み，前後に動かすことで伸縮を実現している．このような機構では大掛かりなモータを必要とせず，さらにデバイスの伸縮部と把持部が別々のパーツとなっているため，デバイスを使用しているユーザの動きを妨げることなく伸縮を実現することができる．このことから，筒状のケースに内蔵されたペン型の伸縮部を前後に動かすことで伸縮を行う機構を採用した．
次に，(2) と (3) に関しては，(1) の条件から直線運動を行う機構であることが決定しているため，前後の動作に使用されるリニアアクチュエータを使用することとし，いくつかある制御機構の中からどの制御機構が適しているかを検討した．リニアアクチュエータの制御機構として，電気信号によって駆動させる電気式と油圧を制御することで伸縮させる油圧式，空気を圧縮膨張させることで伸縮させる空気圧式の 3 種類がある．その中でも，簡易に使用でき，小型であっても位置制御や速度制御が十分に行える電気式のアクチュエータを採用した．

4

ExtickTouch

4.1 システム構成
提案手法に基づき設計・開発したデバイス「ExtickTouch」を図 3 に，全体のシステム構成を
図 4 に示す．VR 空間でのデバイスの位置・姿勢を取得するために Oculus Touch を使用している．デバイスの伸縮部分には，リニアアクチュエータ（Alps 社製，モータ N フェーダ，RSA0N11M9A0K）を利用し，グルーガンを用いて Oculus Touch に接着，これに 3D プリンタで出力したペン状の先端部と先端部を覆うカバーを取り付けている．このリニアアクチュエータは可動域が 10 cm で，1024 段階で位置を指定することができ，速度を 256 段階で変カバー

Oculus Touch

先端部分

リニアアクチュエータ

図 3

ExtickTouch の構成
赤外線センサ

出力入力

位置姿勢情報VR描画用PC
HMD（Oculus rift）

VR空間の描画
ExtickTouch
アクチュエータからの入力値

Arduino Uno + Motor Shield Rev3

アクチュエータの制御

図 4 システム構成

WISS 2019

更できる．提示できる反力は，先端部を停止させる力が最大 100 N，先端部を押し引きする力が最大50N となっている．先端部の駆動タイミングと停止位置の制御は Arduino で行っている．
デバイスの制御および VR 映像の描画には CPUIntel Core i5-8400，メモリ 16GB，GPU NVIDIA
GeForce GTX1080 TI / 11 GB GDDR5X を搭載した Windows 10 pro PC を使用した．VR 空間の構築には Unity ver. 5.6.2f1 (64bit)，VR 空間の観察にはOculus Rift CV 1 を用いた．VR 空間の提示および伸縮距離の算出，デバイス先端部の駆動は毎秒 90フレームで行っている．
4.2 伸縮制御
ExtickTouch の先端部の伸縮量を制御するために，まずは仮想物体とデバイスの接触点を算出する．ここで接触点は，デバイスの伸縮部分の後端から先端までを通る方向ベクトル 𝑣 と接触対象との交点𝑷tip となる．次に，仮想物体とデバイスが接触したときに，デバイス先端を実世界に配置されている実物体（例えば机）と接触させるために，先ほど求めたデバイスの方向ベクトル 𝑣 と実物体との交点𝑷real を算出する．この二つの接触点を算出したのち，2 点間の距離 𝑑 を求め，デバイスが伸縮可能な距離であればその距離だけデバイスを伸縮させて実物体に接触させる．この処理を毎フレーム行うことによって，仮想物体への接触感提示を実現する（図5）．
次に，接触点𝑷tip ，𝑷real を求める手順を説明する．
ExtickTouch を構成する Oculus Touch の座標とデバイスの実測から得られるデバイス伸縮部分の先端座標 𝑷tip と後端座標 𝑷end を通るデバイスの方
向ベクトル𝑣と仮想物体との交点 𝑷virtual を求める
（図 5）
．次に実世界に配置されている実物体と同じ位置に配置されている仮想物体とデバイスの方向ベクトルとの交点 𝑷real を算出する．この時，𝑷tip と𝑷real の距離が一定以上離れている場合も接触していないと判定する（図 6 ）．
次に先ほど算出した仮想物体，実物体それぞれの交点 𝑷virtual と 𝑷real をもとにデバイスを伸縮させる長さ𝑑を以下の式で求める（図 5）．

𝑑 = |𝑷virtual − 𝑷real |(1)

ここで，𝑙device とはデバイス伸縮部分の VR 空間上での長さ，つまりリニアアクチュエータの可動域である 10cm の VR 空間上での長さである．
この時，𝑙𝑠𝑖𝑔𝑛 の値が 1024 を超える場合，今回試作したデバ
イスでは接触感が提示できないため，伸縮不可と判定する．

5

評価実験

5.1 実験目的
ExtickTouch を利用することで，仮想物体との接触感を提示できるのかを確認する実験を行った．接触感に関しては，一般的な VR コントローラに搭載されている振動提示と ExtickTouch の 2 パターンの触覚提示を用いて自由に仮想物体に触らせ，ExtickTouch の接触感提示が仮想物体からの接触感として知覚されるか確認した．実験協力者は 20 代の男性 12 名で全員右利きである．
5.2 実験環境
ExtickTouch で接触させる実物体を横 160cm×縦 80cm×高さ 70cm の机の表面とし，この机上の横 50cm×縦 25cm の範囲で実験を行った．VR 空間
上では，実世界の机と同じ位置に机を模した仮想物体を配置し（図 7），体験者はこの机に向かって椅子に座らせた．このとき仮想物体は体験者の正面に見える位置となるようにした．
また，ExtickTouch と比較する振動提示には，ExtickTouch に装着された Oculus Touch の振動提示機能を利用する．先端伸縮機能をオフにした状態の ExtickTouch で仮想物体表面に触れ，仮想物体表面から±2mm 以内に先端部分が侵入したときに振動が提示されるように設定した．

𝑷end： デバイスの方向ベクトル： デバイスの先端座標： 𝑷virtual： 方向ベクトルと地面との接触点 𝑷real
伸縮距離 𝑑 = 𝑷virtual − 𝑷real

𝑑𝑷tip𝑷virtual𝑷real

図 5 伸縮距離の算出

また，ここで求めた 𝑑 は VR 空間内での距離となっているため，このままではデバイスの伸縮を正確に行うことができない．そこで，以下の式を用いて，実世界の寸法に合わせた後，リニアアクチュエータへの信号 𝑙sign へと変換するために 1024 段階に正規化を行う．

𝑙sign = 𝑑⁄𝑙device ∙ 1024(2)

仮想物体に非接触仮想物体に接触
図 6 デバイスの接触判定ExtickTouch : 仮想物体への接触感を提示する先端伸縮型デバイスの開発
5.3 内容Q5. 仮想物体表面でデバイスを保持することは簡単だった
Q6. 仮想物体表面をなぞることは容易だった
Q7. どの仮想物体の形状が提示された接触感と最も一致していたかQ8. どの仮想物体の形状が提示された接触感と最も一致していなかったか
Q1～6 の質問は 5 段階（1：全くそう思わない，5：
とてもそう思う）で評価させた．Q7，8 の質問には，
図 8 の 3 種類の仮想物体の中から，接触感が最も一致した形状と一致しなかった形状をそれぞれ一つ選ばせた．

VR 空間上に配置された仮想物体を 1 分間自由に触らせた．1 分経過後，別の仮想物体を表示し，先ほどと同様に 1 分間触らせた．このような一連の流れを同一の接触感提示手法で 3 種類の仮想物体に対して行わせた．
体験で用いた仮想物体を図 8 に示す．
3 種類すべてを触り終えた後，それぞれの手法ごとに以下に示す接触感に関する 6 つの質問と，視認している仮想物体の形状と提示された接触感の一致・不一致に関する 2 つの質問に回答させた．
Q1. 目の前にある仮想物体に触れているように感じた
Q2. 把持しているデバイスが仮想物体に触れているように感じた
Q3. 仮想物体の表面位置がどこにあるかわかった
Q4. 仮想物体表面に常にデバイスが当たっているように感じた

5.4 結果実験の結果を図 9，図 10，図 11 に示す．図 9 は，
Q1~6 の結果について Wilcoxon の符号付順位和検定を行ったところ Q3 以外の質問項目において提案手法と振動提示の間に有意差を確認できた．また，

作業領域(a) 実世界(b) VR 空間

10 cm

図 7 実験環境

20 cm

20 cm15 cm

図 8 実験 1 で用いた仮想物体の形状**

Wilcoxonの符号付順位和検定より
**
**
**

**

5

実験協力者
12名
振動4評価値**: p < .01

提案手法

32
1

Q1

Q2

Q3

Q4

Q5

図 9 接触感に関する評価結果

Q6

WISS 2019振動 8.3%

50.0%

41.7%
球体
四角錐

ExtickTouch

58.3%

0%

16.7% 25.0%

斜面

20% 40% 60% 80% 100%7

図 10 Q7 結果：提示された接触感と最も一致していた形状

振動

41.7%

25.0%

33.3%
球体
四角錐

ExtickTouch

25.0%0%
図 11

50.0%

50%

25.0%

斜面

100%

Q8 結果：提示された接触感と最も一致していなかった形
状

図 10 は Q7 の回答から，接触感と形状が一致したと回答が得られた形状の割合を接触感提示手法毎に示したものである．図 11 は Q8 の回答から，接触感と形状が一致していないと回答が得られた形状の割合を接触感提示手法毎に示したものである．提案手法
では球体が最も一致して，四角錐が最も一致していないように感じられたという結果となった．

6

十分な接触感が提示できなかったと考えられる．
また，振動に関しては，常に仮想物体表面で振動を感じることができるため，直線的な動きでなぞることができる斜面や四角錐が多く選ばれていた．しかし，Q1～6 の回答結果からもわかる通り，当然のことながら振動だけで接触感を提示するのは難しいことが見て取れる．

考察

Q1～6 の質問では，ExtickTouch が振動提示よりも高い評価となった．このことから，ExtickTouchは一般的な振動提示よりも仮想物体への接触感を提示できていることが確認された．VR 空間上でデバイスと仮想物体が接触する角度と実世界でデバイス先端が机に接触する角度は異なるものの，VR 空間上でデバイスが仮想物体に触れた瞬間に，実世界でも実物に接触することで，触れたというリアルな感覚を得られたと考えられる．また，Q3 で有意差が確認できなかったのは，今回振動を提示する条件を仮想物体の表面近傍のみとしており，表面位置に関しては正確に認識できたためと考えられる．
また，Q7，8 の接触感と形状の一致，不一致に関する質問では，ExtickTouch が接触感を提示することが得意な形状と不得意な形状がはっきりと分かれる結果となった．球体や斜面のように表面の起伏がなめらかに変化する形状であれば問題ないが，四角錐の角を跨いでなぞるなど，面の法線方向が急激に変化する部分で ExtickTouch 先端の伸縮処理が遅れ，むすび

本稿では，簡易な機構で現実に近い接触感を提示する手法を提案し，その試作デバイスとしてExtickTouch を開発した．ExtickTouch は先端伸縮機構を内蔵し，実世界で得られる反力を仮想物体の接触感として利用する．
評価実験の結果，ExtickTouch を使うことで接触感を提示できていることを確認した．しかし，表面の起伏が急激に変化するような形状では接触感の再現が難しいことも確認した．
今後の展望としては，接触感の提示が難しい形状への対応や，接触感だけでなく表面の材質情報の提示なども可能にしていきたい．

参考文献[1] 3DSystems Inc., PHANToM(https://ja.3dsystems.com/haptics-devices/3d-systems-pha
ntom-premium), (2019 年 5 月 31 日)[2] M. Foskey et al.: ArtNova: Touch-enabled 3D model
design, Proc. ACM SIGGRAPH 2005 Courses, pp. 188 192 (2005)[3] 本多健二 et al.：“Spidar-Mouse を用いた動画像可触化システムの提案”，画像電子学会誌，43(4)，pp. 543– 549（2014）[4] A. Withana et al.: “ImpAct: enabling direct touch andmanipulation for surface computing,” In Proceedings ofthe 23th Annual Symposium on User Interface Softwareand Technology, pp. 411 - 412 (2010)[5] S. Nagasaka, et al.: “Haptylus: haptic stylus forinteraction with virtual objects behind a touch screen,” In
SIGGRAPH Asia 2014 Emerging Technologies, Article
No. 9 (2014)[6] S. Kamuro et al.: “An ungrounded pen-shaped kinesthetic
display: Device construction and applications,” In IEEE
World Haptics Conference (WHC) 2011, pp. 557 - 562(2011)[7] H. Benko et al.: “Normaltouch and texturetouch:High-fidelity 3D haptic shape rendering on handheld
virtual reality controllers,” In Proceedings of the 29th
Annual Symposium on User Interface Software andTechnology, pp. 717 - 728 (2016)[8] J. Lee et al.: “Beyond: collapsible input device for direct
3D manipulation beyond the screen,” In Adjunctproceedings of the 23nd annual ACM symposium on Userinterface software and technology, pp. 393 - 394 (2010)