基礎論文

指先装着型触力覚ディスプレイを用いた
空中におけるVR物体の位置と大きさの提示
南澤 孝太*1

家室 証*1

川上 直樹*1

舘 暲*1

Haptic Interaction with Virtual Objects in Midair using a Finger-worn Haptic Display
Kouta Minamizawa*1, Sho Kamuro*1, Naoki Kawakami*1, and Susumu Tachi*1
Abstract - We propose a novel wearable haptic interaction system that delivers a realistic haptic
feedback from virtual objects in midair. We evaluated the recognition ability of virtual objects
through encounter, contour following, and pinch behaviors by using our proposed finger-worn
haptic display, and then confirmed that the high-accuracy representation of the position and size
makes a stable feeling of existence of the virtual object even in the air. Our proposed method canbe used in entertainment, telecommunication, and virtual reality systems.
Keywords: Haptic display, Wearable interface, Human-computer interaction, Virtual reality

1

はじめに

高い臨場感を伴うバーチャルリアリティ環境を実現する，CAVE[1]やTWISTER[2]などの全周囲立体映像ディスプレイの技術は，近年，単に高精細な映像を見せるに留まらず，モーションキャプチ
ャ技術等との統合により，バーチャルリアリティ
環境内での作業や，遠隔地とのコミュニケーショ
ン等のインタラクティブな体験を提供するに至っている．またTOWNWEAR[3]のような透過型HMD(Head-Mounted Display) を用いた複合現実感環境も実現され，バーチャルリアリティ環境が重畳された実空間内を歩行することも可能となっている．このようなシステムにおいて，より高い臨場感を伴うインタラクションを実現するために，皮膚感覚および力覚（以下，触力覚）情報の提示が着目されている．ユーザの自然な行動を阻害せずに触力覚情報を提示し臨場感を高めるためには，
ユーザの行動範囲をカバーする広い動作領域をもち，かつ違和感の無い自然な触力覚を再現できるような装置の開発が求められる．
接地型の装置を用いてCAVEのような等身大の空間に触力覚情報を提示する技術[4, 5]は従来盛んに研究されている．これらの手法は，既にある程度確立している接地型装置の技術に基づいて高精度な触力覚情報の提示が可能であるが，原理的に動作領域を広くするに従って装置が巨大化することは避けられず，ユーザの歩行が伴うような環境での使用には適さない．これを解決するために，装*1*1

東京大学大学院 情報理工学系研究科
Graduate School of Information Science and Technology,
The University of Tokyo

置をユーザの胴体に固定する手法[6]も提案されている．しかしながら装着する装置が大きくなって
しまいユーザの自然な動作を阻害してしまう点が課題となっている．一方，歩行環境下での利用を前提とした，ポータブルな装置による触力覚提示技術も近年盛んに研究されており，牽引力[7]や重量感覚[8]，トルク感覚[9]などの提示が実現されている．これらの装置は手に収まる程度の小型化を実現していること，装着の手間がかからないことから，歩行ナビゲーション等への応用が期待されている．しかし空間内での作業やジェスチャ動作においては，手や指を自由に使える必要があり，装置の把持によって手の形状が固定されてしまう
これらの手法は適さない．自由な手の姿勢を許容する装置として，CyberTouch[10]のようなグロー
ブ型のウェアラブルな触覚提示装置が開発されているが，提示可能な情報が振動による皮膚感覚に
留 ま り 力 覚 情 報 を 欠 い て い る ． 一 方 ， Rutgers
Master[11]は小型の空気圧シリンダを用いたウェ
アラブルな力覚提示装置であるが，高周波の振動を要する皮膚感覚の提示には適さない．
そこで我々は，バーチャルリアリティ／複合現実感環境下で，ユーザが空中で手や指を自由に動かして作業やコミュニケーションを行う際の臨場感を向上させることを目的として，ウェアラブル
な装置による高品位な触力覚情報の提示を実現す
ることを目指す．本論文では，提示するVR物体として単純な形状の剛体を想定し，指先に触力覚情報を提示することで物体の存在を認識可能なシステムの構築と検証を行う.

日本バーチャルリアリティ学会論文誌 Vol.13, No.4, 2008

2
2.1

提案手法

提示する触力覚情報の分類

Ledermanら[12]による触知覚動作の分類に基づいて，指先のみが用いられる触知覚動作を図1のように分類した．知覚する触力覚情報の観点から分類を行うと，接触動作は主に対象の位置を知覚するのに用いられ，押し込み動作は対象の硬さを，なぞり動作は対象の形状を，撫で動作は対象の表
面テクスチャを，摘み動作は主に対象の大きさ
を，掴み動作は重さを知るために用いられる動作であるといえる．実際の人間の動作はこれらが組み合わさったものであり，同時に複数の情報を触力覚によって認識していると考えられる．図1の6種の触知覚動作は，その知覚情報によって大きく2つに分類することが出来る．接触動作による位置
知覚，なぞり動作による外形知覚，摘み動作による大きさ知覚は，対象物体の存在の有無あるいは物体の存在の広がりに関する情報であり，指先がおかれた位置に対象物体が存在するか否かが識別される．一方，押し込み動作による硬さ知覚，撫で動作による質感知覚，掴み動作による重さ知覚
においては，対象物体の存在を前提とした上で，物体の材質や特性を識別するものである．

Encounter/接触動作

Push/押し込み動作(position/位置)(hardness/硬さ)

Contour following/なぞり動作

Stroke/撫で動作(global shape/外形)(texture/質感)

Pinch/摘み動作

Precision grasp/掴み動作(size/大きさ)(weight/重さ)

図1: 指先を用いた触知覚動作の分類
括弧内は各動作で主に知覚される情報を表す
Figure 1: Contact procedures of fingertips and an object

本論文ではハプティックインタラクションシス
テムの最も基本的な目的を，ユーザに対して，コンピュータにより構築されたバーチャルリアリテ
ィ空間内における作業対象物体の存在の有無を触覚によって直感的に伝達することと設定し，物体の詳細な特性の伝達は本目的の達成後に検討すべき課題と考える．提案手法により本目的を達成可能であることを示すため，上記の分類から物体の特性の識別に関する動作を除き，物体の存在の有無に関わる動作，すなわち接触動作による位置知覚，なぞり動作による外形知覚，摘み動作による大きさ知覚に関して，触力覚提示システムの実装と検証を行う．
2.2

指先装着型触力覚ディスプレイ

著者らの先行研究[13]において提案された手法に基づき，指先に垂直力およびせん断力を提示す
る装着型デバイスを作成した．ウェアラブルイン
タフェースとしての利用に適するよう，デバイスの小型化を図り，モータにはMaxon Motor社のRE10 (0.75W, Gear Ratio = 16:1) を使用しエンコーダは省いた．その結果，作成したデバイス (図2)の全長は50mm，重さは30g (配線を除く) と，従来[14]に比べ小型軽量化を実現し，同時に必要な配線が減ったことでユーザの動作の阻害が軽減された．エンコーダを省略したことでベルトの繰出し量をソフトウェア上で制御することは不可能となったが，繰出し時のモータトルクを微小な一定値に固定し，本体部とベルトが接する部分に図2に示すようなストッパーを設けることで，ベルトが最大限繰り出された点でストッパーとベルトが接触することによりモータが停止し，繰出しが止まるように設計した．本デバイスが提示できる指腹部の垂直力は一指あたり最大で3.2Nである．

図2: 作成した指先装着型触力覚ディスプレイ
Figure 2: Implemented haptic display

南澤・家室・川上・舘：指先装着型触力覚ディスプレイを用いた空中におけるVR物体の位置と大きさの提示

2.3

システム構成本システムの構成を図3に示す．ユーザの手指の位置を取得するため，モーションキャプチャシス
テムを利用し，計測した位置情報に基づいて，物理シミュレータで各指に提示する力ベクトルを計算し，デバイスの各モータのトルクに変換する．
コンピュータから電圧値として出力されたトルク
値は電圧/電流変換回路によってモータの駆動電流に変換される．なお，本論文では電圧/電流変換回路における入力電圧と出力電流の線形性，およびモータにおける入力電流と出力トルクの線形性（本システムで使用したモータRE10ではトルク定数4.27mNm/A）が保たれることを仮定した．第3章における実験では後述のとおり赤外線LEDによるモーションキャプチャを利用するため，図2で示したデバイスには赤外線LEDを付加した．ユーザ
が本システムを装着した際の利用イメージを図4に示す．電圧/電流変換回路は十分に小型であり，ユーザの腰部に装着可能である．

図3: 提案手法のシステム構成
Figure 3: System structure of the proposed method

3

検証実験

2.1節で挙げた3つの触力覚情報の提示が本手法によって可能であることを確認し，その際のユーザによるVR物体の認識精度を検証するため，以下の各実験を行った．
3.1

実験装置

本章の各実験で用いる実験装置を図5のように構築した．本実験では，図6および図9のxz座標平面上における指先の位置を取得できれば十分である
ため，被験者が装着するデバイスに赤外線LEDを取り付け，被験者の前方60cmの位置に置かれた
Wii Remote (任天堂株式会社) を用いてLEDの位置を 計 測 し た ． Wii Remote は XGA (1024 × 768
pixel) の解像度のCMOS素子に映された最大4点の赤外線光点の重心座標を計測し，Bluetooth通信によりコンピュータに送信することができる．本実験設定では被験者が手を動かす平面における位置計測の分解能は約0.2mm，計測周期は約10msecであった．被験者の身体移動・視覚・聴覚情報による影響を抑制するため，全ての実験において被
験者は着席し，アイマスク及びヘッドホンを装着し，ヘッドホンには十分な音量のホワイトノイズが加えられた．また被験者には各実験の開始前に提示するVR物体の形状等に関する状況説明を行
い，デバイスによる触力覚提示を伴う数回の予備試行を行った．

図5: 検証実験で用いた実験装置
Figure 5: Experimental setup

3.2

図4: システムの利用イメージ
Figure 4: Picture of using the proposed system

接触動作によるバーチャル物体の位置認識

本実験では接触動作における触力覚情報を提示することで空中に存在するVR物体の位置が認識可能となることを確認するため，壁状のVR物体を提示し，その位置を回答させた．被験者は右手の示
指にデバイスを装着し，図6のような手の姿勢をとり，腕は固定されず自由に動かせる状態とした．
デバイスで提示する力は指腹に対する垂直力のみとし，力の強度 Fi [N] はVR壁の接触面の設定位置
xw [mm] と測定された示指の位置 xi [mm] に対して，Fi = k( xw-xi ) で決定された．ただし k = 0.2[N/mm] ，Fi の上限値は2.0Nとした．VR物体の接日本バーチャルリアリティ学会論文誌 Vol.13, No.4, 2008

触面の位置xwは，50, 60, 70, 80, 90, 100mmのいずれかの値がランダムに設定され，被験者は右手
を xz平面上の x =0mm の位置からx軸と平行に左方向に動かし，物体に触れたと感じた位置で停止し，触れたことを申告した．実験者は申告時点の示指のデバイス位置 xi を測定座標として記録した．このとき，設定座標と測定座標との間にオフセットが存在することが確認された．各々の被験者が「接触した」と認識するのに必要な，指先に加わる垂直力の大きさを考慮すると，本手法ではVR物体と接触した際に手の運動を制限する機構が存在しないため，接触後のVR物体への侵入量に比
例して指先への提示力が増加する．そのため被験者が接触を認識するのに十分な接触力が提示される際には，指先がVR物体に侵入する状況となる．
これは本手法においては不可避の現象であるが，接触を認識するのに必要な力は短時間の実験内においては被験者ごとに固有のものであると考えられるため，あらかじめ被験者ごとのオフセットを設定しておくことで，正しい位置認識が行われると期待できる．この予想に基づき，最初の10試行
からオフセット値を算定し，測定座標からオフセ
ット値を引いたものを知覚座標とした．20代男性
3人の被験者（全て右利き）において各被験者あた
り30試行を行った際のVR物体の設定座標と知覚座標の関係を図7に示す．
3.3 なぞり動作によるバーチャル物体の領域認識
なぞり動作が担う物体形状の認識について検証するため，VR物体の面の領域を識別させる実験を行った．被験者は前節と同様に右手の示指にデバイスを装着して右手を左方向に動かし，VR壁への接触を感じた後，右手をz軸方向に上下に動かすことでVR壁の高さを回答した．デバイスによる触力
覚提示は，3.2節の実験と同様の被験者の指とVR
物体との位置関係に応じてリアルタイムに変化す
る垂直力に加え，VR物体と指との動摩擦およびStick-Slip現象を再現するためのせん断力を提示した．摩擦力を再現するため，せん断力の方向は上方向への移動時には下向き，下方向への移動時には上向きとし，振動周波数 fs[Hz]は，山田ら[15]による移動速度と振動周波数の関係に関する知見を参考に，指先の上下移動の速度 vfy [mm/s] に対して fs = 2.0vfy (但しfsの上限は100Hz) とした．振動
の極大値は押し込み量と動摩擦係数により導出された動摩擦力，極小値は0とし，指と物体との動摩擦係数は移動速度に依らず，山羽ら[16]により指と物体との平均的な摩擦係数とされる1.0と設定した．VR壁の位置 xw は50mmに固定され，高さ hw
は，20, 30, 40, 50, 60, 70mm のいずれかの値をランダムに設定された．被験者は認識した壁の上

図6: 接触動作およびなぞり動作によるVR物体の認識実験の実験設定
Figure 6: Experimental setup for virtual wall recognition
through "encounter" and "contour following" behaviors

図7: 接触動作によるVR壁の位置の識別結果
Figure 7: Recognition of the position of a virtual wall
through “encounter” behaviors

図8: なぞり動作によるVR壁の高さの識別結果
Figure 8: Recognition of the height of a virtual wall
through “contour following” behaviors

南澤・家室・川上・舘：指先装着型触力覚ディスプレイを用いた空中におけるVR物体の位置と大きさの提示

端/下端それぞれを感じた時点で指を停止し，実験者に申告した．実験者はこの停止位置のz座標を記
録し，上端と下端のz座標の差をVR壁の高さの知覚値とした．20代男性3人の被験者 (全て右利き)
において各被験者あたり30試行を行った際のVR壁の高さの設定値と知覚値との関係を図8に示す．
3.4

摘み動作によるバーチャル物体の大きさ認識

本実験では被験者に様々な大きさの直方体状のVR物体を摘ませ，その大きさを判別させた．被験者は図9のように右手の示指と拇指に赤外線LEDが取り付けられたデバイスを装着し，各々の指の位置が計測された．デバイスによる触力覚提示は両指の間隔に基づいて変化し，示指のx座標 xi ，拇
指のx座標 xt ，VR物体の幅 wc に対して，提示する両指への垂直力 Fi , Ft は，Fi = k(wc - ( xw - xi ))，Ft = -Fi で決定された．ただし k は3.2節の実験と同様に設定された．被験者は両指を広げた状態から閉じていき，VR物体を掴んだと感じた時点で指の動作を停止し実験者に申告した．実験者は申告
時点での両指の幅 ( xw - xi ) をVR物体の幅の知覚値として記録した．20代男性3人の被験者 (全て右利き) において各被験者あたり30試行を行い3.2節と同様にオフセット値を算定し除去した際の，VR物
体の幅の設定値と知覚値との関係を図10に示す．
3.5

実験結果と考察

以上の3実験より，提案手法によってVR物体の位置と大きさを提示可能であることが確認された．図10の結果は全被験者において図7や図8よりも設定値と知覚値の誤差が少なく，摘み動作における触知覚が接触動作やなぞり動作よりも安定することが見て取れる．接触やなぞりの場合は腕を動かす必要があるが，実際には物体が存在せず固有受容感覚の提示も行われないために腕の位置姿
勢が不安定になって誤差が生じてしまう．しかしながら摘み動作においては腕を動かさずに拇指と示指の体性感覚から大きさの識別が可能であるためにこのような結果となったと考えられる．被験者からの主観的評価としては「確かに何かがそこにあると感じた」「なぞり動作を行ったときに壁が確かに存在すると感じた」「空気の塊を触っているよう」「摘み動作で物体の存在を最も強く感じた」等の感想を得た．接触動作においては接触の瞬間には提示力の時間的変化が生じ壁の接触面が提示されるが，接触後は指を静止し侵入量に応じた力の提示が行われるのみとなる．本デバイス
による触覚提示ではこのような提示力の変化がほとんど生じない静的な状態においては指の触感覚が急速に減衰し，対象の存在を感じづらくなる
が，時間的な力の変化が生じる状態においては触力覚情報が良好に伝達される[14]ことが確認され

図9: 摘み動作によるVR物体の認識実験の実験設定
Figure 9: Experimental setup for virtual cube recognition
through a "pinch" behavior
80

80

70

70

60

60

50

50

40

40

30

30

20

20

10

10
10

20

30

40

50

60

70

80

80

80

70

70

60

60

50

50

40

40

30

30

20

20

10

10

20

30

40

50

60

70

80

10

20

30

40

50

60

70

80

10

10

20

30

40

50

60

70

80

図10: 摘み動作によるVR物体の幅の識別結果
Figure 10: Recognition of the width of a virtual cube
through “pinch” behaviorsており，なぞり動作においては壁に沿って指を動かし続けることで動きに応じた提示力の時間的変化が継続したことが認識の向上に繋がったと考えられる．また，2本の指を用いた摘み動作においては，示指を押し込むと拇指に力が伝わるといった
拇指と示指との間の相互作用が生じ，この相互作用の提示が物体の存在感を高めたと考えられる．
一方，「VR物体が見えないと分かりづらい」「触力覚提示が指の傾きに応じて変化しないのが不自然」といった感想もあり，実用化に至るには視覚
情報の提示や6自由度のモーションキャプチャの導入など，システムの完成度を高める必要があることが確認された．指の動きの自由度を高めること
により対象物体に様々な方向から触れることが可能になり，指の3次元な動きと協調した触覚提示を行うことで現状では十分に提示できていない物体のエッジ部分などの詳細な形状の提示も可能になると考えられ，3次元的な形状提示手法については
今後さらなる検討が必要である．

日本バーチャルリアリティ学会論文誌 Vol.13, No.4, 2008

4

おわりに

本論文では，高品位な触力覚情報を提示するウェアラブルな触力覚提示装置による空中でのハプ
ティックインタラクションを実現することを目的として，指先装着型の触力覚ディスプレイを用いたシステムの構築を行った．目標とするシステムの最も基本的な要件であるVR物体の存在の有無の伝達が実現できることを確認するために，VR物体の位置と大きさの識別について検証実験を行い，その結果，本提案手法が空中でのVR物体とのイン
タラクションに有効であることが示された．
本結果に基づき，今後はVR物体の材質感の提示を実現するため，押し込み動作・撫で動作・掴み動作に対応したシステムの構築と検証を行う．また，より高品位な触力覚情報の伝達のためには空間的な動作への対応や多指への触力覚提示が必要であり，今後検討を進めたい．

[10] Immersion Corp., CyberTouch™
[11] M. Bouzit, G. Burdea, G. Popescu, and R. Boian: "The
Rutgers Master II -new design force-feedback
glove", IEEE/ASME Trans. on Mechatronics, Vol.7,
Issue 2, pp. 256-263, 2002.
[12] S. J. Lederman and R. K. Klatzky: "Hand movements:
A window into haptic object recognition", Cognitive
Psychology, Vol.19, No.3, pp. 342-368, 1987
[13] K. Minamizawa, H. Kajimoto, N. Kawakami, and S.
Tachi: "Wearable Haptic Display to Present Gravity
Sensation - Preliminary Observations and Device
Design", in Proc. WorldHaptics 2007, pp. 133-138,
Tsukuba, Japan. 2007[14] 南澤, 深町, 梶本, 川上, 舘: バーチャルな物体の質量および内部ダイナミクスを提示する装着型触力覚ディスプレイ, 日本バーチャルリアリティ学会論文誌,
Vol. 13, No. 1, pp. 15-23, 2008[15] 山田, 昆陽, 岡本, 田所: Stick-Slip現象に基づく振動刺激を用いた摩擦感呈示法, 日本機械学会ロボティク
ス-メカトロニクス講演会, 1A1-H21, 長野, 2008[16] 山羽, 高野, 尾崎: 人間の指の物理的特性, バイオメカ
ニズム3, pp. 27-45, 1975
(2008 年 6 月 26 日 受付)

謝辞
本研究の一部は文部科学省科研費補助金（特別研究員奨励費19-2781）によって行われた．

［著者紹介］
南澤 孝太

2005年東京大学工学部計数工学科卒業.
2007年同大学大学院情報理工学系研究科
システム情報学専攻修士課程修了．同年同
専攻博士課程進学，日本学術振興会特別研究 員 (DC1) ． ハ プティックインタフ ェース，テレイグジスタンスの研究に従事．

参考文献[1] C. Cruz-Neira, D. Sandin, and T. DeFanti: "Surroundscreen Projection-based Virtual Reality: The Design
and Implementation of the CAVE", in Proc. ACM
SIGGRAPH '93, pp. 135-142, Anaheim, USA, 1993
[2] S. Tachi: TWISTER: "Immersive Ominidirectional
Autostereoscopic
3D
Booth
for
MutualTelexistence", in Proc. ASIAGRAPH Tokyo 2007, pp.
1-6, Tokyo, Japan, 2007
[3] K. Satoh, K. Hara, M. Anabuki, H. Yamamoto, and H.
Tamura: "TOWNWEAR - An Outdoor Wearable MR
System with High-precision Registration", in Proc.
The 2nd International Symposium on Mixed Reality,
pp. 210-211, Yokohama, Japan, 2001
[4] L. Buoguila, M. Ishii, and M. Sato: "Scalable SPIDAR:
a haptic interface for human-scale virtual environments", Haptic Human-Computer Interaction, LNCS
2058, Springer-Verlag, pp. 182-193, 2001
[5] M. Zinn, O. Khatib, B. Roth, and J. K. Salisbury:"Large Workspace Haptic Devices ‒ A New
Actuation Approach", in Proc. IEEE Haptics
Symposium 2008, pp. 185-192, Reno, USA, 2008[6] M. Hirose, K. Hirota, T. Ogi, H. Yano, N. Kakehi, M.
Saito, and M. Nagashige: "HapticGEAR: The
Development of a Wearable Force Display System
for Immersive Projection Displays", in Proc. IEEE
VR 2001, pp. 123-129, Yokohama, Japan, 2001
[7] 雨宮, 安藤, 前田: 非接地型力覚提示装置を空中で把持したときの効果的な牽引力錯覚の生起手法, 日本
バーチャルリアリティ学会論文誌, Vol. 11, No. 4,
pp. 545-556, 2006
[8] 雨宮, 前田: 非対称振動を伴う物体の挙錘により生成される重量感覚, 日本バーチャルリアリティ学会論文誌, Vol.13, No.1, pp. 59-68, 2008[9] 中村, 福井: 非接地型力・トルク提示インターフェイスの開発, 日本バーチャルリアリティ学会論文誌,
Vol. 11, No. 1, pp. 87-90, 2006

（学生会員）

家室 証（学生会員）
2008年東京大学工学部計数工学科卒業.
現在, 同大学大学院情報理工学系研究科シ
ステム情報学専攻修士課程在学中. バーチ
ャルリアリティ, ハプティックインタフェースの研究に従事．

川上 直樹

（正会員）
平8東工大・理工・電気電子修士課程修了．平11東大・工・先端学際工博士課程修了．工学博士．同年東大院・工・計数工
助手，平14東大院・情報理工・システム情報学専攻講師．バーチャルリアリティの研究に従事．

舘暲

（正会員）
昭43東大・工・計数卒．昭48同大大学
院博士課程修了．工学博士．同年同大助
手．昭50通産省工技院機械技研研究員，
MIT客員研究員を経て，平1東大先端科学
技術センター助教授，平4同センター教授，平6同大・工・計数工教授，平13同大
大学院・情報理工・システム情報学専攻教授．テレイグジスタンス，人工現実感の研究に従事． IEEE/EMBS学会賞，通産大臣表彰，IEEE-VR Career Awardなど受賞．
IMEKOロボティクス会議議長，日本バーチャルリアリティ学会初代会長.