情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A54
2015/3/5

AR に触れる力覚提示タブレットとその力覚制御手法の提案
則枝 真†

高野 陽介†

佐藤 誠‡

概要：近年，スマートフォンやタブレット機器を用いた AR サービスが広がりつつある．そこで，我々は AR コンテ
ンツに触ることができる力覚提示タブレットを開発した．本研究では，ヒトの触感覚の時間的な順応を利用した 3 自由度力覚提示手法と，最適化計算手法を利用した安定な張力分配計算手法を提案し，タブレット機器での 3 自由度の力覚提示を実現した．これにより，実空間に重畳した仮想オブジェクトに対し，機器を持ったまま廻り込む操作と，タブレット機器の背面側の広い操作領域を利用した 3 次元空間操作と共に，仮想オブジェクトの形や性状を，力覚提示として感じることが可能になった．本稿では，提案システムの構成について詳細に説明する．

A Proposal for 3DOF Haptic Tablet Device
That Can Be Touched to the AR Information
SHIN NORIEDA† YOUSUKE TAKANO† MAKOTO SATO‡
Abstract: Recently, there has been an increase in the number of services on using the Augmented Reality (AR) in smart
phones and tablet devices. In this paper, we propose a new 3 DOF haptic interface in tablet devices that can be touched to the AR
applications. This interface is possible to feed back the shape and properties of the virtual object to the user's finger while body
movement operations by moving the tablet and 3 dimensional space operations utilizing a wide operation area of the back side ofthe tablet. In this study, we are realized these functions by using a temporal tactile adaptation of the human haptic sensation andstable tension distribution calculation utilizing an optimization calculation method. We will be described in detail system
configuration.

1. はじめに

本提案により，AR の様に実空間上に重畳された情報に近年，スマートフォンやタブレット機器では，カメラ機対して，機器を持ったまま廻り込むといった操作と，機器能を利用し，現実世界の場所やモノに情報を重ね合わせる

背面側の広い操作領域を利用した空間操作が可能になるとAR を使ったサービスが広がりつつある．

共に，まるでそこに実物があるかの様な，実体感を持った

しかし，実空間を利用したサービスでありながら，その操作はタッチパネルを利用した平面的な操作が一般的である．空間ジェスチャー操作の様な 3 次元空間での操作を行力覚フィードバックを実現できる．これは，タブレットという可搬性の高い機器上で，空間 3 自由度の力覚提示を実現させたことによる．

なうこと[1]も考えられるが，その場合には，操作に対しての触感覚フィードバックがないことから，操作が難しいという課題がある．
そこで我々は，タブレット機器の背面側の空間を利用し，ディスプレイ画面内に AR として重畳表示された仮想空間上の情報に対して 3 次元空間操作を行ない，更に操作時にユーザの指へモノの形や性状をフィードバックする空間力覚提示タブレットシステムを提案する．
本システムでは，タブレット機器の背面側に指輪型の提示部を設置し，この提示部を 4 本のワイヤで操作する指を引張することで力覚を発生させる．また，ヒトの触感覚の時間的な順応を利用した力覚提示制御手法により，タブレットという平面的な機器構成でありながら，空間 3 自由度の力覚提示が可能になる．

†日本電気株式会社 情報・メディアプロセッシング研究所
Information and Media Processing Laboratories, NEC Corporation‡東京工業大学 精密工学研究所
Precision and Intelligence Laboratory, Tokyo Institute of Technology© 2015 Information Processing Society of Japan

図 1
Figure 1

3 自由度力覚提示タブレット

3 DOF haptic interface in tablet devices.

355

3. 関連研究

2. AR に触れる力覚提示タブレット
AR に触れる力覚提示タブレットでは，タブレット背面

触力覚提示技術の従来研究として，可搬性を重視するス側のカメラで取得したマーカを基準に，実空間上に AR のマートフォンやタブレット機器では immersion[2]社に代表情報である仮想オブジェクトが，ディスプレイ画面に重畳されるタッチパネルを振動させることによる触覚提示があ表示される．ユーザは，タブレット機器の背面側にある指る．Active Click[3]では振動周波数を可変させクリック感を輪型の提示部を指に装着し，指を機器の背面側で空間操作表現し，TactilePanel[4]では振幅を制御しパネルを前後に振を行なうことで，(a)仮想オブジェクトに触ることができる．

動させ押下感を表現している．

また，(b)提示部にスイッチがあり，仮想オブジェクトをつ

また，タッチパネル機器では平面操作に対する力覚提示

かんで動かすことも可能である．提示部には 4 本のワイヤの研究も行われている．TactileDriver[5]では，ディスプレが機器背面部から伸びており，ワイヤで操作する指を引張イ全体を押し込み方向に駆動する力覚提示を行ない，我々することで仮想オブジェクトの形や性状，力ベクトルを感[6]もパネル表面をスライド方向に駆動させる 2 自由度の力じることができる．

覚提示を実現している．
また，据え置き型のデバイスではあるが，空間 3 自由度スイッチＯＮ以上の力覚提示デバイスとして Phantom[7]や SPIDAR[8,9]が知られている．
一方，実空間に重畳した AR 情報に対して操作を行なう研究がある．タブレット機器による身体的な動きを伴う操作として，SecondSurface[10]では，タブレット表示面に絵を描くと，タブレットの位置姿勢に合わせた実空間上に重畳表示を可能にしている．exTouch[11]では，実物体映像を(a)(b)取り込んだタブレット表示面を指で押さえた上で，タブレットを動かすことで実物体のドラッグ操作が行なえる．

図 2

力覚提示タブレットの基本操作

Figure 2

Basic operations in the haptic tablet.

また，タッチパネル上の平面操作として，TouchMe[12]では，遠隔カメラで撮像した実ロボットに仮想ロボットを重畳表示し，タッチパネル上でのスライド操作により遠隔今回作成したコンテンツアプリケーションは，(a)ピアノロボットの直観操作を実現している．の鍵盤を押すことで仮想オブジェクトの形や柔らかさを力

また，SpaceTop[1]では，透過型のディスプレイを用い，覚として感じることができるもの，(b)建設機械の様な多関ディスプレイの背面空間を利用することで，仮想オブジェ

節アームをつかんで動かすことで仮想オブジェクトの重さクトの空間操作を可能にしている．

や可動範囲を力覚として感じることができるもの，(c)台風

更に，身体的な動きを考慮した空間操作において力覚提を上から触ることで風の向きや強さを力ベクトルとして感示を実現する研究がある．HapticGEAR[13]では，身体に固じることができるものであり，3 自由度の力覚として体験定したワイヤ引張により 2 自由度の力覚提示を行なっていが可能である．

る．原田ら[14]は，より装着性と可搬性を考慮した，タブレット機器からのワイヤ引張による 1 自由度の力覚提示に取り組んでいる．
我々は，従来研究を踏まえ，以下の 3 つの機能を同時に実現する「AR に触れる力覚提示タブレット」を提案する．

(a)

(b)



タブレット機器の高い可搬性を利用し，AR の様に実空間に重畳したオブジェクトに対し，機器を持ったまま廻り込む操作が行なえる．



タブレット機器の背面側の広い空間を利用し，仮想オブジェクトに対して空間操作が行なえる．

(c)
図 3

空間操作に対して 3 自由度の力覚提示による操作フィードバックを実現する．

コンテンツアプリケーション

Figure 3

Content applications.

© 2015 Information Processing Society of Japan356

機器裏面側にはワイヤの出入り口である 4 つの穴があり，4. システム構成
本システムは，タブレット型の力覚提示装置であるハードウェアと，力覚提示を行なうための制御手法を中心とす125×125[mm]の正方形頂点位置に配置されている．また，本配置は機器下部分にあり，機器裏面側での空間操作を行なう際，機器上部分に配置されたカメラ画像に指が映り込るソフトウェアにより構成される．

まない様な構成になっている．

4.1 ハードウェア構成
機器筐体部の概観は図 4 に示すものである．機器表面にはコンテンツを表示するためのディスプレイ，機器裏面には実空間を撮影するためのカメラがある．実空間上に置いたマーカを基準に，カメラ画像から機器の位置姿勢を検出することで，実空間に重畳する形で AR 情報である仮想物体が表示される．次に，ユーザが指輪型の力覚提示部を装着し，空間上で指を動かす操作を行なうと，機器裏面から力覚提示部に接続された 4 本のワイヤを介して，指位置をエンコーダで計測する．また，コンテンツへの操作に合わせ，指をモータで引張することにより，ユーザへ力覚提示を行なう構成である．力覚提示部にはスイッチがあり，ユ力覚提示部を動作させるためのモータには，maxon 社製
DC コアレスモータ RE-max17 を利用し，1 つあたり最大4.5[N]の力でワイヤを引張することができる．
力覚提示部を引張するためのワイヤには，フッ素系の柔軟な配線ケーブルを使用している．これまでの一般的なワイヤ駆動型の力覚提示装置では，PE ワイヤと呼ばれる引っ張り応力が強く丈夫な釣り糸が用いられてきた．本装置で配線ケーブルを使用した理由は 2 点ある．1 点目は，径が太く柔軟なワイヤにより怪我を防止するためである．2 点
目は，把持動作を検出するためのスイッチの配線に利用するためである．スイッチ動作だけであればバッテリレスで無線化が可能なスイッチも考えられるが，将来的に力覚提ーザが仮想物体を把持したことを検出できる．
本システムは PC での制御を行なっており，機器筐体部とは別にモータドライバや IO 等の制御基板を配置するためのコントローラ部がある．
機器筐体部の外形は 181.5×236 であり，厚みの最薄部は13[mm]，最厚部はモータが内包されている部分の 21[mm]である．最厚部は機器筐体の両端部の円筒形状部分であり，機器の持ち手として利用する構造である．表示用のディスプレイは 8.9 インチワイド型であり，画面を縦にして使うことで，力覚提示としてワイヤにより引張される力も含め，持ち手部分にかかるモーメントが小さくなるような構成示部での力計測や方位計測などのセンシングを行なうことも考慮している．ワイヤからの信号を機器筐体部へ伝える
際，ワイヤの端部がモータプーリと一緒に回転運動をしてしまうため，本装置では回転しているプーリへの金属片への接触させる方法により信号を取り出している．
このように，ワイヤ駆動型の力覚提示手法をとることで，可能な限り機構部品をなくし，タブレットの様な平面的な機器構成での力覚提示を可能にしている．
コントローラ部には，表示を行なうためのディスプレイパネルコントローラ，エンコーダのカウントとモータの駆動を行なうためのモータドライバ，スイッチ動作検出器がにしている．機器筐体部の重量は 630[g]である．
ユーザが装着する力覚提示部は，内径 12[mm]の指輪型である．これは，成人の平均的な指の太さが約 11[mm]である
ことによる．また，機器を使用しない際，力覚提示部は機器筐体部へ収納，マグネットで固定できる構成である．

搭載されている。モータドライバには，東京工業大学が開発した SpidarAHS を使用している．ただし，利用しているのは PWM による各モータに発生力を与えるモータアンプ機能のみであり，力覚提示部の位置算出や目的となる提示力を発生させるための張力分配計算手法は，後述するソフトウェア構成の手段により算出している．
4.2 ソフトウェア構成

ディスプレイ

ソフトウェアの処理フローには次の 6 つのステップがある．1 つ目は，カメラにより実空間上に置かれたマーカかカメラ

ら機器の位置と姿勢を算出するための機器位置姿勢算出部．
2 つ目は，ユーザが仮想的なコンテンツに対して操作をしマーカ
力覚提示部
ワイヤようと指を動かした際．エンコーダによるワイヤ長さから指の位置を算出する指先位置算出部．3 つ目は，スイッチモータ＋エンコーダ

により仮想的なコンテンツを掴んだり離したりする把持動作検出部．4 つ目は，指の位置と仮想的なコンテンツとのスイッチ

図 4

ハードウェア構成

Figure 4

Hardware Construction.

間での接触力や，仮想的なコンテンツへの接触後の動作軌道などを計算する物理シミュレーション．5 つ目は，モータによりどの程度ワイヤを引張するかを算出する力覚提示制御部．6 つ目は，ユーザに対して PWM 制御によりモータを駆動することで力覚提示を行ない，シミュレーション© 2015 Information Processing Society of Japan

357

START

機器位置姿勢算出

w

カメラ画像

3
指先位置算出操作検出

エンコーダ値

把持動作検出

コンテンツ
連動

スイッチ

Ｕｎｉｔｙ
力覚提示制御

力覚提示
情報表示

力覚提示
情報表示

4

物理シミュレータ

コンテンツ連動hx , y , z l1

図 6

Figure 5l4

F1

ディスプレイに情報を表示し，モータを引張することにより力覚を提示する．

END

図 5l2

2l3

指先位置検出とワイヤによる力覚提示

Figure 6

Position detection of fingertip andHaptic feedback by wire tensions.

ソフトウェア構成
Software Configuration.

向へしか力を伝達できないことから，3 自由度の任意の方結果をディスプレイに表示する．

向へ力を提示できないことである．2 つ目の課題は，4 本

機器位置姿勢算出では，実空間上の置かれた画像マーカのワイヤを用いて 3 自由度の力覚提示を行なうため，冗長を基準に，カメラの位置姿勢を算出することで，カメラ画なシステムでありワイヤ張力の組み合わせが複数存在，制像に AR コンテンツを重畳させる．本処理は Qualcomm 社御時に発振してしまうことである．

製の Vuforia[15]を利用する．

それぞれの課題に対して，ヒトの触感覚の時間的な順応

指先位置算出では，エンコーダによるワイヤ長さから指を利用した力覚提示制御というアプローチにより，平面的先位置を算出する．機器から指先への各ワイヤの長さをな機器構成でありながら 3 自由度力覚提示が可能になる制

l1～l 4 とすると，指先位置の座標 x , y , z  は，機器裏面に御手法と，最適化計算手法による張力分配計算により安定て各ワイヤが出口の配置サイズ h, w とにより幾何的に算な力覚提示を行なう制御手法を提案する．本課題と解決手出が可能である．

法の詳細を説明する．

把持動作検出部では，指先位置を示したポインタと仮想

5.1 平面的な機器構成での 3 自由度力覚提示コンテンツが接触した状態で，スイッチが押されたことを力覚提示を行なうため，本研究では 4 本のワイヤで指を検出すると把持動作が行なえる．把持動作により，指先の引張するという力覚提示の手段を取る．しかし，ワイヤはポイントで触る際のフィードバックだけでなく，ペンとい引張する方向にしか力を発生させることができないため，った棒状のものを掴んで触った際の感覚や操作，多関節の図 7(a)に示す様な力覚提示部を頂点としたワイヤで作られアーム等をつかんだ際の可動領域なども含めて提示する

る四面体の内側方向への力しか提示できない．例えば，機ことが可能になる．

器から離れる方向への力覚提示や，機器面と並行な方向へ物理シミュレーションでは，剛体運動のリアルタイムシミュレートが可能な Unity[16]を利用する．
力覚提示制御部では，物理シミュレーションの結果である指に加える提示力 F から，モータの張力分配計算を行なう．提示力 F と各モータが引張するワイヤの合力が一致する様に，モータの引張力を分配算出する。の力覚提示は力を発生させることができない．仮想的なオブジェクトに触る際，その形状をヒトへ認識させるためには，3 自由度の任意の方向へ力を提示できることが求められる．
本研究では，ヒトの触感覚の時間的な順応を利用することで任意の方向への力覚提示を実現する．具体的には，機器から離れる方向への力覚提示を行なう場合には，ユーザ

5. 力覚提示制御における課題と提案制御手法

へ与圧力に慣れさせた上で，その力を緩めるといった提示を行なう(図 7(b))．これは例えば，エレベータの中で上昇

本研究ではタブレットといった平面的な機器構成にて，が減速する際，浮き上がる様に感じることに近いイメージ

3 自由度の力覚提示を行なう．本機能を実現する上で 2 つである．同様に，機器面と並行な方向への力覚提示を行なの技術的な課題がある．1 つ目の課題は，空間的にフレーう場合には，機器を利用している間に，慣れて感じなくな

ムといった機構部材がない構成において，ワイヤは引張方ってしまう与圧力と，感じさせたい力との合力とを提示す© 2015 Information Processing Society of Japan358

23ＮＧ

2

2ＮＧ

44FF 4Z

1

13
1Z(a)

2

3

1

与圧力F04

図 7

3ＮＧ

提示ＯＫ

感じる力

2

3(a)

与圧力F0FF

4
1(b)

感じる力

力覚提示タブレットでの安定性の課題

Figure 8Instability in the haptic tablet.

本研究では，ワイヤ張力の分配計算を，最適化計算手法より解くことで，安定な力覚提示を実現する．目的の提示(c)

触感覚の時間順応を利用した 3 自由度力覚提示

Figure 7

図 8(b)

3 DOF haptic feedback by using a temporal tactile
adaptation.

ることで実現する(図 7(c))．これは例えば，電車の中でブレーキにより車体が減速する際，重力が働いているにもか力 F とワイヤ張力の合力とを一致させること(式(1)の第 1項目)と，特定のワイヤに偏らないように安定化させること(式(1)の第 2 項目)の 2 つを目的関数とした非線形の計画問題を解くことにより，ワイヤ張力値τ 1～τ4 を算出する．

目的関数：min : J 24i 1

かわらず，横方向へ慣性力のみ働いている様に感じること4τi i  F    Pe τi (1)i 1に近いイメージである．
本手法では，触感覚の時間的な順応を利用して，任意の方向への力覚提示を実現しているため，与圧力を除くといった状況を作り出してから，その感覚が持続する時間にも制限があると考えられる．Boring (1942)によると[17]，皮膚への圧に対する触覚の順応時間は，50mg の重りで手を刺激すると 2.4sec，2000mg で 9.5sec であると言われている．

ワイヤ引張のτ1～τ4 はスカラー量であり，ワイヤ引張の方向ベクトルは以下である．

 sin i cosi  i   sin i sini  cos
i


(2)

このことから考えて，本研究で想定する数[N]程度の力覚提示において，その力覚提示持続時間は数[s]程度であると考式(1)の第 2 項目である，特定のワイヤに張力が偏らないえられる．

ようにする安定化計算では，各ワイヤ張力値が低い場合に5.2 安定な張力分配計算手法

ペナルティを与えることで，各ワイヤ張力値にばらつきが本システムでは 4 本のワイヤによる引張の合力により，目的となる力覚提示力を発生させている．ユーザが指を動ないようにする．今回は式(3)に示す様に，τi の逆数を目的関数の評価関数とすることで，可能な限り均等に張力分かすことによる力覚提示部の位置や，シミュレータによる配をさせる力を働かせることで解の不連続性を回避する．

目的の提示力は時々変化するため，各条件下で目的の提示また，ワイヤが緩んでしまうことを回避するため，各張力力を満たすワイヤ張力の組み合わせを算出する張力分配の値が負になった場合は，評価値を無限大になるようにし計算手法が必要である．しかし，本構成では 3 自由度の力ている．本評価関数では，張力値が 0 に近い場合にも評価覚提示を行なうために 4 本のワイヤを用いる冗長なシステ値が高くなるため，必ずワイヤを引張している状態を維持ムであることから，ワイヤ張力の組み合わせが複数存在しすることができる．てしまう．例えば，機器平面へ鉛直方向への力 F を発生させるためには，図 8(a)に示すτ1 とτ3 との組み合わせでも，図 8(b)に示すτ2 とτ4 との組み合わせでも，目的となる力を提示させることができる．しかし，この様に各ワイヤ張力値のである解の一意性を保つことができない状態では，

ifPe τi   ifτ i  0 thenτi  0then

1τi


(3)

ワイヤの張力値が離散的に変化することで発振し，ユーザに不快な振動を提示してしまうという課題が発生する．

© 2015 Information Processing Society of Japan359

6. おわりにAR に触れる力覚提示タブレットとして，タブレット機器の可搬性を利用し，AR の様に実空間に重畳したオブジ
ェクトに対し，機器を持ったまま廻り込む操作と，タブレット機器の背面側の広い空間操作領域を利用し，ディスプレイ画面内に AR として重畳表示された仮想空間上の情報に対しての 3 次元空間操作を行ない，操作時にユーザの指へモノの形や性状を 3 自由度の力覚提示としてフィードバックするシステムを開発した．
ヒトの触感覚の時間的な順応を利用した力覚提示手法と，最適化計算手法を利用した安定な張力分配計算により，

12) Hashimoto, S., Ishida, A., Inami, M., Igarashi, T: TouchMe: An
Augmented Reality Interface for Remote Robot Control, Journal ofRobotics and Mechatronics (JRM), Vol.25, No.3, (2013).
13) 筧直之, 矢野博明, 齊藤允, 小木哲朗, 廣瀬通孝: 没入型仮想空間における力覚呈示デバイス HapticGEAR の開発とその評
価, 日本 VR 学会論文誌, Vol.5, No.4, pp.1113-1120, (2000).
14) 小島孝明, 山口武彦, 原田哲也: 身体性を考慮したタブレット装着型力覚提示装置の提案, 日本 VR 学会大会論文集,
pp.612-613, (2014).
15) Qualcomm 社 Web サイト
https://www.qualcomm.com
16) Unity Technologies 社 Web サイト
http://unity3d.com/
17) 大山正，今井省吾，和気典二: 新編 感覚・知覚心理学ハンド
ブック, 誠信書房, (1994).

タブレットの様な平面的な機器構成において，3 自由度の力覚提示を実現した．
今後は，被験者による知覚実験により本手法の有効性を確認する予定である．
謝辞

本研究を進めるに当たり有益な御助言を頂いた，東京理科大の原田哲也氏に謹んで感謝の意を表する．

参考文献
1) Lee, J., Olwal, A., Ishii, H. and Boulanger, C.: SpaceTop integrating
2D and spatial 3D interactions in a see-through desktop
environment; CHI 2013, pp189-192, (2013).
2) Immersion 社 Web サイト
http://www.immersion.com
3) 福本雅朗, 杉村利明: タッチパネルにクリック感を付加できる ActiveClick, 情報処理学会シンポジウム論文集, Vol.2001,
No.5, pp215-216, (2001).
4) 赤羽歩, 村山淳, 山口武彦, 寺西望, 佐藤誠: 触感提示機能を持つタッチパネルのための押下感生成信号の検討, ヒューマ
ンインタフェース学会論文誌, Vol.8, No.4, pp.591-598, (2006).
5) 星野剛史, 塚田有人, 峯元長,: Tactile Driver: 触感を忠実に再現するタッチパネルシステム, 第 10 回インタラクティブシス
テムとソフトウェアに関するワークショップ(WISS2002), 日本ソフトウェア科学会, (2002).
6) 則枝真, 佐藤誠: パネル駆動型力覚提示タッチパネルとその力覚制御手法の提案, 情報処理学会インタラクション 2012,(2012).
7) Massie, H.T. and Salisbury, J.K.: The PHANToM Haptic Interface :A Device for Probing Virtual Objects, Proceedings of the ASME
Winter Annual Meeting, Symposium on Haptic Interfaces for
Virtual Environment and Teleoperator Systems, Chicago, IL, Nov,(1994).
8) 佐藤誠, 平田幸広, 河原田弘: 空間インタフェース装置
SPIDAR の提案, 電子情報通信学会論文誌 D, Vol.J74-D2, No.7,pp.887-894, (1991).
9) 金時学, 長谷川晶一, 小池康晴, 佐藤誠: 7 自由度力覚ディスプ
レイ SPIDAR-G の提案, 日本バーチャルリアリティ学会論文
誌, Vol. 7, No. 3, pp. 403-412, (2002).
10) Kasahara, S., Heun, V., Lee, A.S. and Ishii, H.: Second surface:multi-user spatial collaboration system based on augmented reality,
SIGGRAPH Asia 2012 Emerging Technologies, No. 20, (2012).
11) Kasahara, S., Niiyama, R., Heun, V. and Ishii, H.: exTouch:spatially-aware embodied manipulation of actuated objects
mediated by augmented reality, Proceedings of the 7th International
Conference on Tangible, Embedded and Embodied Interaction,
pp.223-228, ACM, (2013).

© 2015 Information Processing Society of Japan360