情報処理学会 インタラクション 2014
IPSJ Interaction 2014

A3-1
2014/2/27

スマートフォンをエンドエフェクターに用いる力覚インタフェースの開発
村石 辰徳1,a)

川喜田 裕之1,2

大久保 貴博1

田島 寛之1

赤羽 克仁1

佐藤 誠1

概要：従来の力覚インタフェースは，VR 空間における力覚が発生する箇所 (以下，力覚ポインター) の見た目と力覚がユーザに対して作用する効果器 (以下，エンドエフェクター) との位置が離れており，バーチャルリアリティ (VR) 体験としては臨場感に欠ける一面があった．この問題を解決し，さらには力覚インタフェースの普及を目的として，我々は力覚ポインターを表示するスマートフォンをエンドエフェクターとして用いる力覚インタフェースを開発した．VR 体験の主観評価実験を行い，本インタフェースが既存の手法よりもユーザに臨場感を与えられることを確認した．

A Haptic Interface Using a Smart Phone as the End Eﬀector
Tatsunori Muraishi1,a)Hiroyuki Kawakita1,2 Takahiro Okubo1
Katsuhito Akahane1 Makoto Sato1

Hiroyuki Tajima1

Abstract: For experience with virtual reality, conventional haptic interfaces have the problem with lack ofpresence because the displaying position where force occurs in virtual space, called a haptic pointer, and thereal position where the user feel the force, called an end eﬀector, are separated. To solve the problem and to
spread haptic interfaces, we developed a haptic interface using a smart phone as the end eﬀecter displaying ahaptic pointer. We conducted comparative experiments with subjective evaluation. As a result, we conﬁrmedthat the proposed interface gave the user presence more than a conventional method.

1. はじめにそのため，VR 空間における力覚が発生する場所 (以下，力覚ポインター) と，バーチャルオブジェクトに触れた場合

SPIDAR[1], [2] や Phantom[3] といった力覚インタフェー等の力が作用する効果器 (以下，エンドエフェクター) とのスは，コンピュータの直感的な３次元入出力装置である位置が一致しておらず，VR 体験として直感的とは言い難と同時にバーチャルリアリティ (VR) 体験のためのインい面があった．また，力覚提示を伴うシステムは一般に用タフェースとして利用されてきた．VR 体験においては，途が限定されるため，その特殊性が一般家庭への普及の妨バーチャルオブジェクトの存在感といった人工的な体験をげとなることが考えられる．そこで我々は，VR 体験のリ体験者にいかに違和感なく提示できるかが重要である．一

アリティ向上と一般家庭への普及を目的として，力覚ポイ

方で，現行の力覚インタフェースはコンピュータの入出力ンターとエンドエフェクターとの位置を一致させた汎用的装置という側面が強く，パーソナルコンピュータにおけるな力覚インタフェースを開発したので報告する．

ディスプレイとマウスの関係と同様に，ディスプレイと力覚インタフェースが装置として分離しているものが多い．
12a)

東京工業大学 精密工学研究所
Precision and Intelligence Laboratory, Tokyo Institute ofTechnology
NHK 放送技術研究所
NHK Science & Technology Research Labs.
mmm.muraishi@hi.pi.titech.ac.jp© 2014 Information Processing Society of Japan

2. 要求条件とアプローチ
前章を踏まえ，我々は VR 体験の力覚インタフェースの要求条件を次のように設定した．

( 1 ) 力覚発生の表示とエンドエフェクターとの位置を一致させること234

( 2 ) ３次元空間において自由度の高い力が発生できること( 3 ) 多様な VR 体験に適用できる汎用性を有すること( 4 ) 普段は VR 体験以外の用途にも幅広く活用できること
2.1 関連研究
上記の要求条件をもとに，従来研究について概観する．
要求条件 (1) を満たす力覚インタフェースは，これまで複数の研究がある．
田村ら [4] は，タッチパネル型タブレット端末の前面にパネル平面内で力覚を提示する SPIDAR-mouse[5] を装着した SPIDAR-tablet を開発した．また，類似する取り組みとして，則枝ら [6] はタブレット端末のタッチパネルの前面に駆動型パネルを取り付けることにより力覚を提示した．これらは，操作性向上を目的としたものであるが，力覚の表示とエンドエフェクターとの位置を一致させること
図 1が可能である．しかしながら，力覚表現はタブレット端末外観

Fig. 1 Appearanceのパネル平面内に閉じており 3 次元空間の表現に乏しく，VR 体験のリアリティには限界がある．
徳井ら [7] は，ディスプレイ前方で任意の３次元形状のレット端末が考えられる．我が国では，スマートフォンは透明な弾性体をタッチパネルの代わりに用いた３次元タン

世帯普及率が約 5 割に達し [10]，軽量化も進んでいる [11]．

ジブルインタフェースを開発した．このインタフェースで一方，タブレット端末は，世帯普及率が 15%程度 [10] であは，ディスプレイを指で変形させられた弾性体越しにステることや，重量やサイズから，今回はスマートフォンをエレオカメラで撮影することにより，ディスプレイ内のバーンドエフェクターとして用いることを検討することにした．

チャルオブジェクトとの３次元インタラクションを可能とスマートフォンであれば，計算能力も高く各種センサーする．しかしながら，弾性体の形状や弾性率はアプリケーも搭載しているため，要求条件 (3) のような多様なアプリションごとに変えられるものの，汎用的な VR 体験のイケーションを作成することに向いている．ただし，要求条ンタフェースとしては可変性に乏しい．また，このインタ件 (2) のような力覚インタフェースとするためには，スマー

フェースでは指から弾性体への力に対する反作用という形トフォンに対して自由度の高い力を伝える仕組みが必要ででの力覚提示は可能であるが，任意の力覚を発生させるこある．これには [1], [2] のような糸を使う方法と [3], [8] のとはできず，柔軟な VR 体験を設定することができない．

ようなアームを使う方法が考えられる．要求条件 (4) を考

野間ら [8] は，没入型 VR 環境における力覚提示機能を慮すれば，将来的にこの仕組みをスマートフォンガジェッ備えた可搬ディスプレイをマニピュレータとして用いたイ

ト [12] として提供する方法が有望と考えられるため，よりンタフェースを開発した．このインタフェースでは，VR収納性が高く操作範囲の設定が容易な糸を使った方式が理環境のバーチャルオブジェクトをユーザが把持するディス想的である．そこで，今回は SPIDAR を利用し，スマープレイごしに見ることができ，任意のバーチャルオブジェトフォンをエンドエフェクターとして用いた力覚インタ

クトを掴んで操作を行う際，操作反力をユーザに提示するフェースを開発した．

ことができる．しかしながら，このインタフェースは力覚提示手法としてディスプレイを支持するアームの関節部分にモータを組み込んでいるが，回転に関する操作反力が提示できないなど，力覚表現の自由度や可変性に乏しい．また，10 年以上前の技術であるため装置も大がかりであり，汎用性を持たせるためには再デザインが必要である．

3. 提案システム
3.1 ハードウェア構成
前述したアプローチを踏まえ制作したデバイスを図 1 に示す．
デバイスはスマートフォンとそのケース，PC，モータドライバ，フレーム，モータ，糸を用いて構成される．8

2.2 アプローチ個のモータが各端に取り付けられた直方体フレームの中央

上記の要求条件 (1) および (4) から，力覚提示装置のエンにスマートフォンケースを配置する．スマートフォンケー

ドエフェクターとして表示機能を有する既存のデバイスをスは 8 本の糸で各モータに接続される．各モータはモータ用いる方法を考える．エンドエフェクターとして利用できドライバにより PWM 駆動しケースにはめられたスマートそうな小型なディスプレイといえばスマートフォンやタブフォンに対して 6 自由の力覚を与える．モータドライバは© 2014 Information Processing Society of Japan235

USB2.0 により PC と接続され，各モータに付属するロータリエンコーダのカウントとモータのトルク指令値のやりとりを行う．

3.2 ソフトウェア構成
Smart Phone
Motor DriverUSB2.0!

PC図 3実験アプリケーション

Fig. 3 Application
UDP Client

UDPUDP Server

図 2 システム構成

Fig. 2 System Configuration

システム構成を図 2 に示す．近年のスマートフォンは計算能力が高く，複雑な VR アプリケーションが実行可能で

図 4 固定手法ある．一方，SPIDAR の制御 (位置・姿勢計算，張力計算)

Fig. 4 Fixed Display

Fig. 5 Gripped Display

MethodMethod等は一定の間隔で高速に行う必要があるため，モータドライバとの通信遅れや他の処理による計算遅れのない環境で

図 5

表 1実行するべきである．したがって，スマートフォンはアプ把持手法

質問項目

Table 1 Questionnaire

リケーションを実行し PC では SPIDAR の制御を行う．ま1.

目の前にゴリラの置物があるように感じられたのはどちらですか．

た，両者はユーザの操作の妨げにならないように無線通信

2.

迫力があったのはどちらですか．

で UDP により接続した．アプリケーションは PC で計算

3.

バーチャル空間に入り込んでいる感じがしたのはどちらでしたか．

4.

触りたいところにすぐ触れた方はどちらでしたか．

されたスマートフォンの位置・姿勢情報を受け取り反映する．そして，力覚情報を生成し PC に送信する．送信された力覚情報は各モータのトルク (糸の張力) に変換される．
将来的には，SPIDAR の制御を行う PC の代わりに組み込み CPU を用いることで，可搬性のあるスマートフォンガジェットとしての運用が可能であり，普及に繋がると考えられる．
アプリケーション開発環境には様々なプラットフォーム向けに開発が可能な Unity4 を用い，様々なアプリケーションで活用するために SPIDAR システムと接続するためのプラグインを作成した．

4. 評価と考察
4.1 評価実験
提案システムの臨場感と操作性を調査するために，主観評価実験を行った．スマートフォンの向こう側の VR 空

図 6

主観評価結果Fig. 6 Result of Experiment

トフォンケースを用いた．その後，臨場感・操作性に関する項目 (表 1) について，固定手法，把持手法，どちらも可，どちらも不可の 4 択に答えてもらった．

間にゴリラの置物がありそれを一人称視点で触るアプリ
ケーション (図 3) を被験者に体験してもらい, 従来のよう4.2 結果と考察にディスプレイ (力覚ポインターを表示する場所) とエンド学生 11 人に対して評価実験を行った．質問した項目毎

エフェクターが離れている固定手法 (図 4)，スマートフォにチェックが得られた手法に対して 1 点を加え，どちらもンを持って動かす把持手法 (図 5)，2 つの手法について比可と答えた場合は両方の手法に 1 点を加え，どちらも不可較してもらった．固定手法では，スマートフォンをフレーと答えた場合は加点をしない．結果を図 6 に示す．

ム上部中央に固定し，エンドエフェクターとしてはスマー© 2014 Information Processing Society of Japan

どの項目についても把持手法の点数が高い結果となった．

236

したがって，把持手法は固定手法に比べリアリティの高い示することで高い臨場感が得られる．

手法であると考えられる．質問 1，4 の結果と「把持手法は探索系ゲームの派生として，運動神経が問われるゲーム距離感が掴みやすい」という意見が得られたことから，把を作ることができる．例えば，いわゆる「イライラ棒」の持手法は特に VR 環境の物体の位置を把握しやすい手法でような，スマートフォンを動かして指定時間内に迷路状のあると考えられる．質問 4 は VR 体験よりもコンピュータ

通路内を壁等の障害物にぶつからないように進めるゲームの入出力装置としての評価を意図した質問であるが，把持が考えられる．このとき，力覚提示をうまく利用して，壁手法は質問 1, 3 よりも得点が低く，固定手法にも 4 点が加にひっぱられるような力を出したりすることで新しい感覚えられている．把持手法は，スマートフォンに正対しようのトラップを作ることもできる．と操作に合わせて頭を動かすことが多いため，操作によっハプティックノベルてはその動作が煩わしい場合もありえる．したがって，操既存のインタラクティブなデジタルノベルに対して，力作性という観点では固定手法にも利点があると考えられ覚提示を加えたものが考えられる．ノベル系ゲームに限らる．また，フレームに視界を遮られる，被験者がフレームず，従来の映像コンテンツの演出として「画面を揺らす」に接触しそうになることや糸が気になるという意見が得らなどの演出があったが，力覚提示により本当に画面を揺られたことから，より自由に VR 世界を見渡すにはモータのすことで新しい体験を提供することができる．特にホラー配置を再検討する必要があると考える．さらに，このシス系のコンテンツでは，ユーザの意図しない動きとしての力テムを用い実現したいことを被験者に聞いてみたところ，覚が恐怖感を増すことが想像できる．

AR(拡張現実感) 技術を用いたアプリケーションがしてみ

アナログアクションゲームたいという意見を多く得られた．スマートフォンに付属すジェンガ [13] のような実空間上のアナログな配置が意味るカメラを用いたアプリケーションの発展が考えられる．

を持つゲームは，繊細な力覚提示が重要な意味を持つため，以上を踏まえ，提案システムの特徴を以下のように列挙

本システムのような高いリアリティが求められる．同様のする．

ゲームとしては玉転がしゲーム [14]，将棋崩し [15] などが• VR 空間内の距離感を把握しやすい．

ある．

• AR のように実空間と VR 空間のスケールを重ね合わドライブシミュレータせられる．

近年のレースゲームでは，ゲーム機械で運転席に相当す• スマートフォンの計算資源や機能が使える．

る椅子が揺れる [16] などの力覚提示があったが，スマー• ユーザの慣れ親しんだ端末が使える．

トフォンに対する力覚提示による一風変わった体験を提供

これを受けて次の章では具体的なアプリケーション例をすることができる．具体的には，車の傾きの再現や重力加提案する．

5. アプリケーション例
本章では，提案システムの特徴を活かしたアプリケー速度に相当する力覚提示を行うことで，擬似的な臨場感が得られると考えられる．同様のゲームとしてはフライトシミュレータが考えられる．
ハプティック金魚すくい

ション例をいくつか挙げる．これらの例は本研究の方向性

探索系ゲームのようにエンドエフェクターであるスマーの一端を示すもので，実装により検証を行った訳ではない．

トフォンを覗き窓として利用するだけでなく，ポイと呼ばれる金魚をすくう道具として利用することで，本システ

5.1 ゲームの力覚インタラクション

ム独自の体験を提供する．具体的には，ポイの少し手前にVR 体験の中でも，特に力覚を使ったインタラクション

バーチャルカメラがあるイメージでポイ越しにバーチャが求められるアプリケーションとしては，ゲームコンテン

ル世界を覗き込み，すくい上げた金魚が画面上で跳ねるとツが挙げられる．スマートフォンの既存のゲームに力覚入

その跳ねた時に伝わる揺れを力覚として提示する．同様な出力を加えたものや今回のシステムならではのゲームが考ゲームコンテンツとして釣りにも応用できる．

えられる．

サイエンス系シミュレーション

探索ゲーム
スマートフォンのカメラを使った既存の AR アプリケーションの発展版として，エンドエフェクターであるスマー

地球ゴマ [17] によるジャイロ効果の学習など，力覚インタラクションを利用するサイエンス系学習教材にすることができる．

トフォンをバーチャル世界を見るための窓として捉え，実空間を捕らえるように VR 世界を探索し，バーチャルな壁5.2 新しいメディアやモンスター等による障害を乗り越えて目的地までたどり

以上は VR 体験に関する論考であるが，提案システムは着くゲームが考えられる．スマートフォンが壁にぶつかっディスプレイが動くというこれまでにはなかった特徴もあた時や，モンスターからの攻撃を受けた時の衝撃を力覚提るため，新しいメディアとしてのアプリケーションも期待© 2014 Information Processing Society of Japan

237

できる．

[5]

テレカメラビジョン
テレビジョン放送やネットワークを使ったストリーミン[6]

グ放送などにおいて，提案システムを受信端末として想定した放送が考えられる．例えば，放送局等の映像配信者は，ドラマや舞台等の映像コンテンツを１つのカメラで撮影し，[7]

カメラのパン (左右振り) やチルト (上下振り) といったカメラパラメータを映像音声コンテンツのメタデータとして併せて伝送する．受信側では視聴者がエンドエフェクター[8]のスマートフォンで映像音声コンテンツを視聴するが，このときスマートフォンが受信したカメラパラメータに従っ[9]て動く．このように，カメラの向きが変わると表示する向きも変わるメディアとして利用することができる．
ハプティックテレビ電話[10]

上記のテレカメラビジョンの受信インタフェースを送受信で用いてテレビ電話のような通信を行う．自分のスマー
トフォンを動かすと相手のスマートフォンが同じ動きをす[11]

ることにより，従来のテレビ電話よりもインタラクティブな臨場感を作り出すことが出来ると考えられる．

6. おわりにVR 体験のリアリティ向上と普及を目的として，VR 体

[12]
[13]
[14]
[15]

験のための力覚インタフェースに求められる要求条件を示し，スマートフォンをエンドエフェクターとして用いる力覚インタフェースを開発した．主観評価により既存の力[16]佐藤 誠, 一色 正晴, 林 理平, 赤羽 克仁 : Open Source Interface, Spidar-mouse について, HCG シンポジウム (電子情報通信学会),C6-2,2009
則枝 真, 佐藤 誠 : パネル駆動型力覚提示タッチパネルとその力覚制御手法の提案, 情報処理学会インタラクション
2012,2012
徳井 太郎, 佐藤 俊樹, 横谷 知昂, 小池 英樹 : Photoelastic
Touch を拡張したやわらかな 3 次元タンジブルインタ
フェースの提案, 第 17 回インタラクティブシステムとソフトウェアに関するワークショップ (WISS 2009) 論文集,2009
野間春生, 宮里 勉, 中津良平 : 可搬ディスプレイを用いた
仮想物体操作のための力覚インタフェース, 電子情報通信学会論文誌,Vol.J81-D-2,pp.906-917,1998
MSN 産 経 ニ ュ ー ス ス マ ホ の 世 帯 普 及 率 ５ 割に タ ブ レ ッ ト も １ ５ ％ が 保 有 、総 務 省 調 査 ，
http://sankei.jp.msn.com/economy/news/130614/biz13061417550024-n1.htm
ソ フ ト バ ン ク 世 界 最 軽 量 の 防 水 ス マ ート フ ォ ン「DIGNORR202K」
発 売，
http://www.softbank.jp/mobile/info/personal/news/product/20130705a/
NAVER ま と め便 利 ！ や り す ぎ ？
iPhone と 合 体 す る ガ ジ ェ ッ ト い ろ い ろ ，
http://matome.naver.jp/odai/2134685053060937401
ジェンガ,http://www.takaratomy.co.jp/products/jenga/
玉転がしゲーム,http://woodcraft.kagayamokuzai.jp/2009/12/blog-posta 7646.html
将棋崩し,http://nanapi.jp/60332/
VISIONRACER
D-BOX
VR3,
http://www.ﬁrebox.com/product/4862/VisionRacer-DBox-VR3
地球ゴマ,http://www.aibsc.jp/nsj/02syou/110801 01/pri
nt.shtml

覚インタフェースとの比較実験を行い，提案するインタフェースの方がより臨場感を感じられることを示した．提案システムには実空間と VR 空間のスケールを重ね合わせられるといった特徴があり，それらの特徴を活かしたアプリケーション例を具体的に考案した．今回のシステムではスマートフォンを常に把持する形態としたが，把持していないとスマートフォンの重量によりスマートフォンが沈み込んでしまう問題がある．アプリケーションの拡充のために，今後はスマートフォンが立体的に移動し，ユーザが把持しない形態の VR 体験も研究対象としたい．
参考文献
[1]

[2]

[3]

[4]

佐藤 誠，平田幸広，河原田弘 : 空間インタフェース装
置 SPIDAR の提案, 電子情報通信学会論文誌,Vol.J74-D2,No.7,pp.887-894,1991
金 時学, 長谷川晶一, 小池康晴, 佐藤 誠 : 7 自由度力覚
ディスプレイ SPIDAR-G の提案, 日本バーチャルリアリ
ティ学会論文誌,Vol7,No.3,pp.403-412.2002
T. H. Massie and J. K. Salisbury : The PHANTOM
Haptic Interface: A Device for Probing Vitual Objects,
in Proc. 3rd Symp. on Haptic Interfaces for Virtual Environment and Teleoperator Systems,pp.295-300,1994
田村理乃, 村山 淳, 平田幸広, 佐藤 誠 : タッチパネルのための力覚インタフェース SPIDAR-tablet とその力覚計算方法の開発, 日本バーチャルリアリティ学会論文
誌,Vol.16,pp.363-3466,2011© 2014 Information Processing Society of Japan238