情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B41
2018/3/5

AR 空間における形状記憶合金アクチュエータを用いた手袋型触覚提示システム
小林剛史†

三輪貴信‡

澤田秀之‡ 橋本周司‡

概要： AR 技術に糸状形状記憶合金をアクチュエータとして用いた触覚提示を加えることで，ユーザが仮想物体を直接触ることのできる AR システムを提案する．安全で小型という特徴をもつ形状記憶合金ワイヤを用いて，グローブ型触覚ディスプレイを作成し，仮想物体に擬似的な触覚感覚を提示するシステムを構築した．本稿では，これまでに作成したシステムの概要と，評価実験の結果について述べる．

A Glove-type Tactile Display Using
Shape Memory Alloy Actuators for AR Applications
Takeshi KOBAYASHI† Takanobu MIWA‡
Hideyuki SAWADA‡ Shuji HASHIMOTO‡
Abstract: We propose an AR system that enables users to directly touch virtual objects by adding tactile display using shapememory alloy as an actuator to AR technology. A glove - type tactile display was fabricated employing a shape memory alloy wirethat is safe and small, and a system for presenting a pseudo sense of touch to a virtual object was constructed. This paper describes
the overview of the created system and the results of the evaluation experiment.

1. はじめに触ることで物体の存在を感じ取る場合が多いため，ユーザに現実感を与えるのに大いに役立つと予想される．

拡張現実感（Augmented Reality: AR）は，現実の空間や物触覚を提示するために，様々な手法が提案されている体にコンピュータ・グラフィクス（CG）によって作られた[3]．たとえば，電気刺激を与えるものや[4][5]，超音波振動

人工的な物体や情報をリアルタイムに付加する技術である．

子を利用し提示するもの[6]，振動を利用し提示するもの[7]AR 技術は，近年急速な発展を見せており，業務用や自動車などがある．しかしながら，これらの手法には，装置の小用としての応用が進むほか，スマートフォンやタブレット型化，省電力化，あるいは安全性の確保面で課題があり，端末を活用したアプリが製品化されるなど，普及期に達し確立された手法は未だない．その一方で，スマートフォンつつあるといえる[1]．

やタブレット端末を利用したハンドヘルド型の AR は手軽

AR 研究の多くは，「映像合成」と「位置合わせ」の技術に利用でき，実際に家具配置シミュレータなどのサービスに関するものである．前者は，ユーザが見ている現実の空に利用されている．そのような手軽な AR に組み合わせる

間に仮想物体を重畳表示するためのディスプレイ技術であ

触覚提示デバイスには，端末と同様に可搬性の確保が重要る[2]．後者は，人工像を現実空間に対して幾何学的に矛盾である．

しない位置に表示するための 3 次元的な位置合わせの手法

そこで我々は，小型で単純な構造であり，安全に触覚をである[2]．これらの研究の根底には，現実空間と仮想物体提示できるデバイスとして，ワイヤ状に加工した形状記憶の間に存在する視覚的な違和感を取り除くことで，仮想物合金（Shape-Memory Alloy: SMA）を用いた微小振動アクチ体の現実感をより高めるという目的がある．しかしながら，

ュエ―タを研究している[8][9]．このアクチュエータを掌や人間は周囲の空間を視覚，聴覚また触覚から得られる情報指先部に配したグローブ型触覚ディスプレイを開発し，仮の統合によって認識しているのであり，ユーザが仮想物体想物体に触れたときの触感を映像に合わせて提示することからより高い現実感を得るには，視覚的な整合性を取るだ

で，ユーザが仮想物体を直接触ることのできる AR システ

けでは十分とは言えない．仮想物体の情報を複数の感覚へムを提案する．また，提案システムの有効性をユーザ実験統合的に提示できれば，ユーザは AR からより高い現実感によって評価する．

を得られると考えられる．特に触覚感覚の提示は，人間が† 早稲田大学先進理工学部
School of Advanced Science and Engineering, Waseda University‡ 早稲田大学理工学術院
Faculty of Science and Engineering, Waseda University© 2018 Information Processing Society of Japan1030

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B41
2018/3/5

金属ピン

SMAワイヤエポキシ基盤

ハンダ付け

図 3 作成した SMA ワイヤアクチュエータ

図 1 使用した SMA ワイヤ

Figure 3 Created structure of micro-vibration actuator.

Figure 1 SMA wire.

パルス波 •SMAワイヤ金属ピン

Webカメラグローブ型触覚ディスプレイ
ARマーカ
エポキシ基盤

図 2

微小振動アクチュエータ

図 4 提案システム図

Figure 2 Structure of micro-vibration actuator.

本研究では，触覚提示のアクチュエータとして，図 1 にAR

テーブル

ハンダ付け

2. SMA ワイヤによる微小振動アクチュエータ

タブレットPCFigure 4 Proposed system diagram.
効果的に力を取り出すことができる．このアクチュエー
タは SMA ワイヤにかけるテンションが高いほど，取り出示すような糸状に加工した SMA のワイヤを用いる．これせる力が大きくなるという特徴がある．

は Ti-Ni-Cu 系の SMA を直径 50m，長さ 5mm 程度に加工3. 試作 AR システムの構成したものであり，熱を加えると長さ方向に 5％ほど収縮し，放熱によって温度が下がると元の長さに戻るという性質を持っている．この SMA ワイヤにパルス電流を加えると，電流 ON 時に内部抵抗により自己発熱し，OFF 時に瞬時に放熱して冷却するため，パルスの周波数に同期した伸縮運動が繰り返される．この伸縮運動を図 2 に示す構造によって金属ピンの上下運動に変換して，SMA ワイヤを微小振動アクチュエータとして用いる．パルス電流の周波数，振幅，デューティ比を制御することで，最大 300Hz までの微小振動を生起でき，様々な触覚感覚が提示可能である．また，皮膚への接触面積が小さいため，温度や動作によって皮膚を損傷する危険性がない．また，駆動電圧が 2~3V であり，感電の危険性もない．アクチュエータ一個あたりの消費電力は数 mw 程度であり，省電力であることも大きな長所である．
図 3 に実際に作成した SMA ワイヤアクチュエータを示す．SMA ワイヤの両端に銅箔を取り付け，エポキシ基盤にハンダ付けした後，金属製のピンを SMA ワイヤの中央に取り付けたものである．金属製のピンを取り付けることで，した結果について述べる．

© 2018 Information Processing Society of Japan

試作したシステムは，ユーザの手の動作を認識して，現実空間に重畳表示された仮想物体に触れた感覚を SMA ワイヤアクチュエータの振動によって提示することができる．
図 4 に示すように，本システムはタブレット PC と 2 つのマーカおよび触覚提示グローブによって構成される．マーカの一つは仮想物体の位置決めに用いられ，もう一つはグローブに取り付けることでユーザの手の動きを認識する．
ユーザは，タブレット PC の画面を通して，画面の向こう側にある実空間とそこに重畳された仮想物体を見る．グローブを装着した手を仮想物体に触れるように動かすと，物体を触っている感覚が振動として提示される．以下に，本システムの実装について述べる．
3.1

ロケーションベース AR

手軽に利用できる AR システムの構築を目指し，開発環境には Unity と Vuforia を利用した．Vuforia は，マーカベースの AR ライブラリで，位置特定用のマーカをカメラで認識することで，実空間の意図した位置に仮想物体を重畳
表 示 さ せ る こ と が で き る ． カ メ ラ に は ， Logicool HD
Webcam C270 を用いた．

1031

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 5

3B41
2018/3/5

グローブ型触覚ディスプレイとマーカ(a) 実験中のユーザ

Figure 5 Glove type tactile display and maker.

(b) ユーザ視点画像
図 6 擬似ハンドと仮想物体

図 7 実験の様子Figure 6 Virtual hand and Virtual object.
3.2 グローブ型触覚ディスプレイ

Figure 7 Experimental situation.

4. 実験

図 5 に開発したグローブ型触覚ディスプレイを示す．こ提案システムを用いることで，AR 空間に表示された仮の触覚ディスプレイは，マイコン（mbed）と制御基板，微想オブジェクトから高い現実感を得ることができるのかを

小振動アクチュエータ，電源によって構成される．

検証するために，ユーザ実験を行った．ユーザが見ているアクチュエータは，掌の各指にグローブの外側から 2 個ず

画面内で仮想物体と擬似ハンドが接触したときに，グローつ，掌に 1 つが取り付けられている．これにより，アクチブを通して触覚を提示する場合としない場合で，仮想物体ュエータのピンの先が，皮膚に接触し，触知ピンの働きをの感じ方の違いを評価した．

することで，触覚感覚を呈示している．ただし，掌のアク4.1 実験参加者

チュエータは，手の皮膚とグローブの布の間に隙間が生じ

実験参加者は 20 代の男性 4 人である．いずれの被験者ないようにスポンジ状のクッションを縫い付け，そのクッも実験より以前に触覚提示を伴わないハンドヘルド型のションに SMA ワイヤとピンを直接取り付けるように実装

AR システムを使用した経験がある．

されている．仮想物体との接触に応じて，制御基板から各4.2 実験環境アクチュエータを駆動するパルス電流が出力され，ユーザに様々な触覚感覚を提示することができる．
3.3

接触・衝突判定

実験の様子を図 7 に示す．参加者は右手にグローブ型触覚ディスプレイを装着し，左手でタブレット PC を保持する形で実験を行った．仮想物体提示用のマーカは，テーブ

仮想物体とグローブ型触覚ディスプレイの接触は，グロルの上に配置されており，参加者はキャスター付きの椅子ーブの AR マーカの位置に，ユーザの手を模したオブジェに座った状態で実験タスクに取り組む．椅子は自由に動かクト（擬似ハンド）を作成し，仮想物体と擬似ハンドの接してもよいものとした．また，参加者はタブレット PC の触として処理される．本論文では，リアルタイム性を重視画面を見ながら，仮想物体とのインタラクションを行う．

し，それぞれのオブジェクトに Collider と呼ばれる形状を4.3 実験タスク定義し，その Collider 同士の衝突を判定することで処理の実験では，参加者に対してシステムの操作法を説明し効率化を図った．実際に使用した仮想物体と擬似ハンドをた後，AR 空間内で仮想物体を擬似ハンドで自由に触らせ

図 6 に示す．

た．このタスクを，アクチュエータを駆動させる電流パル

3.4スの ON-OFF デューティ比を 1:66，周波数 15Hz で，触覚デバイス間の通信システム

3.3 節に述べた接触判定によって，仮想物体とグローブが接触したと判定されると，タブレット PC からグローブのを提示する場合と，触覚を提示しない場合の両方で行わせ，その使用感をアンケートで評価した．

マイコンにシリアル通信によって制御信号が送られる．そアンケートでは，触覚を提示した場合と，していない場の信号に応じた駆動パルスが，マイコンから制御基盤に送合のそれぞれについて，以下の 4 つの質問に 7 段階評価

られ，各アクチュエータから指や掌に触覚が提示される．

© 2018 Information Processing Society of Japan1032

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

5. まとめと今後の展開

7触覚無し

6
評価値

3B41
2018/3/5

触覚有り

SMA ワイヤアクチュエータを内蔵するグローブ型触覚5

ディスプレイを用いて，仮想物体に触覚を持たせることで，

4仮想物体を直接触れる AR システムを提案した．実験結果

3から提案システムの有効性と将来性が確認された．今後は

2

マーカ認識の問題を解決するとともに，SMA アクチュエー
タの構造および触覚ディスプレイシステムを改善すること

1
①

②

③

④で，実物を模した商品を AR 空間で扱うなど，現実の物質の質感や手触りの提示を目指したいと考えている．また，

評価項目

タブレット PC とウェブカメラを組み合わせた構成では，

図 8 評価結果操作性に制限があると考えられ，今後はスマートフォンア

Figure 8 Evaluation results.

プリとしての開発に移行する予定である．

を求めた．

参考文献

①掌の接触部位を認識できるか．

[1]②

AR 空間で仮想物体に触っていると感じるか③

システムの操作性は良いか④

このシステムをもう一度使ってみたいか

評価値は 4 を基準とし，7 に近いほど肯定的，1 に近いほど否定的である．どちらとも言えない場合は基準である 4を選ぶように指示した．また，実験終了後に，提案システムに対するコメントを収集した．

[2]

[3]

[4]

4.3 評価結果
評価結果を図 8 に示す．評価値は参加者全員の平均を取[5]った値である．触覚提示システムのほうが全体的に好意的な評価を得た．評価項目①，②の結果は，触覚を提示する[6]ことで AR 空間における接触の認知や現実感が向上したと考えられる．また，項目④の結果から，触覚を提示したシステムのほうが，もう一度使用してみたいと感じる人が多[7]

く，システムの面白さが評価されたといえる．
項目③の結果から，触覚の有無に関わらず，システムの操作性が良くないといえる．参加者からのコメントにも操[8]

作性に言及したものが多かった．コメントには，仮想オブジェクトに触れるのは面白いが，手袋の着脱の手間やマーカの認識がスムースでなく操作しづらい，PC を手で持つのが煩わしい，もっと手の形を自由に変えたいといった意見[9]

柴田史久: 特集 拡張現実感（AR）4 応用 1：モバイル
AR 位置情報に基づく AR システム. 情報処処理 51, 4, 385–391. (2010)
神原誠之. 特集 拡張現実感（AR）1 基礎 1：拡張現実感（Augmented Reality: AR） 概論. 情報処理 51, 4, 367–372.
(2010)
篠田裕之: 皮膚感覚インタフェースの現状と展望. 第 4 回
システムインテグレーション部門学術講演会論文集, 412–413. (2003)
梶本裕之, 稲見昌彦, 川上直樹: 電気触覚を用いた皮膚感覚のオーグメンティドリアリティ. 日本バーチャルリアリテ
ィ学会論文誌 8, 3, 339–348. (2003)
Vibol Yem, Hiroyuki Kajimoto: Wearable Tactile Device using
Mechanical and Electrical Stimulation for Fingertip Interaction
with Virtual World. In 2017 IEEE Virtual Reality, 99–104. (2017)
Takayuki Iwamoto, Mari Tatezono, Hiroyuki Shinoda: Noncontact Method for Producing Tactile Sensation Using Airborne
Ultrasound. In Haptics: Perception, Devices and Scenarios, LNCS
5024, Springer, Heidelberg, 504–513. (2008)
安藤英由樹, 渡辺淳司, 稲見昌彦, 杉本麻樹, 前田太郎:
Augmented Reality のための爪装着型触覚ディスプレイの研究. 電子情報通信学会論文誌 D-II, 情報・システム, II-パターン処理 87m 11 2025–2033. (2004)
水上陽介, 澤田秀之: 形状記憶合金糸を用いた触覚ディスプ
レイと微小振動の発生確率密度制御による触覚感覚の呈示.
情報処理学会論文誌 49, 12, 3890–3898. (2008)
高瀬裕史, 姜長安, 澤田秀之: 拡張現実空間における触感覚呈示による仮想キャラクタとのインタラクションシステム.
情報処理学会インタラクション 2011 論文集, 83–90. (2011)があった．
本研究では AR マーカを用いて，仮想物体や掌のトラッキングを行っているため，マーカ認識の必要性により，動きが制限されてしまうという問題がある．深度カメラを使用して位置情報を取得するという手法も考えられるが，手軽に利用できる AR システムの構築を目的としていることから，触覚ディスプレイに色をつけることで，画像処理によるカラートラッキングが改善策として有効であると考えている．これにより，マーカの認識がされにくい問題や手の形を自由に変えたいといった問題を解決できる可能性がある．

© 2018 Information Processing Society of Japan1033