情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B542015/3/6

スマートフォンにおける操作指とは異なる指への触覚提示
フレルバータル ソガルラグチャー†1

中井 優理子†1梶本 裕之†1†2

概要：タッチパネルにおける触覚提示を実現した従来の提案手法の多くは，画面に触れる指（操作指）を提示対象としていた．そのため画面の視界を遮らない触覚提示手段が必要であり，そうした提示手段で高密度に触覚を呈示することは困難であった．一方，タッチパネル裏面であれば視界の問題から解放されるため高密度な触覚提示が可能となる．先行研究でも裏面全体に触覚提示する手法の提案がみられるが，裏面全体への高密度触覚提示はコストが高い．
そこで本研究ではデバイスを支える指だけに，操作指周辺の画面情報を触覚的に提示する手法を提案する．今回は触覚提示指と操作指が同じ手の指である場合と異なる手の指である場合の触知覚能力の違いについて検証した．

Tactile Presentation on a Finger that is Different from Operating
Finger for Smart Phone
KHURELBAATAR SUGARRAGCHAA†1 YURIKO NAKAI†1HIROYUKI KAJIMOTO†1†2
Abstract: In most traditional methods that enabled tactile presentation on touch screen, fingers touching the screen was used fortactile presentation. Therefore, the tactile presentation method must be transparent so that it does not obstruct the view of the screen.
On the other hand, if the tactile sensation is presented at backside of the device, the tactile display need not be transparent. However,the cost of covering the whole backside with high-density tactile display is still high. To overcome these limitations, we haveproposed to use a small and dense tactile display at the backside that is touched by one finger, and the information around theoperating finger on the screen is presented by the tactile display. This article reports the ability of shape discrimination, comparing
the case with single hand and two hand operations.

1. はじめにタッチパネルの搭載されたデバイスの普及に伴い，そのた例もいくつか存在する．例えば透明電極を用い画面上での電気刺激を可能にした Kajimoto の Skeletouch や 9)，タッ
チパネル表面に物理的な凹凸を出現させボタン位置などの操作の快適さや正確さの向上が重要な課題となっている．

触覚的手がかり付加を可能にした Tactus Technology 社のタッチパネルは操作対象であるアイコンに直接触れるなどTactile Layer が挙げられる 10).

直感的操作が可能である一方，クリック感などの触覚フィ

以上の先行研究全体に共通するのは，画面に触れる指ードバックの欠如が入力パフォーマンス低下（操作ミスな（本稿では操作指と呼ぶ）を触覚提示の対象としている点ど）に繋がることが先行研究により知られている 1) 2)．こうである．このため画面を視覚的に遮らない「透明」な触覚した背景からタッチパネルにおける指先への触覚提示手法提示手段が必要であり，そうした提示手段で高密度に触覚が多く提案されてきた．Fukumoto らの ActiveClick や 3)，京を提示する手段は限られていた．

セラの新感覚タッチパネル 4)は振動子を用いてタッチパネ

この問題を解決する一つの考え方は，画面の裏面におけル全体を振動させることでアイコン押下時のクリック感のる触覚提示である．裏面に触覚提示装置を配置する場合，提示を実現した． Bau らの TeslaTouch5)はタッチパネル上

触覚提示素子は透明である必要は無い．モバイルデバイス

で静電気力を制御しテクスチャ感や凹凸感の表現を実現しの研究分野では指によって画面が隠される問題（Fat Finger

た．Takasaki ら 6)，Winfield ら 7)の超音波触覚ディスプレイ

Problem）を解決するために裏面にタッチセンサを配置するは超音波振動の有無によって表面テクスチャを改変した．

研究例は多いが 11) 12)，裏面で触覚提示を行った例は限られSaga らの 2.5D Display は指にタッチパネル水平方向の力ている．前述の ActiveClick では持ち手側での触覚提示も提を加える事で摩擦感や凹凸感を提示した 8)．

案している．また Fukushima らはタッチパネル裏面に電気

こうした提案の多くは指を静止させた時には空間解像刺激用電極を敷き詰めることで触覚提示を持ち手全体に対度が原理的に指サイズのに限定されるという制約がある．

して行う手法を提案した 13)．しかし裏面全体への高密度触これに対してより細かい解像度の触覚提示の実現を目指し†1 電気通信大学
The University of Electro-Communication†2 科学技術振興機構さきがけ
Japanese Science and Technology Agency© 2015 Information Processing Society of Japan632

覚呈示はコストが高く現実的ではないという課題が残されけした．
触覚ディスプレイは USB シリアル通信によりスマートていた．
そこで本研究では裏面への触覚提示を行うにあたり，裏フォンと直接通信した．スマートフォンは操作指の位置に面でデバイスを支える指一本（本稿では提示指と呼ぶ）に応じた触覚提示パターンを触覚ディスプレイに送信した．

だけ提示する手法を提案する．表面の操作指の動きに追従し，操作指を中心とした一定範囲内の触覚を裏面に提示する．当然，操作指の動きにともなって裏面での提示パターンは変化するため，操作指の動作と，提示指での触知覚が融合して容易に解釈できるかどうかが本手法の鍵となる．
なおこのような，動作部位と触覚提示部位が異なる状況は，例えば視覚障害者用の視触覚変換装置として広く使われた
Optacon14)でも同様に生じている（Optacon の場合は片方の手でカメラを動かし，もう片方の手の指で触知覚を行う）．
しかし指による操作と別の指による知覚が同様に融合する

図 2

システム構成図Figure 2 The System Concept

かどうかは未知であり，さらに操作する面の裏面に触覚提示面がある状況も検討されていなかった．
我々は前報で，ピンマトリクスの機械的な上下運動をする触覚提示装置を用い，片方の手の指で操作した時にもう片方の手の指による触知覚が成立することを確認した 15)．
今回は触覚提示部を薄型化するために電気刺激を採用し，スマートフォンの裏側に電気触覚ディスプレイを配置したシステムを作成した．デバイス（図 1）を片手で持ち親指で操作する場合と，デバイスを持たない手の人差し指で操作する場合の 2 条件下で形状認識が可能であるかを確認した．
図 3

使用デバイス（左：電気触覚ディスプレイ，右：スマートフォン）
Figure 3 Hardware prototype（Left: Electro-Tactile Display, Right: Smartphone）
2.1 提示アルゴリズム
タッチパネル上の操作指の動きに追従し，その指を中心とした一定範囲以内の触覚を，裏面でデバイスを支える指（提示指）に提示した．前述のように提示指は静止しているため，ユーザは操作指の動きと提示指に提示される触覚を統合して知覚することになる．
図 4 に触覚ディスプレイを操作している様子と，その際
図 1

デバイスの外観

Figure 1 Appearance of the Deviceに触刺激が行われている位置を示す． 操作指で表示図形に対してアプローチすると，裏面の触覚ディスプレイにはタッチパネルに描画されている図形の鏡像（左右反転）が操

2. システム構成
図 2 にシステム構成図を示す．本研究では触覚提示デバ作指を中心として描かれる．裏面でデバイスを支える指は触覚ディスプレイ中央に固定されているため，この例では斜め線が流れていく様子を知覚する．

イスとして電気触覚ディスプレイ 16)，スマートフォンとして LG G2 (F320S Android OS) を使用した（図 3）．電気触覚ディスプレイは直径 1.2mm の電極が 61 点，中心間距離2mm の最密充填構造で配置され，一辺 10mm の正六角形である．この触覚提示装置をスマートフォンの裏面に貼り付© 2015 Information Processing Society of Japan633

3.1 実験 1：線識別実験
本実験ではスマートフォンの裏面に触覚提示する際，提示される線の角度が変化した場合にも線の角度を正しく知覚可能であるかを検証した．また本提案システムのセットアップではデバイスの表面の情報を裏面に提示するという状況であるため鏡像的な混同が生じる可能性も考えられる．
これについても検証した．本実験の被験者は 6 人（男性，22 歳～27 歳，平均 23 歳）で，全員日常的にスマートフォンを扱っている．
実験の各試行では角度が異なる複数の線の内 1 本を触覚ディスプレイで提示し，被験者に表示された線を答えさせた．なお触覚ディスプレイはタッチパネルの裏面に配置されており，かつタッチパネルの画面に線は表示されていなかったため被験者からは提示している線が見えない状態であった．提示する線は図 6 に示す 4 種類で，ランダムに 5回提示した．すなわち 1 セットの実験の試行回数は 20 であった．また実験は 2 種類の条件で行い，一方は片手の親指で操作し人差し指に提示する条件，もう一方はデバイスを持たない手の人差し指で操作しデバイスを持つ手の人差し指に提示する条件とした．順序効果をなくすため，被験者ごとに前者と後者の実験の順番を変えた．今後，前者の条件での実験を「片手の実験」，後者の条件での実験を「両手の実験」と記載する．なおタッチパネル上の図形の物理
図 4

動作図の様子的なサイズは一致するよう調整した．例えばタッチパネル

Figure 4 System Design

上で 1cm 指を動かしたとき，触覚ディスプレイ上のパターンも 1cm 動くようにした．

3. 評価実験
操作指とは異なる指に触覚提示し，線の方向識別と図形識別の 2 つの実験を行った．また各実験において図 5 のようにデバイスを支える手の親指で操作する場合と，デバイスを持たない手の人差し指で操作する場合の 2 条件について検証した．全被験者は右利きであったため，右手でスマートフォンを持つこととした．また各識別実験では正答率

図 6

提示した線の種類

Figure 6 4 Types of Line that Presented in the Experiment及び所要時間を調査した．
図 7 に 1 セットの実験の手順を示す．まず各被験者は本研究で作成したデバイスと実験について説明を受けながら，画面上に見える 4 つの線を 1~2 分間触れる．
その後被験者は「片手の実験」あるいは「両手の実験」のどちらか（被験者ごとに順番が異なる）を選び，実験を開始した．各試行では，画面の真ん中にある赤い四角の中に触りながら，そこに提示されている線を裏面の触覚提示によって答えさせた． 各試行を行った後に 1 秒の休憩をはさみ次の試行が行われた．全 20 試行を行い 1 セットの実験が終了とした．実験では正答率および操作指が赤い四a) 片手の実験
図 5b) 両手の実験

角の中に触れていた時間（＝刺激時間）を計測した．

検証実験の様子

Figure 5 The View of the Experiment© 2015 Information Processing Society of Japan634

表 2線識別実験の混同行列（両手）Table 2 Confusion matrix of Line Identification Experiment(2 hands)
被験者の回答

両手の実験

提示
線−╱｜

╲

− (30)

70%

7%

3%

20%

╱ (30)

13%

80%

3%

3%｜(30)

7%

10%

73%

10%

╲ (30)

7%

7%

7%

80%

片手の実験と両手の実験それぞれの平均正答率は 90.8%と 75.8%であった．したがって，操作指と提示指が両方同じ手であった場合の方が両手の場合より正答率が高くなることが分かった．
図 73.2.2 回答時間
実験手順

図 8 に平均回答時間の比較結果を示す．横軸は左が片手

Figure 7 Experimental Procedureの実験，右が両手の実験であり，縦軸は全被験者の平均回答時間である．片手で行った実験は 3.9 秒程度であるに対

3.2 実験 1 結果し，両手で行った実験は 6.7 秒程度であった．したがって，

3.2.1 正答率

操作指と提示指が両方同じ手であった場合の方が両手の場

表 1 に片手で線識別実験を行った際の混同行列を示す．

合より速く判別できることが分かった．（p<0.05）

全ての線において正答率は 87％以上であった．特徴的な誤答は「―」や「｜」線を「／」線に間違えた場合であり，8低かった．これは被験者がスマートフォンを右手で持っているために生じた姿勢または認知によるバイアスが原因となっているのではないかと考えられる．
表 1

線識別実験の混同行列（片手）Table 1 Confusion matrix of Line Identification Experiment

Average Time (s)それぞれ 10％であった．逆向きの斜め線に誤答する割合はp<0.056420
1 hand(1 hand)
片手の実験

提示線被験者の回答

図 8−╱｜╲− (30)

87%

10%

0%3%

╱ (30)

3%93%

3%0%｜(30)

0%

10%

87%

3%

╲ (30)

0%

3%

0%

97%

2 hand

線識別実験の平均回答時間比較（左：片手の実験，右：両手の実験）
Figure 8Comparison of Average Time in Line Identification
Experiment3.3 実験 2：図識別実験
実験 1 とほぼ同じ条件で 4 つの図形の識別実験を行った．

表 2 に両手で線識別実験を行った際の混同行列を示す．

本実験では，実験 1 で提示した線よりも複雑な図形にした

全ての線において正答率は 70％以上であった．表 1 の結場合にも裏面の触覚提示から図形を判別可能か検証した．

果と同様に表 2 の結果でも「－」と「｜」線の正答率は「／」

提示した図形は図 9 に示す 4 種類である．と「＼」の正答率より低かった．ただし片手での実験の場合のような特定のバイアスは特に観察されなかった．

被験者は 4 人（男性，22～24 歳，平均 23 歳）で，実験 1を行ったのと同じ被験者であった．実験 2 は実験 1 の 4 日後に行った．

© 2015 Information Processing Society of Japan635

3.4.2 回答時間
図 10 は図形識別実験を片手で行った場合と両手で行った場合の平均回答時間を比較した結果である．横軸は左が片手の実験，右が両手の実験であることを示し，縦軸は全
図 9：提示した図形の種類被験者の平均回答時間である．片手で行った実験は 6.1 秒

Figure 9 4 Types of Shape that presented in the Experiment程度であるに対し，両手で行った実験は 7.96 秒程度であった．その結果，実験 1 の結果と同様に片手で操作する場合

3.4 実験 2 結果の方が両手で操作する場合よりも早くなることが分かった．

3.4.1 正答率

（p<0.05）

表 3 に片手で図形識別実験を行った際のエラーマトリ
た．
表 3

図形識別実験混同行列（片手）Table 3 Confusion matrix of Shape Identification Experiment(1hand)
片手の実験

提示
図形

Average Time (s)ックスを示す．全図形において，正答率は 85%以上であっ8
p<0.056420

被験者の回答1 hand2 hand□◯△×□ (20)

85%

5%

0%

10%

◯ (20)

5%

95%

0%0%

（左：片手の実験，右：両手の実験）

図 10

図形識別実験の平均回答時間比較△ (20)

0%

5%

95%0%

Figure 10 Comparison of Average Time in Shape Identification

× (20)

0%0%

0%

100%Experiment

表 4 に両手で図形識別実験を行った際のエラーマトリックスを示す．全図形において，正答率は 80%以上であった．

4. おわりに本研究ではタッチパネルにおける高密度の触覚提示を低コストで実現するため，裏面に指先サイズの触覚提示素子

表 4図形識別実験混同行列（両手）Table 4 Confusion matrix of Shape Identification Experiment(2hands)
両手の実験

提示
図形を配置する手法を提案した．触覚提示素子には電気触覚ディスプレイを使用し，操作指の動きに追従してその指を中心とした一定範囲内の触覚を裏面に触覚提示することが可能である．

被験者の回答□◯△×□ (20)

80%

15%

5%0%

◯ (20)

15%

85%

0%0%

△ (20)

5%0%

85%

10%× (20)

0%

0%

0%

100%

今回はスマートフォンとその裏面に配置された電気触覚ディスプレイにより裏面の指先に線や図形の触覚刺激が提示された際の触知覚能力を検証した．実験結果により，触知覚する指とは異なる手の指で操作する場合に対し，触知覚する指と同じ手の指で操作する場合の方が正答率は高く，所要時間も短いという結果が得られ，触知覚能力は高いことが確認された．

片手の実験と両手の実験の両方において「□」は他の図形より正答率が低かった．また「□」と「○」が一番間違

今後は本研究での提案の応用可能性を証明するためのサンプルアプリケーションを作成する予定である．

われやすいことが分かった．
「×」に関してはエラーが一回も起きなかった．
また片手の実験と両手の実験それぞれの平均正答率は93.8%と 87.6%であった．したがって，図形識別実験においても線識別実験結果と同様に，片手で操作した場合の方が謝辞

本研究の一部は JSPS 科研費 25700020 の助成を受けたものです．

両手で操作する場合と比較し，正答率が高くなることが分かった．

© 2015 Information Processing Society of Japan636参考文献
1) Sears, A. Improving Touchscreen Keyboards: Design issues and acomparison with other devices, Interacting with Computers, Vol.3,Issue.3, (1991), 253-269.
2) Hasegawa A., Yamazumi T., Hasegawa S. and Miyano M. Evaluating
the input of characters using software keyboards in a mobile learning
environment, WMUTE2012, (2012), 214-217.
3) Fukumoto. M., Sugimura, T. Active Click Tactile Feedback for Touch
Panels, CHI 2001, (2001), 121-122.
4) [4] 京セラ株式会社トピックス「新感覚タッチパネル」：
http://www.kyocera.co.jp/topics/2012/1003_ntcp.html
5) Bau, O., Poupyrev, I., Israr, A., Harrison, C. Tesla-touch: Electrovibration for touch surfaces, UIST 2010 (2010), 283-292.
6) Takasaki, M., Kotani, H., Mizuno, T., Nara, T., Transparent surface
acoustic wave tactile display. In proc. of Intelligent Robots andSystems (IROS), 2005.
7) Winfield, L., Glassmire, J., Colgate, J.E., Peshkin, M., T-PaD: Tactile
Pattern Display through Variable Friction Reduction. In proc. ofEuroHaptics Conference, 2007 and Symposium on Haptic Interfaces forVirtual Environment and Teleoperator Systems. World Haptics 2007.
Second Joint
8) Saga, S., Deguchi, K., Lateral-Force-Based 2.5-Dimensional Tactile
Display for Touch Screen, Haptics Symposium (2012), 15-20.
9) Kajimoto, H. Skeletouch: Transparent Electro-Tactile Display for
Mobile Surfaces, SIGGRAPH Asia 2012 Emerging Technologies(2012), Article No. 21.
10) Tactus Technology, Inc., Taking Touch Screen Interfaces Into A
New Dimension, (2012).
11) Wigdor, D., Forlines, C., Baudisch, P., Barnwell, J., Shen, C.:“LucidTouch: A See-Through Mobile Device”, In proc. of UIST 2007,
pp.269-278, (2007)
12) Xiang, X., Teng, H., Jingtao, W., LensGesture: Augmenting
Mobile Interactions with Back-of-Device Finger Gestures, In proc. ofthe ICMI, pp.287-294. ACM, (2013)
13) Fukushima, S. and Kajimoto, H. Palm Touch Panel: Providing
Touch Sensation Through the Device, In proc. of ITS '11 (2011), 79-82.
14) J.G. Linvill and J.C. Bliss, "A Direct Translation Reading Aid for
the Blind", In proc. of the IEEE, Vol.54, No.1, Jan. 1966, pp. 40-51
15) Kh.Sugarragchaa, 中井, 梶本: タッチパネルのための操作指とは異なる指への触覚提示, 第 19 回日本バーチャルリアリティー学会大会, Sep, 2014.
16) H. Kajimoto: Electro-tactile Display with Real-time Impedance
Feedback using Pulse Width Modulation, IEEE Trans. on Haptics, vol.5,no.2, pp.184-188, 2012.

© 2015 Information Processing Society of Japan637