HAI シンポジウム2014
P-13

Human-Agent Interaction Symposium 2014

タッチパネルにおける UI デザインを考慮した操作特性モデルを用いたタップ座標補正
Revising Tap Point Using Tap Model Considering UI Design onTouch Panels
谷 尭尚 2∗
Takahisa Tani2

山田 誠二 1,2,3
Seiji Yamada1,2,3

1

国立情報学研究所
National Institute of Informatics
2
総合研究大学院大学
2
The Graduate University for Advanced Studies
3
東京工業大学3
Tokyo Institute of Technology
1

Abstract: In recent years, devices that use touch panels as interfaces, such as smart phones
and tablet PCs, have spread. These devices have many advantages. For example, operating thepanel can be done more intuitively in comparison with using conventional physical buttons, andthe devices are quite more flexible than those that use a traditional fixed UI. However, mistakes
frequently occur when inputting with a touch panel because the buttons have no physical boundaries and users cannot get tactile feedback with their fingers because the panels never change
physically. Thus, the input accuracy of touch-panel devices is lower than that of devices withphysical buttons. There are studies on improving input accuracy. Most of them use language
models for typing natural language or probabilistic models to describe the errors made when users
tap their fingers. However, these models are not practical, and the experiments are preliminary.
Thus, in this paper, we propose a more practical model for improving input accuracy, in which
the relative relationships between a target object and neighbor object that might influence error
making when touching the target are tested. We consider that our model can describe important
properties for designing various UIs depending on practical applications. We then make a plan toconduct experiments in order to build our model in a calibrated way and discuss our evaluation of
the model.

1

はじめに

近年，スマートフォンやタブレット PC など，インターフェイスとしてタッチパネルを利用したデバイスが普及し，仮想エージェントを実装するデバイスとしても多く利用されている．タッチパネルによる操作は従来の機械的なボタンによる操作に比べ直感的に行えることや，UI デザインの自由度が高いことなど多くの利点がある [8]．
一方，タッチパネルはタップ対象 (ボタン，キー，アイコン) が物理的に区切られていないため曖昧であり，∗ 総合研究大学院大学 複合科学研究科 情報学専攻〒 101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: tani@nii.ac.jp98

意図と異なる入力が行われやすい．また，入力時に機械的な変化を伴わない，すなわち機械的フィードバッ
クがないため，ユーザ自身が与えた入力を確認する手段が，従来の機械的ボタン入力に比べ乏しい．これらの理由により，入力精度が低下することが知られている．更に，機械的な抵抗を伴わず入力されるため，意図せず入力される場合もある．特にスマートフォンは画面領域が狭いため必然的に UI も小さくなり，隣のボタンが押されたと認識される fat finger 問題 [10] も発生しやすくなるため，入力精度の低下が顕著である．
この問題はポインティング操作の精度低下の一種と言える．今後デバイスの進歩によりタッチパネル以外の入力デバイスが普及することが予想されるが，ダイ!"#!

図 1 スマートフォンのソフトウェアキーボードの例
レクトマニピュレーションを用いた電子機器の普及が進むことで，ポインティング操作はより重要性を増すと考えられ，その精度向上は重要な課題である．
この問題の典型的なアプリケーションの 1 つとして，図 1 のような，ソフトウェアキーボードを用いた入力が挙げられる．ソフトウェアキーボードは，狭い領域に数多くのキーを配置する必要があり，必然的に個々のキーが小さくなるため，fat finger 問題が発生する代表的な事例である．
これらの研究は，主に以下の 2 種類の手法を用いている．第一は言語モデルを用いる手法 [1, 4] で，利用言語の情報を用いて，入力された文字列パターンから次に入力される文字を確率的に予測するものである．第二はタップモデルを用いる手法 [2, 6] で，画面上に表示したタップ対象に対し，ユーザが実際にタップする座標の差，すなわちタップ誤差をモデル化し，平面的に補正するものである．また，上記 2 種類の手法を組み合わせて用いる研究も行われている [3, 5, 9]．
アプリケーションを限定せず入力精度の向上を目指す研究も行われている [7, 11]．この場合，言語以外を入力することもあるため，言語モデルを用いる手法は採用できない．また，Web ページのような千差万別なUI 形状を対象とするため，ソフトウェアキーボードのようなキー配置が既知であることを前提として得られたモデルは適用できない．そのためこれらの研究は，画面上のタップ位置によってタップする際の指の角度が変化し誤差の量が変化することや，指とパネルの接触面の特性がユーザの認識とは異なっているなどの理由により，ユーザが意図したタップ位置とデバイスに入力されるタップ位置が異なる，すなわちキネマティク
ス的な要因による誤差をモデル化し，タップ位置の補正を行う．一方，インターフェイス形状の違いがタップ特性に与える影響は考察されていない．仮想エージェ
ントは特に，擬人化や視覚効果のために色やサイズが多様で，タップ対象が格子状に配置されない場合も多い．そのため，タップモデルはソフトウェアキーボードなどに比べ，より複雑になると考えられる．

99!$#!

図 2 タップ対象とタップ位置
そこで本研究では，インターフェイス形状の違い，すなわちタップ対象の色，サイズ，及び近傍のタップ対象との距離がタップ特性に与える影響を解析，モデル化し，入力精度向上，およびエージェントとのインタラクションの円滑化を目指す．

2

タップ位置補正による入力精度向上

2.1

インターフェイス形状によるタップモデ
ルへの影響

タッチパネルを用いた入力にはタップ，ドラッグ，フリック，ピンチなど様々な操作が用いられるが，本研
究ではタップのみを考える．
図 2 において，青い四角形をタップ対象とする．先行研究 [3, 12] によると，人間のキネマティクス的な要因により，手のホームポジションからの移動距離を小さくする方向に移動する．そのため，右手で操作する
場合，青線のような分布を持つ図 2(a)．
しかし，実環境でのタップにおいては，インターフェイスの形状によりタップ位置が変化することが予想される．すなわち，タップ対象の近傍に別のオブジェクト (緑の四角形) が存在する場合，ユーザはそれが誤反応しないよう意識するため，タップ位置は緑の四角形から遠ざかるように移動すると考えられる図 2(b)．他にも，タップ対象の色や形状，大きさなどにより，タップモデルが変化する可能性がある．

2.2

エラーモデル

タップにおいて人間が意図したタップ座標 pc = (xc , yc )とシステムが認識するタップ座標 ps = (xs , ys ) の間にはしばしばエラー e = (xe , ye ) が生じる．すなわち

pc = ps + eとなる．
先行研究で指摘されているキネマティクス的なエラー
ek は，ユーザの手の形状 h やタップ位置 ps の影響を受ける．
ek = f (h, ps )この関数 f は pc , ps , h から回帰により得る．
本研究では更に，インターフェイスの形状によりエラー ec が生じると考える．すなわち(a) 目的のマーカのみ表示(b) 追加のマーカを 1 個表示(c) 追加のマーカを 2 個表示(d) 追加のマーカを 8 個表示

e = αek + (1 − α)eTc
ここで α は重み付けの係数である．
ec はタップ位置周辺のタップ対象の配置により決定される．また，タップ位置 ps の影響を受けることが予想される．タップ対象のインデックスを n，タップ位置とタップ対象の距離を l，タップ対象の大きさを s，タップ対象の色を c とすると，∑ec =fn (ln , sn , cn , ps )
nとなる．

3実験

3.1

実験方法

図 3 タスク画面

エラーモデル ec の獲得，及びそのモデルを用いて補正した場合の入力精度評価を行う．
参加者にタッチパネル上に表示されるマーカをタップするタスクを与える．図 3 にタスク画面を示す．ランダムで，図 3(a) のように目的のマーカ（目標マーカ）のみを表示，または図 3(b)〜図 3(d) のように，周辺にマーカ（周辺マーカ）を 1 個〜8 個表示する．ここで，中心に黒い印のある灰色の四角形が目標マーカ，無印の灰色の四角形が周辺マーカである．目標マーカある
いはその近傍一定領域内をタップすると，表示されているマーカは全て消え，別の位置に次のマーカが表示される．参加者には周辺マーカをタップしないよう教示する．マーカのサイズは 3mm×3mm，マーカ間の距離は 1mm である．
利き手の人差し指でタップし，もう一方の手でデバイスを保持する．参加者は全員右利きであったため，右手100で操作し左手でデバイスを保持した．マーカは計 1000回表示する．
タップのパラメータを記録し，考察する．
デバイスは Nexus 4((株) Google，画面サイズ 4.7inch，画面解像度 1280 pixel × 768 pixel) を使用する．

3.2

評価方法

3.2.1

インターフェイス形状に対するタップ位置のエラー

マーカーの中心を意図タップ座標とする．目標マーカのみを表示させた時の e を ek とする．周辺マーカを表示させた時の e から ek を除いたものを ec とする．ek お
よび ec のそれぞれに対しガウスプロセス回帰（GPR）によりモデルを構築する．ek の独立変数はシステムの出力するタップ座標，ec の独立変数は周辺マーカのパターンである．

100

1.0

estimate
data

25

50

0.8

0.6

0.4
15-500.2

0ec [pixel]

20

100.0

0.2

0.4

0.6

0.8

-100

0.0
1.0(a) 水平方向のエラー

045

90

135

180

225

2703151.0

angle [deg]5(a) 水平方向のエラー
100

0.8
00.6

estimate
data
-50.0

ec [pixel]-100.2-150.20.40.60.81.0-500.00500.4(b) 垂直方向のエラー-100

図 4 タップ位置とキネマティクス的なエラーの関係

03.2.24590135180225

270315

入力補正精度の評価
angle [deg]

提案手法によって得られたタップモデルを用いて入力データを補正し，入力精度の評価を行う．比較対象
は，無補正及び ek のみのモデルとする．

3.3

実験結果

3.3.1

エラーモデル(b) 垂直方向のエラー

図 5 マーカの表示位置と認知的なエラーの関係下に表示していることを意味する．追加のマーカが左下にあるとタップ位置は右上に移動し，同じくマーカが右下にあると上に，右にあると左下に移動することがわかる．これらの結果は，追加のマーカを避ける方向にタップ位置が移動するという予想を裏付けている．

図 4 に，目標マーカのみを表示した時のタップ位置と，それに対するエラーの回帰結果（平均値），すなわ
ちキネマティクス的なエラー ek を示す．平面はタッチパネル上の座標であり，色は各点におけるエラーの量を pixel 単位で表している．4(a) は右方向の誤差，4(b)は下方向の誤差を表す．全体として右方向，すなわち操作する手の方向にタップ位置が移動し，画面左側，すなわち操作する手から遠い位置ではエラーが大きいことがわかる．これは先行研究と同じ傾向である．
図 5 に，周辺マーカを 1 つ表示した時のエラー，及びその回帰結果を示す．横軸は追加のマーカを表示した位置 (角度) であり，0 は右に，90 は上に，225 は左

3.3.2

入力補正

表 1 に，各条件におけるタップの成功率を示す．ただし，無補正は得られたデータのタップ座標が目標マーカ内である割合，モデルを用いた補正は 10-fold crossvalidation による平均値である．

101

精度は 19.6%向上した．キネマティクス的なエラーモ
デルによる補正に比べ，精度の向上率は低いが，認知的なエラーモデルがタップ座標のエラーを表していることが示唆された．
さらに，キネマティクス的なエラーモデルと組み合わせた場合，キネマティクス的なエラーモデルのみ用いた場合に比べて 1.4%向上した．これにより，両モデルを用いることで，実用的な状況における入力座標の推定において，より高い精度を実現できることが示された．

表 1 タップの成功率表示するマーカ
目標マーカのみ
周辺マーカ 1 つ

無補正
39.3%
42.9%

ek のみ
70.8%
68.3%

3.4

考察

3.4.1

得られたエラーモデル

ec のみ
62.5%

ek + ec
69.7%

キネマティクス的なエラーについて，操作する手の方向にタップ位置が移動し，操作する手から遠い位置ではエラーが大きいことがわかる．これは先行研究と同じ傾向である．
認知的なエラーについて，追加のマーカが左下にあるとタップ位置は右上に移動し，同じくマーカが右下にあると上に，右にあると左下に移動することがわかる．これらの結果は，追加のマーカを避ける方向にタップ位置が移動するという予想を裏付けている．

3.4.2

4

タップ精度

無補正の場合，周辺マーカが 1 つ表示された場合の方が，目標マーカのみ表示された場合より，成功率が高いことがわかった．実験参加者に対するヒアリング
では，周辺マーカがある方が上手くタップ出来たという回答が複数あり，これと一致したと言える．これは，周辺マーカを表示することで慎重にタップしようとする効果の他，目標マーカだけではマーカが指で隠れてしまうのに対し，周辺マーカを表示することにより目印となる効果があると考えられる．
目標マーカのみ表示した場合において，キネマティクス的なエラーモデルにより入力座標の補正を行った
結果，入力精度は 31.5%向上した．これは先行研究と似た傾向であるが，より大幅に精度を向上することに成功しており，キネマティクス的なエラーモデルによる入力補正は十分に機能していると言える．先行研究と精度が異なる理由として，操作姿勢の違いが考えられる．
先行研究ではデバイスを両手で横長に保持し，両親指で操作しているのに対し，本研究では片手で縦長に保持し，もう 1 方の手の人差し指で操作している．よって精度について単純に先行研究と比較することは出来ない．
一方，周辺マーカを 1 つ表示した場合，同じモデルを用いて入力座標の補正を行った結果，入力精度の向上は 25.4%に留まり，入力精度自体も目標マーカのみ表示した場合と比べて 2.5%低下した．これは補正に使用したモデルが人間の行動特性を十分に表せていないことが原因と考えられる．
目標マーカのみ表示した場合において，認知的なエラーモデルにより入力座標の補正を行った結果，入力102

まとめ

本研究では，タッチパネルにおける入力の精度向上，及びタッチパネルを用いた仮想エージェントとのインタラクションの円滑化のため，インターフェイス形状を考慮したタップモデルを検討した．実験の結果，インターフェイス形状の違いによりタップ位置が変化することが示された．更に，インターフェイス形状を考慮したモデルを用いることで，入力精度が向上することが示唆された．今後更に解析を行い，より複雑なインターフェイス形状に対する考察や，さらなる入力精度の向上を目指す．

参考文献[1] Khaldoun Al Faraj, Mustapha Mojahid, and Nadine Vigouroux. Bigkey: A virtual keyboard formobile devices. In Proceedings of the 13th International Conference on Human-Computer Interaction. Part III: Ubiquitous and Intelligent Interaction, pp. 3–10. Springer-Verlag, 2009.
[2] Leah Findlater and Jacob Wobbrock. Personalized input: improving ten-finger touchscreen
typing through automatic adaptation. In Proceedings of the SIGCHI Conference on HumanFactors in Computing Systems, CHI ’12, pp. 815–824. ACM, 2012.
[3] Mayank Goel, Alex Jansen, Travis Mandel,
Shwetak N. Patel, and Jacob O. Wobbrock. Contexttype: using hand posture information to improve mobile touch screen text entry. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’13, pp. 2795–2798. ACM, 2013.
[4] Joshua Goodman, Gina Venolia, Keith Steury,and Chauncey Parker. Language modeling forsoft keyboards. In Proceedings of the 7th international conference on Intelligent user interfaces,
IUI ’02, pp. 194–195. ACM, 2002.
[5] Asela Gunawardana, Tim Paek, and Christopher
Meek. Usability guided key-target resizing forsoft keyboards. In Proceedings of the 15th international conference on Intelligent user interfaces,
IUI ’10, pp. 111–118. ACM, 2010.
[6] Johan Himberg, Jonna Häkkilä, Petri Kangas,and Jani Mäntyjärvi. On-line personalization ofa touch screen based keyboard. In Proceedingsof the 8th international conference on Intelligent
user interfaces, IUI ’03, pp. 77–84. ACM, 2003.
[7] Christian Holz and Patrick Baudisch. Understanding touch. In Proceedings of the SIGCHIConference on Human Factors in Computing
Systems, CHI ’11, pp. 2501–2510. ACM, 2011.
[8] J A Pickering. Touch-sensitive screens: the technologies and their application. Int. J. Man-Mach.
Stud., Vol. 25, No. 3, pp. 249–269, September
1986.
[9] Dmitry Rudchenko, Tim Paek, and Eric Badger.
Text text revolution: a game that improves text
entry on mobile touchscreen keyboards. In Proceedings of the 9th international conference on
Pervasive computing, Pervasive’11, pp. 206–213.
Springer-Verlag, 2011.
[10] Katie A. Siek, Yvonne Rogers, and Kay H. Connelly. Fat finger worries: how older and younger
users physically interact with pdas. In Proceedings of the 2005 IFIP TC13 international conference on Human-Computer Interaction, INTERACT’05, pp. 267–280. Springer-Verlag, 2005.
[11] Daryl Weir, Simon Rogers, Roderick MurraySmith, and Markus Löchtefeld. A user-specificmachine learning approach for improving touchaccuracy on mobile devices. In Proceedings of the25th annual ACM symposium on User interface
software and technology, UIST ’12, pp. 465–476.
ACM, 2012.
[12] 萩谷俊幸, 上向俊晃, 加藤恒夫. 確率モデルに基づくキーボード入力方式. 第 74 回全国大会講演論文集, 第 2012 巻, pp. 13–15, mar 2012.

103