The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

3B4-OS-10b-4

タッチパネルにおけるキー配置を考慮した操作エラーモデル
Tap Error Model to Improve Input Accuracy of Touch Panels∗1

国立情報学研究所

National Institute of Informatics

谷尭尚∗2

山田誠二∗1∗2∗3

Takahisa TANI

Seiji YAMADA∗2

総合研究大学院大学

The Graduate University for Advanced Studies∗3

東京工業大学Tokyo Institute of Technology

In recent years, devices that use touch panels as interfaces, such as smart phones and tablet PCs, have spread.
These devices have many advantages. For example, operating the panel can be done more intuitively in comparison
with using conventional physical buttons, and the devices are quite more flexible than those that use a traditional
fixed UI. However, mistakes frequently occur when inputting with a touch panel because the buttons have nophysical boundaries and users cannot get tactile feedback with their fingers because the panels never change
physically. Thus, the input accuracy of touch-panel devices is lower than that of devices with physical buttons.
There are studies on improving input accuracy. Most of them use language models for typing natural languageor probabilistic models to describe the errors made when users tap their fingers. However, these models are notpractical, and the experiments are preliminary. Thus, in this paper, we propose a more practical model for improving
input accuracy, in which the relative relationships between a target object and neighbor object that might influenceerror making when touching the target are tested. We consider that our model can describe important properties
for designing various UIs depending on practical applications. We then make a plan to conduct experiments inorder to build our model in a calibrated way and discuss our evaluation of the model.

1.

はじめに

近年，スマートフォンやタブレット PC など，インターフェイスとしてタッチパネルを利用したデバイスが普及し，仮想エージェントを実装するデバイスとしても多く利用されている．タッチパネルによる操作は従来の機械的なボタンによる操作に比べ直感的に行えることや，UI の自由度が高いことなど多くの利点がある [8]．
一方，タッチパネルはタップ対象 (ボタン，キー，アイコン)が物理的に区切られていないため曖昧であり，意図と異なる入力が行われやすい．また，入力時に機械的な変化を伴わない，すなわち機械的フィードバックがないため，ユーザ自身が与えた入力を確認する手段が，従来の機械的ボタン入力に比べ乏しい．これらの理由により，入力精度が低下することが知られている．更に，機械的な抵抗を伴わず入力されるため，意図せず入力される場合もある．特にスマートフォンは画面領域が狭いため必然的に UI も小さくなり，隣のボタンが押されたと認識される fat finger 問題 [10] も発生しやすくなるため，入力精度の低下が顕著である．
この問題はポインティング操作の精度低下の一種と言える．
今後デバイスの進歩によりタッチパネル以外の入力デバイスが普及することが予想されるが，ダイレクトマニピュレーションを用いた電子機器の普及が進むことで，ポインティング操作はより重要性を増すと考えられ，その精度向上は重要な課題である．
この問題を解決し入力精度を向上する研究は，図 1 のような，スマートフォンのソフトウェアキーボードについて盛んに行われている．
ソフトウェアキーボードは，狭い領域に数多くのキーを配置する必要があり，必然的に個々のキーが小さくなるため，fat

図 1 スマートフォンのソフトウェアキーボードの例

finger 問題が発生する代表的な事例である．
これらの研究は，主に以下の 2 種類の手法を用いている．第一は言語モデルを用いる手法 [1, 4] で，利用言語の情報を用いて，入力された文字列パターンから次に入力される文字を確率的に予測するものである．第二はタップモデルを用いる手法[2, 6] で，画面上に表示したタップ対象に対し，ユーザが実際にタップする座標の差を統計的に算出し，平面的に補正するものである．また，上記 2 種類の手法を組み合わせて用いる研究も行われている [3, 5, 9]．
また，アプリケーションを限定せず入力精度の向上を目指す研究も行われている [7, 11]．これらの研究は，タップにおける指の角度や，ユーザが意図したタップ位置とデバイスに入力されるタップ位置の関係など，人間のタップ特性をモデル化し，タップ位置の補正を行う．一方，インターフェイス形状の違いがタップ特性に与える影響は考察されていない．
そこで本研究では，インターフェイス形状の違い，すなわ
ちタップ対象の色，サイズ，及び近傍のタップ対象との距離がタップ特性に与える影響を解析，モデル化し，入力精度向上を目指す．

連絡先: 総合研究大学院大学 複合科学研究科 情報学専攻〒 101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: tani@nii.ac.jp1

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

abcsum!"#!

10!$#!

2.1-5-10-10-50510ec はタップ位置周辺のタップ対象の配置により決定される．
また，タップ位置 ps の影響を受けることが予想される．タッ
プ対象のインデックスを n，タップ位置とタップ対象の距離をl，タップ対象の大きさを s，タップ対象の色を c とすると，タップ位置補正による入力精度向上
ec =インターフェイス形状によるタップモデルへの影響∑

fn (ln , sn , cn , ps )n

タッチパネルを用いた入力にはタップ，ドラッグ，フリック，ピンチなど様々な操作が用いられるが，本研究ではタップのみを考える．
図 2 において，青い四角形をタップ対象とする．先行研究[3, 12] によると，人間のキネマティクス的な要因により，手のホームポジションからの移動距離を小さくする方向に移動する．そのため，右手で操作する場合，青線のような分布を持つ
図 2(a)．
しかし，実環境でのタップにおいては，インターフェイスの形状によりタップ位置が変化することが予想される．すなわ
ち，タップ対象の近傍に別のオブジェクト (緑の四角形) が存在する場合，ユーザはそれが誤反応しないよう意識するため，タップ位置は緑の四角形から遠ざかるように移動すると考えられる図 2(b)．他にも，タップ対象の色や形状，大きさなどにより，タップモデルが変化する可能性がある．

2.20

図 3 エラーモデルの概念図

図 2 タップ対象とタップ位置

2.

5となる．
図 3 に概念図を示す．x, y 軸はそれぞれタッチパネル上の位置を，z 軸は各点におけるエラーの大きさを表す．a, b, c はそれぞれ，1 つのボタンが周辺のタッチエラーに与える影響を表し，sum はそれらを線形結合したもの，すなわち ec である．

3.

実験計画

3.1

実験方法

エラーモデル ec と重み付け係数 α の同定，及びそのモデルを用いて補正した場合の入力精度評価を行う．
参加者にタッチパネル上に表示されるマーカをタップするタスクを与える．図 4 にタスク画面を示す．ランダムで，図 4(a)のように目的のマーカのみを表示したり，図 4(b)〜図 4(d) のように，周辺にマーカを 1 個〜8 個表示する．ここで，中心に黒い印のある灰色の四角形が目的のマーカ，無印の灰色の四角形が追加のマーカである．目的のマーカをタップすると，そのマーカは消え，別の位置に次のマーカが表示される．参加者には追加のマーカをタップしないよう教示する．マーカのサイズは 3mm×3mm，マーカ間の距離は 1mm である．
利き手の人差し指でタップし，もう一方の手でデバイスを保持する．マーカは計 1000 回表示する．
タップのパラメータを記録し，考察する．
デバイスは Nexus 4((株) Google，画面サイズ 4.7 inch，画面解像度 1280 pixel × 768 pixel) を使用する．

エラーモデル

タップにおいて人間が意図したタップ座標 pc = (xc , yc ) とシステムが認識するタップ座標 ps = (xs , ys ) の間にはしばしばエラー e = (xe , ye ) が生じる．すなわち

pc = ps + eTとなる．
先行研究で指摘されているキネマティクス的なエラー ek は，ユーザの手の形状 h やタップ位置 ps の影響を受ける．

ek = f (h, ps )

3.2

評価方法

3.2.1 インターフェイス形状とタップパラメータの比較
マーカーの中心を意図タップ座標とする．目的のマーカのみを表示させた時の e を ek とする．ek = (0, 0) となる点において，追加のマーカを 1 個表示した時の e を ec とする．ek 6= (0, 0)となる点において，追加のマーカを 1 個表示した時の e からα を求める．

この関数 f は pc , ps , h から回帰により得る．
本研究では更に，インターフェイスの形状によりエラー ecが生じると考える．すなわち

e = αek + (1 − α)eTc
ここで α は重み付けの係数である．

2

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
automatic adaptation. In Proceedings of the SIGCHIConference on Human Factors in Computing Systems,
CHI ’12, pp. 815–824. ACM, 2012.
[3] Mayank Goel, Alex Jansen, Travis Mandel, Shwetak N.
Patel, and Jacob O. Wobbrock. Contexttype: using hand posture information to improve mobile touch
screen text entry. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI’13, pp. 2795–2798. ACM, 2013.
[4] Joshua Goodman, Gina Venolia, Keith Steury, andChauncey Parker. Language modeling for soft keyboards. In Proceedings of the 7th international conference on Intelligent user interfaces, IUI ’02, pp. 194–
195. ACM, 2002.
(a) 目的のマーカのみ表示(b) 追加のマーカを 1 個表示[5] Asela Gunawardana, Tim Paek, and Christopher
Meek. Usability guided key-target resizing for softkeyboards. In Proceedings of the 15th international
conference on Intelligent user interfaces, IUI ’10, pp.
111–118. ACM, 2010.
[6] Johan Himberg, Jonna Häkkilä, Petri Kangas, andJani Mäntyjärvi. On-line personalization of a touch
screen based keyboard. In Proceedings of the 8th international conference on Intelligent user interfaces, IUI’03, pp. 77–84. ACM, 2003.
[7] Christian Holz and Patrick Baudisch. Understanding
touch. In Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, CHI ’11, pp.
2501–2510. ACM, 2011.
(c) 追加のマーカを 2 個表示(d) 追加のマーカを 8 個表示[8] J A Pickering. Touch-sensitive screens: the technologies and their application. Int. J. Man-Mach. Stud.,Vol. 25, No. 3, pp. 249–269, September 1986.

図 4 タスク画面[9] Dmitry Rudchenko, Tim Paek, and Eric Badger. Text
text revolution: a game that improves text entry on
mobile touchscreen keyboards. In Proceedings of the9th international conference on Pervasive computing,
Pervasive’11, pp. 206–213. Springer-Verlag, 2011.

3.2.2 入力補正精度の評価
提案手法によって得られたタップモデルを用いて入力データを補正し，入力精度の評価を行う．比較対象として，無補正，及びインターフェイス形状を考慮しないモデルを検討する．

4.

まとめ

[10] Katie A. Siek, Yvonne Rogers, and Kay H. Connelly. Fat finger worries: how older and younger users
physically interact with pdas. In Proceedings of the2005 IFIP TC13 international conference on HumanComputer Interaction, INTERACT’05, pp. 267–280.
Springer-Verlag, 2005.

本研究では，タッチパネルにおける入力の精度向上，及びタッチパネルを用いた仮想エージェントとのインタラクションの円滑化のため，インターフェイス形状を考慮したタップモデルを検討した．今後実験を行い，提案手法の有効性を検証する．

参考文献[11] Daryl Weir, Simon Rogers, Roderick Murray-Smith,and Markus Löchtefeld. A user-specific machine learning approach for improving touch accuracy on mobiledevices. In Proceedings of the 25th annual ACM symposium on User interface software and technology, UIST
’12, pp. 465–476. ACM, 2012.

[1] Khaldoun Al Faraj, Mustapha Mojahid, and Nadine
Vigouroux. Bigkey: A virtual keyboard for mobile devices. In Proceedings of the 13th International Conference on Human-Computer Interaction. Part III: Ubiquitous and Intelligent Interaction, pp. 3–10. SpringerVerlag, 2009.

[12] 萩谷俊幸, 上向俊晃, 加藤恒夫. 確率モデルに基づくキーボード入力方式. 第 74 回全国大会講演論文集, 第 2012
巻, pp. 13–15, mar 2012.

[2] Leah Findlater and Jacob Wobbrock. Personalized input: improving ten-finger touchscreen typing through3