情報処理学会 インタラクション 2014
IPSJ Interaction 2014

A0-5
2014/2/27

TouchContext: タッチ操作の挙動分析に基づく
人のコンテキスト認識
平部 裕子1,a)

荒川 豊1

安本 慶一1

概要：スマートフォンを用いたコンテキスト認識では，加速度センサや GPS を用いた研究が数多く報告されているが，本研究はそうしたセンサの１つとして，スマートフォン上での「タッチ操作の挙動」を利用することを提案し，その値を取得・分析するための Analayzer の開発に関して報告する．さらに，開発したシステムを用いて分析を行い，タッチ操作の挙動が人のコンテキスト認識へ適用できる可能性について議論する．

TouchContext: Human Context Recognition based on Touch Operation
Analysis
Yuko Hirabe1,a)Yutaka Arakawa1

Keichi Yasumoto1

Abstract: This paper proposes to use “touch operation” for recognizing a human context as one of available
sensors in a smartphone. We have developped a system for logging and analyzing all the touch operation ona smartphone. And we report some evaluation results that show a possibility to apply a touch context forrecognizing a human context.

1. はじめに報」を，加速度センサを用いて認識する研究 [4] や，眼球動作に基づいて笑顔を認識する研究 [5] などがある．

近年，センサーネットワークやスマートフォンの普及にこのような背景のもと，本研究では，身近にありなが伴い，ユーザのコンテキストを取得しサービスとして還元らこれまで利用されてきていなかった新しい情報源としするコンテキストアウェアなサービスやアプリケーショて，「タッチ操作の挙動」を用いることを提案する．スマー

ンが次々と提案されている [1][2]．よりアウェアネスの高トフォンやタブレットの普及により，日常生活においていサービスを提供するためには，偏在する多くのセンサかタッチ操作が増加している．また，タッチパネルや OSら様々な情報を取得し，解析した上で，ユーザのコンテキ（Operating System）の進化により，マルチタッチを用いストを認識することが重要である．例えば，最も利用された UI（User Interface）も一般的になっている．そして，同ているコンテキストである「位置情報」は，GPS（Global

じアプリケーションでもマルチタッチの頻度や速度などのPositioning System）を利用することで容易に取得可能で挙動に差が出る可能性が高い．つまり，図 1 に示すように，あるが，GPS を利用できない屋内向けに，WiFi を用いたタッチ操作の挙動を通じてユーザの感情や個性，操作スキ

屋内位置推定手法の研究が数多くなされている．そして，

ル、姿勢，何を同時にしているか等，より複雑なコンテキ

近年では，より抽象的なコンテキストの取得に関する研究

ストがユーザのタッチ操作を取得し分析することで取得でが進んでいる．例えば，歩く・走る・座る，など「動作情きる可能性が高い．

1

erating System）では，セキュリティの観点から Sandbox

しかしながら，Android に代表されるモバイル OS（Op-a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
8916-5, Takayama, Ikoma, Nara 630–0192, Japan
hirabe.yuko.ho2@is.naist.jp© 2014 Information Processing Society of Japanと呼ばれる概念に基づいて設計されており，各アプリケー

158

姿勢などの状態コンテキスト

従来のセンサ

環境音ながらコンテキスト

加速度
GPS

Galaxy Nexus

タッチ操作
挙動分析

静止して・座って

Save

Overall

Analyze

Settings

走りながら
歩きながら

Google

1,243

265

55

859

65

24

立って
飲みながら

寝そべって

Speed (inch/s)

Swipe Speed

LINE
Facebook

15
12
9
6
3
0

喜び

怒り・苛つき悩み・ストレス

興奮

10

30
Time

40

50

60

リラックス

人間の心理コンテキスト

図1

20

Android!

タッチ操作の挙動からわかるコンテキストの例

PC!

ション間は完全に分離されている．すなわち，さまざまな

USB!

アプリケーションに対して行われるタッチ操作を別のロガーから監視，取得することは一般的には難しい．それに対して，我々は OS から出力されているデバイスイベント

図2

TouchAnalyzer の構成

ファイルに着目し，その一見不可解なログファイルを逆解析することによって，スマートフォン上でのあらゆるの者が自らアプリ及びサイト内にスクリプトを埋め込む必要

タッチ操作を取得できるのではないかと考えた．

があり，それ以外のアプリケーションではユーザのタッチ

イベントデバイスファイルは，我々の提案の有無にかか操作を取得することはできない．つまり，本研究で行いた

わらず，OS によって常時出力されているファイルであり，いアプリケーションを横断してのユーザのタッチ操作の取その逆解析が成功すれば，本コンテキストの利用による電得は不可能である．

力増大をほとんど招くことなく常時取得可能な情報源とな
りうる．

TouchLogger[6] や Touchalytics[7] という類似した名前の研究があるが，これはタッチ操作そのものを取得するのそこで本論文では，タッチ操作の挙動という情報が人のではなく，タッチ操作で入力するソフトウェアキーボード

コンテキスト認識に利用可能かという検証に先立ち，まのキー入力を推定するというセキュリティ分野の研究であず，Android OS 上でのあらゆるタッチ操作を認識可能なり，ソフトウェアキーボードの各キーを押した場合の加速

ロガーの開発について報告する．その後，開発したロガー

度センサの変化を分析するのみに留まっている．

を用いて，２名の被験者実験を行い，タッチ操作の挙動の違い，および違いからわかることに関して議論する．

2. 関連研究3. 開発したロガー TouchAnalyzer について
将来的には，スマートフォンの１つのアプリケーショ
ンとしてロガーを実装したいと考えているが，今回は，タッチ操作ではないが，ユーザが Web ページのどのボタ

出力されるログの意味を分析することを目標とし，図 2

ンや部分がクリックされやすいかという情報を可視化するに示すように，ロガーは PC 上で動作し，スマートフォ

商用システムは多く存在し，代表的なものに ClickTale*1 がンは USB 経由で接続される構成とした．TouchAnalyzer

あげられる．これは，Web ページにスクリプトを埋め込むは Android SDK の platform-tools に含まれる，Android

ことで，マウス操作を追跡し，追跡結果を録画する等の機

Debug Bridge（以下 adb と記載）と python を用いて実能をもつ．また，スマートフォン向けの ClickTale Touch

現する．TouchAnalyzer の分析対象となる AndroidOS は，も提供されており，スマートフォンアプリにおいても同様

AndroidOS 全バージョンであるが，実機を用いて確認しに使用できる．アプリ開発者がアプリケーション内に実装ているのは，バージョン 4.2.4，4.2.1，4.1.2，4.0.4，4.0.2，

することで，アプリケーション内の操作状況を取得してい2.3.4 である．ロガーの画面は，開発中のイメージである

る．さらにヒートマップを用いてユーザの操作結果を可視

が，タッチ操作の挙動を記録・再生する機能，アプリケー化している．しかしながら，ClickTale では，サービス提供

ションごとの色分け機能，各タッチ操作の統計および推移*1

http://www.clicktale.com/products/clicktale-touch© 2014 Information Processing Society of Japanを表示する機能などから構成される．

159

3.1 タッチ操作ログの取得
Android では，Linux と同様に/dev/input などのデバイ
スログにタッチイベントに関するデータが出力される．そこで，TouchAnalyzer では，まず/dev/input などのデバイ
スログに出力されるタッチイベントログを，adb ツールから
シェルコマンドを発行し取得する．またこの時，foreground(ユーザが操作している) のアプリケーションのログを取得

図3

シングル・マルチタッチ

図5

ピンチイン・ピンチアウト

図4

シングル・マルチスワイプ

する．しかしながら，機種によってタッチイベントの出力
先や時刻フォーマットが異なる．
具体的には，/dev/input などのデバイスログには，ファルダ event0〜event*まで存在する．ただし「*」の値は数字であり，各機種により event フォルダの存在する数は異なる．さらに，時刻フォーマットは大きく 2 つ存在し，これもまた機種により異なる．我々が確認した各機種とタッ

図6

ローテート

チイベントの出力先，時刻フォーマットの違いについてまとめたものを，表 1 に示す.

されるデータは，左から順に，起動経過時間，処理フラグ，
種類，値を示している．起動経過時間とその他の出力は，

表1

2 点タッチした際に出力されたデータ

機種

1
2
3
4
5
6
7

Galaxy Nexus
Galaxy S III
Ideapad Tablet
Xperia Arc HD
Nexus 4
Galaxy Note II
GalaxyS II

時刻フォーマット
「-」型
「.」型
○
○
○
○
○
○
○

event
1
2
6
○
○
○
○
○
○
○

セミコロンとスペースで区切られている．処理フラグ，種Android OS類，値の項目はスペースにより区切られている．タッチし

4.2.1
4.0.2
2.3.4
4.0.4
4.2.4
4.1.2
4.0.3

た際に出力されるデータは 16 進数で表現されている．今回は，処理フラグ，種類，値の項目を，それぞれ 1 列目，2
列目，3 列目として定義した．各列に出力されるデータは16 進数で表現されている．起動経過時間，処理フラグ，種類，値の項目内容について順に詳しく述べていく．
まず，起動経過時間について述べる．起動経過時間の時

以 降 の 章 で は ，Android4.0.2 が イ ン ス ト ー ル さ れ た

刻フォーマットには 2 種類存在し，ハイフン「-」型，コロ

GalaxyS II のタッチログデータを用いて，タッチイベン「.」型がある．機種ごとの出力の違いについては，表 1

ントデータの解析を行った結果について述べる．

に示している．また，1 列目の処理フラグについて述べる．
処理フラグには「0000」と「0003」2 つの値が出力され，そ

3.2 タッチ操作ログデータの解析/dev/input などのデバイスログに出力される実際のタッ

れぞれタッチイベントが未処理であるか処理中であるかを表している．

チイベントデータログは，一見してもどのようなタッチ

次に，2 列目の種類について述べる．この種類とは，出操作が行われたのか不明である．TouchAnalyzer では，代力されたログデータがどのような値の取得，または処理を表的なタッチ操作として，図 3 のシングルタッチ・マルチ行っているかを表している．処理フラグが「0000」の時は，タッチ，図 4 のシングルスワイプ・マルチスワイプ，図 5

必ず 2 列目に「0000」が出力される．今回この情報は，取のピンチイン・ピンチアウト，図 6 のローテートに関して，得した情報の区切りとして用い「==== ==== ====」

デバイスイベントファイルの逆解析を行う．

と表した．また処理フラグが「0003」の時，つまりタッチ

これらの挙動は，スマートフォンを操作する多くのユー

イベントが処理されている時は，(a)〜(g) の処理内容が存ザが一般的によく行うものであり，またスマートフォンのタッチ操作のほとんどを占めている．もしこれらの挙動の識別とユーザが使用しているアプリケーションのデータが同時に取得できれば，ユーザがどのアプリケーションを頻

Semicolon + space

Elapsed time from wake-up

繁に使用し，アプリケーションごとにどのようなタッチ操Time format

作を行っているのか，といった情報が取得可能になると考104683-768654
or104683.768654

える．これらの情報は，タッチ操作の挙動に対する様々なコンテキストを推定する上で必要になると考える．

3.2.1 タッチイベントデータのフォーマット
実際に出力されたログデータの 1 文を図 7 に示す．出力© 2014 Information Processing Society of Japan

Space

Space

104683-768654: 0003 0039 000026bd
Type

Flag of processing
0000 : unprocessed
0003 : during processing

図7

Value

0000 : Delimiter
002f : (a) Tracking number of recognized finger
0039 : (b) Sequence number
0035 : (c) x-coordinate0036 : (d) y-coordinate0030 : (e) Radius of ground contact area
003a : (f) Pressure of ground contact area
0039 : (g)Touch exit

出力されるログデータの 1 文

160

在する．2 列目に「002f」が出力される場合には，(a) 認識

は，認識した指の数だけ (b)〜(f) の値を取得し，認識したした指に追跡番号の取得を行っている．また，「0039」が出

指の追跡が行われる．タッチイベントの終了に関しても同力された場合には，(b) シーケンス番号と (g) タッチ終了

様に行われ，(a) で得られた指の追跡番号の分だけタッチが存在し，この識別には，3 列目の値を用いている．もし 3

イベントの終了が行われる．タッチイベント処理の流れを

列目が「ﬀﬀﬀﬀ」ならば，(g) タッチ終了を示している．そAlgorithm1 として示す．例えば，3 本の指で画面をタッチの他の値であれば，(b) シーケンス番号の取得を行っている．「0035」が出力された場合は，タッチした場所の (c) x
座標を取得し，「0036」が出力された場合は，タッチした場
所の (d) y 座標を取得している．また，「0030」が出力された場合は，タッチした部分，つまり (e) 接地面積の半径を取得したことを示している．GalaxyS II の解像度が WVGA

(Wide-VGA) の幅 800px，縦 480px であるため，面積単位
は [rad · px2 ] で表されると考える．「003a」が取得された

Algorithm 1 シングルタッチ・マルチタッチ時の処理
if (a) が取得されない then
表 2 の (b)〜(f) を取得
else {(a) が取得される }for (a) 認識した指の追跡番号がある && 追跡番号が 10 より小さい do
認識した指の追跡番号ごとに表 2 の (b)〜(f) を取得
end forend if場合は，タッチした部分の圧力，つまり (f) 接地部分の圧力を示している．圧力単位は [hPa] である．
表2

2 点タッチした際に出力されたログ

ぞれの指において (b)〜(f) の値を取得し追跡していく．まログ解析結果たもし仮に，3 本の指で画面をタッチした後，指を 1 本画

列1

列2

列3

タッチイベントに関する面から離し，2 本指で操作する場合は，追跡番号から離さ

0003
0003
0003
0003
0003
0000
0003
0003
0003
0003
0003
0003
0000
0003
0003
0000
0003
0003
0000

002f
0039
0035
0036
0030
0000
002f
0039
0035
0036
0030
003a
0000
002f
0039
0000
002f
0039
0000

0000001
000001b1
00000098
000001ca
00000053
00000000
0000000
000001b2
0000015c
000001b1
0000005d
00000006
00000000
0000001
ﬀﬀﬀﬀ
00000000
0000000
ﬀﬀﬀﬀ
00000000(a) 認識した指に追跡番号(b) シーケンス番号(c) x 座標(d) y 座標(e) 接地面積の半径==== ==== ====(a) 認識した指の追跡番号(b) シーケンス番号(c) x 座標(d) y 座標(e) 接地面積の半径(f) 接地部分の圧力==== ==== ====(a) 認識した指の追跡番号(g) タッチ終了==== ==== ====(a) 認識した指の追跡番号(g) タッチ終了==== ==== ====

出力ログ例

1
2
3
4
5
6
7
8
9
10
11
13
14
15
16
17
18
19
20

した場合は，それぞれの指に追跡番号が割り振られ，それれた指のみを識別し，タッチ終了の処理を行う．そして，残りの 2 本の指の追跡を続ける．認識される指の数は最大で 10 本であることを確認した．TouchAnalyzer による描
画結果を図 8 として示す．

3.2.3 シングルスワイプ・マルチスワイプ
スワイプはシングルタッチ・マルチタッチ時の認識方法を応用している．つまり，Algorithm1 を繰り返し，追跡している指ごとに終了判定が行われる（指が離れる）まで連続
でタッチデータを取得し続ける．これにより，シングルス
ワイプ，マルチスワイプを認識している．TouchAnalyzer
によるスワイプ描画結果を図 9 として示す．

3.2.4 ピンチ
ピンチにはピンチイン・ピンチアウトが存在し，マルチ
スワイプの場合でも，特に２点スワイプ時に起きる特別な表 2 は，端末画面を 2 点タッチした際，/dev/input/event2

挙動である．追跡している指が離れるまで連続でタッチに出力されたログの例とそのログを図 7 の (a)〜(g) を用いデータを取得し，追跡していた 2 本の指が離れた場合に，て解析した結果である．処理フラグ，種類，値の項目を，取得した 2 つの終点 P3 ，P4 の間の距離 L1，始点 P1 ，P2それぞれ 1 列目，2 列目，3 列目として定義している．表 2の間の距離 L2 を求め，L1，L2 の大小比較からピンチイの出力からわかるように，(a)〜(g) のうち，必ず出力されン・ピンチアウトを認識している．TouchAnalyzer によるるものと，そうでないものがある．具体的には，(b)，(c)，ピンチイン描画結果と，始点・終点の関係を図 10 の左と(d)，(g) のログデータは必ず出力される．また，(a) はマル

して示す．

チタッチ時のみ出力され，追跡番号が付与される．(e)，(f)3.2.5 ローテートは出力される頻度としては低い．この理由としては，センローテートは２点タッチと 2 点スワイプを組み合わせた

サ の感度が原因であると考える．以降，出力された内容の特別な挙動である．Algorithm1 を繰り返すスワイプ動作

解析結果 (a)〜(g) を用いて詳述していく．

の中でも，タッチデータの軌跡が円を描くような場合に認3.2.2 シングルタッチ・マルチタッチ

識される．追跡している指が離れるまで連続でタッチデー

タッチした際，シングルタッチかマルチタッチかを判タを取得し，終点 P3 から始点 P1 ，P2 を結ぶ直線へ垂線断するために，表 2 に示した (a) 認識した指の追跡番号を引いた距離を L1，終点 P4 から始点 P1 ，P2 を結ぶ直線が使われている．もし (a) が取得されなければ，シングル

へ垂線を引いた距離を L2 とし，L1 と L2 の長さがある閾

タッチであると判断される．また，(a) が取得された場合値以上であればローテートであると認識する．今回は始© 2014 Information Processing Society of Japan161

B(x0, yn)
Time Tn(xk, yk)Time Tk
A(x0, y0)Time T0
図 11

タッチ操作によく見られるスワイプの軌跡

める場合，式√x¯ab =
図8(xn − x0 )2 + (yn − y0 )2
Tn − T0(1)

シングルタッチ・マルチタッチが適用される．しかしながら，タッチ操作の挙動においては，しばしば（特にスワイプ時）図 11 に示すような軌跡が見られる．しかしこの場合，点 A と点 B の x 座標は等しいため，式 1 では適切な速度を取得できない．そこで本研
究では，挙動ごとの平均速度を出力するために 2 つの計算式を考案し，TouchAnalyzer に実装した．取得したタッチ
操作の挙動として取得した描画点が n 個あった時，求める速度を式 2 と定義した．

√(xk+1 − xk )2 + (yk+1 − yk )2
k=0
Tk+1 − Tk
n−1∑n−1
x¯ab =
図9

シングルスワイプ・マルチスワイプ(2)

点 P1 ，P2 を結ぶベクトルを u，始点 P1 と終点 P3 を結ぶベクトルを v，始点 P2 と終点 P4 を結ぶベクトルを w と

式 2 は，点間隔ごとに速度を出して最終的に取得した点

し，外積計算から L1 と L2 を求めローテートを認識した．

の数から 1 引いた値で割っている．つまり，各点ごとの速TouchAnalyzer によるローテート描画結果と，始点・終点度を取得し足した後，全体の速度の平均をその挙動の速度の関係を図 10 の右として示す．

としている．我々が提案する 2 式により，図 11 に示すような軌跡でも速度を取得できると考える．

Starting point P1

Starting point P1

3.4 タッチ操作の可視化
L2

End point P3
L1

u
End point P4
K2

End point P4
Starting point P2w
K1
End point P3v

解析したタッチ操作ログのデータから，タッチ操作の可視化を行った．TouchAnalyzer では，PC に USB 接続した端末のタッチデータをリアルタイムに取得し，取得したｘ，y座標を用いて，タッチした場所を点として描画する．また，Starting point P2取得したデータにタッチ面積の半径が含まれる場合には，描画する点を円とし，タッチ面積の半径に合わせて描画す
る円の大きさが変わるよう設計した．また TouchAnalyzer

図 10

ピンチとローテートの定義

は，タッチ操作の挙動を取得する際，foreground にあるア
プリケーションの情報を横断的に取得している．そして，
アプリケーションがユーザのタッチの挙動により切り替わ3.3 タッチ操作の統計分析
各識別した挙動ごとの頻度と平均速度を出力した．頻度は，先に示したタッチ操作の挙動を認識した回数により求める．次に，平均速度について述べる．一般的に速度を求© 2014 Information Processing Society of Japan

るたび，描画する色を変化させている．

4. タッチ操作の取得実験
実際に開発したシステムを用い，タッチ操作の取得実験

162

The counted number of each touch area
Subject 2
7060Counted Numbers

50

40

30

20

1
2
3
4

10

0
4

A
di nu
vi m
d b
- h ed a e of
eig re
ht as

3
2
4
3

1
2
1

A number of divided areas - width

図 14
図 12

フリック入力ユーザ

The counted number of each touch area
Subject 1!

フリック入力ユーザ

70

50

40

30

20

Counted Numbers!

60

1
2

10

3

0

4

4

A
di nu
vi m
d b
- h ed a e of
eig re
ht as

3
2

4
3

1
2
1

A number of divided areas - width!

図 15

日本語ローマ字入力ユーザ

ル以上の暴風となっている．
図 13

日本語ローマ字入力ユーザを行い，コンテキストの差がタッチ操作に現れるのかを検＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

4.1.1 入力方式による違い

証した．本実験では，操作慣れによる差をできる限り低減

スマートフォンで日本語を入力する場合，QWERTYするため，被験者が普段利用している端末とは異なる端末

キーボードでローマ字入力をする方法だけではなく，フ（Galaxy SII）を用いて実験を行った．実験課題は，（1）用

リック操作により入力する方法などいくつかの入力方法が意した実験課題と（2）３分間各自の Facebook ページを操考えられる．それらの入力にはそれぞれ特徴があると考え作する，という 2 つである．また，以降の節におけるタッて，タッチ操作の挙動と入力方式の関係について分析した．

チ操作の速度は，定義式 2 を用いて算出された値である．

今回の被験者 4 名の場合，フリック入力とローマ字入力の2 方式のみであり，携帯入力など他の入力手法を利用して
4.1 文字入力を用いた実験

いるユーザはいなかった．

１つ目の実験課題は，以下の文章を入力するというもの

図 12，図 13 にそれぞれの入力方式におけるシングルス

である．この文章は，Yahoo ニュースから取得したものでワイプとシングルタッチの頻度について示す．フリック入あり，被験者は初めて目にする文章である．この際，英字力のユーザは，シングルスワイプの頻度が多いのと，毎秒など普段，日本人が入力に慣れていない文字は含まない文現れていることが特徴的である．一方，ローマ字入力の場

章を選定するとともに，漢字の知識に依存しないようにす

合はシングルタッチが多く，たまにシングルスワイプが現べての漢字に対して読み仮名をふった原稿を用意し，印刷れる．このシングルスワイプは，変換候補が表示され選択された原稿を見ながら入力してもらっている．

する際に，1 ページ目の所望の候補が表示されず，スワイ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

プでページめくりをしている状態と考えられる．これらの台風 27 号は 17 日午後 3 時現在、マリアナ諸島にあり、結果から，利用している入力方式は容易に推定可能である

ゆっくりと北北西へ進んでいる。中心気圧は 970 ヘクトパと考えられる．

スカル、中心付近の最大風速は 35 メートルで、強い勢力

次に，これをデバイスの画面領域を縦・横それぞれ 4×4となった。また、中心から 90 キロ以内では風速 25 メートに分割し，分割した領域毎にカウントしたものを図 14，図© 2014 Information Processing Society of Japan

163

図 16

図 17 座りながらタッチ速度（シングルスワイプ）

15 に示す．これは，携帯電話のスクリーンのどの領域が頻繁に利用されいているかを表しており，グラフ奥がスマー
トフォンの画面下部に相当する．この図から，明確な差をどのような分析手法で発見するのかは今後の課題であるが，フリック入力は画面下部をまんべんなく使っているのに対して，ローマ字入力では，同じ画面下部であっても偏りが見られることがわかる．
最後に，タッチ速度の変化について示す．今回は，速度によるユーザ間の明確な差を分析することができなかった
ため，スワイプ入力の被験者 1 名の速度変化を一例として
図 16 に示す．この図では，横軸が経過時間を表し，縦軸

図 18が速度を表す．フリック入力の度に，速度が上がり，文字

寝転びながら選択（シングルタッチ）の際に速度が 0 になると考えられる．今後，速度の分散や入力文字との関係性を分析するとともに，同じフリック入力ユーザでどのような違いが現れについて分析を行った．
図 21 は 4 人の被験者のスワイプ操作に関する速度分布

るのかに関しても分析していく予定である．

である．横軸は各スワイプ操作を表しており，被験者 4 は

4.1.2 入力姿勢による違い

スワイプ操作回数が最も多かったことを意味している．まスマートフォンを操作する場合，ユーザは様々な姿勢でた被験者 2 と 3 は，スワイプ操作の速度が安定しているの入力することが考えられる．加速度センサはユーザが動作に対して，被験者 1 と 4 は何らかの操作の場合は，高速なしない場合に反応を示さないため，姿勢の認識を行うこと

スワイプ速度を行っていることがわかる．被験者 4 名の平ができない．そこでタッチ操作の挙動から様々な姿勢によ

均速度は，図 22 のようになっているが，これを特徴量とる入力にも各特徴があると考え，タッチ操作の挙動と入力

してとらえるには至っていない．今後は，操作状況をビデ方法の関係について分析を行った．今回は，ユーザが日常オ録画するなどして，どのような操作がどのようなスワイ

生活で一般的に行っている代表的な入力姿勢として，座りプを誘発しているのかを確認しながら，速度とコンテキス

ながら (図 17)，寝転びながら (図 18)，話しながら (図 19)，

トの関係を明確にしたいと考えている．

歩きながら (図 20) の 4 つの入力姿勢を対象とした．現時

謝辞 本論文の成果の一部は科学研究費補助金挑戦的萌点での結果では，入力姿勢による明確な差を分析する事が芽研究（課題番号：25540031）の成果である．また，有益なできなかったが，これより更にタッチ間の時間や分散の関助言をいただいたマイクロソフトリサーチアジア（MSRA）

係を用いて入力姿勢の違いによる分析をおこなっていく予の矢谷浩司氏に感謝する．

定である．

4.2 Facebook を用いた実験

5. おわりに本研究では，タッチ操作の挙動をコンテキスト推定の１本実験では，被験者に 3 分間各自の Facebook ページをつの情報として用いることを最終的な目的として，まず操作してもらり，タッチ操作の種類とその頻度，平均速度

ユーザが行っている代表的タッチ操作の幾つかに関して，© 2014 Information Processing Society of Japan

164

図 19

図 20

喋りながら

図 21

式 2 から取得した速度データの散布図

図 22

被験者ごとの全タッチ操作の平均速度

歩きながら逆解析アルゴリズムを確立し，タッチ操作の取得・識別を行うロガーは開発した．そして，開発したロガーを用いて，タッチ操作のロギングが可能であることを確認するとともに，タッチ操作の頻度や速度を統計的に表示可能であることを確認した．被験者実験により，同じ端末で同じタスク[3]を行った場合も，人によって操作が違うことが明確になったが，今後は，こうした統計値と人のコンテキストの関係性をより詳しく分析し，どのような定量化手法が適切であるか，どのようなコンテキスト認識に向いているのかなどを明らかにしていきたいと考えている．そして，将来的に[4]は，個人の操作スキルに適応した動的 UI や，ユーザの感情を理解するコンシェルジュアプリの開発，またユーザが寄った状態でも入力間違いを起こしづらい文字入力システ
ムといった，これまでにないコンテキストアウェアなサー[5]

ビスへと発展させていきたいと考えている．また，本研究の成果は，ライブラリとして公開し，さまざまな研究において，タッチ操作の挙動というコンテキストを利用可能に[6]

したいと考えている．
参考文献
[1]
[2]

GPS Log. http://gpslogapp.com/.
NIKON IMAGE SPACE. http://nikonimagespace.com/.

© 2014 Information Processing Society of Japan[7]

Kawaguchi, N., Ogawa, N., Iwasaki, Y., Kaji, K., Terada,T., Murao, K., Inoue, S., Kawahara, Y., Sumi, Y. andNishio, N.: HASC Challenge: gathering large scale humanactivity corpus for the real-world activity understandings,
Proceedings of the 2nd Augmented Human International
Conference, ACM, p. ￣ 27 (2011).
Kawaguchi, N., Ogawa, N., Iwasaki, Y., Kaji, K., Terada,T., Murao, K., Inoue, S., Kawahara, Y., Sumi, Y. andNishio, N.: HASC Challenge: gathering large scale humanactivity corpus for the real-world activity understandings,
Proceedings of the 2nd Augmented Human International
Conference, ACM, p. ￣ 27 (2011).
Fukumoto, K., Terada, T. and Tsukamoto, M.: A
smile/laughter recognition mechanism for smile-based life
logging, Proceedings of the 4th Augmented Human International Conference, ACM, pp. 213–220 (2013).
Cai, L. and Chen, H.: TouchLogger: inferring keystrokes
on touch screen from smartphone motion, Proceedings of
the 6th USENIX conference on Hot topics in security,
USENIX Association, pp. 9–9 (2011).
Frank, M., Biedert, R., Ma, E., Martinovic, I. and Song,D.: Touchalytics: On the applicability of touchscreen input as a behavioral biometric for continuous authentication (2012).

165