情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B40
2018/3/5

スマートフォンにおける行為を隠すジェスチャデザインの検討
相澤裕貴†

小松孝徳†

渡邊恵太†

概要：スマートフォンを公共の場で使用する機会が増え，それに比例して他者から操作する姿を見られる機会も増加した．そのときスマートフォンの画面を隠していても，他者にジェスチャで操作しているアプリケーションが特定されてしまう．そこで我々はユーザのプライバシーを守る「行為を隠すジェスチャデザイン」を提案する．本稿では，様々なアプリケーションのジェスチャを分析し，その結果を踏まえて一例としてメモをしているように見えるゲームアプリケーションを試作した．

1. はじめに
スマートフォンの普及は著しい．総務省は，2011 年から2016 年の 5 年間で個人のスマートフォンの保有率が 14.6％から 56.8％と 4 倍近く増えたと発表した[1]．スマートフォ
ンはコミュニケーションツールやゲーム，メモなどのアプリケーションが利用できることから，あらゆる場所で使用されている．

図1

観察実験で使用した動画

スマートフォンは，従来のフィーチャーフォンに比べて画面が大きく，全面がタッチパネルになっていることが大2.2 観察実験の実験設定きな特徴である．そしてスマートフォンではその操作にジ(1) 実験手順ェスチャが多用されている．
このジェスチャのデザインは，ユーザが操作しやすいように設計されてきた．

参加者に各々別のアプリケーションを操作した 5 つの動画を無作為の順番で見せる．参加者は 1 つ動画を見終える

しかしながら，全面がタッチパネルのジェスチャは，そたびに，「ゲーム」，「メモ」，「SNS」，「ネット検索」，「分か

こでの指の動きも大きい．このことから，屋外や他者がいらない」の 5 つの選択肢からその動画がどの種類のアプリる場所で使うとき，ジェスチャが他者の目につくことがあ

ケーションを操作している様子を撮影したものなのかを答る．さらにそれによってどんなアプリケーションを使ってえる．さらに，その答えを選んだ理由について自由記述すいるのが特定されることがあり，プライバシーの漏洩につる．

ながる可能性がある．そこで我々は，ユーザのプライバシ(2) 用意したアプリケーションーを守る「行為を隠すジェスチャデザイン」が必要と考えた．

本実験では「LINE: ディズニー ツムツム（以後，ツムツムと呼ぶ）」[4]，「スーパーマリオラン（以後，マリオラン

本研究では，他者からみたジェスチャ，指の動きについと呼ぶ）」[5]，「Twitter」，「Google Chrome」，「Google Document」て調査・実験を行った．その結果にもとづき，一例としてを操作している様子を撮影した 5 つの動画を用意した．本他者からゲームアプリケーションだと気づかれない D-

実験では，スマートフォンを縦向きにして 使用するアプリpace というパズルゲームの作成を試みた．

ケーションだけを採用した．ツムツムはファミ通が発表し

2. 実験

た 2016 年度のゲームアプリケーション人気ランキング[5]2.1 実験概要
実験は 2 つ行った．1 つ目は，実験参加者がスマートフ
ォン操作者を見た際に，ジェスチャ（指の動き）だけでゲームアプリケーションを使用しているのかメモアプリケーションを使用しているのかを見分けられるか観察した．2
つ目は，スマートフォンのタッチ位置を記録し，そのログデータからアプリごとの特徴を分析した．
ただし本実験で使用したスマートフォンはすべてXperiaXZ である．

において 1 位を取っていることから，一般的に使われているゲームアプリケーションとして採用した．マリオランはトグル入力のような指でタップするジェスチャが行われているため，メモアプリケーションだと間違えられると予測して採用した．Google Document はメモアプリケーションとして採用した．その他のアプリケーションは，ゲームアプリケーションとメモアプリケーションを比較している実験だと参加者に気づかれないためにダミーとして用意した．
(3) 被写体
被写体には，ツムツム，マリオランを使用した経験があ† 明治大学総合数理学部先端メディアサイエンス学科© 2018 Information Processing Society of Japan1024

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B40
2018/3/5

り，フリック入力を 1 年以上使っているという条件を満たした 20 歳男性を採用した．

(1) 参加者
参加者は 18~21 歳の 11 名(男性 7 名，女性 4 名)であっ(4) アプリケーションの操作方法
動画撮影時，用意したアプリケーションの操作方法を制限した．
た．
(2) 結果ツムツムの場合

アンケート結果は表 1 に示す．このときはツムツム，マツムツムでは，ゲームで遊ぶ「プレイ画面」のみをする．

リオランを 8 割以上の人がゲームアプリケーションだと見マリオランの場合
マリオランでは，操作キャラクターにマリオを選び，「ワールドツアー」の「WORLD 1-1」ステージで遊ぶ．
Twitter の場合

抜き，Google Document も 5 割以上の人が見抜くという結

ツイート画面を開いた状態で操作を始め，「中野キャンパスなう」とツイートする．そのあとタイムライン画面を開いてもらい，その画面内で自由に操作する．ただしタイ
ムラインでの操作はスクロールや「いいね」「，リツイート」

や横だけじゃなく，いろんな方向に動いていた」，「文字を打っている感じではなく，画面の上の方をずっと触っていたから」と回答があった．マリオランをゲームアプリケーションだと気づいた人々は「同じ箇所一点をタップしていと指の触れている箇所を指摘していた．Google Document のGoogle Chrome の場合検索画面から始め，「大学生あるある」と文字入力し検索する．検索結果から指定したネット記事[3]のリンクを開き，場合，正答した人々は「フリック入力していたから」と指の動きからフリック入力のジェスチャに気づいていた．
2.4 ログデータ分析の実験設定

記事を読む．
いた理由について，「指が複雑な動きをしていた」，「指が縦た」，「スワイプの動作をしていない」とジェスチャの種類のみに制限した．
果になった．ツムツムをゲームアプリケーションだと気づ[6]を参考に Android SDK の platform-tools に含まれる，

Google Document の場合
被写体は小説「人間失格」の一節[7]を Google Documentに文字入力した．ただし文字入力の方法はフリック入力にAndroid Debug Bridge（以後，adb と呼ぶ）を用いて，スマートフォンアプリケーションを操作時のタッチした座標とそのときの時間を取得する．その取得したデータから軌跡限定した．
また，操作するとき，被写体には次の A~E の 5 つの姿勢を指示した．

ログの作成とストロークごとの分析を行う．
(1) 軌跡ログの作成方法
取得したログデータをもとに参加者全員のタッチ位置をA)

座って操作するB)

右手で持ち右手の親指で操作C)

左手は膝の上におく

D)

背筋を伸ばすE)

ビデオカメラに指の動きが見えるようにスマートフ可視化する．
(2) ストローク分析の方法
adb でのログデータ取得は，指がスマートフォンの画面に触れるとタッチデータを取得し始め，それは指が離れるまで行われる．このときの指が触れてから離れるまでに存ォンを傾ける（図 1）

在している点の集合を 1 ストロークと定義した．我々は取(5) ビデオカメラの調整撮影するとき，ビデオカメラの三脚の高さを，167cm と中性的な身長である男性の座ったときの目の高さと同じに得した各々のストロークから(1)~(7)の 7 つの変数を求めた．
A)

ストロークに存在している点が n 個あり，その k 番目の設定し，角度を向かいの席の人が持つスマートフォンを見つめたときの目線と同じに設定した．
2.3 観察実験結果
表1

長さ点 の 座 標 を (Xk , Yk ) と す る ． こ の と き 長 さ Length はn-1

予備実験のアンケート結果

Length= � �(Xk+1 -Xk )2 +(Yk+1 -Yk )2
k=1

ア プリケー シ

回答

回答数

ョン名

（太文字が正答）

ツムツム

ゲーム

9名

ネット検索

1名

分からない

1名

マリオラン

ゲーム

11 名

Googleメモ

7名

Document

ゲーム

2名

分からない

2名

© 2018 Information Processing Society of Japanと定義する．ただし単位は px である．
B)

時間
ストロークに存在している点が n 個あり，その k 番目の点を取得した時間をTkとする．このとき時間 Time はTime=Tn -T0と定義する．ただし単位は秒である．
C)

速さ

速さ Speed はSpeed=Length/Time1025情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B40
2018/3/5と定義した．ただし単位は px/秒である．
D)

範囲

ストローク上の点から，X 座標の最大値と最小値の差を「X の範囲」，Y 座標の最大値と最小値の差を「Y の範囲」と定義した．ただし単位は px である．
縦横比

E)

X の範囲と Y の範囲の比を縦横比と定義した．
縦のジェスチャ，横のジェスチャ

F)

X の範囲より Y の範囲の方が大きいジェスチャを縦のジ

図3

左からツムツム，マリオラン，Google Document のェスチャ，Y の範囲より X の範囲の方が大きいジェスチャ

軌跡ログを横のジェスチャと定義した．
G)

曲がっている箇所

図 3 は実験で取得した全参加者のジェスチャストロークを重ねたものである．ツムツムは画面の真ん中にストロークが集中していて，マリオランは画面右下の一部分のみしか触れていないことが分かる．メモは画面下半分だけにストロークが集中していた．
(3) ストローク分析
表2

図2

ストロークの長さ，時間，速さ，範囲，縦横比，曲がっている箇所が 2 個の場合

曲がっている箇所数の平均
ツムツム

ストロークを三次スプライン補完する．それによりでき

マリオGoogle

ラン

Document

た点の集合を，2~5px 間隔で分割する．このときの k 番目

長さ(px)

585.372

35.998492.086の点をSPk とし，

時間(s)

0.506

0.6660.651

θk =∠SPk-2 SPk SPk+2

速さ(px/s)

1141.818

35.900707.407と定義する．ただしこのときの点の数を n とすると，k のX の範囲(px)296.874

15.507228.589

範囲は2<k<n-2であり，は∆SPk-2 SPk SPk+2 の内角である．図

Y の範囲(px)287.23113.792268.286

2 はθk <175°のときの点SPk を赤色にしたものである．この

縦横比

1:0.899

1:0.890

1:1.174

赤い点が隣り合っているときそれらをグループ化する．こ曲がっている箇所数

4.590

0.800

2.232のときのグループを「曲がっている箇所」と定義し，そのグループ数を「曲がっている箇所数」とする．
(3) 実験手順
参加者が操作するアプリケーションは，「ツムツム」，「マ表3全ジェスチャ数の平均とそのうちの縦のジェスチャ数，横のジェスチャ数の割合
ツムツム

リオラン」，「Google Document」の 3 つである．このときの操作方法や操作するときの姿勢は観察実験と同じである．
ツムツムまたはマリオランを操作したことない参加者は，実験前に 1 分間ほど，そのアプリケーションを操作して操作方法を確認した．
2.5 ログデータ分析結果(1) 参加者
参加者は，19~23 歳の 10 名（男性 8 名，女子 2 名）で，スマートフォンでの文字入力の経験があり，全員右利きでマリオGoogleラン

Document

全ジェスチャ数

390505693

縦のジェスチャ数

226394372

横のジェスチャ数

164111321

縦のジェスチャの587854422246

割合(%)
横のジェスチャの割合(%)

ある．
(2) 軌跡ログの作成

本実験で取得したジェスチャのストローク分析の結果を平均化した数値を表 2 に示した．ただし縦横比は X の範囲の平均と Y の範囲の平均の比で求めている．表 2 からは，ツムツムの速さが一番大きく，マリオランの速さが一番小さいことが分かる．この 2 つのゲームアプリケーションは縦横比が X の範囲より Y の範囲の方が大きいという共通© 2018 Information Processing Society of Japan1026

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B40
2018/3/5

するとブロックの配置が 1 つ前に戻るようになっていて，点があった．
また表 3 を見ると，メモは横のジェスチャの割合が低い．
そして，メモの縦横比は Y の範囲が X の範囲よりも大きいことから，フリック入力は縦のジェスチャの方が横のジェスチャより長いことが分かった．

これは削除ボタンを再現している．
3.1 観察実験
本実験では，D-pace を見てメモアプリケーションだと騙されるか検証する．
検証方法は 2 の観察実験と同じである．
本実験で使用する動画の被写体には，ツムツム，マリオ

2.6 考察観察実験でツムツムをゲームアプリケーションだと気づランを使用した経験があり，かつ，フリック入力を 1 年以いた理由に，「指が複雑な動きをしていた」とあったがこれ上使っているという条件を満たした，20 歳女性を採用した．

は，表 2 の「曲がっている箇所数」が他のアプリケーショ実験がすべて終わったあとに，参加者に D-pace の動画をンより多いことを指していると思われる．また，「指が縦や見てメモアプリケーションとの違いに気づいたかを詳しく横だけじゃなく，いろんな方向に動いていた」という理由質問した．

もあったことから「スワイプの方向」がアプリケーション

3.2 観察実験結果の判断に関係していると考えられる．ツムツムでの「文字表4を打っている感じではなく，画面の上の方をずっと触って

D-pace の主観的評価のアンケート結果

アプリケーション名

いたから」とマリオランの「同じ箇所一点をタップしてい回答回答数（太文字が正答）た」というコメントから「指の触れている場所」も判断基

D-pace準になっていることが分かる．

3. D-pace

ゲーム

2名

メモ6名

SNS

1名

分からない3名(1) 参加者
参加者は 18~21 歳の 12 名（男性 5 名，女性 7 名）であった．
(2) 結果
結果を表 4 に示した．ゲームアプリケーションだと気づいた人は 2 名しかいなかった．半数の 6 名が D-pace がメモ
図4

D-pace 画面図5

妨害

アプリケーションだと騙された．
実験後の質問でも，メモと答えた参加者たちは「指の動きがフリック入力に見えた」，「指の動きが速いなと思ったが焦ってフリック入力しているとしか思わなかった」と述べていた．
3.3 ログデータ分析
本実験は，2 のログデータ分析と同じ方法で行った．参加者は実験前に 1 分間ほど D-pace の操作をして，操作方法

図6

クリア画面

図7

フリック入力（[9]より引用）を確認した．それが終わったら 1 分間操作し，そのログデータを取得した．
3.4 ログデータ分析実験結果

我々は，2 の結果を考慮して，フリック入力のジェスチャで操作するゲームアプリケーション「D-pace(Disguise
Play as Character Entry)」を開発した．これは 8 パズル[10]と(1) 参加者
参加者は 18~21 歳の 10 名（男性 9 名，女性 1 名）であった．

いうパズルゲームをモチーフにしている．1 から 8 までの数字をかかれたブロックがあり（図 4），それらをスワイプすることで上下左右に動かす．図 6 のように整列されるとクリアとなる．ゲーム途中，無作為のタイミングで赤いブロックが数字ブロックの進路を妨害する（図 5）．これはフリック入力の上下左右すべてスライドできることを再現するためである．たとえば図 5 の場合，「い」の方向にスワイプできるようになる（図 7）．また黄色のブロックをタップ© 2018 Information Processing Society of Japan

図8

左から Google Document，D-pace の軌跡ログ

1027

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B40
2018/3/5

できることが分かった．現在，ユーザのプライバシーを守(2) 軌跡ログ
Google Document と D-pace の軌跡ログを図 8 に示した．

るためにスマートフォン画面の覗き見を防止する液晶フィGoogle Document の軌跡ログと比較すると「指が触れていルタや覗き見を防止するアプリケーション[11]が存在する．

る場所」がほとんど同じであることがわかる．

こうした要求から分かるように，ユーザはスマートフォン(3) ストローク分析で見ている内容に対してプライバシー意識が高い．

表5ストロークの長さ，時間，速さ，範囲，縦横比，で設計を考えることが必要と考える．たとえば，スマート曲がっている箇所数の平均
D-pace

したがって，ジェスチャに対してもプライバシーの観点

Googleフォンには音を鳴らさないようにするマナーモードがある

Document

が，ジェスチャに対してもマナーモードのような他者から目障りになりにくく，目立たないようなジェスチャモード

長さ(px)

227.690492.086

時間(s)

0.161

0.651

速さ(px/s)

1427.356

707.407

今回試作した D-pace はゲームでありながらも，文字入力X の範囲(px)120.536228.589をしているかのようなアプリケーションに見せることがで

Y の範囲(px)121.544268.286

きた．一方で，このようなアプローチをとると，ゲーム性

縦横比

1:1.008

1:1.174にも大きな制約となり，実現可能なゲームの種類を限定し0.675

2.232

曲がっている箇所数があってもよいだろう．てしまう可能性がある．操作性がもたらすゲームの楽しさと他者から見た時の印象のバランスが今後の課題となる．

表6

全ジェスチャ数の平均とそのうちの縦のジェスチャ数，横のジェスチャ数の割合
D-pace

とえば，学生が授業中に行為を隠すジェスチャデザインを適用したゲームアプリケーションで遊んだり動画サイトをGoogle閲覧したりするようなことも想定できるが，これは現在のDocument
全ジェスチャ数1102

693

縦のジェスチャ数587

372

横のジェスチャ数515

321

縦のジェスチャの53545746

割合(%)
横のジェスチャのまた，このようなジェスチャデザインの問題として，た液晶のプライバシー保護フィルタでも似たような課題がある．

5. おわりに
本稿では，操作しているスマートフォンアプリケーションを他者に特定されないためのジェスチャデザイン，すな割合(%)

わち，「行為を隠すジェスチャデザイン」を提案した．その一例として，メモアプリケーションに偽装したゲームアプリケーションである D-pace を作成した．そして，D-pace が分析結果を表 5 と表 6 に示した．表 6 より D-pace は縦のゲームアプリケーションだと特定されないことを示した．

ジェスチャの割合が多いが，表 5 の縦横比を見ると Y の今後は，ゲームアプリケーション以外のアプリケーショ範囲の方が小さいことから D-pace は，Google Document とンの行為を隠すジェスチャデザインを考えていきたい．

逆で，縦方向のスワイプより横方向のスワイプの方が長い

参考文献ということが分かる．
「曲がっている箇所数」
に関しては，[1] “数字で見たスマホの爆発的普及（5 年間の量的拡大）”.
http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h29/html/nc
111110.html, (参照 2017-12-18)[2] “Angle Meter PRO”.
https://play.google.com/store/apps/details?id=iyok.com.anglemeterpro&hl=ja, (参照 2017-12-20)[3] ““じわじわくる”大学生のあるある - NAVER まとめ”.
https://matome.naver.jp/odai/2135228959614638201, (参照 201712-13)[4] “LINE: ディズニー ツムツム”.
http://www.disney.co.jp/games/dtt.html, (参照 2017-12-13)[5] “スーパーマリオラン”. https://supermariorun.com/ja/index.html,(参照 2017-12-13)[6] 平部 裕子，荒川 豊，安本 慶一: TouchContext: タッチ操作の挙動分析に基づく人のコンテキスト認識，Interaction(2014)[7] “太宰治 人間失格 - 青空文庫”.
http://www.aozora.gr.jp/cards/000035/files/301_14912.html, (参照2017-12-13)[8] “ファミ通 2016 年アプリケーションランキング発表！『パズどちらともツムツムより少ないという共通点がある．
3.5 考察観察実験のあとにした質問で，「SNS」と答えた 1 名と「分からない」と答えた 3 名のうち 2 名も文字入力を使ったアプリケーションだと思っていた．つまり，12 名のうち 9 名
は D-pace が文字入力を使ったアプリケーションだと思っていた．このことから分かるように D-pace のジェスチャは「行為を隠すジェスチャデザイン」としての役割を十分に果たしていた．

4. 議論
本実験の調査からジェスチャだけでも，スマートフォンの操作しているアプリケーションがどういったものが推測© 2018 Information Processing Society of Japan1028

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B40
2018/3/5

ドラ』や『ポケモン GO』がランクイン……1 位は!?”.
https://app.famitsu.com/20161220_924344/, (参照 2017-12-13)[9] “スマホ（スマートフォン）でフリック入力できない僕が急に上達したやり方＆コツ”. http://itbenricho.com/smartphone-flicknyuryoku-jyotatsu.html,(参照 2017-12-21)[10] “ Sliding Puzzle | 8- 15-Puzzle”. http://mypuzzle.org/sliding, (参照 2017-12-24)[11] “覗き見防止”. https://android.app-liv.jp/001207621/. (参照2017-12-25)© 2018 Information Processing Society of Japan1029