NICOGRAPH 20xx, pp. aaa – bbb

非視認状態を想定した新たなタップ操作インタフェースの多様化の提案
加藤馨 (学生会員)

牧隼永 (非会員)

舟橋健司 (非会員)名古屋工業大学

Diversification of a novel tap operation interface
for non-visual state
Kyo Kato

Hayato Maki

Kenji Funahashi

Nagoya Institute of Technology, Japank.kato.789@stn.nitech.ac.jp
kenji@nitech.ac.jp

概要
現在, タブレットやスマートフォンなどのタッチパネル式デバイスが普及している. 我々はこれまでに, これらのデバイスが有する静電容量式のタッチパネルを対象に, 新しく「逆タップ」という操作方法を提案している. 逆タップは通常のタップとは異なり, 画面から指が離れて再び触れた場合にタップ操作と判定する. この新しいタップ方法と画面に突起物の付いたタッチパネル式デバイスにより, 視覚障害者でもボタンの配置や機能を覚えておくことで操作が可能である. 本論文では, 逆タップを元にして 2 本指逆タップという新しい操作方法を提案する. 2 本指逆タップは逆タップを 2 本の指で行うものであり, 2 本指逆タップを提案することで, 1 つの操作箇所に対する操作の選択肢の多様化を試みる.

後に画面を見ずに操作することも難しい. そこで我々は

1 はじめに静電容量式のタッチパネルを対象に, 「逆タップ」とい現在, タブレットやスマートフォンなどのタッチパネ

う新しいタップ方法を提案している [2]. 指が画面から離ル式デバイスが普及している. 総務省による令和元年版

れている状態だけでなく, 触れている状態も基本的に無情報通信白書によると, 2018 年における世帯のスマー操作状態であると考え, 操作箇所で指を離したのちにすトフォンの保有率は 79.2% であり, パソコンの保有率のぐに同じ場所に触れた場合にタップ操作が行われたと判74.0% を上回っている [1]. スマートフォンやゲーム機定する. なお, タッチパネル画面上に物理的に点字のよなどの多くのタッチパネル式デバイスでは, 静電容量式

うな突起物をつけておき, また通常のタップ, スワイプ操のタッチ操作検出方式が多く利用されている. これらの作の判定はしない. これにより, 画面を見ずに突起物のデバイスにはパソコンや従来型の携帯電話に搭載されて触覚的特徴で操作箇所を見つけ, タップ相当の操作を行いるキーボードや通話ボタンなどの物理的なボタンが搭うことができる.

載されていない場合が多い. したがって, 点字のようなところで, パソコンではマウスの左クリックと右ク

触覚的手掛かりがないため画面を視認していない状態でリック, スマートフォンではタップとプレス&ホールド

思い通りに操作することはできず, また画面を一瞥したなど, 一つの操作箇所に対して複数の操作が可能な場合–1 –NICOGRAPH 20xx, pp. aaa – bbbが多く, それはユーザにとって便利である. そこで, 本論

onTouchEvent

文では逆タップに加えて 2 本指逆タップという新しい操

ACTION_UP
ACTION_POINTER_UP

ACTION_MOVE
ACTION_??

作方法を提案する. 2 本指逆タップは逆タップを 2 本指ACTION_DOWN
ACTION_POINTER_DOWN

で同時に行うことである. 2 本指逆タップを提案することで, 1 つの操作箇所に対する操作の選択肢の多様化を逆タップ判定処理

逆タップ候補処理試みる.

d := coordinate& timeu := coordinate&time

2 逆タップNod - u < threshold

本節では, 文献 [2] の逆タップの概要を説明する. ユー

Yes

ザが以下の動作を行った時に逆タップと判定する.
終了

1. 指で画面に触れる

1本指逆タップ

終了

図 1: 逆タップのフローチャート ([2] より引用)

2. 画面に触れたまま指を動かし, 操作箇所を見つける
3. タップしたい箇所で指を画面から離す
4. 一定時間内に画面の同じ箇所に触れる
また, 合わせてダブル逆タップ操作についても考慮し3 2 本指逆タップている. 逆タップを短時間に連続で行うことでダブル本節では新たに提案する 2 本指逆タップについて説明逆タップの操作と判定する. 図 1 に逆タップ操作のアする. ユーザが以下の動作を行った時に 2 本指逆タップルゴリズムフローを示す. 実装には AndroidStudio の操作が行われたと判定する. なお, この判定においても,onTouchEvent を用いている. イベントは以下のとおり

通常の逆タップ, およびダブル逆タップ操作への対応もである.

考慮しておく必要がある.

• ACTION DOWN: 1 箇所もタッチしていない状態

1. 2 本以上の指で画面に触れるでタッチした時

2. 画面に触れたまま指を動かし, 操作箇所を見つける• ACTION UP: 1 本の指でタッチしている状態で

3. タップしたい箇所で, 少なくとも 2 本の指を, 互いにタッチしなくなった時近い位置で画面から離す• ACTION POINTER DOWN: すでに 1 箇所以上でタッチしている状態で追加タッチした時• ACTION POINTER UP: 複数の指でタッチしている状態で, そのうち 1 つの指を離した時

4. 一定時間以内に画面の同じ箇所に, 2 本指で触れる
しかし実際には, 2 本の指を厳密に同時に離したり触れたりすることは困難であり, またタブレット端末自体も同時に判定することはできない. そのため, 以下のよう• ACTION MOVE: タッチ中に指を動かした時な動作と考える.

ACTION UP, ACTION POINRER UP は画面から指1. 2 本以上の指で画面に触れるが離れた時のアクションであり, 大域変数 u に指が離2. 画面に触れたまま指を動かし, 操作箇所を見つけるれた座標と時刻を保存する. ACTION DOWN, AC-

3. タップしたい箇所で 1 本目の指を画面から離す

TION POINTER DOWN は指が画面に触れた時のア

4. 一定の距離以内のもう 1 本の指を画面から離すクションであり, 大域変数 d に指が触れた座標と時刻を

5. 一定時間以内にある指でほぼ同じ箇所に触れる保存する. ACTION MOVE は指が画面上を動いた時の6. 一定時間以内に他の指でほぼ同じ箇所に触れるアクションであるため, なにも行わない. 画面に指が触れた時の座標と時刻が, 前回離した時の座標と時刻と近上記 3 と 4 および 5 と 6 はほぼ同時に行われる. また,ければ,離すとき, および触れるときの 2 本の指（位置）の順序逆タップ操作と判定する.

は問わない. この一連の動作は, 「互いに近い 2 本の指–2 –NICOGRAPH 20xx, pp. aaa – bbbが同時に逆タップを行う」と言い換えることができる.

onTouchEvent

ACTION_UP
ACTION_POINTER_UP

図 2 に逆タップ, すなわち 1 本指逆タップ操作も考慮

ACTION_MOVE
ACTION_??

されている 2 本指逆タップのアルゴリズムフローを示す.

ACTION_DOWN
ACTION_POINTER_DOWN

逆タップ候補処理
u2 := uu = coordinate & time

実装には 1 本指逆タップ操作の時と同様に AndroidStu-

逆タップ判定処理

d3 := d2
d2 := dd := coordinate & time

dio の onTouchEvent を用いる. また, スレッド処理をu - u2 < threshold2& u2[t] > d[t]行う場合に利用されることの多い Java の Handler クラNod - d2 < threshold2& d2[t] >u[t]& u[t] > d3[t]Yes

スの postDelayed と removeCallbacks も用いる. post-

Delayed は第一引数で指定した Runnable オブジェクト

a2 := average(u, u2)a2 := -

2本指逆タップ候補

1本指逆タップ候補

YesNoif(a2=-) t := 0else t := threshold2
postDelayed(judgement1_fin, t)

1本指逆タップ判定処理(judgement1_fin)の処理を, 第二引数で指定した時間 [ミリ秒] の後に実行

Nod - u < threshold

する. removeCallbacks は postDelayed で実行しよう

2本指逆タップ
判定処理とした処理を取り消すことができる. フローチャート内

No

average(d, d2) - a2 < threshold

で座標と時刻を格納しておく u, u2, d, d2, d3 は大Yes

NoYes

average(u, d) - a < threshold

域変数とし, 初期値はともに −∞ (x, y 座標, および時Yes

刻をプログラムにおける最小値) としておく. なお, こa := -a := average(u, d)

ダブル逆タップ

1本指逆タップ

removeCallbacks(judgement_1fin)

れらの大域変数に「[t]」とついている場合はその変数の終了

時刻要素を表す. 定数である threshold, threshold22本指逆タップ終了

図 2: 2 本指逆タップのフローチャート

は閾値であり, 事前に値を決めておく. まず, タッチパネル上で指が触れる (ACTION DOWN または AC-TION POINTER DOWN), 指が離れる (ACTION UP
または ACTION POINTER UP), または指が触れなが

4 視覚障害者を想定した実験

ら動く (ACTION MOVE) アクションのいずれかが起提案した 2 本指逆タップが, 目が見えない状態で実際こると onTouchEvent が開始され, アクションの種類のに操作可能であるのかどうかを確認するために, 全盲状判定をする. 2 本指逆タップの判定は, 逆タップ候補と態での空調操作パネルの操作を想定した通常のタップとしての処理パートと, 逆タップ判定パートに分けて行う.

2 本指逆タップの比較実験を行った. まず, 電話やテン

タッチパネルから指が離れた場合に逆タップ候補処理へキーを参考に, 図 3(a) のように画面を 12 のボタン領域移行する. この時, 短時間に近い位置で離す動作を行っに分けた. 次に, 画面を見ずに触覚的手掛かりのみで操ている, かつ, 連続で離す動作を行っているという条件が作できるように各ボタンに点字状の突起物を張り付けた.

満たされる場合は, 短時間に連続で近い位置で離す動作

これにより被験者は目が見えない状態でも手探りで自分が行われており, 2 本指逆タップ候補とする. 次に, タッが画面上のどこを触っているか判別できる. また, 何ら

チパネルに指が触れた場合に逆タップ判定処理へ以降すかの操作が行われた時にはバイブレーションにより合図る. この時, 短時間で近い位置に触れる動作を 2 回行っする. これによりユーザは画面を見ずとも操作できたこている, かつ, 前回の指を触れる動作と今回の指を触れるとを確認できる. 実験を始める前に被験者に 1 本指の逆動作の間に指を離す動作を行っていない, かつ 2 回連続タップと 2 本指逆タップの操作方法を説明し, タブレッで指を触れる動作をしているが 3 回連続ではないというトの操作練習時間を設けた. これは逆タップ操作に慣れ条件が満たされる場合には, 2 本指逆タップ判定処理へてもらい, またボタンの配置と突起物の配置を記憶して移行する. 2 本指逆タップ判定処理で, 2 回ずつの離す動もらうことを目的としている. 被験者は大学生および大作と触れる動作を同じ場所で短時間で行っているという学院生 7 名である. この実験は全盲者を想定しているた条件が満たされる場合に, 2 本指逆タップと判定する.

め, 被験者にアイマスクを装着してもらい, 全盲状態で実験を行った. 実験では通常タップと 2 本指逆タップそれぞれにおいて, 1 分間, タブレット操作タスク（例：温度を上げる）を聞き, タスクを実行したら合図をしても–3 –NICOGRAPH 20xx, pp. aaa – bbb

表 1: 通常タップ実験
被験者

失敗

AB

表 2: 2 本指逆タップ実験

成功

被験者

失敗

成功08A09110B011C39C010D410D013E410E010F

56F010G57G011

平均3.128.57

平均

0.010.57

表 3: 2 本指逆タップ操作時の実際の内訳(a) 操作画面(b) 実験の様子

図 3: 使用したタブレット及び実験の様子

被験者

操作回数

2 本指逆タップ

1 本指逆タップ

A963

B

1192

C

1082

D

13121

E

10100

まず, 全盲状態での指定通りのボタン押し操作の成功

F1091

回数と失敗回数を表 1, 表 2 に示す. なお, 表 2 におけるG1183

成功回数には, 指定通りのボタンに対する 2 本指逆タッ

平均

10.57

8.86

1.71

らった. 図 3(b) に実験の様子を示す.

プだけでなく, 1 本指の逆タップ実行数も含まれる. 通常のタップ操作では, 誤ったボタンの箇所で操作が多かった. 一方で, 逆タップ操作では誤ったボタンの箇所での操作はなかった. 全盲状態において, 通常のタップよりも逆タップ操作の方が正しく操作できることが確認できる. 次に, 同実験において, 各被験者の 2 本指逆タップ操作の成功回数のうち, 実際には 1 本指での逆タップ操作であった回数を調べた（表 3）. 実験では全ての操作を 2本指逆タップで行うように指示をしてあり, また被験者も 2 本指逆タップの操作を行ったと申告している. しか逆タップという新たな操作方法を提案した. 1 つの操作箇所に対して様々な操作方法を用意することで, より複雑なアプリケーションの実現が可能となる. 今後は, 操作方法の種類が過剰にならないように熟慮しつつ, 見えない状態での操作をより容易にするような新たな, 例えばスワイプ操作に相当するような操作方法についても検討していきたい.

謝辞

し実際には, 1.5 割程度の操作は 1 本指の逆タップとして判定されていた. 被験者が 2 本指逆タップ操作に慣れていなかったかもしれないことに加えて, タッチパネルに貼り付けた突起物の真上は指の接触判定精度が低くなっ

本研究の一部は JSPS 科研費 JP20K11918 の助成を受けたものです.

参考文献てしまっていたこと, 被験者がタッチパネルの分解能よりも 2 本の指の間隔を狭くしてしまっていたこと, などの原因が考えられる. 操作の 8 割以上は正しく 2 本指逆タップを行えていたので, 単に慣れにより, 改善が期待できそうである.

[1] 総 務 省 令 和 元 年 版 情 報 通 信 白 書 情 報 通 信
機 器 の 保 有 状 況 ，https://www.soumu.go.

jp/johotsusintokei/whitepaper/ja/r01/
html/nd232110.html．参照: 2021-7-20．
[2] Kenji Funahashi, Hayato Maki, Yuji Iwahori ．

5 むすび

Novel tap operation on capacitive touch screen

本研究では, これまでに提案している, 非視認状態を想定したタップ操作方法である逆タップに加えて, 2 本指–4 –for people with visual impairment．ICAT-EGVE
2020, pp.3-4 (Posters and Demos), 2020．