情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-79
2020/3/9

タッチレスなタッチパネル操作デバイスの提案
谷口 善信1,a)

岩村 雅一1,b)

黄瀬 浩一1,c)

概要：省スペース化や操作のしやすさから，タッチパネルを搭載した機器が増加している．視覚障碍者にとってタッチパネルは画面からの情報を受け取ることができないため，晴眼者に比べて操作時にかかる負担が大きく，何らかの支援が必要であると考えられる．しかし，視覚障碍者に画面情報と画面推移情報を伝え，ボタン位置への誘導を行おうとすると，画面から情報をきちんと読み取り伝えなければならないうえに，時間もかかり，誤タッチをしてしまう可能性もある．そこで本研究では，画面情報と画面推移情報をあらかじめ保持しボタン押下機構を持ったタッチパネル操作デバイスを提案する．

手したうえでアイコンやボタンの位置を正しく認識している必要がある． しかし，視覚情報を受け取ることのできない視覚障碍者からしてみれば，そもそも「表示されている内容がわからない」「ボタンの位置がわからない」といった状態に陥る．
視覚障碍者への対応として，テンキー及び音声ガイダンスによる補助が搭載されていることが多い．障碍者対応型
自動券売機はテンキー及び音声ガイダンスによって操作を行い，切符の購入や IC カードのチャージを行える．同様に ATM にもテンキー及び音声ガイダンスが搭載されてお図 1: タッチパネルを搭載した自動券売機

り，預金の引き出しなどの操作が可能である．しかし，機種が異なる場合に操作にてこずってしまうという声も上がっている．加えて音声ガイダンスが対応している操作は

1. はじめに
近年，指やタッチペンによって操作を行うタッチパネルが普及している． 既存のキーボード等の入力装置と異なり，入力装置と出力装置が一体となっていることから省スペース化が望める上に，画面に表示された文字やアイコンに直接触れることで操作を行うため， これまでのデバイスに比べて直観的な操作が可能である． これらの利便性からタッチパネルは ATM や，駅や飲食店の券売機，タブレッ
トやスマートフォン， 最新の家電などに搭載され，日常生活にはなくてはならないものとなっている (図 1)．しかし， タッチパネルは視覚障碍者にとっては不便なインターフェースである． タッチパネルから情報を入手するためには，画面に表示されているアイコンや文字を読む必要があり， タッチパネルを操作するためには，それらの情報を入
1a)b)
c)

大阪府立大学大学院工学研究科
taniguchi@m.cs.osakafu-u.ac.jp
masa@cs.osakafu-u.ac.jp
kise@cs.osakafu-u.ac.jp© 2020 Information Processing Society of Japan

限定されており，特急券の購入や，新幹線の予約，銀行振込などができない [2]．そのため，視覚障碍者が晴眼者と同じタッチパネル機器で同じサービスを受けるためには何らかの補助が必要である．
既存のタッチパネル操作の補助としてマーカーと文字検出を用いた WatVision [1] や山下らの手法 [4] が存在する．
しかし，これらの手法では画面情報と画面推移情報が未知であるため画面から情報を読み取り，視覚障碍者に伝える必要があるが，それでは画面の文字情報やボタン位置などの伝えるべき情報が多くなり，さらに画面からの情報の読み取りがうまくいかないことによるそれらの情報の損失も考えられる．さらに指で画面を操作するため，指の誘導が必要となり，操作に時間がかかってしまう，誤って画面に触れてしまう恐れがあるなどの問題点があり，これにより視覚障碍者に対して新たに負担が生じてしまう恐れがある．
そこで本研究では，視覚障碍者のタッチパネル機器操作時の補助を目的に，タッチパネル操作補助デバイスの開発

1070

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-79
2020/3/9

図 2: タッチレス操作デバイスのモデル

図 3: WatVision を使用している様子 [1]を行う．視覚障碍者が晴眼者と同じタッチパネル機器でストレスなしに使用できるよう，タッチパネル操作補助デバ
イスを用いてタッチパネルの操作補助を行う．

2.1 WatVision
WatVision はスマートフォンと連動して視覚障碍者のタッチパネル操作を補助するデバイスである (図 3)．画面タッチパネル操作補助デバイスを開発するにあたってのの 4 隅に表示されたマーカーを用いてタッチパネル画面の要件として，「操作が単純であること」「操作に時間がかか検出を行い，指に装着したリング状のデバイスのマーカーらないこと」「手順が簡単であること」があげられる．こから指の位置を検出する．タッチパネル内のボタンには文れらの要件を満たす新規補助デバイスとして画面に触らず字が含まれていると仮定し，スマートフォンのカメラで取にタッチパネルを操作可能なタッチレスな操作デバイスを得した画像から文字の検出，並びにボタンの検出を行う．

提案する (図 2)．タッチレス操作デバイスでは操作デバイ

WatVision は指の下にある文字を読み上げることで使用者

スをタッチパネル上でスライドさせることで自動でタッチに画面に書かれている内容を伝える．タッチパネルの操作パネルへの入力を行い，スライドを繰り返すことで，複数のために指をボタンに誘導する際には，ボタンまでの指のの入力を行う．タッチレス操作デバイスには画面情報と画距離に応じてリング状のデバイスが振動し，使用者をボタ面推移情報をあらかじめ保持させておく．これによりタッンに誘導する．WatVision を使用することで，視覚障碍者

チレス操作デバイスは画面情報と画面推移情報が既知となは他人からの補助を必要とせずに，様々なタッチパネル機るため，タッチパネル機器操作時に視覚障碍者自身に画面器を一人で操作を行えるようになる．しかし，WatVisonの文字情報やボタン位置などの情報を伝える必要がなく，は視覚障碍者が自身の指でタッチパネルのボタンを探しな画面からの情報の読み取りの失敗によりそれらの必要な情がら操作しなければならず，誤って画面に触れてしまった報を失うことがない．さらに視覚障碍者がタッチパネル操り，初めに画面の文字情報を把握する必要があるため，複作のために行うタッチレス操作デバイスの操作はスライド数の操作手順が必要な場合，操作に時間がかかってしまうだけになる．操作が単純であり，一つの操作にかかる時間といった問題点がある．

もタッチパネル上をスライドさせる動作時間のみであるため，タッチパネル機器の操作時間を短縮が可能である．複

2.2 山下らの手法

雑な操作が必要な場合に関してもスライドを繰り返すだけ

山下らはステレオカメラを用いることでタッチパネル上でよいので，すべての手順を記憶しなくてもよい．これにの文字検出と画面と指の深度推定を行い，誘導音によってよりタッチパネル上の視覚情報を取得することができない

目的のボタンへの誘導を行うシステムを構築した (図 4)．

視覚障碍者でも晴眼者と同じようにタッチパネル機器を久野らの手法 [3] ではボタンの大きさについての考慮がな操作することができ，また，このデバイスは複雑な手順をく，連続入力に対応していなかったため，山下らはボタンの含む操作も自動で行うため，晴眼者にとっても有益なデバ大きさについての検討と，連続入力への対応を行った．山イスであると考えられる．そこで，本稿では視覚障碍者の下らの手法ではボタンはテンキーが想定されており，タッタッチパネル操作補助デバイスとして，タッチレス操作デチパネル上のボタンは文字が含まれていることが前提条件バイスについて提案し，検討を行う．とされている．しかし，実際のタッチパネルでは，記号の2. 関連研究
本節では関連研究として WatVision と山下らの手法について述べる．

© 2020 Information Processing Society of Japanみが記されたボタンも存在し，文字検出だけではそのようなボタンを検出することができない．さらに，指の誘導が必要なため，時間がかかってしまう，誤って触れてしまうなどの問題点が存在する．

1071

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-79
2020/3/9

して目的の操作を行えるのが重要である．

3.2 タッチレス操作デバイス
必要要件を満たす補助デバイスとしてタッチレスな補助デバイスを提案する．既存手法では画面の情報をカメラで認識し音声で読み上げることで視覚障碍者に画面情報と画面推移情報を伝えている．そのため汎用的な使用が可能であるが，画面から情報を読み取る必要があり，画面の文字(a) タッチパネル操作の様子(b) ステレオカメラ

図 4: 山下らの手法 [4]

情報やボタン位置などの伝えるべき情報が多くなってしまう．さらに，文字がないボタンの検出ができず，検出できなかったボタンが出てきた場合，操作に必要なそれらの情報を損失し，意図していた操作ができなくなる恐れがある．

3. タッチレス操作デバイスの提案
本節ではタッチレスなタッチパネル操作デバイスについて検討を行う．

それに対してタッチレス操作デバイスではあらかじめ使用用途を限定し，画面情報と画面推移情報をあらかじめ取得しておく．画面情報と画面遷移情報が既知となることで画面の状態を把握する必要がなくなるため，伝える情報が少なくなり，視覚障碍者に対して負担の軽減が可能となる．

3.1 補助デバイスの必要要件
タッチパネル機器の操作補助デバイスに必要な要件としてまず，「操作が単純であること」があげられる．タッチパ

さらに画面情報の読み取りの失敗による操作に必要なそれらの情報の損失がなくなり，視覚障碍者は意図していた操作に必要な情報を全て受け取ることが可能である．

ネルはボタンをタッチさせるだけで操作が可能である．しタッチレス操作デバイスはタッチパネル押下機構が搭載かし，フラットなタッチパネルでは操作するためのボタンされており，人間の指に代わってタッチパネル上のボタンの位置を手探りで知ることができず，視覚からのボタンのを押すことが可能である．ボタン位置への誘導はデバイス位置に関する情報を受け取れないため，視覚障碍者にとっ自体を水平方向にスライドさせることで実現させる．デバてタッチパネル機器の操作は困難である．補助デバイスにイスの移動量から，タッチパネル機器の画面上でのデバイよってこれを解決する必要があるが，補助デバイスの操作スの位置を把握し，デバイスがボタンの上を通過する際に自体が複雑になってしまうと視覚障碍者に新たな負担をかボタン押下機構を動作させる．ボタン押下機構はデバイスけてしまう．したがって，補助デバイスは操作が簡単なも全体に配置されており，デバイスを垂直方向に移動させるのでなければならない．

ことなくボタンを押すことを可能である．タッチレス操作

次に「操作に時間がかからないこと」があげられる．自デバイスは，視覚障碍者がタッチパネル機器を操作したい

動券売機は切符の購入や IC カードへのチャージなどで多ときにタッチパネル上でスライドさせる．1 回のスライド

くの人が利用する．加えて自動券売機は改札口の近くであにつきボタンが一つ押下されるので，複数の手順が必要なり，鉄道利用者の多くが集中しているので，自動券売機で場合は操作が終了するまでスライドを繰り返すことですべ

長時間操作を行うことは駅構内の混雑につながり，視覚障ての操作を行う．タッチレス操作デバイスがタッチパネル碍者に対してのプレッシャーやストレスの原因になりう

機器を操作する際，画面情報と画面推移情報を保持している．そのため，補助デバイスは操作に時間がかからず，視るため，視覚障碍者は画面の文字情報やボタン位置，画面覚障碍者が晴眼者と同じ操作時間で操作を行えるものであの遷移状態を把握する必要がない．そのため，デバイス利ることが望ましい．

用者はタッチパネル上でデバイスをスライドさせるだけで最後に「手順が簡単であること」が望まれる．ATM やタッチパネル機器を操作することができ，デバイスの操作自動券売機にはテンキーがついているため，預金の引き出に関する負担は少ない．さらに，画面上の文字の読み上げ

しや切符の購入，IC カードへのチャージなど，簡単な行動やボタンへの誘導も不要であり，一つのボタンを押下するは音声ガンダンスを通して行える．しかし，自動券売機でためにかかる時間もスライドさせる動作時間のみである．の特急券の購入や新幹線の予約などは日時指定や座席の指そのため，タッチパネル機器の操作時間を短縮することが定など，画面上での複雑な手順が必要である．視覚障碍者

でき，より少ない負担でタッチパネル機器を操作することがこれらを一人で操作するには複雑な手順と画面の内容をが可能になる．複雑な手順を行う際も，画面の表示内容や記憶しておく必要があるため，視覚障碍者に対する負担がタッチパネル画面の操作手順にかかわらず，デバイスのス大きい．そのため，補助デバイスを用いることで，視覚障ライドを繰り返すだけでよい．そのため，画面の表示内容碍者が画面の内容を把握できていなくても簡単な手順を通や操作手順について記憶しておく必要がなく，タッチレス© 2020 Information Processing Society of Japan1072

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

操作デバイスの操作手順は簡単であるといえる．
タッチレス操作デバイスを用いることで，視覚障碍者は晴眼者と変わらない負担でタッチパネル機器を使用することが可能になると考えられる．

3P-79
2020/3/9

者のタッチパネル機器操作時の時間短縮と負担の軽減を想定している．
今後はタッチレス操作デバイスおよびウェブインターフェースに調整を行ったのち，評価実験を行う．現在作成
しているウェブインターフェースは取得しているボタン

3.3 タッチレス操作デバイスの構成
タッチレス操作デバイスはスマートフォンと RaspberryPi，ボタン押下をおこなうソレノイド，デバイスの移動量情報を羅列している状態である．そのため，視覚障碍者にとって利用しやすい情報の提示方法について調査し，実装する必要がある．

を計算するロータリーエンコーダ，スピーカで構成される．

また，券売機にとどまらず，様々な場面での利用を検討

視覚障碍者がタッチレス操作デバイスを操作する際の情を行う．近年，スマートフォンやコンピュータなどの情報報を入力するユーザーインターフェースとして，HTML で通信端末が普及し，日常生活の様々な場面で使用されてい構築したウェブインターフェースを用いてスマートフォンる．インターネットの発達に伴い，インターネットショッからの入力を検討している．スマートフォンには音声読みピングやオンライン予約サービスなどの様々なオンライ上げ機能など視覚障碍者にとって有益な機能が多く，視覚ンサービスが提供されている．渡辺の調査 [5] によるとス障碍者にとって身近なデバイスである．スマートフォンにマートフォンは全盲者の 52.1%，弱視者の 55.6%が利用お表示されたテキストはスクリーンリーダーで読み上げるこり，多くの視覚障碍者がこれらのサービスを利用しているとが可能であるため，テキストとして表示することでユーと予想される．

ザーへ画面情報と画面推移情報を伝えることが可能とな

現在，様々なオンラインサービスが提供されているがそる．また，ウェブインターフェー上スでタッチパネル機器のすべての処理がスマートフォンやコンピュータで完結すを操作するための情報を取り扱うため，前もって情報の入るものではなく，駅の自動券売機や ATM，コンビニ端末力が可能であり，入力情報を登録することで，再度同じ操などの物理媒体を必要する場面が存在する．タッチレス操作を行う際の負担を軽減することが可能になる．

作デバイスを使用することで，このような場面においても，タッチパネル機器の画面情報と画面推移情報を保持した

視覚障碍者が入力を行うデバイスをスマートフォンだけに

CSV ファイルを読み取り，スマートフォンにテキストと限定される．これにより，視覚障碍者が物理媒体に応じてして表示する．タッチレス操作デバイスはウェブインター対応するのではなく，システム側からの対応が容易となり，フェースによって入力された情報から，タッチレス操作デ視覚障碍者に対する負担を軽減することが期待される．

バイスの制御情報の生成を行う．
制御情報を受け取った後，CSV ファイルからボタン位置を参照し，ロータリーエンコーダから計算された移動距離をもとにソレノイドを動作させ，タッチパネルに入力を参考文献[1][2]

行う．タッチパネル操作デバイスが画面端に移動した場合は，警告音を発する．

[3]

これらの制御やウェブインターフェースの構築は Rasp-

berry Pi で行われる．

[4]

4. 評価実験予定
本デバイスおよびインターフェースの有用性を検証するために，実際に駅の券売機を用いて本デバイスを用いた場
合とそうでない場合において，券売機利用時の操作時間と[5]: WatVision, https://watvision.github.io/.
: 弱 視 者 の 鉄 道 利 用 レ ポ ー ト 2014
− 券 売 機・精算機・運賃表，http://sai-jakumonken.sakura.ne.jp/railway21/kenbai.html.
久野素有， 山下淳， 金子透： ステレオカメラを用いたタッチパネル操作支援システムの構築，電気学会論文誌 D(産業応用部門誌)， Vol. 131, No. 4, pp. 458–465 (2011).
山下 淳，久野素有，金子 透，小林祐一，淺間 一：
ステレオカメラを用いた視覚障碍者のためのタッチパネル操作支援システム，精密工学会学術講演会講演
論文集，Vol. 2013A, pp. 481–482（オンライン），DOI:
10.11522/pscjspe.2013A.0.481.0 (2013).
渡辺哲也： 視覚障害者の意思疎通支援サービス，及び ICT
機器利用状況の地域間差の分析，保健医療科学，Vol. 66,
No. 5, pp. 523–531 (2017).

操作における負担を比較することを想定している．

5. まとめ今回，視覚障碍者がタッチパネル機器を使用する上での現状について確認し，タッチパネル機器操作補助デバイスの必要性について述べた．既存の補助デバイスを使用した場合の課題とタッチレス操作デバイスについて検討を行った．本手法では画面情報と画面推移情報をあらかじめ保持し，タッチレスな操作デバイスを用いることで，視覚障碍© 2020 Information Processing Society of Japan1073