情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B25
2018/3/5

Tap Messenger:タップのみでコミュニケーションを行うシステムの基礎検討
小林 舞子1呉 健朗1荒木 伊織1

大和 佑輝1

宮田 章裕1,a)

概要：
健常者や障がい者は，文字や発話，点字や手話などの手段を利用し，他者とコミュニケーションを行っている．しかし，ユーザが利用するコミュニケーション方法が，相手の障がいの有無や種類の差によって相手に理解できない方法である場合，介護者の仲介無しにコミュニケーションを行うことが困難であるという問題がある．この問題を解決するために，我々はスマートフォンのタップ機能のみを使い，文字の画数回タップを行うだけで，簡単なコミュニケーションを行うことができるシステムを提案した．これにより，障がいの有無や種類によらず，様々なユーザ間でコミュニケーションを行うことができるようになる．このシステムを実現するための手段として，ひらがなの画数を利用する．まず，定型文を入力する際，ユーザは任意の定型文をひらがなに変換する．そして，定型文の各文字の画数を順番に入力することで，あらかじめ作成しておいたデータとのマッチングが行われ，任意の定型文が出力される．プロトタイプシステ
ムを用いた検証実験を行なった結果，一定の精度でユーザが正しく定型文を入力できることが確認できた．

Tap Messenger:A Study of A Communication System Using Only Tap
Maiko Kobayashi1

Kenro Go1

Iori Araki1

1. はじめにYuki Yamato1

Akihiro Miyata1,a)

ひらがなの画数に着目した．
以上のことから，我々は，ひらがなの画数回タップする

健常者は，他者と文字や発話といった，視覚や聴覚を利だけでコミュニケーションを行う方式を提案する．これ用したコミュニケーションを行っている．また，視覚や聴は，ある定型文をひらがなに置き換え，そのひらがなの画覚に障がいがある場合でも，点字や手話といった手段でコ数の組み合わせと同様にタップを行うだけで，定型文を音ミュニケーションを行ってる．しかし，ユーザが利用する声と文字によって出力できるものである．例えば， お休

コミュニケーション方法が相手の障がいの有無や種類の差

み という言葉をひらがなに直すと， おやすみ になる．

によって相手に理解できない方法である場合，介護者の仲そして， おやすみ介無しにコミュニケーションを行うことが困難であるといなる．よってユーザは，3 回，3 回，2 回，2 回の順に連続う問題がある．また，後天的に視覚や聴覚に障がいを持っでタップを行うことで， お休み と相手に伝える事ができた場合，新たなコミュニケーション方法を習得するのにはるというものである．

大きな負担がかかるという問題がある．の画数の組み合わせは， 3,3,2,2とこのシステムは，例えば道を尋ねる場合など，屋内だけこれらの問題を解決するために，我々は，障がい者でもでなく屋外でも使うことができる．また，例えば道案内シ

比較的負担が軽いと考えられる，スマートフォンをタップ

ステムに目的地などを入力して，バリアフリーな経路を把するという動作と，健常者，障がい者問わず理解のできる握するシーンなど，コミュニケーションだけでなく，システムへの定型文入力にも使えると考える．

1a)

日本大学 文理学部
College of Humanities and Sciences, Nihon University
miyata.akihiro@nihon-u.ac.jp© 2018 Information Processing Society of Japan

本稿の貢献は次の通りである．

• 障がいの有無や種類によらず，様々なユーザ間でコ963

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B25
2018/3/5

ミュニケーションを行える方式を提案したこと．

また，病気や事故によって後天的に障がいを持った人に• 上記提案のプロトタイプシステムを構築し，ユーザ実とっては，唐突の環境変化により，点字や手話を覚えるこ験を行って有効性を検証したこと．

2. 関連研究
本章では，障がい者のための新しいコミュニケーション方法に関する研究事例について述べる．まず，障がい者のとが特に難しい．他にも，視覚・聴覚障がい者だけでなく，他者とコミュニケーションを行うことが困難な障がいを持つ人は数多い．そのため，障がい者のための新しいコミュニケーション方法に関する研究が多く行われているが，いくつかの問題が存在する．

コミュニケーションを支援する研究として [1]，[2] が挙げまず，[1] は，聴覚障がい者がコミュニケーションを行うられる．[1] は，外国人や聴覚障がい者など，音声のコミュための支援をするものであるが，視覚情報を用いたコミュニケーションが不自由な人を対象としたコミュニケーショニケーション支援であるため，視覚障がい者が使用するこン支援システム，VUTE の提案をしている．文字の代わりとはできない．[4] は，視覚障がい者がコミュニケーションに理解しやすい絵記号を選択式で表示し，ユーザが回答すを行うための支援をするものであるが，キーボードによるると，得られた情報をもとに日本語文を生成する．[2] は，細かい作業を要求されるデバイスを操作する必要があるた

発話障がい者を対象に，直接発話を行うことなく，自然なめ，身体障がい者が使用することはできない．[3] は，キー対話を支援することを目的とした手袋型入力デバイスの提入力が少なく，細かい操作を必要としないので，身体障が案をしている．手袋にはボタンが装着されており，ユーザい者に対して負担の少ないシステムだが，出力候補が画面は発話をしたい文字に対応するボタンを押すことで，リア出力のため，視覚障がい者が使用することはできない．こルタイムに音で出力することができる．のように，障がいが異なるユーザ間でコミュニケーション[3]，[4]，[5]，[6]，[7] は，障がい者が，あるシステムにを行う際には使用できない場合があるという問題がある．

対して入力を行う際に負担がかかりにくい入力方式の提案[2]，[5]，[6] は，障がいが異なるユーザ間でもコミュニケーを行っている．[3] は，高齢者，障がい者を対象に，4 つのションを行うことができる．しかし，[2] は，各ボタンに結キーを用いて自由な日本語の文章を入力するシステムを提びつけられた母音や子音を記憶する必要があり，習得する案している．4 つの入力用のキーにはかなが重複して割りのに手間がかかると考えられる．[5] は，8 方向へ指を移動振られており，ユーザが目的の文のかなに相当するキーをさせるという細かな入力が要求され，どの方向に指を動か押すことにより，複数の出力候補が画面表示される．[4]せばどんな文字が入力できるかをあらかじめ習得しておくは，視覚障がい者のための触覚提示と音声インタフェース必要がある．[6] は，初めに提案手法独特の決められた書きによる文字入力を支援する日本語フリック入力型キーボー方，書き順を習得する必要がある．このように，ユーザがドを提案している．キーボードのスリットを利用すること新たなコミュニケーション方法を習得するのに手間がかかにより，ユーザはフリックのみで文字を入力することがでるという問題がある．[7] は，視線による入力なので直感的きる．[5] は，タッチスクリーンを用いた視覚障がい者向けな入力ができ，学習の手間は少ないと考えられるが，視線文字入力方式を提案している．タッチスクリーン上で 8 方を検知する特殊な機材が必要である．特殊な機材を必要と向に指を動かすことにより母音と子音を入力することで，することに関しては，[4] や [2] にも同じことが言える．こ文字を入力することができる．[6] は，PDA の一種であるのように，新たなコミュニケーションを行うために，特殊Palm で用いられる文字入力方法を提案してる．アルファな機材を用意する必要があるという問題がある．

ベットを一筆で書けるように簡略化したものである．[7]以上のことから，障がいの有無や種類によらず，様々なは，身体障がい者を対象に，眼球運動が残存する ALS 患

ユーザ間でコミュニケーションを行うことができるような者を対象とした眼電図によるオートスキャン方式のコミュシステムを構築する上で，下記の研究課題を設定する．

ニケーションツールを提案している．システムが 50 音表を順に選択していく，ユーザは，任意の文字が選択されている段階で視線を上に向けることによってその文字を入力することができる．

3. 研究課題
健常者は，他者と文字や発話といった視覚や聴覚を利用したコミュニケーションを行っている．また，視覚や聴覚に障がいがある場合でも，点字や手話といった手段でコミュニケーションを行うことができる．しかし，点字や手話は難解であり，習得するためには多くの時間を要する．

© 2018 Information Processing Society of Japan

研究課題
課題 1: 障がいの有無や種類によらず，様々なユーザ間でコミュニケーションを行うことができるようにする．
課題 2: 多くの学習を必要としない．
課題 3: 特殊な機材を必要としない．

4. 提案手法
3 章で述べた課題を達成するために，まず我々は，障がい者でもスマートフォンが広く普及していることから [8]，スマートフォンの操作時に必要となるタップは比較的負担964

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B25
2018/3/5

表 1: 組み合わせ例

定型文

組み合わせ

おはよう

3,3,2,2

ありがとう

3,2,3,2,2が少ないと考えた．これをモールス信号のようなパターンで入力することで文章を出力させる．しかし，モールス信号のような複雑な入力パターンでは，ユーザの覚えること

図 1: スマートフォン画面 (左：入力前，右：入力中)が多く，課題 2 を解決できない．そこで，我々は，文字を記憶している人なら誰もが簡単に想起できるパターンとして，ひらがなの画数を使うことにした．ひらがなの書き方
は日本人の多くが共通している．ひらがなの画数を使い，文を識別することで，誰もが多くの学習を必要とせず使用することができると考えた．
これらを元に我々は，タップのみで最低限必要なコミュニケーションを行えるようになるシステムを提案する．これは，ある定型文をひらがなに変換し，各文字の画数の組み合わせをデータセットとする．そして，ユーザが入力したタップ回数の組み合わせと，データセット内の各定型文のマッチングを行い，マッチング結果を音声と文字で出力

図 2: スマートフォン画面 (入力後)するものである．定型文と組み合わせ例を表 1 に示す．
これにより 3 章で述べた課題が達成できると考えられる．課題 1 については，入力をスマートフォンをタップす

5.2 入力方法るという比較的負担がかからない動作に限定し，出力を視入力は，定型文をひらがなに置き換え，そのひらがなの覚，聴覚の両方へのアプローチにすることで，障がいの有画数の組み合わせと同様にタップを行う．例えば， お休

無や種類によらず，様々なユーザ間でコミュニケーション

み という言葉をひらがなに直すと， おやすみ になる．

を行うことができる．課題 2 については，健常者や，後天そして， おやすみ

的に障がいを持った場合でも，すでに学習をしていると思符号化できる．よってユーザは，3 回，3 回，2 回，2 回のわれるひらがなの画数を利用しているので，多くの学習を順に連続でタップを行うことで， お休み と入力すること必要としない．課題 3 については，健常者，障がい者問わができる．の画数の組み合わせは， 3,3,2,2とず，多くのユーザが保持してると思われるスマートフォン

次の文字の画数を入力するためには，一定時間のタップを利用することで，特殊な機材を用意する必要をなくした．

を行わないことで開始する．また， おはよう (3,3,2,2) と5. 実装
5.1 インタフェース
図 1 にスマートフォン画面を示す．最初は，同図左のよおやすみ(3,3,2,2) のように同じ画数の組み合わせの定型文が存在するため，定型文同士の識別が行えないという問題が発生する．そのため，文字の各画の長さも定型文を識別するための要素とした．

うにタイトルのみが表示されている．ユーザは，この状態

これは，ユーザが，ある文字の各画における長さに応じで画面内をタップすることによって定型文を入力することてタップの長さを使い分けるというものである．ある画がができる．入力が完了すると，任意の定型文が音と文字で長いほど長い時間タップし，短ければ短い時間タップを行出力される (図 2)．

う．この時の画の長短は，ユーザの感覚で判断する．表 2

実装は，健常者，障がい者問わず，多くのユーザがスマーに入力例を示す．タップで文字の入力を受け付けた後，一トフォンを所有していることから，スマートフォン上で動定時間経過することで次の文字の入力を受け付け始める．

く Web アプリケーションで行った．これは，スマートフォ一定時間経過した後，次の文字の入力を行わずにさらにンは多くの人が所有しているので，スマートフォンで動く一定時間経過すると，ユーザの入力が完了する．そして，Web アプリケーションにすることで，誰もが手軽に利用でユーザの入力したタップの組み合わせに最も類似したひらきると考えたためである．

がなの組み合わせとなる定型文が出力される．

© 2018 Information Processing Society of Japan965

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B25
2018/3/5

表 2: タップ例

入力文字

タップ時間

あ中間タップ，中間タップ，長いタップ

お中間タップ，長いタップ，短いタップ

6. 検証実験
6.1 実験目的
提案手法の有効性を確認するために，2 点の検証が必要であると考える．まず，どの程度の精度で正しく単語を入力できたか検証する必要がある．これを検証する指標とし

表 3: ユーザデータ例

定型文

符号化した結果

おはよう

1,3,1,0,1,1,3,0,1,3,0,1,3,0

ありがとう

1,1,3,0,1,3,0,3,1,1,0,1,3,1,3,0て，ユーザに実際に使用してもらった際に，どの程度出力に成功したかを示す成功率を算出する．2 点目に，提案手法の操作性の検証を行う必要がある．これを検証する指標として，提案手法の操作方法を変えた複数のパターン間で，ユーザに実際に使用してもらった際の評価値を比較する．

表 4: 正解データ例

定型文

符号化した結果

おはよう

2,3,1,0,2,2,3,0,2,3,0,2,3,0

ありがとう

2,2,3,0,2,3,0,3,2,2,0,2,3,2,3,0

上記 2 点を実験の目的として設定する．

6.2 実験条件
被験者は，20 代男性 13 名である．日本語を母国語とするユーザのみを対象に実験を行った．また，今回の実験で5.3 データマッチングは視覚障がい者を想定ユーザとし，被検者はアイマスクを

本章では，ユーザの入力とデータベース内の定型文のマッチング方法について述べる．

装着し，視界を遮断した状態で提案手法を使用してもらった．使用したスマートフォンは，実験者が提案手法が正常

まず，マッチングを行うためにユーザの入力に対して行うデータの処理について述べる．初めに，ユーザがタップを行う度に指先が画面に接触し，離れるまでの時間を計測する．ユーザの入力が終了した後，計測された時間を正規化する．その後，ユーザ入力を正規化したデータを 2 段階に量子化する．正規化された値が一定未満だった場合，「1」，一定以上だった場合，「3」とする．また，2 段階の他に作動すると判断した 2 台を用いて行った．

6.3 実験手順
パターンごとに被検者の出力結果を記録し，操作性に関するアンケートを行う．提案方式は，下記に示す P1，P2，P3，P4 の 4 パターンを用意した．P2，P4 では，タップだ
けでなくフリックも使用している．これは，操作性の検証に，文字と文字の間を識別するために「0」を挿入する．実において，フリックを使用することで操作性が上がるので際の例を表 3 に記す．

はないかと考えたためである．各パターンとも，出力でき次に，正解データについて述べる．ユーザの入力データとは異なり，正解データはあらかじめ各画の長さが 3 段階に量子化されている．短い画は，「1」，中間の長さの画は，「2」，長い画は，「3」とする．この時，画の長さが短い・中間・長いのどれにあたるかどうかは，我々が議論の結果ヒューリスティックに決めた．また，入力データ同様文字と文字の間を識別するために「0」を挿入する．表 4 に例を記す．

る定型文の数は同じである．

• P1
文字の画数回タップすることで入力を行い，次の文字への入力は，2 秒間待つことで行う．これを本研究におけるベースラインとする．

• P2
文字の画数回タップすることで入力を行い，次の文字への入力は，最後の画をフリックすることで行う．

ユーザ入力データと正解データの類似度は，Dynamc

Time Warping(以下 DTW) を用いて計算を行う．DTW を用いることにより，ユーザの入力ミスをある程度補完することが可能になるためである．まず，DTW で正規化したユーザ入力データと正解データの距離を計算する．算出された DTW 距離に，1 を足した値を逆数にしたものを最終的な類似度スコアとする．

• P3
文字の画の長さに合わせてタップの長さを変えながら画数回タップすることで入力を行い，次の文字への入力は，2 秒間待つことで行う．

• P4
文字の画の長さに合わせてタップの長さを変えながら画数回タップすることで入力を行い，次の文字への入力は，最後の画をフリックすることで行う．

Similarity = 1/(1 + DT W )(1)

出力は，最終的な類似度スコアが最も高くなる定型文と被検者には，1 パターンに対して 10 個の定型文を入力しする．なお，一定の閾値を超える類似度スコアをもつ定型てもらい，その出力結果を記録した．順序効果を相殺する文がなかった場合，「No Match」と出力する．

ために各パターンの使用はランダムに行った．下記に実験© 2018 Information Processing Society of Japan966

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B25
2018/3/5

表 5: 被験者への質問一覧
Q1

タップで文字を入力する方法はわかりやすかったか

5:とてもわかりやすかった 〜 1:とてもわかりにくかった
Q2

タップで文字を入力する方法は使いやすかったか

5:とても使いやすかった 〜 1:とても使いにくかった
Q3

次の文字へ進む方法はわかりやすかったか

5:とてもわかりやすかった 〜 1:とてもわかりにくかった
Q4

次の文字へ進む方法は使いやすかったか

5:とても使いやすかった 〜 1:とても使いにくかった

手順の詳細を記す．

Step 1: 被験者は，パターンの数字が書かれた 4 枚の紙か

図 3: 各パターンの出力成功割合

ら 1 枚を選ぶ．

Step 2: 実験者は，Step 1 で選ばれた手法の使用方法を被験者に説明する．

Step 3: 被験者は，視界を遮断し，選んだ手法を納得いくまで練習する．被験者が入力する定型文については実験者があらかじめデータセット内から決める．

Step 4: 被験者は，提案手法を使い，10 回定型文を入力をする．被験者が入力する定型文については実験者があらかじめデータセット内から無作為に決める．実験者は，被験者の出力結果を記録する．

Step 5: 被験者は，全ての定型文に対して入力を終えたらアンケートに回答する．

図 4: Q1 の回答Step 6: Step 1〜Step 5 を各手法を全て行うまで繰り返す．4 パターン全て行った時点で実験終了．
なお，スマートフォンの持ち方やタップを行う指については指定しなかった．Step 4 の入力文については，各パターン同じ定型文をランダムに入れ替えて行った．また，

Step 5 のアンケートについては，5 段階のリッカート尺度（5:とてもわかりやすかった〜1:とてもわかりにくかった，5:とても使いやすかった〜1:とても使いにくかった）で回答するアンケートを行った．被検者への質問を表 5 に示す．

6.4 結果・考察

図 5: Q2 の回答実験を行った結果，各パターンの被検者が正しく定型文を入力できた割合を図 3 に示す．実験を行った結果，各パ被検者は，P1 では 85%，P2 では 62%，P3 では 62%，P4

ターンの被検者が正しく定型文を入力できた割合は，P1 がでは 38%であった．Q2 の回答結果を図 5 に示す． タップ92%，P2 が 82%，P3 が 65%，P4 が 65%となった．P1，P2して文を入力する方法は使いやすかったか という質問にの結果より，画数回のタップのみで入力した場合，80%以対し， とても使いやすかった または 使いやすかった

上の精度で正しく定型文を入力することができた．しかと回答した被検者は，P1 では 77%，P2 では 62%，P3 でし，P3，P4 では，精度が 60%程度となっており，精度がは 23%，P4 では 38%であった．Q3 の回答結果を図 6 に示落ちている．これは，文字の長さに合わせてタップの長さす． 次の文字へ進む方法はわかりやすかったかというを変える入力方法であり，被検者が思考する量が増えたた

質問に対し， とてもわかりやすかった

わかりめであると考えられる．

やすかった と回答した被検者は，P1 では 92%，P2 ではまたはQ1 の回答結果を図 4 に示す． タップして文を入力する

77%，P3 では 54%，P4 では 46%であった．Q4 の回答結方法はわかりやすかったか という質問に対し， とてもわ果を図 7 に示す． 次の文字へ進む方法は使いやすかった

かりやすかった または わかりやすかった と回答したか© 2018 Information Processing Society of Japanという質問に対し， とても使いやすかったまたは967

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B25
2018/3/5

かった ， 使いやすかった と答えた結果を比較したとこ
ろ，P3 の方が P4 を上回っていた．ここから P1 と P2 同様，P4 はフリックを行う必要があったためと考えられる．
以上より，タップの長さやフリックなど，複数の動作による入力は，ユーザにとって負担であると考えられる．

7. おわりに
本稿は，健常者と障がい者同士や異なる障がいを持った者同士がコミュニケーションを行う際に，自分もしくは相手にコミュニケーション方法を合わせなければならないと
図 6: Q3 の回答

いった問題の解消を狙ったものである．この問題を解決するために，我々は，健常者，障がい者問わず，文字を記憶している人なら誰もが知っている，ひらがなの画数に着目した．この着想を元に我々は，ひらがなの画数回タップを行うだけでコミュニケーションを行う方式を提案した．実
装したプロトタイプシステムを用いた実験の結果，タップで定型文を入力する方法については一定の精度を確認することができた．今後は，画数の組み合わせが同じ定型文を，よりユーザに負担のない方法で識別できるように検討していきたい．また，原理的には英語で利用できる可能性があるため，今後，日本語以外の言語でも利用できるか検証予定である．

図 7: Q4 の回答

使いやすかった と回答した被検者は，P1 では 85%，P2
では 62%，P3 では 38%，P4 では 31%であった．

謝辞
本研究は JSPS 科研費 JP17K12730 の助成を受けて行われた．

この結果からまず，P1 と P2 で考察を行う．Q1 では，P1 と P2 で とてもわかりやすかった ， わかりやすかっ

参考文献

た[1]と答えた被検者が 60%を超えていた．Q2 でも同様，

P1 と P2 で とても使いやすかった ， 使いやすかったと答えた被検者は，60%を超えていた．ここから，タップ[2]で画数を入力する方法は，一定の割合のユーザが理解することができると考えられる．また，Q3 では，P1 と P2 でとてもわかりやすかった ， わかりやすかった と答えた

[3]

結果を比較したところ，P1 の方が P2 を上回っていた．同
じく Q3 でも，P1 と P2 で とても使いやすかった ， 使[4]いやすかった と答えた結果を比較したところ，P1 の方がP2 を上回っていた．これは，P2 ではフリックを行う必要があったためと考えられる．

[5]

次に，P3，P4 で考察を行う．Q1 は，P3，P4 で とてもわかりやすかった ， わかりやすかった と答えた結果に一定の割合が得られず，Q2 でも，P3，P4 で とても使い[6]やすかった ， 使いやすかった と答えた結果に一定の割合が得られなかった．ここから，P3 と P4 は理解するのが困難であったと考えられる．しかし，Q3，Q4 の質問に関[7]しては，P1 と P2 同様，Q3 では， とてもわかりやすかった ， わかりやすかった と答えた結果を比較したところ，

P3 の方が P4 を上回っており，Q4 でも， とても使いやす© 2018 Information Processing Society of Japan[8]

中園他：外国人や聴覚障害者の緊急時ユニバーサルコミュ
ニケーション支援技術に関する検討，電子情報通信学会
論文誌 D，Vol.J94-D，No.1，pp.221-232，(2011)．
梅舟他：発話障碍者のための自然対話支援システムの開発（第 3 報），情報処理学会研究報告ヒューマンコンピュー
タインタラクション（HCI），Vol.2005-HI-116，No.114，pp.57-63，(2005)．
田中他：少数キーを用いた日本語入力，情報処理学会論文誌，Vol.44，No.2，pp.433-442，(2003)．
志水他：視覚障害者の日本語入力を支援するフリック入力型キーボード，研究報告ヒューマンコンピュータイン
タラクション（HCI），Vol.2014-HCI-158，No.5，pp.1-6，(2014)．
青木他：Drag&Flick：タッチスクリーンを用いた視覚障がい者向け文字入力方式，情報処理学会シンポジウム（CD-ROM），Vol.2013，No.1，ROMBUNNO.13INT010，(2014)．
Fleetwood et al.：An Evaluation of Text-Entry in Palm
OS-Graﬃti and the Virtual Keyboard，Proceedings ofthe HFES 52nd annual meeting，Vol.46，No.5，pp.617621，(2002)．
大矢他：眼電図による ALS コミュニケーションツールの入力動作の研究，社団法人日本生体医工学会，Vol.43，
No.1，pp.172-178，(2005)．
渡辺他：視覚障害者の携帯電話・スマートフォン・タブ
レット・パソコン利用状況調査 2013，平成 24 年度 電気通信普及財団 研究調査助成 成果報告書 2014，(2014)．

968