情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19008
2019/3/6

Tap Messenger:タップのみでコミュニケーションを行うシステムの提案小林 舞子1

小林 優維1呉 健朗2大和 佑輝1

宮田 章裕1,a)

概要：
健常者や障がい者は，文字や発話，点字や手話などの手段を利用し，他者とコミュニケーションを行っている．しかし，ユーザが利用するコミュニケーション方法が，障がいの有無や種類によって相手が理解できない場合，介護者の仲介無しにコミュニケーションを行うことが困難であるという問題がある．この問題を解決するために，我々は，指でタッチスクリーンをタップするという最低限の身体動作だけで日常生活に必要なコミュニケーションを行えるシステム Tap Messenger を提案する．このシステムでは，伝えた
いメッセージを構成する各文字をひらがなで表現した場合の画数に合わせてスクリーンをタップするだけ
で，メッセージを文字と音で相手に伝えることが可能である．これにより，障がいの有無や種類を問わず，様々なユーザ間で介護者の仲介無しに共通の方法でコミュニケーションを行うことができるようになる．
提案方式のプロトタイプシステムと既存システムを用いた比較実験を行なった結果，提案方式の方が少な
い学習で習熟できるということが確認できた．

1. はじめに以上の検討をふまえ，我々は，指でタッチスクリーンをタップするという最低限の身体動作だけで日常生活に必要健常者は，視覚や聴覚を利用して，他者と文字や発話となコミュニケーションを行えるシステム Tap Messenger をいったコミュニケーションを行っている．一方，視覚や聴提案してきた [1][2]．このシステムでは，伝えたいメッセー

覚に障がいがある場合は，点字や手話といった手段でコジを構成する各文字をひらがなで表現した場合の画数に合

ミュニケーションを行っている．しかし，ユーザが利用す

わせてタッチスクリーンをタップするだけで，メッセージ

るコミュニケーション方法が相手の障がいの有無や種類を文字と音で相手に伝えることが可能である．例えば， おによって相手が理解できない場合，介護者の仲介無しにコ

休み という定型文をひらがなに直すと， おやすみ にな

ミュニケーションを行うことが困難であるという問題がある．そして， おやすみ の画数の組み合わせは， 3,3,2,2

る．また，後天的に視覚や聴覚に障がいを持った場合，新となる．よってユーザは，3 回，3 回，2 回，2 回の順に連

たなコミュニケーション方法を習得するには大きな負担が続でタップを行うことで， お休み と相手に文字と音で伝かかるという問題がある．

えることができる．

これらの問題を解決するために，我々は，健常者，障がい者問わず，日本人なら多くの人が理解できる，ひらがなの画数に着目した．ひらがなの画数は，日本人の多くがす本稿の貢献は次のとおりである．

• [1][2] の提案方式に追加機能を実装したプロトタイプ
システムを提案したこと．

でに学習しているため，後天的に障がいを持った場合でも，• 上記提案のプロトタイプシステムを構築し，既存シス

新たに学習することなく理解できると考えられる．また，テムと習熟のしやすさに関する比較実験を行ったこと．

障がいの種類を問わず使用できるよう，身体障がい者でも比較的負担が軽いと考えられる，スマートフォンのタッチ
スクリーンをタップするという動作に注目した．
1

2

a)

日本大学 文理学部
College of Humanities and Sciences, Nihon University
日本大学大学院総合基礎科学研究科
Graduate School of Integrated Basic Sciences, Nihon University
miyata.akihiro@acm.org© 2019 Information Processing Society of Japan

2. 関連研究
本章では，障がいがある人向けのコミュニケーション支援に関する研究事例を紹介する．

2.1 視覚障がい者を支援する事例
視覚障がい者のコミュニケーションを支援する研究事例

67情報処理学会 インタラクション 2019
IPSJ Interaction 2019として [3]，[4]，[5]，[6] が挙げられる．[3]，[4] は，視覚障がINT19008
2019/3/6

2.4 その他の障がい者を支援する事例

い者を対象に，タッチスクリーンを用いた文字入力方式をその他の障がい者のコミュニケーションを支援する研究

提案している．タッチスクリーン上で 8 方向に指を動かす事例として [13]，[14] が挙げられる．[13] は，発話障がいことにより，母音と子音を入力することで，文字を入力す者を対象に，直接発話を行うことなく，自然な対話を支援ることができる．[5] は，視覚障がい者を対象に，文字入力することを目的とした手袋型入力デバイスの提案をしていを支援する日本語フリック入力型キーボードを提案している．手袋にはボタンが装着されており，ユーザは，発話をる．キーボードのスリットを利用することにより，フリッ

したい文字に対応するボタンを押すことで，リアルタイム

ク動作のみで文字を入力することができる．[6] は，視覚障に音で文字を出力することができる．[14] は，キーボードがい者向けの文字入力支援システムを提案している．9 個の入力に不自由を感じる健常者や障がい者を対象に，PDAのソフトウェアキーをタッチスクリーンに配置し，キーをの一種である Palm を用いた文字入力方式を提案している．

2 回連続でタップすることでアルファベットを入力するこ

アルファベットを簡略化することにより，一筆で文字を入とができる．

力することができる．

2.2 聴覚障がい者を支援する事例

3. 研究課題

聴覚障がい者のコミュニケーションを支援する研究事例

健常者は，他者と文字や発話といった，視覚や聴覚を利として [7]，[8]，[9] が挙げられる．[7] は，聴覚障がい者な用したコミュニケーションを行っている．一方，視覚や聴

ど，音声のコミュニケーションが不自由な人を対象とした覚に障がいがある場合は，点字や手話といった手段で，コ

コミュニケーション支援システムを提案している．文字のミュニケーションを行っている．しかし，点字や手話は難代わりに理解しやすい絵記号を選択式で表示し，ユーザが解であり，習得するためには多くの時間を要するという回答すると，得られた情報を元に日本語文を生成する．[8]問題がある．また，病気や事故によって後天的に障がいをは，聴覚障がい者に向けて，文字が即座に相手に送信され持った人にとっては，唐突な環境変化により，点字や手話るシステムを提案している．これにより，ユーザは，文字を覚えることが特に難しいと考えられる．視覚・聴覚障がによるコミュニケーションを円滑に行うことができる．[9]い者だけでなく，障がいの種類により，他者とのコミュニ

は，聴覚障がい者と健常者とのコミュニケーションを音声

ケーション方法の習得が困難なユーザは数多い．そのため，認識技術を使ってサポートするシステムを提案している．

障がい者のための新しいコミュニケーション方法に関する

1 つのタッチスクリーンを用いて，健常者は，音声認識に研究が多く行われているが，いくつかの問題が存在する．

よる文字入力を行い，それに対して聴覚障がい者は，筆談

第 1 に，障がいが異なるユーザ間でコミュニケーション

で入力を行うことができる．

を行う際に，相手に理解されない場合があるという問題がある．[7]，[8]，[9] は，聴覚障がい者がコミュニケーション

2.3 身体障がい者を支援する事例を行うための支援をするものであるため，視覚情報を用い身体障がい者のコミュニケーションを支援する研究事例

た出力方法である．そのため，視覚障がい者が出力結果をとして [10]，[11]，[12] が挙げられる．[10] は，高齢者，身見ることは難しい．[10] は，キー入力が少なく，細かい操体障がい者を対象に，日本語の文章を 4 つのキーのみで入作を必要としないので，身体障がい者に対して負担の少な

力することができるシステムを提案している．4 つの入力いシステムだが，出力結果が画面出力のため，視覚障がい用のキーには，かなが重複して割り振られており，ユーザ

者が見ることは難しい．

が目的の文のかなに相当するキーを押すことにより，複数

第 2 に，ユーザが新たなコミュニケーション方法を習の出力候補が画面表示されるため，少ない入力で文章を入得するのに手間がかかるという問題がある．[3]，[4]，[6]，力することができる．[11] は，身体障がい者を対象に，眼[13]，[14] は，障がいが異なるユーザ間でもコミュニケー

電図を使用したオートスキャン方式のコミュニケーション

ションを行うことができる．しかし，[3]，[4] は，8 方向へ

ツールを提案している．システム上で 50 音表が順に表示

指を移動させるという細かな入力が要求され，どの方向にされ，ユーザが視線を上に向けることによって，任意の文

指を動かせばどんな文字が入力できるかあらかじめ習得し字を入力することができる．[12] は，身体障がい者を対象ておく必要がある．[6] は，9 個のソフトウェアキーの位置に，スマートフォンを用いた文字入力システムを提案してと，それぞれのキーでどんな文字が入力できるかあらかじいる．スマートフォンのカメラからユーザの目線を読み取め習得しておく必要がある．[13] は，各ボタンに結びつけ

り，ユーザが入力したい文字を予測することで，文を生成られた母音や子音を記憶する必要があり，習得するのに手することができる．

間がかかると考えられる．[14] は，初めに手法独特の書き方，書き順を習得する必要がある．
第 3 に，新たなコミュニケーションを行うために，特殊© 2019 Information Processing Society of Japan68

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19008
2019/3/6

な機材を用意する必要があるという問題がある．[5]，[13]表 1組み合わせ例

は，出力を文字と音で行っており，相手の障がいの種類を

定型文

組み合わせ

問わず伝えることができると考えられる．しかし，[5] は，

おはよう

3,3,2,2

フリック入力を可能とした特殊なキーボードが必要であ

こんにちは

2,1,3,2,3

り，[13] は，手袋型の特殊な入力デバイスが必要である．

[11] は，視線による入力なので直感的な入力ができ，学習の手間は少ないと考えられるが，視線を検知する特殊な機材が必要である．[12] は，スマートフォンで入力を行うことができ，手軽に使用できると考えられる．しかし，入力するためには，スマートフォンをユーザの顔の正面に固定する必要があり，聞き手の補助，もしくは，スタンドの設置が必要である．
以上のことから，様々なユーザ間でコミュニケーションを行うことができるようなシステムを構築する上で，下記の研究課題を設定する．

図 1

スマートフォン画面 (左：入力前，右：入力中)

研究課題
課題 1: 障がいの有無や種類を問わず，様々なユーザ間でシステムを使用できるようにする．
課題 2: 少ない学習でユーザがシステムを使用できるようにする．
課題 3: ユーザが特殊な機材を用意することなく，システ
ムを使用できるようにする．

4. 提案手法
図 2

3 章で述べた課題を達成するために，まず我々は，障がい者の中でもスマートフォンが広く普及していることから [15]，スマートフォンの操作時に必要となるタップは比較的負担が少ないと考えた．例えば，モールス信号のような入力であれば，視覚障がい者や身体の一部しか動かない
身体障がい者でも実行可能である．しかし，モールス信号のような複雑な入力パターンでは，ユーザが覚えることが多く，課題 2 を達成できない．そこで，我々は，日本語の文字を記憶している人なら誰もが簡単に想起できるパターンとして，ひらがなの画数を使うことにした．ひらがなの画数は，日本人の多くがすでに学習しているため，新たに学習することなく理解できると考えられる．
上記の検討に基づき，我々は，指でタッチスクリーンをタップするという最低限の身体動作だけで日常生活に必要なコミュニケーションを行えるシステム Tap Messenger を提案してきた [1][2]．このシステムでは，あらかじめ，よく用いられる挨拶などの定型文をひらがなに変換し，定型文を構成する各文字の画数の組み合わせをコミュニケーショ
ン辞書に格納しておく．そして，ユーザが入力したタップ
回数の組み合わせと，コミュニケーション辞書内の各定型文のマッチングを行い，マッチング結果を文字と音で出力するものである．定型文と組み合わせ例を表 1 に示す．
この方式により，3 章で述べた 3 つの課題が達成できる© 2019 Information Processing Society of Japan

スマートフォン画面 (定型文出力後)と考えられる．課題 1 については，入力をタップ動作のみに限定することで，ユーザの身体に比較的負担がかからな
い．また，定型文の出力を文字と音で行うことで，視覚的・聴覚的に定型文が理解できる．これにより，障がいの有無や種類を問わず，様々なユーザが使用できる．課題 2 については，健常者や，後天的に障がいを持った場合でも，すでに学習していると思われるひらがなの画数を利用しているので，多くの学習を必要としない．課題 3 については，
健常者，障がい者問わず，多くのユーザが保持してると思われるスマートフォンを利用することで，特殊な機材を用意する必要をなくした．

5. 実装
5.1 インタフェース
図 1 にスマートフォン画面を示す．障がいの有無や種類を問わず，様々なユーザが使用できるシステムにするため，弱視者にも文字の判別が行いやすいよう，画面の配色
は [16] に基づいて決定した．最初は，図 1 左のようにタイトルのみが表示されている．ユーザは，この状態でタッチスクリーン内をタップすることによって定型文を入力することができる．視覚障がい者や身体障がい者がタップ動作を行いやすいよう，タップ領域には制限を設けず，タッチ

69

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

表 2

表 3 タップ例

入出力の実装と配慮対象者

実装内容

入力

INT19008
2019/3/6

配慮対象者
視覚

聴覚

背景と文字の配色＊

タップ動作での入力＊＊

入力有効範囲が画面全体＊＊

バイブレーションでの入力補助＊

文字での入力補助

出力

タップ時間

あ

中間タップ，中間タップ，長いタップ

お中間タップ，長いタップ，短いタップ
表 4＊

音での入力補助＊

背景と文字の配色

＊

文字の出力
音の出力

入力文字
身体

ユーザ入力データ例

定型文

ユーザ入力データ

おはよう

1,3,1,0,1,1,3,0,1,3,0,1,3,0

こんにちは

1,1,0,3,0,1,1,1,0,1,3,0,1,1,3,0

＊
表 5

＊

正解データ例

定型文

スクリーンのどこをタップしても入力を行えるようにした．

正解データ

おはよう

2,3,1,0,2,2,3,0,2,3,0,2,3,0

こんにちは

2,2,0,3,0,2,2,2,0,2,3,0,2,2,3,0

入力中，1 文字の入力中に何回タップを行ったかが文字で出力される．また，ユーザがタップを行うと同時にスマー

で文字の入力を受け付けた後，一定時間経過することで次トフォンはバイブレーションを行う．このように，ユーザの文字の入力を受け付け始める．次の文字の入力開始の合がタップを行った際に文字と振動でフィードバックを行う

図は，文字，音，バイブレーションで行う．一定時間経過ことで，障がいの有無や種類を問わず，ユーザは，入力がした後，次の文字の入力を行わずにさらに一定時間経過す行えていることを視覚や触覚で知覚できる．入力が完了す

ると，ユーザの入力が完了する．今回，[1]，[2] で行った実

ると，任意の定型文が文字と音で出力される (図 2)．提案

験を元に，これらの一定時間をそれぞれ 1.5 秒とした．

手法の入出力に関する実装と本システムで配慮を行った障

5.3 データマッチング

がい者の対応表を表 2 に示す．
実装は，健常者，障がい者問わず，多くのユーザがスマー

本節では，ユーザの入力とコミュニケーション辞書内のトフォンを所有していることから，スマートフォン上で動定型文のマッチング方法について述べる．

く Web アプリケーションで行った．Web アプリケーショ

5.3.1 ユーザ入力データと正解データの処理ンにすることにより，ユーザは，本アプリケーションを事

本項では，マッチングを行うために，ユーザの入力とコ前にスマートフォンにインストールすることなく利用でミュニケーション辞書内に登録するデータの処理について

きる．

述べる．まず，ユーザの入力に対して行うデータの処理について説明する．

5.2 入力方法
ユーザは，定型文をひらがなに置き換え，そのひらがなの画数の組み合わせと同様にタップを行う．例えば， お
休み という定型文をひらがなに直すと， おやすみ になる．そして， おやすみ の画数の組み合わせは， 3,3,2,2と符号化できる．よってユーザは，3 回，3 回，2 回，2 回の順に連続でタップを行うことで， お休み と入力することができる．
しかし，上記の方法だけでは， おはようおやすみ

(3,3,2,2) と(3,3,2,2) のように同じ画数の組み合わせの定型文の場合，定型文同士の識別が行えないという問題が発生する．この問題を解決するために，文字の各画の長さも定型文を識別するための要素とする．具体的には，ユーザ
は，入力しようとする画が長ければ長い時間タップし，短ければ短い時間タップを行う．画の長さが長いか短いか判断できない場合は，中間の長さでタップを行う．このときStep 1: ユーザがタップを行う度に指先がタッチスクリー
ンに接触し，離れるまでの時間を計測する．

Step 2: ユーザの入力が終了した後，計測された時間を正規化する．

Step 3: データを 2 種類にマッピングする．正規化された値が，正規化されたデータの中央値未満だった場合，「1」，
中央値以上だった場合，「3」とする．

Step 4: 文字と文字の間を識別するために「0」をマッピングしたデータに加える．
ユーザの入力に対して，Step 1〜Step 4 を行ったものをユーザ入力データとする．ユーザ入力データの例を表 4 に示す．
次に，コミュニケーション辞書に登録するデータの処理について説明する．

の画の長短は，各ユーザが判断する．ユーザによって異な

Step 1: 定型文をひらがなに変換する．

る入力データの処理方法については，5.3 節で後述する．表Step 2: あらかじめ，ひらがなの各画の長さを 3 つに分類

3 に入力例を示す．各文字の入力を区切るために，タップしておき，3 種類にマッピングする．短い画は，「1」，中間© 2019 Information Processing Society of Japan70

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19008
2019/3/6「3」とする．
の長さの画は，「2」，長い画は，る．このときの文字のフォントと音量は，入力者とコミュ

Step 3: 文字と文字の間を識別するために「0」をマッピ

ニケーション相手の相互理解のために大きく出力される．
一定の閾値を超える類似度スコアをもつ定型文がなかっ

ングしたデータに加える．

Step 4: 定型文と Step 1〜Step 3 で作成されたデータをた場合は，出力候補は出力されず，「No Match」と文字と結びつけ，コミュニケーション辞書に登録する．

音で出力する．このときの文字のフォントと音量は，少し小さく出力される．

コミュニケーション辞書に登録するデータを正解データ

これにより，ユーザは，誤った入力を行った場合でも，とする．正解データの例を表 5 に示す．Step 3 にて，各画出力候補から正しい定型文を選択し，出力することができの長さが短い・中間・長いのどれにあたるかについては，る．また，今後コミュニケーション辞書を拡張していく過

著者 5 名が議論の上で決定した．

程で，画数・画の長さの組み合わせが全く同じになる定型

5.3.2 類似度計算文があった場合にも，出力候補選択機能によって，ユーザ

本項では，5.3.1 項で説明したユーザ入力データと正解
データを用いた類似度計算について述べる．
ユーザ入力データと正解データの類似度は，Dynamic

Time Warping(以下 DTW) を用いて算出する．DTW をは，正しい定型文を出力できると考えられる．

6. 検証実験
6.1 実験目的用いることにより，ユーザの入力ミスをある程度補完する

今回は，3 章の課題 2 について，我々が提案する方式でことが可能になる．まず，DTW で正規化したユーザ入力入力を行うことが，どの程度ユーザの習熟のしやすさに影

データと正解データの距離を計算し，これを SD とする．

響を与えるか調査する．具体的には，提案方式と既存方式算出された SD に，1 を足した値を逆数にしたものを最終とで習熟のしやすさを比較し，これを検証する．被検者に的な類似度スコア (Similarity Score) とする (1)．

10 日間連続してシステムを使用してもらい，入力に成功した定型文数と文字数を測ることで，習熟のしやすさを評価

SimilarityScore = 1/(1 + SD )(1)

5.4 出力候補する．

6.2 実験条件

ユーザが誤った入力を行った場合でも，正しい定型文を提案手法は，障がいの有無や種類を問わず，様々なユー出力できるようにするために，出力候補選択機能を実装しザが使用できるシステムであるとしているが，今回の実験た．これは，ユーザが誤って入力したユーザ入力データとでは，特に利用ニーズが高いと思われる視覚障がい者を正解データの類似度スコア (5.3.2 項) がある程度高くなる想定した実験を行う．比較対象となる既存方式には，[3]，ことを利用した機能である．

[4] を製品化したスマートフォンアプリケーションである

下記に詳細を説明する．ユーザの入力完了後，システム

Move & Flick を使用する．Move & Flick では，指をスク

は，ユーザ入力データと正解データとのデータマッチング

リーンに触れた位置から 8 方向（上下左右および各方向のを行い，出力候補選択画面に移行する．初期状態の出力候

中間）のいずれかに動かして子音を選択した後，その位置

補選択画面では，類似度スコアが最も高い定型文が 1 文からさらに指を 8 方向のいずれかに動かして母音を選択す

のみ，文字と音で出力される．定型文選択中の文字のフォることで文字入力を行う．

ントと音量は，入力者の確認用に少し小さく出力される．

被験者は，20 代男性 10 名，日本語を母国語とする晴眼

ユーザは，出力されている定型文が，ユーザの考えた任意者である．実験時，被験者には，システム利用時に目を閉の定型文と異なった場合，タッチスクリーンを右から左へじることで視界を遮断し，視覚障がい者を模してもらった．

フリックすることで，類似度が次に高い定型文を出力す

今回，提案方式と既存方式の入力成功条件を揃えるためることができる．また，タッチスクリーンを左から右へフに，両方式の入力成功までの条件を定めた．提案方式は，リックすることで，類似度が 1 つ前に高い定型文を出力す

出力候補選択機能を使用せず，類似度スコアが最も高い定ることができる．ここでフリック動作を行うことについて

型文が文字と音で出力され，それが意図どおりの出力では，実際に障がい者の方にヒアリングを行った結果，「スあった場合を入力の成功とした．既存方式は，漢字の変換

マートフォンの利用でフリック動作には慣れているため，は行わず，ひらがなのみで入力を行い，最後にひらがなで

タップだけでなく，フリックも加えても良いと思われる．
」

構成された全文を音声で読み上げ，それが意図どおりの出(7 章 2-4) という意見が得られたため採用した．

力であった場合を入力の成功とした．また，被検者が入力

ユーザが出力候補より任意の定型文を選択後，一定時間する文は，両方式で出力が可能な文に限定した．この結果，

タッチスクリーンを指で長押しすることで出力候補の決定

被検者が入力する可能性のある定型文は，574 件，平均文となる．決定後，選択された定型文が文字と音で出力され字数は，5.19 文字となった．

© 2019 Information Processing Society of Japan71

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19008
2019/3/6

さらに，各被験者に対する実験者の作業指示の違いを無くすために，均質な作業指示を自動的に行う作業指示シス
テムを構築した．作業指示システムの主な機能は，下記の4 つである．
• 被験者が使用する方式をランダムで決める．
• 被験者が入力する定型文を選択し，文字と音で出力する (図 3)．

• 被験者が入力する制限時間 (10 分) を計る．
• 被験者が入力に成功した定型文数・文字数を数える．

図 3 作業指示システム画面

6.3 実験手順
被験者は，下記手順に従って，10 日間連続して両方式を使用する．

Step 1: 被験者は，提案方式と既存方式について実験者が示した使用説明文を読み，納得するまで練習する．被験者が入力する文については，実験者があらかじめ本実験で使用しないもので練習に適していると判断したもののみを使用する．

Step 2: 被験者は，実験者が用意した作業指示システムを

図 4 10 日間の入力成功定型文数

PC 上で起動する．
Step 3: 作業指示システムは，最初に使用する方式 (既存方式または提案方式) を被検者に指示する．順序効果を相殺するために，各日の最初に使用する方式は，ランダムに決定する．

Step 4: 被験者は，Step 3 で選ばれた方式を使い，作業指示システムが文字と音で出力した定型文を目を閉じて，10分間入力する．

Step 5: 実験者は，作業指示システム上に画面出力された入力に成功した定型文数・文字数を記録する．

Step 6: 被験者は，Step 3 で選ばれなかった方式を使用
し，Step 4〜Step 5 を行う．

Step 7: 被験者に Step 2〜Step 6 を 1 日 1 回，10 日間連
続して行ってもらった後，実験者は，被検者にヒアリングを行う．

Step 4 にて，被験者が入力する定型文については，作業
指示システムが，実験者が両方式で入力が可能と判断した辞書内から，その日の 1 回の実験中にまだ入力されていな
い定型文を無作為に出力する．被験者は，作業指示システ
ムが指定した定型文について，自身が成功したと判断するまで入力を行う．入力に成功したと判断した場合，目を開け，作業指示システム上にある入力成功ボタン (図 3 ＊ 1 )を押して，次の定型文の入力に備える．また，被験者は，作業指示システムが指定した定型文の入力に全く成功しないと感じた場合，作業指示システム上にあるスキップボタン (図 3 ＊ 2 ) を押して，その定型文の入力を諦めることもできる．これは，被検者の入力方法自体が間違っており，© 2019 Information Processing Society of Japan図 5

10 日間の入力成功文字数

入力が成功する可能性がない状態で，制限時間まで入力を繰り返すのを防ぐためである．
実験は，静かな場所で，椅子に座った状態で行った．ス
マートフォンの持ち方や操作する指は指定しなかった．

6.4 結果・考察
被験者が各方式で 1 分間あたりに入力に成功した定型文
数・文字数の 10 日間の遷移をそれぞれ図 4，図 5 に示す．
各図において，2 日目までの期間と，3 日目以降の期間で各方式の挙動が異なるため，これらの期間別に考察を行う．

6.4.1 2 日目までの期間
定型文数・文字数とも，提案方式の方が既存方式よりも中央値が高く，各日とも Welch のｔ検定にて 5%水準で有意差を確認できた．実験終了後に被験者に対して行ったヒ
アリングからも，提案方式では，「覚えることがほぼない」，「最初から苦労せずに使える感じがした」という意見が得られたのに対し，既存方式では，「アルファベットの配置を覚えるのが大変」，「入力するときの動作など，覚えること72

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19008
2019/3/6が多い」という意見が得られた．提案方式は，多くの人が1-3) 入力中，ユーザが思い描いた定型文が出力されるか

すでに学習しているひらがなの画数を使い，タップ動作の不安である．

みに限定したため，このような結果が得られたと考えられ

1-4) 画の長さを考えて入力することは，新しい言葉を覚える．以上より，提案方式の方が既存方式よりも少ない学習て入力することと同じであり，新たな学習が必要になる．

で操作の習熟が可能であると判断できる．

1-5) 点字は長短が無いので，点字を使用するユーザには

6.4.2 3 日目以降の期間

提案方式は苦手に思われる可能性がある．

5%水準の Welch のｔ検定を実施したところ，定型文数・文字数とも，3 日目以降のすべての日において両方式間で有意差が認めらなかった．以降，各方式について考察を深める．
既存方式においては，図 4・図 5 にあるとおり，使用期
間が長くなるにつれて定型文数・文字数の差が大きくなっている．これは，既存方式がユーザによって習熟度の差がつきやすいことを示唆している．すなわち，上手く操作のコツを掴んで入力速度が上がる人がいる一方で，そうならない人も一定数生じるということである．この傾向は，被検者へのヒアリングからも確認できている．
一方で，提案方式は，使用期間が長くなるにつれて (1)
定型文数・文字数はわずかに上昇するにとどまり，(2) 被験者間の定型文数・文字数の差は，既存方式と比べてかなり
小さい結果となった．(1) については，今回の提案方式の実装において，被験者は，各文字の入力を区切るために 1.5
秒待つ必要があったことが原因であると思われる．この待ち時間は，初心者向けに最適であることを確認 [1][2] したものであるが，ある程度習熟したユーザにとっては長すぎるものと思われる．被験者へのヒアリングにおいても，この待ち時間があることで「入力速度に限界がある」や「待ち時間が長く感じた」という意見が得られた．障がい者の方からも同様の意見を得ている（7 章 2-5）．この問題は，ユーザの習熟度に応じて，入力区切りの待ち時間を自動，
または，手動で変更する機能を実装することで解決でき，
単位時間あたりの入力速度は向上の余地があると考えられる．(2) については，(1) の影響があるため断定はできないが，ヒアリング結果も含めて考えると，提案方式は，ユー
ザ間で習熟度に差が付きにくいことが示唆される．

7. 障がい者の方へのヒアリング
今回我々は，[2] のプロトタイプシステムを実際に視覚障がい者，聴覚障がい者，身体障がい者の方，計 4 名に使用してもらい，ヒアリングを行った．その際に得られた意見の一部は本稿における実装に反映している．下記にヒアリ
ング結果を示す．

実装に関するご意見2-1) 弱視者向けに，文字色と背景色のコントラストを強めた方が良い．(本稿にて実装済)

2-2) タップ動作のみでなく，文字を書く動作でも入力したい．(本稿にて実装済)

2-3) タップする回数を減らすために，変換や出力候補があると良い．(本稿にて実装済)

2-4) スマートフォンの利用でフリック動作には慣れているため，タップだけでなく，フリックも加えても良いと思われる．(本稿にて実装済)

2-5) 次の文字の入力が開始されるためのインターバルをユーザが調節できると良い．

2-6) 「漢字」「カタカナ」「ひらがな」の 3 つのモードで定型文が入出力できると良い．

2-7) 仕事中とプライベートで出力される定型文が変わると良い．

2-8) 数秒待つことで次の文字が入力できるが，別の動作をすることで次の文字への入力を開始したい．

2-9) 日本語だけでなく，英語も入出力できると良い．
実装に関するご意見の 2-1〜2-4 については，ヒアリング
後，実装に反映させた．今後は，使用していただいた感想の 1-1〜1-5 を念頭に置きつつ，ご意見の 2-5〜2-9 についても実装と検証を進めていく予定である．

8. おわりに
本稿は，健常者と障がい者同士や異なる障がいを持った人同士がコミュニケーションを行う際に，自分もしくは相手にコミュニケーション方法を合わせなければならないという問題の解消を狙ったものである．この問題を達成する
ために，我々は，健常者，障がい者問わず，日本語の文字を記憶している人なら誰もが知っている，ひらがなの画数に着目した．この着想を元に，我々は，ひらがなの画数回
タップを行うだけでコミュニケーションを行う方式を提案した．提案方式のプロトタイプシステムと既存システムを用いた比較実験を行なった結果，提案方式の方が少ない学

使用していただいた感想習で習熟できるということが確認できた．今後は，習熟度

1-1) 異なる障がいを持つコミュニケーション相手と同じに応じて入力区切りの待ち時間を変更する機能を追加予定

システムを使って会話することに価値を感じられる．

である．加えて，原理的には英語で利用できる可能性があ1-2) 使い方に慣れれば，聴覚障がい者でも提案手法を使るため，日本語以外の言語でも利用できるか検証予定であうことは有効だと思われる．

る．また，本システムを利用するためにはひらがなの知識© 2019 Information Processing Society of Japan73

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

INT19008
2019/3/6が必要となるが，これにより本システムを利用可能なユーザ層がどの程度制約されるか調査する必要もある．

[12]

本システムは，コミュニケーション以外にも利用可能である．例えば，ナビゲーションゲーションシステムへの目
的地入力に利用して，自身の障がいに応じた最適なバリア
フリー経路を検索するシーンの適用が考えられる．このよ[13]

うに，多様な用途への適用が考えられるため，今後も障がい者の方へのヒアリング等を継続しながら，本システムが[14]貢献できるシーンを検討し，さらなるシステム改良を行う予定である．

謝辞[15]

本研究は，JSPS 科研費 JP17K12730 の助成を受けて行われた．本研究に関して，貴重なご意見を下さった NTT
クラルティ株式会社の協力に謝意を表する．

[16]

会, Vol.43, No.1, pp.172-178 (2005).
Xiaoyi Zhang, Harish Kulkarni, Meredith Ringel Morris: Smartphone-Based Gaze Gesture Communication
for People with Motor Disabilities. Proc. the 2017 CHI
Conference on Human Factors in Computing Systems,
pp.2878-2889 (2017).
梅舟 柄安，大倉 典子: 発話障碍者のための自然対話支援シ
ステムの開発（第 3 報）. 情報処理学会研究報告ヒューマン
コンピュータインタラクション（HCI）, Vol.2005-HI-116,
No.114, pp.57-63 (2005).
Michael D. Fleetwood, Michael D. Byme, Peter Centgraf,
Karin Dudziak, Brian Lin, Dmitryi Mogilev: An Evaluation of Text-Entry in Palm OS-Graﬃti and the Virtual
Keyboard. Proc. the HFES 52nd annual meeting, Vol.46,
No.5, pp.617-621 (2002).
渡辺 哲也, 山口 俊光, 南谷 和範: 視覚障害者の携帯電話・スマートフォン・タブレット・パソコン利用状況調査
2013. 平成 24 年度 電気通信普及財団 研究調査助成 成果
報告書 2014 (2014).
W3C:
http://www.w3.org/TR/AERT/#colorcontrast(last visited on 2018/10/7).

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]
[10]

[11]

小林 舞子, 呉 健朗, 荒木 伊織, 大和 佑輝, 宮田 章裕: Tap
Messenger:タップのみでコミュニケーションを行うシス
テムの基礎検討. 情報処理学会 インタラクション 2018 予
稿集, pp.963-968 (2018).
小林 舞子, 呉 健朗, 大和 佑輝, 宮田 章裕: タップのみでコミュニケーションを行うシステムの実装. 情報処理学会
シンポジウム論文集, マルチメディア、分散、協調とモバ
イル (DICOMO2018), Vol.2018, pp.1777-1783 (2018).
Ryosuke Aoki, Ryo Hashimoto, Akihiro Miyata, Shunichi
Seko, Masahiro Watanabe and Masayuki Ihara: Move &Flick: Design and Evaluation of a Single-finger and Eyesfree Kana-character Entry Method on Touch Screens.
Proc. the 16th International ACM SIGACCESS Conference on Computers & Accessibility (ASSETS2014),
pp.311-312 (2014).
青木 良輔, 橋本 遼, 瀬古 俊一, 片岡 泰之, 井原 雅行, 渡辺 昌洋, 小林 透: Drag & Flick：タッチスクリーンを用いた視覚障がい者向け文字入力方式. 情報処理学会インタ
ラクション 2013 予稿集, pp.72-79 (2013).
志水 新, 馬場 哲晃, 串山 久美子, 金 石振: 視覚障害者の日本語入力を支援するフリック入力型キーボード. 研究
報告ヒューマンコンピュータインタラクション（HCI）,
Vol.2014-HCI-158, No.5, pp.1-6 (2014).
Jaime Snchez and Fernando Aguayo: Mobile Messenger for the Blind. Lecture Notes in Computer Science,
Vol.4397, pp.369-385 (2007).
中園 薫, 角田 麻里, 長嶋 祐二, 細野 直恒: 外国人や聴覚障害者の緊急時ユニバーサルコミュニケーション支援技
術に関する検討. 電子情報通信学会論文誌 D, Vol.J94-D,
No.1, pp.221-232 (2011).
Mark Rejhon, Christian Vogler, Norman Williams, Gunnar Hellstrm: Standardization of real-time text in instantmessaging. Proc. the 15th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS2013) (2013).
SpeechCanvas: http://speechcanvas.jp(last visited on
2018/10/13).
田中 久美子, 犬塚 祐介, 武市 正人: 少数キーを用いた日本語入力. 情報処理学会論文誌, Vol.44, No.2, pp.433-442(2003).
大矢 哲也, 川澄 正史: 眼電図による ALS コミュニケー
ションツールの入力動作の研究. 社団法人日本生体医工学© 2019 Information Processing Society of Japan74