一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

HCGシンポジウム2017
HUMAN COMMUNICATION GROUP SYMPOSIUM 2017
HCG2017-I-1-10

文字盤を用いたコミュニケーションにおける効率的な確認戦略とその文字走査入力システムへの応用
櫻岡響†

森大毅†

† 宇都宮大学大学院工学研究科 〒 321–8585 栃木県宇都宮市陽東 7–1–2
E-mail: †{hibiki,hiroki}@speech-lab.org
あらまし

文字走査入力方式に基づく肢体不自由者向けのコミュニケーションインターフェースにおいて，文字の入力に要する時間の短縮は改善が期待される大きな課題の一つである．本研究では，人間が文字盤を用いて肢体不自由者の意思を聞き取る際に行われるインタラクションに着目し，スムーズな文字入力のためにシステムが行うべきやり取りを検討することを目的としている．実際に人間同士で文章を入力する実験を行い，発生した現象について分析を行った．また，人間によるやり取りのうち特徴的な手順として操作の確認に注目し，効率的な確認戦略として適宜確認を行うという方法を取った場合の有効性を検証した．
キーワード

文字走査入力システム，人間による戦略，文字入力効率，確認

Eﬃcient Confirmation Strategy in Communication by Kana Board and Its
Application to Scanning Input SystemHibiki SAKURAOKA† and Hiroki MORI†† Graduate School of Engineering, Utsunomiya University
7–1–2 Yoto, Utsunomiya-shi, Tochigi, 321–8585 Japan
E-mail: †{hibiki,hiroki}@speech-lab.org
Abstract Reducing input time in a scanning communication interface for physically handicapped people is crucial.
The aim of this study is to reveal the human behavior in recognizing to the intention of physically handicapped people and to figure out the behavior of the system that enables smooth character input. We conducted an experimentof text communication by tapping between humans. We also analyzed the phenomena observed in the experiment.
Especially, we focused on the confirmation process, and found the eﬀectiveness of a confirmation strategy observedin the text communication by tapping between humans.
Key words Scanning input system, strategy of human, eﬃciency of character input, confirmation

1. は じ め に発話が難しい場合に対してよく使われる支援システムに文字走査型入力方式がある．これは，五十音表と表の中を一定速度筋萎縮性側索硬化症（ALS : Amyotrophic Lateral Sclerosis）で走査するカーソルによって構成される文字入力システムであを始めとする様々な疾患により身体の運動機能に障害を負うと，る．入力したい要素をカーソルが示した時に，それに合わせて症状によっては発話が困難となる場合がある．例えば ALS のスイッチを押すことで文字の入力を行う事が出来る．操作方法

場合，手足から筋肉の萎縮が始まり徐々に全身の筋肉が動かせを容易に理解でき，操作に特別な訓練を要しないという利点がなくなる．病状の進行と共に歩行，発声，及び嚥下に障害が起ある [4]．さらに，単一のスイッチで操作すれば良いので，残存き，すべての随意運動が消失する [1]．構音障害が起こった段階

機能が少ない重篤な肢体不自由者でも利用が可能であるというで，発話による意思疎通を健常者と同様に行うことは難しい．

優れた特徴を持つ．しかし，ALS 患者がこのシステムを使用す

また，自発呼吸が困難になり，気管切開して人工呼吸器を装着る場合，筋力の低下によってスイッチを押すタイミングが健常する段階では，発声能力は完全に失われる [2] [3]．このように，者に比べて遥かに不正確である [2]．これを考慮すれば，走査速発話に関する障害によって他者との意思伝達が困難になるケー

度を大幅に下げて使用せざるを得ず，入力に非常に長い時間をスが存在する．発話困難者が他者とコミュニケーションを取る要することになる．この欠点によって，文字走査型入力方式はための支援が必要とされている．

他の代替案がない場合にやむを得ず利用する方式と位置付けられており [2]，これは改善すべき大きな課題である．

が目的の列であることの合図とした．

一方，介護者が五十音表が印刷されたコミュニケーション

その際，読み取り役は「た行？」と確認を行う場合がある（確ボードを手に，「あ、か、さ、た、な…」と指差しながら意思を認の戦略については後述する）．確認に対する返答の方法とし聞き取ることは現在でも広く行われているが，このように人間ては，1 回タップしたら Yes，2 回タップしたら No とした．こが行う場合では無意識のうちに機械よりも効率的に作業を進めの場合，所望しているのはな行であるから，読み取り役の「たていることが予想される．

行？」に対して入力役は 2 タップする状況である．

本研究では，実際にこのような方法で意思を聞き取る様子をた行と確認して否定された場合，他の選択肢として「な行？」

観察することで，文字盤を使ったコミュニケーション形態におと聞き直したり，もう一度走査し直すなどして，所望の列を見ける効率的な戦略を発見し，システムに応用することを目指す．

つけ出していく．その後，列方向にも同様の手順を繰り返す．

文字盤を使った聞き取りに関して，人間が行う場合と機械がこのようなやり取りを繰り返して文章を入力していく．

行う場合について異なると予想されるものに，作業の途中で2. 3 確認の戦略「あ行ですか？」などと確認を行うことが挙げられる．確認の今回比較する確認の戦略は 2 種類とした．まず，すべての工戦略はいくつか考えられるが，すべての工程で必ず確認すると程において必ず確認をする戦略である．そして，適宜確認をすユーザーは相当煩わしく感じるはずである．そして，自然な戦る戦略である．後者を可能にするために，以下に述べる取り決

略とは，毎回ではなく必要に応じて適宜確認を行うことだと予めを追加した．

想できる．システムに適宜確認をさせるためには，人間が確認確認を行うかどうかは読み取り役の判断に任せるとした場合，についての判断を下すメカニズムを調べる必要がある．そこで，入力役の所望の選択でないものが選ばれかつ確認が省略されて人間同士で文字盤を使って意思を伝達する実験を行い，必ず確しまうと誤入力を修正する手段がない．そこで，2. 2 に示した認を行う戦略と適宜確認を行う戦略を比較すると共に，適宜確合図に加えて，カーソルの走査中に 2 回タップすることは直前認を行う場合の様子を観察した．の決定が間違っていることの表明であるとした．読み取り役は

2. 人間同士による文字盤を用いた意思伝達実験
毎回必ず確認をするという戦略と確認は適宜行うことにしてその合図を受け取った場合，もう一度走査をし直す若しくは他の候補を提示して確認するなどして正しい文字列へ修正を行うことが可能になる．

作業を進めて行くという戦略について文字入力の効率を比較す

2. 2 の内容と合わせ，入力中の操作について表 1 に示す．

るために実験を行った．

2. 4 入力する文章

2. 1 実験用文字入力システム

実験に使用した文章は，ATR503 文 [5] から選びだした文を実験に用いた文字入力システムについて述べる．これは，図平仮名のみ，濁点半濁点なしの表記に改変した全 200 文字であ1 に示す読み取り役用と入力役用の 2 種類の表示画面から成る．

る．被験者は異なる方法で同じ文章を 2 回入力させる必要があ

ノートパソコン上で起動し，ノートパソコンのディスプレイにるため，覚えにくい日本語の文章であるという理由で選んだ．

読み取り役用，外部出力サブディスプレイに入力役用の画面を

2. 5 実 験 条 件

それぞれ表示させ，システムの操作は読み取り役が行う．ノー

読み取り役は第 1 著者，入力役は大学生と大学院生計 4 名でトパソコンのキーボードでシステムを操作することが出来，そある．実験参加者を 2 人ずつのグループに分け，片方のグルーの表示は双方のディスプレイに同期する．

プは必ず確認する戦術，適宜確認する戦術という順で，他方の画面表示は入力済みの文章表示部分と文字盤部分で構成されグループは逆の順番で実験を行った．指定の文章をすべて入力る．文章表示部は，双方の表示に入力済みの文が表示され，入するまでを 1 セッションとし，各人が行うのは 2 セッションず力役の表示にのみ見本となる文章が表示される．見本と完全につである．なお，2 つのセッションで入力する文章は同じもの

一致する文章が入力されると，自動で見本の文章が更新される．

である．実験の様子は収録して分析に使用した．

文字盤部には文字盤とカーソルが表示される．文字盤を差す指2. 6 実験結果の分析を上下左右へ移動させる代わりに，キーボードの方向キーを押作業時間に関して，何がボトルネックとなり所要時間に影響すと 1 ステップカーソルが移動して入力役に文字盤の位置を示を与えているのかを調べるため，収録した音声にラベリングすことが出来る仕組みであるを行った．ラベリングを行うにあたって各区間の定義を以下に

2. 2 文字入力の方法
前述した文字入力システムを用いて，読み取り役と入力役の二人で協力して文章を入力する際の手順について，「ぬ」という文字を入力する場面を例にして以下に述べる．
前提として，入力役は発話をせずに机をタップして合図を送らなければならない．まず，読み取り役は目的の文字の属する列を探し出すために「あ，か，さ，た，な……」と読み上げな示す．
走査（scanning）「あ，か，さ，た，な…」「た，ち，つ，て，と…」など読み取
り役が五十音表を指し示しながら読み上げている時間．読み取り役の発話開始時刻から，読み取り役の発話終了時刻と入力役の合図の時刻のうち後ろに位置する時刻までの区間．

がらカーソルを列方向へ走査する．このとき入力役が机を 1 回確認（comfirmation）

タップするのは，その時タイミングでカーソルが指しているの「あ行ですか？」「つですか？」など読み取り役が直前の合図に

表 1: 入力役の合図の意味
Table 1 Tap code.
状況意味カーソルの走査中

タップ 1 回

カーソルの走査中

タップ 2 回直前の決定は誤り（適宜確認の場合のみ）

確認中

タップ 1 回Yes

確認中

タップ 2 回No(a) 入力役用の表示（列選択時）

現在カーソルが示している部分が所望のもの(b) 入力役用の表示（文字選択時） (c) 読み取り役用の表示（列選択時） (d) 読み取り役用の表示（文字選択時）

図 1: 実験用文字入力システム
Fig. 1 Character input system for experiment.

ついて確認している時間．直前の走査の終了時刻から，読み取たと言える．

り役の発話終了時刻と入力役の合図の時刻のうち後ろに位置す

2. 8 考る時刻までの区間．

上記の実験で，適宜確認を行う戦略の有効性を示すことが出

修正（modification）
任意戦略の場合に限って，入力役によって発生した確認の時間．

察

来たが，確認の時間を完全になくすことは出来なかった．それは「『た』ね．
」「『た』だね．
」など「文字を『た』に決定して次に進みます．
」という宣言の意味の発話が多く見られ，今回のその他の時間（interval）

ラベリング基準ではそれらは確認の時間に分類されるからであ

走査でも確認でもない時間．
「え」などのフィラー，「はい」などる．適宜確認を行った場合で確認の時間とした区間の多くはこの相槌，及び無音区間．走査と走査の間の区間もしくは，確認のような発話で，毎回確認を行う戦略においては「『た』ですと走査の間の区間．

か？」といった明示的な確認が多かった．この点は大きく違い

以上の定義は，「あかさたな」と「た行ですか？」の間のやり取りは確認，「た行ですか？」と「たちつてと」の間のやり取りはその他の時間になることを意図している．これは，た行を決定したという合意が両者の間で取られているかどうかが異なるからである．前者は合意が取られていない状況なので確認している時間，後者は合意が取られているのでその他の時間である．
実際にラベリングを行った画面を図 2 に示す．I/F 層は読み取り役の発話の書き起こし，user 層は入力役の合図のあった時刻と合図の回数，character 層は一連の操作によって決定された文字，operation 層はそれらを基にラベリングしたものを表している．

2. 7 実 験 結 果
総所要時間の比較を図 3，確認と修正の時間の合計の比較を
図 4，確認の発生回数の比較を図 5，それぞれの確認戦略について各所要時間の内訳を図 6，同じ戦略での平均値を表 2 に示す．
すべての被験者で適宜確認する戦略を取った場合に，確認と修正に要する時間の減少とそれに伴う総所要時間の減少が見られる．また，確認の発生回数の観点からも減少していることがわかる．このことから，適宜確認を行う戦略の有効性が示されが見られた部分である．
このような「『た』ね．
」といった発話部分をその他の時間と分類しなかったのは，入力役の返答を待っているわけではないが，もし No の合図があれば修正が行われると思われるからである．2. 6 に示したラベリング基準に従うと，決定に対する合意が取れていないという点で確認の作業に近いため，今回は確認という分類に入れた．所要時間を短くする目的では，この発話をしないように取り決めれば速度はより速くなる可能性はある．しかし，一方的な印象を与えないという役割があることも考えられる．このような発話についての分析や実験を実施する上での取り扱いについては今後の検討課題である．
今回，毎回確認を行う場合においては文字の修正について考慮していなかった．毎回確認を行うので誤入力を未然に防ぐことが出来ると考えたからである．しかし，実際には何度か誤入力が発生したまま，文末付近までそれに気付かないという状態に陥った．実験用入力システムでは文章がすべて一致していないと文字送りが行われない仕様であったため，実験を中断してやり直す必要があった．誤入力はある程度許容する実験デザインが必要であるという課題があった．同時に，確認を毎回行う

図 2: 時間情報のラベリング

All [s]1500
10005000SubjectSAHSKNSTNSKS
Strict Confirmation Arbitrary Confirmation

Strategy500

Number of Confirmation

2000

Confirmation and Modification [s]Fig. 2 Labeling of timing information.

600400Subject

SAH
SKN
STN
SKS

2000

Strict Confirmation Arbitrary Confirmation

Strategy400300

SubjectSAH
SKN
SKS
STN

200
1000

Strict Confirmation Arbitrary Confirmation

Strategy

図 3: 総所要時間

図 4: 確認と修正に要する時間

図 5: 確認の発生回数

Fig. 3 Total time required.

Fig. 4 Time of comfirmation and modification.

Fig. 5 Number of comfirmation.

図 6: 所要時間の内訳
Fig. 6 Details of total time required.

表 2: 戦略毎の所要時間平均
Table 2 Average of time required for all subjects.
総所要時間 [s]確認と修正の合計所要時間 [s]

確認発生回数

必ず確認をする戦略

1937682479

適宜確認をする戦略

1684385252

必ず確認をする戦略に対する適宜確認をする戦略の割合 [%]

86.9

56.4

52.6

(a) 動作時の様子(b) 列選択モード(d) 列確認モード(c) 文字選択モード(e) 文字確認モード

図 7: 実装した文字走査入力システム
Fig. 7 Implemented scanning input system.と形骸化してしまって機能しないという事実も発見した．
また，適宜確認を行う戦略からは，確認の時間だけでなく，その他の時間の減少も見られる．速度の向上には確認の時間だ際に上記の動作をする文字走査入力方式のソフトウェアを実装した．
ソフトウェアの開発には Java を用いた．動作時の様子を図

けではなくその他の時間の減少の寄与も含まれる．これは確認7(a) に示す．本ソフトウェアには図 7(b)，図 7(c)，図 7(d)，及するかどうか迷っている無音の時間が減ったことが理由であるび図 7(e) に示すように，列選択，列確認，文字選択，及び文と予想できる．読み取り役にとって「確認をせずにもし間違っ字確認の 4 つのモードがある．選択なのか確認なのかはカーソていても訂正が可能である」ので，確認をしないという決断にルの色で判断出来る．2 つの選択モードは従来システムと同じ対する障壁が下がり，無駄に迷うことが無くなったという意味

ようにカーソルが自動で五十音表を走査しながらユーザーの入である．その他の時間が，コミュニケーションが円滑に進んで力を待つ．一方，2 つの確認モードではカーソルは遷移せずに，いるかどうかの指標として表出していることが示唆される．

ユーザーに確認をしていることを表す．Yes と No はそれぞれ今回の実験におけるやり取りは，単にコンピュータの役を人スイッチ操作 1 回と 2 回で返答することが出来る．また，確認間が行ったシミュレーションであるとみなせるが，一方はタイをするかどうかはカーソルの移動に対するスイッチの操作時刻ミングの情報のみしか送信できないという非対称な特殊状況から判断する．

下におけるコミュニケーションと捉える事も可能である．入力

なお，スキャン速度，及び正確なスイッチ操作と確認が必要

役はタイミング情報を送信するだけであるが，意思疎通の円滑なスイッチ操作を判断する時間の閾値はソフトウェア上で任意さが違いとして現れていることから，タイミングだけではないに設定が可能である．

情報が伝達されていることが示唆される．発話によるコミュニ
ケーションと同様に言外の情報があるということである．そし4. ま と めて，本研究での戦略の違いから，このコミュニケーションの円今後の課題は，2. 8 でも述べたように実験結果の分析方法，滑さには文字の修正の可否という一見無関係な要因も関わって評価方法について及び誤入力に対処する実験方法の構築であいることがわかる．

る．また，今回実装した新方式の文字走査入力システムについ3. 文字走査入力システムへの応用ての有効性を具体的に検証することも必要である．そして，本研究では人間らしいやり取りとしてとくに確認に着目し，異な2. の結果から，適切な確認戦略は適宜行うことであることがる戦略を取った場合について検証したが，更なる効率的な戦略わかった．またそのためには直前の文字の修正を簡単に行う必の発見，確認以外のやり取りについても検討をしていく．さら要があることも明らかになった．このことから，ソフトウェアに，実験中に起こった現象から，読み取り役がスキャン速度をにおいても同様の戦略を取ることで，より人間らしい聞き取り適切に調節している可能性がある．これは，意思の疎通が円滑をおこなう文字走査入力システムが実現出来ると考えられる．

かどうかを雰囲気から察知して行っていると予想できるが，具研究で得られた効率的な戦略に対応するシステムとして，実体的にどのような情報が伝わっているのか，どのようにして適切な速度を判断しているのかといったメカニズムについて，研究する価値があると考えている．手話や指文字にも音声コミュニケーションと同じようにプロソディ（韻律，抑揚）が存在し，それを分析する研究が行われている [6]．そのような観点から文字盤を用いたコミュニケーションにおける非言語情報について知見を得たい．
人間同士で文字盤を使って意思を伝達する実験を行い，すべての操作で必ず確認を行う戦略と，文字を修正可能とし適宜確認を行う戦略について入力に要する時間や確認の発生回数を比較した．適宜確認する戦略では，必ず確認する戦略と比較して所要時間や確認の発生回数の減少を確認した．不要な確認の作業を適切に省略可能な，効率的な確認の戦略であることを示した．また，結果を踏まえて，ユーザーのスイッチ操作タイミングがカーソルの切り替わりよりも大幅に遅れた場合に確認を行う方式の文字走査入力システムを実装した．
文献[1] M.F. ベアー，B.W. コノーズ，M.A. パラディーソ，神経科学
脳の探求，西村書店，2012．
[2] 森 大毅，“ALS と意思伝達―スキャン型文字入力における言語的戦略，” BRAIN and NERVE −神経研究の進歩，vol.59，no.10，pp.1155–1162，2007．
[3] 情報福祉の基礎研究会，“情報福祉の基礎知識―障害者・高齢者が使いやすいインターフェース―，” p.15，ジアース教育新社，
2008．
[4] 奥 英久，高見正利，黒田大治郎，糟谷佐紀，則定 学，中村内彦，河合俊宏，山本智子，“意思伝達装置の文字選択効率改善に関する研究 : 高使用頻度文字を追加した付加文字盤の効果について，” 神戸学院総合リハビリテーション研究，vol.1，no.1，pp.113–122，mar 2006．
[5] 匂坂芳典，浦谷則好，“ATR 音声・言語データベース，” 日本音響学会誌，vol.48，no.12，pp.878–882，1992．
[6] 市川 熹，対話のことばの科学―プロソディが支えるコミュニ
ケーション―，早稲田大学出版部，2011．