社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

3 次元キーエコーを用いたタイピング練習西本 卓也†

伊勢 史郎††

大村皓一†††

高木治夫††††† 京都工芸繊維大学†† 京都大学††† 宝塚造形芸術大学†††† NPO 法人日本サスティナブル・コミュニティ・センター (SCCJ)
E-mail: †nishi@vox.dj.kit.ac.jp
3 次元キーエコーを用いたタイピング練習システム「ウチコミくん 3D 」を開発した．このシステムではステレオのへッド フォンを使用し ，キーボード 上の各キーの位置から聞こえるような 3 次元音声でキーの名前を読み上げる．これらあらましの音声は次に押すべきキーの指示や学習者がキーを押したときのキーエコーとして用いる．基本練習においては，隣り合うキーを 3 次元音声で連続的に読み上げることによって，キーの位置関係の説明が効率化される．また，練習問題では単語の個々のアルファベットを連続して 3 次元音声で読み上げることにより，空間的かつ連続的な指の動きを直観的に提示できる．
すべての指示を音声出力のみによって行い，キーボード のみで操作することができるため，視覚障害者のタイピング練習に効果的に利用できる．評価の結果，3 次元音声の利用は視覚障害者だけでなく晴眼者の学習者からも支持された．
キーワード

視覚障害者，タイピング練習，音声インタフェース，3 次元音声

A Typing Lesson System with 3D Key-Echo
Takuya NISHIMOTO† , Shiro ISE†† , Koichi OOMURA††† , and Haruo TAKAGI††††† Kyoto Institute of Technology†† Kyoto University††† Takarazuka University of Art and Design†††† Sustainable Community Center Japan
E-mail: †nishi@vox.dj.kit.ac.jp
Abstract We developed a keyboard typing lesson system, Uchikomikun-3D. This system uses the stereo headphones
for guiding the name and the position of each key with the 3D key-echo voices. Using the 3D key-echo, the positionof each key can be explained easily and eﬀectively. Experienced users can imagine the motions of ﬁngers correspondto the words with the 3D key-echo, so they can easily obtain the skill of touch-typing. All the guides necessary forthe lessons are given with the audio output, so the system is especially eﬀective for visually impaired users.
Key words Visually Impaired, Typing Lesson, Speech Interface, 3D Audio—1—

1. は じ め にインターネットの普及に伴い，多くの人がパソコンを利用するようになった．GUI を用いることでパソコンの利用は容易になっており，手書き文字認識や音声認識などの技術も実用化されている．しかし，電子メールの送信やウェブ情報の作成，論文執筆やソフトウェア開発などの専門的作業においてはキーボード による文字入力が効率的である．
また，インターネットは特に視覚障害者の生活に大きな貢献をしつつあるが，そのためにはマウスを使わずにキーボード のみで Windows を操作し，画面

図 1 タッチタイプの認知モデルに表示される情報を合成音声で聞いて理解する，といった操作が要求される．視覚によらずにキーボー関する既存の提案を挙げる．さらに，視覚障害者をド のタイピングを学び，音声リーダーの操作や，音声リーダーを用いた各種アプ リケーションの操作方対象としたタイピング学習過程，音声を用いた場合の学習過程について検討を行う．

法を学ぶには大変な労力を要する．また，視覚障害

2. 1 タイピング熟練者と初心者の認知モデル
河合ら [4] によると，タイピング技能とは，目で原稿を読み取り，それを打鍵という手指の運動に変換する連続的な動作である．したがって，脳による一括的な制御ではなく，それぞれの指が個々に動作しているような並列的なモデルを考慮すべきであると主張している．また，タッチタイピングは「からだが覚える」という無意識下の行動であり，その効果的な学習には「キーボード を見ない」「打ったテキス
トを見ない」「練習は継続して行う」という 3 点を重視すべきとしている．
また河合らは，タイピングの学習過程の初心者がどのような思考，論理行動を行っているかを表現する認知モデルを提案している．
キーボード を見ないという指示を忠実に守る学習者は図 1 のような認知モデルでタイピング技能を習得している．熟練タイピストは，入力すべき文字情報を認識し ，それを無意識のうちに指の運動に翻訳し，待ち行列（ 出力バッファ ）に蓄える．望ましい
学習過程をたど る学習者は，練習当初はコード 変換が文字単位であるが，比較的早い時期から単語単位のコード 変換に移行する．
一方，1 文字 1 文字キーの位置を確認しながら入力する「ハント＆ペック」を行っている学習者の認知モデルは図 2 のモデル 1 のように考えられる．視認した 1 文字を指の動作に変換し ，キー位置を目で確認しながら打鍵するため，図 1 のような出力バッファを形成できない．
単語単位で「ハント＆ペック」を行っている学習者の認知モデルは図 2 のモデル 2 のように考えられ者のパソコン利用方法を熟知した指導者が対面で指導する必要がある．
視覚障害者のタイピング練習については，自習用システムが実現可能であり，これにより学習者と指導者の双方の負担を軽減できる．そこで我々は，マウス入力や画面出力を用いず，キーボード 入力と音声出力を用いるタイピング練習ソフトウェア「ウチコミくん」を開発・製品化した [8]．このソフトウェ
アは音声によるキー配置の説明，次に押すキーの音声ガ イド，押されたキーを読み上げる機能（キーエコー）などを実装している．
今回，我々は，キーボード の空間的な配列をより効果的に学習できることを目指して，キーエコーなどに 3 次元音声を用いた「ウチコミくん 3D 」を開発した．このシステムではステレオのへッド フォンを使用し，キーボード 上の各キーの位置から聞こえるような 3 次元音声でキーの名前を読み上げる．これ
らの音声は次に押すべきキーの指示や学習者がキーを押したときのキーエコーとして用いる．
本報告では，まず 2 章でタイピング練習の認知モデルについて述べる．次に 3 章で視覚障害者のための 3 次元音声の利用に関する先行研究について述べる．4 章ではタイピング練習における 3 次元音声の効果について検討する．5 章では「ウチコミくん 3D 」の開発について詳し く述べる．6 章ではまとめと今後の課題について述べる．

2. タイピング練習の認知モデル
本章では，タイピング練習における認知モデルに—2—

3. 3 次元音声インタフェース
音声によって 3 次元情報を提示するインタフェー
スにはすでにいくつかの提案がある．ここでは視覚障害者を対象にした研究例を挙げる．

図2

ハント＆ペックの認知モデル

図 3 「ウチコミくん」の認知モデル

る．つまり，入力すべき単語を一つずつバッファに記憶して，それを 1 文字ずつ探しながら打鍵している．

2. 2 晴眼者と視覚障害者の相違
晴眼者はタッチタイピングできないキーがあっても視認で探せばよいため，図 2 のモデル 2 のように，変換（ 翻訳）が容易である．しかし ，視覚障害者は変換の段階でキーを押して反応を聞くという操作が必須となり，誤って押した場合は取り消し操作も必要になる．したがってハント＆ペックは現実的ではない．
視覚障害者が「ウチコミくん」を用いてタッチタイピングを学習する場合は，入力すべき課題の指示が音声によって行われるため，図 3 のような認知モデルになると考えられる．
耳から得た情報は，文字情報から指の運動情報へのコード 変換（ 翻訳）に用いられる．さらに，キーを叩いた音や，パソコンからのキーエコーなどの音声が，操作に対するフィード バック情報として指などの制御に用いられる．これらの過程がより効果的になるように音声を利用できれば，タイピング練習はより効果的になることが期待される．

3. 1 視覚障害者のための 3 次元音声利用
Mereu らは 3 次元グラフィックスの空間内で定点の位置を把握させるために左右方向の定位に音量，音の高低などを組み合わせる手法を提案している [2]．
杉本らも音の周波数の高低と左右の音圧差を用いて仮想音像スクリーンを実現し ，遠隔コミュニケーションに用いることを提案している [7]．
在塚らは，視覚障害者が GUI に容易にアクセスできる手段が必要である，という立場から，GUI 画面のレ イアウトを立体的な音の配置で表現し操作する技術を実現している [5] [6]．専用ハード ウェアを用いて 3 次元音響をリアルタイム生成し，Windows GUIにおける画面レ イアウト情報を提示したり，GUI 部品の状態変化を音響的にフィード バックしたりすることができる．
専用のハード ウェアを用いる代わりに 4 チャンネ
ルのサウンド カード を用いてデ ィスプレ イの四隅に対応する 4 つのスピーカを配置した方式も提案されている [1]．音声リーダーと同様の機能を 3 次元音声化するため操作はキーボード 主体で行われる．
河合らは 3 次元音響による奥行感や前後感も利用した視覚代行システムを提案している [3]．ハード ウェ
アとしては市販のサウンド スペースプロセッサを使用し ，カメラから得たステレオ画像の解析結果を 3次元音声として提示する．
3. 2 音像定位の評価
音源の周波数などを用いず 3 次元音声だけで上下位置や奥行きを表現する場合は，これらを十分に聞き分けることができるか，といった点も検討する必要がある．
在塚らは [5] において 3 次元音像定位について評価を行っており，特に上下方向での誤認識が起きやすいことを指摘している．これは，3 次元音響の生成に用いる頭部伝達関数 (HRTF) が必ずしも被験者に合うとは限らないこと，スピーカー等の性能が十分でない場合があること，などが原因とされる．しかし，上下方向であっても，カーソルを移動させた場合は音の移動方向を判定できるとしている．
河合らも [3] において同様に，上下方向や前後方向で誤認識を起こしやすいが，自分の頭を能動的に動かすことで音像定位が容易になるとしている．
—3—

4. 2 単語から運動情報への翻訳支援
熟練タイピストの認知モデルにおいて，目から（本システムにおいては耳から ）単語単位で取り込んだ文字情報は無意識のうちに指の運動に翻訳され，待ち行列（ 出力バッファ）に蓄積される．文字単位ではなく単語単位でこの変換をスムーズに行えるためには，キーボード を見ないでさまざ まな単語を入力する，という練習の繰り返しが必要である．この練習によって学習者は単語から指の運動系列が無意識

図 4 3 次元音声によるキー配列の説明に連想できるようになる．
熟練していない学習者は，単語単位で課題が与えられていても，キーの位置を 1 文字ずつ数えたり探したりしながら，文字情報を指の運動に変換してい4. タイピングにおける 3 次元音声かなくてはならない．しかし ，3 次元音声で課題を本章では，3 次元音声がタイピング練習にどのよう者であっても，指の動きの動的な流れを頭の中に描な効果をもたらすのか，従来の「ウチコミくん」（以下，従来版と表記する）との比較を行う．また，タイピング練習の認知モデルとの対応づけも試みる．

示すことで，キーボード の配置を覚えていない初心くことができる．
例えば，3 次元音声で「 C A T 」と順番に読み上げるだけで，「 左下方向で C，左端で A，中央上方向でT 」という情報が提示され，結果的に左回りの半円型
4. 1 位置関係提示の効率化のキーの位置移動を感じることができる（図 4(b) ）．
視覚によらないタイピング練習では，まず，左右のホームポジションの人指し指に当る F と J のキー 「 D O G 」であれば「左側で D，右側で O，中央やや左寄りで G 」となり，これも DOG という単語からを説明する．これらのキーには突起があるので学習右回りの半円型の位置移動を容易に連想することがが容易である．ホームポジションの他のキーは F おできる（ 図 4(c) ）．
よび J からの相対位置によって順番に練習させる．まただし ，位置的に連続したキーを順番に読み上げた，他のすべてのアルファベットもホームポジショ「 D O G 」のように非連続ることに比べて，「 C A T」ンからの相対的な位置で説明していく必要がある．
的な配置の場合には，一つ一つのキーの絶対的な位
従来版ではホームポジションを教示した後，「J K置の知覚は困難になる．しかし ，おおざ っぱにキー
L ; 」の 4 つのキーの位置を説明するために「右手をホームポジションに置いて，人指し指，中指，薬指， の配置を覚えた段階の学習者であれば，何かヒントがあればキーの場所を思い出せる，といった場合に小指，の順番に押しましょう」といった説明を行っ特に大きな助けになる．ていた．また，例えば H については「右手の人指し
図 4(b)(c) のような軌跡は，熟練タイピストが無意指で J の左側の H 」のようにホームポジションから識に作成する指の運動情報と近いと考えられ，3 次相対的な位置関係を説明していた（ 図 4(a) ）．
元音声を使った課題提示は，単語を指の動きに変換
3 次元音声を用いることで，これらの指示を言語するコード 変換の心的過程を支援すると考えられる．
情報で伝える必要がなくなる．例えば ，J の位置が4. 3 入力に対するフィード バック
把握できた学習者に「 J K L ; 」という 3 次元音声
従来版システムにおいても，学習者が誤ったキーを聞かせることで，J を起点として右方向に 4 つのを押した場合に正しいキーを提示していた．しかしキーを順番に押すのだ，という指示ができる．この「もっと左です」と「 J K L ; 」の音声は位置情報と同時に 4 つのキーが何 「そのキーではなくもっと右です」いう情報を提示できれば学習効果は高まる．
であるかも示しているため，このガ イド 音声によっ
3 次元音声を用いることで，学習者が入力したキーてキーの名前と位置関係を合わせて覚えることが可の読み上げ（キーエコー）と正しく押すべきキーの能になる．
位置関係を提示できる．キーの絶対的な位置が聞き場所が連続的に移動する 3 次元音声の相対的な位置関係を聞き取ることは容易であるため，この効果取りにくい場合でも，「キーエコー音声」→「正解キーは大きいと考えられる．
音声」の連続的な音が右に動いたか，左に動いたか，—4—といった区別は容易である．したがって「正解キーはもっと右にある」「もっと左にある」といった情報は 3 次元音声によって簡潔に提示できる．

5. 「ウチコミくん 3D」の開発
本章では「ウチコミくん 3D 」の開発について述べる．なお，本システムは Microsoft Visual Basic 6.0で開発されており，Microsoft Windows 95 以降で動作する．

5. 1 コンテンツの構成
従来版「ウチコミくん」はテキストファイルと音声ファイルによって作成されたコンテンツを専用のプレ イヤーが実行する構成をとっているため，拡張や改良が容易である．
「ウチコミくん 3D 」の開発にあたっては，キーエコー等の音声ファイルをあらかじめ 3 次元音声に変換しておき，これを再生することとし，3 次元音響のリアルタイム計算は行わない．
従来の視覚障害者向けソフトウェアの多くはパソ
コン操作の経験者を対象としていたが，「 ウチコミくん」は視覚障害者でかつキーボード 操作の初心者を対象にするため，インストーラー，操作方法，レッスン構成など ，さまざ まな点に配慮した．
「 ウチコミくん 3D 」は従来版の操作性を踏襲しつつ，3 次元音声が活かされるコンテンツを新たに作成した．
コンテンツは以下の要素から構成される．
（ 1 ） 「オープニング 」とメニュー選択（ 2 ） キーの配置を説明する「基本練習」（ 3 ） 短い単語を入力させる「練習問題」（ 4 ） 任意のキーを自由に押させる「自由練習」
オープニングでは 3 次元の音声でキー全体を読み上げることで，学習者の興味をひくことを狙う．基
本練習においては，隣り合うキーを 3 次元音声で連続的に読み上げることによって，キーの位置関係の説明が効率化される．また，練習問題では日本語の短い単語のローマ字綴りを連続して 3 次元音声で読み上げることにより，空間的かつ連続的な指の動きを直観的に提示できる．
操作はすべてキーボード で行うことができる．メ
ニュー選択状態へのショートカットや，カセットテー
プや CD プレ イヤーに見立てた早送り，巻き戻し ，ポーズなどの操作が可能である．
従来版では音声合成と録音音声を併用していたが，「ウチコミくん 3D 」では音声の聞き取りやすさと 3次元化の効果を考慮し，すべてのガ イド を録音音声で行うこととした．
「ウチコミくん 3D 」の画面構成を図 5 に示す．中図 5 「ウチコミくん 3D 」の画面構成

央には押されたキーを表示し ，画面下部にはキー操作やメニューの選択肢などを表示している．

5. 2 3 次元音声の作成
1 チャンネルの音信号に対して頭部伝達関数を畳み込む処理を行い，2 チャンネルの 3 次元音声を作成した．
ある方向から聞こえてくるような音声を，その場所から人間の外耳道入口までの伝達関数の畳み込みとして表現するにあたっては，精度のよい定位感を得るために，頭部の形を 3 次元形状測定装置で測定し，それらの形状を境界条件として波動方程式を解くことにより，頭部の周りの音場を推定する [9]．本開発においては，このような 3 次元音声計算サーバーを構築し ，男性と女性のそれぞれの声で読み上げたキーの名前の音声ファイルを元にして音声ファイルを生成した．男性の声と女性の声を使い分けることで，3 次元キーエコーと 3 次元ガ イド の区別を容易にしている．
当初はキーボード を四角形の空間に仮想的に配置して計算を行ったが，予備的な検討を行ったところ，横方向の空間認識が難しいことがわかった．そこで，
図 6 のように半円状に配置したところ，キーの位置関係を明確にすることができた．評価テストのアンケート回答から 60cm〜 80cm x 20cm の音場のキーボード に感じられることを確認した．
5. 3 予 備 評 価
3 次元音声の有効性の予備評価として，晴眼者 30人および 視覚障害者 41 人にシステムを使用してもらい，主観アンケートを行った．被験者 71 人の内訳は男性 35 人，女性 36 人である．また，年齢は 10 才から 62 才までで平均年齢は 37 才である．実験にはノートパソコンとステレオへッド フォンを用いた．
結果を表 1 に示す．ただし ，回答は最も肯定的および否定的な回答をそれぞれ 5 および 1 とした 5 段—5—声は次に押すべきキーの指示や学習者がキーを押したときのキーエコーとして用いる．コンテンツとしては，キーの配置を説明する基本練習，短い単語を入力させる練習問題，任意のキーを押すことができる自由練習が可能である．3 次元音声を用いること
で，空間的かつ連続的な指の動きを直観的に提示できる．
評価の結果，複数の 3 次元音声を連続的に配置して提示する方法は定位感を強める効果が高いことが
図6確認された．また，タイピング練習の認知モデルに

音空間へのキーボード の配置

おいては，本手法は文字や単語から指の動的な運きの情報への翻訳を支援しており，タイピング練習と

表 1 3 次元音声の評価（ 5 段階評価の平均値）
項目
全体（ア）練習への意欲
3.7（ イ）練習の楽しさ
4.0（ウ）横方向の聞き分け
3.9（エ）縦方向の聞き分け
3.0（オ）3 次元音声の有効性
4.0（ カ）動機付け
3.8

視覚障害者

晴眼者

3.8
4.2
4.1
3.1
4.0
3.8

3.6
3.8
3.6
2.8
4.0
3.8

いうアプリケーションとの相性がよいと考えられる．
我々が提案する手法は，視覚障害者が習得しやすい音声インタフェースとして各種の機器操作に応用できると考えられる．また，晴眼者も「ウチコミくん 3D 」によって従来手法よりも容易にタッチタイピングの習得ができるものと期待される．特に，子供のタイピングにおける教育効果の検討は興味深い．

階からの選択としており，表は各被験者の回答した値の平均である．
（ア）の質問は「いま，タイピングを練習したいと思っていますか？」である．視覚障害者のうち 23
人は音声リーダー等の使用経験があったが，そのような被験者も含めて，本実験の被験者の多くはタイピング練習への意欲を十分に持っていると言える．
（ イ）は「音だけを使ってキーボード の練習をすることの楽しさ」を問うている．晴眼者の評価は高くないが視覚障害者は高く評価している．
（ウ）および（エ）は 3 次元音声の聞き分けやすさを問う質問だが，視覚障害者の方が聞き分けやすかったという傾向を示している．
（オ）は 3 次元音声が役に立ったかを問う質問で，（カ）は 3 次元音声が練習への動機付けに貢献しているか否かを問う質問である．晴眼者，視覚障害者を問わず高い得点が得られており，3 次元音声の利用は幅広く評価されたものと考えられる．
評価実験においては特に子供が 3 次元音声に強く興味を示しており，短時間でタイピングを習得していたことが印象的であった．

6. まとめと課題
3 次元キーエコーを用いたタイピング練習システ
ム「ウチコミくん 3D 」を開発した．このシステムではキーボード 上の各キーの位置から聞こえるような3 次元音声でキーの名前を読み上げる．これらの音

今後はこれらの提案手法の有効性についてより詳細な評価と検討を行いつつ，システムの改良を行っていく予定である．
文献[1] Shinichi Torihara. 2D Sound Screen Reader by
Text-to-speech from Information-Located Speakers with Speaker-Matrix. CSUN 2002 Conference
Proceedings, 2002.
[2] Stephen W. Mereu and Rick Kazman. Audio Enhanced 3D Interfaces for Visually Impaired Users.
Proceedings of CHI’96, pp. 72–78, 1996.
[3] 河合 良浩, 小林 真, 皆川 洋喜, 宮川 正弘, 富田 文明. 仮想音響による 3 次元空間認識支援システム. 電子情報通信学会第二種研究会, Vol. WIT99-26, pp.
15–20, 1999.
[4] 河合 和久, 大岩 元. タイピング教育のための認知モ
デル . 人工知能学会研究会, Vol. SIG-HICG-8801-2,, 1988.
[5] 在塚 俊之, 高橋 久, 助田 浩子, 永松健司, 畑岡 信夫. 障害者対応マルチメディアシステムの開発. 電子情報通信学会第二種研究会, Vol. WIT99-8, pp. 47–52,
1999.
[6] 在塚 俊之, 畑岡 信夫. 視覚障害者向け三次元音場利用
情報提示システム. 電子情報通信学会学会誌, Vol. 84,
No. 5, pp. 333–336, 2001.
[7] 杉本 雅彦, 伊藤 一典, 清水 道夫. 視覚障害者を対象とした音情報による Web-based コミュニケーションシステム. 電子情報通信学会技術報告, Vol. WIT00-39,
pp. 1–6, 2001.
[8] 西本 卓也, 園 順一, 浅野 令子, 高木 治夫. 視覚障害者のためのタイピング練習ソフトの設計と評価. 電子
情報通信学会技術研究報告, Vol. WIT2001-11, pp.
7–12, 2001.
[9] 大谷 真, 伊勢 史郎. 境界要素法を用いた頭部伝達関数の予測. 日本音響学会講演論文集, pp. 727–728,
2000.3.

—6—