情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B28
2016/3/2

Braille Pad Project −タブレット型ディバイスを使用した点字教育支援システムの開発−
渡辺 真太郎†

馬場 哲晃†

串山 久美子†

概要：近年, タッチスクリーンインタフェースを持つ携帯情報端末が普及し, 教育への利活用についても効果が期待されている. しかし, 視覚障がい者にとって, タッチスクリーンは触覚情報提示に乏しく操作が困難であるため, 視覚障がい教育への導入は積極的に進んでいないという現状がある. 本研究では, こうした問題への解決として, タッチスクリーン操作に触覚フィードバックを付加することで, タブレット型ディバイスの視覚障がい教育への利活用を可能とする教育支援システムの開発を行った. 本稿では, 点字初期教育としての点図学習に焦点を当て, タブレット型ディバイスのタッチスクリーン上に, 点図を印刷したシートを装着し, シート越しにタッチ情報を検出・解析することにより, 触覚と連動した音声フィードバックを行う点字教育支援システムの提案を行う. 開発したシステムにより, 視覚的なフィードバックに依存しない, タブレット型ディバイスを使用した, アクセシブルな視覚障がい教育を検討する.

Braille Pad Project −Proposal of Braille Education
Support System using a Tablet Device−
SHINTARO WATANABE†

TETSUAKI BABA†KUMIKO KUSHIYAMA†

Abstract: Recently, the popularity of mobile devices with touch screen interface is spreading. We expect that the devices will be
used effectively for education. However, it is difficult for the visually impaired to use the devices without adequate haptic
feedback. For that reason, in the special support education schools, using the devices for education is limited. For awaiting
solution, we developed a support system for visual disturbance education with the mobile devices by adding visual feedback. In
this paper, we focus on learning of point view as initial stage of braille learning, and use the sheet of point view on the touch
screen. This system provides sound feedback to user with haptic feedback, detecting touch data over the sheet. This research willpropose accessible visual disturbance education with mobile devices, without visual feedback.

1. はじめにして画面表示する画面拡大ソフトなどが導入されており,文字の視認作業を支援するものがある.

視覚障がい教育は, 点字を用いるとともに聴覚や触覚の一方, 情報機器の教育への利活用という点で, 近年特に活用を中心にすえる盲教育と, 通常の文章を用いるととも注目を浴びているのがタブレット型の情報端末である. 総に視覚の活用を中心にすえた弱視教育とに大別される[1].

務省主導「フューチャースクール推進事業」[2], 文部科学

近年では, この視覚障がい教育に情報機器を取り入れ, 視省「教育の情報化ビジョン」[3]の中でも, 携帯性に優れた覚障がい者にとって視認が困難な普通文字の読み書きを,高機能な情報端末の活用が明記され, 学習環境への積極的様々な形で支援する試みが発展している.

な導入が推進されていることが伺える. これらの指針におそこで用いられる情報機器の例として, 盲教育の場面でいて, 特別支援学校における有用性が指摘されてはいるもは, キーボード入力した文字情報を点字ディスプレイに表のの、積極的に導入されている事例は少ない. これは, 既示するワープロや, 点字や点図文書を作成することのでき成のタブレット型ディバイス製品の大半が, 物理的キーボる点字プリンタによって, 文字情報を, 点字などを介したードを排し, 平滑なタッチスクリーンインタフェースを持触覚提示情報へ変換するものがある。また, 印刷文書を音つために, 触覚情報提示に乏しく, 視覚障がい者にとって,声出力する音声読書システムや, 1997 年に IBM が開発した操作性が極端に低いことに原因があると考えられる. 本研「ホームページリーダー」などの音声 Web ブラウザによっ

究では, この問題の解決のため, タッチスクリーン操作にて, 音声により情報へのアクセスを可能にするものがある.

触覚情報を付加することで, 聴覚情報と連動したフィード

これらの機器は, 視覚的なフィードバックに依存することバックを行うことのできるシステムを開発し, タブレットなく, 触覚や聴覚を介した文字情報の認識を支援するもの

型ディバイスを使用した視覚障がい教育支援を検討する.

である. また, 弱視教育の場面においては, 印刷文字を光学的に拡大する読書拡大器や, パソコンの出力映像を拡大†首都大学東京大学院 システムデザイン研究科
Graduate School of System Design, Tokyo Metropolitan University© 2016 Information Processing Society of Japan2. 関連研究
タッチスクリーンを持つ携帯情報端末の普及に伴い, 視268

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B28
2016/3/2

覚障がい者もこの端末を利用する機会が増加している[4].

リーン利用補助を検討し, タブレット型ディバイスを使用

この状況に応じて, 視覚障がい者に向けた, タッチスクリした視覚障がい教育支援システムを開発する. また, こうーン利用補助に関する技術開発が進んでいる. 技術動向とした福祉機器開発には, 対象ユーザのニーズを的確に把握して, １）音声フィードバックの活用、２）身体動作（ジし, 設計に反映させるプロセスが欠かせない[12]. そのたェスチャー）の活用、３）触覚フィードバックの活用, ４）め, 本研究では, 障がい者など, 従来デザインプロセスか別ディバイスの活用と大きく 4 つに分類できる. 関連したら除外されてきた人々に着目し, そこから多様な人々に訴研究を以下にあげる.

求できるデザインの実現を目指す「インクルーシブデザイン」の手法に基づいて開発を行う[13].

2-1. 音声フィードバックの活用
Apple 社のタブレット型ディバイス製品は, 標準で様々なアクセシビリティ機能が搭載されている[5]. 従来の, フォントサイズ, 太さなどの調整機能やズーム機能など弱視

3. システム3-1. システム概要

者向け画面視認支援ツールに加え, 画面読み上げ機能

盲教育の初期段階において, 点字の学習は基礎的な読み（VoiceOver[6]）や, 音声入力機能（siri[7]）など音声フィ書きのコミュニケーション手段として重要な教育である.

ードバックによる支援ツールが実用化されたことにより,その前段として, まず, 指先の触覚により平面から盛り上重度の視覚障がい者の活用機能幅を拡張した. また, 他にがった凸点を読み取り, 情報を取得するという基本作業のも別途インストールして利用するアプリケーションも, 現学習が必要不可欠である. 従来, この学習には「点図」と在は多数リリースされている.

呼ばれる, 線や面を多数の凸点の並びで構成したものが使用される. 点図は, 点図作成ソフトを用いて, 点の大きさ,2-2. 身体動作（ジェスチャー）の活用

配列, 点間距離を設定し, 多種の図形を印刷することがでスクリーン上の身体動作は, 特に文字入力操作の面で活きる. また, 点図が触察可能なイラストとして挿入された用される事例が多い. 上記 Apple 社製品は, 上記アクセシ絵本なども出版されており[14] [15] [16], 点字だけでは認ビリティ機能に加え, 手書き動作による文字入力機能も備

識が困難な図形やもののかたちを, 触って理解するためのえている. 他に, NTT サービスエボリューション研究所の学習ツールとして使用されるという側面もある.

青木良輔らによる, 簡単な指のジェスチャーによって文字特別支援学校に務める教員へのヒアリングの結果, 従来入力を可能とする操作方式[8]や, 点字入力が可能な操作方の点図を用いた点字初期教育が, 点字の概念に乏しい盲児式[9]なども開発されている. これらの方式は, しばしば,音童生徒にとって一定の退屈さを伴うことから, 効率的に学声フィードバックが併せて補完的に活用される.

習を進めることが難しいという課題があることが分かった.
本研究では, この点に着目し, タッチスクリーン面に点図2-3. 触覚フィードバックの活用

シートを重ねて装着し, 点図シート越しに検出・解析した

タッチスクリーンに物理的に触覚を与える試みとして,タッチ情報に応じて音声フィードバックを行うことによりTuctus Technology 社が発表した, Apple 社製品「iPad mini」

楽しく点図学習を進めることのできるシステムの開発を行のタッチスクリーン面に, 触覚のある物理ボタンを隆起さう[図 1].

せることができる専用ケース「Phorm」[10]がある. 薄いパネル内に充填された液体の圧力を制御することで表面を隆起させ, 触覚を伴うキーボード入力操作を実現している.
2-4. 別ディバイスの活用
Apple 社は, 既存の点字ディスプレイ機器を, タブレット型ディバイスと USB 及び Bluetooth 接続することにより,使用可能となるサポートを開始した[11]. 文字入力操作に触覚や点字を活用することができるとともに, VoiceOver機能との併用により補完的に聴覚フィードバックを得ることができる.
このように, 視覚障がい者に向けたタッチスクリーン利用補助技術の開発は進められているものの, それが視覚障

図1

システムの使用イメージ

がい教育の支援に特化された事例は少ない. 本研究では,

Fig.1

Image of Using System

こうした先行事例を踏まえ, 触覚と聴覚によるタッチスク© 2016 Information Processing Society of Japan269

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161B28
2016/3/2

3-2. システム構成
Point View Sheet

本研究で開発したシステムは, 端末として Apple 社タブレット型ディバイス製品「iPad」を用い, その上で動作する Web アプリケーション, 点図シート, それを iPad のスクApple iPad

リーン面に装着して固定するための専用ケースから構成される[図 2]．
点図シートには, 線形, 円形, 角形といった幾何学形態,Case

またそれらを組み合わせた図形が印刷されており, ユーザは, 指先の触覚を頼りに図形をなぞることにより, 点字教育の基本となる, 凸点を読み取る作業の学習を行うとともに, 図形のかたちに対する理解を深めることができる. 今回, 点字シートは, 異なる形態の特徴を表現する 17 パターンを用意した. また, 操作時に点図シートと端末画面の位図2

システム構成図置関係に生じるずれを防止するため, iPad とシートを固定

Fig.2

System Architectureする専用のケースを制作した. Web アプリケーションの開発環境は JavaScript, ライブラリは jQuery, P5.js を用いた.
3-3. ソフトウェア
ソフトウェアは, １）グラフィックの描画とヒット判定
エリアの設定, ２）タッチ情報の検出及び認識に関するインタラクション, ３）音声フィードバックの 3 段階に分けて設計している.
3-3-1. グラフィックの描画とヒット判定エリアの設定
まず, 画面に描画するグラフィックと, ヒット判定エリアを設定したグラフィックの SVG データを作成し, 画面への読み込みと配置を行う. 描画するグラフィックは, 点字シートに印刷された図形を模したドットで表現した. ヒット判定エリアは, 狭すぎると使用時のタッチ反応が鈍く感

図3

描画するグラフィック（ドットパターン）

じられ, 操作難易度が急激に上がってしまう. また広すぎると, 逆に操作難易度が極端に下がってしまい, 学習に最適なエリアのサイズを決定するためピクセル単位の調整がとヒット判定エリア（ベタ部分）
Fig.3

drawing graphic (dot pattern) andjudgment area of hitting (filling in blue color)

必要とされた. 試作段階で, 視覚障がい者の成人 2 名を被験者として使用実験を行い, そこで得られた結果から, 最終的には, ドットの中心線から上下約 25px 幅をヒット判定エリアとして設定した[図 3].
3-3-2. タッチ情報の検出及び認識
タッチインタラクションでは, 点字シート越しにタッチ情報を検出し取得した座標情報を基に, 指先が 3-2-1 で設定したヒット判定エリア上に触れているかを判定している.
順序としては, １）スタート地点に触れたか, ２）１）を経て, 3-3-1 で設定したヒット判定エリア上に触れているか,３）１）２）を経て, エンド地点に触れているかをそれぞれ判定し, １）２）３）の条件がすべて満たされるとき, 成
図4功と判断される. なお, 角形や円形のグラフィックで, スタート地点とエンド地点が同じポイントとなるものについFig.4

晴眼者の使用例

example of use by a sighted personては, 中間地点に新たにポイントを設定し, 触れたか© 2016 Information Processing Society of Japan270

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

どうかを判定に加えている.
試作段階の当初は, シングルタッチ方式で検出を行っていたが, 被験者実験の中で, 操作時の晴眼者の自然な動作が「片手指 1 本のみ」を使用する[図 4]ものであるのに対し,視覚障がい者は「両手全指」を使用して, 前後左右の空間的文脈を把握しながら操作を行うことが明らかとなった.
そのため, 最終的にマルチタッチ方式でタッチ情報の検出及び認識を行うこととした. また, この被験者実験の過程
で, 視覚障がい者は, 操作の開始前にまず点図シート全体を触り, 全体構造を把握する作業を自然と行っていることが判明した. そのため, 操作をスタートする前の段階では,画面上のどのエリアを触れてもヒットと判定されない「ロック状態」となるよう設定している. この段階では, ユー
ザに余計な聴覚情報を与えないことにより, ユーザが点図の全体構造を触知して把握するための時間を確保することができる. 操作をスタートするには, 「スタート」を選択

161B28
2016/3/2

5. おわりに
本稿では, タッチスクリーンインタフェースを持つタブレット型ディバイスの視覚障がい教育利活用に向けて, タブレット型ディバイスと触覚提示教材を同時併用することで, 視覚的なフィードバックに依存することなく, 触覚と聴覚を介して点字初期教育を支援するシステムを開発し,提案した.
今後は, 複数の盲児童生徒を対象にして被験者実験を行い, 従来の触覚提示教材による点字学習体験と, 学習の効率性や主体性, 自立性などの面でどのような違いが生まれるのか調査分析し, 本稿で提案したシステムの有用性を実証する. また, 特別支援学校の教員や保護者などと連携をとりながら, コンテンツの充実化及びタッチインタラクシ
ョンの精度向上を行い, タブレット型ディバイスを使用した視覚障がい教育支援システムの可能性を更に検討していく.

する、という意味合いを込め, スタート地点を一度タップするという動作が必要となるよう設定した.

謝辞 本研究にご協力頂いた筑波大学附属視覚特別支援学校の山口崇先生，首都大学東京の茂木龍太先生, 兼松祥央

3-3-3. 音声フィードバック

様に謹んで感謝の意を表する．

本システムでは, 触覚認知を補完する材料として音声によるフィードバックを行う. 音声フィードバックは, １）
ページのロード完了時, ２）スタート地点のタップ（操作開始）時, ３）スタート地点を触れ, かつヒット判定エリ
ア上にいずれかの指が触れている時, ４）３）を経てエンド地点を触れた時に, それぞれ別種の音声によって行われる. また, ３）の段階では, OSC ライブラリを使用し, タッチ座標に応じて出力される音階を変化させているため, ユーザは, スクリーン上で移動する指の位置関係を聴覚によって感じ取ることが可能となる.

4. 考察
本システムを実装し, 展示発表及び考察を行った. 展示
は平成 27 年 10 月 22 日から 10 月 25 日にかけて, 日本科学未来館で開催された「DCEXPO2015」内のブースで行い, 鑑賞者を被験者として, 質問調査を行った. 今回の実験は試験者が晴眼者のため, 視覚障がい者の使用を仮定して, 両目を閉じた状態で体験することを条件とした.
結果として, 晴眼者にとって, 目を閉じた状態で, 点図を適切になぞることが想像以上に難しく, 非常に集中力を要する作業であることが明らかとなった. また, 本システ
ムが, 晴眼者が視覚障がい者の情報所得体験を擬似的に体験し, 理解するためのツールとして, 一定の機能を持つ可能性が示唆された.

© 2016 Information Processing Society of Japan

参考文献
1) 独立行政法人国立特別支援教育総合研究所: ”特別支援教育の基礎・基本 一人一人のニーズに応じた教育の推進”, ジアーズ教
育新社(2009)
2) “教育分野における ICT 利活用推進のための情報通信技術面に関するガイドライン”, 総務省(2014)
3) “教育の情報化ビジョン～21 世紀にふさわしい学びと学校の創造を目指して～”, 文部科学省(2011)4) 矢入郁子: “視覚障がい者のタッチパネル利用補助に関する技術動向”, 情報処理学会誌(2015)
5) Apple Accessibility
http://www.apple.com/jp/accessibility/ios/
6) Apple VoiceOver
http://www.apple.com/jp/accessibility/ios/voiceover/7) Apple Siri
http://www.apple.com/jp/ios/siri/8) 青木良輔, 橋本遼, 瀬古俊一, 片岡泰之, 井原雅之, 渡辺昌洋,
小林透: “Drag&Flick : タッチスクリーンを用いた視覚障がい者向け文字入力方式”, 情報処理学会 インタラクション(2013)9) 牛田敬太, 阿左見聡士, 長谷川貞夫: “タッチパネルを用いた点字マッピング 一筆書き文字入力方式の提案と開発”, 信学技報(2011)10) Phorm
https://www.getphorm.com/
11) Apple ブライユ点字ディスプレイ
http://www.apple.com/jp/accessibility/ios/braille-display.html
12) 硯川潤: “福祉機器開発と参加型デザイン –人と機器の適合を実現する–”, 情報処理学会誌(2015)13) 水野大二郎, 森村佳浩, 浅野翔: “インクルーシブデザインによるソーシャル・インタラクションの設計可能性についての素描”,
21 世紀社会デザイン研究学会(2012)14) 富田京一（監修）: “テルミ”, 日本児童教育振興財団
15) Phillip Newth: “ちびまるのぼうけん”, 偕成社(2007)16) 村山純子: “てんじつきさわれるえほん さわるめいろ”, 小学館(2013)271