7014

日本バーチャルリアリティ学会誌第 8 巻 2 号 2003 年 6 月

特集 福祉と VR

情報バリアフリーとＶＲー聴覚障害者のコミュニケーション支援技術ー

井野秀一
東京大学

１．はじめに

実に増加の一途をたどっている．

現代の医学ではどうしても治すことのできないため聴覚障害者のための情報バリアフリー，そして，高齢に，手足や感覚に障害が残ったままになっている人々はになっても余生を豊かに過ごすためのコミュニケーショ

全国に約 325 万人おり，そのうち聴覚に障害を持つ人々

ン手段の確保は，現代における重要課題の一つである．

は約 30 万人と推定されている［1］．難聴は障害の部位

本稿では，まず，コミュニケーション支援技術と密接により，伝音性難聴，感音性難聴，混合性難聴に分けな関係にある感覚代行について，人間情報処理の視点かられる．感音性難聴のように補聴器の効果があまり期待ら説明する．そして，VR を応用した聴覚障害者の情報できない難聴者の場合，手話や読話というコミュニケー

バリアフリー技術については，コミュニケーション環境ション手段を習得しなければならないが，それらの習得の違いに着目し，私たちの取り組んでいる研究例をいくは外国語の学習と同じように容易ではない．特に，音声つか挙げながら，具体的に紹介する．

によるコミュニケーションに慣れ親しんできた中途失聴
２．感覚代行者の場合には大変な努力を伴う．日本の場合，聴覚障害者で手話ができる人の割合は 17％ほどである［2］．

VR を支える技術体系の一つに感覚ディスプレイがあ

また，私たちの身の回りでのコミュニケーションは音る．福祉工学においても感覚ディスプレイは大切であり，声に頼る場合が多い．そのため，耳の不自由な人たちは，その研究は感覚代行に関わる分野のなかで進められてい手話を獲得しても，学校や職場などの日常生活の場面でる［3］．ここでは，VR 技術から生み出された感覚ディ社会的な情報障害を被りやすい．情報科学技術が急速にスプレイを聴覚障害者のコミュニケーション支援装置に発達した昨今でも，携帯電話等による電子メールが広く応用する際に考えておきたいことについて触れてみたい．

普及したとはいえ，聴覚障害者のコミュニケーション支
2.1

援技術の選択肢は決して多くない．さらに，社会の急速社会生活を送る上で必要な情報は，図 1 のように言語な高齢化に伴い，聞こえに衰えのある老人性難聴者も確

図１

伝達すべき感覚情報

私たちの社会生活に必要な情報と感覚器の関係

14

特集

JVRSJ Vol.8 No.2 June, 2003

福祉と VR71
15

情報と非言語情報に大別される．言語情報には音声や文がある．また，脳の可塑性・概念形成・学習などの高次字が含まれ，これらの受け手は主に聴覚と視覚である．

中枢機能について考慮し，障害をもった時期の違い（先非言語情報には環境に関する多様な情報が含まれてい天性と後天性）や残存機能の状況にも留意すべきである．

る．快適や不快あるいは危険がそれである．前者には快それと同時に，感覚代行装置を使いこなすための教育ト

い音楽や映像などがあり，視聴覚以外にも心地よい肌触レーニングプログラムの開発も求められる．

りや爽やかな香りなどの触覚や嗅覚などに関係する情報
３．聴覚障害者のためのバリアフリー技術が含まれる．
後者に関しては，痛覚はもちろんのこと腐った臭いや異様な味などがある．これらは，個体生存のた

私たちが生活する日常のコミュニケーション環境には，めに忘れてはならない情報である．しかし，非言語情報家族や友人同士での会話が主であるパーソナルな環境とはあまりにも多様で把握が難しく，現在のところ，感覚役所や病院あるいは学校などのパブリックな環境がある．

代行の研究では，残存感覚を通して言語情報をいかに言

ここでは，コミュニケーション環境の違いに応じて，聴語中枢に送り込むかに，その力点が置かれている．

覚障害者のための情報バリアフリー技術について述べる．

2.2

3.1

感覚代行インタフェースの構築

パーソナルなコミュニケーション環境

聴覚障害者にとって，触覚と視覚が聴覚情報を代替しパーソナルなコミュニケーション環境で使う装置は，て受け取る貴重な窓口になる．また，重複障害の盲ろう

いつでもどこでも利用できることが前提になるため，者にとって残された感覚とは，言うまでもなく触覚である．

小型・軽量かつ携帯可能であることが求められる．まこのような人たちの感覚代行ディスプレイを設計する上た，一歩進んで，気軽に身につけるという観点からはウェで留意すべき点を整理すると，次の 3 点に要約できる．

アラブルであることが望ましい．これは，ウェアラブル

第 1 点は，本来の感覚と代用感覚における伝達情報量性の確保という VR と共通した技術テーマを内包していの違いについてである．これは，どんな情報をどこまでることになる．そこで，私たちの研究室で開発に取り組伝達するのかという問題と結びついている．第 2 点は，んでいる，多チャンネルの触覚ディスプレイを利用した感覚受容器から中枢までの経路および感覚中枢における手のひらサイズの触知ボコーダと透過型 HMD を利用し特徴抽出の違いについてである．これは，代用する感覚たウェアラブル自動筆談装置について紹介する．

器で受容できるように変換した刺激と本来の音声との整【触知ボコーダ】合性をいかに確保するかということに関わっている．第3 点は，代用感覚を経由した情報の場合，果たして本来触知ボコーダとは，ヒトの耳の機能を電子回路で置き換と同様の感覚概念を惹起できるのかということである．

え，指先の振動で音声がわかるようにするための「指で聴これは，大脳における複雑な情報処理の問題であり，最く」装置である［4］．いわゆる，タクタイルエイド（Vibro-も判断の難しい問題である．図 2 に聴覚代行に関わる感Tactile Aids）の一種である．この基本構成を図 3 に示す．

覚器と大脳の領域との関係を示す．

まず，マイクロホンから入った音声は，外耳道の音響

以上のように，感覚代行では，聴覚領野・視覚領野・フィルタの役目を果たすイコライザを通る．外耳は一種触覚（体性感覚）領野などに，どのような刺激パターンのハイパスフィルタであり，音声帯域の音を強める働きとルートで情報を送るかということを慎重に考える必要を持っている．その回路を通った信号は，内耳（聴覚系）の働きをする臨界帯域フィルタで 16 分割される．16 個

図２

図３

聴覚障害者のための感覚代行の方法

15

触知ボコーダの基本構成

72
16

日本バーチャルリアリティ学会誌第 8 巻 2 号 2003 年 6 月

特集

福祉と VRの臨界帯域フィルタからの出力波形は包絡検出器を通過

アクセスのための触覚ジョグダイアル（例えば，インターし，側抑制回路に送られる．ヒトの感覚情報処理メカニ

ネットのホームページなどのリッチテキスト情報の呈示

ズムと同様に，この抑制回路は空間的なシャープニング手段）としての応用研究も行っている［7］．の処理を行い，ホルマントや子音の弱い成分を強調する【ウェアラブル自動筆談装置】働きをもつ．さらに，その出力は触覚のパチニ小体が敏感に反応する 200Hz の振動に AM 変調され，縦 16 列 ×触知ボコーダを中途失聴の人たちに使用してもらった

横 3 行で 48 本配列されている触覚ディスプレイで皮膚ところ，指先で触ったときの振動パターンの違いは分か表面に展開される．高い音を含む音声の場合はディスプるが，それは，直接，音声として聞こえないといって，レイの上部ピンが振動し，低い音の場合は下部が振動す

落胆する人たちがいた．既に，彼らは文字という概念をる．例えば，/a/ の音声の場合には真ん中あたりが強く獲得しているので，日常生活では筆談を使っている．特振動し，/i/ の場合には両端に分かれる．すなわち，音に，高齢になってからの失聴では，新たに手話や読話を声の周波数的な特徴パターン（ホルマント周波数）を時々覚えるのは難しい．もし，音声情報を文字に自在に変換刻々と指腹面に呈示し，点字を読むように指先で音を感することができれば，声を文字として聞き取れる（読みじとらせる仕組みである．

取れる）はずである．そこで，音声認識技術を利用したビジブルスピーチ（Visible Speech）としての聴覚補助装

この研究過程では，札幌の聾学校の協力を得て，1 年間ほど聾児たちの音声認識訓練に実際に利用した．その置の開発に取り組むこととした．

ときの経過は NHK で「指で聴いたアイウエオ」というその先導研究は，触知ボコーダの時間スペクトルパター

ドキュメンタリー番組に取り上げられ，1970 年代の感ンの出力を利用して，聴覚での情報処理機構を踏まえな覚代行研究を知るための貴重な映像資料になっている．

がらコンピュータで音声を文字に置き換えるという，1980

また，この装置は，肩掛け式で携帯できるようにポータ年代の音声タイプライタの開発である［8］．これは，「ア」

ブル化して製品化された．しかし，価格などの問題で普「カ」「サ」
「タ」
「ナ」
・・・
「ン」と１音ずつ発声した 68

及するまでにはいたらなかった．

個の単音節音声をカナ文字に変換するシンプルな自動筆

その後も，「触知ボコーダ」の改良研究は続き，/ku/談装置であった．しかし，当時のエレクトロニクス技術

や /tsu/ などの短くてすぐ消えてしまう子音を指先で知では，まだまだコンピュータや視覚ディスプレイが大きく，覚できるように工夫を加えた．
これは，触覚の振動パター小型化は難しかった．ウェアラブルにするには，これらンを電光掲示板のように指先で動くようにスウィープすの装置の小型化技術と歩調を合わせる必要があった．

る方式であり，麻雀の盲牌がヒントとなっている［5］．

さて，ここ数年間，複合現実感（MR）の分野において，また，生体力学的な観点から，振動刺激を効率よく，かCG と現実映像を臨場感あふれる画質と速さで融合させつ確実に触覚受容器へ伝達できる触覚ディスプレイの構て呈示する技術開発が盛んに進められている．メガネく造設計のために，指先皮膚の詳細な機械インピーダンス

らいの大きさの透過型 HMD も製品化されるようになっ特性も調べている［6］．てきた．さらに，ウェアラブル PC の開発も進んでいる．

現在の「触知ボコーダ」は「タッチボイス」というこのような背景のなかで，改めて，図 5 に示すように，名称で，図 4 のような新しい手のひらタイプの大きさと音声認識装置と透過型 HMD を組み合わせ，認識されたなっている．また，触覚ディスプレイ部は，本体からの分離と USB 制御を可能にしてあり，視覚障害者の情報

図４

手のひらサイズの触知ボコーダ

図５16

透過型ＨＭＤを利用した自動筆談装置の概念

特集

JVRSJ Vol.8 No.2 June, 2003

福祉と VR

73
17の表示系に関わるパラメータの設定値は，不完全な音声認識結果による文の意味理解や呈示位置や行数の違いによる文理解精度の心理実験の結果に基づいて決めた
［9］．
3.2

パブリックなコミュニケーション環境

多くの人たちが同時に利用する公共施設等での情報バ
リアフリー機器は，パーソナル向けの装置とは異なる開発コンセプトが必要になる．すなわち，情報伝達時に，曖昧性が極力少なく，誰もが利用できるユニバーサルデザインの発想を持つことが求められる．
図６【音声認識自動字幕システム】

ウェアラブル自動筆談装置の試作器

聴覚障害者がパブリックな環境で利用できる情報保証の音声が対話の相手の口元あたりに文字としてマンガの吹手段に，手話通訳・ノートテイク・要約筆記（パソコン要

き出しのように現れるコンセプトの聴覚障害者用コミュ

約筆記）がある．しかし，手話通訳は，手話を身につけてニケーション装置の開発をはじめた．このような方式だいないと利用することができず，ノートテイクや要約筆記と，話者の表情や口の動きも文字と同時に見えるため，の場合は，手作業で文字を作成するために，情報呈示まで完全な音声認識装置を必要としない．音声認識の誤りがに時間がかかってしまう，あるいは，全ての内容を伝える機械側にあっても，利用者側の推論能力の助けを借りて，ことができないという状況が生じる．そこで，音声を入力それを，ある程度，訂正することが可能になるからであ手段として用いることができれば，入力速度の限界というる．この場合の音声認識装置は，人間と機械の仲立ちを問題が大幅に解消され，内容を要約することもなく，全てするマン・マシン・インタフェースではなく，聴覚障害の情報を聴覚障害者に伝えることが可能となる．このよう者と健聴者をつなぐマン・マン・インタフェースである．

な背景のもとで，私たちはウェアラブル自動筆談装置を改そこで，図 6 に示すようなポータブル PC とメガネ式良して，公共施設での会議や学校の授業等での情報保証をの軽量な透過型 HMD を利用したウェアラブル自動筆談目的とした音声字幕変換システムを開発することにした．

装置を試作した．本装置の基本構成は，携帯型音声認識システムの構成図を図 7 に示す．本システムでは，講装置の本体にポータブル PC を利用し，その音声認識エ演者と音声認識装置の間に同時復唱者を配置し，その復ンジンには日本 IBM 社の ViaVoice を利用した．また，
ViaVoice の認識結果の出力部分には，音声認識の確からしさ（尤度）の閾値によって出力文字の表示形態（認識結果の間違っている確率が高い場合には「＊＊＊」とするなど）が調節可能になるように，独自の改良を加えた．透過型 HMD には，メガネのフレームに取り付けられる Clip-On Display を利用した．総重量は約 540g であり，携帯向けの装置として利用可能な範囲の重さであった．また，音声認識エンジンにより音声を文字列に変換して，話者の喉元に呈示するまでの時間はおよそ 1 秒前後であった．若干の遅れがあるものの，人間の会話に間があることを考慮すれば，コミュニケーション補助装置としてのリアルタイム性は概ね確保されていると言える．音声認識による文字は，横書き・1 行表示で話者の喉元に表示されるが，不完全だと予測された認識文字は「＊＊＊」のように伏せて，同音異義語や意味不明な文字列が利用者を惑わさない仕組みにした．なお，これら

図７

17

音声認識自動字幕システムの基本構成

74
18

日本バーチャルリアリティ学会誌第 8 巻 2 号 2003 年 6 月

特集

福祉と VR8）．このとき，講演者の表情と字幕にズレがあると違和感を利用者に与えることになる．音声が字幕になるまでの時間は，講演者→（同時通訳者）→同時復唱者→音声認識装置のルートを経由するために，４〜 5 秒くらいである．そのため，画像情報と字幕情報の時間的ずれを吸収する画像遅延呈示装置（BUG 製：VideoBOX）を製作して，重ね合わせの時間補正に利用した．
本システムを障害者インターナショナル世界会議札幌大会（DPI2002）で運用したところ，高い精度（約 96%）で字幕情報を会議参加者に提供することができた．大会参加者からの評価も高かった［11］．また，このシステ

図８ DPI2002 会場での字幕スクリーンの様子

ムをネットワーク対応型に改良して，横浜での国際ユニ唱者が講演者の話した内容を復唱して音声認識装置へ入

バーサルデザイン会議（UD2002）における字幕提供を，力する方式を採用した．この方法により，不特定話者の会場から遠く離れた札幌のオペレーションルームで行っ音声を，復唱者，すなわち特定話者の音声に変換するこた［12］．このようなシステムにすることで，復唱者やとで，認識率の優れる特定話者認識の技術を利用できる修正オペレータが一つの場所に集まることなく，本シスことになる．また，国際会議にも対応できるように，英テムがあたかも会場にあるかのごとくに運用できること語の音声認識エンジンを組み入れた．復唱者は，日本語を確認した．

は民放アナウンサー，英語は北米英語を母語とするネイ

このような遠隔字幕システムをさらに発展させていく

ティブスピーカーとした．同時復唱者は，講演者の話すと，例えば，歩行機能に障害のある人たちや地方に住んで言語に応じて，講演者または同時通訳者からの音声を復いる人たちが，同時復唱者として居場所を問わずに参加す唱する．このようにして，同時復唱された音声はそれぞることができ，それが新しい雇用創出につながる可能性がれの音声認識装置で字幕データに変換される．同時復唱ある．また，字幕のディスプレイを携帯電話や PDA にす

音声による音声字幕変換の正答率は約 92%（復唱者はると，利用者はスクリーンの場所に左右されずに会場の何民放アナウンサー）であった．なお，字幕データのより処にいてもよいことになる．教育分野では，東京大学バリ一層の正確性の観点から，本システムと連動して誤変換

アフリー支援準備室の聴覚障害を持つ大学生への支援事業

部分を外部オペレータがキーボード入力で迅速に修正での一環として試験運用されている（図 9）［13］．

きるインタフェースも開発した［10］．

また，この字幕システムやウェアラブル自動筆談装置

字幕データはミキサーに送られ，カメラからの講演者は，話し手の映像を現実世界，字幕映像を仮想世界とすの映像に重ね合わせて会場のスクリーンに映される（図るならば，一種の複合現実感の環境となり，これらのシ

図９

遠隔操作タイプの自動字幕システム（授業参加支援の場合）

18

特集

JVRSJ Vol.8 No.2 June, 2003

福祉と VR

ステムは MR 技術や高臨場感ディスプレイの発展に応

1975

and Mechatronics, Vol.15, No.2 ,pp153-163(2003)［7］C. Asakawa, H. Takagi, S. Ino and T. Ifukube : Auditory

じて一層使い易いものになっていくであろう．

and Tactile Interfaces for Representing the Visual Effects
on the Web, Proceedings of the 5th International ACM

４．まとめ
聴覚障害者の情報バリアフリー技術と VR の係わりについ

SIGCAPH Conference on Assistive Technologies, pp.65-72 (2002)て，感覚代行におけるインタフェース設計の視点を交えな［8］伊福部達：音声タイプライタの設計，CQ 出版（1983）

がら，タクタイルエイドとしての触知ボコーダ，ビジブル［9］井野秀一，小坂井敦，奈良博之，服部裕之，伊福部達：

スピーチとしての自動筆談装置，そして会議参加支援のた

透過型 HMD と音声認識技術を利用した聴覚補助方式めの自動字幕システムについて紹介した．これらは，人間の提案 , 日本バーチャルリアリティ学会論文誌 , Vol.6,と機械の最適な関係はどうあるべきかを第一に考えなけれ

No.3, pp.177-184（2001）

ばならないものであり，その過程には，心理学や生理学を［10］加藤士雄，井野秀一，永井謙芝，渡邉括行，堀耕太基礎とする知見と実験，ユーザからの評価，そして，目的郎，似鳥寧信，高杉弘子，服部裕之，伊福部達：国際に応じた機能を持つ感覚ディスプレイの開発が求められる．

会議における聴覚障害者支援を目的とした音声字幕変

また，聴覚障害者の情報バリアフリー機器は，ちょっ換システムの設計，ヒューマンインタフェース学会研と見方を変えると，例えば，騒音で音声の聞き取りにく究報告集，Vol.4，No.4，pp.65-70 （2002）

い作業環境でのコミュニケーションにも役立つ．つまり，［11］http://www.mainichi.co.jp/digital/solution/archive/200210/15/5.html

誰にとっても使いでのあるユニバーサルデザイン指向の機器になる．同じことは，他の障害者支援技術にもあて［12］http://www.bug.co.jp/topics/ud2002.html

はまる．そして，人間との関係性が強い科学技術である［13］http://www.bug.co.jp/topics/todai.html

VR は，必然的に人間支援技術であり，これらの障害者支援技術と底流で結びついているのではないだろうか．

【略歴】

今後，VR が，聴覚に障害のある人たちの自立生活を井野秀一（INO Shuichi）サポートし，社会参加を円滑にするアシスティブテクノ

東京大学 先端科学技術研究センター 助教授

ロジー（Assistive Technology）の一翼を担いつつ，それら1993 年北海道大学大学院博士後期課程修了，1991 年日が互いに共鳴しながら発展していくことを期待したい．

本学術振興会特別研究員（DC），1993 年北海道大学電子科学研究所助手，1995 年同大講師，2003 年より現職．

参考文献

工学博士．専門は，生体工学・福祉工学・ロボット工学．

［1］厚生労働省統計表データベース（厚生統計要覧），

人間情報システム論に基づくヒューマンインタフェース

http://wwwdbtk.mhlw.go.jp/toukei/youran/index-kousei.htmlの研究開発に従事．電子情報通信学会，日本機械学会，［2］岩渕紀雄：聴覚障害者用コミュニケーション関連用

バイオメカニズム学会，IEEE などの会員．著書（共著）

具，OT ジャーナル，Vol.36，No.6，pp.677-683（2002）『人工現実感の評価』（培風館），『健康・福祉工学ガイド［3］井野秀一：人工現実感の評価 − VR の生理・心理・ブック』（工業調査会），『新版ロボット工学ハンドブック』

社会的影響−（伊福部達監修）,（1.4「福祉への VR 技（コロナ社）など．

術応用の現状と展望−概説−」）,培風館 , pp.42-62（2000）［4］伊福部達，湊博，吉本千禎：心理物理実験によるタクタイルボコーダの基礎的研究，日本音響学会誌，Vol.31，No.3，pp.170-178（1975）［5］和田親宗，井野秀一，伊福部達：高度難聴者用タクタイルボコーダにおける音声スペクトルのスイープ呈示方式の提案と評価，電子情報通信学会論文誌 A，Vol. J78-A，No.3，pp.305-313（1995）［6］T. Homma, S. Ino, T. Izumi, H. Kuroki and T. Ifukube:
Measurement of Mechanical Characteristics of a Fingerpad
Surface in the Design of a Tactile Display, Journal of Robotics

19