〈一般研究課題〉

難聴者の生活環境向上のため「音の可視化」を目的としたウェアラブル画像入出力の形態研究

助 成 研 究 者

名古屋工業大学

須藤正時

難聴者の生活環境向上のため「音の可視化」を目的としたウェアラブル画像入出力の形態研究
須藤 正時（名古屋工業大学）

The form study of the wearable image input and output
aimed at being visible of the sound for the living
environment improvement of the hard of hearing person.
難聴者： The hard of hearing person

Masatoki Suto
(Nagoya Institute of Technology)
Abstract
Since the increase of the halfway hard of hearing person is anticipated with rapid aging of thepopulation in our country, the development of a device making a sound aimed for the living
environment improvement of a halfway hard of hearing person visible is expected. This study decided
to consider the form of the visual expression of the sound which should be visualized and theinstallation on which those were mounted by this research. A visual expression of visualization soundmade a sample and put those intelligibility tests into effect targeted for a hearing physically unimpaired
person. The form of the equipment has made the mock up model by which attachment is possible andhas heard by fitting to a way of a halfway hard of hearing person. The result of the intelligibility test
showed the good estimation on the validity of the visual expression. But the problem which should beimproved was picked out about the form of the equipment. Next study theme is consideration of theproblem picked out.

1. はじめに（研究目的）
研究テーマは難聴者の生活環境向上のため「音の可視化」を目的としたウェアラブル画像入出力の形態研究である。本研究では二つの研究テーマで進める。第一は音の可視化を目的とした研究、第二はそれを表現した装置を身につけるための形態研究。本研究では第一の研究目的である加齢により中途難聴になってしまった人の生活環境を向上させるために最低限必要な音をどのように表現したらよいかに焦点を定める。なかでも表示画面のインターフェース（音の表現）を中心に焦点とする。第二の研究は将来実現が期待される「眼鏡型のウェアラブルな画像入出力の形態研究」については課題抽出を行う。

− 97 −

2. 研究の背景
我国では平成 8 年 10 月 1 日の時点で 65 歳以上の高齢者は、1902 万人に達し総人口の 15.1 ％（平成8 年共生社会政策統括官、高齢社会対策より）であった。平成 18 年（2006 年）10 月 1 日では過去最高の 2,660 万人（前年 2567 万人）となり総人口に占める割合は（高齢化率）も 20.8 ％（前年 20.1 ％）となった。高齢化率は今後も上昇を続け、平成 67 年（2055 年）には 40.5 ％に達して、国民の 2.5 人に一人が 65 歳以上の高齢者になる社会が到来すると推計されている（平成 19 年度版

高齢社会白書より）。
人は年を経るに従い、さまざまな障害に見廻れる確立が高くなる。中途難聴もその一つである。
中途難聴者は、これまで不自由なく聞こえていた音が、ある日を境に聞こえにくくなるか、全く聞こえなくなる聴覚障害を持つ人々をさす。そのため中途難聴者は、正常な聴覚に基づいていた生活とは異なる生活を強いられる。しかしこのような生活は、中途難聴者への聞き取り調査では新しい環境に慣れるのに多大なストレスを感じたと伺った。このストレスは、高齢で中途難聴となった障害者の、生活する気力をそぐ要因になると思われる。そこで本研究では特に中途難聴者の方々がこれからの人生を少しでも豊かに快適に過ごせることを目的として研究を進めることとした。
本研究は、高齢中途聴覚障害者を対象として、生活の基本となる重要な音聴覚情報を特定し、それらの代替表現方法の検証を目的とする。さらに実用化のための使用スタイルも合わせて検討する。

3. 研究の進め方
実用化研究にあたっては現在、名古屋工業大学岩田研究室で研究が進められている「脳神経回路を FPGA で実現した聴覚機能支援システム」を利用して進める。この装置はまだ研究段階であるが実用化を目指して取り組んでいる。須藤研究室ではこの研究をデザイン面で支援し実用に適した形態の研究、表示デザインの研究を岩田研究室と平行して行う。研究の具体的な進め方として以下の手順で進める。

3-1

研究 1

3-1-1

音を表現する研究

聴覚障害者にとって日常生活する上で必要な音の種類のヒアリング（参考文献ならびにヒアリング調査）

3-1-2

音の視覚化

3-1-3

プレ評価

3-1-4

プレ評価の結果を反映させフィールドテスト用評価機のデザイン開発

3-1-5

フィールドテスト

3-1-6

まとめ

3-2

研究 2

眼鏡型ウェアラブル形態の研究

3-2-1 研究 1 でデザインした音をコニカミノルタテクノロジーセンター株式会社（以下 KMT）で試作されたヘッドマウントディスプレイ（以下 HD）に表示しその課題を抽出する。
3-2-2 KTMで試作されたHDを用いスタイリングデザイン検討を行いその問題を抽出する。

− 98 −

3-1

研究 1

音を表現する研究3-1-1 聴覚障害者にとって必要な音の種類（参考文献・ヒアリング調査）
聴覚障害者に必要な音を特定するにあたり中途難聴女性 1 名（50 代、難聴の障害等級 2 級）にヒアリングを行った。この被験者は現在人工内耳をつけある程度聞こえるようになった（健常者であったが病気により聞こえなくなる。数年後、人工内耳を装着し人と会話できるレベルで生活している）。また０歳からの聴覚障害女性 1 名（50 代、難聴の障害等級 2 級）にヒアリングを行う。文献は 1999年 E&Cプロジェクト聴覚障害班「音見本」調査報告書による。
a) ヒアリング結果
このヒアリングでは聴覚障害者であっても障害の生じた時期および、その後の音に対する環境順応に大きな差があることがわかった。0 歳時からの聴覚障害者は複数の感覚器官を用いて音の種類同定や音源定位を行っている。それに対し人工内耳装着者は、健常者と同じ聴覚状態を基本とし、音の種類同定や音源定位を行うため、負荷が非常に大きいことがわかった。そこで、研究対象を中途難聴者（以下被験者）に絞り、再度音を表現する絵表記や言葉も交えたいくつかの表現案を作製しヒアリング調査を行うこととした。
b) 再ヒアリング結果
ヒアリングの結果、以下の音の必要性が分かった。室内では、電子音（Fax、時計、目覚まし、携帯、電話、電子レンジなどの電子製品の音）、換気扇の音であった。戸外では、他者からの呼びかけ、および緊急車両の接近音であった。音をどのように表現するかの表現は、絵文字表記が連想しやすい。文字も並記したらよりわかるのだろうけれどもそれで装置が大きくなるようであったら身につけるものは小さい方が良いしそれに自分が学習して使うものだからコンパクトになる方が好ましいとの意見であった。
現在利用している音の代換え器は、赤い回転燈であった。この赤い回転燈は、玄関のチャイムが鳴ったときに点灯させるなど、他の装置と連携させていることがわかった。
c) 仮説設定
中途難聴者とのヒアリングから、重要な音の代替表現方法として次の 1 から 4 までの要件を満たしている必要があると仮定した。
1 音を視覚化する方法として絵文字表現が良い。
2 直感的に分かる大きさであること（絵表示のみとする）。
3 装置は身に着けられるウェアラブルなスタイルが望ましい。
4 代替表現は、音源定位できること。特に戸外では後方からの音の定位が必須である。
そこで、これらの要件を満たす代替表現および代替表現装置の具体的なデザイン案を作成し、検証することとした。認識が必要な音を視覚化したデザイン案と、音源の定位を指示する複数のデザイン案を作成し、さらにそれらの各デザイン案を組み合わせて複数デザイン案を作成した。それらのデザイン案がどんな音を示唆しており、その音源の定位が正確にわかるかの評価テストと、アンケートによるデザインの分かりやすさと A, B, C 案の比較による優先順位付けによって、健常者による仮説検証を行うこととした。

− 99 −

3-1-2

音の視覚化a) 検証材料作成
被験者とのヒアリングならびに「音見本」調査報告書に基づき、家の中、家の外で必要な主要な音として、警告音、他者からの呼びかけ、車両等の接近（自転車）、チャイム音を取り上げこれを検証材料の音とした。表現としては色や温度振動や臭いなど五感で表現することが考えられるがここでは視覚からの情報を重視し、これらの音を示す方法として絵文字で表現することとした。さらに聞き手（被験者）を中心に、音はどの方向から発せられているのか示す、音源方向を示す絵文字デザイン案を 3 案作成し、A, B, C 案とした。これら A, B, C案と、呼びかけ、呼び鈴、警告音の 3 絵文字を併記し、各音がある方向から聞こえている状態を示す代替表現機器の表示部画面デザイン案を作成し、それぞれを A-1, 2, 3、B-1, 2, 3、 C1, 2, 3 とした。さらに ABC 案とは異なる、絵文字と文章を組み合わせた別案をデザインし、さらに、音源方向を示す絵文字も別案を作成した。これらを組み合わせた案を別案として作成し、これらを評価対象とした。図 1 は A, B, C 案、図 2 は液晶表示を想定した D 案を示す。
A-1

B-1

C-1

A-2

B-2

C-2

A-3

B-3

C-3

図1

図2

プレ評価用表記案 ABC

液晶表示を想定した別案 D− 100 −3-1-3 プレ評価a) 健常被験者
学部生、大学院生、大学講師をふくめた男女 15 名が参加した。
b) 手続
被験者 15 名を、5 名ずつの 3 グループに分け、各グループに ABC 案それぞれを割り当てた。
各グループの 5 名にたいし個別に、割り当てたデザイン案を提示し、音がなっていると思う方向に顔を向け、どんな種類の音か答えてもらうタスクを与えた。タスクの達成度を測ることで各案の理解度を評価した。理解度テスト終了後、アンケート用紙を渡し、タスクを実行したデザイン案の、分かりやすさと絵文字の大きさ、さらに画面の大きさと印象について、1 点から 5 点までを割り振った 5 段階評価を依頼した。最後に ABC 案すべてを提示し、最も分かりやすい案および最も親しみやすい案それぞれの順位付けと、その理由についてコメントの記入を依頼した。
これらの評価に要した時間は、一人平均 10 分であった。
c) 評価結果
タスク評価、アンケートの結果から、以下の点が明らかになった。
1. 音源方向を示す絵文字デザイン案では A、C 案の矢印より B 案の、音を波で表現した絵文
字の理解度、好感度がともに高いことが明らかになった。
2. 警報音の絵文字の認識しづらかった。
3. 自動車、自転車、などのアイコン表現は理解された。
4. 声をかけられた、は認識されにくかった。
5. 一つの絵文字表現よりあらかじめ判別できるように見えている方がわかりやすいと認識された。
6. 人の上部から見たアイコンが有ったほうが方向性のわかりやすさをサポートした。
以上を元に実働する評価実験機を作成し評価を行った。

下記写真 1、2 はこのプレ評価実験に用いたパーパーモデルである。

写真 1

プレ評価のテストテストピース A-1− 101 −

写真2

テストピース C-1

3-1-4

フィールドテスト用評価機のデザイン開発a) フィールドテスト用評価機の外観デザイン
視認性を考慮し白を基調とした外装カラーとした。アイコンは色弱、白内障等の視力障害を配慮しコントラスのある白黒で表現した。はじめから表示内容がわかることを目的にしたパネルデザインとした。ウェアラブルな受信機のベルトには防水性とファッション性を考慮した色を選択した。グラフィックの表示エリアについては丸形とし時計の外観形状に合わせた。

写真 4

写真３

写真5

写真 6− 102 −b) ウェアラブル形態の別案
中途難聴者の方とのヒア
リングのなかで「ネックレスのように使うタイプが炊事などしているときを考えると良いように思う」との意見もありネックレスタイプでも使えるような構成を考えた。

写真7

ネックレスタイプでの使用状態

c) 本体の表示デザイン（図 3）
視認性、判別性を考慮し表示パネルは白黒の強いコントラスで表現した。
音の方向を示す記号には評価点の高かった音を波で表現した案を用いた。自分のたっている位置は上面から見た人形の図案としそれを中心にどの方向から音が聞こえてくるかを示す方位を一番外側に配した。音の種類については自分のいる位置を示すエリア内に一般的な部屋をイメージするように四角いエリア内にまとめた。

d) 腕時計型受信機（図 4）
本体の表示のレイアウトは部屋の四角いイメージに合わせ四角を基本とした配置とした。
それに対し腕時計型受信機では身につける際のコンパクト性、装着性を考慮し丸い外観形状とし表示パネルに音を表示する記号を配置した。その際、本体との関連性がある程度同じように感じられるように配置順を合わせた。音のする方向の表記には本体ではプレ評 価で評価点が高かった波の記号を用いたが受信機ではよりすっきり見せるために点で方向を表記した。

図3

本体図案

図4− 103 −受信機図案e) 音を表す図・記号のデザイン案

アイコン 1 ：オーダーメイドの音を示す。
使用者の要望により登録した音を示す記号として用いる。

アイコン 2 ：オーダーメイドの音を示す。
使用者の要望により登録した音を示す記号として用いる。

アイコン 3 ：オーダーメイドの音を示す。
使用者の要望により登録した音を示す記号として用いる。

アイコン 4 ：電子音を表す。家の中にある電子メロディを発する音を表現する。目覚まし、タイマー、冷蔵庫扉開け放し警報音などの電子音。

アイコン 5 ：自分の位置を示す。どの方向から音が聞こえて来るかを示すため自分の向いているの方位を示す。

アイコン 6 ：玄関のチャイムやインターホーンを示す。

アイコン 7 ：パトカーの音を示す。

アイコン８：救急車の音を示す。

アイコン 9 ：人が声を発している様子を示す。誰か声をかけている、声を出して呼んでいるなどを示す。

− 104 −

3-1-5 フィールドテスト
評価用実験機の機能調整遅れのため今回のフィールドテストは模擬的なプログラムを施した評価機での印象評価を行った。被験者は合計 20 名（男性 13 名、女性 7 名）。障害レベルは 2 級〜 3 級。年齢は 18 歳から 50 歳代まで。印象評価は使用方法を事前に説明しその後実機に触ってもらい模擬的にプログラムされた評価機に触れその後評価シートに記載。愛知県難聴者協会の協力を得て実施、場所は蒲郡勤労福祉会館。
また、これに先立ち 5 月 17日に大阪で 50 歳代女性 2 名に印象評価を実施（難聴レベル2 級 1 名、人工内耳装着者 1 名）。
a) 評価結果
全体としていくつかの改良は必要であるもののニーズに応えることが出来る可能性があるとの評価を得た。このシステムは役に立つ 6 名、改良して役に立つ 16 名。役に立たない 0。
音を表現する方法として絵文字表現、腕時計型の受信機、視認性など学習後イメージを連想させるアイコンになっているとの評価を得た。カスタマイズする考え方はニーズの高さがわかった。
b) 絵文字について音の表現については学習した上での質問には連想しやすいと答えた被験者は 13 名。カスタ
マイズ音用の ABC と人の立っている絵表記についてはわかりにくいとの結果が得られた。今回の評価では絵文字表現で学習無しに理解できるもの、学習すればイメージできるもの、イメージを連想できないもの、の 3 タイプにわけて考えることが出来た。絵文字の大きさについてはこれ以上小さくなければ良いとの評価であった。
d) 受信機についてこの受信機は役に立つか、との質問に 8 名が役に立つ、改良すれば役に立つ（大きさ）9 名。
どちらとも言えない 5 名の結果が得られた。改良点は特に厚みが大きすぎるとの意見があった。音を知らせる方法として振動して知らせる方法は有効であった。受信機は家の中ではウェアラブル端末として役立つことがわかった。音のする方向については光で表現するのは効果的であった。表示の大きさはもっと大きく、との意見があった。
e) 本体について大きさは家の中での使用なので今回の評価機はコンパクトであるとの評価であった。ただしこれを外に持ち歩くとなるともっと小さくならないかとの要望があった。18 歳の女性からは外に持ち出すときは持って歩くのが邪魔にならないようにコンパクト性が重要との意見があった。受信機サイズになると良いのだがとの意見は多かった。
f) 使用可能時間について使用可能時間は長ければ長い方が良く 8 時間程度は必要との意見があった。
g) その他（要望）被験者からは屋内でだけでなく早く屋外でも活用できるようにならないのか？これはいつ出来るのか？また話し言葉も見えるようになれば言うことがないなど本試作機への更なる希望が出された。音を通した今回の研究が難聴障害を抱える方々の生活の質向上につながることを確信した。

− 105 −

3-2

研究 2

眼鏡型ウェアラブル形態の研究

3-2-1 研究 1 でデザインした音の表現をコニカミノルタテクノロジーセンター株式会社（以下KMT）で試作されたヘッドマウントディスプレイ（以下 HD）に表示しその問題点の抽出

写真8

写真 9

写真 8 は、KMT が試作開発した眼鏡のように頭部に装着して用いるヘッドマウントディスプレイ（HMD ： Head Mounted Display）の画像表示して見える様子を表現したイメージ図。近い将来に一般化するであろうモバイル−ユビキタスにおけるパーソナルディスプレイとしての利用が期待されている。
写真9 は本研究者が試作機を装着してデザイン検討を進めている様子。
写真 10、11、12 は PC で作成した音の画面デザインを HD に無線送信し画面デザインの問題点を抽出している評価実験の様子。

写真10

写真 11− 106 −写真 12a) ヘッドマウントディスプレイを用いた画面デザイン評価
眼鏡型画像入出力を備えたヘッドマウントディスプレイ（以下 HD）を用い PC 画面上で作成した音を表現するアイコン表示画面を HD に表示させ HD で表現する場合の課題抽出を目的に評価を行う。
b) 課題・視認性 1（背景）評価に用いた HD はコニカミノルタテクノロジーセンター株式会社で開発した試作機を用いた。この HD は眼鏡レンズの前方にホログラムで仮想画面が表示される。この HD はシスルーで画面が見える利点があり装着したまま動くことが出来る。反面今回の評価でわかったことは背景が明るいところでは背景を暗くしないと音を表現する画面の文字記号などは可読が難しいこと。この対策としてサングラスのようなダークカラーのレンズを通し見ることで背景の明るさを落とし背景に左右されにくい状態を作ることが必要であり合わせて面画で表示する絵文字の背景は黒にしておくことでより鮮明に判読できることがわかった。
・視認性 2（文字の大きさ）
ディスプレイの性能によるが今回用いた実験機では絵文字、文字ともに可読出来ることが解ったので最小のおおきさを今後設定する。
・音のする方向性
HD では腕時計型で地面と表示面が平行なので方向を示す表示に違和感はなかったが HD では表示面が垂直方向に表示されるので前方が上、後方がしたとなり、やや違和感を感じる。
前後を表現する工夫が必要であることが解った。

右下写真 13 は HD に映し出されている音を表現する画面が風景の中で見えているイメージを表現しているイメージ写真画像

写真 13− 107 −3-2-2 KTM で試作された HD を用いスタイリングデザイン検討を行い今後のウェアラブルデザ
インの問題点の抽出a) オーソドックス案（図 5、6、7）
眼鏡として一般的なスタイル。レンズの下側をレンズのみとし軽快なイメージのスタイリングに取り込む案。レンズの半分をグレーなサングラス処理し画面表示の視認性を高める。
普段使いで日常的に使える表現を取り入れる。
b) モダンスタイル案（図 8、9、10）
モダンで軽快なイメージのスタイリング案。レンズの半分をグレーなサングラス処理し画面表示の視認性を高める。全てグレーにしてよりこんトラスを高める案もあるが屋内でも日常的に使える表現を取り入れる。

CGによる男性、女性へのマッチング性のデザイン検討

図5

図6

図7

図8

図9

図 10− 108 −c) モックアップモデル
CG レンダリングのデザイン検討を経て HD のモックアップモデルを製作した。本研究では高齢者でもよりファッショナブルな人生を送ってほしいとの思いもありあえてモダンスタイルをモックアップモデル化した。
写真14、15、16はシルバー、写真 17 はパールワインレッドなフレームカラー。

写真 14

写真15

写真 16

写真 17− 109 −d) 眼鏡型ウェアラブル形態の研究まとめ
HD をベースとしたのデザイン案に対し行ったヒアリング調査ではサングラスのモダンタイプと見えるので装着することに多少の抵抗はあるもののその持つ機能性と相まって実用化の期待をされた。
今後、今回制作したモックアップモデルを装着感やスタイル検証を行う素材として活用する。

まとめ
研究 1 の「音の可視化」研究ではフィールドテスト印象評価の結果、音の表現については学習することで絵文字が音をイメージさせることが出来ることがわかった。腕時計型の受信機も大きさ（特に厚み）に課題はあるものの音を知らせるウェアラブル端末として被験者に期待された。今後
当初計画していた実生活でのフィールドテストをかさね難聴者の方々の生活に役立つものに改良を重ね実用化につなげたい。
研究 2 の眼鏡型ウェアラブル形態の研究については今回の助成により今後の研究の素材になるモックアップモデルまで製作にこぎつけさらに画面デザインを行う上での課題が抽出できた。

今後の展開
本研究では名古屋工業大学の岩田研究室が研究開発を進めている装置を用い「音を可視化」する最適な方法を研究して来た。その結果、今回行ったフィールドテストで実用検証できる段階まで進めることが出来た。被験者からは受信機タイプの腕時計型受信機の大きさに対し改良の要望が出たがこれは乗り越えられない課題ではない。この研究が近いうちに中途難聴なってしまった方々の新しい耳になりえる可能性が見えて来た。今後の改良を重ね実現を目指してゆきたい。
また、眼鏡型の HD については今後の研究のベースとなるモックアップモデルが出来たことで本研究に弾みがついた。本研究に協力していただきました岩田彰教授、岩田研究室の皆さんには深く感謝いたします。

本研究協力者：
Ui デザイン研究所

酒井正明

ケーアンドケーデザインルーム
造デザインアソシエイツ
愛知県聴覚障害者協会

森崎清光

江藤太郎
事務局長

園田大昭

難聴者協会の皆さん
名古屋工業大学

岩田研究室ゼミ生の皆さん

評価機作成アドバイザー
須藤デザイン研究室

東條宏子

川上将弘

三ツ矢裕貴

金子裕子

参考文献
「音見本」
伊福部

E＆C

達著

プロジェクト聴覚障害班

音の福祉工学

日本音響学会− 110 −