マンガ表現を用いた環境音の可視化による聴覚障害学生支援
新井 浩 1), 井戸 健敬 1), 下村 有子 2), 川邊 弘之 2), 瀬戸 就一 1)
1) 金城大学短期大学部 2) 金城大学
arahiro@kinjo.ac.jp

Support for hearing impaired students by a visualization system ofenvironmental sounds using manga techniques
Hiroshi Arai 1), Takehiro Ido 1), Yuko shimomura 2), Hiroyuki Kawabe 2), Syuichi Seto 1)
1) Kinjo college 2) Kinjo University.
概要

聴覚障害者は 2 種類の困難がある。一つ目の問題は、視野外にある必要な情報を十分に取得できないことである。視覚に比べ聴覚は日常的には得られる情報量が少なく、周囲の情報収集に役立っていると意識する機会は多くない。けれども、後方や壁の向こうなど、視野外の情報を得ることができる点はとても重要である。もう 1 つの問題は、その困難さが外見から認識できないため、周囲の無理解や誤解が起きやすいことである。2006 年の調査では、日本には 343,000 人の難聴者がいると報告されており、1000 人中 3 人が聴覚障害者であることを示している。決して少ない人数ではないが、障害への認識不足などからそのサポートが十分とは言えないのが現状である。
我々の目的は、環境音を視覚化することによって、聴覚障害学生を支援することである。特に、我々は危険に関する環境音に特化して取り扱う。聴覚障害学生が通学等で出会うであろう、交通に関する危険音等を収集し、視覚的に通知するシステムの開発を行う。
このシステムは、8 チャンネルのマイクアレイを使用して音を収集しロボット聴覚ソフトウェア「HARK」を使って音源の方向と距離を認識させる。またその通知には、我々が以前の研究で開発した「臨場感フォント」を使用する。臨場感フォントはマンガの手法を用いた音の表現方法である。今回は、この危険音の視覚化システムとインターフェースの表示方法についての提案を行う。

1

2011 年に起きた東日本大震災は死者 15000

はじめに人以上という甚大な被害をもたらしたが、中で近年，日本の大学や短期大学，高等専門学校も障害者の死亡率は、一般の人々のおよそ 2 倍などの高等教育機関では、聴覚障害をもつ学生であったことが分かっている。聴覚障害者はそが増加傾向にあり、サポートの必要性が高まっの障害の困難さが、外見からだけでは分かりにている[1]。聴覚障害学生の校生活における一くいため誤解を招くことも多く、そのために周般的なサポートとして、支援学生などによるノりの人間と距離をとり孤立するケースがみられートテイク、自動翻訳を活用した PC ノートテる。日常生活ではそれほど援助を必要としない

イク、教員の使用するマイクの音を FM 電波を障害であっても、災害や緊急事態これらの不利使って補聴器等に直接送る補聴援助システムな益に目を向ける必要があり、危険を知らせるこどがあげられる。聴覚障害には、全く聞こえなとは重要である。

い者から、ある程度聞こえる者まで、症状は多本研究では、聴覚障害学生が必要とする音情様であり、必要とされるサポートもまた千差万報に感覚的な要素を付加し、環境音を可視化で別である[2][3]。

きるシステムの構築に取り組む。このシステム

438439の特徴は、聴覚障害者には気付くことが難しい日常音」である。注意喚起音は人工的に発生さとされる視野外の危険音に対して注意を促すこせる音であるため、およそ音源の種類を想定でとである。本報告では、これまで行ってきた音きる。例えば車のクラクションやスマートフォ源の方向・音源までの距離をしめすプレシステンのアラーム、救急車のサイレンなどである。

ムの開発経過と、それらを感覚的に理解できる

一方、非日常音は、落下音や衝突音などを指インターフェースの提案を行う。

す。これらは日常的に発生する音の大きさや音2

質を逸脱した音、など抽出条件の設定が必要でシステムの概要ある。

本研究は次男 3 つのサブプロジェクトで構成
3.1 マイクアレイによる音データ取得環境の構築される。
（1）危険音検出システムの構築

環境音検出システムの基礎実験としてマイク（2）危険音データベースの構築と環境音の特アレイを利用した録音システムを構築した。音性分析システムの構築の取得には、発生源の方向情報を含めて収集す（3）臨場感フォントインターフェースの構築るために、水平方向 8 箇所にマイクが配置され（1）では、マイクを通して入力された環境音たマイクアレイを用意した。これにより、方向から音源の方向と音量を検出して示す。また、性のある 8 チャンネルの音情報が得られる。音8 つのマイクから得た音データの到達時間差をデータの取得ソフトには HARK を用いた。

利用し音源定位を行う。音の解析にはロボット

HARK は、音源定位や音源分離、音声認識を聴覚ソフトウェア HARK を活用した[4]。

可能とするソフトウェアで Windows と Linux（2）では実際に学生生活を想定したサンプルで動作する。HARK の web 設定はブラウザを音からデータベースを構築し、注意喚起音及び介して行い、デバイスのチャンネル数やサンプ非日常音の特性分析を行う。（3）では結果のリング周波数、録音フレーム数などを設定す表示に、音量や音質を反映した「臨場感フォンる。取得できるデータは 8 つの WAVE ファイ

ト」を使う。これはこれまで我々が提案してきルとなっており、一つひとつのファイルはメデた、書体や吹き出しなどマンガ的記号と文字をィアプレーヤー等で再生が可能である。（図組み合わせた表示方法で、利用者に直感的な理

1）解を促す手法である[5][6]。これらの内容を、HMD（Head Mounted Display）などのウェアラブル機器を用いて表示し注意を喚起する。
3 システムの概要
日常生活の中にある音声以外の音を、一般的に環境音という。例えば、動物の鳴き声や機会の駆動音、雨や風などの自然音などである。本
研究で扱う危険音とは、当事者がその音を聞くことで危険を察知することができる環境音を指す。また、本研究では危険音を 2 つに分けて考える。１つ目は誰かが危険であることを第三者へ意識的に知らせる「注意喚起音」である。2つ目は、異常な状態の兆しとして発生した「非439440

図 1 マイクアレイと HARK の設定画面

3.2 音データ取得実験の様子
前項のシステムを利用して、「注意喚起音」と「非日常音」の取り込み基礎実験を行った。今回
は音の反響が少ない屋外で、検知しやすい大きく高い音で実験を行った。注意喚起音は自動車の警笛（2 回）、非日常音は空き缶とスコップを高さ1.5m から落下させた。（図 2、図 3）音源からの距離は表 1 の通りとした。
図 4-a 注意喚起音の波形データ

1 回目の警笛の 1.4 秒付近を拡大したものを
図 4-b に示す。8 つマイクの波形を重ねて表示したものであるが、図の中心付近で大きな振幅を持つマイクと小さめの振幅のマイクがあることがわかる。大きな振幅を持っているのはsep_6、sep_7、sep_0 である。図 4-c は 8 つの図 2 注意喚起音実験の様子

マイクが検知した音を比較するために作成したレーダーチャートであり、1.4 秒時点の検知レベルの分布を表している。音源は sep_0 の前方（上方）にあるが、sep_7 付近が音を感知した中心となっているように見える。この原因として実験当日の風の影響が推察されるが、今後同様の実験を重ねることで検証が必要である。

図 3 非日常音実験の様子

192176

表 1 マイクと音源の距離

2m8m16m 32m

非日常音

1m5m10m 20m

144Level

注意喚起音

160128112968064

3.3 実権結果と考察取得した注意喚起音の波形データを図 4-a にTime

図 4-b 1.4sec 付近の音量レベル示す。横軸が時間を表しており、点線の目盛線sep_0が 1 秒を表している。図は 3 秒間に 2 回の警sep_7

sep_1

笛を鳴らした場合の結果で、波形となって現れているところが警笛を感知した結果である。同
sep_2

図のキャプションにある「sep_0」は、8 つあ

sep_6

るマイクの位置を表しており、sep_0 は音源から正面となる場所にあるマイクである。本実験で使用したマイクアレイは 8ch なので、sep_0sep_3

sep_5sep_4から sep_7 まで同様のデータが 8 つ取得でき
図 4-c 1.4sec の音量検知レベルの分布る。

440441

今回は表 1 に示す条件で実験を行ったが、音源から遠ざかるに従って波形の変動が小さくなり、グラフにしたときの差異が分かりづらかった。今後、波形の時間推移も含めた解析が必要だと考えられる。また、今回の非日常音の実験
では、ハッチバック車のラゲッジスペースにマイクを設置したため、車内での反射音の影響も無視できないと考えられる。
図 5-a 非日常音の波形データ

今回の実験では、アレイマイクで正常に 8ch の音声が取得できるかということに重点を置いた

次に非日常音の実験結果を図 5-a に示す。時間ため、実験環境等の考慮に欠けていたことが厳方向の目盛り間隔は図 4-a と同様で、点線が 1

密なデータ取得ができていない原因だと考えら秒を表している。3.3 秒付近と 6.4 秒付近に大れる。

きな波が見られ、それぞれ 3.3 秒付近が空き缶を落とす音、6.4 秒付近がスコップを落とす音

3.4 音声データの視覚化である。空き缶を落とした 3.3 秒付近の拡大図

ユーザに「警告音」や「異常音」を伝えるたが図 5-b である。注意喚起音の場合とは異なめに音声データを視覚化した。図 6 は、図 4 にり、8 つのマイクで取得した音が同様の傾向の示す実験データの視覚化画像であり、グレース傾向を示している。しかし、図 5-c に示す 3.3ケールで着色された 8 つの部分に分割される。

秒付近のレーダーチャートでは、音源方向のグレースケールは音を検出した時間を示しておsep_0 や sep_1 が他より強く感知していることり、白は早い時期、黒は遅い時期を意味する。

がわかる。

音の到達時間の早い方向（グレースケールの明るい方向）が音源の方向を示しているので、図192
176

6 では上側が音源であることを示している。

160
Level

144128112968064Time

図 5-b 3.3sec 付近の音量レベル

Sep_0
Sep_7

Sep_1

図 6 実験データの視覚化画像

4
Sep_2

Sep_6

臨場感フォントを用いたインターフ
ェースの提案

4.1 日本語におけるオノマトペ

日本語は、他の言語と比べオノマトペの種類

Sep_5

Sep_3が多いと言われている。オノマトペの厳密な区

Sep_4

分は難しいが、音や声を直接表す「擬音語」と

図 5-c 3.3sec の音量検知レベルの分布

441442

ものや人の様子を表す「擬態語」に分けて考え

ここでは②高さと③音色を音質といて複合的ることが多い。大坪(1989)は、意味に基づいに取り扱う。②第２の音の高さは、周波数に対て、視覚・聴覚・触覚などの感覚的なものに心応する感覚である。一方、大きさ、高さについ理的な表現などを加え７つに分類している。こては物理的性質に主として対応しているのに対れを参考に、聴覚のオノマトペを選定する。日して、③音色の方は対応する物理的な性質が、本語は英語と比べ動詞の種類は少ない。そのこまだはっきりとはわかっておらず、共通認識さまかな違いをオノマトペを使い表現している。

れたオノマトペが使用されている[8]。

例えば雨が降る音でも、ざーざー、パラパラ、今回は落下する缶と車の警笛に対して、周波しとしと、ごうごう、など言葉によってその雨数を目安に６つのオノマトペを選んだ（表3）固や風の強さの違いを表現している[7]。

い、柔らかいといった音質の違いは、オノマトペの語感と書体によって表現する。オノマトペ
は教師データとタグ付けを行いデータベース化

4.2 音量と音質の表現

プレシステムで得た方向と音量のデータを基する。に、臨場感フォントを用いた直感的なインターフェースを提案する。従来の臨場感フォントは、 4.3 音源の方向の表現
これらの情報をHMDに表示し、聴覚障害者の注音の大きさや高さに加え、感情や周囲の雰囲気を追加した。今回は音量と固い、柔らかいとい意を促す。図の通り、上下を２分割、左右を４った音質を追加する。またこれらの表示方法は分割し表示基準とする。中心視野である前方はHMD を使って表示する。

画面上部に表示する。周辺視野は中央部、視野

音の感覚は、①大きさ（loudness）②高さ

外は画面下部に表示する。音源の発生方向はス（pitch）、③音色（ねいろ）の３要素（属性）

ピーチバルーンの突起で表す。図は実験で得たに分類されるといわれている。①音の大きさは値を臨場感フォントを用いて表示した例である。

吹き出しの大きさと形状で表現する。（表2）一

現在はunityを使って開発しており、方向、音量、定レベルの音量までは、基本系の大小で表示し、 音質の3つの要素からなる入力に対応して、図のそれ以上の音量は吹き出しの形状を変化させる。 ような出力を返す。
日常的な騒音レベルといわれる70db程度を中央値として5段階設定する。
表 2 音の大きさと吹き出し形状の対応

表 3 音の高さを目安に選んだ 6 つのオノマトペ
図 7 臨場感フォントで表示した例

5 まとめ
聴覚障害学生のための危険音可視化システ
ムを提案し、その概要と現在までの開発状況に

442
443

ついて示した。また、今回は臨場感フォントを使ったインターフェースの提案を行った。本研
究ではマイクアレイを使って 8 チャンネルの音情報を得ることができ、これらを解析にすることにより音源定位を行うことができた。今後実験を重ねる際には、反響や雑音の影響が少なくなるよう録音環境の見直しが必要である。また音の入力に対し、感覚的な違和感が少なくなるよう微調整をする必要がある。
今後は、危険音データベースの充実と開発をすすめる。オノマトペと危険音の関連付けを増やし、検証を行う。

謝辞
本研究の一部は、平成 29 年度文部科学省科学研
究費補助金（基盤研究 C:17K01102）の支援を受けた。

参考文献[1] 小林 優子、永井 美帆、田原 敬: “大学における聴覚障害学生への情報保障に関する課
題”、上越教育大学研究紀要、Vol.36(2)、pp.425-431 (2017)[2] 浦部 奈津美、岩田 吉生“日本の高等教育機関における聴覚障害学生の 受け入れ状況の現状と課題”、障害者教育・福祉学研究、vol.7、pp.17-24 (2011)[3] 高橋 万由美、小林 美穂: “高等教育機関における聴覚障害学生への支援”、宇都宮大学
教育学部教育実践総合センター紀要 no.28
pp.305-317 (2005)[4] 奥乃 博、中臺 一博、“ロボット聴覚オープ
ンソースソフトウエア HARK の展開”、日本ロボット学会誌、vol.28(1)、pp.6-9 (2010)[5] Syuichi Seto, Hiroshi Arai, Kamikaze Sugimori,Yuko Shimomura and Hiroyuki Kawabe, “Subtitlesystem visualizing non-verbal expressions in voicefor hearing impaired - Ambient Font –,”Proceeding of the 10th Asia-Pacific Industrial
Engineering and Management Systems (2010)[6] Syuichi Seto, Hiroshi Arai, Kamikaze Sugimori,Yuko Shimomura and Hiroyuki Kawabe,“Visualization of Non-verbal Expressions in Voiceby using Manga technique- Ambient Font for
Hearing Impaired Student -,” 11th European
Conference for the Advancement of Assistive
Technology (2011)[7] 田守 育啓: “日本語オノマトペ-多様な音と様態の表現-”、日本音響学会誌、vol.54(3)、pp.215-222 (1998)[8] 岩宮 眞一郎: “音質評価指標-入門とその応443444

用-”、日本音響学会誌、vol.66(12)、pp.603609 (2010)