危険音の可視化システムによる聴覚障害学生の支援
新井 浩 1), 井戸 健敬 1), 下村 有子 2), 川邊 弘之 2), 瀬戸 就一 1)
1) 金城大学短期大学部 2) 金城大学
arahiro@kinjo.ac.jp

Support of hearing impaired students using a visualization system of dangerous
soundsHiroshi Arai 1), Takehiro Ido 1), Yuko shimomura 2), Hiroyuki Kawabe 2), Syuichi Seto 1)
1) Kinjo college 2) Kinjo Univ.
概要
聴覚障害学生は見た目からその困難さが判断しづらいため、学生生活において十分なサポートを受けられていないことが多い。本研究の目的は、聴覚障害学生が必要とする環境音を可視化することで、学生生活をサポートすることである。特に注意喚起音や非日常音といった危険音を検知する「危険音可視化システム」を開発する。本システムでは、8 チャンネルのマイクアレイを用いる。環境音から波形データ及び音声特性データを抽出し、音量・音質・音源の方向を「臨場感フォント」を使い直感的に伝達する。今回はその第一段階となる危険音検出システムの構築を試みる。

1

はじめに言えない状況である。
我々はこれまで、音声認識エンジン「Julius」

聴覚障害とは、音が聞こえにくい、または聞を活用し、話し手の熱意や教室のざわめきなどこえない状態のことである。「ほとんど聞き取を視覚化するシステムに取り組んできたれない」「音量が小さくて聞き取りづらい」「音[2][3][4]。本研究では、聴覚障害学生が必要とす質が歪んだようになり、音は聞き取れても内容る音情報に感覚的な要素を付加し、環境音の可が聞き分けにくい」など、聴覚障害にも人によ視化に取り組む。中でも、聴覚障害者には気付って大きな違いがある。また、聴覚障害は見たくことが難しいとされる視野外の危険音に意識目からその困難さが判断しづらいため、周囲のが向く危険音可視化システムを開発する。本報

理解を得ることが難しく、彼らの抱えている問告では、前述の研究内容の予備実験として、8題を周囲の人達は理解しにくい。

方向にマイクを持つマイクアレイを用いて環境聴覚障害者は大きく分けて 2 つの困難を抱えている。一つ目は必要としている情報が十分に音を取得するシステムを構築したので報告する。

得られないこと、もう一つは誤解や認識不足などのコミュニケーションに関するストレスである。平成 18 年度の調査で分かっている日本の2環境音と危険音

聴覚障害者数は 34 万 3000 人であり(1)、およそ日常生活の中にある、音声以外の動物や虫の1000 人に 3 人が聴覚障害者である。しかし、こ鳴き声、機械の駆動音、雨や風といった自然音の数字には老人性難聴や、自身で自覚がなく手等、これら我々の生活をとりまく音を環境音と帳を取得していない人は含まれておらず、実際いう。一般的に我々が日常生活の中で得る情報にはもっと多くの人が聴覚障害に悩まされていは、約 7 割は視覚、約 2 割は聴覚から得ると言る可能性が高い[1]。周囲の細やかな気づきがわれている。しかし音情報は全方位から取得す十分とは言えず、いまだ十分な支援があるとはることができる点で視覚よりも優位であり、加えて発生源からの距離や方向を感覚的に知るこ

4 環境音検出システムとができる点は、注意や危険を察知する際にと4.1 マイクアレイによる音データ取得環境のても重要である[5][6]。

構築

本研究で扱う危険音は、誰かが危険であるこ

環境音検出システムの基礎実験としてマイクとを意識的に知らせる「注意喚起音」と、異常アレイを利用した録音システムを構築した。音な状態の兆しとして発生した「非日常音」の 2の入力には、発生源の方向情報を含めて収集すつに分けて考えることとする。注意喚起音はおるために、水平方向 8 箇所にマイクが配置されよそ音源を想定できそうであるが、非日常音にたマイクアレイを用意した。このマイクアレイついては抽出条件の設定が必要である。

は水平 8 方向にマイクが装着されており、方向性のある 8 チャンネルの音情報が得られる。

3 システムの概要

音 デ ー タ の 取 得 に は HAWK を 用 い た 。
HARK は、音源定位や音源分離、音声認識を

本研究は次の 3 つのサブプロジェクトで構成される。（1）危険音検出システムの構築（2）
危険音データベースの構築と環境音の特性分析システムの構築（3）臨場感フォントインターフ
ェースの構築。
（1）では、マイクを通して入力された環境音から音源の方向と音量を検出して示す。8 つの可能とするソフトウェアで Windows と Linuxで動作する。HARK の設定はブラウザで行い、デバイスのチャンネル数やサンプリング周波数、録音フレーム数などを設定する。取得できるデータは 8 つの WAVE ファイルとなっており、一つひとつのファイルはメディアプレーヤー等で再生が可能である。（図２）

マイクから得た音データの到達時間差を利用し音源定位を行う。（2）では実際に学生生活を想定したサンプル音からデータベースを構築し、注意喚起音及び非日常音の特性分析を行う。（3）では表示には音量や音質を反映した、「臨場感フォント」用いる。これは書体や吹き出し、マンガ的記号を組み合わせた表示方法で利用者に直感的な理解を促す。これらの内容を、HMD（Head Mounted Display）などのウェラブル機器を通して表示し、注意を喚起する。（図 1）

図 2 HARK の設定画面とマイクアレイ

4.2 音データ取得実験の様子

前項のシステムを利用して、「注意喚起音」と「非日常音」の取り込み基礎実験を行った。今回は音の反響が少ない屋外で、検知しやすい大図 1 臨場感フォントインターフェースのイメージ

きく高い音で実験した。注意喚起音は自動車の警笛（2 回）、非日常音は空き缶とスコップを高さ 70cm から落下させた。（図 3、図 4）音源からの距離は表 1 の通りとした。

図 5-a 1.4sec 付近の波形データ
図 3 注意喚起音実験のイメージ

図 4 非日常音実験のイメージ
図 5-b 1.4sec のマイクの音量レベル

表 1 マイクと音源の距離
注意喚起音

2m8m

16m32m

非日常音

1m5m

10m

20m

4.3 実 験 結 果 と 考 察

図 5-a は 1.4 秒付近を拡大したでズームした注意喚起音の音データである。これらの 8 本の線は、8 本のマイクロホンによって得られる音波の波形を示し、大きく 2 つのパターンに分け

図 6-a 3.3sec 付近の波形データることができる。 sep_1、sep_0、sep_7、およびsep_6 は図の中央付近で振幅が大きくなる。
マイクロフォンアレイの位置関係を図 5-b に示す。 この図は 1.4 秒での騒音レベルのレーダーチャートです。 音源は図の上方 sep_0 であるが、音源の方向は sep_7 あたりとなっている。
これは実験時の風の影響が考えられる。
図 6-a は、約 3.3 秒で拡大した非日常音である。
図 5-a と同様に、sep_1、sep_0、sep_7 は太線で表示されている。この図から、各線は他の線と同一であることがわかる。しかしながら、音源の方向は、図 6-b のように音源の方向を充分に

図 6-b 3.3sec 付近の音量レベル検出することは困難であった。録音機を設置した車の内部での音の反響等が考えられ、実験環境の調整が必要である。

謝辞
本研究の一部は、平成 29 年度文部科学省科学研究費補助金（基盤研究 C:17K01102）の支援を受けた。

4.4 音 声 デ ー タ の 視 覚 化

ユーザに「警告音」や「異常音」を伝えるために音声データを視覚化した。図 7 は、図 5 に示す実験データの視覚化画像である。画像は、グレースケールで着色された 8 つの部分に分割される。 グレースケールは音を検出した時間を示しており、白は早い時期、黒は遅い時期を意味する。音の到達時間の早い方向（グレースケールの明るい方向）が音源の方向を示しているので、図 7 では上側が音源であることを示している。

図7

実験データの視覚化画像

5 まとめ
聴覚障害学生のための危険音可視化システムを提案し、その概要と現在までの開発状況について示した。本研究ではマイクアレイを使って 8 チ
ャンネルのサウンドデータを得ることができ、これらの音データの解析により音源定位を行うことができた。今後実験を重ねる際には、反響や雑音の影響が少なくなるよう録音環境の見直しが必要である。
今後は、危険音データベースの構築と環境音特性分析システムの構築、臨場感フォントインターフェースの構築と開発をすすめる予定である。

参考文献[1] 厚生労働省、平成 18 年身体障害児・者実態調査結果、（平成 18 年 7 月 1 日調査）、2006[2] Seto, S., Arai, H., Sugimori, K., Shimomura, Y.
and Kawabe, H., Subtitle system visualizing
non-verbal expressions in voice for hearing
impaired --- Ambient Font ---, Proceeding of the10th Asia-Pacific Industrial Engineering andManagement Systems Conference 2010 (2010)[3] Seto, S., Arai, H., Sugimori, K., Shimomura, Y.
and Kawabe, H., Visualization of Non-verbal
Expressions in Voice by using Manga techniqueAmbient Font for Hearing Impaired Student -,11th European Conference for the Advancementof Assistive Technology (2011)[4] 王 方舟, 柏野 邦夫, 永野 秀尚, 五十嵐 建夫、擬音語アニメーションによる動画音響の可 視 化 手 法 、 P165-166 、 Workshop on
Interactive Systems and Software 論文集、2013.
[5] 河本満, 浅野太, and 車谷浩一、「マイクロフォンアレイを用いた音環境の見守りによる非日常音と危険状態の検出システム」、P19-2、情報処理学会研究報告ユビキタスコンピュー
ティングシステム、2008.
[6] 林田亘平, et al. 「マルチステージ環境音識別法を用いた危険音の検出」、P1-6、研究報
告音声言語情報処理、2013.