DEIM Forum 2016 P6-5

深層学習を用いた警告音認識による危険信号通知システムの検討
白石 優旗†† 筑波技術大学産業技術学部 〒 305–8520 茨城県つくば市天久保 4 丁目 3–15
E-mail: †yuhkis@a.tsukuba-tech.ac.jp
あらまし

本研究は，環境音の中から緊急の回避や避難を必要とする警告音を識別し，聴覚障害者や聴力の低下した高齢者等に危険信号を確実に通知するシステムの開発を目的とする．識別対象には，日常生活における安全性の観点から，救急車のサイレンや，歩行者や自転車の交通事故防止のためのクラクションやベル等を選定する．識別には深層学習を採用し，ノイジーな環境音の中においても，対象物の移動や音響環境の変化による音質変化にロバストな高精度の識別を目指す．通知にはウェアラブル端末への振動とスマートフォンへの画面表示を連動させて行うことで，確実かつ適切に情報伝達を行うことを目標とする．本稿では，提案システムについて述べるとともに，予備実験によりその実現可能性を示す．
キーワード

情報保障，警告音認識，深層学習1. は じ め に
難聴高齢者を含む聴覚障害者が社会に進出し，安全・安心かつ質の高い生活（QOL）を送るためには，様々な環境音の中でも特に安全・安心な生活に直結する警告音（クラクション，救急車等）を確実に認識可能なことが強く求められる．そのため，環境音の中から特定の警告音を識別し，ユーザに伝達するシステムが強く必要とされている．

図 1 提案システム

本研究では，識別対象には，日常生活における安全性の観点から，救急車のサイレン，並びに，歩行者や自転車の交通事故防止のためのクラクションやベルを選定する．
一方で，深層学習と呼ばれる，認識したい実際の警告音データをコンピュータに提示することで自動的に学習し識別可能とする手法が様々な分野に適用され，大幅に識別性能を向上し，近年特に注目されている．なお，深層学習には，従来からある階層型ニューラルネットワークを多段に拡張したものが使用されている．
本研究では，識別手法に深層学習を採用することで，ノイジーな環境音の中においても，対象物の移動や音響環境の変化による音質変化にロバストな高精度の識別を目指す（図 1）．また，識別結果のユーザへの通知は，ウェアラブル端末への振動とスマートフォンへの画面表示を連動させて行うことで，確実かつ適切に情報伝達を行うことを目標とする．その際，スマートフォンやウェアラブル端末を活用することで日常的に利用可能なシステム構想としている．
本稿では，2. 節で関連研究について述べ，3. 節で今回新たに提案するシステムの概要について説明し，5. 節で予備実験を行うことでその実現可能性を示し，6. 節でまとめる．

2. 関 連 研 究
中西らは，環境音からその場の状況を判断し，それに応じて適切な情報を利用者に提示するモバイルアプ リケーションの開発を行っている [1]．識別手法には，GMM（混合正規分布モデル）を音響モデルとする音声認識器 Julius を用い，MFCC（メル周波数ケプストラム係数），∆ MFCC，∆ Power を特徴量としている．
竹内らは，警告音を検知して使用者に知らせる歩行者向けのシステムを提案しており，識別手法には IIR 型バンドパスフィルタと IIR 型くし形フィルタ組み合わせた閾値処理を用いている [2]．
松葉らは，聴覚補助支援システムの開発のため，LVQ により学習されたニューラルネットワークを用いて音源種の識別を行っている [3]．また，岩佐らは，パルスニューロンモデルによる識別も行っている [4] ．
しかしながら，1) 既存の研究では雑音環境下での識別精度が90%程度以下と不十分である．また，2) 警告音を発する対象物の移動や周辺環境の変化による警告音の変化への対応が困難といった課題が残されている．本研究では，識別手法にディープラーニングを活用することでこれらの課題の解決を試みる．
一方で，Lane らは，DeepEar と呼ぶ，ディープラーニングを用いたスマートフォン用の音響環境認識プラットフォームを開発している [5]．Ambient Scene Analysis や Stress Detectionといった Audio Sensing Task では，従来よりも高い識別精度を記録しているものの，警告音認識のような，安全性の観点から非常に高い精度を要求されるタスクの評価はなされていない．

3. 提案システム
本システムのユーザは，聴覚障害者や聴力の低下した高齢者等であることから，音以外の通知システムが必要となる．したとする従来型の 3 層 NN，中間層の活性化関数を ReLU（ランプ関数）とする 4 層 DNN，5 層 DNN の 3 種類に対して学習及び評価を行った．誤差関数は，ソフトマックス交差エントロ
ピーとし，学習アルゴリズムには Adam を用いた．

がって，本研究では，ウェアラブル端末を用いた振動による通具体的には，3 種の音源に対してそれぞれ 9 つの音データ知システムを採用する．例として，スマートフォン（iPhone）（32bit, 44.1KHz）を採取し，6 つを学習データ，残り 3 つを評とスマートウォッチ（Apple Watch）の組み合わせによる実現価データとして評価した．その際，1024flame で STFT を行っが考えられる．

た．結果，1350 個のデータに対して，900 個を学習に，残り提案システムの基本的な仕組みは以下の通りである．

450 個を評価に用いた．なお，NN の入力層の素子数は 513，中（ 1 ） スマートフォンにより環境音を集音

間層の素子数は 128，出力層の素子数は 3 で統一した．また，（ 2 ） 警告音識別時にはスマートフォンにプッシュ通知

学習の際には 1000 エポックまでとした（ 3 ） 警告音を確実に通知するためウェアラブル端末にも同時にプッシュ通知（振動等）
具体的な識別手法はディープラーニングを用い，学習データの作成のため，救急車のサイレンや，歩行者や自転車の交通事故防止のためのクラクションやベル等の通知対象とする音デー評価の結果，すべての NN において評価データの識別率100%を達成した．ただし，5 層 DNN，4 層 DNN，3 層 NN の順で，学習誤差並びに評価誤差を小さくすることができた．

6. まとめと今後の課題タを収集する．その際，実際にスマートフォンを用いて実環境

本研究は，環境音の中から緊急の回避や避難を必要とする警下において複数個の学習用データを採取する．また，ノイジー

告音を識別し，聴覚障害者や聴力の低下した高齢者等に危険信な環境音の中で，対象物の移動や音響環境の変化によって音質号を確実に通知するシステムの開発を目的としたものであった．

変化したデータも採取する．ここで，警告音の純音を採取する

識別対象には，日常生活における安全性の観点から，救急車のではなく，実環境下においてデータ採取する理由は，深層学のサイレン，並びに，歩行者や自転車の交通事故防止のための習の汎化能力を最大限に活用するためである．

クラクションやベルを選定した．

様々な環境下で採取した警告音データに対して，データ整理，通知にはウェアラブル端末への振動とスマートフォンへの画並びに，データスクリーニングを行い，学習用データベースを面表示を連動させて行うことで，確実かつ適切に情報伝達を行作成した後，実際に学習を行う．

うことを目指したシステムを提案した．

4. 識 別 方 法
警告音識別のためには救急車のサイレンと自転車のベルの識別を対象とした予備実
験により基本性能を確認した．
今後は，（1）識別対象を増やす，（2）通知システムを開発す（ 1 ） 連続的に環境音を集音る，（3）聴覚障害者を対象としたユーザビリティ評価実験を行（ 2 ） 閾値以上の音量を検知した場合には一定時間の音デーう，等により，実用システムの実現を目指す．

タを記録（ 3 ） 記録された音データに対して警告種を識別の 3 つのステップが必要となる．
また，警告音はその性質上，単調で繰り返される傾向が強い
ことから，上記の閾値処理により採取された音データに対して

謝辞

本論文は筑波技術大学平成 27 年度学長のリーダーシップによる教育研究等高度化推進事業による助成の成果であり，ここに記して謝意を表すものとする．

短時間フーリエ変換（short-time Fourier transform, STF）によりパワースペクトルに変換し，更に log スケールに変換したものをディープニューラルネットワーク（deep neural network,DNN）の入力とする．最後に，すべての音データに繰り返しDNN で判断された識別結果に統合処理を適時施すことでリアルタイム識別を可能とする．

5. 予 備 実 験
本稿では，救急車のサイレン，及び 2 種類の自転車のベルを対象とした識別実験を行い，深層学習の識別基本性能を確認す
る．音データの集取は実際にスマートフォン（iPhone 6s Plus）を用いて行った．なお，今回は閾値処理による音の切り出しは手動で行った．DNN の学習と評価は Chainer (ver 1.6.1) を用いて行った．
今回の予備実験では，中間層の活性化関数をシグモイド関数

文献[1] 中西恭介, 津田貴彦, 西村竜一, 河原英紀, 入野俊夫, “環境音認識を応用した情報提供機能を有するモバイルアプリケーションの検討,” 情報処理学会第 75 回全国大会, 2013.
[2] 竹内浩一郎, 松本哲也, 竹内義則, 工藤博章, 大西昇, “スマートフォンを用いた聴覚障碍者のための警告音検知システム,” 信学技報, WIT, 福祉情報工学, Vol. 113, No. 481, pp. 87–92, 2014.
[3] 松葉亮太, クグレマウリシオ, 黒柳奨, 岩田彰, “聴覚補助支援システムの屋外使用モデルの開発,” 信学技報, NC, ニューロコン
ピューティング, Vol. 111, No. 483, pp. 215-220, 2012.
[4] 岩佐要, 藤角岳史, クグレマウリシオ, 黒柳奨, 岩田彰, 段野幹男,
宮治 正廣, “車載用安全運転支援装置のためのパルスニューロンモデルによる音源接近検出及び音源種類識別システム,” 信学誌,
D, 情報・システム, Vol. 91, No. 4, pp.1130–1141, 2008.
[5] N. D. Lane, P. Georgiev, L. Qendro, “DeepEar: Robust
Smartphone Audio Sensing in Unconstrained Acoustic Environments using Deep Learning,” In Proc. of the UBICOMP’15, Osaka, Japan, pp. 283–294, 2015.