立石科学技術振興財団

助成研究成果集(第27号) 2018

音環境センサネットワークを活用した「よく聴こえる」拡声システム
Easy listening system using sound field feedback sensors
2171011

研究代表者

室蘭工業大学助教

小林洋介[研 究 の 目 的］
図 1 に示す拡声装置は，音声がそのまま伝わるという直感的な動作をする機器であり，駅や空港，学校といった公的な空間を中心にあらゆる場所に設置されている。しかし，直感的に利用できるが故に最適とは程遠い利用による音割
図1

れや相手を意識しないボソボソとした発話によ

屋外拡声器の例

り聴こえにくく，聴き返しができないため，聴声装置自身が自律的に聴き取りやすいように拡くこと自体を諦めてしまう人も多い。極端に言声内容を調整する事で，人間と機械が調和したえば，最適に運用されない拡声装置は誰にも聴豊かな音環境構築に貢献する。

かれることがない騒音発生装置であり，市民生[提案計測システムのフロー］

活の QOL を低下させている。
東日本大震災では，20 % の市民が聞き取りにくかったと回答している [1]。一方で，北海

図 2 に提案システムのフローを示す。このシ道地区の事例ではあるが，年齢が高くなるほど，ステムは，フィールドの音環境を計測する図 3

拡声装置の情報をもとに避難を実施しているのクライアントが 5 台と計測結果を集約し，聴[2]。拡声装置が聴き取り易くなる事は命にも取実験値に変換するサーバからなる。クライア関わる重要な問題である。
本 研究 では，この問題を解決するために，Internet of things (IoT) 技術を利用して，小型のワンボードコンピュータとマイクロホンからなる音環境センサを複数用いて，拡声フィー
ルドの実際の聴取感のフィードバックを検討する。特に音声の聴取感は主観評価による心理実験が必要であるため，計測された物理量と，心理実験値を定式化し，計測システムに組み込む必要がある。このフィードバックを受けて，拡― 1 ―図2

提案システムのフロー立石科学技術振興財団

図 4 STOI の計算フロー[Short time objective intelligibility］
C. H. Taal et al. が提案した STOI は，時間周波数モデルに基づく知覚的歪みをモデル化した了解度指標である。STOI の処理フローを図 4に示す。
STOI の時間周波数分解は，10 kHz のサン
プリングレートで，512 サンプルまでゼロパディングしたハン窓付きフレーム分割を 50 %

図 3 クライアントの外観オーバーラップで処理する。クリーン音声の最ントは Raspberry Pi 3 model B を利用し，オー大振幅より 40 dB 低い無音領域フレームを除去

ディオインタフェース (BLUE, ICICLE) に接して再構成した信号に対し，中心周波数が 150続したマイクロホン (BEHRINGER, ECM8000)

Hz から約 4.3 kHz までの 15 帯域の 1/3 オク

へ の 入 力 を 100 msec. に セ グ メ ン ト 分 割 しターブバンド分析で周波数エンベロープを求め，て 音 響 特 徴 量 の Mel frequency cepstrum co-

時間−周波数ユニットとして，クリーン音声 x

efficients (MFCC) とパワーの 13 次元およびと 雑 音 加 算 音 声 y の エ ン ベ ロ ー プ X j(m) とその Δ パラメータ 13 次元の合計 26 次元を求Y j(m) を求める。

めた。

次にクリーン音声と雑音加算音声の周波数エセグメントごとの MFCC の計算が終了次第，ンベロープをセグメントしたフレームより長い計算した 26 次元の MFCC ベクトルをサーバに区間 N で切り出し，X j, mとY j, mを求める。この転送する。サーバでは，収集した MFCC を用後にY j, mを正規化し，了解度に強い影響を持たいて音声の明瞭性/了解性指標として近年広くないグローバルなレベル差を補正したŶ j, mを得使われ始めた Short time objective intelligibility

る。

(STOI) [3] の推定値を求める。次に主観的な最後にX j, mとŶ j, mの同一バンド，同一フレー音声の聴き取りにくさの心理実験値であるムでの相関係数を求め，d j, mとし，平均して了Listening difficulty rate (LDR) [4] の 主 観 評

解度指標値 d を得る。STOI の標準ではこの後価値と STOI の関数を利用して LDR 推定値を音声の了解度へのマッピングを行うが，本項で得る。このため，事前に計測したインパルス応は LDR とのマッピングとした。

答を畳み込んで再現した拡声音声のシミュレーション音声から求めた STOI と MFCC との関[Listening difficulty rate］

係を機械学習アルゴリズムの一つであるRandom Forest (RF) [5] でモデリングした。

Morimoto et al. が 提 案 し た 主 観 評 価 指 標

LDR と STOI のマッピング関数は一般化線形

LDR は，音声了解度は 100 % に飽和するが，モデルを用いた。最後に LDR の予測値を画面まだ聴き取りにくいと感じる領域の評価に利用表示する。

される主観評価指標である [4]。
― 2 ―Tateisi Science and Technology Foundation

表 1 LDR の主観評価指標
index

説明文

L1
L2

聴き取りにくくはない
やや聴き取りにくい

L3

かなり聴き取りにくい

L4

非常に聴き取りにくい

被験者に提示した音声単語の正答率である音
声了解度はシステムの評価によく利用されている。しかし，被験者が評価単語を能動的に傾聴するため，劣悪な音声サンプルであっても正答

図 5 STOI 予測時の決定木深さと RMSE率が高くなる傾向にある。突然の放送に耳を傾[LDR 推定モデル]

けるような受動的な音声聴取が想定される屋外
拡声システムは，放送冒頭からの十分な傾聴は期待できず，受動的に聴き始めるため，了解性STOI と LDR のマッピングは図 6 となり，が高いことに加え，聴き取りにくくはないこと

一般化線形モデルでシグモイド関数をフィットが重要である。LDR の主観評価は，被験者にさせて得た関数は以下の式で，決定係数は 0.93

雑音加算音声を評価音として提示し，表 1 の指で，RMSE は 0.102 であった。

標値から一つを選択させる。評価音ごとに全被験者の結果から，「聴きとりにくい」という表

f (d)=記のある L2-4 の割合を算出し，指標としてい0.98881+exp(25.5809×d−18.6406)

る。
本実験では日本語音素バランス文 160 文に実験フィールド 10 箇所のインパルス応答を畳み込み屋外騒音を加算して再現したシミュレーション音源を利用して LDR の主観評価を被験者 25 名に対して行った。
[STOI 推定モデル］
図 6 STOI と LDR の関係

図 2 のサーバ内の MFCC から LDR を推定する処理は RF モデルを用いた。LDR の評価[屋外での計測条件］

音 源 長 は 最 長 で 11 sec. を 超 え た た め，100msec. ごとに計算した MFCC を統合し，3120

2018 年 6 月 23 日土曜日 (天候：晴) に室蘭次元の入力を持つ RF モデルとした。RF は複工業大学の V/R 棟前の中庭で実機の動作テス数の決定木を統合する学習アルゴリズムであり，トを行った。フィールドの様子を図 7 に示す。

個々の決定木の数と決定木の深さを指定できる。

実験は建物による反射を意図して V/R 棟に向図 5 に決定木の深さ 50-200 とした際の Root

かってメガホン (TOA, ER-2830W) を設置し，mean squared error (RMSE) の比較結果を示サーバから音声放送できるように接続した。音す。結果と計算速度を考慮して深さ 75 の決定量はメガホンの前 2 m に設置した騒音計で木数 100 とした。

80,85,90 dB とし，音素バランス文を 50 文づつ放送した。クライアントの設置場所は前年度の― 3 ―立石科学技術振興財団

図 8 Client 3 の推定 LDR 分布

図7

屋外実験のフィールド予備実験の際に収集したインパルス応答とLDR の主観評価結果から選択した。サーバとクライアントは Wi-Fi の屋外で利用できる周波数帯である 2.4 GHz 帯で接続した。
[実験結果］
図 9 Client 1 の推定 LDR 分布

表 2 に 85 dB 放 送 時 の 推 定 STOI と 推 定
LDR の平均値をそれぞれ示す。結果より，メ[今後の課題]ガホンにもっとも近い Client 3 の聴き取りにくさが 0.575 と最も低くこのフィールドの中では最も聴きとりやすいことがわかる。次は直線上環境をフィードバックするセンサのプロトタにある Client 5 の 0.717 であり，距離は近いがイプは完成し，フィールド内の聴き取りにくさ真横にあってメガホンの指向性の影響を受けるがフィードバックされるようになった。しかし，Client 2 が 0.825, 遠方の Client 1,5 は 0.9 以上と拡声音声との連携部まではまだ完成していない。

ほとんど聴き取れないことが明らかである。

並行して開発したより聴こえやすい放送システ

図 8 と 9 に，Client 3 と 1 の推定 LDR の時

ム (成果発表 [4]) は，入力音声を認識し，自間分布を示す。結果より，Client 3 は放送のタ

然言語処理技術による構文解析を行い，音声合イミングで LDR が低い谷を深く形成するのに成して聴きとりやすくする。しかし，近年の合対し，Client 1 は常に推定 LDR が高く，ほと成音声技術では自然度の高い音声が作れるようんど音声が到来していないことがわかる。になったものの，まだまだ自然音声の品質に到達していなく，不明瞭でも自然音声の方が高品

表2

Client ごとの平均 STOI 推定値と LDR 推定値 (85dB 放送時)
Client12345

Est. STOI
0.555
0.638
0.698
0.592
0.676

Est. LDR
0.961
0.825
0.575
0.925
0.717

質であった。このため，より高品質な音声合成の実装と並行して長期的にセンシングシステムと連携した総合的な拡声音声システムを構築して行きたい。

― 4 ―Tateisi Science and Technology Foundation[参考文献］[1][成果の発表，論文等]

東北地方太平洋沖地震を教訓とした地震・津波対[1] 児島悠太，小林洋介，“音環境センシングシステ策に関する専門調査会(第 7 回)，“平成 23 年東日本ムの開発”，電子情報通信学会技術研究報告, vol.

大震災における避難行動等に関する面接調査 (住117, No. 138, EA2017-22, pp. 125-130, 2017 年 7 月民) 単純集計結果”, 2011.

20-21 日[2]

田中岳，渡部靖憲，中津川誠，“2011 年東北地方[2] 児島悠太，小林洋介，“音環境センサネットワー

太平洋沖地震津波に対する北海道沿岸域住民の避難クの基礎検討”，日本音響学会 2017 年秋季研究大会

行動調査”, 土木学会論文集 B2 (海岸工学)，69 巻，

講演論文集, 1-P-40 (Poster), pp.749-750, 2017 年 9

1 号，(頁 48〜63)，2013 年[3]

月 25-27 日

Cees H. Taal, Richard C. Hendriks, Richard[3]

野口啓太，小林洋介，岸上順一，栗栖清浩，“屋Heusdens, and Jesper Jensen, “An Algorithm for

外録音音声の聴き取りにくさ予測に用いる機械学習

Intelligibility

Time-Frequency

手法の比較”, 平成 29 年度電気・情報関係学会北海

Weighted Noisy Speech”, IEEE Trans. Audio.,

道支部連合大会講演論文集，143, pp. 210-211, 2017

Speech, Language Processing, vol. 19, no. 7, pp.

年 10 月 28-29 日

Prediction

of

[4]

2125-2136, Sep. 2011.

赤泊寛和，石川耕輔，太田健吾，小林洋介，岸上M. Morimoto, H. Sato and M. Kobayashi,順一，“HMM 音声合成と発話構文解析を利用した“Listening difficulty as a subjective measure for「よく聴こえる」拡声システム”，情報処理学会研究[4]evaluation of speech transmission performance in

報告，Vol. 2018-MUS-119 No. 51, 4 pages, 2018 年 6

public spaces,” J. Acoust. Soc. Am., Vol. 116 (3), pp.

月 16-17 日

1607-1613, 2004.
[5]

LeoBreiman.

[5]“RandomForest”,

Machine小林洋介，野口啓太，栗栖清浩，“拡声音声への環境情報フィードバックシステムの基礎検討”，聴覚研究会資料，Vol. 48, No. 6, pp. 591-596, 2018 年 8Learning 45 (1) : 5-32, 2001.

月 23-24 日― 5 ―