JAIST Repository
https://dspace.jaist.ac.jp/Title

到来方向の違いによる音響的特徴を活用した音声強調手法の提案

Author(s)森川, 大輔Citation

科学研究費助成事業研究成果報告書: 1‑5Issue Date

2015‑06‑02

TypeResearch Paper

Text version

publisher

URL

http://hdl.handle.net/10119/12824

RightsDescription

研究種目：研究活動スタート支援, 研究期間
：2013〜2014, 課題番号：25880011, 研究者番号：70709146, 研究分野：音響工学

Japan Advanced Institute of Science and Technology

２版

様式

Ｃ−１９、Ｆ−１９、Ｚ−１９ （共通）

科学研究費助成事業

研究成果報告書
平成 ２７ 年

６ 月

２ 日現在

機関番号： １３３０２
研究種目： 研究活動スタート支援
研究期間： 2013 〜 2014
課題番号： ２５８８００１１
研究課題名（和文）到来方向の違いによる音響的特徴を活用した音声強調手法の提案

研究課題名（英文）Proposal of speech enhancement using sound direction features

研究代表者
森川大輔（Morikawa, Daisuke）

北陸先端科学技術大学院大学・情報科学研究科・助教
研究者番号：７０７０９１４６
交付決定額（研究期間全体）：（直接経費）

2,100,000 円

研究成果の概要（和文）：目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴を明らかにするために、音響的特徴の操作を行って聴取実験を行うための実験系を構築し、聴取実験を行った。また、明らかになった結果をもとに、目的の音を聞き取りやすく呈示するシステムを構築・評価し、この知見の有効利用によって、聞き取りやすい補聴器の開発等に貢献できることを確認した。

研究成果の概要（英文）：In this study, to clarify what the important acoustic features from sounddirection in order to easily listen target sound. Then, we conducted listening tests using soundpresentation system which can control acoustic features. In addition, the system which can help to listen
target sound was develop and evaluate with listening test's result. These results suggest that theimportant acoustic features from sound direction are contribute to hearing aid development.

研究分野： 音響工学
キーワード： カクテルパーティ効果

到来方向

両耳間時間差様 式 Ｃ－１９、Ｆ－１９、Ｚ－１９（共通）１．研究開始当初の背景(1)補聴器の問題点
聴覚は我々の生活の中でも、コミュニケーションや危険回避のために重要な感覚である。ヒトの聴力は加齢ととともに衰えていく
ため、それをサポートする聴き取りやすい補聴器の開発は、現在高齢化が進んでいる日本において急務である。なぜなら現在の補聴器
は、単純に音圧を増幅させているだけのものが多く、ヒトの聴く能力を考慮し補強するように設計されていないため、必ずしもうまく補聴できていない(図 1a)。そのため、視覚を補強する眼鏡やコンタクトレンズに比べ、聴覚を補強する補聴器はあまり普及していない。そこで本研究では、複数の音が混在しているカクテルパーティ会場等のなかで、目的の音を選択的に聴き取ることができる聴覚の能力（カクテルパーティ効果）に着目し、この能力を最大限に引き出せるような補聴器の開発を目指す。
(2)カクテルパーティ効果の成因
カクテルパーティ効果は、音の到来方向の違いや、音色の違い、アクセントの違い、ピッチの違い、言語の違いといった様々な情報を手がかりにして生じていると考えられている。これらは音の物理的な特徴に由来する情報(音響的特徴)と、経験や知識に由来する情報わけられる。音響的特徴は、経験や知識に由来する情報に比べて個人差の影響を受けにくく、聴き取りやすい補聴器の開発に重要な役割を果たす。しかし、それぞれの音響的特徴がどう作用することで目的の音が聴き取りやすくなっているか、すなわち、カクテルパーティ効果が生じるために重要となる音響的特徴は明らかになっていない。
(3)カクテルパーティ効果の有効利用
これまでにも、カクテルパーティ効果を利用したシステムの開発が行われてはいるが、それらのシステムは必要な手がかりが損なわれないように利用しているに過ぎず、カクテルパーティ効果を有効に利用できていない(図 1b)といえる。目的の音の聴取を容易にするために重要な音響的特徴とその条件が明らかになれば、ヒトの音声の知覚特性が明らかになるだけでなく、その特徴を強調することで目的の音の聴取が容易な音声を呈示することや、その特徴を隠すことで目的の音の聴取が困難な音声を呈示することなど、カクテルパーティ効果を有効に利用することができる。たとえば、話者が多い音声やノイズレベルが高い音声を収録・伝送する場合にも聴き取りやすい音声を呈示する方法の提案につながり、聴き取りやすい補聴器(図 1c)や、ボイスレコーダなどへの応用が期待される。
ここで、目的の音の聴取を容易にする手がかりの中でも、到来方向の情報はコミュニケーションにおいては話者、危険回避においては危険物の方向を判断するため等に利用され、カクテルパーティ効果以外のためにも重要な情報であるといえる。普段の生活の中で利用される補聴器には、他の手がかり以上に到来方向の情報を用いて、聴き取りやすい補聴器とすることが望ましい。したがって、聴き取りやすい補聴器を開発するためには、目的の音の聴取を容易にするために重要な音響的特徴の中でも、音の到来方向による音響的特徴の影響を明らかにすることが特に求められている。また、音の到来方向の判断には、頭部の動きによる動的な音響的特徴が重要であることが知られている。そのため、目的の音の聴取を容易にするために重要な音の到来方向による音響的特徴も、動的な音響的特徴であることが重要であると予測される。
(a)

(b)

(c)

図 1 聴き取りやすい補聴器で聴こえる音のイメージ(a)一般的な補聴器(b)有効利用できていない補聴器(c)聴き取りやすい補聴器
２．研究の目的
本研究の目的は、聴き取りやすい補聴器の開発である。これを実現するために、目的の音の聴取を容易にするために重要な音響的特徴が、カクテルパーティ効果に与える影響を体系化し、カクテルパーティ効果の有効な利用方法を明らかにする必要がある。
そこで、本研究では、目的の音の聴取を容易にする手がかりのうち、到来方向の違いに着目し、まず、音の到来方向の違いによる音響的特徴のなにがカクテルパーティ効果に重要であるかを明らかにする。次に、重要な音響的特徴がカクテルパーティ効果に与える影響を系統的に明らかにする。そして、重要な音響的特徴を操作することで、目的の音を聴き取りやすく呈示するシステムを構築・評価し、目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴の有効利用によって、聴き取りやすい補聴器の開発に貢献できることを確認する。
本研究の特色は、カクテルパーティ効果を生じさせるために必要な手がかりを損なわないように利用するのではなく、カクテルパーティ効果を生じさせるために重要な音響的特徴が、カクテルパーティ効果に与える影響を系統的に明らかにし、これを有効に利用することで、聴き取りやすい補聴器の開発を目指す点である。
本研究によって、聴き取りやすい補聴器で強調すべき到来方向の違いによる音響的特徴が明らかになる。また、カクテルパーティ効果を有効利用したシステムを構築する際のベースラインになるとともに、これまで必ずしも明らかになっていなかったカクテル

パーティ効果が生じるメカニズムの解明に貢献し、大きな学術的な意義を持つ。
３．研究の方法(1)重要な音響特徴の予測
目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴に目星をつけるために、スピーカアレイを用いて実空間で、二つ以上の刺激音を同時に受聴した場合に、到来方向の違いによる目的の音の聴取の容易さを調べる聴取実験を行う。
ヒトは、音源から両耳までの音響伝達特性である頭部伝達関数(HRTF : Head-RelatedTransfer Function)とそれに含まれる音響的特徴である両耳間時間差、両耳間音圧差、及びスペクトラルキューと呼ばれるスペクトルの特定周波数に含まれるピークやノッチを用いて音の到来方向を知覚していることが知られている。両耳間時間差、両耳間音圧差、スペクトラルキューは周波数によって変化する音響的特徴である。そのため、目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴は、ある周波数帯域の両耳間時間差、両耳間音圧差、スペクトラルキューのいずれか、もしくは複数であると考えられる。提案者はこれまでに、音の到来方向の判断に関する研究を行い、静的および動的な両耳間時間差、両耳間音圧差、スペクトラルキューが音の到来方向に与える影響を周波数帯域によって系統的に明らかにしている[論文 2,5,6]。これは、目的の音の聴取を容易にするために重要な音響的特徴にも大きく関わっていると考えられる。
(2)実験系の構築
ある音響的特徴だけを変化させる等の音響的特徴の操作は、実空間のスピーカでは困難な場合が多い。そのため、スピーカでは困難な音を呈示する場合にはバイノーラル方式を用いる。バイノーラル方式は、立体音を再生する技術のひとつで、HRTF を含んだバイノーラル信号をイヤホンで再生する方式
で、他の立体音を再生する技術に比べ制御点が両耳の二点と少なく、HRTF の操作によって音響的特徴の操作が容易に行える。実験を静的な条件と動的な条件で行うために、頭部運動に追従した動的なバイノーラル信号を呈示する動的聴覚ディスプレイを用いる必要がある。そのために、提案者が製作に携わり、また研究に利用してきた動的聴覚ディスプレイを元に、これまでの動的聴覚ディスプレイにあった問題点を考慮し、本研究に最適な動的聴覚ディスプレイ(図 2)を製作する。
動的聴覚ディスプレイに求められる具体的な仕様は、容易に任意の方向を指定し音を合成できること、いくつかの聴覚実験を行うため汎用性が高いこと、動的聴覚ディスプレイから呈示していることが被験者に与える影響を少なくすることである。
(3)重要な音響特徴の解明
目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴を明らかにするために、目星をつけた各音響的特徴をそれぞれ独立して変化させる条件で、目的の音の聴取の容易さを調べる聴取実験を行う。ここで、得られる音響的特徴が静的か動的かによって、カクテルパーティ効果の生じやすさが異なると考えられるため、聴取実験は静的な条件と動的な条件の両方を行う。聴取実験には、変化させたい音響的特徴の性質に合わせ、動的聴覚ディスプレイもしくはスピーカアレイも用いる。
(4)需要な音響的特徴の影響
目的の音の聴取を容易にするために重要な音響的特徴が、カクテルパーティ効果に与える影響を系統的に明らかにするために、重要な音響的特徴を細かく操作し聴取実験を行う。ここまでの結果から、明らかになった重要な音響的特徴の 2 つ以上の相互作用が重要であることが示唆された場合には、2 つ以上の音響的特徴を同時に変化させる条件で聴取実験を行う。またここまでの結果から、静的な条件と動的な条件で結果が異なることが示唆された場合には、静的な条件と動的な条件の両方の聴取実験を行う。聴取実験には、音響的特徴の操作が容易であるため動的聴覚ディスプレイを用いる。
(5)呈示システムの構築・評価
明らかになった、目的の音の聴取を容易にするために重要な音響的特徴が、カクテルパーティ効果に与える影響を元に、目的の音を聴き取りやすく呈示するシステムの構築を試みる。システムの構築は動的聴覚ディスプレイを利用して行う。さらに、聴取実験によりシステムの評価を行い、目的の音が聴き取りやすく呈示されることを確かめる。この結果に基づいて、本研究の成果であるが聴き取りやすい補聴器の開発にどの程度貢献できるか全体考察を行う。
HRTF
database

PCUSBDA
converter
sensorUSB

main unittransmitter

図 2 動的聴覚ディスプレイ
４．研究成果目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴を明らかにするために、音響的特徴の操作を行って、聴取実験を行うための実験系を構築し、実験環境を整え、聴取実験を行った。また、目的の音を聞き取りやすく呈示するシステムを構築・評価し、この知見の有効利用によって、聞き取りやすい補聴器の開発等に貢献できることを確認した。具体的な実績は以下の通りである。
まず、目的音の聴取を容易にするために重要な音響的特徴に目星をつけるために、スピーカアレイを用いて実空間で、二つの刺激音を同時に受聴した場合に、二音が分離知覚されやすい条件を明らかにした。その結果、ヒトが到来方向の知覚に用いている特徴のうち、両耳間時間差がカクテルパーティ効果に特に大きな影響を与えていることが示唆された。
次に、ある音響的特徴だけを変化させる等の音響的特徴の操作は、実空間のスピーカでは困難な場合が多いため、スピーカでは困難な音を呈示する実験を行うための実験系を構築した。
そして、構築した実験系を用いて、目的の音の聴取を容易にするために重要な到来方向の違いによる音響的特徴を明らかにするために、両耳間時間差を他の音響的特徴と独立して変化させる条件で、目的の音の聴取の容易さを調べる聴取実験を行った。その結果、両耳間時間差がカクテルパーティ効果に影響を与えていることがわかった。
さらに、両耳間時間差がカクテルパーティ効果に与える影響を系統的に明らかにするために、両耳間時間差を細かく操作し聴取実験を行った。その結果、二つの刺激音のうち一方の刺激音の両耳間時間差が 0.3 ms 以上であれば、他方の刺激音の両耳間時間差は 0ms 以下、つまり正面から対側側であれば、目的の音の聴取が容易になることが示唆された。両耳間音圧差についても検討を行った結果、二つの刺激音の両耳間時間差が対応する角度の差が 30°以上であれば、目的の音の聴取が容易になることが示唆された。一方の刺激音の両耳間時間差が 0.3 ms、他方の刺激音の両耳間時間差が 0 ms の条件に対応する角度の差は、およそ 22°のため、この結果は、両耳間時間差が音の到来方向から得られる音響的特徴のうち、両耳間時間差がカクテルパーティ効果に特に大きな影響を与えているという考えを支持する。
また、両耳間時間差について、動的な条件で同様の実験を行った結果、頭部運動によって両耳間時間差だけが変化する条件で刺激音を受聴すると、一つの刺激音しか呈示していない場合であっても、音像が二つに分離して知覚されることを発見した。
最後に、明らかになった両耳間時間差の条件を元に、目的の音を聞き取りやすく呈示するシステムを構築した結果、システムを通さずに目的音とノイズを受聴した場合に比べ、目的音が聞き取りやすくなることがわかった。
５．主な発表論文等（研究代表者、研究分担者及び連携研究者には下線）〔雑誌論文〕（計 1 件）
① Masaru Ando, Daisuke Morikawa,
Masashi Unoki 、 Study on Method of
Estimating Direction of Arrival Using

Monaural Modulation Spectrum、Journalof Signal Processing、査読有、18(4)巻、2014
年、197-200 頁(DOI: 10.2299/jsp.18.197)〔学会発表〕（計 10 件）①森川大輔、頭部運動に追従した両耳間時間差の変化による音像の分離知覚、音学シンポ
ジウム 2015、2015 年 5 月 23 日～2015 年 5月 24 日、電気通信大学（東京都調布市）②森川大輔、両耳間時間差による音像定位に頭部運動が与える影響、日本音響学会 2015
年春季研究発表会、2015 年 3 月 16 日～2015
年 3 月 18 日、中央大学後楽園キャンパス(東京都文京区)③森川大輔、両耳間差による音像の分離知覚、
日本音響学会聴覚研究会、2014 年 10 月 23～2014 年 10 月 24 日、南紀白浜温泉ホテル
シーモア(和歌山県西牟婁郡)④森川大輔、音像を分離知覚する両耳間差の条件、日本音響学会 2014 年秋季研究発表会、2014 年 9 月 3 日～2014 年 9 月 5 日、北海学園大学豊平キャンパス(北海道札幌市)⑤Daisuke Morikawa、Effect of interaural
difference for localization of spatiallysegregated sound、The Tenth International
Conference on Intelligent Information
Hiding and Multimedia Signal Processing、
2014 年 8 月 27 日～2014 年 8 月 29 日、
KitakyushuInternationalConferenceCenter (Fukuoka Kitakyushu-shi)⑥森川大輔、両耳間時間差が音像の分離知覚に与える影響、音学シンポジウム 2014、2014
年 5 月 24 日～2014 年 5 月 25 日、日本大学
文理学部百周年記念館(東京都世田谷区)⑦安藤将、森川大輔、鵜木祐史、モノラル変調スペクトルを利用した音源方向推定法の検討、電子情報通信学会応用音響研究会、2014 年 3 月 28 日、NHK 放送技術研究所(東京都世田谷区)⑧森川大輔、音像を分離知覚する両耳間時間差の条件、日本音響学会 2014 年春季研究発
表会、2014 年 3 月 10 日～2014 年 3 月 12 日、
日本大学駿河台キャンパス(東京都千代田区)⑨ Masaru Ando, Daisuke Morikawa,
Masashi Unoki 、 Study on method of
estimating direction of arrival using
monaural modulation spectrum、2014 RISPInternational workshop on Nonlinear
Circuits
andSignal
Processing(NCSP2014)、2014 年 2 月 28～2014 年 3 月
3 日、Hawaii(USA)⑩安藤将、森川大輔、鵜木祐史、変調スペク
トルに着目したモノラル音源方向推定法の検討、28th SIP SYMPOSIUM、2013 年 11月 19 日～2013 年 11 月 22 日、海峡メッセ下関(山口県下関市)〔図書〕（計 0 件）

〔産業財産権〕○出願状況（計 0 件）
名称：
発明者：
権利者：
種類：
番号：
出願年月日：
国内外の別：○取得状況（計 0 件）
名称：
発明者：
権利者：
種類：
番号：
出願年月日：
取得年月日：
国内外の別：〔その他〕
ホームページ等
６．研究組織(1)研究代表者

森川 大輔 (Morikawa Daisuke)
北陸先端科学技術大学院大学・情報科学研究科・助教
研究者番号：70709146(2)研究分担者（）（）

研究者番号：(3)連携研究者

研究者番号：