立石科学技術振興財団

助成研究成果集(第31号) 2022

研究助成成果報告 研究助成 (S)

環境センサと融和した注意指向・取捨選択型
聴覚支援システムの研究開発
Attention- based sound- selective hearing support system in harmony with environment sensors
2198001

研究代表者

株式会社国際電気通信基礎技術研究所

グループリーダ

共同研究者

株式会社国際電気通信基礎技術研究所

研究員

港隆

史

株式会社国際電気通信基礎技術研究所

研究員

劉

超然

特定講師

JaniEven

教授

土井勝

美研究員

加藤弓子

京都大学

情報学研究科

近畿大学

医学部

医学科

聖マリアンナ医科大学
耳鼻咽喉科教室

石井カルロス寿憲てきたと言われている現代の社会問題やそれが[研 究 の 目 的]引き起こす認知症の問題解決にも繋がる。更に，世界各国で人口の 1〜2 割が難聴・聴覚障害

本研究の技術は健聴者も利用可能である。例えを持っていると言われており，さらに高齢化社

ば，工事現場の騒音がうるさい環境下でも利用会になって老齢性難聴者が増えれば，その割合者が必要とする音や音声のみを聴くことが可能は今後さらに高まると考えられる。従来の補聴になり，聴覚を通じた異常・危険の察知やコ器では不要な雑音まで増幅するなどの問題があミュニケーションを妨げない騒音性難聴の予り，健聴者並みに社会活動に参加するには不十防・改善を実現できる。

分である。
[研究の内容，成果]

本研究では，環境に設置されたセンサと連動して，周りの人が持っているスマートホン (以降，スマホ) も二次利用し，聴覚障害者が補聴

最近の補聴器は空気中の振動から入ってくる器単体の知覚に比べて，健聴者並みの聴力が得音声信号だけでなく，Bluetooth 接続により自られる方法の実現を目指す。人々と機械が融分のスマホを介して外部の音や音声信号を受け和・協調することによって当事者の聴力が向上取る機能が備わっている。本研究では，これまされ，社会参加の促進や，新たな生産的活動やで研究開発を進めてきた音環境知能技術を発展創造的活動が可能になる。例えば，聴力が衰えさせ，利便性と実用性を重視しつつ，環境センたために他者と会話することに消極的になってサに加えて周りの人が持つスマホのマイク情報いる者が，聴覚能力拡張によって他者と関わるも二次利用とし，補聴器とも連動させて，周囲意欲を持つことができ，人間関係が疎遠になっのさまざまな音の中から，利用者が聞きたい音― 27 ―

立石科学技術振興財団を聞こえやすくし，聞きたくない音を抑圧する技術 (注意指向・取捨選択型聴覚支援) の実現に取り組んだ。図 1 にシステムの概要を示す。
基本的な仕組みとして，マイクロホンアレイ(以降マイクアレイ) 処理により，音の方向を検出したり，音を分離して強調したりして，LRF (レーザ距離センサ) により周囲の人の位置を推定し，誰がどこでいつ発話したのかを推定することができる。取捨選択された音源に対し，利用者が装着する姿勢センサにより，個々

図2

開発した環境センサおよび姿勢センサのデバイスの音源の空間情報を再構築してイヤホンまたは補聴器に，バイノーラルで聞かせる仕組みと類か試して，耳周りが痛くない柔らかい素材のなっている。

装着デバイスを試作した。
スマホおよびイヤホン・補聴器との連携の開発
スマホのマイク音を聴覚支援システムに送信し，システムが提供する音をスマホで受信する機能について，Apple 製および Android OS のスマホに対応したアプリを開発した。スマホで受信したシステムからの音は，Bluetooth でスマホに接続されたイヤホンまたは補聴器でストリーミングされる。Bluetooth イヤホンにおいては，Apple 製の AirPodsPro に姿勢センサも図1搭載されており，スマホでその情報を読み取っ開発した聴覚支援システムの概要図てシステムに送る機能も実装した。

以降，研究開発項目ごとの成果を記載し，開スマホのマイク音をターゲット (強調すべき発した聴覚支援システムを聴力レベルの異なる音) にするか，アンチターゲット (抑圧すべき難聴者によって検証した結果について報告する。

音) にするかの設定もアプリ上の画面操作で可環境センサおよび姿勢センサのデバイスの開発能とした。ターゲットとして設定した場合，マ環境に馴染むマイクアレイのデザインとして，イクアレイが提供できる音質を補う働きとなり，植物型のアレイフレームを 3D プリンタで作製アンチターゲットとして設定した場合は，そのした。マイクには小型 MEMS マイクを採用し，スマホの周辺の音は，聴覚支援システム上で抑それを固定するフレームも新たに設計した。ま圧される働きとなる。これにより，不要な雑音た人位置推定に用いる LRF (レーザ距離セン源をアンチターゲットとして設定することも可サ) とアレイを一体型にしたフレームも作製し能になり，プライバシー保護として，明示的にた (図 2)。利便性も考慮し，持ち運び可能な特定エリアの音をシステムに提供しないことが傘型のアレイフレームも試作した。

可能になる。

IMU (方位/慣性計測センサ) および小型マスマホのマイク音の処理として，図 3 に示すイコンを内蔵した姿勢計測デバイスを作製した。

ようにアレイ処理の出力と同期し，チャンネル基板が平行となるように耳掛け型のケースを間の抑圧処理 (Wiener フィルタ) にマイク音

3D プリンタでデザインし，樹脂の素材も何種を導入した。

― 28 ―

Tateisi Science and Technology Foundation−90 度から 90 度の音源に対し，コサイン波に応じて真正面で最大 3 dB のゲインを加える注意対象機能を実装した。当初は最大ゲインを 6dB で設定していたが，前方以外の対象音との音量差が大きすぎたため，3 dB に設定した。3dB でも注意対象の音源は顕著に強調される感覚が与えられることは確認した。また，対象音の音量を上げると，分離音に残っている背景雑音の音調も増幅されてしまうため，対象音を分離する際には，増幅する分，雑音除去の度合いも強くするようにした。これにより，頭部を動かしても背景雑音の音量も同時に増幅されるこ
図3とを回避できた。

アレイ処理とスマホマイクの処理の統合

音源の自動選択機能
対象音を毎回選択する煩わしさと，人位置検遅延短縮のための対策
音を取得し，処理して利用者の装着デバイス

出の追跡失敗により同じ音源に新しい ID が割で再生するまでの遅延を十分に短くするという，り当てられてしまう問題も踏まえ，システムの本技術の社会実装に向けての重要な課題に取り利便性を向上させるため，利用者の周囲の指定組んだ。オーディオキャプチャおよびオーディ範囲 (例えば 2 m) に新しく検出された人物はオ プ レ イ ヤ ー の ASIO デ バ イ ス へ の 対 応 化

自動的に対象音として選択される機能を実装し(PortAudio ライブラリーの導入) とオーディた。ただし，自動で選択された音源は，GUIオデバイスの仮想 ASIO デバイス化によりキャインタフェースにより画面上でクリック (タップチャの遅延を 90 ms から 4 ms 程度に短縮しチパネルの場合はタッチ) することにより，利た。また，音源分離処理において，図 3 の赤い用者が手動で選択を解除したり，アンチター枠に示すように，アレイ処理の背景雑音抑圧とゲットとして再選択したりすることができる。

ビームフォーミングの並列化と，スマホのマイセンサの自動キャリブレーション
現状では手動でセンサの位置や向きのキャリク処理の背景雑音抑圧とチャンネル間抑圧の処理の並列化により，20 ms 程度の短縮ができた。 ブレーションを行う必要があるが，利用者に以前はプレーヤにも 90 ms の遅延が生じていとってのシステムの利便性を考慮すると，センたが，スマホを通して Bluetooth でイヤホンにサの自動キャリブレーションは必要な技術とな

音 を 送 る た め，こ の 遅 延 は 無 線 LAN とる。本課題には，図 4 に示すような深層学習技

Bluetooth 通信の遅延に置き換えられ，40 ms程度に短縮される。総合的には，これまで 300ms 以上かかっていた遅延を 100 ms 程度に短縮することができた。
注意対象の音量制御機能
対話中は，通常話し手の顔を見ながら聞くことを踏まえ，利用者が向いた方向の対象音源を強調する機能を実装した。姿勢センサから得られる利用者の顔の向きを用いて，利用者の前方― 29 ―図4

深層学習によるセンサキャリブレーション法

立石科学技術振興財団

術 (graph neural network に基づく手法) を取り入れて，異なる種類のセンサ (アレイや距離画像センサ) を自動的にキャリブレーションする手法を提案した [1]。
スマホに適した音源方向推定手法の開発
スマホなどのモバイルデバイスの問題点とし

図5て，電源供給と計算パワーが限られていること

3 次元地図 (左) と 3 次元音環境地図 (右) の例が挙げられる。その制約を考慮し，方向スキャ

ンタフェースを実現するために利用される。

ンを要しない音源方向推定手法を提案した。従聴覚特性への適応来法として，同じく方向スキャンを必要としな難聴者に対して，聴力に応じた周波数特性のい rootMUSIC が存在するが，計算した伝達関補償が必要であるが，Bluetooth 機能で補聴器数しか用いることができないという制約がある。に直接システムから音をストリーミングすれば，提案手法は，事前に計測した伝達関数を使用すストリーミングされた音も補聴器でフィッティることが可能であるため，識別精度がより高い。

ングされた特性が反映されるものが既に開発さ具体的には，計測した各方向から伝達関数の位れ て い る。(Oticon More 3，Starkey Livio，

相情報のみを用いて Hash テーブルを構築し，Resound，Signia，などが挙げられる。)

観測した音声のマイク間位相差と照らし合わせまた，聴覚支援において空間情報を伝達するることによって音の到来方向を推定する手法で際の重要な課題として，視聴覚刺激による空間ある。検出された音の到来方向は，音源分離や知覚の解明に取り組んだ。そのため，既存の回スマホの位置推定にも利用される。

転刺激，視覚刺激に，聴覚刺激を追加制御する

移動型センサによる 3 次元音環境地図生成の開発ためのソフトウェアの拡張を実装した。この実移動ロボットを使って地図生成を行う研究は

験 装 置 を 用 い て，前 庭 眼 反 射 (Vestibulo-

これまで多く行われてきたが，本研究開発では，ocular reflex: VOR) の量的変化による空間知

人が移動型センサを持って環境を歩きながらス

覚精度の評価指標を確立するための実験を行っキャンする課題に取り組んだ。センサを持ってた。その結果，VOR の視覚刺激の影響から，ゆっくり歩きながら周辺環境をスキャンした場

視覚刺激の強度が強ければ，視角 20 度程度の合，地図生成に関するパラメータ調整により，「あいまいさ」があっても，おおよその方向と十分な精度 (10〜20 cm の誤差) で 3 次元地図してとらえられる可能性が示唆され，聴覚支援が生成可能であることを確認した。また，3 次システムが音像を合成する際に視角 20 度程度

元地図上に音情報を付加するソフトウェアを実の範囲内で音像を提示できれば，大きな違和感装し，音情報は，画像深度とマイクアレイを備がないことが期待される。なお，聴覚支援シス

えた手持ち型センサ (Kinect Azure) を用いて， テムで使用している頭部伝達関数の分解能が 5
3 次元地図生成と同時に取得でき，20〜30 cm度であることから，音源の方向感覚は視覚情報の精度で 3 次元音環境地図が生成できた。上述とともに伝わることが示唆される。

はオンラインで音地図を生成した場合であり，開発した聴覚支援システムの検証

オフライン処理で雑音成分の除去も考慮した処

聴覚支援システムの効果を評価するための被理を施すと音地図も 10〜20 cm の精度で推定

験者実験を実施した。雑音環境を模擬するため可能になった。図 5 に得られた地図の例を示す。 に，図 6 に示すように，複数のスピーカから複これは利用者が新しい環境でシステムを利用し数の雑音 (バブルノイズ 65 dBA，妨害音声 65た際に，雑音源を特定し，簡単に選択できるイdBA) を流し，そのうちの一つのスピーカか― 30 ―

Tateisi Science and Technology Foundation

ら対象となる言葉 (対象音声 65 dBA) の聞きした状態では，音が二重に聞こえないように補取りテストと，雑音環境下での 3 者対話実験を聴器のマイクの音はミュートに設定した。

実施した。バブルノイズとは，多数人の声が混実験は「雑音なし」(clean)，「バブル雑音」合した雑音で，特定の人の声を聞き取る際に最(babble noise)，「バ ブ ル + 音 楽」(babble+も妨害となる雑音である。また，バブルノイズmusic)の条件を「システム無し」と「システを拡散性の (指向性のない) 雑音として再現すム利用」の条件で実施した。

るため，2 つの上向きのスピーカを被験者の両実験参加者は 2 つの方法で募集した。一つは側の床に置いた。被験者には，この雑音が聞こ

シルバー人材センターを通して老人性難聴の可えてくる方向が特定できないことを確認した。

能性が高い 65 歳以上の高齢者を募集し，28 名

また，このスピーカは床上から 20 cm 程度のの応募があった。2 つ目は，共同研究機関の近高さに位置するため，システムでは指向性のあ

畿大学病院より，補聴器を装用している中等度る音源として検出されないことも確認した。その難聴患者を募集し，3 名の応募があった。難の他の音源 (単語用のスピーカ，音楽用のス

聴患者の場合は，近大病院にて聴力に合わせたピーカ) は，LRF センサに見える 1.1 m 程度

補聴器のフィッティングを事前に行ってから実の高さに設置した。聞き取りテストの対象とな験に参加してもらった。シルバー人材センター

るスピーカからは，FW03 のデータセットより，の被験者には，実験開始前に，オージオメータ親密度が 55〜70% の 4 拍単語リストから選定(リオン社 AA-M1C) を用いて，自動モードして流した。雑音の有無，システム利用の有無で聴力測定を行った。の条件ごとに同じ親密度で，異なる単語セット聴力測定の結果を基に，被験者を 4 つのグを使用した。三者対話実験では，話者は椅子にループに分類した。

座って対話をする。雑音環境としては，騒がし・｢正 常」：平 均 聴 力 レ ベ ル が 25 dB 以 下

い居酒屋で少し離れた席の人と会話をするような場面に相当する。

(16±4 dB) が 5 名。
・｢軽 度 難 聴」
：平 均 聴 力 レ ベ ル が 25〜40 dB(30±10 dB) が 9 名。
・｢中等度難聴」：平均聴力レベルが 40〜70 dB(48±9 dB) が 13 名。
・｢中等度難聴の補聴器装用者」：Bluetooth 対応の補聴器を装用する中等度難聴者 (48±9dB) が 4 名。

図6

実験に用いたスピーカや話者の位置関係 (1 m grid)

スマホは，Apple iPhone SE を使用し，無線LAN (wifi6) でシステムと接続し，bluetooth通信により，イヤホン (AirPods Pro) もしく
は補聴器 (Oticon More 3, Starkey Livio) にシス テ ム か ら の 音 を ス ト リ ー ミ ン グ し た。

図7

システム無しとシステム利用の条件における明瞭度

AirPodsPro には姿勢センサも搭載されているため，スマホを通してシステムに姿勢情報を送聴力グループごとの単語明瞭度の結果を図 7信した。補聴器装用者の場合，システムと連携に表示する。静かな環境 (clean) では，シス― 31 ―

立石科学技術振興財団

テム無しでは，「正常」「軽度」の被験者はほぼれたが，システム利用により，会話を円滑に楽100% の正解率を示すのに対し，「中等度」でしんでいる様子が見られた。

は平均 60% 程度で，補聴器装用者「中等度/補システム利用の聞き取りやすさ以外の印象評

聴 器」は 90% 前 後 で あ る。雑 音 下 (babble

定においても，聴力に依らず，顔を向けた方向noise) の条件では，システム無しでは，すべの声が際立って聞こえる機能は「良い」，声がてのグループで正解率が下がり，「中等度」で聞こえる方向は「だいたい分かる」の評定が得は 10% 前後で，ほとんど聞き取れていない状られた。興味深い結果としては，被験者のうち，態である。

3 名が片耳難聴であったが，うち 2 名は声が聞

そ れ に 対 し，雑 音 環 境 (babble noise) で，こえる方向はだいたい分かると答えた。これは，「システム無し」から「システム利用」の条件

音の空間的情報を再構築しているからではなく，の変化に着目すると，単語明瞭度が「正常」：

顔を向けた方向の対象音が際立って聞こえるか70% → 90%，「軽 度」： 40% → 80%，「中 等ら音の方向が特定できたものと考えられる。

度」：10% → 50%，「中 等 度 / 補 聴 器 装 用 者」：

実験を終えての感想として，中等度難聴の補

35% → 70%，のように，すべてのグループで聴器装用者のうち，現役の弁護士が 1 名いたが，上昇し，システムの効果が示された。

「本システムを是非法廷で使いたいので早く実音節単位で明瞭度を測定した結果 (グラフは用化してほしい」，その他，「食事会でうるさい省略) も，「正常」：80% → 95%，「軽度」：55%

から補聴器を外してしまうがシステムがあれば→ 85%，「中等度」：15% → 65%，「中等度/補

友達と会話ができそう」，「自治会の会議で使い聴器装用者」：55% → 85% のように，システムたい」等の感想もいただいた。

利用により正解率が上昇し，単語の一部のみ正しく聞き取れなかったことが分かる。

本実験の結果を踏まえて，システム利用により，軽度難聴者も，補聴器を装用した中等度難

最後に，静かな環境 (clean) でも，システ聴者も，健聴者の聴力に近づけることができた

ム利用により，「中等度」のグループによる音と言える (図 7 の赤丸)。補聴器を普段装用し節明瞭度は 70% から 85% まで上昇した。ている中等度難聴者は，日常では補聴器単体と三者対話実験における主観的評価においても， して使用し，必要な場面 (騒がしい環境や聞きシステム無しとシステム利用で，音楽の雑音を逃しができないような場面) において，聴覚支付加しても，印象が「聞き取りにくい」から援システムと連携して聴力を上げることが出来「聞き取りやすい」に著しく変化した結果が得る。一方，軽度難聴者は普段補聴器を装用しなられた (図 8)。会話中も，システム無しの条い人が殆どであるが，聴覚支援システムと連動件では，前のめりになったり，聞き返しが多して市販の AirPodsPro のようなイヤホンを装かったり，会話が全く噛み合わない場面も見ら用する場合でも十分に効果が得られることが分かった。(本研究の成果は論文にまとめて，投稿中である。)[今後の研究の方向，課題］
聴覚支援システムをより快適に利用者に提供するためには，装着デバイスを可能な限り簡略化する必要がある。軽度難聴者の場合は装着デ

図8

システム無しとシステム利用の条件における印象バイスとして，AirPodsPro のイヤホンのみで― 32 ―

Tateisi Science and Technology Foundation

利用可能であるが，補聴器の機能を必要とする

ト側の音環境を操作者側で再現して臨場感を高利用者は，姿勢センサも別途装着する必要があめるなど，AR (augmented reality) 技術としる。姿勢センサを搭載した補聴器が開発されれても応用・発展を進めている。

ば，この問題は解決するが，メーカとの共同研究開発が必要であり，課題として残される。

[成果の発表，論文など]

難聴者への支援に関しては，補聴器装用者を対象者としたが，高度難聴者で人工内耳を必要とする利用者においては，本システムを人工内耳と連携した研究開発が新たに必要となる。
なお，本プロジェクトで研究開発を進めた技

1.

劉超然，石井カルロス (2019)．
“マイクロフォンアレイおよびデプスセンサーのオンラインキャリブ
レーションに関する考察”人工知能学会研究会 AI
チャレンジ研究会, pp. 18-23, 2019.

2. C. T.

Ishi,A.

Utsumi,S.

Nagasawa (2020).

“Analysis of sound activities and voice activity

術の一部は，聴覚支援への応用に限らず，人ロ

detection using in-car microphone arrays,” Proc. of

ボットインタラクションの分野にも活用していthe 2020 IEEE/SICE International Symposium onる。騒音環境でも特定の人の発話区間の検出し，System Integration (SII 2020), pp. 640-645, 2020.
3. C. T. Ishi, C. Liu, T. Minato (2023). An attention-

その人の声を音声認識部に提供する幅広い応用

based sound selective hearing support system:が可能である。実際，開発したシステムの一部

evaluation by subjects with age-related hearing loss,

は，対話ロボットの対話相手の声を抽出する前

Proc. of the 2023 IEEE/SICE International Symposium on System Integration (SII 2023), accepted.

処理として活用している。車内対話エージェン

4. C. Liu, C. T. Ishi (2023). A Smartphone Poseトの実現に向けて，車内のさまざまな騒音環境

Auto-calibration Method using Hash-based DOA

で運転者の発話区間のみを高い精度で検出する

Estimation, Proc. of the 2023 IEEE/SICE Inter-のに有効であることも検証した [2]。現在，遠隔操作型ロボットシステムにおいても，ロボッ― 33 ―national Symposium on System Integration (SII2023), accepted.