(57)【特許請求の範囲】
【請求項１】
外部マイクアレーと補聴器を備える補聴装置であって、
前記外部マイクアレーは、音源から到来する音を入力して第１音響信号に変換する音源入力部と、前記音源入力部で変換された前記第１音響信号を、各音源に対応した音源信号に分離する音源分離部と、を備え、
前記補聴器は耳かけ式であって、左右の耳元に配置され、前記音源から到来する前記音を入力して第２音響信号に変換する両耳マイクと、前記両耳マイクで変換された左右の前記第２音響信号から、前記両耳マイクを基点とした前記音源の方向感を表す方向感成分を算出する方向感成分算出部と、前記音源信号及び前記方向感成分に基づいて、左右の出力音響信号を生成する出力信号生成部と、前記出力信号生成部で生成された前記左右の出力音響信号を出力する両耳スピーカーと、を備える、
補聴装置。
【請求項２】
前記方向感成分算出部は、左右の音量と所定の基準音量との音量差を、左右独立に算出し、
前記出力信号生成部は、前記音源信号及び前記音量差に基づいて、左右独立に前記出力音響信号を生成する、
請求項１に記載の補聴装置。
【請求項３】
音源から到来する音を入力して第１音響信号に変換する音源入力部と、
前記音源入力部で変換された前記第１音響信号を、各音源に対応した音源信号に分離する音源分離部と、
左耳元に配置され、前記音源から到来する前記音を入力して左第２音響信号に変換する左耳マイクと、
右耳元に配置され、前記音源から到来する前記音を入力して右第２音響信号に変換する右耳マイクと、
前記左第２音響信号から前記左耳マイクを起点とした前記音源の方向感を表す左方向感成分と、前記右第２音響信号から前記右耳マイクを起点とした前記音源の方向感を表す右方向感成分とを算出する方向感成分算出部と、
前記音源信号及び前記左方向感成分に基づいて左出力音響信号と、前記音源信号及び前記右方向感成分に基づいて右出力音響信号とを生成する出力信号生成部と、
前記左出力音響信号を出力する左耳スピーカーと、
前記右出力音響信号を出力する右耳スピーカーと、
を備え、
前記方向感成分算出部は、前記左第２音響信号の音量と所定の基準音量との音量差である左音量差と、前記右第２音響信号の音量と前記所定の基準音量との音量差である右音量差とを、独立に算出し、
前記出力信号生成部は、前記音源信号及び前記左音量差に基づいて前記左出力音響信号と、前記音源信号及び前記右音量差に基づいて前記右出力音響信号とを、独立に生成する、
補聴装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補聴装置に関する。
【背景技術】
【０００２】
特許文献１では、発話者の方向にマイクアレーの指向性を向けて、マイクで収音する音を明瞭にする補聴装置が開示されている。また、特許文献２及び特許文献３では、ヘッドホン装着者の頭部の回転角度を、デジタル振動ジャイロやカメラなどのセンサで検出し、ヘッドホン装着者の頭部が回転しても仮想的な音像が動かない音像定位技術が開示されている。特許文献４においても、ヘッドトラッカにより頭部の回転角度を検出する方法が開示されている。
【０００３】
特許文献２に開示されている音像定位技術と、特許文献１に開示されている補聴装置を組み合わせた場合、例えば、図１０に示すような補聴装置が実現できる。図１０は、従来の補聴装置の構成を示すブロック図である。図１０に示す従来の補聴装置は、外部マイクアレー９００と、補聴器８００と、を備える。
【０００４】
補聴器８００は、両耳スピーカー８０１と、仮想音像回転部８０３と、逆写像ルール記憶部８０５と、方向基準設定部８０９と、頭部回転角度センサ８１１と、方向推定部８１３とを、備える。
【０００５】
頭部回転角度センサ８１１は、例えば、デジタル振動ジャイロで構成され、補聴装置を装着する者の頭部の回転角度を検知する。
方向基準設定部８０９は、方向基準設定スイッチを備える。方向基準設定部８０９は、補聴器８００を装着する者が方向基準設定スイッチを操作することで、仮想音源の方向を定める基準方向を設定したり、頭部回転角度センサ８１１をリセットしたりすることができる。
【０００６】
頭部回転角度センサ８１１は、補聴器８００の装着者の頭部の回転を検知する。
方向推定部８１３は、頭部回転角度センサ８１１が検知する回転角度を逆方向に積分し、定位させたい仮想音源の方向を、方向基準設定スイッチで設定された基準方向からの角度として決定する。
逆写像ルール記憶部８０５は、方向推定部８１３で決定された角度を方向感成分に変換するための逆写像ルールが記憶されている。
【０００７】
仮想音像回転部８０３は、逆写像ルールを参照して、後述する音源分離部９０２によって分離された発話者の音声の音像を、方向推定部８１３で決定された方向に回転させる。
両耳スピーカー８０１は、仮想音像回転部８０３と、仮想音像回転部８０３で回転した発話者の音声の音像を、左耳用の音響信号と右耳用の音響信号として表現しそれぞれ出力する。
【０００８】
外部マイクアレー９００は、音源入力部９０１と、音源分離部９０２と、を備える。
音源入力部９０１は、所定の配置に並べられた複数のマイクから構成され、外部からの音を多チャンネルで取り込む。
音源分離部９０２は、発話者の方向に外部マイクアレー９００の指向性を向けて発話者の音声を分離する。分離された発話者の音声は、上述した仮想音像回転部８０３へ転送される。
【０００９】
上述のような従来の補聴装置では、方向推定部８１３で決定された角度を方向感成分に変換するための逆写像ルールを予め保持しておき、この逆写像ルールを参照することで、装着者に対する発話者の音声の音像の方向を決定することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平９−１４００００号公報
【特許文献２】特開平８−９４９０号公報
【特許文献３】特開２００４−２３１８０号公報
【特許文献４】特表２００６−５０３５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述のような従来の補聴装置では、人が音の到来方向を知覚する際に手がかりとする方向感成分として、伝達関数で表現される周波数特性や両耳間音量差や両耳間時間差と、人が知覚する音の到来方向との写像関係を予め求めておき、その逆写像から音像を定位させる必要があった。
【００１２】
本発明の目的は、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる補聴装置を提供することである。
【課題を解決するための手段】
【００１３】
本発明は、音源から到来する音を入力して第１音響信号に変換する音源入力部と、前記音源入力部で変換された前記第１音響信号を、各音源に対応した音源信号に分離する音源分離部と、左右の耳元に配置され、前記音源から到来する前記音を入力して第２音響信号に変換する両耳マイクと、前記両耳マイクで変換された左右の前記第２音響信号から、前記両耳マイクを基点とした前記音源の方向感を表す方向感成分を算出する方向感成分算出部と、前記音源信号及び前記方向感成分に基づいて、左右の出力音響信号を生成する出力信号生成部と、前記出力信号生成部で生成された前記左右の出力音響信号を出力する両耳スピーカーと、を備え、前記方向感成分算出部は、左右の音量と所定の基準音量との音量差を、左右独立に算出し、前記出力信号生成部は、前記音源信号及び前記音量差に基づいて、左右独立に前記出力音響信号を生成する、補聴装置を提供する。
【００１４】
本発明の補聴装置によれば、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
また、上記構成によれば、左右の通信に伴う処理遅れが生じないようにできる。
【発明の効果】
【００１５】
本発明に係る補聴装置によれば、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
【図面の簡単な説明】
【００１６】
【図１】実施の形態１の補聴装置の構成を示すブロック図
【図２】実施の形態１の補聴装置の構成を、詳細に示すブロック図
【図３】実施の形態１の補聴装置の使用例１を示す図
【図４】実施の形態１の補聴装置の使用例２を示す図
【図５】本実施の形態１の補聴装置の構成図、及び補聴装置を用いた会議システムの構成図
【図６】図５に示す補聴器１００の変形例
【図７】実施の形態２の補聴装置の構成を示すブロック図
【図８】実施の形態２の補聴装置の構成を、詳細に示すブロック図
【図９】実施の形態２の補聴装置の使用例を示す図
【図１０】従来の補聴装置の構成を示すブロック図
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１８】
（実施の形態１）
図１は、実施の形態１の補聴装置の構成を示すブロック図である。図１に示すように、第１の実施の形態の補聴装置は、補聴器１００と、外部マイクアレー３００と、を備える。図３は、実施の形態１の補聴装置の使用例１を示す図であり、図４は、実施の形態１の補聴装置の使用例２を示す図である。
【００１９】
図２は、図１に示す補聴装置の構成を、詳細に示すブロック図である。図２において図１と同一の参照番号が付与されている構成要素は、図１における構成要素と同一の機能を有する。
【００２０】
図１を参照し、実施の形態１の補聴装置の一部を構成する補聴器１００の構成を説明する。補聴器１００は、右耳に装着する右ユニット及び左耳に装着する左ユニットからなる。左右の各ユニットは、両耳マイク１０１の各耳用のマイクと、方向感成分算出部１０３と、出力信号生成部１０５と、両耳スピーカー１０７の各耳用のスピーカーから構成される。補聴器１００の左右のユニット間は無線で通信する。なお、補聴器１００の左右のユニット間は有線で通信するよう構成されても良い。
【００２１】
両耳マイク１０１は、右ユニットの一部を構成する右耳マイク１０１Ａと左ユニットの一部を構成する左耳マイク１０１Ｂとから構成される。両耳マイク１０１は、補聴器１００の装着者の左右の耳元で、音源から補聴器１００の装着者に到来する音を入力し、音響信号に変換する。
【００２２】
方向感成分算出部１０３は、両耳マイク１０１で変換された音響信号から、両耳間時間差および両耳間音量差を、音源から前記両耳マイクの装着者に到来する前記音の到来方向を補聴器１００の装着者が感じる方向感成分として算出する。つまり、方向感成分は、両耳マイク１０１の装着者を基点とした音源の方向感を表す。
【００２３】
両耳間時間差を方向感成分として算出する場合、方向感成分算出部１０３は、右耳マイク１０１Ａで変換された右の音響信号の時間と左耳マイク１０１Ｂで変換された左の音響信号の時間とをずらしながら相互相関値を計算する。そして、相互相関値が最大となる時間を両耳間時間差とする。両耳間音量差を方向感成分として算出する場合、方向感成分算出部１０３は、両耳間時間差の分だけ、右耳マイク１０１Ａで変換された右の音響信号の時間と左耳マイク１０１Ｂで変換された左の音響信号とをずらして、左右の音響信号のパワー比を求める。そして、方向感成分算出部１０３は、左右の音響信号のパワー比を両耳間音量差とする。
【００２４】
上述のように、方向感成分算出部１０３は、音源から両耳マイク１０１に到達する音から、直接的に、音源から到来する音の方向感成分を算出する。そのため、実施の形態１の補聴装置は、音源から到来する音の方向を忠実に再現することができる。なお、方向感成分算出部１０３は、両耳間時間差及び両耳間音量差のいずれか一方を方向感成分として算出しても良いし、両耳間時間差及び両耳間音量差の両方を方向感成分として算出しても良い。
【００２５】
出力信号生成部１０５は、方向感成分算出部１０３で算出された方向感成分と、後述する外部マイクアレー３００から受信した音源信号とから、左右の各スピーカーから出力するための左右の音響信号を生成する。出力信号生成部１０５は、方向感成分のひとつである両耳間時間差から、左ユニット及び右ユニットのうち、どちらのユニットが音源から離れているかを判定する。
【００２６】
音源からより離れているユニットに対して出力信号生成部１０５は、後述する外部マイクアレー３００の音源分離部３０３から受信した音源信号を、両耳間時間差の分だけ遅延させる。さらに、音源からより離れているユニットに対して出力信号生成部１０５は、当該ユニットの両耳スピーカー１０７の音量を、両耳間音量差の分だけ小さくするよう制御する。
【００２７】
また、左右のユニットのうち音源に近いユニットに対して出力信号生成部１０５は、音源分離部３０３から受信した音源信号をそのまま両耳スピーカー１０７へ出力する。
【００２８】
両耳スピーカー１０７は、右ユニットの一部を構成する右耳スピーカー１０７Ａと左ユニットの一部を構成する左耳スピーカー１０７Ｂとから構成される。両耳スピーカー１０７は、補聴器１００の装着者の左右の耳元で、出力信号生成部１０５で生成された音源信号を左右の音響信号として出力する。
【００２９】
次に、図１を参照し、実施の形態１の補聴装置の一部を構成する外部マイクアレー３００の構成を説明する。外部マイクアレー３００は、音源入力部３０１と、音源分離部３０３と、を備える。実施の形態１の補聴装置では、外部マイクアレー３００は、補聴器１００の両耳マイク１０１よりも近い場所に設置される。外部マイクアレー３００は、補聴器１００の左右のユニット間と、無線で通信する。なお、外部マイクアレー３００は、補聴器１００の左右のユニット間と、有線で通信するように構成されても良い。
【００３０】
音源入力部３０１は、音源から外部マイクアレー３００に到来する音を入力し、音響信号に変換する。音源入力部３０１は、複数のマイクで構成される。
音源入力部３０１で変換された各マイクの音響信号は、音源分離部３０３へ転送される。
【００３１】
音源分離部３０３は、各マイクに音源から到来する音の到来時間の差を利用して、外部マイクアレー３００を基点とした音源の方向を検出する。
【００３２】
音源分離部３０３は、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し、各マイクの音響信号を加算することで、音源分離部３０３は、外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号を生成し、補聴器１００の出力信号生成部１０５へ無線で送信する。
【００３３】
ここで、音源分離部３０３で生成された音源信号は、外部マイクアレー３００を基点として、対象の音源から到来する音を強調（指向性処理）されている。そのため、音源分離部３０３で生成された音源信号では、対象となる音源の音以外の音が抑圧され、対象となる音源の音が明瞭となっている。なお、外部マイクアレー３００の位置が、両耳マイク１０１の位置より音源の位置に近い場合、音源分離部３０３で生成される音源信号では、さらに対象となる音源の音が明瞭となっている。
【００３４】
次に、図３を参照し、実施の形態１の補聴装置の動作例１を説明する。
【００３５】
（動作例１）
図３に示すように、補聴器１００を装着する人物Ａと、人物Ｂと、人物Ｃとが、中央付近に外部マイクアレー３００が設置されている円卓７００を囲んで会議をしている。図３では、人物Ｂが発話をしている間、人物Ａは人物Ｂを斜め右方向に見て人物Ｂの話を聞いている。
【００３６】
まず、人物Ｂが発話した音が、２つのマイク系統から入力され、音響信号に変換される。第１のマイク系統は、外部マイクアレー３００の音源入力部３０１を構成する複数のマイクであり、第２のマイク系統は、補聴器１００の両耳マイク１０１である。
【００３７】
（第１のマイク系統）
外部マイクアレー３００の音源入力部３０１では、発話する人物Ｂから外部マイクアレー３００に到来する音（矢印１）が入力され、音響信号に変換される。外部マイクアレー３００の音源入力部３０１を構成する複数のマイクのそれぞれが、音源である人物Ｂから到来する人物Ｂの発話の音を収音する。
音源入力部３０１で変換された音響信号は、音源分離部３０３へ転送される。
【００３８】
音源分離部３０３では、各マイクに到来する人物Ｂの発話の音の到来時間の差を利用して、外部マイクアレー３００を基点とした音源の方向を示す音源方向が検出される。
音源分離部３０３では、各マイクの音響信号が、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し加算され、外部マイクアレー３００を基点とした音源の方向に指向性処理される。そして、指向性処理された音響信号は、外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号として、補聴器１００の出力信号生成部１０５へ無線で送信される。
【００３９】
（第２のマイク系統）
補聴器１００の両耳マイク１０１を構成する右耳マイク１０１Ａ及び左耳マイク１０１Ｂではそれぞれ、発話する人物Ｂから両耳マイク１０１に到来する音（矢印２Ａ及び矢印２Ｂ）が、音響信号に変換される。
【００４０】
右耳マイク１０１Ａ及び左耳マイク１０１Ｂで、それぞれ変換された左右の音響信号は、方向感成分算出部１０３へ転送される。
【００４１】
方向感成分算出部１０３では、両耳マイク１０１で変換された左右の音響信号から、両耳間時間差および両耳間音量差のうち少なくともいずれか一方が、両耳マイク１０１の装着者を基点とした音源の方向を示す方向感成分として、算出される。図３に示す動作例１では、人物Ａは、音源である人物Ｂを右側に見ているので、右耳マイク１０１Ａを基準にした両耳時間差はプラスの値、両耳音量差（パワー比）は１以下の値となる（矢印２Ｂは矢印２Ａよりも長い）。方向感成分算出部１０３で算出された方向感成分は、出力信号生成部１０５へ転送される。
【００４２】
出力信号生成部１０５では、方向感成分算出部１０３で算出された方向感成分と外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号とから、両耳スピーカー１０７から出力するための左右の音響信号が生成される。
【００４３】
図３に示す動作例１では、人物Ａの左耳が人物Ａの右耳より人物Ｂから離れている。そのため、出力信号生成部１０５では、人物Ａの左耳スピーカー１０７Ｂから出力される左の音響信号が、方向感成分である両耳間時間差の分だけ遅延される。
【００４４】
また、出力信号生成部１０５では、左の音響信号を出力するための左耳スピーカー１０７Ｂの音量が、両耳間音量差の分だけ小さくなるよう左耳スピーカー１０７Ｂが制御される。
【００４５】
また、出力信号生成部１０５では、音源分離部３０３から受信した音源信号が、右の音響信号として、右耳スピーカー１０７Ａから出力するために右耳スピーカー１０７Ａへ転送される。
【００４６】
上述のように、両耳スピーカー１０７の左耳スピーカー１０７Ｂ及び右耳スピーカー１０７Ａから出力される音響信号では、（１）方向感成分算出部１０３で算出され、両耳マイク１０１の装着者を基点とした音源の方向感を表す方向感成分により、音源である人物Ｂの発話の音が到来する方向が忠実に再現され、かつ（２）外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号により、音源である人物Ｂの発話の音声の明瞭性が高められている。
【００４７】
次に、図４を参照し、実施の形態１の補聴装置の動作例２を説明する。
【００４８】
（動作例２）
図４に示すように、補聴器１００を装着する人物Ａと、人物Ｂと、人物Ｃとが、中央付近に外部マイクアレー３００が設置されている円卓７００を囲んで会議をしているとする。図４では、図３に示す状態から、人物Ｂが発話をやめ、人物Ａが外部マイクアレー３００を正面に見ていたのを、発話を開始した人物Ｃを正面に見る方に向きなおし、人物Ｃの発話を聞いている。
【００４９】
まず、人物Ｃの発話した音が、２つのマイク系統から入力され、音響信号に変換される。第１のマイク系統は、外部マイクアレー３００の音源入力部を構成する複数のマイクであり、第２のマイク系統は、補聴器１００の両耳マイク１０１である。
【００５０】
（第１のマイク系統）
外部マイクアレー３００の音源入力部３０１では、発話する人物Ｃから外部マイクアレー３００に到来する音が（矢印３）入力され、音響信号に変換される。
外部マイクアレー３００の音源入力部３０１を構成する複数のマイクのそれぞれが、音源である人物Ｃから到来する人物Ｃの発話の音を収音する。
【００５１】
音源分離部３０３では、各マイクに到来する人物Ｃの発話の音の到来時間の差を利用して、外部マイクアレー３００を基点とした音源の方向を示す音源方向が検出される。
【００５２】
音源分離部３０３では、各マイクの音響信号が、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味して加算され、外部マイクアレー３００を基点とした音源の方向に指向性処理される。そして、指向性処理された音響信号は、外部マイクアレー３００と基点とした音源の方向に指向性処理された音源信号として、補聴器１００の出力信号生成部１０５へ無線で送信される。
【００５３】
（第２のマイク系統）
補聴器１００の両耳マイク１０１を構成する右耳マイク１０１Ａ及び左耳マイク１０１Ｂではそれぞれ、発話する人物Ｃから両耳マイク１０１に到来する音（矢印４Ａ及び矢印４Ｂ）が、入力され、音響信号に変換される。
右耳マイク１０１Ａ及び左耳マイク１０１Ｂで、それぞれ変換された左右の音響信号は、方向感成分算出部１０３へ転送される。
【００５４】
方向感成分算出部１０３では、両耳マイク１０１で変換された左右の音響信号から、両耳間時間差および両耳間音量差のうち少なくともいずれか一方が、両耳マイク１０１の装着者を基点とした音源の方向感を表す方向感成分として、算出される。図４に示す動作例２では、人物Ａは、人物Ｃを左に見る方向から人物Ｃを正面に見る方向に向きなおしているので、両耳時間差は、左耳マイク１０１Ｂを基準とするとプラスの値から０に、両耳音量差（パワー比）は１より小さい値から１に、それぞれ変化する（矢印４Ａと矢印４Ｂの長さが等しくなる）。方向感成分算出部１０３で算出される方向感成分は、出力信号生成部１０５へ転送される。
【００５５】
出力信号生成部１０５では、方向感成分算出部１０３で算出された方向感成分と外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号とから、両耳スピーカー１０７から出力するための左右の音響信号が生成される。
【００５６】
両耳スピーカー１０７の左耳スピーカー１０７Ｂ及び右耳スピーカー１０７Ａから、出力信号生成部１０５で合成された左右の音響信号が出力される。
【００５７】
図４に示す動作例２では、人物Ａが外部マイクアレー３００を正面に見る方向から人物Ｃを正面に見る方向に向きなおす間、出力信号生成部１０５では、方向感成分である両耳間時間差が測定値から算出される値からゼロに変化する。さらに、出力信号生成部１０５は、右耳スピーカー１０７Ａの音量を、両耳間音量差の分だけ小さくするよう右耳スピーカー１０７Ａを制御し、次第に左と等しくする。そのため、人物Ａが外部マイクアレー３００を正面に見ているとき、右耳の右耳スピーカー１０７Ａからは左耳の左耳スピーカー１０７Ｂと比べて人物Ｃの発話が遅れて小さく音が出力されている。しかし、人物Ａが外部マイクアレー３００を正面に見る方向から人物Ｃを正面に見る方向に向きなおすにつれて、左耳スピーカー１０７Ｂだけでなく右耳の右耳スピーカー１０７Ａからも人物Ｃの発話が遅れずに同じ大きさの音が出力されるように変化する。そして、人物Ａは人物Ｃを正面から見たとき、人物Ａは正面から人物Ｃの発話が正面から聞こえるようになる。
【００５８】
言い換えると、人物Ａに対する人物Ｃの発話による音像は、補聴器１００の装着者である人物Ａの動きに応じて動かない。
【００５９】
上述のように動作例２において、本実施の形態１の補聴装置では、人物Ａに対する人物Ｃの発話による音像は、補聴器１００を装着する人物Ａの動きに応じて動かない。
【００６０】
また、両耳スピーカー１０７の左耳スピーカー１０７Ｂ及び右耳スピーカー１０７Ａから出力される音響信号では、（１）方向感成分算出部１０３で算出され、両耳マイク１０１の装着者を基点とした音源の方向を示す方向感成分により、音源である人物Ｃの発話の音声が到来する方向が忠実に再現され、かつ（２）外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号により、音源である人物Ｃの発話の音声の明瞭性が高められている。したがって、実施の形態１の補聴装置は、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
【００６１】
図５は、本実施の形態１の補聴装置の構成図、及び補聴装置を用いた会議システムの構成図を示す。
【００６２】
補聴装置は、補聴器１００と外部マイクアレー３００とを含む。補聴器１００は、補聴器本体１１０と、右耳マイク１０１Ａ及び右耳スピーカー１０７Ａ、並びに左耳マイク１０１Ｂ及び左耳スピーカー１０７Ｂとを含み、互いに有線によって接続される。外部マイクアレー３００は、スピーカーホン本体３１０と２つの外部マイク３２０とを含み、２つの外部マイク３２０とスピーカーホン本体３１０とは、有線Ｌ１によって接続される。スピーカーホン本体３１０は、４つの内蔵マイク３３０を含む。補聴器１００に含まれる補聴器本体１１０と、外部マイクアレー３００に含まれるスピーカーホン本体３１０とは、有線Ｌ２によって接続される。
【００６３】
補聴器本体１１０、及びスピーカーホン本体３１０は、それぞれ、電源、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、通信部、記憶部、制御部を含む。
【００６４】
図５に示すように、補聴装置を用いた会議システムは、補聴装置、机７１０、及び複数の椅子７２０から構成される。複数の椅子７２０は、机７１０の周りに設置される。椅子７２０に座る話者の音声は、外部マイクアレー３００、並びに右耳マイク１０１Ａ及び左耳マイク１０１Ｂに入力される。話者の音声は、外部マイクアレー３００を介して、明瞭性の高い音声成分として両耳スピーカー１０７に出力される。また、話者の音声は、右耳マイク１０１Ａ及び左耳マイク１０１Ｂを介して、方向感成分として両耳スピーカー１０７に出力される。補聴装置の利用者は、明瞭性の高い音声成分と方向感成分とに基づいて、話者の音声を明瞭に、かつ到来方向を知覚して聞くことができる。
【００６５】
なお、以上の説明は、有線Ｌ１、Ｌ２によって各部が接続されているものとしたが、無線によって各部が接続されてもよい。例えば、右耳マイク１０１Ａと右耳スピーカー１０７Ａと、を備える右耳ユニット１１０Ｒ、左耳マイク１０１Ｂと左耳スピーカー１０７Ｂとを備える左耳ユニット１１０Ｌ、及び外部マイクアレー３００のそれぞれが、電源、ＤＳＰ、通信部、記憶部、制御部などを含み、互いに無線で通信するとしてもよい。
【００６６】
また、図６に示すように、図５に示す、補聴装置を用いた会議システムにおいて、補聴器１００にリモコンユニット１３０を加えてもよい。図６中、無線で通信する部分を破線で示した。リモコンユニット１３０は、補聴器１００の出力音量を変更するなどのユーザーによる制御が基本機能であるが、４つのマイク１３１で構成されるマイクアレーを実装することにより、外部マイクアレー３００としても利用できるようになる。このリモコンユニット１３０は、たとえば、携帯電話１５０上に実装することができる。
【００６７】
有線であるか無線であるか、また補聴装置に含まれる各ユニットの構成によらず、いずれの場合にも、補聴装置における情報処理は、通信による処理遅延や電力消費量などを考慮して、補聴器１００と外部マイクアレー３００とに含まれる複数のユニット間で適切に分散されるのが望ましい。
【００６８】
例えば、図５では、図１のブロック構成に従い、スピーカーホン本体３１０が内蔵するＤＳＰが音源入力処理及び音源分離処理を行い、補聴器本体１１０が内蔵するＤＳＰがその他の処理を行えばよい。これにより、外部マイクアレー３００と補聴器１００との間の通信信号は、分離された音声信号だけを含めばよく、通信容量が少なくて済むという効果がある。また、処理量の多い音源分離を、ＡＣアダプターを利用可能なスピーカーホン本体３１０で行うことにより、補聴器本体１１０の電力消費量を抑えられるという効果がある。
【００６９】
また、例えば、図６では、無線通信に伴う処理遅延が、有線通信よりも顕著になるので、通信量に配慮した方がよい。
【００７０】
方向感成分として両耳間音量差が用いれば、左右の音量のそれぞれと所定の基準音量との差を用いて左右の出力信号の音量を決定することができる。これによって、補聴器本体１１０の左右ユニットからリモコンユニット１３０への信号の送信による処理遅れは生じないため、方向感成分が自然のままに保たれるという効果がある。さらに、左右の音量の直接比較は不要となるため、補聴器本体１１０の右ユニット内で右の出力信号を生成し、補聴器本体１１０の左ユニット内で左の出力信号を生成し、左右独立に処理を行うことが可能となるので、左右の通信に伴う処理遅れについても生じないという効果がある。
【００７１】
なお、本実施の形態１の補聴装置の補聴器１００の形は特に限定されるものでない。しかし例えば、本実施の形態１の補聴装置の補聴器１００の形をカナル型にすれば、本実施の形態１の補聴装置は、両耳マイク１０１の装着者の頭部の向きだけでなく、補聴器１００の装着者の各部位（耳介、肩、胴体）の大きさや形に依存する反射による影響を反映させた方向感成分を生成することができる。
【００７２】
なお、本実施の形態１の補聴装置では、外部マイクアレー３００を円卓７００の中央付近に設置しているが、これに限らない。各話者がヘッドセット型の外部マイクアレー３００を装着しても良い。この場合、外部マイクアレーは、音源入力部３０１で構成され、音源分離部３０３は必要ない。
【００７３】
なお、本実施の形態１の補聴装置では、両耳スピーカー１０７は、例えば、ヘッドホンに内蔵しても良い。
【００７４】
なお、本実施の形態１の補聴装置では、両耳マイク１０１は、例えば、ヘッドホンに内蔵しても良い。
【００７５】
なお、本実施の形態１の補聴装置では、外部マイクアレー３００の音源入力部３０１を一つのマイクで構成し、外部マイクアレー３００を両耳マイク１０１よりも、音源の近くに配置しても良い。
【００７６】
（実施の形態２）
図７は、実施の形態２の補聴装置の構成を示すブロック図である。また、図８は、実施の形態２の補聴装置の構成を、詳細に示すブロック図である。図７に示すように、第２の実施の形態の補聴装置は、補聴器２００と、外部マイクアレー４００と、を備える。図９は、実施の形態２の補聴装置の使用例を示す図である。
【００７７】
図７を参照し、実施の形態２の補聴装置の一部を構成する補聴器２００の構成を説明する。実施の形態２の補聴装置の両耳マイク及び両耳スピーカーは、実施の形態１の両耳マイク１０１及び両耳スピーカー１０７とその構成が同じである。そのため、図１と同じ参照番号が付されている。
【００７８】
補聴器２００は、右耳に装着する右ユニット及び左耳に装着する左ユニットからなる。左右の各ユニットは、両耳マイク１０１と、出力信号生成部２０５と、両耳伝達特性計測部２０７と、音源位置推定部２０９と、両耳スピーカー１０７と、音声検出部２１１とから構成される。補聴器２００の左右のユニット間は無線で通信する。なお、補聴器２００の左右のユニット間は有線で通信するよう構成されても良い。
【００７９】
両耳マイク１０１は、右ユニットの一部を構成する右耳マイク１０１Ａと左ユニットの一部を構成する左耳マイク１０１Ｂとから構成される。両耳マイク１０１は、補聴器２００の装着者の左右の耳元で、音源から補聴器２００の装着者に到来する音を入力し、音響信号に変換する。そして、変換された音響信号は、補聴器２００装着者の左右の耳の伝達関数を求めるために、両耳伝達特性計測部２０７へ転送される。
【００８０】
音声検出部２１１は、後述するように、外部マイクアレー４００の音源分離部４０３で分離された各音源信号を受信し、その音源信号から発話している人物の音声を検出する。音声検出部２１１は、音源ごとに分離された音源信号毎に所定の時間区間のパワーを求める。そして、所定の時間区間のパワーが閾値以上である音源を、発話している人物の音声として検出する。なお、音声検出部２１１は、発話している人物の音声を検出する場合に用いる音源信号の要素として、パワーに加えて、調波構造を表すパラメータ（例えば、ピッチを仮定した櫛型フィルタによるパワーと広帯域パワーの比）を用いても良い。
【００８１】
両耳伝達特性計測部２０７は、発話している人物の音声として音声検出部２１１で検出された音源信号（以下、音声信号と記載）と右耳マイク１０１Ａからひろった右の音響信号との間の伝達関数（以下、右の伝達特性と記載）を求める。同様に、両耳伝達特性計測部２０７は、音声信号と左耳マイク１０１Ｂからひろった左の音響信号との間の伝達関数（以下、左の伝達特性と記載）を求める。両耳伝達特性計測部２０７は、各耳の伝達特性と、外部マイクアレー４００を基点とした音源の方向を示す方向（以下、音源方向と記載）とを対応付ける。そのため、音声として検出された音声信号が複数ある場合でも、両耳伝達特性計測部２０７は、各音源の音源方向を表現できる。
【００８２】
なお、実施の形態２の補聴装置において、実施の形態１における方向感成分は、両耳伝達特性計測部２０７で求められる各耳の伝達特性が相当する。
【００８３】
なお、複数人の発話者が同時に発話している場合、すわなち、音声検出部２１１が、音源ごとに分離された音源信号を複数同時に検出した場合、両耳伝達特性計測部２０７は、各耳の伝達関数の計測を停止する。その場合、各耳の伝達関数の計測を停止する直前の伝達関数を利用することで、各人物の音源方向感を保持できる。
【００８４】
音源位置推定部２０９は、両耳伝達特性計測部２０７で求められた、音源方向と対応付けられた左右の耳の伝達関数に基づき、各音源の位置を推定することができる。
【００８５】
まず、音源位置推定部２０９は、音源方向と対応付けられた各耳の伝達関数のインパルス応答上で、最初のピークを持つ時間から、外部マイクアレー４００から両耳マイク１０１までの音の到達時間を求める。この到達時間から、補聴器２００の装着者からの各音源の遠近を推定することができる。さらに、音源位置推定部２０９は、左右の耳の伝達関数のインパルス応答から時間をずらしながら相互相関値を計算し、相互相関値が最大となる時間を両耳間時間差として求める。
【００８６】
そして、音源位置推定部２０９は、複数の音源のうち、到達時間が最小の値を持ち、かつ、両耳間時間差が０に近い音源を補聴器２００の装着自身の発話とする。したがって、音源位置推定部２０９は、両耳伝達特性計測部２０７で求められた、音源方向と対応付けられた左右の耳の伝達関数に基づき、各音源の位置を推定することができる。そして、音源位置推定部２０９の推定結果は、出力信号生成部２０５で参照される。
上述のように、実施の形態２の補聴装置では、音声検出部２１１と、両耳伝達特性計測部２０７と、音源位置推定部２０９とが、実施の形態１の方向感成分算出部と同じ機能を備えている。
【００８７】
出力信号生成部２０５は、両耳伝達特性計測部２０７で計測された左右の伝達特性と、及び左右の音声信号とから、それぞれ両耳スピーカー１０７の右耳スピーカー１０７Ａ及び左耳スピーカー１０７Ｂから出力するための左右の音響信号を生成する。出力信号生成部２０５は、第１のマイク系統の音声信号に、左右の伝達特性を表す伝達関数のインパルス応答を畳み込んで、左右の音響信号を生成する。
【００８８】
なお、出力信号生成部２０５は、必要に応じて音源位置推定部２０９の推定結果を参照し、左右の音声信号の音源が、補聴器２００の装着者自身であるかどうかを判断する。音源位置推定部２０９で、音源が補聴器２００の装着自身と判断された場合、出力信号生成部２０５は、第１のマイク系統の音声信号は両耳スピーカー１０７へ出力せず、第２のマイク系統の音声信号を両耳スピーカー１０７へ出力する。これによって、装着者自信の声も明瞭でかつ時間遅れの少ない音声を違和感なく聞くことができる。
【００８９】
両耳スピーカー１０７は、右ユニットの一部を構成する右耳スピーカー１０７Ａと左ユニットの一部を構成する左耳スピーカー１０７Ｂとから構成される。両耳スピーカー１０７は、補聴器２００の装着者の左右の耳元で、出力信号生成部２０５で生成された音源信号を左右の音響信号として出力する。
【００９０】
次に、図７、図８を参照し、実施の形態２の補聴装置の一部を構成する外部マイクアレー４００の構成を説明する。実施の形態２の補聴装置において、外部マイクアレーの音源入力部３０１は、実施の形態１の外部マイクアレーの音源入力部と同じ構成である。そのため、図１と同じ参照番号が付されている。
【００９１】
外部マイクアレー４００は、音源入力部３０１と、音源分離部４０３と、を備える。実施の形態２の補聴装置において、外部マイクアレー４００は、補聴器２００の両耳マイク１０１よりも、発話者Ｂ、Ｃに近い場所に設置される。外部マイクアレー４００は、補聴器２００の左右のユニット間と、無線で通信する。なお、外部マイクアレー４００は、補聴器２００の左右のユニット間と、有線で通信するように構成されても良い。
【００９２】
音源入力部３０１は、音源から外部マイクアレー４００に到来する音を入力し、響信号に変換する。音源入力部３０１は、複数のマイクで構成される。
音源入力部３０１で変換された各マイクの音響信号は、音源分離部４０３へ転送される。
【００９３】
音源分離部４０３は、各マイクに音源から到来する音の到来時間の差を利用して、外部マイクアレー４００を基点とした音源の方向を検出する。
【００９４】
音源分離部４０３は、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し、各マイクの音響信号を加算する。そして、音源分離部３０３は、このように外部マイクアレー４００を基点とした音源の方向に指向性処理された音源信号を生成し、補聴器２００の音声検出部２１１へ無線で送信する。
【００９５】
ここで、音源分離部４０３で生成された音源信号は、外部マイクアレー４００を基点として、対象の音源から到来する音を強調（指向性処理）されている。そのため、音源分離部４０３で生成された音源信号では、対象となる音源の音以外の音が抑圧され、対象となる音源の音が明瞭となっている。なお、外部マイクアレー４００の位置が、両耳マイク１０１の位置より音源の位置に近い場合、音源分離部３０３で生成される音源信号では、さらに対象となる音源の音が明瞭となっている。
【００９６】
なお、音源分離部４０３は、独立成分分析による音源分離を行うようにしてもよい。その際、音声検出部２１１でパワーを利用するために、分離行列の逆行列の対角要素をそれぞれの独立成分に乗じて、パワー情報を復元しておく。
【００９７】
（動作例）
図９に示すように、補聴器２００を装着する人物Ａと、人物Ｂと、人物Ｃとが、中央付近に外部マイクアレー４００が設置されている円卓７００を囲んで会議をしているとする。図９では、人物Ｂ、人物Ｃが発話をしている間、人物Ａは人物Ｂを正面に見て人物Ｂの話を聞いている。
【００９８】
人物Ｂ及び人物Ｃ及び人物Ａの発話の音が、２つのマイク系統から入力され、左右の音響信号に変換される。第１のマイク系統は、外部マイクアレー４００の音源入力部を構成する複数のマイクであり、第２のマイク系統は、補聴器２００の両耳マイク１０１である。
【００９９】
（第１のマイク系統）
外部マイクアレー４００の音源入力部３０１では、人物Ｂから外部マイクアレー４００に到来する音（矢印５）が入力され、音響信号に変換される。同様に、外部マイクアレー４００の音源入力部３０１では、人物Ｃから外部マイクアレー４００に到来する音（矢印７）が、音響信号に変換される。また、外部マイクアレー４００の音源入力部３０１では、人物Ａから外部マイクアレー４００に到達する音（矢印９）についても、音響信号に変換される。外部マイクアレー４００の音源入力部３０１を構成する複数のマイクのそれぞれが、音源である人物Ｂ及び人物Ｃ及び人物Ａからそれぞれ到来する発話の音を収音する。音源入力部３０１で音響信号に変換された音響信号は、音源分離部４０３へ転送される。
【０１００】
音源分離部４０３では、例えば、各マイクに到来する人物Ｂの発話の音の到来時間の差を利用して、外部マイクアレー４００を基点とした音源の方向を示す音源方向が検出される。
【０１０１】
音源分離部４０３では、各マイクの音響信号が、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し加算され、外部マイクアレー４００を基点とした音源の方向に指向性処理される。そして、指向性処理された音響信号は、外部マイクアレー４００を基点とした音源の方向に指向性処理された音源信号として、補聴器２００の音声検出部２１１へ無線で送信される。
【０１０２】
（第２のマイク系統、補聴器２００）
補聴器２００の両耳マイク１０１の左右のマイク１０１Ａ、１０１Ｂでは、各音源から到来する各人物（人物Ｂ又は人物Ｃ又は人物Ａ）の発話の音（矢印６Ａ、矢印８Ａ、矢印１０Ａ、矢印６Ｂ、矢印８Ｂ、矢印１０Ｂ）が入力され、それぞれ音響信号に変換される。
変換された各音源の音響信号は、各マイク１０１Ａ、１０１Ｂから、両耳伝達特性計測部２０７へ転送される。
【０１０３】
また、音声検出部２１１では、外部マイクアレー４００の音源分離部４０３から受信した各音源信号から各人物Ｂ、人物Ｃ、人物Ａの音声が検出される。
【０１０４】
また、音声検出部２１１では、音源ごとに分離された音源信号毎に所定の時間区間のパワーを求める。そして、所定の時間区間のパワーが閾値以上である音源を、発話している人物の音声として検出する。検出された発話人物の音声は、音源分離部４０３で指向性処理された音源信号から検出されているので、非常に明瞭となっている。
【０１０５】
発話している人物の音声が検出された各音源信号（以下、音声信号と記載）は、両耳伝達特性計測部２０７へ転送される。
【０１０６】
両耳伝達特性計測部２０７では、音声検出部２１１から転送された各音源（人物Ｂ又は人物Ｃまたは人物Ａ）の音声信号のそれぞれと右耳マイク１０１Ａから転送された音響信号との間の伝達関数が求められる。同様に、両耳伝達特性計測部２０７では、音声検出部２１１から転送された各音源（人物Ｂ又は人物Ｃ）の音声信号のそれぞれと左耳マイク１０１Ｂから転送された音響信号との間の伝達関数が求められる。
【０１０７】
また、両耳伝達特性計測部２０７では、各音源の（人物Ｂ、人物Ｃ、人物Ａ）の各耳の伝達特性と外部マイクアレー４００を基点とした音源の方向を示す音源方向とが対応付けられている。
【０１０８】
なお、二人以上の人物が同時に発話している場合、両耳伝達特性計測部２０７では、各耳の伝達関数の計測が停止される。その場合、各耳の伝達関数の計測を停止する直前の伝達関数を使用する。
【０１０９】
音源方向と対応付けられた各音源の各耳の伝達特性は、出力信号生成部２０５及び音源位置推定部２０９へ転送される。
【０１１０】
音源位置推定部２０９では、両耳伝達特性計測部２０７で求められた、外部マイクアレー４００を基点とした音源の方向を示す音源方向と対応付けられた左右の耳の伝達関数に基づき、各音源の位置を推定することができる。
【０１１１】
なお、図９では、補聴器２００の装着者である人物Ａの発話は、複数の音源のうち、到達時間が最小の値を持ち（矢印１０Ｂと矢印９の長さの差が、矢印６Ｂと矢印５の長さの差や矢印８Ｂと矢印７の長さよりも小さい）、かつ、両耳間時間差が０に近い（矢印１０Ａと矢印１０Ｂの長さがほぼ等しい）音源として検出される。
【０１１２】
出力信号生成部２０５では、各音源の左右の音声信号のそれぞれに、音源方向と対応付けられた各音源の各耳の伝達特性を表す伝達関数のインパルス応答を畳み込んで、両耳スピーカー１０７の右耳スピーカー１０７Ａ及び左耳スピーカー１０７Ｂから出力するため左右の音響信号を合成する。図９では、音源位置推定部２０９が、補聴器２００の装着者である人物Ａの発話が検出されると、出力信号生成部２０５では、第２のマイク系統の音声信号を両耳スピーカー１０７へ出力する。
【０１１３】
両耳スピーカー１０７では、出力信号生成部２０５で合成された左右の音響信号が、それぞれ右耳スピーカー１０７Ａ及び左耳スピーカー１０７Ｂから出力される。
【０１１４】
上述のように、実施の形態２の補聴装置では、外部マイクアレー４００で処理された各音源の音が明瞭となっている左右の音声信号と、補聴器２００の両耳伝達特性計測部２０７で求められ、音源方向が対応付けられた左右の伝達関数とから生成された左右の音響信号を両耳スピーカー１０７から出力する。そのため、実施の形態２の補聴装置は、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
【０１１５】
また、実施の形態２の補聴装置において、補聴器２００の形は特に限定されるものでないが、例えばカナル型を用いると、出力信号生成部２０５で合成された左右の音響信号は、発話している人物が補聴器２００を装着している頭部の向きだけでなく、発話している人物の各部位（耳介、肩、胴体）の大きさや形から反射による影響を左右の伝達特性に含む。そのため、実施の形態２の補聴装置において、補聴器２００の装着者は、両耳スピーカー１０７から出力される音の方向感をリアルタイムに感じることができる。
【０１１６】
なお、実施の形態２における補聴装置についても、実施の形態１において図５で示した補聴装置の構成図、及び会議システムの構成図を適用できる。
【０１１７】
本出願は、２００９年１月２２日出願の日本特許出願（特願２００９−０１２２９２）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【０１１８】
本発明に係る補聴装置は、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができるという効果を有し、補聴装置等として有用である。
【符号の説明】
【０１１９】
１００、２００、８００  補聴器
１０１          両耳マイク
１０１Ａ        右耳マイク
１０１Ｂ        左耳マイク
１０３、２０３      方向感成分算出部
１０５、２０５      出力信号生成部
１０７、８０１      両耳スピーカー
１０７Ａ        右耳スピーカー
１０７Ｂ        左耳スピーカー
１１０          補聴器本体
１３０          リモコンユニット
２０７          両耳伝達特性計測部
２０９          音源位置推定部
２１１          音声検出部
３００、４００、９００  外部マイクアレー
３０１、９０１      音源入力部
３０３、４０３、９０２  音源分離部
３１０          スピーカーホン本体
３２０          外部マイク
７００          円卓
７１０          机
７２０          複数の椅子
８０３          仮想音像回転部
８０５          逆写像ルール記憶部
８０７          頭部角度センサ
８０９          方向基準設定部
８１３          方向推定部
【図１】
0005642851.tif 000002
【図２】
0005642851.tif 000003
【図３】
0005642851.tif 000004
【図４】
0005642851.tif 000005
【図５】
0005642851.tif 000006
【図６】
0005642851.tif 000007
【図７】
0005642851.tif 000008
【図８】
0005642851.tif 000009
【図９】
0005642851.tif 000010
【図１０】
0005642851.tif 000011