(57)【特許請求の範囲】
【請求項１】
複数のマイクロホンから成るマイクロホンアレーと該マイクロホンアレーの出力信号を信号処理するマイクロホンアレー装置とを用いた収音方法における発音体指向性補正方法において、
複数のマイクロホンの出力信号から発音体位置を検出し、該マイクロホンの出力信号のうち発音体に近い位置にある複数のマイクロホンからの出力信号（以下、「近傍マイク出力信号」と呼ぶ）を周波数領域で監視し、該近傍マイク出力信号のうち、その周波数特性のスペクトル包絡の高域が最も高くなっているマイクロホンの方向を発音体の正面として検出し、他のマイクロホンの周波数特性との差を検出し、その差を補正することを特徴とする発音体指向性補正方法。
【請求項２】
複数のマイクロホンから成るマイクロホンアレーと該マイクロホンアレーの出力信号を信号処理するマイクロホンアレー装置とを用いた収音装置における発音体指向性補正装置において、
複数のマイクロホンの出力信号を入力して発音体位置を検出する音源位置検出手段と、該マイクロホンの出力信号のうち発音体に近い位置にある複数のマイクロホンからの出力信号（以下、「近傍マイク出力信号」と呼ぶ）を周波数領域で監視する周波数特性監視手段と、該近傍マイク出力信号のうち、その周波数特性のスペクトル包絡の高域が最も高くなっているマイクロホンの方向を発音体の正面として検出する発音体指向性検出手段と他のマイクロホン出力信号のスペクトル特性との差を検出するスペクトル差検出手段とその差を補正するスペクトル差補正手段を設けたことを特徴とする発音体指向性補正装置。
【請求項３】
請求項２に記載の発音体指向性補正装置において、
前記周波数特性監視手段は、近傍マイク出力信号を周波数領域に変換する周波数領域変換手段と周波数領域信号から周波数特性のスペクトル包絡を抽出するスペクトル包絡抽出手段から構成されることを特徴とする発音体指向性補正装置。
【請求項４】
請求項３に記載の発音体指向性補正装置において、
前記スペクトル包絡抽出手段は、該周波数領域信号から低次のケプストラムを抽出する手段と該低次のケプストラムから該スペクトル包絡を抽出する手段から構成されることを特徴とする発音体指向性補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のマイクロホンで構成されるマイクロホンアレーの出力信号を信号処理して高いＳＮ比で目的音を収音する際に発話者などの発音体の指向性を補正する方法およびその装置に係り、特に発音体に近い位置にある複数のマイクロホンからの出力（以下、「近傍マイク出力」と呼ぶ）を周波数領域で監視し、該近傍マイク出力のうち、その周波数特性のスペクトル包絡の高域が最も高くなっているマイクロホンの方向を発音体の正面として検出し、他のマイクロホンの周波数特性との差を検出し、その差を補正する方法および装置に関する。
【０００２】
【従来の技術】
近年、マルチメディア技術の進歩に伴い、マイクロホンとスピーカを用いた、拡声通話形態によるテレビ会議などの通信会議が可能になりつつある。その場合に、通信会議の机上に話者数分のマイクロホンを設置することなくマイクロホンを意識しない自然な通話が可能で、かつ音声等の目的音のみを収音する収音装置が求められている。
【０００３】
そのような収音装置の例として、複数のマイクロホン（マイクロホンアレー）を設置して、それらの出力を信号処理して目的音を抽出する収音装置がある。このようなマイクロホンアレーを用いて雑音を抑圧し目的音を抽出する信号処理方式には、遅延和方式、AMNORなど多数知られているが（例えば、大賀、山崎、金田共著「音響システムとディジタル処理」電子情報通信学会、1995年,pp.173-197）、例えば、遅延和方式では次のように目的音を抽出する。
【０００４】
図１は遅延和方式による目的音抽出の原理を説明する図である。
図１において、１は収音部（マイクロホンアレー）、２1，２2，・・・,２Mはマイクロホン（Ｍはマイクロホンの数）、３1，３2，・・・,３Mは遅延器、４は加算器、５は出力信号、６は雑音抑圧部、dはマイクロホン間隔、s(t)は収音部１に到来する音波（tは時間を表す）、θは音波s(t)が収音部１に到来する到来角度である。
【０００５】
図１のマイクロホン２1，２2，・・・,２M が等間隔dで直線状に並び、音波s(t)が遠方から、この直線状に並んだマイクロホンに角度θで到来するものとする。このとき、マイクロホン２1に到達した音波がマイクロホン２2に到達するまでに伝播する距離は、マイクロホン間隔dと到来角θとからdsinθで表される（図１）。同様に、i番目のマイクロホン２i(i=2,・・・,M)に到達するまでの伝播する距離は、(i−1)dsinθで表される。従って、マイクロホン２i(i=2,・・・,M)に到達するまでの遅延時間τiは、マイクロホン２1を基準とすると、この伝播距離を音速cで割ることにより、次式(1)で表される。
【０００６】
τi＝(i−1)dsinθ／c                              (1)
ここで、各マイクロホン２i(i=1,・・・,M)から出力信号Xi(t)で表すと、これは音波s(t)がτiだけ遅れたものであるから、次式(2)のようになる。
Xi(t)＝s(t−τi)                                  (2)
ここで遅延器３i(i=1,・・・,M)の遅延量Diを適切に設定すると、θ方向から到来する音波のみを強調して出力信号５を出力できることを以下に示す。
【０００７】
遅延器３i(i=1,・・・,M)の遅延量Diを次式(3)のように設定する。
Di ＝D0−τi                                     (3)
ここでD0は、τiの値が小さすぎると遅延特性をディジタルフィルタで実現する際の精度が低下することを防ぐために付加する固定遅延量である。
このとき、遅延器３i(i=1,・・・,M)の出力は、式(2)の信号に式(3)の遅延Diが生じたものなので、次式(4)のようになる。
【０００８】
0003540988.tif 000002
すなわち、マイクロホンの番号iに関わらず、s(t)がD0だけ遅れた同一の信号となる。
このように位相を揃えてから加算器４によって信号を足し合わせれば、このθ方向から到来する音波は足し合わされた分、強調される。一方、θ方向とは別のθN方向から到来する音波は、τiとは異なる遅延時間τNをもって受音されるため、式(3)の遅延量では位相は揃わず、加算器４によって信号を足し合わせても強調されることはない。
【０００９】
このようにして、遅延和方式では目的の方向θから到来する音波を強調し、他の方向θNから到来する雑音を相対的に抑圧する。
このとき、目的の方向θを走査し、マイクロホンアレーの出力信号を監視すれば、θが目的話者の方向に向いたとき出力信号が大きくなるので、目的話者の方向を探すことができる。そして、この目的話者の方向θからの音波を強調するように式(4)に従って位相を揃えて加算することにより、すなわちマイクロホンアレーの指向性をθの方向に向けることにより、目的音を高いＳＮ比で収音することができる。
【００１０】
なお、ここでは説明の便宜上、複数のマイクロホンを等間隔dで直線上に並んだものとして説明したが、このマイクロホンの間隔は不等間隔にすることも可能で、並べる形状も２次元的、３次元的に並べてもよい。
また、図２のように点音源的な音源Ｓがマイクロホンアレーに比較的近い距離に位置する場合は、音源Ｓからの球面波的な性質を利用して、遅延器３1,３2,・・・,３Mの後段にゲイン部７1,７2,・・・,７Mを設け、このゲイン部に適切な荷重（ゲイン）を与えることが収音ＳＮ比の向上に重要である。荷重の与え方としては、次式(5),(6),(7)で表されるような与え方がある（野村、金田、小島「近接音場型マイクロホンアレー」日本音響学会誌、53巻２号(1997)、pp.110-116）。
【００１１】
【数１】
0003540988.tif 000003
ここに、ｒ1,ｒ2,・・・,ｒMは音源Ｓから各マイクロホン２1，２2，・・・,２Mまでの距離、ｒcは室内の臨界距離、すなわち音源の直接音パワーと残響音パワーとが等しくなる距離であり、室容積Ｖ(m3)、室の残響時間Ｔ（秒）に対し、ｒc＝√(0.0032V/T)で表される（H.Kuttruff,「Room Acoustics(Third Edition)」,Elsevier Applied Science,pp.100-132(1991))。このときマイクロホンアレーは音源Ｓの位置の“点”に対して最も感度が高くなるようになり、いわば感度の“焦点”が形成されるようになる。このとき、各マイクロホンまでの距離ｒi(i=1,・・・,M)に対する遅延器３1，３2，・・・,３Mの遅延D0−ｒi/ｃ（ｃ：音速）と上述のゲインg0すなわちaを変化させて感度の焦点を走査し、アレー出力を監視すれば、目的話者の存在する点に感度の焦点が向いたときアレー出力が大きくなるので、これによって目的話者の位置を見出すことができる。
【００１２】
このようにして、方向ないし位置として目的話者の存在領域を見出し、その存在領域にアレーの指向性を向けることにより、高い収音ＳＮ比で目的音を収音することができる。
【００１３】
【発明が解決しようとする課題】
人間が発話する際、その指向性は正面を向いており、一般にその高域成分は、後方に向かうに従い減衰する（例えば、電子通信学会編「聴覚と音声」1975年コロナ社発行、p236）。その様子を図３に示す。この図は、正面を基準に人間の口の指向周波数特性を表している。この図から正面に対して後方において500Hzでは約５dB、４kHzでは約10dB減衰している様子が解る。このとき、図２の遅延和アレー方式で、発話者の後頭部付近に焦点が向くと、高域のこもった音が収音されるという問題があった。
【００１４】
【課題を解決するための手段】
上記の問題を解決するために、発話者などの発音体の位置を検出する音源位置検出手段と、該マイクロホンの出力のうち発音体に近い位置にある複数のマイクロホンからの出力（以下「近傍マイク出力」と呼ぶ）を周波数領域で監視する周波数特性監視手段と、該近傍マイク出力のうち、その周波数特性のスペクトル包絡が高域が最も高くなっているマイクロホンの方向を発音体の正面として検出する発音体指向性検出手段と他のマイクロホン出力のスペクトル特性との差を検出するスペクトル差検出手段とその差を補正するスペクトル差補正手段を設ける（図４参照）。
【００１５】
本発明は上記構成を備えることにより、図２の遅延和アレー方式における荷重ゲインの計算結果が発話者の後方のゲインを高くする結果となっても、高域のこもった音が収音されるという問題を回避することができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して実施例を説明する。
図５は、本発明の第１の実施例を示す。
この図において、発音体指向性補正装置21のマイクロホンアレー22は天井等に２次元的（平面的）に配置されている。このマイクロホンアレー22の出力xi(t)は焦点操作部11によって遅延器３と荷重部７が走査され、各焦点毎に遅延器３で位相を揃えられて信号yi(t)となり、荷重部７で荷重されてgi×yi(t)となる。この出力gi×yi(t)はパワー計算部23に送られパワー(Σgi×yi(t))^2が計算さ
れる。音源位置検出部24では各焦点毎のパワーが比較され、最大パワーとなる焦点位置を音源位置として検出する。この音源位置情報は遅延器３'に送られ、音源位置に焦点が向くようにマイク出力xi(t)の位相を揃えた信号y'(t)を正面候補抽出部25に送る。正面候補抽出部25ではy(t)の中から音源位置に近い周辺のマイク出力（の位相を揃えた信号）を正面候補信号yi'(t)として抽出しハイパスフィルタ26に送り、yi'(t)以外のyi(t)を荷重部７"に送る。ハイパスフィルタ26を通った信号yi"(t)はパワー計算部27に送られ、高域のパワー（yi"(t))^2を計算した後、正面方向検出部27に送られる。正面方向検出部27では最も高域パワーの大きいマイク出力（yi(t)）を正面方向として検出し、正面方向決定部30に正面方向情報を送る。一方、正面候補yi'(t)は周波数領域変換部でFFT（高速フーリエ変換）されてYi(ω)となり、スペクトル包絡抽出部29に送られスペクトル包絡Si(ω)を算出する。正面方向決定部30はSi(ω)の中から正面方向決定部30により送られた正面方向情報を基に正面方向スペクトル包絡S0(ω)を選択する。スペクトル差検出部31ではDi（ω）＝S0(ω)/Si(ω)を算出し、スペクトル包絡S0(ω)を選択する。スペクトル差検出部31ではDi（ω）＝S0(ω)/Si(ω)を算出し、スペクトル差補正部32でZi(ω)＝Yi(ω)×Di（ω）を算出してスペクトル補正を行う。このZi(ω)は時間領域変換部33で逆FFTし時間波形zi(t)に変換される。このzi(t)は音源位置検出部24からの音源位置情報に基づいた荷重をもつ荷重部７'に送られgi×zi(t)となり、荷重部７"に送られたzi(t)はgi×yi(t)となり、それぞれ加算部４'に送られ総和をとられ、出力５に送られる。
【００１７】
なお、上記実施例においてマイクロホンアレーを天井等に２次元的（平面的）に配置する代わりに３次元的に配置してもよい。
【００１８】
【発明の効果】
以上説明したように、本発明は、図２の遅延和アレー方式における荷重ゲインの計算結果が人間の後方のゲインを高くする結果となっても、発音体位置を検出する音源位置検出手段と、該マイクロホンの出力のうち、発音体に近い位置にある複数のマイクロホンからの出力（以下、「近傍マイク出力」と呼ぶ）を周波数領域で監視する周波数特性監視手段と、該近傍マイク出力のうち、その周波数特性のスペクトル包絡の高域が最も高くなっているマイクの方向を発音体の正面として検出する発音体指向性検出手段とを設け、スペクトル差検出手段で他のマイクロホンの周波数特性との差を検出し、スペクトル差補正手段でその差を補正するので、図２の遅延和アレー方式で人間の後方のゲインが高くなっても、高域のこもりを防げるという、これまでにない優れた効果を奏する。
【図面の簡単な説明】
【図１】遅延和方式による雑音抑圧収音の原理を説明する図。
【図２】音源がマイクロホンアレーに近い位置に位置する場合に遅延器の後段のゲインの荷重を適切に設定して収音ＳＮ比を向上させることを説明するための図。
【図３】人間の口の指向性を説明するための図。
【図４】発音体の指向性を検出する様子を説明するための図。
【図５】本発明の実施例を示す構成図。
【符号の説明】
１    収音部
２   マイクロホン
３   遅延器
４    加算器（加算部）
６    雑音抑圧部
７   ゲイン部（荷重部）
11    焦点操作部
21    発音体指向性補正装置
22    マイクロホンアレー
23    パワー計算部
24    音源位置検出部
25    正面候補抽出部
26    ハイパスフィルタ
27    正面方向検出部
28    周波数領域変換部
29    スペクトル包絡抽出部
30    正面方向決定部
31    スペクトル差検出部
32    スペクトル差補正部
33    時間領域変換部
【図１】
0003540988.tif 000004
【図２】
0003540988.tif 000005
【図３】
0003540988.tif 000006
【図４】
0003540988.tif 000007
【図５】
0003540988.tif 000008