(57)【要約】【課題】  マイクロホンを近接配置した場合にも良好な分離性能を有し、かつ低コストのマイクロホンアレー装置を提供する。【解決手段】  マルチチャンネルAD変換部１１はN個のマイクロホンで収音されたN個のアナログ信号の各々を周波数Fs Hzで、時刻が(1/(FsN))秒ずつ異なるようサンプリングしてN個の信号を生成し、帯域分割部１２はN個の信号の各々を複数の帯域のスペクトルに分割し、位相差検出・判定部１３はN個の信号の各々が有するサンプリング時刻のずれに応じてスペクトルの位相の各々を補正し、補正したスペクトルの位相を比較して、それぞれの帯域のスペクトルが所望の音源に属するか否かを判定し、スペクトル選択部１４は判定結果に基づいて所望の音源に含まれているスペクトルを選択し、帯域合成部１５は選択されたスペクトルを帯域合成して時間信号に変換し所望の音源の信号を合成する。【選択図】        図１
2007028391.tif 000002
【特許請求の範囲】
【請求項１】
複数の音源から発せられた音が混合した信号から、少なくとも１つの音源から発せられた信号を抽出するマイクロホンアレー装置であって、
N（Nは2以上の整数）個のマイクロホンと、
前記N個のマイクロホンによって収音されたN個のアナログ信号の各々をサンプリング周波数Fs Hzでディジタル化して、N個のディジタル信号を生成するマルチチャンネルAD変換部と、
前記N個のディジタル信号の各々を、複数の帯域のスペクトルに分割する帯域分割部と、
前記帯域分割部で帯域分割された各ディジタル信号のスペクトルの位相を比較して、それぞれの帯域のスペクトルが抽出したい音源に属するか否かを判定する位相差検出・判定部と、
前記位相差検出・判定部の判定に基づいて、抽出したい音源に含まれているスペクトルを選択するスペクトル選択部と、
前記スペクトル選択部で選択されたスペクトルを帯域合成して時間信号に変換し、抽出したい音源の信号を合成する帯域合成部とを備え、
前記マルチチャンネルAD変換部は、前記N個のアナログ信号に対して、１つのAD変換器を時分割に切り替えて使用することによりディジタル化し、
前記位相差検出・判定部は、前記N個のディジタル信号の各々が有するサンプリング時刻のずれに応じて、前記スペクトルの位相の各々を補正し、前記補正したスペクトルの位相に基づいて前記比較および前記判定を行なうことを特徴とするマイクロホンアレー装置。
【請求項２】
前記N個のディジタル信号の第1番目のディジタル信号のサンプリング時刻を基準として、前記N個のディジタル信号の第n（nは1からNまでの整数）番目のディジタル信号のサンプリング時刻が、((n-1)/(FsN))秒遅れているとした場合に、
前記位相差検出・判定部は、前記第n番目のディジタル信号のスペクトルの位相を式（ａ）に従って補正することを特徴とする請求項１に記載のマイクロホンアレー装置。
φ’’n =φ’n - 2πf(n/(FsN)+α)      ・・・（ａ）
（但し、φ’nは第n番目のディジタル信号のスペクトルの補正前の位相、φ’’nは第n番目のディジタル信号のスペクトルの補正後の位相であり、fはスペクトルの属する帯域の周波数、πは円周率、αはnに依存しない定数である。）
【請求項３】
前記N個のディジタル信号の第1番目のディジタル信号のサンプリング時刻を基準として、前記N個のディジタル信号の第n（nは1からNまでの整数）番目のディジタル信号のサンプリング時刻が、((n-1)/(FsN))秒遅れているとし、
さらに、前記位相差検出・判定部において、前記N個のディジタル信号の第a（aは1からNまでのいずれかの整数）番目のディジタル信号と、第b（bは1からNまでのいずれかの整数）番目のディジタル信号を比較して、それぞれの帯域のスペクトルが抽出したい音源に属するか否かを判定する場合において、
前記位相差検出・判定部は、前記第a番目のディジタル信号のスペクトルの位相と前記第b番目のディジタル信号のスペクトルの位相の差分をとって両者を比較し、その差分を算出する際に、式（ｂ）に従って位相を補正することを特徴とする請求項１に記載のマイクロホンアレー装置。
Δφ =φ’a - φ’b - 2πf((a-b)/(FsN))      ・・・（ｂ）
（但し、φ’aは第a番目のディジタル信号のスペクトルの位相、φ’bは第b番目のディジタル信号のスペクトルの位相、Δφは補正後の位相の差分であり、fはスペクトルの属する帯域の周波数、πは円周率である。）
【請求項４】
前記N個のディジタル信号の第1番目のディジタル信号のサンプリング時刻を基準として、前記N個のディジタル信号の第n（nは1からNまでの整数）番目のディジタル信号のサンプリング時刻が、((n-1)/(FsN))秒遅れているとした場合に、
前記帯域分割部は、前記第n番目のディジタル信号に対して、(n/(FsN))秒だけ遅延した時間窓を用いて、帯域分割を行なうことを特徴とする請求項１〜３のいずれかに記載のマイクロホンアレー装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のマイクロホンを備えて、音声信号源や各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった信号から少なくとも１つの音源の信号を分離抽出するマイクロホンアレー装置に関する。
【背景技術】
【０００２】
従来のマイクロホンアレー装置として、各マイクロホンで収音した信号を複数の周波数帯域に分割し、マイクロホン間の信号の差異を帯域ごとに算出して、特定の音源の信号を分離抽出する装置が提案されている。例えば、特許文献１には、各々のマイクロホンで収音した音響信号の到達時刻やレベルを帯域ごとに比較して、それぞれの帯域の成分がどの音源に属するかを判定し、同一音源と判定された成分を合成して特定の音源の信号を分離抽出する装置が示されている。
【０００３】
ところで、このような分離処理をディジタル信号処理で行なう場合、マイクロホンアレー装置にはマルチチャンネルのAD（アナログ・ディジタル）変換を行なう構成が必要とされる。マルチチャンネルAD変換を行なう構成には様々なものが考えられるが、複数のAD変換器を並列に動作させる構成には、ハードウェア規模が大きくなり、システムコストが高くなる、という問題や、個々のAD変換器の特性が異なるため、ディジタル化された信号に特性のバラツキが生じる、という問題がある。こうした問題を解決するために、特許文献２には、1つのAD変換器を時分割で使用して複数の信号をAD変換するマルチチャンネルAD変換部が提案されている。
［従来技術の例］
以下において、特許文献１と特許文献２の記載を基に構成した、音響信号が各マイクロホンに到達する時間差を比較して音源を分離する従来のマイクロホンアレー装置について、図面を参照して詳しく説明する。
【０００４】
このマイクロホンアレー装置は、N個のマイクロホンの各々から得られるアナログ信号をディジタル信号にAD変換し、ディジタル信号処理によって特定の音源の信号を分離抽出するものである。
【０００５】
図６は、従来のマイクロホンアレー装置のブロック図である。図６を参照して、マイクロホンアレー装置２０は、マイクロホン1〜Nと、マルチチャンネルAD変換部２１と、帯域分割部２３と、位相差検出・判定部２４と、スペクトル選択部２５と、帯域合成部１５とを備える。
【０００６】
nを整数(但しn=1〜N)として、マイクロホンnは自らが配置された位置に到達した音波を電気的なアナログ信号nに変換して出力する。ここで、アナログ信号nの時刻t秒における振幅値をAn(t)とする。
【０００７】
マルチチャンネルAD変換部２１は、nを整数(但しn=1〜N)として、アナログ信号nをディジタル信号nに変換する。ディジタル信号1〜Nは、全て同じタイミングでサンプリングされており、そのサンプリング周波数はFs Hzである。ここで、ディジタル信号nの第k番目のサンプル値をDn,kとする。
【０００８】
以下において、このマルチチャンネルAD変換部２１の構成を、図７を参照しながら詳しく説明する。
【０００９】
図７は従来技術におけるマルチチャンネルAD変換部２１のブロック図である。図７を参照して、マルチチャンネルAD変換部２１は、信号切替部１６と、AD変換部１７、信号分離部１８と、サンプリング時刻補正部２２を備える。
【００１０】
信号切替部１６は、アナログ信号１〜Nを受けて、これらを時間(1/(FsN))秒ごとに順に切り替えた信号であるアナログ多重信号を出力する。つまり、k,nを整数（但し、n=1〜N）として、時刻((kN+n-1)/(FsN))秒から時刻((kN+n)/(FsN))秒までの間は、アナログ信号nがアナログ多重信号として出力される。例えば、アナログ信号1〜Nの時間波形が図２(a)で示される場合には、アナログ多重信号の時間波形は図２(b)のようになる。ここで、アナログ多重信号の時刻t秒における振幅値をAmux(t)とする。
【００１１】
AD変換部１７は、アナログ多重信号をディジタル多重信号に変換する。このときのサンプリング周波数は(FsN)Hzである。ここで、ディジタル多重信号の第l番目のサンプル値をDmuxlとすると、k,nを整数（但し、n=1〜N）として、DmuxkN+n-1はアナログ多重信号を時刻((kN+n-0.5)/(FsN))秒においてディジタル化した値である。例えば、アナログ多重信号の時間波形が図２(b)で示される場合には、ディジタル多重信号の時間波形は図２(c)のようになる。AD変換部１７の一般的な構成としては、（図示しない）入力されるアナログ信号に帯域制限を行なって折り返し歪みを防ぐためのローパスフィルタと、特定のタイミングの振幅値を保持するためのサンプルホールド（SH）回路と、振幅値を離散化した値に変換する量子化器から構成される。また、AD変換部１７の構成によっては、ローパスフィルタやSH回路が省略されることもある。
【００１２】
信号分離部１８は、ディジタル多重信号を1サンプルずつ順にN個のディジタル信号（非同期ディジタル信号1〜N）に振り分ける。つまり、k,nを整数（但し、n=1〜N）として、ディジタル多重信号の第(kN+n-1)番目のサンプルは、非同期ディジタル信号nの第k番目のサンプルとして出力される。例えば、ディジタル多重信号の時間波形が図２(c)で示される場合には、非同期ディジタル信号1〜Nの時間波形は図２(d)のようになる。ここで、非同期ディジタル信号nの第k番目のサンプル値をD’n,kとする。
【００１３】
サンプリング時刻補正部２２は、非同期ディジタル信号1〜Nのそれぞれのサンプリング時刻をディジタル信号処理によって補正し、サンプリング時刻の一致したN個のディジタル信号（ディジタル信号1〜N）を算出する。以下、この点について詳しく説明する。図２(a)〜(d)を参照すれば明らかなように、k,nを整数（但し、n=1〜N）として、非同期ディジタル信号nの第k番目のサンプルは、アナログ信号nを時刻((kN+n-0.5)/(FsN))秒においてディジタル化した値である。つまり、非同期ディジタル信号1〜Nの各々はアナログ信号1〜Nの各々をサンプリング周波数Fs Hzでディジタル化した信号であるが、サンプリング時刻が(1/(FsN))秒ずつずれており、同時にサンプリングされた信号ではない。このようなサンプリング時刻のずれを補正するには、一般的には、標本化関数を畳込んでサンプル間の補間を行なう方法が用いられる。つまり、式（１）に従って、非同期ディジタル信号nから、ディジタル信号nを算出する。ただし、ここでディジタル信号nの第k番目のサンプル値をDn,kとしている。
Dn,k = Σj=0 J-1 Vn,j D’n,k-j      ・・・（１）
（但し、Vn,j はディジタル信号nに対するフィルタの係数で、
Vn,j=sin(π(j+1-(n-0.5)/N))/(π(j+1-(n-0.5)/N))(1-cos(2π(j+1-(n-0.5)/N)/J))/2  である。また、πは円周率を表す。）
なお、標本化関数は無限長の関数であるので、式（１）では窓関数を掛けて有限長（Jサンプル）の畳込み演算に直して演算を行なっている。このような演算はFIRフィルタで実現することが可能である。窓関数を掛けることにより補間処理は近似的なものとなるが、窓関数の長さ（Jの値）を充分に大きくとることにより補間精度を上げることができる。
【００１４】
以上のようにして、マルチチャンネルAD変換部２１では、アナログ信号1〜Nからディジタル信号1〜Nが算出される。なお、Dn,kはアナログ信号nを時刻((k-J/2+1)/Fs)秒においてディジタル化した値に相当し、nに依らず同じ時刻でサンプリングした値になる。
【００１５】
再び図６を参照して、帯域分割部２３は、ディジタル信号nに一定時間おきに離散フーリエ変換を施してM個の周波数帯域におけるスペクトルに分割する。ここで、離散フーリエ変換が行なわれる間隔がsサンプル毎であるとして、整数pをsサンプルおきに行なわれる離散フーリエ変換の各々が何回目に行なわれたかを示すインデックスであるとする。また、ディジタル信号nから、第p回目の離散フーリエ変換によって算出されるM個のスペクトルを、mを整数（m=1〜M）として、Xn,p,mとする。このとき、Xn,p,1〜Xn,p,Mの具体的な算出は、(2M+2)個のサンプルDn,ps〜Dn,ps+2M+1を用いて、式（２）に従って行なわれる。
Xn,p,m = Σq=0 2M+1 Wq Dn,ps+qexp(-2πiqm/(2M+2))      ・・・（２）
（但し、Wqは窓関数の係数で、
Wq = ( (1-cos(2πq/(2M+2)))/2 ・ s/(M+1) )(1/2)  である。
【００１６】
また、πは円周率、iは虚数単位を表す。）
位相差検出・判定部２４は、スペクトルXn,p,mの位相φn,p,mを算出して、これらの位相を基に各々の帯域のスペクトルが抽出したい音源から到達したものであるか否かを判定して、選択制御信号Cp,mを生成する。つまり、Xn,p,mが抽出したい音源に属するスペクトルであればCp,m=1とし、抽出したい音源に属さないスペクトルであればCp,m=0とする。各々のスペクトルが抽出したい音源から到達したものであるか否かを判定する具体的な方法については後述する。
【００１７】
スペクトル選択部２５は、スペクトルX1,p,mから抽出したい音源のスペクトルのみを選択して抜き出し、選択スペクトルYp,mとして出力する。但し、抽出したい音源のスペクトルの選択は、位相差検出・判定部２４で判定した結果に基づいて行なわれる。つまり、Cp,m=1の場合にはYp,m=X1,p,mとし、Cp,m=0の場合にはYp,m=0とする。
【００１８】
即ち、スペクトルX1,p,mから、Cp,m=1なる周波数帯域mの成分を抜き出したものが、選択スペクトルYp,mに相当する。
【００１９】
帯域合成部１５は、選択スペクトルYp,mに逆離散フーリエ変換を施して、sサンプルおきに重ね合わせて、目的とする分離信号を算出する。ここで、分離信号の第k番目のサンプルをSkとする。このとき、Skの具体的な算出方法は、M個のスペクトルYp,1〜Yp,Mを用いて、式（３）に従って時間領域における（2M+2）個のサンプルS’p,0〜S’p,2M+1を算出し、さらに、式（４）に従って、S’p,0〜S’p,2M+1をsサンプルおきにオーバーラップさせて加算することで行なわれる。
S’p,q = (1/(2M+2)) Σm=0 2M+1 Yp,mexp(2πiqm/(2M+2))      ・・・（３）
（但し、m=0およびm=M+1において、Yp,m=0、
m=M+2〜2M+1において、Yp,mはYp,2M+2-mの複素共役数とする。
【００２０】
また、πは円周率、iは虚数単位を表す。）
Sk = Σp=int((k-2M-2)/s)+1 int(k/s)Wk-ps S’p,k-ps      ・・・（４）
（但し、Wk-psは窓関数の係数で、
Wk-ps = ( (1-cos(2π(k-ps)/(2M+2)))/2 ・ s/(M+1) )(1/2)  である。
【００２１】
また、int(α)はαを越えない最大の整数値を表す。）
以下において、位相差検出・判定部２４における、各々のスペクトルが抽出したい音源から到達したものであるか否かを判定する具体的な方法について述べる。
【００２２】
図３を参照して、間隔D mで配置された2つのマイクロホンを用いて、領域A（影のついた領域）に存在する音源の信号を分離する方法を説明する。ここでは、マイクロホンの個数が2個であるので、N=2である。音波が到来する方向が角度θの方向であり、音速をｃ m/sとすると、この音波がマイクロホン1に到達する時刻から、マイクロホン2に到達する時刻を引いた時間差は (Dcosθ/c)秒となる。周波数f Hzの周波数成分において、この到達時間差は位相差2πf(Dcosθ/c)として現れるので、領域Aに音源がある場合、つまり、θが-π/2＜θ＜π/2の範囲にある場合には、この位相差が正の値になる。従って、スペクトルX1,p,m、X2,p,mの位相φ1,p,m、φ2,p,mを用いて、式（５）の条件を満たす場合に選択制御信号Cp,m=1とし、満たさない場合にCp,m=0とすることで、領域Aに存在する音源の信号のみを抽出することができる。
【００２３】
φ1,p,m - φ2,p,m + 2πu＞0      ・・・（５）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。）
また、同様にして、図４の領域B（影のついた領域）に存在する音源の信号を分離することも可能である。つまり、領域Bに音源がある場合、つまり、θが-Θ1＜θ＜Θ1の範囲にある場合には、周波数領域におけるスペクトルの位相差2πf(Dcosθ/c)は、2πf(DcosΘ1/c)より大きくなる。従って、式（６）の条件を満たす場合に選択制御信号Cp,m=1とし、満たさない場合にCp,m=0とすることで、領域Bに存在する音源の信号のみを抽出することができる。
φ1,p,m - φ2,p,m + 2πu＞2πf(DcosΘ1/c)      ・・・（６）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。
【００２４】
また、fはスペクトルXn,p,m の属する帯域の周波数である。）
さらに、図５を参照して、1辺がD mの正三角形の各頂点に配置された3つのマイクロホンを用いて、領域C（影のついた領域）に存在する音源の信号を分離することも可能である。ここでは、マイクロホンの個数が3個であるので、N=3である。マイクロホン3とマイクロホン2を用いれば、式（７）の条件を用いて、音源が直線L１よりもマイクロホン3側に存在するか否かを判断することが可能である。
φ3,p,m - φ2,p,m + 2πu＞0      ・・・（７）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。）
また、マイクロホン1とマイクロホン3を用いれば、式（８）の条件を用いて、音源が直線L2よりもマイクロホン1側に存在するか否かを判断することが可能である。
φ1,p,m  - φ3,p,m + 2πu＞0      ・・・（８）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。）
従って、式（７）と式（８）の条件をともに満たす場合に選択制御信号Cp,m=1とし、満たさない場合にCp,m=0とすることで、領域Cに存在する音源の信号のみを抽出することができる。
【００２５】
なお、上記に示した方法はいくつかの例であり、マイクロホンの個数や配置、抽出される領域の組合せを変えることにより、最終的に抽出したい音源の存在する領域を様々に設定することが可能である。
【００２６】
以上のようにして、従来のマイクロホンアレー装置では、特定の音源の信号が分離抽出される。
【特許文献１】特許第３３５５５９８号明細書
【特許文献２】特開平８−１８１６１４号公報
【発明の開示】
【発明が解決しようとする課題】
【００２７】
複数のマイクロホンで収音された信号をAD変換する従来のマイクロホンアレー装置では、複数のAD変換器を備える構成としたときに、システムコストが増大するという問題がある。また、特許文献１に示されたような、各マイクロホンで収音した信号を複数の周波数帯域に分割し、マイクロホン間の信号の差異を帯域ごとに算出して、特定の音源の信号を分離抽出する従来のマイクロホンアレー装置では、マイクロホンが近接配置された場合、各マイクロホンにおける音響信号の到達時刻やレベルの差が小さくなるので、良好な分離性能を得るためにはAD変換などによる特性のバラツキを抑える必要があるという問題がある。
【００２８】
以上の問題を解決するために、特許文献２に示されたマルチチャンネルAD変換を行なう構成要素を用いたシステム構成が考えられるが、サンプリング時刻の補正を精度良く行なうためには、標本化関数の畳込み演算など演算量の大きな処理を行なう必要があり、依然、システムコストが増大するという問題がある。
【００２９】
本発明の目的は、音声信号源や各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった信号から少なくとも１つの音源の信号を分離抽出するマイクロホンアレー装置において、マイクロホンを近接配置した場合にも良好な分離性能を提供することと、システムの低コスト化を図ることである。
【課題を解決するための手段】
【００３０】
上記課題を解決するために、本発明は、複数の音源から発せられた音が混合した信号から、少なくとも１つの音源から発せられた信号を抽出するマイクロホンアレー装置であって、N（Nは2以上の整数）個のマイクロホンと、N個のマイクロホンによって収音されたN個のアナログ信号の各々をサンプリング周波数Fs Hzでディジタル化して、N個のディジタル信号を生成するマルチチャンネルAD変換部と、N個のディジタル信号の各々を、複数の帯域のスペクトルに分割する帯域分割部と、帯域分割部で帯域分割された各ディジタル信号のスペクトルの位相を比較して、それぞれの帯域のスペクトルが抽出したい音源に属するか否かを判定する位相差検出・判定部と、位相差検出・判定部の判定に基づいて、抽出したい音源に含まれているスペクトルを選択するスペクトル選択部と、スペクトル選択部で選択されたスペクトルを帯域合成して時間信号に変換し、抽出したい音源の信号を合成する帯域合成部とを備え、マルチチャンネルAD変換部は、N個のアナログ信号に対して、１つのAD変換器を時分割に切り替えて使用することによりディジタル化し、位相差検出・判定部は、N個のディジタル信号の各々が有するサンプリング時刻のずれに応じて、スペクトルの位相の各々を補正し、補正したスペクトルの位相に基づいて比較および判定を行なうことを特徴とする。
【００３１】
好ましくは、N個のディジタル信号の第1番目のディジタル信号のサンプリング時刻を基準として、N個のディジタル信号の第n（nは1からNまでの整数）番目のディジタル信号のサンプリング時刻が、((n-1)/(FsN))秒遅れているとした場合に、位相差検出・判定部は、第n番目のディジタル信号のスペクトルの位相を式（ａ）に従って補正することを特徴とする。
【００３２】
φ’’n =φ’n - 2πf(n/(FsN)+α)      ・・・（ａ）
（但し、φ’nは第n番目のディジタル信号のスペクトルの補正前の位相、φ’’nは第n番目のディジタル信号のスペクトルの補正後の位相であり、fはスペクトルの属する帯域の周波数、πは円周率、αはnに依存しない定数である。）
好ましくは、N個のディジタル信号の第1番目のディジタル信号のサンプリング時刻を基準として、N個のディジタル信号の第n（nは1からNまでの整数）番目のディジタル信号のサンプリング時刻が、((n-1)/(FsN))秒遅れているとし、さらに、位相差検出・判定部において、N個のディジタル信号の第a（aは1からNまでのいずれかの整数）番目のディジタル信号と、第b（bは1からNまでのいずれかの整数）番目のディジタル信号を比較して、それぞれの帯域のスペクトルが抽出したい音源に属するか否かを判定する場合において、位相差検出・判定部は、第a番目のディジタル信号のスペクトルの位相と第b番目のディジタル信号のスペクトルの位相の差分をとって両者を比較し、その差分を算出する際に、式（ｂ）に従って位相を補正することを特徴とする。
【００３３】
Δφ =φ’a - φ’b - 2πf((a-b)/(FsN))      ・・・（ｂ）
（但し、φ’aは第a番目のディジタル信号のスペクトルの位相、φ’bは第b番目のディジタル信号のスペクトルの位相、Δφは補正後の位相の差分であり、fはスペクトルの属する帯域の周波数、πは円周率である。）
好ましくは、N個のディジタル信号の第1番目のディジタル信号のサンプリング時刻を基準として、N個のディジタル信号の第n（nは1からNまでの整数）番目のディジタル信号のサンプリング時刻が、((n-1)/(FsN))秒遅れているとした場合に、帯域分割部は、第n番目のディジタル信号に対して、(n/(FsN))秒だけ遅延した時間窓を用いて、帯域分割を行なうことを特徴とする。
【発明の効果】
【００３４】
音声信号源や各種環境音源などの複数の音源から発せられた複数の音響信号が混ざった信号から少なくとも１つの音源の信号を分離抽出するマイクロホンアレー装置において、マイクロホンを近接配置した場合にも良好な分離性能を実現でき、かつシステムの低コスト化を図ることができる。
【発明を実施するための最良の形態】
【００３５】
［第１の実施形態］
以下において、本発明の第１の実施形態について図面を参照して詳しく説明する。このマイクロホンアレー装置１０は、N個のマイクロホンの各々から得られるアナログ信号をディジタル信号にAD変換し、ディジタル信号処理によって特定の音源の信号を分離抽出するものである。
【００３６】
図１は、第１の実施形態のマイクロホンアレー装置のブロック図である。図１を参照して、マイクロホンアレー装置１０は、マイクロホン1〜Nと、マルチチャンネルAD変換部１１と、帯域分割部１２と、位相差検出・判定部１３と、スペクトル選択部１４と、帯域合成部１５とを備え、マルチチャンネルAD変換部１１は、内部に信号切替部１６と、AD変換部１７と、信号分離部１８とを備える。このマイクロホンアレー装置１０では、マイクロホン1〜Nと、信号切替部１６と、AD変換部１７と、信号分離部１８と、帯域合成部１５のそれぞれの構成が、従来技術において図６、図７を用いて説明したものと同じであり、帯域分割部１２と、位相差検出・判定部１３と、スペクトル選択部１４の構成が従来技術と異なる。
【００３７】
nを整数(但しn=1〜N)として、マイクロホンnは自らが配置された位置に到達した音波を電気的なアナログ信号nに変換して出力する。ここで、アナログ信号nの時刻t秒における振幅値をAn(t)とする。
【００３８】
マルチチャンネルAD変換部１１は、nを整数(但しn=1〜N)として、アナログ信号1〜Nのぞれぞれをディジタル化する。以下において、このマルチチャンネルAD変換部１１の構成を詳しく説明する。
【００３９】
信号切替部１６は、アナログ信号１〜Nを受けて、これらを時間(1/(FsN))秒ごとに順に切り替えた信号であるアナログ多重信号を出力する。つまり、k,nを整数（但し、n=1〜N）として、時刻((kN+n-1)/(FsN))秒から時刻((kN+n)/(FsN))秒までの間は、アナログ信号nがアナログ多重信号として出力される。例えば、アナログ信号1〜Nの時間波形が図２(a)で示される場合には、アナログ多重信号の時間波形は図２(b)のようになる。ここで、アナログ多重信号の時刻t秒における振幅値をAmux(t)とする。
【００４０】
AD変換部１７は、アナログ多重信号をディジタル多重信号に変換する。このときのサンプリング周波数は(FsN)Hzである。ここで、ディジタル多重信号の第l番目のサンプル値をDmuxlとすると、k,nを整数（但し、n=1〜N）として、DmuxkN+n-1はアナログ多重信号を時刻((kN+n-0.5)/(FsN))秒においてディジタル化した値である。例えば、アナログ多重信号の時間波形が図２(b)で示される場合には、ディジタル多重信号の時間波形は図２(c)のようになる。AD変換部１７の一般的な構成としては、（図示しない）入力されるアナログ信号に帯域制限を行なって折り返し歪みを防ぐためのローパスフィルタと、特定のタイミングの振幅値を保持するためのサンプルホールド（SH）回路と、振幅値を離散化した値に変換する量子化器から構成される。また、AD変換部１７の構成によっては、ローパスフィルタやSH回路が省略されることもある。
【００４１】
信号分離部１８は、ディジタル多重信号を1サンプルずつ順にN個のディジタル信号（非同期ディジタル信号1〜N）に振り分ける。つまり、k,nを整数（但し、n=1〜N）として、ディジタル多重信号の第(kN+n-1)番目のサンプルは、非同期ディジタル信号nの第k番目のサンプルとして出力される。例えば、ディジタル多重信号の時間波形が図２(c)で示される場合には、非同期ディジタル信号1〜Nの時間波形は図２(d)のようになる。ここで、非同期ディジタル信号nの第k番目のサンプル値をD’n,kとする。
【００４２】
このとき、信号分離部１８から出力される非同期ディジタル信号1〜Nは、従来技術で説明した非同期ディジタル信号1〜Nと同じ信号である。つまり、k,nを整数（但し、n=1〜N）として、非同期ディジタル信号nの第k番目のサンプル値をD’n,kとすると、D’n,kはアナログ信号nを時刻((kN+n-0.5)/(FsN))秒においてディジタル化した値である。つまり、非同期ディジタル信号1〜Nの各々はアナログ信号1〜Nの各々をサンプリング周波数Fs Hzでディジタル化した信号であるが、サンプリング時刻が(1/(FsN))秒ずつずれており、同時にサンプリングされた信号ではない。
【００４３】
帯域分割部１２は、非同期ディジタル信号nに一定時間おきに離散フーリエ変換を施してM個の周波数帯域におけるスペクトルに分割する。ここで、離散フーリエ変換が行なわれる間隔がsサンプル毎であるとして、整数pをsサンプルおきに行なわれる離散フーリエ変換の各々が何回目に行なわれたかを示すインデックスであるとする。また、ディジタル信号nから、第p回目の離散フーリエ変換によって算出されるM個のスペクトルを、mを整数（m=1〜M）として、X’n,p,mとする。このとき、X’n,p,1〜X’n,p,Mの具体的な算出は、(2M+2)個のサンプルD’n,ps〜D’n,ps+2M+1を用いて、式（９）に従って行なわれる。
X’n,p,m = Σq=0 2M+1 Wq D’n,ps+qexp(-2πiqm/(2M+2))      ・・・（９）
（但し、Wqは窓関数の係数で、
Wq = ( (1-cos(2πq/(2M+2)))/2 ・ s/(M+1) )(1/2)  である。
【００４４】
また、πは円周率、iは虚数単位を表す。）
位相差検出・判定部１３は、スペクトルX’n,p,mの位相φ’n,p,mを算出して、これらの位相を基に各々の帯域のスペクトルが抽出したい音源から到達したものであるか否かを判定して、選択制御信号Cp,mを生成する。つまり、X’n,p,mが抽出したい音源に属するスペクトルであればCp,m=1とし、抽出したい音源に属さないスペクトルであればCp,m=0とする。各々のスペクトルが抽出したい音源から到達したものであるか否かを判定する具体的な方法については後述する。
【００４５】
スペクトル選択部１４は、スペクトルX’1,p,mから抽出したい音源のスペクトルのみを選択して抜き出し、選択スペクトルYp,mとして出力する。但し、抽出したい音源のスペクトルの選択は、位相差検出・判定部１３で判定した結果に基づいて行なわれる。つまり、Cp,m=1の場合にはYp,m=X’1,p,mとし、Cp,m=0の場合にはYp,m=0とする。
【００４６】
帯域合成部１５は、選択スペクトルYp,mに逆離散フーリエ変換を施して、sサンプルおきに重ね合わせて、目的とする分離信号を算出する。ここで、分離信号の第k番目のサンプルをSkとする。このとき、Skの具体的な算出方法は、M個のスペクトルYp,1〜Yp,Mを用いて、式（１０）に従って時間領域における（2M+2）個のサンプルS’p,0〜S’p,2M+1を算出し、さらに、式（１１）に従って、S’p,0〜S’p,2M+1をsサンプルおきにオーバーラップさせて加算することで行なわれる。
S’p,q = (1/(2M+2)) Σm=0 2M+1 Yp,mexp(2πiqm/(2M+2))      ・・・（１０）
（但し、m=0およびm=M+1において、Yp,m=0、
m=M+2〜2M+1において、Yp,mはYp,2M+2-mの複素共役数とする。
【００４７】
また、πは円周率、iは虚数単位を表す。）
Sk = Σp=int((k-2M-2)/s)+1 int(k/s)Wk-ps S’p,k-ps      ・・・（１１）
（但し、Wk-psは窓関数の係数で、
Wk-ps = ( (1-cos(2π(k-ps)/(2M+2)))/2 ・ s/(M+1) )(1/2)  である。
【００４８】
また、int(α)はαを越えない最大の整数値を表す。）
以下において、位相差検出・判定部１３における、各々のスペクトルが抽出したい音源から到達したものであるか否かを判定する具体的な方法について述べる。
【００４９】
スペクトルX’n,p,mの位相φ’n,p,mを用いて、式（１２）に従って、補正位相φ’’n,p,mを算出する。
φ’’n,p,m =φ’n,p,m - 2πf(n-0.5)/(FsN)      ・・・（１２）
（但し、fはスペクトルX’n,p,m の属する帯域の周波数、πは円周率である。）
図３を参照して、間隔D mで配置された2つのマイクロホンを用いて、領域A（影のついた領域）に存在する音源の信号を分離する方法を説明する。ここでは、マイクロホンの個数が2個であるので、N=2である。この場合には、スペクトルX’1,p,m、X’2,p,mの補正位相φ’’1,p,m、φ’’2,p,mを用いて、式（１３）の条件に基づいて各々のスペクトルが抽出したい音源から到達したものであるか否かを判定する。つまり、式（１３）を満たす場合には、X’n,p,mが抽出したい音源に属するスペクトルであると判断してCp,m=1とし、式（１３）を満たさない場合には、X’n,p,mが抽出したい音源に属さないスペクトルであると判断してCp,m=0とする。
φ’’1,p,m - φ’’2,p,m + 2πu＞0      ・・・（１３）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。）
以下に、上記の方法で領域Aに存在する音源の信号を抽出することができる理由を説明する。
【００５０】
音波が到来する方向が角度θの方向であり、音速をｃ m/sとすると、この音波がマイクロホン1に到達する時刻から、マイクロホン2に到達する時刻を引いた時間差は (Dcosθ/c)秒となる。周波数f Hzの周波数成分において、この到達時間差は位相差2πf(Dcosθ/c)として現れるので、領域Aに音源がある場合、つまり、θが-π/2＜θ＜π/2の範囲にある場合には、この位相差が正の値になる。従って、音源が領域Aにあるか否かを判定するには、マイクロホン１の信号とマイクロホン2の信号の位相差が正の値になるか否かを調べればよい。
【００５１】
ところで、非同期ディジタル信号1と非同期ディジタル信号2のサンプリング時刻を比較すると、非同期ディジタル信号1は非同期ディジタル信号2に比べて、時間(1/(FsN))秒だけサンプリング時刻が早い。つまり、非同期ディジタル信号1を非同期ディジタル信号2と同時刻にサンプリングされた信号とみなして比較することは、非同期ディジタル信号1を時間(1/(FsN))秒だけ遅延させて比較することになり、位相φ’1,p,mを本来の位相よりも2πf/(FsN)だけ小さな値として扱っていることになる。一方で、式（１２）に従って算出される補正位相は、この位相差2πf/(FsN)を打ち消したものである。つまり、補正位相は、非同期ディジタル信号nの各々のサンプリング時刻のずれを補正した位相であり、補正位相φ’’1,p,mとφ’’2,p,mを比較することで、非同期ディジタル信号1と非同期ディジタル信号2を本来の時刻において比較することが可能になる。
【００５２】
以上のことから、補正位相φ’’1,p,m、φ’’2,p,mを用いた式（１５）の条件を用いて選択制御信号を決定することで、領域Aに存在する音源の信号を抽出することができる。
【００５３】
また、同様にして、図４の領域B（影のついた領域）に存在する音源の信号を分離することも可能である。つまり、領域Bに音源がある場合、つまり、θが-Θ1＜θ＜Θ1の範囲にある場合には、周波数領域におけるスペクトルの位相差2πf(Dcosθ/c)は、2πf(DcosΘ1/c)より大きくなる。従って、補正位相φ’’1,p,m、φ’’2,p,mを用いた式（１４）の条件を満たす場合に選択制御信号Cp,m=1とし、満たさない場合にCp,m=0とすることで、領域Bに存在する音源の信号のみを抽出することができる。
【００５４】
φ’’1,p,m - φ’’2,p,m + 2πu＞2πf(DcosΘ1/c)      ・・・（１４）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。
【００５５】
また、fはスペクトルXn,p,m の属する帯域の周波数である。）
さらに、図５を参照して、1辺がD mの正三角形の各頂点に配置された3つのマイクロホンを用いて、領域C（影のついた領域）に存在する音源の信号を分離することも可能である。ここでは、マイクロホンの個数が3個であるので、N=3である。マイクロホン3とマイクロホン2を用いれば、式（１５）の条件を用いて、音源が直線L１よりもマイクロホン3側に存在するか否かを判断することが可能である。
φ’’3,p,m - φ’’2,p,m + 2πu＞0      ・・・（１５）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。）
また、マイクロホン1とマイクロホン3を用いれば、式（１６）の条件を用いて、音源が直線L2よりもマイクロホン1側に存在するか否かを判断することが可能である。
φ’’1,p,m - φ’’3,p,m + 2πu＞0      ・・・（１６）
（但し、uは左辺が-πから+πの範囲の値になるように設定された整数である。）
従って、式（１５）と式（１６）の条件をともに満たす場合に選択制御信号Cp,m=1とし、満たさない場合にCp,m=0とすることで、領域Cに存在する音源の信号のみを抽出することができる。
【００５６】
なお、上記に示した方法はいくつかの例であり、マイクロホンの個数や配置、抽出される領域の組合せを変えることにより、最終的に抽出したい音源の存在する領域を様々に設定することが可能である。
【００５７】
以上のようにして、第１の実施形態のマイクロホンアレー装置では、特定の音源の信号が分離抽出される。
【００５８】
以下において、第１の実施形態で説明したマイクロホンアレー装置における効果について説明する。従来技術で説明したマイクロホンアレー装置では、1つのAD変換器を時分割で使用して複数の信号をAD変換しているので、多数のAD変換器を用いることによるコストの増加や特性のバラツキを抑えることができた。しかし、1つのAD変換器を時分割で使用した場合には、各々の信号のサンプリング時刻がずれており、これを精度良く補正するには標本化関数の畳込み演算など演算量の大きな処理を行なう必要があった。第１の実施形態のマイクロホンアレー装置では、サンプリング時刻の補正を位相差検出・判定部１３における位相算出処理に含めて行なっているため、精度良く補正を行ないながら、サンプリング時刻の補正に要する演算量を大幅に抑えてシステムコストを低減することができる。
【００５９】
［第２の実施形態］
本発明の第２の実施形態は、第１の実施形態の一部を変形したものである。以下において、第２の実施形態の構成が第１の実施形態と相違する点について説明する。
【００６０】
第１の実施形態のマイクロホンアレー装置では、位相差検出・判定部１３において、スペクトルX’n,p,mの各々に対してサンプリング時刻のずれに応じた位相を補正した補正位相φ’’ n,p,mを算出し、マイクロホン間で補正位相を比較して、各々の帯域のスペクトルが抽出したい音源から到達したものであるか否かを判定したが、第２の実施形態のマイクロホンアレー装置では、マイクロホン間で位相を比較する段階で、サンプリング時刻のずれに応じた位相の補正を行なう。つまり、a,bを整数（a=1〜N,  b=1〜N）として、スペクトルX’a,p,mとX’b,p,mの比較を行なう場合に、補正位相の差(φ’’a,p,m-φ’’b,p,m)を算出する代わりに、(φ’a,p,m-φ’b,p,m- 2πf(a-b)/(FsN))を算出して、各々の帯域のスペクトルが抽出したい音源から到達したものであるか否かを判定する。
【００６１】
以下において、第２の実施形態における効果を説明する。式（１２）から明らかなように、(φ’’a,p,m-φ’’b,p,m)と(φ’a,p,m-φ’b,p,m- 2πf(a-b)/(FsN))は数学的に等価な式であるので、第２の実施形態で得られる補正精度は、第１の実施形態と全く等しいものである。加えて、第１の実施形態のマイクロホンアレー装置では、式（１２）に従って各々のスペクトルに対して位相の補正を行なっていたために、1つの帯域の補正位相の比較を行なう際に2回の減算が必要であった。しかしながら、第２の実施形態のマイクロホンアレー装置では、比較の際に位相2πf(a-b)/(FsN)の減算を1回行なうだけである。従って、第２の実施形態のマイクロホンアレー装置では、第１の実施形態に比べて、同じ補正精度を保ちながら、さらに演算量が削減されている。
【００６２】
［第３の実施形態］
本発明の第３の実施形態は、第１の実施形態の一部を変形したものである。以下において、第３の実施形態の構成が第１の実施形態と相違する点について説明する。
【００６３】
第１の実施形態のマイクロホンアレー装置では、帯域分割部１２において、非同期ディジタル信号1〜Nの各々を帯域分割する際に共通の窓関数を用いたが、第３の実施形態のマイクロホンアレー装置では、(1/(FsN))秒ずつ時間のずれた窓関数を用いて帯域分割を行なう。つまり、第１の実施形態のマイクロホンアレー装置では、X’n,p,1〜X’n,p,Mから (2M+2)個のサンプルD’n,ps〜D’n,ps+2M+1を、式（９）に従って算出したが、第３の実施形態のマイクロホンアレー装置では、式（１７）に従って、これらを算出する。
X’n,p,m = Σq=0 2M+1 Wn,qD’n,ps+q exp(-2πiqm/(2M+2))      ・・・（１７）
（但し、Wn,qはディジタル信号nに対する窓関数の係数で、
Wn,q = ( (1-cos(2π((q+(n-0.5)/N)/(2M+2)))/2 ・ s/(M+1) )(1/2)  である。
【００６４】
また、πは円周率、iは虚数単位を表す。）
以下において、第３の実施形態における効果を説明する。前述のように、信号分離部１８から出力される非同期ディジタル信号1〜Nは、同時にサンプリングされた信号ではなく、サンプリング時刻が(1/(FsN))秒ずつずれている。つまり、k,nを整数（但し、n=1〜N）として、非同期ディジタル信号nの第k番目のサンプル値D’n,kはアナログ信号nを時刻((kN+n-0.5)/(FsN))秒においてディジタル化した値であり、時刻(k/Fs)秒を基準とすると、D’n,kのサンプリング時刻は((n-0.5)/(FsN))秒だけ遅れている。このとき、式（９）のWqのように、nに依存しない共通の窓係数を用いると、窓係数によって切り出される非同期ディジタル信号１〜Nは正確に同じ時刻のものとはならない。そこで、式（１７）のWn,qように、nに応じて、((n-0.5)/(FsN))秒だけ時間遅れを有した窓係数を用いることで、窓係数によって切り出される非同期ディジタル信号１〜Nの時刻を正確に揃えることができる。つまり、第３の実施形態のマイクロホンアレー装置では、非同期ディジタル信号１〜Nから窓係数によって切り出される区間を同じ時刻に揃えて帯域分割することができるので、第１の実施形態と比べて、補正精度がさらに改善される。
【００６５】
なお、本発明は、上記で説明したマイクロホンアレー装置の構成に限定されるものではなく、各マイクロホンで収音した信号を複数の周波数帯域に分割し、各々の帯域成分の位相を用いて特定の音源の信号を分離抽出するマイクロホンアレー装置において、1つのAD変換器を時分割で使用することで生じるサンプリング時刻のずれを、各々の帯域成分の位相を算出・比較する際に補正する構成であれば、一般的に適用されるものである。
【００６６】
また、上記の説明では、帯域分割・帯域合成を行なうために、式（９）、式（１０）、式（１１）、式（１７）に示された変換を用いたが、これ以外の時間-周波数変換、周波数-時間変換を用いることも可能である。
【００６７】
また、上記の説明では、スペクトルX’1,p,mが抽出したい音源に属するか否かを、個々の帯域、つまり、全てのmに対して個別に処理したが、複数の帯域をひとまとめにして処理してもよい。また、処理の対象となる帯域を全ての帯域とするのではなく、一部の帯域に限定してもよい。
【００６８】
また、上記の説明では、マイクロホン1で受信した信号のスペクトルX’1,p,mから、抽出したい音源の信号のスペクトルを選択する構成としたが、他のマイクロホンで受信した信号のスペクトルX’n,p,m（nは2〜Nのいずれか）から選択する構成としてもよい。また同様に、複数の信号のスペクトルを加算平均して得られるスペクトルから選択する構成としてもよい。
【００６９】
また、上記の説明では、X’n,p,mが抽出したい音源に属する場合にはYp,m=X’1,p,mとし、属さない場合には、Yp,m=0とする2値的な判断を行なったが、その中間的な判断を行なってもよい。例えば、図３のようにマイクロホンが配置されて、図３の領域Aに存在する音源の信号を抽出する場合に、位相差検出・判定部１３において、式（１８）に従って選択制御情報Cp,mを算出し、スペクトル選択部１４において、式（１９）に従って選択スペクトルYp,mを算出してもよい。
Cp,m = exp(γΔφ/f)/(exp(γΔφ/f)+exp(-γΔφ/f))      ・・・（１８）
（但し、uをΔφが-πから+πの範囲の値になるように設定された整数として、
Δφ=φ’’1,p,m-φ’’2,p,m+2πuである。
【００７０】
また、fはスペクトルX’n,p,m の属する帯域の周波数であり、γは正の定数である。）
Yp,m = Cp,m ・ X’1,p,m      ・・・（１９）
この構成では、音源が所定の領域Aの境界付近にある場合に、選択スペクトルYp,mがX’1,p,m と0の中間的な値をとるので、音源が所定の領域内にあるか否かの判断を誤った場合にも聴感的な劣化を抑えることができる。
【００７１】
また、上記の説明では、各々の信号のサンプリング時刻のずれが等間隔である場合を説明したが、帯域成分の位相補正が、それぞれのサンプリング時刻のずれの大きさに応じて行なわれる構成であれば、目的信号の分離・抽出が同様に可能であるので、各々の信号のサンプリング時刻のずれは等間隔でなくてもよい。
【００７２】
また、上記の説明では、マイクロホンの個数と、AD変換される信号の個数と、帯域分割などの信号処理に用いられる信号の個数が、全て同じである場合を説明したが、信号処理に用いられる信号に対する帯域成分の位相補正が、それぞれのサンプリング時刻のずれの大きさに応じて行なわれる構成であれば、目的信号の分離・抽出が同様に可能であるので、マイクロホンの個数やAD変換される信号の個数が、信号処理に用いられる信号の個数よりも多い場合であってもよい。
【００７３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００７４】
この種のマイクロホンアレー装置は、例えば、騒音環境下で発声した音声信号を記録・伝送・認識するための収音装置、音源の種類を識別するための収音装置、収音機能を備えた携帯電話、ビデオカメラ、ボイスレコーダ、テレビ会議システムなど、各種のものに適用される。
【図面の簡単な説明】
【００７５】
【図１】第１の実施形態のマイクロホンアレー装置のブロック図である。
【図２】（ａ）は、アナログ信号1〜Nの時間波形を示す図であり、（ｂ）は、アナログ多重信号の時間波形を示す図であり、（ｃ）は、ディジタル多重信号の時間波形を示す図であり、（ｄ）は非同期ディジタル信号1〜Nの時間波形を示す図である。
【図３】2つのマイクロホンを用いて、ある音源の信号を分離する方法を説明するための図である。
【図４】2つのマイクロホンを用いて、別の音源の信号を分離する方法を説明するための図である。
【図５】3つのマイクロホンを用いて、別の音源の信号を分離する方法を説明するための図である。
【図６】従来のマイクロホンアレー装置のブロック図である。
【図７】従来技術におけるマルチチャンネルAD変換部２１のブロック図である。
【符号の説明】
【００７６】
１０，２０  マイクロホンアレー装置、１１，２１  マルチチャンネルＡＤ変換部、１２，２３  帯域分割部、１３，２４  位相差検出・判定部、１４，２５  スペクトル選択部、１５  帯域合成部、１６  信号切替部、１７  ＡＤ変換部、１８  信号分離部、２２  サンプリング時刻補正部。
【図１】
2007028391.tif 000003
【図２】
2007028391.tif 000004
【図３】
2007028391.tif 000005
【図４】
2007028391.tif 000006
【図５】
2007028391.tif 000007
【図６】
2007028391.tif 000008
【図７】
2007028391.tif 000009