(57)【要約】【課題】  マイクロホンアレイ構造、これを利用した一定した指向性を有するビーム形成方法および装置と音源方向推定方法および装置とを提供する。【解決手段】  マイクロホンアレイ２１１を、第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンと前記平板の中心とを結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとより構成する。また、第１ないし第ｎサブアレイから出力される音声信号を入力としてサブアレイ別にビームを形成するビーム形成部２３１、ビーム形成部からサブアレイ別に出力されるビームをフィルタリングするフィルタリング部２５１、およびフィルタリング部からサブアレイ別にフィルタリングされて出力される信号を加算する加算部２７１、により、一定した指向性を有するビーム形成装置を構成する。【選択図】      図２
2004274763.tif 000002
【特許請求の範囲】
【請求項１】
第１ないし第ｎサブアレイよりなり、各サブアレイは、
平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、
前記サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンと、を備えることを特徴とするマイクロホンアレイ構造。
【請求項２】
前記所定距離ｄiは、次の数式
2004274763.tif 000010
（ここで、ｃは大気中音速であり、ｆiは第１ないし第ｎサブアレイにそれぞれ割当てられた目的周波数である）によって決定されることを特徴とする請求項１に記載のマイクロホンアレイ構造。
【請求項３】
第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイと、
前記第１ないし第ｎサブアレイから出力される音声信号を入力としてサブアレイ別にビームを形成するビーム形成部と、
前記ビーム形成部からサブアレイ別に出力されるビームをフィルタリングするフィルタリング部と、
前記フィルタリング部からサブアレイ別にフィルタリングされて出力される信号を加算する加算部と、を備えることを特徴とするビーム形成装置。
【請求項４】
前記フィルタリング部は、
前記第１サブアレイに対応するビームに対して第１目的周波数より低い帯域の信号をフィルタリングする低域通過フィルタと、
前記第２ないし第（ｎ−１）サブアレイに対応するビームに対して第１ないし第（ｎ−１）目的周波数のうち隣接する２つの目的周波数間に存在する帯域の信号をフィルタリングする（ｎ−２）個の帯域通過フィルタと、
前記第ｎサブアレイに対応するビームに対して第（ｎ−１）目的周波数より高い帯域の信号をフィルタリングする高域通過フィルタと、よりなることを特徴とする請求項３に記載のビーム形成装置。
【請求項５】
第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイと、
前記第１ないし第ｎサブアレイの各マイクロホンから出力される音声信号に対して高速フーリエ変換を行って周波数領域の音声信号に変換し、前記第１ないし第ｎサブアレイに対応して第１ないし第ｎ周波数ビンを抽出する時間／周波数変換部と、
前記時間／周波数変換部から提供される第１ないし第ｎ周波数ビンを入力としてビームを形成するビーム形成部と、
前記ビーム形成部から提供される第１ないし第ｎ周波数ビンに対するビームを結合する周波数ビン結合部と、
前記周波数ビン結合部から出力されるビームに対して逆高速フーリエ変換を行って時間領域のビームに変換する周波数／時間変換部と、を備えることを特徴とするビーム形成装置。
【請求項６】
前記所定距離ｄiは、次の数式
2004274763.tif 000011
（ここで、ｃは大気中音速であり、ｆiは第１ないし第ｎサブアレイに割当てられた目的周波数である）によって決定されることを特徴とする請求項３または５に記載のビーム形成装置。
【請求項７】
（ａ）第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイを配置する段階と、
（ｂ）前記第１ないし第ｎサブアレイから出力される音声信号を入力としてサブアレイ別にビームを形成する段階と、
（ｃ）前記（ｂ）段階からサブアレイ別に生成されるビームを前記第１ないし第ｎ目的周波数によって低域通過フィルタリング、帯域通過フィルタリングおよび高域通過フィルタリングのうち何れか一つをおこなう段階と、
（ｄ）前記（ｃ）段階からサブアレイ別にフィルタリングされて出力される信号を加算する段階と、を含むことを特徴とするビーム形成方法。
【請求項８】
（ａ）第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイを配置する段階と、
（ｂ）前記第１ないし第ｎサブアレイの各マイクロホンから出力される音声信号に対して高速フーリエ変換を行って周波数領域の音声信号に変換し、前記第１ないし第ｎサブアレイに対応して第１ないし第ｎ周波数ビンを抽出する段階と、
（ｃ）前記（ｂ）段階から提供される第１ないし第ｎ周波数ビンを入力としてマイクロホン別にビームを形成する段階と、
（ｄ）前記（ｃ）段階から提供される第１ないし第ｎ周波数ビンに対するビームを結合する段階と、
（ｅ）前記（ｄ）段階から出力されるビームに対して逆高速フーリエ変換を行って時間領域のビームに変換する段階と、を含むことを特徴とするビーム形成方法。
【請求項９】
第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイと、
前記マイクロホンアレイをなす（２ｎ＋１）個のマイクロホンから出力される音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換する高速フーリエ変換部と、
前記高速フーリエ変換部から提供される各マイクロホン別の周波数領域の音声信号に対して周波数ビン別に生成される空間スペクトルから全ての周波数領域でのピーク値を検出し、ピーク値が検出された方向を音源方向と推定する音源方向検出手段と、を備えることを特徴とする音源方向推定装置。
【請求項１０】
前記所定距離ｄiは、次の数式
2004274763.tif 000012
（ここで、ｃは大気中音速であり、ｆiは第１ないし第ｎサブアレイに割当てられた目的周波数である）によって決定されることを特徴とする請求項９に記載の音源方向推定装置。
【請求項１１】
前記音源方向検出手段は、
前記高速フーリエ変換部から提供される各マイクロホン別の周波数領域の音声信号に対して周波数ビン別に多重化させる周波数ビン多重化部と、
前記周波数ビン多重化部から提供される第１ないし第ｋ周波数ビンに対してそれぞれ空間スペクトルを生成するスペクトル発生部と、
前記スペクトル発生部から提供される第１ないし第ｋ周波数ビンに対する空間スペクトルを結合するスペクトル結合部と、
前記スペクトル結合器から提供される空間スペクトルから全ての周波数領域でのピーク値を検出し、ピーク値が検出された方向を音源方向と推定するピーク検出部と、を備えることを特徴とする請求項９に記載の音源方向推定装置。
【請求項１２】
（ａ）第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイを配置する段階と、
（ｂ）前記マイクロホンアレイをなす（２ｎ＋１）個のマイクロホンから出力される音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換する段階と、
（ｃ）前記（ｂ）段階から提供されるマイクロホン別の周波数領域の音声信号に対して周波数ビン別に生成される空間スペクトルから全ての周波数領域でのピーク値を検出し、ピーク値が検出された方向を音源方向と推定する段階と、を含むことを特徴とする音源方向推定方法。
【請求項１３】
請求項７または請求項８に記載のビーム形成方法をコンピュータに実行させることができるプログラムを記録したコンピュータで読取可能な記録媒体。
【請求項１４】
請求項１２に記載の音源方向推定方法をコンピュータに実行させることができるプログラムを記録したコンピュータで読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマイクロホンアレイを利用した音声関連応用技術に係り、特に、マイクロホンアレイ構造と、これを利用して一定した指向性を有するビームを形成する装置および方法ならびに音源方向を推定する装置および方法とに関する。
【背景技術】
【０００２】
ハンズフリー通信、映像会議（video conference）または音声認識などの音声関連応用技術分野においては、雑音および反響が存在する現実環境での動作に適した強靭（robust）な音声獲得システムが求められている。近時、強靭な音声獲得システムを実現するために、雑音および反響の影響を除去することによって信号対雑音比を高めることができるビーム形成技法を適用したマイクロホンアレイが広く使用されている。
【０００３】
有限個数のマイクロホンから出力される信号を合算する方式を採用する種類のマイクロホンアレイは、その指向性が周波数に左右される。指向性は、通常、マイクロホンアレイの有効長さおよび関連周波数での音響信号波長に依存する。例えば、マイクロホンアレイの長さより非常に長い波長を有する低周波数では低い指向性を有し、マイクロホンアレイの長さより非常に短い波長を有する高周波数では高い指向性を有するなど、指向性は周波数と共に増加する。マイクロホンアレイが一定した指向性を提供できる最も短い波長は、マイクロホンアレイの全体長さに左右され、指向性に重要な影響を及ぼす側面ローブを有しなくなる最も高い周波数は、アレイにおけるマイクロホン間の距離に左右される。したがって、マイクロホンアレイの長さ、マイクロホン間の距離およびマイクロホンの数は、ある一定の指向性レベルを維持するために要求される周波数範囲を考慮して決定される。
【０００４】
一方、ビーム形成のためのマイクロホンアレイのジオメトリは、線形または非線形アレイおよび均一または不均一アレイに分けられる。ここで、均一アレイは、作製および分析が簡単であるが、指向性が周波数によって変わってしまう点が不利である。そのため、最近、不均一アレイ構造を利用して周波数に関係なく一定した指向性を実現するための技術開発努力が続けられている。
【０００５】
前記のような多様なジオメトリで構成されるマイクロホンアレイを利用したビーム形成と関連した技術は、特許文献１、２、３、４に記載されており、一定した指向性を有するビーム形成と関連した技術は非特許文献１に記載されている。
【０００６】
音声認識器は、基本的に近距離対話環境で音響モデルを作るため、各周波数チャンネルごとに同じ特性を有する信号が入ることが期待される。ここで、同じ特性とは、目的音源から入力される信号に対する増幅の程度が同一であると同時に、雑音源から流入された信号に対する減衰の程度も同一であることを意味する。
【特許文献１】米国特許第５,６５７,３９３号明細書
【特許文献２】米国特許第５,７３７,４８５号明細書
【特許文献３】米国特許第６,３３９,７５８号明細書
【特許文献４】米国特許第６,４４９,５８６号明細書
【非特許文献１】ウォード外（Ward et al）著「コンスタント・ディレクティヴィティ・ビーム・フォーミング（Constant Directivity Beam Forming）」（ブラントシュタインおよびウォード（Brandtstein and Ward）編「マイクロフォン・アレイズ−シグナル・プロセッシング・テクニックズ・アンド・アプリケーションズ（Microphone Arrays, Signal Processing Techniques and Applications）」、ドイツ、シュプリンガー、２００１年、３〜１７頁）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
音声認識器は、そこで用いられるマイクロホンアレイのマイクロホンが等間隔に配列されていれば、入射角が同じであっても周波数の変動によりメインローブの利得特性が変わってしまう。また、移動ロボット上に音声獲得装置（マイクロホンアレイ）が配設されて動く場合や目的音源自体が動く場合には、ルックディレクションエラーが発生し、音声認識率が低下してしまうという問題がある。また、遠距離対話の音声認識環境では、低周波数雑音が流入するおそれが高いため、音声認識率が低下する点が問題となる。
【０００８】
そこで、本発明が解決しようとする技術的課題は、周波数に関係なく同じ特性のメインローブと低い側面ローブとを有するビーム、すなわち一定した指向性を有するビームを形成するためのマイクロホンアレイ構造を提供することである。
【０００９】
本発明が解決しようとする他の技術的課題は、前記マイクロホンアレイ構造を適用して目的音源の位置推定時にエラーが発生しても確実に目的信号を獲得できる強靭（robust）なビーム形成装置および方法を提供することである。
【００１０】
本発明が解決しようとするさらに他の技術的課題は、前記マイクロホンアレイ構造を適用して正確に音源方向を推定するための装置および方法を提供することである。
【課題を解決するための手段】
【００１１】
前記課題を達成するために、本発明のマイクロホンアレイ構造は、第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンと前記平板の中心とを結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなる。
【００１２】
前記他の課題を達成するために、本発明の一定した指向性を有するビーム形成装置は、第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイと、前記第１ないし第ｎサブアレイから出力される音声信号を入力としてサブアレイ別にビームを形成するビーム形成部と、前記ビーム形成部からサブアレイ別に出力されるビームをフィルタリングするフィルタリング部と、前記フィルタリング部からサブアレイ別にフィルタリングされて出力される信号を加算する加算部と、を備えることを特徴とする。
【００１３】
前記他の課題を達成するために、本発明の一定した指向性を有するビーム形成方法は、第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイの、（ａ）前記第１ないし第ｎサブアレイから出力される音声信号を入力としてサブアレイ別にビームを形成する段階と、（ｂ）前記（ａ）段階からサブアレイ別に生成されるビームを前記第１ないし第ｎ目的周波数によって低域通過フィルタリング、帯域通過フィルタリングおよび高域通過フィルタリングのうち何れか一つをおこなう段階と、（ｃ）前記（ｂ）段階からサブアレイ別にフィルタリングされて出力される信号を加算する段階と、を含むことを特徴とする。
【００１４】
前記さらに他の課題を達成するために、本発明の音源方向推定装置は、第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイと、前記マイクロホンアレイをなす（２ｎ＋１）個のマイクロホンから出力される音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換する高速フーリエ変換部と、前記高速フーリエ変換部から提供される各マイクロホン別の周波数領域の音声信号に対して周波数ビン（frequency bin）別に生成される空間スペクトルから全ての周波数領域でのピーク値を検出し、ピーク値が検出された方向を音源方向と推定する音源方向検出手段と、を備えることを特徴とする。
【００１５】
前記さらに他の課題を達成するために、本発明の音源方向推定方法は、（ａ）第１ないし第ｎサブアレイよりなり、各サブアレイは、平板の所定位置に配置され、前記各サブアレイに共通の要素となる第１マイクロホンと、サブアレイの目的周波数によって前記第１マイクロホンおよび前記平板の中心を結ぶ直線から垂直に所定距離だけ離れた位置に配置される第２および第３マイクロホンとよりなるマイクロホンアレイをなす（２ｎ＋１）個のマイクロホンから出力される音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換する段階と、（ｂ）前記（ａ）段階から提供されるマイクロホン別の周波数領域の音声信号に対して周波数ビン別に生成される空間スペクトルから全ての周波数領域でのピーク値を検出し、ピーク値が検出された方向を音源方向と推定する段階と、を含むことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、周波数帯域に関係なくメインローブの幅が一定になって周波数変化による信号の歪曲が減少することによって一定した指向性を有するビームを形成でき、目的音源の位置推定時にエラーが発生しても強靭に目的信号を獲得できるため、畢竟、音声認識率を向上させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１８】
図１Ａは、本発明によるマイクロホンアレイ構造のジオメトリを例示する図面であり、図１Ｂは、７つのマイクロホンと３つのマイクロホンサブアレイとよりなるアレイ構造の実際例を示す図面である。ここでは、一実施例として円形マイクロホンアレイ構造を示したが、マイクロホン間に後述する数式１を満足する構造であれば、いかなる形態でもよい。図１Ａを参照すれば、本発明によるアレイ構造は、平板、例えば半円板に配列され、マイクロホンアレイに接続される音声認識器で使用される音響モデルの周波数チャンネル数（ｎ）と同数のｎ個のサブアレイよりなる。すなわち、音響モデルの周波数チャンネル数が変更されれば、サブアレイの数（ｎ）およびマイクロホンアレイを構成する全体マイクロホンの数（２ｎ＋１）が変更される。ここで、各マイクロホンＭ1，．．．，Ｍt（ｔ＝２ｎ＋１）は、無指向性マイクロホン、単一指向性マイクロホンまたは両指向性マイクロホンのうち何れか一つに該当する。符号１１０は、目的源方向すなわち音源方向を表す。この目的源方向１１０は、あらかじめ探知過程（localization）を行なうことにより推定することができるが、動く目的源、反響、目的源の近くに位置する雑音源などのようなさまざまな要因によって目的源方向の推定にエラーが発生するおそれがある。
【００１９】
各サブアレイは、マイクロホンＭkを含む３つのマイクロホンよりなるが、例えばＭ1、Ｍk、Ｍtは第１サブアレイ、Ｍk-2、Ｍk、Ｍk+2は第（ｎ−１）サブアレイ、Ｍk-1、Ｍk、Ｍk+1は第ｎサブアレイを構成する。各サブアレイは、Ｍkを頂点とし、Ｍkを除く残りの２つマイクロホンを結ぶ直線が底辺になる三角形構造よりなる。各マイクロホンサブアレイの目的周波数ｆi（ｉ＝１ないしｎ）は、音響モデルの各チャンネルに対応する周波数に設定され、目的周波数ｆiが決定されれば、各マイクロホンサブアレイのＭk以外の２つのマイクロホンの位置が決定される。平板上でのＭkを除いた残りの２つのマイクロホンが位置する地点は、次の数式１によって決定することができる。
【００２０】
【数１】
2004274763.tif 000003
【００２１】
ここで、ｃは大気中音速（３４３ｍ／秒）を示し、ｆi（ｉ＝１ないしｎ）は第ｉ番目のサブアレイに割当てられた目的周波数であって、例えば、ｆ1は音響モデルの周波数チャンネルのうち最も低い周波数を示し、ｆnは最も高い周波数を示す。また、ｄiは、マイクロホンＭkと中心軸１３０とを結ぶ直線から半円板の端までその直線に対して垂直にのびる所定の線分の長さを示す。マイクロホンＭkとともに第ｉ番目のマイクロホンサブアレイを構成する２つのマイクロホンは、それぞれ、この線分ｄi（の延長線）と半円板の円周との交点に位置する。すなわち、平板上でマイクロホンＭkと前記平板の中心（中心軸１３０）とを結ぶ直線（またはその延長線）から垂直に所定距離ｄiだけ離れた２つの地点にＭkを除外した残りの２つのマイクロホンが位置する。
【００２２】
このように音声認識器で必要とする各チャンネルの目的周波数によって底辺の長さが異なる三角形構造よりなるｎ個のマイクロホンサブアレイを利用することによって、目的周波数の近辺では側面ローブが発生するおそれが減少するだけでなく、目的周波数の周波数帯域に関係なく同じ特性すなわち同じ形状のメインローブを有するビームパターンを生成できる。
【００２３】
一方、図１Ｂに示すように、３つの目的周波数を必要とする場合のマイクロホンアレイは、Ｍ1ないしＭ7の７つのマイクロホンによる３つのマイクロホンサブアレイにより構成される。すなわち、Ｍ1、Ｍ4、Ｍ7は第１サブアレイ、Ｍ2、Ｍ4、Ｍ6は第２サブアレイ、Ｍ3、Ｍ4、Ｍ5は第３サブアレイを形成する。第１ないし第３サブアレイは、前記数式１によって各々音響モデルの周波数チャンネルにより提供される低周波数帯域、中周波数帯域、高周波数帯域をカバーできるように最適化させた位置に配列される。したがって、音響モデルの周波数チャンネル数が多くなるほど各マイクロホン間の間隔が稠密になる傾向がある。
【００２４】
図２は、本発明によるマイクロホンアレイ構造を適用したビーム形成装置の第１の実施形態を表したものである。本発明の第１の実施形態によるビーム形成装置は、３つのマイクロホンサブアレイ２１３、２１５、２１７で構成されるマイクロホンアレイ２１１と、各マイクロホンサブアレイ２１３，２１５，２１７からの出力を入力としてビームを形成するビーム形成部２３１と、第１ないし第３ビーム形成器２３３，２３５，２３７からの出力に対してフィルタリングをおこなうフィルタリング部２５１と、第１ないし第３フィルタ２５３，２５５，２５７の出力を加算する加算部２７１と、を備える。ビーム形成部２３１は、第１ないし第３ビーム形成器２３３，２３５，２３７で構成されており、フィルタリング部２５１は、第１ないし第３フィルタ２５３，２５５，２５７で構成されている。ここでは、説明の便宜のために、音響モデルが低周波数帯域、中周波数帯域および高周波数帯域に属する各々一つの目的周波数、すなわち第１ないし第３目的周波数ｆ1〜ｆ3を有するものとし、したがって、マイクロホンアレイ２１１が７つのマイクロホンと３つのマイクロホンサブアレイとよりなる場合を例示する。
【００２５】
図２に示すように、マイクロホンアレイ２１１は、本発明のマイクロホンアレイ構造に基づいて、そのマイクロホンサブアレイ２１３、２１５、２１７が第１ないし第３目的周波数ｆ1〜ｆ3に対応するジオメトリを有し、各マイクロホンサブアレイ２１３，２１５，２１７の出力は、それぞれ対応するビーム形成器２３３，２３５，２３７に入力される。
【００２６】
ビーム形成部２３１において、第１ビーム形成器２３３は、第１サブアレイ２１３のマイクロホンＭ1，Ｍ4，Ｍ7から出力される音声信号をそれぞれ所定時間遅延させた後に加算してビームを形成する。第２ビーム形成器２３５は、第２サブアレイ２１５のマイクロホンＭ2，Ｍ4，Ｍ6から出力される音声信号をそれぞれ所定時間遅延させた後に加算してビームを形成する。第３ビーム形成器２３７は、第３サブアレイ２１７のマイクロホンＭ3，Ｍ4，Ｍ5から出力される音声信号をそれぞれ所定時間遅延させた後に加算してビームを形成する。第１ないし第３ビーム形成器２３３，２３５，２３７は、例えば遅延−和ビーム形成技法（delay-and-sum beam forming method）を使用するが、以下、これを簡単に説明する。第１ないし第３ビーム形成器２３３，２３５，２３７は、３つの対応するマイクロホンから各々音声信号が入力されると、その３つのマイクロホンを通じて入力される音声信号の相関度を算出し、その相関度に基づいて各音声信号間の遅延時間を計算する。次いで、計算された遅延時間だけ各音声信号を遅延させ、遅延された音声信号を出力する。ここで、遅延時間の計算は、相関度に基づく方法以外に多様な方法でおこなうことができる。第１ないし第３ビーム形成器２３３，２３５，２３７の出力は、それぞれ第１ないし第３フィルタ２５３，２５５，２５７に入力される。
【００２７】
フィルタリング部２５１において、第１フィルタ２５３は、第１ビーム形成器２３３からの出力に対して低域通過フィルタリングをおこなうためのものであって、第１ビーム形成器２３３からの出力に対して低周波数帯域に対する第１目的周波数ｆ1より低い帯域の信号をフィルタリングして出力する。第２フィルタ２５５は、第２ビーム形成器２３５からの出力に対して帯域通過フィルタリングをおこなうためのものであって、第２ビーム形成器２３５からの出力に対して低周波数帯域に対する第１目的周波数ｆ1と中周波数帯域に対する第２目的周波数ｆ2との間に存在する帯域の信号をフィルタリングして出力する。第３フィルタ２５７は、第３ビーム形成器２３７からの出力に対して高域通過フィルタリングをおこなうためのものであって、第３ビーム形成器２３７からの出力に対して中周波数帯域に対する第２目的周波数ｆ2より高い帯域の信号をフィルタリングして出力する。音響モデルの周波数チャンネルがｉ個であるとすると、フィルタリング部２５１はｉ個のフィルタよりなるが、ｉ個のフィルタのうち第１フィルタは低域通過フィルタリング、第２ないし第（ｉ−１）フィルタは帯域通過フィルタリング、第ｉフィルタは高域通過フィルタリングをおこなう。なお、各フィルタのカットオフ周波数は、各チャンネルの目的周波数によって決定する。
【００２８】
加算部２７１は、フィルタリング部２５１からフィルタリングされて出力される周波数帯域信号を加算して音声認識器（図示せず）に入力する。
【００２９】
図３は、本発明によるマイクロホンアレイ構造を利用したビーム形成装置の第２の実施形態を示す図面である。図３に示すように、本発明の第２の実施形態によるビーム形成装置は、３つのマイクロホンサブアレイ３１３，３１５，３１７で構成されるマイクロホンアレイ３１１と、マイクロホンに対応する高速フーリエ変換器を含む第１ないし第３高速フーリエ変換部３３３，３３５，３３７よりなる時間／周波数変換部３３１と、第１ないし第３ビーム形成器３５３，３５５，３５７よりなるビーム形成部３５１と、周波数ビン結合部３７１と、周波数／時間変換部３９１とを含む。図２に示した第１の実施形態と同様、音響モデルが低周波数帯域、中周波数帯域および高周波数帯域でそれぞれ一つの目的周波数、すなわち、第１ないし第３目的周波数ｆ1〜ｆ3を有する場合を想定し、７つのマイクロホンと３つのマイクロホンサブアレイとから構成される例を示すものである。
【００３０】
図３に示すように、マイクロホンアレイ３１１は、本発明によるマイクロホンアレイ構造に基づいて、そのマイクロホンサブアレイ３１３、３１５、３１７が第１ないし第３目的周波数ｆ1〜ｆ3に対応するジオメトリを有し、各マイクロホンサブアレイ３１３，３１５，３１７で各マイクロホンＭ1〜Ｍ7の出力は対応する高速フーリエ変換器ＦＦＴ１ａ〜ＦＦＴ３ｃに入力される。
【００３１】
時間／周波数変換部３３１において、第１高速フーリエ変換部３３３の高速フーリエ変換器ＦＦＴ１ａ〜ＦＦＴ１ｃでは第１サブアレイ３１３のマイクロホンＭ1，Ｍ4，Ｍ7から出力される時間領域の音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換し、マイクロホンＭ1，Ｍ4，Ｍ7の周波数領域の音声信号に対してそれぞれ第１目的周波数に対応する周波数領域の値である第１周波数ビンを抽出して第１ビーム形成器３５３に提供する。第２高速フーリエ変換部３３５の高速フーリエ変換器ＦＦＴ２ａ〜ＦＦＴ２ｃでは第２サブアレイ３１５のマイクロホンＭ2，Ｍ4，Ｍ6から出力される時間領域の音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換し、マイクロホンＭ2，Ｍ4，Ｍ6の周波数領域の音声信号に対してそれぞれ第２目的周波数に対応する周波数領域の値である第２周波数ビンを抽出して第２ビーム形成器３５５に提供する。第３高速フーリエ変換部３３７の高速フーリエ変換器ＦＦＴ３ａ〜ＦＦＴ３ｃでは第３サブアレイ３１７のマイクロホンＭ3，Ｍ4，Ｍ5から出力される時間領域の音声信号に対してそれぞれ高速フーリエ変換を行って周波数領域の音声信号に変換し、マイクロホンＭ3，Ｍ4，Ｍ5の周波数領域の音声信号に対してそれぞれ第３目的周波数に対応する周波数領域の値である第３周波数ビンを抽出して第３ビーム形成器３５７に提供する。ここでは、各高速フーリエ変換器で一つの目的周波数に対応する周波数ビンを抽出したが、２つ以上の目的周波数を抽出してビーム形成部３１５に提供するよう構成してもよい。
【００３２】
ビーム形成部３５１において、第１ビーム形成器３５３は、高速フーリエ変換器ＦＦＴ１ａ〜ＦＦＴ１ｃからそれぞれ提供される第１周波数ビンを含む音声信号に対してビームを形成する。第２ビーム形成器３５５は、高速フーリエ変換器ＦＦＴ２ａ〜ＦＦＴ２ｃからそれぞれ提供される第２周波数ビンを含む音声信号に対してビームを形成する。第３ビーム形成器３５７は、高速フーリエ変換器ＦＦＴ３ａ〜ＦＦＴ３ｃからそれぞれ提供される第３周波数ビンを含む音声信号に対してビームを形成する。ここで、第１ないし第３ビーム形成器３５３，３５５，３５７が各々単一のビーム形成器よりなるものとして例示されているが、第１ないし第３ビーム形成器３５３，３５５，３５７は、それぞれ複数のビーム形成器よりなるものとして構成することもできる。各々の第１ないし第３ビーム形成器３５３，３５５，３５７を構成するビーム形成器の数は、第１ないし第３高速フーリエ変換部３３３，３３５，３３７から抽出される目的周波数によって決定することができる。例えば、第１高速フーリエ変換部３３３から３つの目的周波数に対応する周波数ビンを抽出する場合、第１ビーム形成器３５３は、各周波数ビンに対応する３つのビーム形成器により構成されることになる。第１ないし第３ビーム形成器３５３，３５５，３５７は、図２に示された第１の実施形態と同様に、遅延−和ビーム形成技法を利用するものであってもよいが、最小分散技法（minimum variance technique）を利用したビーム形成技法を利用することもできる。第１ないし第３ビーム形成器３５３，３５５，３５７に適用される最小分散技法は、マイクロホンから入る音声信号の入射角によって加重値を異にすることによって信号対雑音比を向上させることができる。最小分散技法の加重値ベクトルを求めるための最適化問題は、次の数式２のような線形制限条件を有するビーム形成技法から解を導くことができる。
【００３３】
【数２】
2004274763.tif 000004
【００３４】
第１ビーム形成器３５３において、高速フーリエ変換器ＦＦＴ１ａ〜ＦＦＴ１ｃから提供される第１周波数ビン［ｘa（ｋ）＝｛ｘ1（ｋ）、ｘ4（ｋ）、ｘ7（ｋ）｝］に対応する加重値ベクトル［ｗ＝｛ｗ1（ｋ）、ｗ4（ｋ）、ｗ7（ｋ）｝］は、数式３で表すことができる。ここで、ｋは（ｆk／ｆs）×ＦＦＴポイント数で表されることができ、ｆkは第ｋ目的周波数、ｆsは高速フーリエ変換器に提供するためにマイクロホンの出力信号に対するアナログ／デジタル変換時のサンプリング周波数をそれぞれ表す。
【００３５】
【数３】
2004274763.tif 000005
【００３６】
前記数式２および数式３において、
2004274763.tif 000006
ａ（θ）［＝｛ａ1（θ）、ａ4（θ）、ａ7（θ）｝］はステアリングベクトル、
θはルックディレクション
をそれぞれ表す。最小分散技法およびステアリングベクトルａ（θ）を獲得する方法については、浅野太、速水悟、山田武志, 中村哲、共著論文「スピーチ・エンハンスメント・ベースト・オン・スピーチ・アンド・オーディオ・プロセッシング（Speech enhancement based on the subspace method）」（アイトリプリー・トランザクションズ・オン・スピーチ・アンド・オーディオ・プロセッシングIEEE Transactions on Speech and Audio Processing第８巻第５号、４９７〜５０７頁、２０００年）に詳細に開示されている。
【００３７】
第１ビーム形成器３５３では、前記数式３によって算出された加重値を３つの第１周波数ビンにそれぞれ積算した後に加算してビームを形成する。第２および第３ビーム形成器３５５，３５７でも同様の過程によりビームを形成する。
【００３８】
周波数ビン結合部３７１では第１ないし第３ビーム形成器３５３，３５５，３５７から提供される第１ないし第３周波数ビンに対するビームを結合して周波数／時間変換部３９１に提供する。
【００３９】
周波数／時間変換部３９１は、周波数ビン結合部３７１から提供される周波数領域の音声信号に対して逆高速フーリエ変換を行って時間領域の音声信号に変換して出力する。
【００４０】
図４は、本発明によるマイクロホンアレイ構造を利用した音源方向推定装置を示す図面である。図４に示すように、本実施形態における音源方向推定装置は、Ｍ1ないしＭ7の７つのマイクロホンで構成されるマイクロホンアレイ４１１と、高速フーリエ変換器ＦＦＴ１〜ＦＦＴ７  ４２２〜４２８で構成される高速フーリエ変換部４２１と、周波数ビン多重化器４３１と、第１ないし第ｉスペクトル発生器４４２，４４３，４４４よりなるスペクトル発生部４４１と、スペクトル結合器４５１と、ピーク検出器４６１とを備える。ここで、周波数ビン多重化器４３１、スペクトル発生部４４１、スペクトル結合器４５１およびピーク検出器４６１は、音源方向検出手段を構成する。図２および図３と同様に、説明の便宜のために３つのサブアレイで構成されることによって全体７つのマイクロホンが使われた場合を例としたが、ｉ個のサブアレイで構成されて全体（２ｉ＋１）個のマイクロホンが使われた場合にもそのままに適用可能である。
【００４１】
図４に示すように、マイクロホンアレイ４１１は、本発明によるマイクロホンアレイ構造に基づいて、第１ないし第３目的周波数ｆ1〜ｆ3に対応するジオメトリを有し、各マイクロホンＭ1〜Ｍ7の出力は、対応する高速フーリエ変換器ＦＦＴ１〜ＦＦＴ７（４２２〜４２８）に提供される。
【００４２】
高速フーリエ変換部４２１において、高速フーリエ変換器ＦＦＴ１〜ＦＦＴ７（４２２〜４２８）は、それぞれマイクロホンＭ1〜Ｍ7から出力される時間領域の音声信号に対して高速フーリエ変換を行って周波数領域の音声信号に変換する。
【００４３】
周波数ビン多重化器４３１は、高速フーリエ変換器ＦＦＴ１〜ＦＦＴ７（４２２〜４２８）から提供される周波数領域の音声信号から、第１ないし第ｉ目的周波数に対応する周波数領域の値である第１周波数ビンないし第ｉ周波数ビンを抽出して、７つの第１周波数ビンｆb1よりなる第１多重信号を第１スペクトル発生器４４２に、７つの第２周波数ビンｆb2よりなる第２多重信号を第２スペクトル発生器４４３に、７つの第ｉ周波数ビンｆbiよりなる第ｉ多重信号を第ｉスペクトル発生器４４４にそれぞれ提供する。
【００４４】
スペクトル発生部４４１において、第１ないし第ｉスペクトル発生器４４２，４４３，４４４は、第１ないし第ｉ周波数ビンに対するそれぞれの空間スペクトルを発生させる。第１ないし第ｉスペクトル発生器４４２，４４３，４４４がＭＵＳＩＣ（Multiple Signal Classification）アルゴリズムを採用する場合、第１ないし第ｉ周波数ビンに対するＭＵＳＩＣ空間スペクトルは、次の数式４のように表すことができる。
【００４５】
【数４】
2004274763.tif 000007
【００４６】
ここで、Ｖ（ｆi）はｉ番目周波数ビンの共分散行列の雑音副空間（noise subspace）に対応する固有ベクトルの行列、ａ（θ、ｆi）はｉ番目周波数ビンに対応するステアリングベクトルをそれぞれ表す。ＭＵＳＩＣアルゴリズムについては、特開２００１−３３７６９４号公報に詳細に記載されている。
【００４７】
スペクトル結合器４５１は、第１ないし第ｉスペクトル発生器４４２，４４３，４４４から提供される第１ないし第ｉ周波数ビンに対する空間スペクトルを結合して全体的な空間スペクトル（general spatial spectrum）をピーク検出器４６１に提供する。
【００４８】
ピーク検出器４６１は、スペクトル結合器４５１から提供される空間スペクトルから全ての周波数領域でのピーク電力を検出し、ピーク電力に対応するθ値を音源方向として
2004274763.tif 000008
と推定する。
【００４９】
＜実験例＞
本発明によるビーム形成方法および従来技術のビーム形成方法の性能を比較するための実験を実施した。性能比較のために、本発明では図５Ａに示されたようなマイクロホンアレイを、従来技術については図５Ｂに示されたようなマイクロホンアレイを使用する。マイクロホンアレイの中心から目的源までの距離は約３ｍ、実際ルックディレクションは０゜であるが、音源方向推定器で推定したルックディレクションは１０゜であるので、ルックディレクションエラーが存在すると仮定する。一方、マイクロホンアレイの中心から雑音源までの距離は３ｍ、ルックディレクションは９０゜であって、この時、ビーム形成器は雑音源の正確な位置に関する情報を有していないものと仮定する。使用された雑音源の種類はファンノイズである。マイクロホンアレイを構成するマイクロホンの数は７つであり、本発明による各サブアレイ、すなわち、第１ないし第３サブアレイに最適化された目的周波数はそれぞれ６８０Ｈｚ、１.３ＫＨｚ、２.７ＫＨｚに設定した。実験には、エンベッディドデバイス用の音声認識器を使用し、最小分散技法を採用したビーム形成器により、孤立単語５０個の音声について実験した。使用した音声認識器には、混合されたガウス確率密度関数を８個、状態数を３個、モデル数を２５５個とするＨＭＭ音響モデル（Hidden Markov acoustic Model）と、１００人から発話された２０,０００個の発話音声を保存するデータベースを使用した。音声特徴パラメータとしては、１２次スタティックＭＦＣＣ、１２次デルタＭＦＣＣ、１次デルタエネルギー、ＣＭＳ（Cepstral Mean Subtraction）を使用した。
【００５０】
このような実験環境で生成されるビームパターンを、図６Ａないし図６Ｆに示す。ルックディレクションエラーを１０゜とした場合、図６Ａないし図６Ｃは、それぞれ、本発明によるマイクロホンアレイを利用したビーム形成方法の適用時に３００Ｈｚ〜６８０Ｈｚ、６８０Ｈｚ〜１.３ＫＨｚ、１.３ＫＨｚ〜３.４ＫＨｚに対するビームパターンを示す。また、図６Ｄないし図６Ｆは、従来技術によるマイクロホンアレイを利用したビーム形成方法の適用時の各周波数帯域のビームパターンをそれぞれ示す。図６Ａないし図６Ｆを比較すれば、本発明によるマイクロホンアレイを利用したビーム形成方法を適用する場合、各周波数帯域に対して一定した指向性を有することが分かる。
【００５１】
下記表１は、本発明によるビーム形成方法と従来技術によるビーム形成方法とを採用する音声認識器の音声認識率を比較した表である。
【００５２】
【表１】
2004274763.tif 000009
【００５３】
表１において、ルックディレクションエラーは、最小分散技法を採用するビーム形成器のルックディレクションエラーを示す。表１から明らかなように、本発明によるマイクロホンアレイを利用したビーム形成方法によって形成されたビームを利用して音声認識をおこなうと、ルックディレクションエラーが存在するにも拘わらず非常に優れた音声認識性能を示すようになる。
【００５４】
前記本発明は、当該機能を実現する専用デバイスで具現することができるが、プラットフォームとしてコンピュータの中央処理装置とメモリとによって当該機能を実現するように記述された処理プログラムとして具現することもできる。このようなコンピュータプログラムは、コンピュータで読取り可能な記録媒体にコンピュータが読取れるコードとして格納してプログラム製品とすることができる。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータが読取可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置があり、また、キャリヤウェーブ（例えば、インターネットを通じた伝送）の形態に具現されるものも含む。また、コンピュータが読取可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて実現し、分散方式でコンピュータが読取可能なコードが保存されて、当該プログラムを実行することが可能である。
【００５５】
そして、本発明を実現するための機能的なプログラム、コードおよびコードセグメントは、上記の詳細な説明から、当業者であれば作成し実装することが可能である。
【００５６】
以上、図面と明細書とで最適の実施形態を開示した。ここで、使用された具体的な用語は、単に本発明を説明するための目的から選択されたものにすぎないのであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限することを意図するものではない。したがって、当業者であれば、これらの記載内容から多様な変形および均等な他の実施形態が可能であることが分かる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲に記載された技術的思想によって決定されなければならない。
【産業上の利用可能性】
【００５７】
本発明はハンズフリー通信、映像会議または音声認識のような音声関連応用分野に使用される音声獲得システムに適用されて、周波数に関係なく同じ特徴のメインローブと低い側面ローブとを有しつつ一定した指向性を有するビーム形成が可能であるので、音声認識率を向上させることができる。
【図面の簡単な説明】
【００５８】
【図１Ａ】本発明によるマイクロホンアレイ構造のジオメトリを示す図面である。
【図１Ｂ】本発明によるマイクロホンアレイ構造の実際例を示す図面である。
【図２】本発明によるマイクロホンアレイを適用したビーム形成装置の第１の実施形態の構成を示すブロック図である。
【図３】本発明によるマイクロホンアレイを適用したビーム形成装置の第２の実施形態の構成を示すブロック図である。
【図４】本発明によるマイクロホンアレイを適用した音源方向推定装置の一実施形態の構成を示すブロック図である。
【図５Ａ】本発明と従来技術とによるビーム形成方法の性能を比較するために使われたマイクロホンアレイの本発明による例を示す図面である。
【図５Ｂ】本発明と従来技術とによるビーム形成方法の性能を比較するために使われたマイクロホンアレイの従来技術による例を示す図面である。
【図６Ａ】図５Ａに示すマイクロホンアレイを使用した本発明によるビーム形成方法によって生成される３００Ｈｚ〜６８０Ｈｚに対するビームパターンを示す図面である。
【図６Ｂ】図５Ａに示すマイクロホンアレイを使用した本発明によるビーム形成方法によって生成される６８０Ｈｚ〜１．３ｋＨｚに対するビームパターンを示す図面である。
【図６Ｃ】図５Ａに示すマイクロホンアレイを使用した本発明によるビーム形成方法によって生成される１．３ｋＨｚ〜３．４ｋＨｚに対するビームパターンを示す図面である。
【図６Ｄ】図５Ｂに示すマイクロホンアレイを使用した従来技術によるビーム形成方法によって生成される３００Ｈｚ〜６８０Ｈｚに対するビームパターンを示す図面である。
【図６Ｅ】図５Ｂに示すマイクロホンアレイを使用した従来技術によるビーム形成方法によって生成される６８０Ｈｚ〜１．３ｋＨｚに対するビームパターンを示す図面である。
【図６Ｆ】図５Ｂに示すマイクロホンアレイを使用した従来技術によるビーム形成方法によって生成される１．３ｋＨｚ〜３．４ｋＨｚに対するビームパターンを示す図面である。
【符号の説明】
【００５９】
２１１    マイクロホンアレイ
２１３,２１５,２１７    マイクロホンサブアレイ
２３１    ビーム形成部
２３３,２３５,２３７    第１ないし第３ビーム形成器
２５１    フィルタリング部
２５３,２５５,２５７    第１ないし第３フィルタ
２７１    加算部
【図１Ａ】
2004274763.tif 000013
【図５Ａ】
2004274763.tif 000014
【図５Ｂ】
2004274763.tif 000015
【図６Ａ】
2004274763.tif 000016
【図６Ｂ】
2004274763.tif 000017
【図６Ｃ】
2004274763.tif 000018
【図６Ｄ】
2004274763.tif 000019
【図６Ｅ】
2004274763.tif 000020
【図６Ｆ】
2004274763.tif 000021
【図１Ｂ】
2004274763.tif 000022
【図２】
2004274763.tif 000023
【図３】
2004274763.tif 000024
【図４】
2004274763.tif 000025