(57)【要約】【課題】指向性の異なるマイクロホンの組み合わせを総当たりすることなく、良好な性能を発揮するビームフォーミングを行うためのフィルタ係数を生成する装置等を提供する。【解決手段】2個の無指向性の収音手段が対をなし、M個の対があり、１対の収音手段から信号の合成により第一の指向性を有する第一収音手段と第二の指向性を有する第二収音手段が構成されるものとし、無指向性収音手段の周波数領域収音信号を用いて、ターゲット音の空間相関行列とノイズの空間相関行列とを求め、複数の周波数における空間相関行列をフォーカシング周波数の空間相関行列に変換し、空間相関行列を、第一収音手段の指向性及び第二収音手段の指向性を有するときに得られるフォーカシング周波数の空間相関行列に変換し、空間相関行列を用いて、第一収音手段と第二収音手段との対毎に、ターゲット音を収音する上で重要である何れかの収音手段を選択する。【選択図】図２
2016100735.tif 000002
【特許請求の範囲】
【請求項１】
2個の無指向性の収音手段が対をなし、M個の対があり、１対の収音手段から信号の合成により第一の指向性を有する第一収音手段と第二の指向性を有する第二収音手段が構成されるものとし、
前記無指向性の収音手段で収音した信号から得られる周波数領域の信号である周波数領域収音信号を用いて、ターゲット音の空間相関行列R-Xとノイズの空間相関行列R-Vとを求め、複数の周波数における前記空間相関行列R-X及びR-Vを用いてフォーカシング周波数のターゲット音の空間相関行列R-X(ωf)及びノイズの空間相関行列R-V(ωf)をそれぞれ求め、前記空間相関行列R-X(ωf)及びR-V(ωf)を用いて、第一収音手段の指向性及び第二収音手段の指向性を有するときに得られるフォーカシング周波数のターゲット音の空間相関行列R-ABX(ωf)及びノイズの空間相関行列R-ABV(ωf)をそれぞれ求め、複数の周波数における前記空間相関行列R-X及びR-Vを用いて第一収音手段の指向性及び第二収音手段の指向性を有するときに得られる複数の周波数における空間相関行列R-ABX及びR-ABVを求めるフォーカス処理部と、
前記空間相関行列R-ABX(ωf)及びR-ABV(ωf)を用いて、第一収音手段と第二収音手段との対毎に、ターゲット音を収音する上で重要である第一収音手段または第二収音手段を選択するマイクロホン選択部と、
マイクロホン選択部の選択結果と前記空間相関行列R-ABX及びR-ABVを用いて、第一収音手段または第二収音手段に周波数毎に適用するフィルタ係数を生成するフィルタ生成部とを含む、
フィルタ生成装置。
【請求項２】
請求項１のフィルタ生成装置であって、
フォーカス周波数をωfとし、第一収音手段で収音した信号から得られる周波数領域第一収音信号及び第二収音手段で収音した信号から得られる周波数領域第二収音信号を要素とするベクトルをx-ABとし、M個の周波数領域第一収音信号の中の１つの参照用の信号をXAaとし、参照用の信号XAaの対となる信号をXBaとし、Ｅ［＊］は平均をとることを、上付き文字＊は複素共役を、上付き文字Ｈは複素共役転置を意味し、周波数領域第一収音信号に対応するフィルタ係数を[HA1(ωf),…,HAM(ωf)]Tとし、周波数領域第二収音信号に対応するフィルタ係数を[HB1(ωf),…,HBM(ωf)]Tとし、フィルタ係数h-を
【数２８】
2016100735.tif 000030
とし、h-0を
【数２９】
2016100735.tif 000031
を拘束条件とし、次式により得られる値とし、
【数３０】
2016100735.tif 000032
0<ρ<1とし、前記マイクロホン選択部は、
【数３１】
2016100735.tif 000033
を拘束条件として、
【数３２】
2016100735.tif 000034
を解き、σを所定のパラメータとし、
【数３３】
2016100735.tif 000035
が成立している場合には、第一収音手段を選択し、
【数３４】
2016100735.tif 000036
が成立している場合には、第二収音手段を選択し、M個のマイクロホンを選択するまで、Δρを所定のパラメータとし、ρ←ρ＋Δρにより更新し、処理を繰り返す、
フィルタ生成装置。
【請求項３】
請求項１または請求項２のフィルタ生成装置で生成したフィルタ係数を用いる収音装置であって、
M個の第三収音手段と、
前記フィルタ生成部で生成されたフィルタ係数を用いて、前記M個の第三収音手段で収音した信号から得られる周波数領域の信号である周波数領域第三収音信号に対してフィルタリング処理を行うフィルタリング部とを含み、
前記M個の第三収音手段は、それぞれ前記マイクロホン選択部で選択した第一収音手段または第二収音手段に対応する指向性を有する、
収音装置。
【請求項４】
2個の無指向性の収音手段が対をなし、M個の対があり、１対の収音手段から信号の合成により第一の指向性を有する第一収音手段と第二の指向性を有する第二収音手段が構成されるものとし、
前記無指向性の収音手段で収音した信号から得られる周波数領域の信号である周波数領域収音信号を用いて、ターゲット音の空間相関行列R-Xとノイズの空間相関行列R-Vとを求め、複数の周波数における前記空間相関行列R-X及びR-Vを用いてフォーカシング周波数のターゲット音の空間相関行列R-X(ωf)及びノイズの空間相関行列R-V(ωf)をそれぞれ求め、前記空間相関行列R-X(ωf)及びR-V(ωf)を用いて、第一収音手段の指向性及び第二収音手段の指向性を有するときに得られるフォーカシング周波数のターゲット音の空間相関行列R-ABX(ωf)及びノイズの空間相関行列R-ABV(ωf)をそれぞれ求め、複数の周波数における前記空間相関行列R-X及びR-Vを用いて第一収音手段の指向性及び第二収音手段の指向性を有するときに得られる複数の周波数における空間相関行列R-ABX及びR-ABVを求めるフォーカス処理ステップと、
前記空間相関行列R-ABX(ωf)及びR-ABV(ωf)を用いて、第一収音手段と第二収音手段との対毎に、ターゲット音を収音する上で重要である第一収音手段または第二収音手段を選択するマイクロホン選択ステップと、
マイクロホン選択ステップの選択結果と前記空間相関行列R-ABX及びR-ABVを用いて、第一収音手段または第二収音手段に周波数毎に適用するフィルタ係数を生成するフィルタ生成ステップとを含む、
フィルタ生成方法。
【請求項５】
請求項１もしくは請求項２の何れかに記載のフィルタ生成装置、または、請求項３に記載の収音装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンを用いてビームを形成するビームフォーミング技術で用いるフィルタ係数を生成する装置、そのフィルタ係数を用いる収音装置、フィルタ生成方法及びプログラムに関する。
【背景技術】
【０００２】
会議の模様を録音したり双方向で通話するときに、スマートフォンやタブレットのようなデジタルデバイスをもちいるケースが増えており、このようなデジタルデバイスでのハンズフリーのオーディオインタフェースがますます重要になってきている。録りたい音をよりクリアに録るために、複数マイクロホンをもちいてビームを形成するビームフォーミング技術が近年さかんに研究開発され、タブレットのようなモバイル端末への搭載が検討されている。
【０００３】
ビームフォーミングは、図１のようにM本のマイクロホン１−ｍにより(m=1,2,…,M)で収音し、各マイクロホン１−ｍの収音信号xmにフィルタ２−ｍを適用し、加算部３でフィルタリング後の収音信号の総和をとることで、雑音を大幅に減らし、ターゲット音をより明瞭に取り出した出力信号yを得ることを可能にする。このようなビームフォーミングのフィルタを求める方法として、minimum variance distortionless response法（MVDR法）やlinearly constrained minimum variance法（LCMV法）がよく知られ使われている（非特許文献１、２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Souden, M.; Benesty, J.; Affes, S.; "A Study of the LCMV and MVDR Noise Reduction Filters", IEEE Transactions on Signal Processing, 2010, 58巻, 9号, pp. 4925 - 4935.
【非特許文献２】Habets, E.; Benesty, J.; Cohen, I.; Gannot, S.; Dmochowski, J.: "New Insights Into the MVDR Beamformer in Room Acoustics", IEEE Transactions on Audio, Speech, and Language Processing, 2010, 18, 1, pp. 158 - 170.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ビームフォーミングに関する文献では、同一の無指向性マイクロホンを複数もちいるケースが大半である。ここで、搭載スペースの制約等の理由で、使用できるマイクロホンの個数が限られている場合に、指向性の異なるマイクロホンを組み合わせることで、ビームフォーミングの性能を向上できないかを考える。
【０００６】
異なる指向性が混在する場合でも、従来のMVDR法はそのまま適用できる。MVDR法は、各周波数ごとにターゲット音信号の空間相関行列とノイズ信号の空間相関行列を入力として、ビームフォーミングのフィルタ係数を求める方法であり、この相関行列は指向性の異なるマイクロホンの収音信号からそのまま算出できるからである。
【０００７】
そのため指向性の異なるマイクロホンでより良いビームフォーミングを求める問題のポイントは、異なる指向性をどのように組み合わせてビームフォーミングを適用するか、という課題になる。指向性のすべての組み合わせを求めておき、各組み合わせについて(1)周波数領域への変換、(2)ビームフォーミング、(3)時間領域への逆変換をして性能を求め、比較することで、異なる指向性をどう組み合わせるべきかを求めることはできる。
【０００８】
しかし、この処理の計算量が組み合わせ数で決まってしまうため、マイクロホン数が増大すると、この計算量は急激に増大してしまう。
【０００９】
そこで本発明では、この指向性の異なるマイクロホンの組み合わせを総当たりすることなく、良好な性能を発揮するビームフォーミングを行うためのフィルタ係数を生成する装置、そのフィルタ係数を用いる収音装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明の一態様によれば、フィルタ生成装置は、2個の無指向性の収音手段が対をなし、M個の対があり、１対の収音手段から信号の合成により第一の指向性を有する第一収音手段と第二の指向性を有する第二収音手段が構成されるものとし、無指向性の収音手段で収音した信号から得られる周波数領域の信号である周波数領域収音信号を用いて、ターゲット音の空間相関行列R-Xとノイズの空間相関行列R-Vとを求め、複数の周波数における空間相関行列R-X及びR-Vを用いてフォーカシング周波数のターゲット音の空間相関行列R-X(ωf)及びノイズの空間相関行列R-V(ωf)をそれぞれ求め、空間相関行列R-X(ωf)及びR-V(ωf)を用いて、第一収音手段の指向性及び第二収音手段の指向性を有するときに得られるフォーカシング周波数のターゲット音の空間相関行列R-ABX(ωf)及びノイズの空間相関行列R-ABV(ωf)をそれぞれ求め、複数の周波数における空間相関行列R-X及びR-Vを用いて第一収音手段の指向性及び第二収音手段の指向性を有するときに得られる複数の周波数における空間相関行列R-ABX及びR-ABVを求めるフォーカス処理部と、空間相関行列R-ABX(ωf)及びR-ABV(ωf)を用いて、第一収音手段と第二収音手段との対毎に、ターゲット音を収音する上で重要である第一収音手段または第二収音手段を選択するマイクロホン選択部と、マイクロホン選択部の選択結果と空間相関行列R-ABX及びR-ABVを用いて、第一収音手段または第二収音手段に周波数毎に適用するフィルタ係数を生成するフィルタ生成部とを含む。
【００１１】
上記の課題を解決するために、本発明の他の態様によれば、フィルタ生成方法は、2個の無指向性の収音手段が対をなし、M個の対があり、１対の収音手段から信号の合成により第一の指向性を有する第一収音手段と第二の指向性を有する第二収音手段が構成されるものとし、無指向性の収音手段で収音した信号から得られる周波数領域の信号である周波数領域収音信号を用いて、ターゲット音の空間相関行列R-Xとノイズの空間相関行列R-Vとを求め、複数の周波数における空間相関行列R-X及びR-Vを用いてフォーカシング周波数のターゲット音の空間相関行列R-X(ωf)及びノイズの空間相関行列R-V(ωf)をそれぞれ求め、空間相関行列R-X(ωf)及びR-V(ωf)を用いて、第一収音手段の指向性及び第二収音手段の指向性を有するときに得られるフォーカシング周波数のターゲット音の空間相関行列R-ABX(ωf)及びノイズの空間相関行列R-ABV(ωf)をそれぞれ求め、複数の周波数における空間相関行列R-X及びR-Vを用いて第一収音手段の指向性及び第二収音手段の指向性を有するときに得られる複数の周波数における空間相関行列R-ABX及びR-ABVを求めるフォーカス処理ステップと、空間相関行列R-ABX(ωf)及びR-ABV(ωf)を用いて、第一収音手段と第二収音手段との対毎に、ターゲット音を収音する上で重要である第一収音手段または第二収音手段を選択するマイクロホン選択ステップと、マイクロホン選択ステップの選択結果と空間相関行列R-ABX及びR-ABVを用いて、第一収音手段または第二収音手段に周波数毎に適用するフィルタ係数を生成するフィルタ生成ステップとを含む。
【発明の効果】
【００１２】
本発明によれば、指向性の異なるマイクロホンの組み合わせを総当たりすることなく、良好な性能を発揮するビームフォーミングを行うためのフィルタ係数を生成することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】従来のビームフォーミング技術を説明するための図。
【図２】第一実施形態に係るフィルタ生成装置の機能ブロック図。
【図３】第一実施形態に係るフィルタ生成装置の処理フローの例を示す図。
【図４】第一実施形態に係る収音装置の機能ブロック図。
【図５】第一実施形態に係る収音装置の処理フローの例を示す図。
【図６】M個の収音手段対から、それぞれ1つの収音手段を選択する方法を説明するための図。
【図７】無指向性マイクロホン対を用いて指向性マイクロホンをモデル化した場合の構成を説明するための図。
【図８】第一実施形態に係るマイクロホン選択部の処理フローの例を示す図。
【図９】シミュレーションの設定を説明するための図。
【図１０】シミュレーション結果を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「~」、「-」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１５】
＜第一実施形態のポイント＞
本実施形態のポイントはフォーカス処理とマイクロホン選択処理の２つの機能からなる。
【００１６】
フォーカス処理では、異なる周波数の空間相関行列を、もとの信号の性質をなるべく保持したまま１つにまとめる。そのために、コヒーレントサブスペース法（参考文献１，２）をつかって、信号構造をなるべく維持したまま、空間相関行列の平均をとる。
（参考文献１）Doran, M.A.; Doron, M.A.; Weiss, A.J.: "Coherent wide-band processing for arbitrary array geometry",  IEEE Transactions on Signal Processing, , 1993年, 41巻, 1号, pp.414-417.
（参考文献２）Bucris, Y.; Cohen, I.; Doron, M.A.: "Bayesian Focusing for Coherent Wideband Beamforming", IEEE Transactions on Audio, Speech, and Language Processing, 2012年, 20巻, 4号, pp. 1282 - 1296.
【００１７】
マイクロホン選択処理では、least absolute shrinkage and selection operator（Lasso）の考え方をMVDR法に適用する。Lassoでは、L1ノルムを不等式型の拘束条件としてもちいることで、重要度の低い変数の重みを０にして解をスパース（疎）にする傾向がある（参考文献３）。この特性をもちいて、徐々に重要度の高いマイクロホンを抽出することで、指向性のより良好な組み合わせを求めることができる。
（参考文献３）T. Hastie et al.: "The Elements of Statistical Learning: Data mining, Interface and Prediction", Springer , 2008, New York.
【００１８】
＜第一実施形態＞
図２は第一実施形態に係るフィルタ係数生成装置１００の機能ブロック図を、図３はその処理フローを示す。図４は、フィルタ係数生成装置１００で求めたフィルタ係数をもちいる収音装置２００の機能ブロック図を、図５はその処理フローを示す。
【００１９】
フィルタ係数生成装置１００は、2M個の無指向性の収音手段１２１−1〜１２１−２Mと、周波数領域変換部１１２と、フォーカス処理部１０３と、マイクロホン選択部１１１と、フィルタ生成部１０５とを含む。
【００２０】
収音装置２００は、M個の収音手段をもち、第ｍの収音手段は第一収音手段１０１Ａ−ｍもしくは第二収音手段１０１Ｂ−ｍであり、周波数領域変換部１０２と、フィルタリング部１０６と、時間領域変換部１０８とを含む。ただし、ｍ＝１，２，…，Ｍである。収音装置２００は、M個の収音手段で対象の発する音（以下、ターゲット音ともいう）を周囲雑音（以下ノイズともいう）とともにを収音し、ノイズを抑圧、削除し、ターゲット音をより明瞭に取り出し、出力信号y(t)として出力する。なお、tは時刻を表すインデックスである。
【００２１】
はじめにフィルタ係数生成装置１００と収音装置２００の収音手段との関係を示す。
【００２２】
＜第一収音手段１０１Ａ−ｍ及び第二収音手段１０１Ｂ−ｍ＞
収音装置２００の第一収音手段１０１Ａ−ｍは指向性Aを有し、第二収音手段１０１Ｂ−ｍは指向性Aとは異なる指向性Bを有する。収音装置２００には、M個のマイクロホン位置が設けられ、第一収音手段１０１Ａ−ｍもしくは第二収音手段１０１Ｂ−ｍのいずれかが、第ｍ番目のマイクロホン位置に配置される。
【００２３】
ここで指向性とは、所定の方向から発せられる音をはっきりと捉えるころができる（感度が良い）という特性を表す概念である。なお、単に「指向性を有する」といった場合には、指向性という言葉は無指向性を含む概念であるが、「所定の方向に対して指向性を有する」といった場合には、所定の方向から発せられる音を（他の方向から発生られる音よりも）はっきり捉えることができることを意味し、無指向性を含まない。
【００２４】
第一収音手段１０１Ａ−ｍ及び第二収音手段１０１Ｂ−ｍは、それぞれ、指向性を有する1個のマイクロホンからなるものであってもよいし、複数のマイクロホンからなるものであってもよい。例えば、複数の無指向性のマイクロホンを用いて、複数の収音信号を取得し、合成することで、所定の方向に対して指向性を有するように構成することができる。
【００２５】
本実施形態の説明では、第一収音手段１０１Ａ−ｍの指向性を無指向性とする。第二収音手段１０１Ｂ−ｍの指向性としては、双指向性、カーディオイド、ハイパーカーディオイド、スーパーカーディオイド等を想定する。これらの指向性はいずれも、２つの近接配置された無指向性のマイクロホンを組み合わせて実現可能である（参考文献４）。
（参考文献４）
De Sena, E. ; Hacihabiboglu, H. ; Cvetkovic, Z.: On the Design and Implementation of Higher Order Differential Microphones, IEEE Transactions on Audio, Speech, and Language Processing, 20, 1, 162--174, 2012.
【００２６】
すなわち２つの近接配置された無指向性マイクロホンを対にして、各対とフィルタとにより第一収音手段１０１Ａ−ｍ及び第二収音手段１０１Ｂ−ｍの特性をモデル化することができる。
【００２７】
本実施形態では、はじめに、図６のようにM個の第一収音手段１０１Ａ−ｍとM個の第二収音手段１０１Ｂ−ｍがあり、各信号が周波数領域に変換される状態からスタートする。本実施形態は、図６に示すM個の収音手段対(収音手段は2M個)から、それぞれ1つの収音手段を選択し、図４のように選択したM個の収音手段から得られる収音信号を用いてビームフォーミングを行うためのフィルタ係数を生成する。
【００２８】
なお、図６においてM個の第一収音手段１０１Ａ−ｍと、M個の第二収音手段１０１Ｂ−ｍとが、ターゲット音をノイズとともに収音し、収音信号xAB(t)を出力する。ここで、M個の第一収音手段１０１Ａ−ｍ及び第二収音手段１０１Ｂ−ｍが収音した収音信号をそれぞれxA(t)=[xA1(t),xA2(t),…,xAm(t),…,xAM(t)]及びxB(t)=[xB1(t),xB2(t),…,xBm(t),…,xBM(t)]とし、xAB(t)=[xA(t),xB(t)]とする。
【００２９】
図６の設定は、無指向性マイクロホン１２１−ｍと１２１−Ｍ＋ｍの対、周波数領域変換部１１２、指向性モデル化部１０３２でモデル化できる（参考文献４参照）。このモデルをベースとするために、フィルタ係数生成装置１００は、図２の構成をとっている。
【００３０】
＜無指向性マイクロホン１２１−ｍと１２１−Ｍ＋ｍ＞
図２のM個の無指向性マイクロホン１２１−ｍと１２１−Ｍ＋ｍの対は、ターゲット音をノイズとともにを収音し（ｓ１２１）、時間領域の収音信号x(t)を出力する。
【００３１】
＜周波数領域変換部１１２＞
図２の周波数領域変換部１１２は、時間領域の収音信号x(t)を受け取り、周波数領域の収音信号x-(ω)=[X1(ω,τ) X2(ω) … X2M(ω)]に変換し（ｓ１１２）、出力する。なお、周波数領域への変換方法としては高速フーリエ変換（FFT）等を用いることができる。なお、以下の処理はフレーム毎に同様の処理を行う。
【００３２】
フォーカス処理部１０３は、コヒーレントサブスペース法をもちい、もとの信号の性質をなるべく保持したまま、空間相関行列をあらかじめ設定されたフォーカシング周波数に変換して加算することで、ターゲット音の空間相関行列R-Xとノイズの空間相関行列R-Vを求める。各周波数の情報が加算されることで、全帯域の情報が１つの空間相関行列として平均化されている。フォーカス処理部１０３は、さらに指向性モデル化部１０３２をもちいて、指向性マイクロホンにより得られるはずの空間相関行列を求める。マイクロホン選択部１１１は、L1ノルム拘束条件つきの最適化を繰り返し適用することで、指向性の組み合わせを求める。フィルタ生成部１０５では、この指向性の異なるマイクロホンの組み合わせをもとに、各周波数でビームフォーミングのために最適なフィルタ係数を求める。図４に記載の収音装置２００では、フィルタリング部１０６において、収音信号にフィルタ生成部１０５で求めたフィルタ係数が適用される。以下、各部の処理の詳細を説明する。
【００３３】
＜フォーカス処理部１０３＞
フォーカス処理部１０３は、周波数領域の収音信号x-(ω)を受け取る。
【００３４】
フォーカス処理部１０３は、音声検出部１０３１、指向性モデル化部１０３２を含む。
【００３５】
音声検出部１０３１は、周波数領域の収音信号x-(ω)を用いて、ターゲット音の有無を検出する（ｓ１０３１）。例えば、参考文献５の手法を用いてターゲット音を検出する。
（参考文献５）
Fujimoto, M. ; Ishizuka, K. ; Kato, H.: Noise Robust Voice Activity Detection Based on Statistical Model and Parallel Non-Linear Kalman Filtering, ICASSP 2007, 797-800, 2007.
ターゲット音の含まれる区間（以下、音声区間ともいう）の収音信号をx-V+X(ω)とし、ターゲット音の含まれない区間（以下、非音声区間ともいう）の収音信号をx-V(ω)とする。
【００３６】
フォーカス処理部１０３は、非音声区間の収音信号x-V(ω)を用いて、次式によりノイズの空間相関行列R-Vを求める。
【００３７】
【数１】
2016100735.tif 000003
【００３８】
ただしＥ［＊］は平均をとることを意味し、上付き文字Ｈは転置して共役をとることを意味する。さらに、フォーカス処理部１０３は、音声区間の収音信号をx-V+X(ω)を用いて、次式により、ターゲット音とノイズとの空間相関行列R-V+Xを求める。
【００３９】
【数２】
2016100735.tif 000004
【００４０】
さらに、空間相関行列R-V(ω)及びR-V+X(ω)を用いて、ターゲット音声の空間相関行列R-X(ω)を次式により求める（ｓ１０３２）。
R-X(ω)=R-V+X(ω)-R-V(ω)    (3)
【００４１】
次に、フォーカス処理部１０３は、コヒーレントサブスペース法をもちい、複数の周波数ωの空間相関行列R-X(ω)及びR-V(ω)を、信号の空間的性質をなるべく保持したまま、フォーカシング周波数ωfの空間相関行列R-X(ωf)及びR-V(ωf)に変換するために、次式で表される変換行列T（ω）をもとめる。
【００４２】
【数３】
2016100735.tif 000005
【００４３】
このとき、コヒーレントサブスペース法は、無指向性のマイクロホンに適用されている。
【００４４】
2M個の無指向性マイクロホンが平面上にあり、マイクロホンアレーの重心を原点として、各マイクロホンの位置が極座標系で(rm,φm)で表わされるとき、この変換行列T（ω）は、
【００４５】
【数４】
2016100735.tif 000006
【００４６】
を要素とする2M×(2N+1)行列
【００４７】
【数５】
2016100735.tif 000007
【００４８】
を用いて、次式により
【００４９】
【数６】
2016100735.tif 000008
【００５０】
表される（参考文献１，２）。ここで、G-#(ω)はG-(ω)の一般化逆行列であり、jは虚数であり、Jn()は次数nの第一種ベッセル関数であり、n=-N,-N+1,…,N-1,Nである。また音速をcとしてk=ω/cである。
【００５１】
式（７）で求めた周波数ω毎の変換行列T(ω)を用いて、複数の周波数ωにおける空間相関行列R-X(ω)及びR-V(ω)を、次式により、それぞれ変換して、加算し、フォーカシング周波数ωfの空間相関行列R-X(ωf)及びR-V(ωf)を求める（ｓ１０３３）。
【００５２】
【数７】
2016100735.tif 000009
【００５３】
なお、ωkは、全ての周波数１，２，…，ω,…，Ωの中から、フォーカシング周波数ωfにおける値を生成するために選択されたK個の周波数を表す。
【００５４】
ここまでで、全ての収音手段が無指向性であると仮定して、フォーカシング周波数ωfの空間相関行列R-X(ωf)及びR-V(ωf)を求めたので、フォーカス処理部１０３は、指向性モデルをもちいて、指向性A及び指向性Bを有するときに得られるフォーカシング周波数のターゲット音の空間相関行列R-ABX(ωf)及びノイズの空間相関行列R-ABV(ωf)を求めて（ｓ１０３３）、出力する。
【００５５】
フォーカス処理部１０３の指向性モデル化部１０３２では、2つの近接配置された無指向性のマイクロホンの収音信号から所定の方向に対して指向性を有するマイクロホンの収音信号を合成可能なことを利用して、所定の方向に対して指向性を有するマイクロホンで収音される場合の空間相関行列を求める。
【００５６】
参考文献４により、所定の方向に指向性を有する第二収音手段１０１Ｂ−１〜１０１Ｂ−Ｍによる収音信号は、無指向性の収音手段１２１−１〜１２１−２Ｍから求めた信号をもちいて、周波数ごとに次式で表すことができる。
【００５７】
【数８】
2016100735.tif 000010
【００５８】
ただし、IMはM×Mの単位行列であり、ｄを近接配置された収音手段間の距離として、τd=d/cであり、τａは指向性を決めるパラメータである。τａ＝０のとき双指向性、τａ＝τｄのときカーディオイド特性、τａ＝τｄ／３のときハイパーカーディオイド特性になる。
【００５９】
この関係をもちいると、無指向性のマイクロホンM個と所定の方向に対して指向性を有するマイクロホンM個とから、フォーカシング周波数でのターゲット音の空間相関行列R-ABX(ωf)及びノイズの空間相関行列R-ABV(ωf)は、それぞれ次式により求められる
【００６０】
【数９】
2016100735.tif 000011
【００６１】
ただし、OMはM×Mのゼロ行列である。
【００６２】
なおこの例では図６のM個の第一収音手段を無指向性としたが、指向性Bの設定と同様の処理を適用することで、第一収音手段に無指向性以外の指向性を設定することも可能である。対になっている2個の無指向性のマイクロホンを用いて、参考文献４により、指向性Aを有する第一収音手段と指向性Bを有する第二収音手段とを構成することができるからである。所定の方向に指向性を有するマイクロホンは、その指向性に応じて、Q1(ωf)及びQ2(ωf)を設定し、式(11)と同様に表すことができる。
【００６３】
またフィルタ生成部１０５に渡すために、算出済みの空間相関行列R-X(ω)及びR-V(ω)から、指向性モデルにもとづいて
【００６４】
【数１０】
2016100735.tif 000012
【００６５】
により、各周波数の空間相関行列R-ABX(ω)及びR-ABV(ω)を算出する。
【００６６】
＜マイクロホン選択部１１１＞
マイクロホン選択部１１１は、空間相関行列R-ABX(ωf)及びR-ABV(ωf)を受け取り、これらの値を用いて、第一収音手段１０１Ａ−ｍと第二収音手段１０１Ｂ−ｍとの対毎に、ターゲット音を収音する上で重要である第一収音手段または第二収音手段を選択し（ｓ１１１）、選択結果をフィルタ生成部１０５に出力する。
【００６７】
例えば、まず、指向性Aを有するM個の第一収音手段１０１Ａ−ｍと指向性Bを有するM個の第二収音手段１０１Ｂ−ｍとを使うケースでのフィルタ係数h-(ωf)をＭＶＤＲ法で求める。
【００６８】
【数１１】
2016100735.tif 000013
【００６９】
なお、本実施形態では、第一収音手段１０１Ａ−１を参照用のマイクロホンとし、残りＭ−１個のマイクロホン位置について、第一収音手段１０１Ａ−ｍまたは第二収音手段１０１Ｂ−ｍ指向性を選択する。なお、他の第一収音手段１０１Ａ−ａを参照用のマイクロホンとしてもよい（ａは２，３，…，Ｍの何れか）。これは次式により２Ｍ次元複素数ベクトルを求める問題を解くことに対応する。
【００７０】
【数１２】
2016100735.tif 000014
【００７１】
拘束条件
【００７２】
【数１３】
2016100735.tif 000015
【００７３】
ただし、x-AB(ωf)は指向性マイクロホンにより収音される信号を周波数領域に変換して得られるベクトルであり、x-AB(ωf)= [XA1(ωf) XA2(ωf) … XAM(ωf) XB1(ωf) XB2(ωf) … XBM(ωf)]Tである。式(23)のE[x-AB(ωf)XA*1(ωf)]は、ターゲット音の空間相関行列R-ABX(ωf)の第１列に対応し、E[XA1(ωf)XA*1(ωf)]は、R-ABX(ωf)の(1,1)要素に対応するため、x-AB(ωf)を求めることなく、R-ABV(ωf)およびR-ABX(ωf)から(22),(23)式を解くことができる。ここで求めた解のノルムは、以降で制約条件として使用する。
【００７４】
次にマイクロホン選択部１１１の処理について説明する。
【００７５】
Set Aを指向性Aの第一収音手段で削除された番号（インデックス）のセットとし、Set Bを指向性Bの第二収音手段で削除された番号のセットとする。初期状態ではそれぞれSet A={}、Set B={1}になる。また、ρについてρ＝ρ0に設定する。ただし、0<ρ<1であり、ρ０としては、0.2〜0.5をもちいればよい。
【００７６】
図８に処理フローの例を示す。以下のステップ１からステップ４のループにより、何れかの指向性を有する収音手段を選択する。このループから抜けたとき、どのマイクロホンを選択したかが、Set A、Set Bから分かる。
【００７７】
（ステップ１）
次式のＬ１拘束の最適化問題を解く（ｓ１１１−２）。
【００７８】
【数１４】
2016100735.tif 000016
【００７９】
拘束条件
【００８０】
【数１５】
2016100735.tif 000017
【００８１】
Ｌ１拘束により、解には０が含まれやすくなる（スパースな解となる）。
【００８２】
（ステップ２）
次に解として求められた各収音手段のフィルタ係数に注目する。ここで
【００８３】
【数１６】
2016100735.tif 000018
【００８４】
かつ
【００８５】
【数１７】
2016100735.tif 000019
【００８６】
が成立している場合には、指向性Bのi番目の第二収音手段１０１Ｂ−ｉの重要性が、対応する指向性Aの第一収音手段１０１Ａ−ｉよりも低いと判定し(ｓ１１１−３、ｓ１１１−４)、収音手段番号iをSet Bに追加する（ｓ１１１−５）。ただしδは指向性Aのi番目のフィルタ係数の重要性を判定するためのパラメータで、0.0001〜0.01等の値を設定する。また逆に、
【００８７】
【数１８】
2016100735.tif 000020
【００８８】
かつ
【００８９】
【数１９】
2016100735.tif 000021
【００９０】
が成立している場合には（ｓ１１１−３、ｓ１１１−６）、収音手段番号iをSet Aに追加する（ｓ１１１−７）ことで指向性Aのi番目の第一収音手段１０１Ａ−ｉを削除する。
【００９１】
（ステップ３）
Set AおよびSet Bの要素数の総和、すなわち削除する収音手段の総数がM個のとき、ループを抜ける（ｓ１１１−８）。
【００９２】
（ステップ４）
ρを、ρ←ρ＋Δρで増やし（ｓ１１１−９）、ステップ１に戻る。Δρとしては、０．０５等の値を設定すればよい。
【００９３】
＜フィルタ生成部１０５＞
フィルタ生成部１０５は、選択結果Set A及びSet Bと、各周波数ωの空間相関行列R-ABX(ω)及びR-ABV(ω)とを受け取り、フィルタ係数h-(ω)を生成し（ｓ１０５）、出力する。
【００９４】
ターゲット音およびノイズの空間相関行列R-ABX(ω)及びR-ABV(ω)を用いて、従来のＭＶＤＲ法（次式参照）により、周波数ω毎のフィルタ係数h-(ω)を
【００９５】
【数２０】
2016100735.tif 000022
【００９６】
拘束条件
【００９７】
【数２１】
2016100735.tif 000023
【００９８】
計算し、出力する。なお式(23)のE[x-AB(ωf)XA*1(ωf)]は、ターゲット音の空間相関行列R-ABX(ω)の第１列に対応し、E[XA1(ωf)XA*1(ωf)]は、R-ABX(ω)の(1,1)要素に対応する。
【００９９】
さらに、フィルタ生成部１０５は、求めたフィルタ係数
【０１００】
【数２２】
2016100735.tif 000024
【０１０１】
を用いて、HBm(ω)=0ならばHm(ω)=HAm(ω)とし、HAm(ω)=0ならばHm(ω)=HBm(ω)とし、
【０１０２】
【数２３】
2016100735.tif 000025
【０１０３】
とし、出力する。
【０１０４】
以上がフィルタ係数装置１００の処理内容である。以下、収音装置２００の処理内容について説明する。
【０１０５】
＜収音手段１０１Ａ−ｍ若しくは１０１Ｂ−ｍ＞
図４の指向性Aのマイクロホン１０１Ａ−ｍ若しくは指向性Bのマイクロホン１０１Ｂ−ｍは、ターゲット音をノイズとともに収音し（図５のｓ１０１）、時間領域の収音信号x-AB(t)を出力する。ただし、m=1,2,…,Mである。M個のマイクロホン１０１Ａ−ｍ若しくは１０１Ｂ−ｍは、マイクロホン選択部１１１で選択した第一収音手段または第二収音手段と同様の指向性を有する。なお、フィルタ係数生成装置１００の備える2M個の収音手段のうちのマイクロホン選択部１１１で選択したM個の収音手段と、収音装置２００の備えるM個の収音手段とは、同一の収音手段であってもよいし、別の収音手段であってもよい。フィルタ係数生成装置１００では、2個の無指向性の収音手段が対をなし、M個の対があり、1対の収音手段から信号の合成により第一の指向性を有する第一収音手段と第二の指向性を有する第二収音手段とが構成される。一方、収音装置２００では、フィルタ係数生成装置と同様の方法により（2個の無指向性の収音手段を用いた方法）第一収音手段と第二収音手段とが構成されてもよいし、他の方法により、M個の収音手段を構成してもよい。例えば、所定の方向に指向性を有するマイクロホン素子を1つ用いて、フィルタ係数生成装置の第一収音手段または第二収音手段と対応する指向性を持たしてもよい。収音装置２００で用いるM個の収音手段を想定して、フィルタ係数生成装置１００の備える第一収音手段と第二収音手段の指向性を決めてもよいし、逆に、フィルタ係数生成装置１００の備える第一収音手段と第二収音手段とで良好な性能を発揮するビームフォーミングを形成できる組合せを調べてから収音装置２００で用いるM個の収音手段の指向性を決めてもよい。
【０１０６】
＜周波数領域変換部１０２＞
図４の周波数領域変換部１０２は、時間領域の収音信号x-AB(t)を受け取り、周波数領域の収音信号x-AB(ω)に変換し（ｓ１０２）、出力する。なお、周波数領域への変換方法としては、周波数領域変換部１１２と同様の変換方法を用いればよい。
【０１０７】
＜フィルタリング部１０６＞
収音装置２００のフィルタリング部１０６は、周波数領域の収音信号x-AB(ω)とフィルタ係数h-(ω)とを受け取り、これらの信号を用いて、周波数ω毎にフィルタリング処理（ビームフォーミング処理）を行い（ｓ１０６）、フィルタリング後の信号を出力信号y(ω)=x-(ω)h-(ω)として出力する。
【０１０８】
＜時間領域変換部１０８＞
時間領域変換部１０８は、周波数領域の出力信号y(ω)=x-AB(ω)h-(ω)を受け取り、時間領域の信号に変換し（ｓ１０８）、時間領域の出力信号y(t)を出力する。なお、時間領域への変換方法としては、周波数領域変換部１０２で用いた変換方法に対応するものを用いればよい。
【０１０９】
＜効果＞
このような構成により、フィルタ係数生成装置１００は、指向性の異なるマイクロホンの組み合わせを総当たりすることなく、良好な性能を発揮するビームフォーミングを行うためのフィルタ係数を生成することができる。収音装置２００は、良好な性能を発揮するビームフォーミングを行うことができる。
【０１１０】
＜変形例＞
なお第一実施形態のマイクロホン選択部１１１のステップ１は、要素０，１からなる信号選択行列Ｓをもちいて、削除された信号を除くことで問題を低次元化して実行してもよい。
【０１１１】
【数２４】
2016100735.tif 000026
【０１１２】
拘束条件
【０１１３】
【数２５】
2016100735.tif 000027
【０１１４】
一例として、M=３（収音手段の設置位置が３箇所）、指向性Aを有する第一収音手段の数が３個、指向性Bを有する第二収音手段の数が３個のとき、１〜３番目のマイクロホンとして、指向性A,B,Bを選択する行列Sは以下のようになる。
【０１１５】
【数２６】
2016100735.tif 000028
【０１１６】
信号を選択、抽出する要素のみが１になり、他の要素は０になっている。この行列Sを適用することで
【０１１７】
【数２７】
2016100735.tif 000029
【０１１８】
のように、１〜３番目の収音手段として、指向性A,B,Bを有する収音手段を選択できる。
【０１１９】
＜シミュレーション＞
本実施形態の有効性をシミュレーションにより評価した。直線状に６個のマイクロホン対を２．５ｃｍ間隔で配置するケースについて、全指向性のマイクロホンとハイパーカーディオイドのマイクロホンの組み合わせを検討した。６個のマイクロホンのうち、一番右のマイクロホンを全指向性に固定し、これ以外の５個のマイクロホンの指向性を可変とした。ビームフォーミングとしてＭＶＤＲ法をもちいた。ビームフォーミングによるターゲット音の出力が、全指向性に固定した単一マイクロホンによるターゲット音出力と等しくなることを、拘束条件として設定した。図９（なお、図９にはマイクロホンではなく、マイクロホン対を表示する）のように、ターゲット音の音源位置は正面右２０度の方向、２ｍ先に設置した。またノイズの音源の位置は、正面右１５度から左へ１５度間隔に８方向を想定した。なおターゲット音、ノイズとも互いに無相関な白色雑音をもちいた。またマイクロホンの収音信号は、残響時間３００ｍｓの想定で鏡像法から生成したインパルス応答を音源信号に畳込むことで生成した。
【０１２０】
各ケースに本実施形態を適用した結果を図１０に示す。図１０の横軸はノイズ音源の方向であり、縦軸はノイズ抑圧性能である。マイクロホンの組み合わせ方は２５＝３２通りになる。各組み合わせのノイズ抑圧性能を●で、全マイクロホンを無指向性にしたときのノイズ抑圧性能を△で、本実施形態により求められた組み合わせでのノイズ抑圧性能を○でプロットしている。
【０１２１】
図１０から、
・ターゲット音とノイズ音の間の角度がおおきいほど、ノイズ抑圧の性能を高くできる、
・指向性の異なるマイクロホンを組み合わせることで、ノイズ抑圧の性能を向上できる、
・本実施形態でもとめたマイクロホン組み合わせのノイズ抑圧性能は、無指向性マイクロホンのみを使用する場合よりも改善される。
ことが分かった。また本実施形態で求められた組み合わせは、もっとも性能の高い組み合わせとは合致しないが、最大性能の９割を発揮しており、良好な組み合わせが求められていることが分かった。
【０１２２】
＜その他の変形例＞
なお、本実施形態では、M個の第一収音手段１０１Ａ−ｍは全て同じ指向性Aを有するものとしたが、異なる指向性を有するものであってもよい。同様に、M個の第二収音手段１０１Ｂ−ｍは全て同じ指向性Bを有するものとしたが、異なる指向性を有するものであってもよい。ただし、対となる第一収音手段１０１Ａ−ｍと第二収音手段１０１Ｂ−ｍとは異なる指向性を有する。このような構成により、マイクロホン選択部１１１で対毎に何れかの収音手段を選択し、より精度の高いビームを形成することができる。
【０１２３】
なお、対となる収音手段毎に指向性が異なるため、無指向性の収音手段は多くともM個である。つまり、残りのM個の収音手段は必ず所定の方向に対して指向性を有する。なお、所定の方向に対して指向性を有する収音手段を、複数のマイクロホンで構成することで、マイクロホンを実際に付け替えることなく、合成する際の式を変更するだけで指向性を変更することができるという利点がある。
【０１２４】
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０１２５】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０１２６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１２７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０１２８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１２９】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2016100735.tif 000037
【図２】
2016100735.tif 000038
【図３】
2016100735.tif 000039
【図４】
2016100735.tif 000040
【図５】
2016100735.tif 000041
【図６】
2016100735.tif 000042
【図７】
2016100735.tif 000043
【図８】
2016100735.tif 000044
【図９】
2016100735.tif 000045
【図１０】
2016100735.tif 000046