(57)【要約】  本開示は、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができるようにする信号処理装置、信号処理方法、およびプログラムに関する。共分散行列演算部は、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する。ステアリングベクトル生成部は、目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出する。射影行列生成部は、算出された目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を用いて、共分散行列を加工する射影行列を算出する。フィルタ生成部は、射影行列により共分散行列を加工して得られた加工共分散行列を用いて、最小分散ビームフォーマのフィルタを算出する。本開示は、例えば、信号処理装置等に適用できる。
2016167141.tif 000002
【特許請求の範囲】
【請求項１】
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部と
を備える信号処理装置。
【請求項２】
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
前記射影行列生成部は、前記目的音のステアリングベクトルのうち、前記雑音のステアリングベクトルが張る部分空間に直交する成分を求め、その成分に直交する部分空間に射影する前記射影行列を算出する
請求項１に記載の信号処理装置。
【請求項３】
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
前記射影行列生成部は、前記雑音のステアリングベクトルが張る部分空間を求め、その部分空間に射影する前記射影行列を算出する
請求項１に記載の信号処理装置。
【請求項４】
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルを算出し、
前記射影行列生成部は、前記目的音のステアリングベクトルの方向に射影する前記射影行列を算出する
請求項１に記載の信号処理装置。
【請求項５】
前記フィルタ生成部により算出された前記フィルタを用いて、前記観測信号に対して前記最小分散ビームフォーマのビームフォーミング処理を実行するビームフォーミング処理部をさらに備える
請求項１に記載の信号処理装置。
【請求項６】
前記射影行列生成部は、前記共分散行列の持つ空間的性質の情報のうち、前記雑音に関する情報を保存しつつ、前記目的音に関する情報のみを排除する前記射影行列を算出する
請求項１に記載の信号処理装置。
【請求項７】
信号処理装置が、
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出し、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出し、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出し、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出する
ステップを含む信号処理方法。
【請求項８】
コンピュータを、
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができるようにする信号処理装置、信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
マイクロホンアレイの多チャンネル入力音声信号を用いて雑音を抑圧することで、ある方向から到来する目的音を強調するビームフォーミングと呼ばれる技術がある。ビームフォーミングには様々な目的・方針で設計・開発された手法が存在するが、使用環境における雑音の空間的性質を学習し適応的に処理を行う代表的な手法に最小分散ビームフォーマがある（例えば、非特許文献１参照）。【０００３】
最小分散ビームフォーマは、雑音の空間的性質を学習することで、目的音の到来方向に対するゲインを１に保ちつつ、雑音（その他の方向から到来する音）を抑圧するように指向特性を形成する。しかし、雑音の学習を行う際に、目的音が含まれる時間区間の観測信号を用いると、雑音の学習が目的音自体に妨げられ、ビームフォーマの性能が低下する。そのための対処として、目的音が含まれない時間区間の入力信号を用いて雑音の空間的性質を学習する方式もある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Harry L. Van Trees, “Optimum Array Processing”, Wiley-Interscience, 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、目的音が含まれない時間区間の入力信号を用いて雑音の空間的性質を学習する方式では、学習に用いた時間区間には存在しなかった妨害音が目的音の鳴っている最中に鳴り始めた場合に、その妨害音を抑圧することができない。【０００６】
本開示は、このような状況に鑑みてなされたものであり、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の信号処理装置は、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、前記目的音のステアリングベクトルと雑音のステアリングベクトルを算出するステアリングベクトル生成部と、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部とを備える。【０００８】
本開示の一側面の信号処理方法は、信号処理装置が、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出し、前記目的音のステアリングベクトルと雑音のステアリングベクトルを算出し、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列を算出し、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するステップを含む。【０００９】
本開示の一側面のプログラムは、コンピュータを、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、前記目的音のステアリングベクトルと雑音のステアリングベクトルを算出するステアリングベクトル生成部と、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部として機能させるためのものである。【００１０】
本開示の一側面においては、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列が算出され、前記目的音のステアリングベクトルと雑音のステアリングベクトルが算出され、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列が算出され、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタが算出される。【００１１】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。【００１２】
信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本開示の一側面によれば、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができる。【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本開示に係る信号処理装置の一実施の形態の構成例を示すブロック図である。
【図２】信号処理装置が行うビームフォーミング処理を説明するフローチャートである。
【図３】本ビームフォーミング処理の特徴を説明する図である。
【図４】本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．最小分散ビームフォーマの説明
２．本実施の形態に係る信号処理装置のブロック図
３．ビームフォーミング処理のフローチャート
４．本ビームフォーミング処理の特徴
５．その他の簡易射影方法１
６．その他の簡易射影方法２
７．コンピュータ構成例
【００１７】
＜１．最小分散ビームフォーマの説明＞
初めに、最小分散ビームフォーマについて説明する。
【００１８】
最小分散ビームフォーマは、雑音の空間的性質を学習することで、目的音の到来方向に対するゲインを１に保ちつつ、雑音（目的音の到来方向以外の方向から到来する音）を可能な限り抑えるように指向特性を形成するビームフォーミング手法である。最小分散ビームフォーマの空間的性質は、以下で説明する共分散行列R(ω)によって表現される。
【００１９】
まず、M個のマイクロホンで構成されるマイクロホンアレイのうちのｍ番目（０＜ｍ≦M）のマイクロホンで観測された音響信号をｘｍ(n)とする。ｎは、時刻を表す。この音響信号ｘｍ(n)に対して短時間フーリエ変換（Short time Fourier transform, STFT）を適用すると、時間周波数領域に変換された狭帯域の観測信号Xｍ(ω,ｋ)が得られる。ここで、ωは周波数を表し、ｋは音響信号ｘｍ(n)が複数のフレームで構成される場合の所定のフレームを特定するフレーム番号を表す。
【００２０】
M個の各マイクロホンの観測信号X１(ω,ｋ),・・・,XM(ω,ｋ)からなる列ベクトルX(ω,ｋ)は、次式（１）で表される。
【数１】
2016167141.tif 000003
【００２１】
各マイクロホンでは、配置と音波の到来方向に応じて、異なるゲイン・遅延で音響信号が観測される。このとき、共分散行列Ｒ（ω）は次式（２）で定義される。
【数２】
2016167141.tif 000004
ここで、XH(ω,ｋ)は、X(ω,ｋ)のエルミート転置を、E[]は、期待値を表す。
【００２２】
さて、ビームフォーミングは、観測信号の列ベクトルX(ω,ｋ)のフィルタリング処理と考えることができる。フィルタをｗ（ω）で表し、ビームフォーミング処理後の出力信号をY(ω,ｋ)で表すと、観測信号X(ω,ｋ)と出力信号Y(ω,ｋ)との間には、次式（３）の関係が成り立つ。
【００２３】
【数３】
2016167141.tif 000005
式（３）のｗ（ω）は、M個の要素からなる列ベクトルである。
【００２４】
ビームフォーミング処理後の出力信号Y(ω,ｋ)は、例えば、重畳加算（Overlap-add）法等によって、時間波形に変換される。
【００２５】
ビームフォーミングには、フィルタｗ（ω）の設計方法の違いにより、様々な方式が存在する。その様々な方式のなかの一つである最小分散ビームフォーマは、次式（４）の最適化問題によってフィルタｗ（ω）を決定する方式である。
【００２６】
【数４】
2016167141.tif 000006
【００２７】
ここで、ａ(ω,θ)は、方向θから到来する音波の各マイクロホンへの伝達特性（位相差）を表現したベクトルで、ステアリングベクトルと呼ばれる。マイクロホンアレイに対してある方向から音波が到来した場合、各マイクロホンで観測される音響信号には音波の経路に応じた位相差が生じる。ステアリングベクトルはその位相差を表現する。
【００２８】
ｍ番目のマイクロホンで音波が観測されるまでの遅延時間をτｍ（θ）とすると、ステアリングベクトルａ(ω,θ)は、次式（５）で表現される。
【数５】
2016167141.tif 000007
【００２９】
式（４)の制約条件ａＨ(ω,θ)ｗ（ω）＝１は、方向θから到来する音波のゲインを1に保つことを意味し、この制約条件により、目的音の全域通過特性を保証している。
【００３０】
式（４）の目的関数ｗＨ(ω)Ｒ（ω）ｗ（ω）は、式（３）で表される出力信号Y(ω,ｋ)の分散を表す。最小分散ビームフォーマという名前は、出力信号Y(ω,ｋ)の分散を最小化することに由来する。
【００３１】
さて、式（４）の最適化問題の最適解は、次式（６）の閉形式で表現することができる。
【数６】
2016167141.tif 000008
式（６）のＲ−１（ω）は、Ｒ（ω）の逆行列を表す。
【００３２】
従って、式（６）によれば、最小分散ビームフォーマを実現するためには、ステアリングベクトルａ(ω,θ)と共分散行列Ｒ（ω）が分かれば良い。
【００３３】
ステアリングベクトルａ(ω,θ)については、各マイクロホンの配置や目的音の到来方向が決まれば理論値を算出することができる。あるいは、予めいくつかの到来方向について計測した実測値を用いたり、それらから補間等の演算処理で算出される値を用いたりすることもできる。
【００３４】
共分散行列Ｒ（ω）については、実用場面では観測信号から推定することとなる。例えば、フレームｋｓからフレームｋｅ（ｋｓ＜ｋｅ）までの時間区間の観測信号を用いて、最尤推定により共分散行列Ｒ（ω）を求める場合、次式（７）で算出することができる。
【数７】
2016167141.tif 000009
【００３５】
最小分散ビームフォーマは理論的には非常にシンプルであるが、実用場面では課題が存在する。共分散行列Ｒ（ω）の学習に用いる観測信号に目的音が含まれていると、目的音が歪んでしまうという問題がある。これは、ステアリングベクトルａ(ω,θ)に誤差が含まれていることが大きな要因の一つである。ステアリングベクトルａ(ω,θ)に誤差が含まれていると、目的音の真の到来方向に対する全域通過特性が保証されず、むしろ式（４）の目的関数を最小化するために目的音まで抑圧されてしまう。
【００３６】
この問題を回避するため、たとえば、共分散行列Ｒ（ω）を、目的音の鳴っていない時間区間（例えば、目的音の鳴り始める直前）の観測信号から推定する方法がある。この方法は、目的音以外の雑音が定常的であることを期待した方法である。共分散行列Ｒ（ω）には目的音に関する情報が含まれていないため、式（４）の最適化問題によって目的音が抑圧されてしまうことを防ぐことができる。
【００３７】
しかし、このような、目的音の鳴っていない時間区間の観測信号を用いるという方法を採用した場合、目的音が鳴っている間にのみ鳴った雑音が存在した際に、その雑音を抑圧することができない。
【００３８】
つまり、最小分散ビームフォーマにおいては、共分散行列Ｒ（ω）の推定に用いる観測信号に目的音が含まれていた場合には目的音が歪んでしまう一方で、推定に用いる観測信号に目的音が含まれないようにした場合には、目的音が鳴っている間にのみ鳴った雑音を抑圧することができない、という問題を抱えている。
【００３９】
そこで、本件発明者は、共分散行列Ｒ（ω）の推定に用いる観測信号として、目的音が含まれている信号を用いつつ、目的音の影響を抑える手法を考案した。以下では、その手法について説明する。
【００４０】
＜２．本実施の形態に係る信号処理装置のブロック図＞
図１は、最小分散ビームフォーマにおいて、観測信号として目的音が含まれている信号を用いつつ、目的音の影響を抑えるようにした信号処理装置の構成例を示すブロック図である。
【００４１】
信号処理装置１は、共分散行列演算部１１、ステアリングベクトル生成部１２、射影行列生成部１３、フィルタ生成部１４、及び、ビームフォーミング処理部１５を備える。
【００４２】
信号処理装置１には、入力信号として、M個のマイクロホンからなるマイクロホンアレイで観測された音響信号ｘ１(n)乃至ｘＭ(n)に対して短時間フーリエ変換（STFT）が施された、時間周波数領域に変換された狭帯域の観測信号X１(ω)乃至XM(ω)が入力される。なお、観測信号X１(ω)乃至XM(ω)は、上述した観測信号X１(ω,ｋ)乃至XM(ω,ｋ)のフレーム番号を省略したものであり、信号処理装置１では、ビームフォーミング処理が、複数のフレームに対して順次行われる。
【００４３】
また、音響信号ｘ１(n)乃至ｘＭ(n)に対して短時間フーリエ変換を施すことにより、複数の時間周波数領域ω１, ω２, ω３, ・・・の狭帯域の観測信号X１(ω１)乃至XM(ω１), X１(ω２)乃至XM(ω２), X１(ω３)乃至XM(ω３) , ・・・が得られる。信号処理装置１は、説明を簡単にするため、所定の時間周波数領域ωの観測信号X１(ω)乃至X４(ω)に対する処理として説明を行うが、実際には、信号処理装置１は、各時間周波数領域ω１, ω２, ω３, ・・・ごとに、以下に説明する処理を行う。
【００４４】
信号処理装置１に入力されたM個の観測信号X１(ω)乃至XM(ω)は、共分散行列演算部１１とビームフォーミング処理部１５に供給される。
【００４５】
共分散行列演算部１１は、上述した式（７）に従い、所望の目的音の鳴っている時間区間から得られた観測信号X１(ω)乃至XＭ(ω)から共分散行列Ｒ（ω）を算出し、フィルタ生成部１４に供給する。
【００４６】
なお、所望の目的音の鳴っている時間区間の観測信号X１(ω)乃至XＭ(ω)は、目的音の有無の両方を含む所定期間の観測信号X１(ω)乃至XＭ(ω)が入力されて、そのなかで目的音の鳴っている観測信号X１(ω)乃至XＭ(ω)が抽出されてもよいし、所望の目的音の鳴っている時間区間から得られた観測信号X１(ω)乃至XＭ(ω)のみが信号処理装置１に入力されるのでもよい。
【００４７】
ステアリングベクトル生成部１２には、例えば、音源方向推定技術等の所定の手法を用いて検出された、目的音の到来方向θｓと雑音の到来方向θn1, θn2,・・,θnNが供給される。即ち、本技術では、目的音の到来方向θｓと雑音の到来方向θn1, θn2,・・,θnNが、どのような手法で検出されるかは問わず、検出結果としての目的音の到来方向θｓと雑音の到来方向θn1, θn2,・・,θnNが、ステアリングベクトル生成部１２に供給される。Nは既知の雑音源の数を表し、雑音源の数Nはマイクロホンの個数Mより少ないものとする（０＜N＜M）。また、目的音の到来方向θｓは、雑音の到来方向θn1, θn2,・・,θnNとは異なる方向であるとする。
【００４８】
ステアリングベクトル生成部１２は、目的音の到来方向θｓと雑音の到来方向θn1, θn2,・・,θnNの情報から、目的音と雑音それぞれのステアリングベクトルａ(ω,θ)を算出する。即ち、ステアリングベクトル生成部１２は、式（５）により、目的音のステアリングベクトルａ(ω,θｓ)及び雑音のステアリングベクトルａ(ω,θn1) ,ａ(ω,θn2) ,・・,ａ(ω,θnN)を算出する。
【００４９】
ステアリングベクトル生成部１２は、生成した目的音のステアリングベクトルａ(ω,θｓ)及び雑音のステアリングベクトルａ(ω,θn1) ,ａ(ω,θn2) ,・・,ａ(ω,θnN)を、射影行列生成部１３に供給する。また、ステアリングベクトル生成部１２は、目的音のステアリングベクトルａ(ω,θｓ)については、フィルタ生成部１４にも供給する。
【００５０】
射影行列生成部１３は、目的音のステアリングベクトルａ(ω,θｓ)を、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗ上の成分ｑparaと、その直交補空間Ｗperp上の成分ｑperpに直交分解した場合の、直交補空間Ｗperp上の成分ｑperpを算出する。
【００５１】
さらに、射影行列生成部１３は、算出した直交補空間Ｗperp上の成分ｑperpから、射影方向を表現するベクトルｐを生成し、ベクトルｐを用いて射影行列Pを算出する。
【００５２】
具体的には、まず、直交補空間Ｗperp上の成分ｑperpを算出するため、射影行列生成部１３は、例えば、グラム・シュミット（Ｇｒａｍ−Ｓｃｈｍｉｄｔ）の正規直交化法により、部分空間Ｗの正規直交基底｛ｅ1,ｅ2,・・・,ｅN｝を算出する。
【００５３】
グラム・シュミット（Ｇｒａｍ−Ｓｃｈｍｉｄｔ）の正規直交化法による部分空間Ｗの正規直交基底｛ｅ1,ｅ2,・・・,ｅN｝は、次式（８）により算出することができる。
【数８】
2016167141.tif 000010
【００５４】
式（８）によれば、ｅｌは、ｌ＝１のとき、ａ(ω,θn１)により算出され、２≦ｌ≦Nのとき、ａ(ω,θnｌ)とｅ1,・・・,ｅｌ−１を用いて算出される。
【００５５】
次に、射影行列生成部１３は、算出した部分空間Ｗの正規直交基底｛ｅ1,ｅ2,・・・,ｅN｝を用いて、直交補空間Ｗperp上の成分ｑperpを、次式（９）により計算する。
【数９】
2016167141.tif 000011
【００５６】
そして、射影行列生成部１３は、式（１０）により、成分ｑperpの大きさを１に正規化することにより、射影方向を表現するベクトルｐを算出する。
【数１０】
2016167141.tif 000012
【００５７】
最後に、射影行列生成部１３は、式（１０）により得られたベクトルｐから、射影行列Pを式（１１）により算出する。
【数１１】
2016167141.tif 000013
式（１１）のIは、単位行列を表す。
【００５８】
算出された射影行列Pは、フィルタ生成部１４に供給される。また、フィルタ生成部１４には、上述したように、共分散行列演算部１１から、共分散行列Ｒ（ω）も供給される。
【００５９】
フィルタ生成部１４は、射影行列生成部１３で生成された射影行列Pを用いて、共分散行列Ｒ（ω）を、次式（１２）により加工した加工共分散行列S（ω）を算出する。
【数１２】
2016167141.tif 000014
式（１２）のλは、正の値を持つ正則化パラメータである。正則化パラメータは、物理的にはノイズレベルを意味し、その値は、マイクロホンアレイを含む電気回路で生じる雑音や演算誤差等のノイズフロアに基づいて決定される。
【００６０】
次に、フィルタ生成部１４は、共分散行列Ｒ（ω）を加工して得られた加工共分散行列S（ω）と、ステアリングベクトル生成部１２から供給された目的音のステアリングベクトルａ(ω,θｓ)とを用いて、最小分散ビームフォーマのフィルタｗ（ω）を算出する。最小分散ビームフォーマのフィルタｗ（ω）は、式（６）の共分散行列Ｒ（ω）を、加工共分散行列S（ω）に置き換えた次式（１３）により計算される。
【数１３】
2016167141.tif 000015
【００６１】
フィルタ生成部１４は、算出されたフィルタｗ（ω）をビームフォーミング処理部１５に供給する。
【００６２】
ビームフォーミング処理部１５は、フィルタ生成部１４から供給されたフィルタｗ（ω）を用いて、観測信号の列ベクトルX(ω)に対してビームフォーミング処理を行う。すなわち、ビームフォーミング処理部１５は、信号処理装置１に入力されたM個の観測信号X１(ω)乃至XM(ω)にフィルタｗ（ω）を乗算する式（３）を実行する。
【００６３】
式（３）の演算結果であるビームフォーミング処理後の信号Y(ω,ｋ)が、出力信号として、信号処理装置１から出力される。
【００６４】
＜３．ビームフォーミング処理のフローチャート＞
図２のフローチャートを参照して、信号処理装置１が実行するビームフォーミング処理について説明する。
【００６５】
信号処理装置１には、M個のマイクロホンで観測された音響信号ｘ１(n)乃至ｘＭ(n)に対して短時間フーリエ変換（STFT）が施された観測信号X１(ω)乃至XＭ(ω)が入力される。
【００６６】
ステップＳ１において、共分散行列演算部１１は、所望の目的音の鳴っている時間区間の観測信号X１(ω)乃至XＭ(ω)から共分散行列Ｒ（ω）を算出する。より具体的には、共分散行列演算部１１は、所望の目的音の鳴っている時間区間の観測信号X１(ω)乃至XＭ(ω)の列ベクトルX(ω)を用いて、式（７）に従い、共分散行列Ｒ（ω）を算出し、フィルタ生成部１４に供給する。
【００６７】
ステップＳ２において、ステアリングベクトル生成部１２は、目的音の到来方向θｓと雑音の到来方向θn1, θn2,・・,θnNの情報から、目的音と雑音それぞれのステアリングベクトルａ(ω,θ)を算出する。即ち、ステアリングベクトル生成部１２は、式（５）により、目的音のステアリングベクトルａ(ω,θｓ)及び雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2) ,・・,ａ(ω,θnN)を算出する。
【００６８】
目的音のステアリングベクトルａ(ω,θｓ)は、射影行列生成部１３とフィルタ生成部１４に供給され、雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2) ,・・,ａ(ω,θnN)は、射影行列生成部１３に供給される。
【００６９】
ステップＳ３において、射影行列生成部１３は、目的音のステアリングベクトルａ(ω,θｓ)を、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗ上の成分ｑparaと、その直交補空間Ｗperp上の成分ｑperpに直交分解した場合の、直交補空間Ｗperp上の成分ｑperpを算出する。
【００７０】
ステップＳ４において、射影行列生成部１３は、算出した直交補空間Ｗperp上の成分ｑperpから、射影方向を表現するベクトルｐを生成し、さらにベクトルｐを用いて、式（１１）により、射影行列Pを算出する。算出された射影行列Pは、フィルタ生成部１４に供給される。
【００７１】
ステップＳ５において、フィルタ生成部１４は、射影行列生成部１３で生成された射影行列Pを用いて、共分散行列Ｒ（ω）を、式（１２）により加工した加工共分散行列S（ω）を算出する。
【００７２】
ステップＳ６において、フィルタ生成部１４は、算出した加工共分散行列S（ω）と、ステアリングベクトル生成部１２から供給された目的音のステアリングベクトルａ(ω,θｓ)とを用いて、最小分散ビームフォーマのフィルタｗ（ω）を算出する。算出されたフィルタｗ（ω）は、ビームフォーミング処理部１５に供給される。
【００７３】
ステップＳ７において、ビームフォーミング処理部１５は、フィルタ生成部１４から供給されたフィルタｗ（ω）を用いてビームフォーミング処理を行う。すなわち、ビームフォーミング処理部１５は、信号処理装置１に入力されたM個の観測信号X１(ω)乃至XM(ω)にフィルタｗ（ω）を乗算する式（３）を実行する。
【００７４】
ビームフォーミング処理後の信号Y(ω,ｋ)が、出力信号として、信号処理装置１から出力され、出力信号Y(ω,ｋ)は、信号処理装置１の後段において、例えば、重畳加算法等によって、時間波形に変換される。
【００７５】
図２のビームフォーミング処理は、短時間フーリエ変換後の複数の時間周波数領域ω１, ω２, ω３, ・・・それぞれに対して実行される。時間方向については、所定のフレーム単位で、図２のビームフォーミング処理が繰り返し実行される。
【００７６】
なお、図２で説明したビームフォーミング処理では、各ステップの処理が順番に実行されるように説明したが、いくつかのステップの処理については処理の順番を逆にしたり、あるいは、並列に実行することも可能である。換言すれば、フィルタ生成部１４が、フィルタｗ（ω）の算出のために射影行列P、共分散行列Ｒ（ω）、目的音のステアリングベクトルａ(ω,θｓ)を得ることができれば、それまでの射影行列P、共分散行列Ｒ（ω）、目的音のステアリングベクトルａ(ω,θｓ)を算出する順番は限定されない。
【００７７】
＜４．本ビームフォーミング処理の特徴＞
図３は、マイクロホンの個数Mが３、かつ、雑音源の個数Nが２である場合の、信号処理装置１におけるベクトルｐの概念を説明する図である。
【００７８】
式（１０）で算出される、射影方向を表現するベクトルｐは、目的音のステアリングベクトルａ(ω,θｓ)のうち、２個の雑音のステアリングベクトルａ(ω,θn1)及びａ(ω,θn2)が張る部分空間Ｗに直交する成分を表している。
【００７９】
上述した式（１２）のＰ＝（Ｉ−ｐｐＨ）を乗ずる演算は、ベクトルｐに直交する部分空間（後述する部分空間Ｖ）への射影を意味する。つまり、式（１２）の行列S（ω）は、ベクトルｐに直交する部分空間への射影を行うことで、共分散行列Ｒ（ω）の持つ空間的性質の情報のうち、雑音に関する情報を保存しつつ、目的音に関する情報のみを排除していることになる。
【００８０】
従って、信号処理装置１のビームフォーミング処理は、目的音の到来方向θｓを用いて、共分散行列Ｒ（ω）から、目的音に起因する成分を取り除くことで、目的音の影響を抑えた加工共分散行列S（ω）を生成し、それを共分散行列としてビームフォーミングを実行する。これにより、目的音が含まれる時間区間の観測信号を用いた場合であっても、目的音に対する歪を抑制することができる。
【００８１】
即ち、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができる。
【００８２】
また、雑音源については、信号処理装置１のビームフォーミング処理では、雑音の到来方向θn1, θn2,・・,θnNを用いて、雑音に起因する成分は保持されるように処理を行うので、雑音の抑圧量は保たれる。
【００８３】
＜５．その他の簡易射影方法１＞
目的音の強調効果は、上述したように、目的音のステアリングベクトルａ(ω,θｓ)のうち、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗに直交する成分（ベクトルｐ）に直交する部分空間に射影する射影行列Pを生成する方法（以下、本射影手法という。）よりも劣るが、より簡易的な２つの射影方法について説明する。
【００８４】
第１の簡易射影方法は、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗに射影する方法である。
【００８５】
具体的には、射影行列生成部１３は、式（８）により、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗの正規直交基底｛ｅ1,ｅ2,・・・,ｅN｝を算出する。
【００８６】
次に、射影行列生成部１３は、得られた部分空間Ｗの正規直交基底｛ｅ1,ｅ2,・・・,ｅN｝を用いて、射影行列Ｐを、次式（１４）により計算する。
【数１４】
2016167141.tif 000016
【００８７】
従って、第１の簡易射影方法は、ベクトルｐを計算せずに、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗに射影することになる。
【００８８】
この方法によっても、雑音の到来方向に対して死角が形成され、到来方向の与えられた雑音を抑圧することは可能である。しかし、方向性のない拡散性雑音や残響等までは抑圧することはできない。
【００８９】
これに対して、本射影手法は、以下に説明するように、拡散性雑音や残響もある程度抑圧できるような仕組みとなっている。
【００９０】
本射影手法では、ベクトルｐに直交する部分空間に射影を行っているが、射影先の部分空間とN個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗとは一致しない。即ち、ベクトルｐによる射影先の部分空間をＶとすると、次式（１５）を満たす部分空間Ｕが存在する。
【００９１】
【数１５】
2016167141.tif 000017
式（１５）のプラスを丸で囲んだ記号は、直和を意味する。
【００９２】
部分空間Ｗには、主に方向が与えられている雑音の直接波成分の情報が含まれている一方で、部分空間Ｕには、方向が与えられていない主に拡散性雑音や残響成分などが含まれている。本射影手法では、部分空間Ｕを含む部分空間Ｖに射影し、その分散が最小になるようフィルタを最適化するため、到来方向の与えられた雑音のみでなく、拡散性雑音や残響成分もある程度抑圧することが可能である。
【００９３】
一方、第１の簡易射影方法には、部分空間Ｕが含まれていないため、方向性のない拡散性雑音や残響等までは抑圧することができない。
【００９４】
＜６．その他の簡易射影方法２＞
第２の簡易射影方法は、目的音のステアリングベクトルａ(ω,θｓ)の方向に射影する方法である。
【００９５】
具体的には、射影行列生成部１３は、式（１６）により、目的音のステアリングベクトルａ(ω,θｓ)の大きさを１に正規化したベクトルを、ベクトルｐとする。
【数１６】
2016167141.tif 000018
【００９６】
次に、射影行列生成部１３は、このベクトルｐを用いて、式（１７）により、射影行列Pを算出する。
【数１７】
2016167141.tif 000019
式（１７）のIは、単位行列を表す。
【００９７】
目的音のステアリングベクトルａ(ω,θｓ)には、N個の雑音のステアリングベクトルａ(ω,θn1),ａ(ω,θn2),・・,ａ(ω,θnN)が張る部分空間Ｗ上の成分も含んでいるため、目的音のステアリングベクトルａ(ω,θｓ)を用いた直交射影は、共分散行列Ｒ（ω）に含まれる雑音に関する情報を歪めてしまう。また、第２の簡易射影方法は、固定ビームフォーマで、最もベーシックな手法である遅延和ビームフォーマと等価になる。
【００９８】
以上より、目的音の強調効果は、本射影手法が最も大きく、次に、第１の簡易射影方法、第２の簡易射影方法の順となる。
【００９９】
信号処理装置１は、本射影手法、第１の簡易射影方法、及び、第２の簡易射影方法のいずれも実行可能として、ユーザ設定等により実行する射影方法を必要に応じて選択する構成とすることができる。あるいはまた、本射影手法、第１の簡易射影方法、または、第２の簡易射影方法のいずれか一つまたは二つを実行可能な構成としてもよい。
【０１００】
＜７．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０１】
図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０２】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１０３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１０４】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１０５】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述したビームフォーミング処理が行われる。
【０１０６】
また、CPU１０１は、マイクロホンアレイで観測された音響信号ｘ１(n)乃至ｘＭ(n)に対して短時間フーリエ変換を行う処理、及び、出力信号Y(ω,ｋ)を、重畳加算法等によって、時間波形に変換する処理も併せて実行することができる。
【０１０７】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１０８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０９】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１０】
例えば、信号処理装置１として、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０１１１】
例えば、信号処理装置１が行う処理は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１４】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１１５】
なお、本技術は以下のような構成も取ることができる。
（１）
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部と
を備える信号処理装置。
（２）
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
前記射影行列生成部は、前記目的音のステアリングベクトルのうち、前記雑音のステアリングベクトルが張る部分空間に直交する成分を求め、その成分に直交する部分空間に射影する前記射影行列を算出する
前記（１）に記載の信号処理装置。
（３）
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
前記射影行列生成部は、前記雑音のステアリングベクトルが張る部分空間を求め、その部分空間に射影する前記射影行列を算出する
前記（１）または（２）に記載の信号処理装置。
（４）
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルを算出し、
前記射影行列生成部は、前記目的音のステアリングベクトルの方向に射影する前記射影行列を算出する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記フィルタ生成部により算出された前記フィルタを用いて、前記観測信号に対して前記最小分散ビームフォーマのビームフォーミング処理を実行するビームフォーミング処理部をさらに備える
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記射影行列生成部は、前記共分散行列の持つ空間的性質の情報のうち、前記雑音に関する情報を保存しつつ、前記目的音に関する情報のみを排除する前記射影行列を算出する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
信号処理装置が、
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出し、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出し、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出し、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出する
ステップを含む信号処理方法。
（８）
コンピュータを、
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部
として機能させるためのプログラム。
【符号の説明】
【０１１６】
１  信号処理装置，  １１  共分散行列演算部，  １２  ステアリングベクトル生成部，  １３  射影行列生成部，  １４  フィルタ生成部，  １５  ビームフォーミング処理部，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部，  １１０  ドライブ
【図１】
2016167141.tif 000020
【図２】
2016167141.tif 000021
【図３】
2016167141.tif 000022
【図４】
2016167141.tif 000023
【国際調査報告】
2016167141.tif 000024
2016167141.tif 000025