(57)【要約】【課題】類似度を用いずにオーバーラップ領域に音源が存在するかどうかを判別し、オーバーラップ領域に音源が存在する場合、オーバーラップ領域を形成する何れかのビーム領域から得られる信号に対して、オーバーラップ領域に存在する音源に対する感度を抑圧する処理を行う収音装置等を提供する。【解決手段】収音装置は、L個のメインビーム領域を形成している状態で、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合、当該音源が２つのメインビーム領域のどちらに近い側に存在しているかを、メインビーム領域およびサブビーム領域の音を強調した強調信号の特徴量に基づいて判別することで、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する。【選択図】図７
2016131343.tif 000002
【特許請求の範囲】
【請求項１】
M及びLをそれぞれ２以上の整数の何れかとし、M個のマイクロホンで構成したマイクロホンアレイでL個の方向をそれぞれ目的方向とするL個のメインビーム領域を形成し、メインビーム領域ごとに音を収音する収音装置であって、
L個のメインビーム領域を形成している状態で、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合、当該音源が２つのメインビーム領域のどちらに近い側に存在しているかを、メインビーム領域およびサブビーム領域の音を強調した強調信号の特徴量に基づいて判別することで、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する、
収音装置。
【請求項２】
請求項１の収音装置であって、
Nを１以上の整数の何れかとし、L個のメインビーム領域はそれぞれ、マイクロホンアレイの中心に向かって到来する音を収音するように形成され、サブビーム領域の個数をL個以上とし、更に各サブビーム領域をN個のサブビーム領域に細分化して、L個のメインビーム領域およびL×N個のサブビーム領域の音を強調した強調信号の特徴量について音源の存在を検出するために用いるフィルタを形成し、フィルタ毎に算出した信号のパワーを比較して、信号パワーが最大となる領域がサブビーム領域か、メインビーム領域かを判別する、
収音装置。
【請求項３】
請求項１または請求項２の収音装置であって、
メインビーム領域およびサブビーム領域で音源の存在を検出する際に、マイクロホンの収音信号を周波数領域に変換した信号におけるウィナーフィルタを用いる、
収音装置。
【請求項４】
請求項１から請求項３の何れかの収音装置であって、
当該収音装置が出力するメインビーム領域毎の再生信号は、メインビーム領域の調整後の各メインビーム領域の信号のパワーの総和と、調整前の各メインビーム領域の収音信号のパワーの総和との誤差が最小になるように、メインビーム領域の調整後の信号に対してゲインを調節して出力する、
収音装置。
【請求項５】
請求項１から請求項４の何れかの収音装置であって、
一旦、当該音源に近くないと判定したメインビーム領域については、その後、当該音源に近いと判定された場合であっても、所定の条件を満たさない限り、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する、
収音装置。
【請求項６】
M及びLをそれぞれ２以上の整数の何れかとし、M個のマイクロホンで構成したマイクロホンアレイでL個の方向をそれぞれ目的方向とするL個のメインビーム領域を形成し、メインビーム領域ごとに音を収音する収音方法であって、
L個のメインビーム領域を形成している状態で、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合、当該音源が２つのメインビーム領域のどちらに近い側に存在しているかを、メインビーム領域およびサブビーム領域の音を強調した強調信号の特徴量に基づいて判別することで、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する、
収音方法。
【請求項７】
請求項１から請求項５の何れかの収音装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンアレイ信号処理技術に関する。より詳しくは、複数の領域で発生した音声を領域毎に分離して、同時に強調するマイクロホンアレイ収音技術に関する。
【背景技術】
【０００２】
例えば、図１のように、３６０°を事前に決められたL個(ただし、Lは２以上の整数の何れか)の領域に分割し、それぞれの領域で発生した音声を別々に録音することができると、会議などで話者ごと、もしくは、座席ごとに議事録を作成することが容易になる。また、全方位カメラなどの装置を利用して録画した映像を選択的に組み合わせることで、視聴者の所望の方向の映像を再生するインタラクティブ・パノラマ映像技術（例えば特許文献１参照）のような映像視聴系と組み合わせると、視聴方向に存在する音声のみを再生することも可能になる。なお、この明細書では、「音声」は、人の発する声に限定されるものではなく、人や動物の声はもとより楽音や環境雑音など「音」一般を指す。
【０００３】
このような、特定の方向・領域から到来する音声を強調して収音する技術は、「狭指向音声強調技術」と呼ばれ、従来から研究・開発されている。代表的な狭指向音声強調として、指向性マイクロホンのように振動版の表裏に加わる音圧の位相差を利用するものや、マイクロホンアレイを用いた線形フィルタリングによるビームフォーマなど、複数のマイクロホンと信号処理を用いるもの（以降「アレイ収音」と呼ぶ）がある。
【０００４】
マイクロホンの周囲の方向とマイクロホンの感度との関係は指向性と呼ばれ、ある方向（目的方向）への指向性が鋭いほど、その方向を含む狭い領域の音声を強調し、それ以外の領域で発生した音声を抑圧することができる。図３は、６個のマイクロホンを４．０ｃｍ間隔で、同一平面上の正六角形の頂点に配置し、非特許文献１で述べられている最尤法で設計した線形フィルタによる狭指向音声強調の指向性の例である。ゲインが最大となる目的方向からゲインが−１５ｄＢに低下する方向までの幅が、約±７５°程度あることが見て取れる。以降、この明細書では便宜上、指向性が目的方向のゲインから所定の値（例えば−１５ｄＢ）に低下するまでの領域を「ビーム領域」と呼ぶ。
【０００５】
したがって、狭い間隔（隣接する目的方向の成す角度が小さい状態）で複数の狭指向音声強調を行う場合、図２のようにビーム領域にオーバーラップ領域（以下「重畳領域」ともいう）が生じる。オーバーラップ領域に音源が存在する場合、両方のビーム出力に同一の音源が含まれる。図４は、第一出力の目的方向を０°、第二出力の目的方向を６０°とした２つの単一指向性マイクで、到来方向が３０°の音源を収音した出力波形例である。出力波形から、それぞれのビームに音源が、ほぼ等しい音量で含まれていることがわかる。
【０００６】
これは、複数領域の狭指向音声強調を独立に実行しても、図１のように領域を分割した録音ができないことを示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２０９６３４号公報
【非特許文献】
【０００８】
【非特許文献１】浅野 太, ”音のアレイ信号処理 -音源の定位・追跡と分離-”, コロナ社, 2011年, pp.82-83.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述の問題を解決するためには、各狭指向音声強調の信号処理部が連携して音声を、領域毎に分離して、強調する必要がある。言い換えれば、あるビームで強調された音声はその他のビームでは雑音とみなして抑圧するなどの、オーバーラップ領域内の音声を制御する信号処理技術が必要である。上述のような状況を鑑み、本発明では、二つのビーム出力に同一の音源からの入力が含まれた場合、一方のビームの音源出力を抑圧する、非線形フィルタリングによるアレイ収音技術を提供する。
【００１０】
本発明が解決しようとする問題は、図５の音源１のように、オーバーラップ領域に音源が存在する場合に生じる。この場合、ビーム領域１とビーム領域２のどちらかの、音源１に対する感度を抑圧する必要がある。
【００１１】
そのためには、オーバーラップ領域に音源が存在するかどうかを判別する必要がある。最も容易な方法として、ビーム領域１と２の出力を比較し、ある一定以上の類似度であれば片方を抑圧する、という処理が考えられる。しかし、例えば音源２のように、片方のビーム領域にのみ影響を与える音源が、音源１と同時に存在すると、類似度が低くなり、単純な比較では、オーバーラップ領域の音源の有無は判別できない。
【００１２】
本発明は、類似度を用いずにオーバーラップ領域に音源が存在するかどうかを判別し、オーバーラップ領域に音源が存在する場合、オーバーラップ領域を形成する何れかのビーム領域から得られる信号に対して、オーバーラップ領域に存在する音源に対する感度を抑圧する処理を行う収音装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明の一態様によれば、収音装置は、M及びLをそれぞれ２以上の整数の何れかとし、M個のマイクロホンで構成したマイクロホンアレイでL個の方向をそれぞれ目的方向とするL個のメインビーム領域を形成し、メインビーム領域ごとに音を収音する。収音装置は、L個のメインビーム領域を形成している状態で、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合、当該音源が２つのメインビーム領域のどちらに近い側に存在しているかを、メインビーム領域およびサブビーム領域の音を強調した強調信号の特徴量に基づいて判別することで、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する。
【００１４】
上記の課題を解決するために、本発明の他の態様によれば、収音方法は、M及びLをそれぞれ２以上の整数の何れかとし、M個のマイクロホンで構成したマイクロホンアレイでL個の方向をそれぞれ目的方向とするL個のメインビーム領域を形成し、メインビーム領域ごとに音を収音する。収音方法は、L個のメインビーム領域を形成している状態で、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合、当該音源が２つのメインビーム領域のどちらに近い側に存在しているかを、メインビーム領域およびサブビーム領域の音を強調した強調信号の特徴量に基づいて判別することで、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する。
【発明の効果】
【００１５】
本発明によれば、類似度を用いずにオーバーラップ領域に音源が存在するかどうかを判別し、オーバーラップ領域に音源が存在する場合、オーバーラップ領域を形成する何れかのビーム領域から得られる信号に対して、オーバーラップ領域に存在する音源に対する感度を抑圧する処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】収音区間の分割例を示す図。
【図２】独立した狭指向音声強調技術による収音区間の分割例を示す図。
【図３】狭指向音声強調の指向性の例を示す図。
【図４】オーバーラップ領域に音源が存在した場合の狭指向音声強調の出力例を示す図。
【図５】オーバーラップ領域に音源が存在する場合の配置例を示す図。
【図６】サブビームによるオーバーラップ領域の音源の検知を示す図。
【図７】第一実施形態に係る収音装置の機能ブロック図。
【図８】第一実施形態に係る収音装置の処理フローの例を示す図。
【図９】ビーム形成部の構成例を示す図。
【図１０】ウィナーゲイン計算部の処理フローの例を示す図。
【図１１】ウィナーゲイン計算部の構成例を示す図。
【図１２】ビーム再形成部の構成例を示す図。
【図１３】第一実施形態のビーム再形成部の処理フローの例を示す図。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「-」「~」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１８】
＜第一実施形態＞
本実施形態では図６のように、出力用のビーム（便宜上、以降メインビームと呼ぶ）とは別に、オーバーラップ領域を目的方向とするビーム（便宜上、以降サブビームと呼ぶ）を用いる。なお、各ビームはマイクロホンアレイを用いたビームフォーミングにより形成してもよいし、単一の指向性マイクロホンを用いて形成してもよい。サブビーム領域で音源を検知すると、隣接するメインビーム領域の片方の出力から検知した音源を抑圧する非線形フィルタを生成し、適用する。本実施形態では、非線形フィルタとしてウィナーフィルタによる時間周波数マスクを用いる。
【００１９】
本実施形態の説明に先立ち、前提技術となる、マイクロホンアレイを用いた線形フィルタリングによる狭指向音声強調と、単一指向性マイクロホンによる狭指向音声強調とを説明し、定式化する。
【００２０】
マイクロホンアレイを用いた線形フィルタリングによる狭指向音声強調は、各マイクロホンで収音された信号に、時間差や音圧レベル差の情報が含まれているフィルタを掛けて重畳することで、目的方向の音声を強調する。音響管マイクやパラボラマイクとは異なり、アレイ収音は信号処理によって音声強調を行うため、機械的にマイクを回転させることなく、任意の方向の音声を強調することができる。
【００２１】
今、P個の音源信号sp(t)をM個のマイクロホンを用いて収音し、L方向のビーム空間を同時に形成することを考える。ただし、Pは１以上の整数の何れか、M及びLはそれぞれ２以上の整数の何れかであり、p=1,2,…,P、tは離散時間を表すインデックスである。
【００２２】
M個のマイクロホンで収音される収音信号xm(t)は、p番目の音源位置からm番目のマイクロホンまでの伝達特性ap,mを用いて次のように記述できる。
【数１】
2016131343.tif 000003
ただし、m=1,2,…,Mであり、*は畳み込み演算である。したがって、時間領域の収音信号xm(t)を離散フーリエ変換して得られる周波数領域の収音信号Xm(ω,k)は以下のように記述できる。
【数２】
2016131343.tif 000004
ここで、Ap,m(ω)とSp(ω,k)はそれぞれap,mとsp(t)をフーリエ変換して得られる周波数領域の伝達特性と音源、kは時間フレームのインデックス、ωは周波数ビンのインデックスを表す。さらに上付き文字のTを転置とし、x-(ω,k)=(X1(ω,k),…,XM(ω,k))T、s-(ω,k)=(S1(ω,k),…,SP(ω,k))T、a-p(ω)=(Ap,1(ω),…,Ap,M(ω))T、A-(ω)=(a-1(ω),…,a-P(ω))のように行列形式で書き直すと、x-(ω,k)は以下のように記述できる。
x-(ω,k)=A-(ω)s-(ω,k)    (3)
【００２３】
線形フィルタリングによるアレイ収音信号強調技術は、収音信号xm(t)に対して線形フィルタwm(θ)を畳み込むことで、目的方向θの音声を強調する。この線形フィルタは、マイクロホンの位置差を補償する方法や、目的方向以外の音声パワーを最小化する方法などの既存技術で設計できる。時間領域の線形フィルタwm(θ)を離散フーリエ変換して得られる周波数領域の線形フィルタをWm(ω,θ)と置くと、狭指向強調信号（以下「強調信号」ともいう）Y(ω,k)は
【数３】
2016131343.tif 000005
と書くことができ、またw-(ω,θ)=(W1(ω,θ),…,WM(ω,θ))Hと置くことで行列形式を用いて
Y(ω,k,θ)=w-(ω,θ)Hx-(ω,k)    (5)
と記述できる。ここで上付き文字のHはエルミート転置を表す。さらに、L方向の目的方向{θl|l∈1,…,L}の出力信号Y(ω,k,l)も、y-(ω,k)=(Y(ω,k,1),…,Y(ω,k,L))T、W-(ω)=(w-(ω,θ1),…,w(ω,θL))Hと置くことで
y-(ω,k)=W-(ω)x-(ω,k)    (6)
と書くことができる。
【００２４】
指向性マイクロホンは、例えば、振動版の表裏に加わる音圧の位相差を利用して指向性を実現する。参考文献１によると、その指向性は
【数４】
2016131343.tif 000006
と近似的に記述できることが知られており、α=1で単一指向性マイクロホンの指向特性となる。ここでθは、基準となる方向に対するマイクロホンと音源とのなす角である。
（参考文献１）中島 平太郎編, ”応用電気音響-”, コロナ社, 1979年、pp.16-17.
【００２５】
指向性マイクロホンが音源の位相を変化させず、またその指向性がすべての周波数で一定と仮定すると、収音信号Xm(ω,k)と音源信号Sp(ω,k,θp)の関係は以下のように記述できる。
【数５】
2016131343.tif 000007
ただし、θpは、基準となる方向に対するマイクロホンアレイの中心と音源pとのなす角である。さらに、h-p=(H1(θp),…,HM(θp))T（ただし、Hm(θp)は、角θpにおけるマイクロホンmの音源pに対する指向性を表す）、θ-=(θ1,…,θP)、H-(θ-)=(h-1,…,h-P)、s-(ω,k,θ-)=(S1(ω,k,θ1),…,SP(ω,k,θP))Tと置くと、
x-(ω,k)=prod[H-(θ-),A-(ω)]s-(ω,k,θ-)    (9)
と書くことができる。
ここでprod[A,B]は2つの行列A,Bの要素ごとの積を表す。
【００２６】
したがって、指向性マイクロホンで収音された収音信号は、収音された段階で線形フィルタリングが行われたものともみなせば、強調信号は
y-(ω,k)=x-(ω,k)    (10)
である。
【００２７】
以下、本実施形態について説明する。
＜第一実施形態に係る収音装置１００＞
図７は第一実施形態に係る収音装置１００の機能ブロック図を、図８はその処理フローを示す。
【００２８】
収音装置１００は、M個のマイクロホンmからなるマイクロホンアレイのアナログ収音信号x1(a),…,xM(a)を入力とし、メインビーム領域l(エル)から発せられる音を強調した再生信号z1(t),…,ｚL(t)を出力する。M及びLはそれぞれ２以上の整数の何れかである。a、tはそれぞれ連続時間、連続時間を示すインデックスであり、Lはメインビームの個数を表し、m=1,2,…,M、l=1,2,…,Lである。収音装置１００は、マイクロホンアレイでL個の方向をそれぞれ目的方向とするL個のメインビーム領域を形成し、メインビーム領域ごとに音を収音する。なお、収音装置１００は、L個のメインビーム領域を形成している状態で、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合、当該音源が２つのメインビーム領域のどちらに近い側に存在しているかを、メインビーム領域およびサブビーム領域の音を強調した強調信号の特徴量に基づいて判別することで、当該音源に近いと判定したメインビーム領域側に当該音源からの信号が含まれることとし、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する。例えば、後述するビーム再形成部１４０、フィルタ適用部１５０において、このような調整を行う。
【００２９】
なお、L個のメインビーム領域はそれぞれ、マイクロホンアレイの中心に向かって到来する音を収音するように形成される（図２参照）。サブビーム領域の個数をL個以上とし、更に各サブビーム領域をN個(N≧1)のサブビーム領域に細分化する。
【００３０】
収音装置１００は、入力部１１０、周波数領域変換部１２０、ビーム形成部１３０、ビーム再形成部１４０、フィルタ適用部１５０及び時間領域変換部１６０を含む。
【００３１】
メインビームの目的方向θl,0は任意であるが、説明の簡単のために、３６０°に等角度で配置することを考える。例えばメインビームの個数がL=6であれば、l番目のメインビームとl+1番目のメインビーム間の間隔θl+1,0-θl,0は６０°となる。
【００３２】
1セット(この例では1セット6個)のメインビームに対するサブビームの個数も任意であるが、サブビームは、メインビームの間（言い換えると、二つのメインビーム領域が成すオーバーラップ領域）に放たれるため、サブビームの個数をL個以上用意するのが望ましい。しかし、1セットのサブビームの個数が増加すると後述するパワースペクトル密度(PSD)推定の逆行列計算が不安定となるため、1セットのサブビームの個数もLであることが望ましい。本実施形態では、L個のメインビームに対してL個のサブビームを設定したものとして説明する。
【００３３】
さらに、本実施形態では、1つのサブビーム領域をさらに細分化してN個のサブビーム領域に分割する。また、分割数Nも任意であり、例えばN=3などに設定できる。なお、N個に分割前の1つのサブビーム領域を便宜上サブセット領域ともいう。
【００３４】
細分化したサブビーム領域のサブビームの目的方向θl,nも任意である。隣接するメインビームの間に等間隔で配置するならば、l番目のメインビーム領域とl+1番目のメインビーム領域との間のサブセット領域内のn番目のサブビーム領域の目的方向θl,nは、
【数６】
2016131343.tif 000008
などに設定できる。
【００３５】
以下、各部の処理内容について説明する。
＜入力部１１０＞
入力部１１０は、M個のマイクロホンmでそれぞれ収音したM個のアナログ収音信号xm(a)を受け取り、これらの値に対してＡＤ変換を行い、各マイクロホンmに対応するディジタル収音信号xm(t)に変換し（Ｓ１１０）、周波数領域変換部１２０に出力する。なお、ここで用いるM個のマイクロホンmの指向性は問わず、たとえば無指向性マイクロホンを用いることも、単一指向性マイクロホンを用いることもできる。
【００３６】
＜周波数領域変換部１２０＞
周波数領域変換部１２０は、M個のデジタル収音信号xm(t)を受け取り、時間フレームkあたりQ点のデジタル収音信号xm((k-1)Q+1),xm((k-1)Q+2),…,xm(kQ)をバッファに貯め、離散フーリエ変換などの手法で周波数領域の収音信号Xm(ω,k)に変換し（Ｓ１２０）、ビーム形成部１３０に出力する。例えば、Qは16KHzサンプリングの場合で、２５６や５１２に設定できる。
【００３７】
＜ビーム形成部１３０＞
ビーム形成部１３０は、M個の周波数領域収音信号Xm(ω,k)を受け取り、メインビームの目的方向{θl,0|l∈1,…,L}と、サブビームの目的方向{θl,n|l∈1,…,L|n∈1,…,N}に従い、ウィナーゲインG0(ω,k,l)とGn(ω,k,l)(n=1,2,…,N)とを計算し、ビーム再形成部１４０に出力する。なお、メインビームの目的方向{θl,0|l∈1,…,L}と、サブビームの目的方向{θl,n|l∈1,…,L|n∈1,…,N}とは、予め設定されているものとする。例えば、デフォルト値として設定されていてもよいし、収音装置１００の利用者により設定されてもよい。ウィナーゲインはウィナーフィルタで用いられるゲインであり、ウィナーフィルタは音声と雑音の相関が無いという前提で、本来の音源信号と推定した音源信号の平均二乗誤差を最小にするような線形フィルタである。本実施形態では、ビーム形成部１３０でメインビーム領域及びサブビーム領域のパワースペクトル密度（PSD）の推定値を用いて、ウィナーフィルタを求め、ビーム再形成部１４０でウィナーフィルタを修正し、隣接するメインビーム領域の重畳領域が存在しないようにする。
【００３８】
無指向性マイクロホンを用いる場合は、メインビームの目的方向を強調する線形フィルタ係数W-0(ω)(W0_(m,l)(ω)を要素とするL×Mの行列)とサブビームの目的方向を強調する線形フィルタ係数W-n(ω)(Wn_(m,l)(ω)を要素とするL×Mの行列)を用いて強調信号Y0(ω,k,l)とYn(ω,k,l)とを求め、出力する。
Y-0(ω,k)=W-0(ω)x-(ω,k)    (22)
Y-0(ω,k)=(Y-0(ω,k,1),Y-0(ω,k,2),…,Y-0(ω,k,L))
Y-n(ω,k)=W-n(ω)x-(ω,k)    (23)
Y-n(ω,k)=(Y-n(ω,k,1),Y-n(ω,k,2),…,Y-n(ω,k,L))
【００３９】
また、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合、M=Lであり、m=lとし、線形フィルタを用いずに、Y0(ω,k,l)=Xl(ω,k)、Yn(ω,k,l)=Xl(ω,k)として出力する。つまり、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合、指向性マイクロホンの出力がメインビーム領域の音を強調する強調信号に相当し、サブビーム領域の音を強調する強調信号を必要としない。その理由については後述する。便宜上、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合であっても、Yn(ω,k,l)=Xl(ω,k)をサブビーム領域の音を強調する強調信号と呼ぶ。少なくともメインビーム領域の音を強調する処理がビーム形成（Ｓ１３０）に相当する。
【００４０】
＜ビーム再形成部１４０＞
ビーム再形成部１４０は、メインビームに対応するL個のウィナーゲインG0(ω,k,l)及び強調信号Y0(ω,k,l)と、サブビームに対応するL×N個のウィナーゲインGn(ω,k,l)及び強調信号Yn(ω,k,l)とを受け取り、これらの値を連携させて、収音領域を重畳領域のないL個のメインビーム領域に分割するL個のウィナーゲインG(ω,k,l)を求め（Ｓ１４０）、メインビームに対応するL個の強調信号Y0(ω,k,l)と併せて出力する。
【００４１】
＜フィルタ適用部１５０＞
フィルタ適用部１５０は、メインビームに対応するL個の強調信号Y0(ω,k,l)と、L個のウィナーゲインG(ω,k,l)とを受け取り、これらの値の積を取ったL個の再生信号Zl(ω,k)=Y0(ω,k,l)×G(ω,k,l)を計算し（Ｓ１５０）、時間領域変換部１６０に出力する。なお、再生信号Zl(ω,k)は、メインビーム領域lに対応する狭指向音声信号であり、メインビーム領域l(エル)から発せられる音を強調した信号である。再生信号Zl(ω,k)と強調信号Y0(ω,k,l)との違いは、Y0(ω,k,l)とY0(ω,k,l+1)との間に重畳領域が存在するのに対し、再生信号Zl(ω,k)とZl+1(ω,k)との間には、重畳領域が存在しないことである。より正確に言うと、メインビーム領域lとメインビーム領域l+1との間の重畳領域に音源が存在する場合に、強調信号Y0(ω,k,l)にウィナーゲインG(ω,k,l)を、強調信号Y0(ω,k,l+1)にウィナーゲインG(ω,k,l+1)を乗じることで、その音源が一方のメインビーム領域に存在し、他方のメインビーム領域には存在しないように信号処理を行う。このような信号処理により、再生信号Zl(ω,k)とZl+1(ω,k)との間に重畳領域が存在しないものとしている。
【００４２】
＜時間領域変換部１６０＞
時間領域変換部１６０は、L個の周波数領域の再生信号Zl(ω,k)を逆離散フーリエ変換などの手法で時間領域に変換し（Ｓ１６０）、L個の時間領域の再生信号zl(t)を求め、出力する。
【００４３】
＜効果＞
このような構成により、類似度を用いずにオーバーラップ領域に音源が存在するかどうかを判別し、オーバーラップ領域に音源が存在する場合、オーバーラップ領域を形成する何れかのビーム領域から得られる信号に対して、オーバーラップ領域に存在する音源に対する感度を抑圧する処理を行うことができる。
【００４４】
＜変形例＞
本実施形態のポイントは、再生信号Zl(ω,k)とZl+1(ω,k)との間には、重畳領域が存在しないことであり、そのためのウィナーフィルタG(ω,k,l)を求める点である。よって、収音装置１００は、少なくともビーム形成部１３０とビーム再形成部１４０とを含めばよく、他の構成を別装置として設けてもよい。例えば、周波数領域の収音信号Xm(ω,k)を入力とし、ウィナーフィルタG(ω,k,l)を出力してもよい。
【００４５】
メインビーム間およびサブビーム間の間隔は、それぞれ等間隔である必要はない。また、サブセット領域はL個以上である必要はないし、サブセット領域毎に含まれるサブビーム領域の個数を変更してもよい。ただし、後述するパワースペクトル密度（ＰＳＤ）推定の逆行列計算が不安定となる。
【００４６】
本実施形態では、マイクロホンアレイの中心に対して３６０°を収音領域としたが、どのような収音領域としてもよい。隣接するメインビーム領域が重畳領域を形成し、重畳領域にサブビーム領域を形成するような構成であればどのような収音領域であってもよい。
【００４７】
＜第二実施形態＞
この発明の第二実施形態では、第一実施形態のビーム形成部１３０の機能構成を具体化する。図９はビーム形成部１３０の機能ブロック図を、図１０はそのフローチャートの例を示す。
【００４８】
ビーム形成部１３０は、N+1個のウィナーゲイン計算部１３１−ｑとメモリ１３４とを含む。ここでは、q=0,1,…,Nとし、q=0はメインビームを示すインデックスとする。
【００４９】
ビーム形成部１３０では、参考文献２の手法を用いてメインビームとサブビームの目的方向に対し、それぞれ独立に狭指向音声強調ビームを形成する。
（参考文献２）：Y. Hioka, K. Furuya, K. Kobayashi, K. Niwa, Y. Haneda, "Underdetermined sound source separation using power spectrum density estimated by combination of directivity gain", IEEE Transactions on Audio, Speech, and Language Processing, 2013, Vol.21-6, pp.1240-1250.
【００５０】
具体的には、各ビーム領域の音を強調した強調信号のパワースペクトル密度（以下「PSD」ともいう）の推定値に基づいたウィナーゲイン（時間周波数マスク）計算を行う。
【００５１】
ウィナーゲイン計算部１３１−ｑは、参考文献２の実装である。参考文献２は、音源s-(ω,k)のPSDを推定することで、強調信号y-(ω,k)に対する適切なウィナーゲインG-(ω,k)=(G(ω,k,1),…,G(ω,k,L))を計算し、さらに音声強調を行う後処理を提供している。詳細なアルゴリズムを本節の末尾に示す。
【００５２】
＜ウィナーゲイン計算部１３１−ｑ＞
図１１にウィナーゲイン計算部１３１−ｑの構成例を示す。
【００５３】
ウィナーゲイン計算部１３１−ｑは、線形フィルタリング部１３１−ｑ−１、PSD推定部１３１−ｑ−２、平方根算出部１３１−ｑ−３及びゲイン計算部１３１−ｑ−４を含む。
【００５４】
ウィナーゲイン計算部１３１−ｑは、M個の周波数領域の収音信号Xm(ω,k)を受け取り、これらの値を用いて、ウィナーゲインGq(ω,k,l)と、強調信号Yq(ω,k,l)と、音源のPSDφS_q(ω,k,l)(ただし、下付文字のA_BはABを表す。)の平方根を取ったものSq(ω,k,l)とを求め、同時に出力する。強調信号Gq(ω,k,l)は、M個の無指向性のマイクロホンを用いて、L個のメインビーム領域と、L×N個のサブビーム領域とを形成し、各ビーム領域の音を収音する場合には、ウィナーゲインGq(ω,k,l)の計算過程で計算される線形フィルタリング後の信号であり、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合には、指向性マイクロホンの出力値である。なお、前述の通り、q=0,1,…,Nであり、n=1,2,…,Nである。
【００５５】
以下では参考文献２を簡潔に説明する。無指向性マイクロホンを使用して収音した場合（Ｓ１３１−ｑ−０）、まず、ウィナーゲイン計算部１３１−ｑは、線形フィルタ係数W-q(ω)をメモリ１３４よりロードする（取り出す）。次に、線形フィルタリング部１３１−ｑ−１は、次式により、収音信号x-(ω,k)と各ビームの線形フィルタ係数W-q(ω)の積をとり、線形フィルタリング後の狭指向強調信号Yq(ω,k)を得る（Ｓ１３１−ｑ−１）。
Yq(ω,k)=W-q(ω)x-(ω,k)    (31)
なお、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合（Ｓ１３１−ｑ−０）、この処理Ｓ１３１−ｑ−１は行わなくてもよい。前述の通り、Yq(ω,k,l)=Xl(ω,k)として出力すればよい。
【００５６】
前述のアレイ収音信号強調技術の定式化より、線形フィルタリング後の強調音声y-(ω,k)は音源s-(ω,k)、伝達特性A-(ω)、収音信号x-(ω,k)、線形フィルタ係数W-(ω)を用いて以下のように記述できる（式(6)参照）。y-(ω,k)=W-(ω)x-(ω,k)=W-(ω)A-(ω)s-(ω,k)=D-(ω)s-(ω,k)     (32)
ただし、D-(ω)=W-(ω)A-(ω)
なお、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合は、y-(ω,k)=x-(ω,k)であり、y-(ω,k)=D-(ω)s-(ω,k)とすると、D-(ω)=prod[H-(θ-),A-(ω)]である(式(9),(10)参照)。
【００５７】
ここで、狭指向強調音声y-(ω,k)のPSDφy(ω,k,l)=E[Y(ω,k,l)Y(ω,k,l)*]は、P個の音源がそれぞれ独立と仮定することで、
【数７】
2016131343.tif 000009
と書くことができる。ここでE[]は期待値演算、上付き文字の＊は複素共役を表す。さらに、Φ-y(ω,k)=(φy(ω,k,1),…,φy(ω,k,L))T、Φ-S(ω,k)=(φS(ω,k,1),…,φS(ω,k,P))T、D-(ω)を|Dl,p(ω)|2を成分とするL×P行列とすることで、
Φ-y(ω,k)=D-(ω)Φ-S(ω,k)    (34)
と行列形式で記述できる。したがって、音源s-(ω,k)のPSDは、
Φ-S(ω,k)=D-+(ω)Φ-y(ω,k)    (35)
と求めることができる（Ｓ１３１−ｑ−２）。ここで上付き文字の＋は擬似逆行列を示す。また、D-(ω)が正則行列であれば(L=Pであり、メインビームの個数と音源の個数とが同じ場合であれば)、擬似逆行列を逆行列に置き換えてもよい。
【００５８】
したがって、目的方向に対する適切なゲインは、i∈θlを目的方向θlと到来方向が一致する音源番号として、
【数８】
2016131343.tif 000010
と計算できる（Ｓ１３１−ｑ−４）。
【００５９】
しかし、実環境では多くの場合、音源の到来方向と伝達特性A-(ω)は未知である。よってその際には、伝達特性A-(ω)を、目的方向θlからマイク位置までの伝搬波の位相差を表すアレイ・マニフォールドベクトルを用いて近似計算する。また、L=Pと仮定し、音源信号sl(t)は目的方向θlから到来すると仮定して、
【数９】
2016131343.tif 000011
としてウィナーゲインを計算する（Ｓ１３１−ｑ−４）。
【００６０】
また、所望の音源以外の雑音レベルが高い場合は、参考文献３のように、ウィナーゲイン計算時などに耐雑音処理を行ってもよい。
（参考文献３）K. Niwa, Y. Hioka, K. Kobayashi, “Post-filter design for speech enhancement in various noisy environments”, 14th International Workshop on Acoustic Signal Enhancement (IWAENC), 2014, pp. 35 - 39.
【００６１】
（線形フィルタリング部１３１−ｑ−１）
よって、無指向性のマイクロホンを用いて収音した場合（Ｓ１３１−ｑ−０）、言い換えると、M個の無指向性のマイクロホンを用いて、L個のメインビーム領域と、L×N個のサブビーム領域とを形成し、各ビーム領域の音を収音する場合、線形フィルタリング部１３１−ｑ−１は、線形フィルタ係数W-q(ω)と収音信号x-(ω,k)とを受け取り、式(31)により、線形フィルタリングを行い（Ｓ１３１−ｑ−１）、強調信号Yq(ω,k)=(Yq(ω,k,1),Yq(ω,k,2),…,Yq(ω,k,L))を算出し、出力する。
【００６２】
指向性のマイクロホンを用いて収音した場合（Ｓ１３１−ｑ−０）、言い換えると、１つの指向性マイクロホンで１つのメインビーム領域の音を収音する場合、この処理Ｓ１３１−ｑ−１は行わなくてもよい。M=L,m=lとし、線形フィルタリング部１３１−ｑ−１は、Yq(ω,k,l)=Xl(ω,k)として出力すればよい。
【００６３】
（PSD推定部１３１−ｑ−２）
PSD推定部１３１−ｑ−２は、強調信号Yq(ω,k,l)を受け取り、式（35）により、PSDを推定し（Ｓ１３１−ｑ−２）、推定値φS_q(ω,k,l)を出力する。ただし、L=Pと仮定し、
ΦS_q(ω,k)=D-q+(ω)Φy_q(ω,k)
ΦS_q(ω,k)=(φS_q(ω,k,1),…,φS_q(ω,k,L))T
Φ-y_q(ω,k)=(φy_q(ω,k,1),…,φy_q(ω,k,L))T
φy_q(ω,k,l)=E[Yq(ω,k,l)Yq(ω,k,l)*]
である。
【００６４】
なお、式（35）における行列D-(ω)は、無指向性のマイクロホンを用いて収音した場合には、伝達特性A-(ω)及び線形フィルタ係数W-q(ω)を用いて、
D-q(ω)=W-q(ω)A-(ω)
と表し、指向性のマイクロホンを用いて収音した場合には、伝達特性A-(ω)及び指向性H-(θ-q)を用いて、
D-q(ω)=prod[H-(θ-q),A-(ω)]
と表すことができる。θ-q=(θ1_q,…,θL_q)であり、θl_qは、q=nのときは、基準となる方向に対するl番目のサブセット領域のn番目のサブビーム領域の目的方向の成す角度を表す。q=0のとき、基準となる方向に対するl番目のメインビーム領域の目的方向の成す角度を表す。指向性のマイクロホンを用いて収音した場合、強調信号Yq(ω,k,l)は、Yq(ω,k,l)=Xl(ω,k)であり、サブビーム領域の音を強調した信号とは言えないが、このような行列D-q(ω)を用いて、サブビーム領域の音を強調した強調信号Yq(ω,k,l)に対するPSDの推定値φS_q(ω,k,l)を求めることができる。さらに、後述する平方根算出部１３１−ｑ−３及びゲイン計算部１３１−ｑ−４では、推定値φS_q(ω,k,l)を用いて処理を行うため、サブビーム領域の音を強調した強調信号Yq(ω,k,l)に対応する値(推定値φS_q(ω,k,l)の平方根Sq(ω,k,l)及びウィナーゲインGq(ω,k,l))を得ることができる。推定値φS_q(ω,k,l)及びその平方根Sq(ω,k,l)を、強調信号Yq(ω,k,l)に対応する特徴量ともいう。
【００６５】
（平方根算出部１３１−ｑ−３）
平方根算出部１３１−ｑ−３は、PSDの推定値φS_q(ω,k,l)を受け取り、その平方根Sq(ω,k,l)=√(φS_q(ω,k,l))を算出し（Ｓ１３１−ｑ−３）、出力する。
【００６６】
（ゲイン計算部１３１−ｑ−４）
ゲイン計算部１３１−ｑ−４は、PSDの推定値φS_q(ω,k,l)を受け取り、式(36)または式(37)により、ウィナーゲインGq(ω,k,l)を計算し（Ｓ１３１−ｑ−４）、出力する。
【数１０】
2016131343.tif 000012
言い換えると、N個のゲイン計算部１３１−ｑ−４は、L個のメインビーム領域ごとの音を強調した強調信号Y0(ω,k,l)およびL×N個のサブビーム領域ごとの音を強調した強調信号Yq(ω,k,l)について音源の存在を検出するために用いるフィルタG-(ω,k,l)=｛G0(ω,k,l),G1(ω,k,l),…,GN(ω,k,l)｝を形成する。なお、このフィルタG-(ω,k,l)は、前述の通り、ウィナーフィルタである。
【００６７】
＜効果＞
このような構成により、第一実施形態と同様の効果を得ることができる。
【００６８】
＜変形例＞
線形フィルタリングを行う場合には、M個のマイクロホンが無指向性であるとの前提で、処理を行っているが、M個のマイクロホンは、それぞれ指向性を有してもよいし、無指向性であってもよく、指向性を有するマイクロホンと無指向性のマイクロホンとが混在してもよい。指向性を有したマイクロホンを用いた場合も、線形フィルタリングを行うことで、ビームを形成し、メインビーム領域及びサブビーム領域の音を収音することができる。なお、第一実施形態においても同様の変形が可能である。
【００６９】
＜第三実施形態＞
この発明の第三実施形態では、第一実施形態のビーム再形成部の機能構成を具体化する。図１２はビーム再形成部１４０の機能ブロック図を、図１３はその処理フローの例を示す。
【００７０】
ビーム再形成部１４０は、強調信号Yq(ω,k,l)と、ウィナーゲインGq(ω,k,l)と、ビーム領域のそれぞれのPSDの推定値φS_q(ω,k,l)の平方根Sq(ω,k,l)とを受け取り(ただし、q=0,1,…,N、l=1,2,…,Lである)、隣接する２つのメインビーム領域の重畳領域を目的方向とするサブビーム領域に音源が存在することを検出した場合には、メインビーム領域のウィナーゲインG0(ω,k,l)またはG0(ω,k,l+1)を抑圧し、サブビーム領域に音源が存在することを検出しなかった場合には、メインビーム領域のウィナーゲインG0(ω,k,l)を抑圧せずに、メインビーム領域のY0(ω,k,l)とともに、出力する。以下のこの処理を実現する例について説明する。
【００７１】
ビーム再形成部１４０は、音源方向検出部１４１とゲイン抑圧部１４２とゲイン修正部１４３とを含む。
【００７２】
（音源方向検出部１４１）
音源方向検出部１４１では、図６のように２つのメインビームとその間にあるN個のサブビームの出力とを比較し、音源方向を検出する。
【００７３】
２つのメインビームの強調音声とウィナーゲインをそれぞれ、Y0(ω,k,l),G0(ω,k,l)とY0(ω,k,l+1),G0(ω,k,l+1)とし、音源方向検出部１４１は、Y0(ω,k,l),G0(ω,k,l),Y0(ω,k,l+1),G0(ω,k,l+1)を受け取り、強調音声とウィナーゲインの積の絶対値を計算する（Ｓ１４１ａ）。便宜上、|Y0(ω,k,l)×G0(ω,k,l)|を(a)と呼び、|Y0(ω,k,l+1)×G0(ω,k,l+1)|を(b)と呼ぶ。なお、図１２では、Y0(ω,k,l),G0(ω,k,l)のみを受け取っているが、l=1,2,…,Lについて受け取るため、Y0(ω,k,l+1),G0(ω,k,l+1)についても受け取ることができる。なお、l=Lのときには、l+1番目の強調音声とウィナーゲインとして、1番目のY0(ω,k,1),G0(ω,k,1)を用いる。以下の説明でも、l=L(言い換えるとl+1>L)の場合はl+1は1と読み替えて計算するものである。
(a)=|Y0(ω,k,l)×G0(ω,k,l)|    (41)
(b)=|Y0(ω,k,l+1)×G0(ω,k,l+1)|    (42)
【００７４】
次に、l番目のメインビームとl+1番目のメインビームの間に存在する、N個のサブビームの強調音声とウィナーゲインをそれぞれYn(ω,k,l),Gn(ω,k,l)とする。音源方向検出部１４１は、それぞれN個のYn(ω,k,l),Gn(ω,k,l)を受け取り、メインビームと同様に強調音声とウィナーゲインの積の絶対値を計算する（Ｓ１４１ｂ）。便宜上、|Yn(ω,k,l)×Gn(ω,k,l)|を(c,n)と呼ぶ。
(c,n)=|Yn(ω,k,l)×Gn(ω,k,l)|    (43)
【００７５】
そして、(a),(b)およびN個の(c,n)のうち、その値が最大のものを探索する（Ｓ１４１ｃ）。(a)もしくは(b)が最大であれば、メインビームの目的方向に音源があると判断し、(c,n)のいずれかが最大の場合は、サブビームの目的方向に音源があると判断する。また後続するゲイン修正部１４３のために、サブビームが最大であったときは、どのサブビームが最大であったかを記憶しておく。具体的には、最大であったサブビームのインデックスnを変数F1(l)に格納する(F1(l)←n)。何れかのメインビームが最大の場合はF1(l)←0とする。音源方向検出部１４１は、求めたF1(l)を出力する。
【００７６】
言い換えると、ビーム再形成部１４０は、フィルタ毎に算出した信号のパワーを比較して、信号パワーが最大となる領域がサブビーム領域か、メインビーム領域かを判別する。
【００７７】
（ゲイン抑圧部１４２）
ゲイン抑圧部１４２は、F1(l)とY0(ω,k,l),G0(ω,k,l),Y0(ω,k,l+1),G0(ω,k,l+1)とを受け取り、サブビームの目的方向に音源があった場合(F1(l)≠0の場合)、l番目のメインビームかl+1番目のメインビームのウィナーゲインを抑圧する。サブビーム上の音源が、(a)と(b)のどちら側に存在するかを判定するために、(a)と(b)の値を比較する（Ｓ１４２ａ）。この処理により、サブビーム領域に存在すると推定される音源が、隣接するメインビーム領域のどちらに近いかを判別する。全領域に存在する音源が周波数方向にスパースかつ独立であると仮定し、Y0(ω,k,l)とY0(ω,k,l+1)には一つの音源の情報しか含まれないと考えると、(a)が大きければ音源はl番目のメインビームの目的方向の近くに存在し、(b)が大きければ音源はl+1番目のメインビームの目的方向の近くに存在すると考えられる。
【００７８】
これに基づき、(a)が大きければG0(ω,k,l+1)を元の値よりも小さいある小さな値gspに設定し（G0(ω,k,l+1)←gsp、Ｓ１４２ｂ）、(b)が大きければG0(ω,k,l)を元の値よりも小さいある小さな値gspに設定する（G0(ω,k,l)←gsp、Ｓ１４２ｃ）。gspはたとえば0.0や0.05などに設定できる。このG0(ω,k,l+1)またはG0(ω,k,l)を小さな値に設定する処理が、G0(ω,k,l+1)またはG0(ω,k,l)を抑圧する処理に相当する。なお、値gspが十分に小さいのであれば、値gspはG0(ω,k,l)またはG0(ω,k,l+1)の元の値よりも大きくてもよい。値gspが十分に小さい(例えば0.05未満)のであれば、元の値よりも大きく設定したとしても出力にほとんど影響を与えないためである。
【００７９】
上述の処理を、全てのメインビームの目的方向に対して行う（Ｓ１４０ａ、Ｓ１４０ｂ、Ｓ１４０ｃ）。
【００８０】
上述の比較処理には、音源位置の揺らぎを吸収するアルゴリズムを追加することができる。たとえばl番目のメインビームとl+1番目のメインビームの目的方向がそれぞれ０°と６０°であり、人間などの音源が３０°付近に存在するとする。この音源は、たとえば首の回転や座り直しなどの要因で、音源位置が時刻kで２９°、音源位置が時刻k+1で３１°などと、その位置が時間的に揺らぎをもつことがある。
【００８１】
このような状況では、時刻kではG0(ω,k,l)を抑圧し、時刻k+1ではG0(ω,k+1,l+1)を抑圧するなどの処理が起こり、出力の時間的連続性が保証されない場合がある。これを防ぐために、音源位置の若干の揺らぎを吸収するアルゴリズムを追加実装してもよい。
アルゴリズムの例として、以下の条件
C.1 時刻k-1で(a)の値がgth未満である。
C.2 時刻kで(a)の値がgth以上である。
C.3 時刻kで(a)>(b)である。
を満たす場合、それ以降の時刻では、
D.1  (a)がgth以上である限り、
D.2  (b)>(a)であっても、(b)が(a)のrth倍以上の値にならなければ、
G0(ω,k,l+1)を抑圧する、などの処理が考えられる。この処理は、(a)と(b)を入れ替えて読むことで、(b)が先に反応した場合にも対応できる。gthとrthの値は実験的に決定することがよいが、例えばgthは０．２、rthは１．４などに設定できる。また、音声などでは、促音などで局所的にgthを下回ることもあるため、条件D.1を、
D.1   tth(ms)以上連続してgth未満にならなければ、
と変更してもよい。tthの値はたとえば５００などに設定できる。
【００８２】
このようにして、ゲイン抑圧部１４２は、一旦、当該音源に近くないと判定したメインビーム領域については、その後、当該音源に近いと判定された場合であっても、所定の条件を満たさない限り、当該音源に近くないと判定したメインビーム領域側の信号に含まれる当該音源の音を抑圧するように、調整する。
【００８３】
ゲイン抑圧部１４２は、サブビームの目的方向に音源があった場合、抑圧したウィナーゲインと受け取ったウィナーゲイン(つまり、G0(ω,k,l)=gspとG0(ω,k,l+1)、または、G0(ω,k,l)とG0(ω,k,l+1)=gsp)を出力し、メインビームの目的方向に音源があった場合、受け取ったウィナーゲインをそのまま(G0(ω,k,l)とG0(ω,k,l+1))出力する。なお、l番目のメインビームに対応するウィナーゲインG0(ω,k,l)は、l-1番目のメインビームに対応するウィナーゲインG0(ω,k,l-1)との関係で抑圧される場合もあるし、l+1番目のメインビームに対応するウィナーゲインG0(ω,k,l+1)との関係で抑圧される場合もある。
【００８４】
（ゲイン修正部１４３）
最後に、ゲイン修正部１４３は、F1(l)とウィナーゲインG0(ω,k,l)と音源のPSDの推定値φS_q(ω,k,l)の平方根Sq(ω,k,l)（平方根算出部１３１−ｑ−３の出力値）を受け取り、後述するゲイン修正係数λ(ω,k)またはΛ-(ω,k)を計算し、適用し、ゲイン全体の大きさを調整する（Ｓ１４３）。ゲイン抑圧部１４２ではウィナーゲインを小さくする処理を行うため、このまま時間周波数マスクを行うと、再生信号zl(t)の音量の総量は、音源信号sp(t)の音量の総量よりも小さくなる可能性がある。また、本実施形態は時間フレームに対して独立に処理を行うため、再生信号の音量から時間的な連続性が失われる可能性がある。これら問題を解決するために、ゲイン全体の大きさを調節する。
【００８５】
３６０°（全方位）をL個の領域に区切り、l番目の領域に存在する音源の振幅スペクトルを|S(ω,k,l)|とする。またl番目の領域に存在する音声のみを強調した信号の振幅スペクトルを|Z(ω,k,l)|とする。本技術の目的は|S(ω,k,l)|＝|Z(ω,k,l)|となるような狭指向音声強調を実現することである。
【００８６】
ここで、強調信号の振幅スペクトルベクトルをY-ω,k=(|Y0(ω,k,1)|,…,|Y0(ω,k,L)|)T、抑圧されたゲインのベクトルをg~(ω,k)=(G0(ω,k,1),…,G0(ω,k,L))、g~(ω,k)を対角成分に持つ対角行列をG~(ω,k)としたとき、ウィナーフィルタリング後の信号の振幅スペクトルZ-ω,k=(|Z-(ω,k,1)|,…,|Z-(ω,k,L)|)Tは
Z-ω,k=G~(ω,k)Y-ω,k    (44)
と記述できる。
【００８７】
したがって、|S(ω,k,l)|＝|Z(ω,k,l)|となる狭指向音声強調を実現するためには、S-ω,k=(SF1(1)(ω,k,1),…,SF1(L)(ω,k,L))として、目的関数J=|S-ω,k-G-(ω,k)Y-ω,k|2を最小化するように、ゲインG~(ω,k)をゲインG-(ω,k)に調節すればよい。なお、SF1(l)(ω,k,l)の値は、F1(l)と平方根Sq(ω,k,l)とから求めることができる。
【００８８】
この問題は、ゲインの調整法として、抑圧されたゲインを、すべての領域で同じレベルで増幅する修正を行うのであれば、
G-(ω,k)=λ(ω,k)G~(ω,k)    (45)
となるスカラーλ(ω,k)を求める問題となり、各領域で異なるレベルで増幅する修正を行うのであれば、
G-(ω,k)=Λ-(ω,k)G~(ω,k)   (46)
となる対角行列Λ-(ω,k)を求める問題に帰結する。
【００８９】
これを満たすλ(ω,k)とΛ-(ω,k)は、目的関数Jをそれぞれのパラメータで偏微分することで、
【数１１】
2016131343.tif 000013
で計算できる。ここでdiag[・]は[・]内の行列の非対角成分を０にする処理である。詳細な導出は、以下の通りである。
【００９０】
（λ(ω,k)の導出）
目的関数J=|S-ω,k-G-(ω,k)Y-ω,k|2を式(45)に基づき、
J=(S-ω,k-λ(ω,k)G~(ω,k)Y-ω,k)T(S-ω,k-λ(ω,k)G~(ω,k)Y-ω,k)    (49)
と式変形し、
【数１２】
2016131343.tif 000014
のように目的関数をλ(ω,k)で偏微分して0と置くと、
λ(ω,k)Y-ω,kTG~T(ω,k)G~(ω,k)Y-ω,k=Y-ω,kTG~T(ω,k)S-ω,k
【数１３】
2016131343.tif 000015
となる。なお、行列Gは対角行列であり、G~(ω,k)=G~T(ω,k)なので、実装上は、計算量を減らすために、
【数１４】
2016131343.tif 000016
としてもよい。
【００９１】
（Λ-(ω,k)の導出）
目的関数J=|S-ω,k-G-(ω,k)Y-ω,k|2を式(46)に基づき、
J=(S-ω,k-Λ-(ω,k)G~(ω,k)Y-ω,k)T(S-ω,k-Λ-(ω,k)G~(ω,k)Y-ω,k)    (51)
と式変形し、
【数１５】
2016131343.tif 000017
のように目的関数をΛ-(ω,k)で偏微分して0と置くと、
Y-ω,kTG~T(ω,k)Λ-(ω,k)G~(ω,k)Y-ω,k=Y-ω,kTG~T(ω,k)S-ω,k
Λ-(ω,k)G~(ω,k)Y-ω,kY-ω,kT=S-ω,kY-ω,kT
Λ-(ω,k)=S-ω,kY-ω,kT(G~(ω,k)Y-ω,kY-ω,kT)-1    (53)
となる。ここでΛ-(ω,k)はそれぞれの方向のメインビームのゲインを修正する係数なので、非対角成分を０にする処理（diag[・]）を行う。
【００９２】
以上より、l番目のビームに対する修正されたウィナーゲインG(ω,k,l)は、
G(ω,k,l)=λ(ω,k)G~(ω,k,l)    (54)
もしくは
G(ω,k,l)=Λ-ll(ω,k)G~(ω,k,l)    (55)
で計算できる。ここでΛ-ll(ω,k)はΛ-(ω,k)のl番目の対角成分である。
【００９３】
ゲイン修正部１４３は、サブビームの目的方向に音源があった場合、修正したウィナーゲインを出力し、メインビームの目的方向に音源があった場合、受け取ったウィナーゲインをそのまま（G(ω,k,l)=G0(ω,k,l)）出力する。
【００９４】
よって、収音装置１００が出力するメインビーム領域毎の再生信号は、メインビーム領域の調整後の各メインビーム領域の信号のパワーの総和と、調整前の各メインビーム領域の収音信号のパワーの総和との誤差が最小になるように、ゲイン修正部１４３ではメインビーム領域の調整後の信号に対してゲインを調節していると言える。
【００９５】
＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。
【００９６】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００９７】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００９８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００９９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０１００】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１０１】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2016131343.tif 000018
【図２】
2016131343.tif 000019
【図３】
2016131343.tif 000020
【図４】
2016131343.tif 000021
【図５】
2016131343.tif 000022
【図６】
2016131343.tif 000023
【図７】
2016131343.tif 000024
【図８】
2016131343.tif 000025
【図９】
2016131343.tif 000026
【図１０】
2016131343.tif 000027
【図１１】
2016131343.tif 000028
【図１２】
2016131343.tif 000029
【図１３】
2016131343.tif 000030