(57)【要約】【課題】周波数特性がより適切に補正された目的音を取得可能とする。【解決手段】信号処理装置は、収音部により所定の地点において収音される音響信号に基づいて、周波数ごとに異なる方向範囲に対応する指向性を有する方向音を取得する方向音取得手段と、所定の地点を基準とした音の空間分布を取得する空間分布取得手段と、方向音取得手段により取得される方向音の指向性パターンと、空間分布取得手段により取得される空間分布とに基づいて、複数の周波数それぞれに対応する補正パラメータを決定する決定手段と、決定手段により決定される補正パラメータを用いて、方向音取得手段により取得される方向音の周波数特性を補正する補正手段と、を有する。【選択図】図１
2019054340.tif 000002
【特許請求の範囲】
【請求項１】
収音部により所定の地点において収音される音響信号に基づいて、周波数ごとに異なる方向範囲に対応する指向性を有する方向音を取得する方向音取得手段と、
前記所定の地点を基準とした音の空間分布を取得する空間分布取得手段と、
前記方向音取得手段により取得される方向音の指向性パターンと、前記空間分布取得手段により取得される空間分布とに基づいて、複数の周波数それぞれに対応する補正パラメータを決定する決定手段と、
前記決定手段により決定される補正パラメータを用いて、前記方向音取得手段により取得される方向音の周波数特性を補正する補正手段と、
を有することを特徴とする信号処理装置。
【請求項２】
前記補正手段は、前記補正の前後で前記方向音の音量が略同一となるよう補正を行う
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記方向音取得手段は、前記収音部としてのマイクアレイで取得した無指向性の音響信号に対して指向性形成フィルタ処理を適用することにより得られる音響信号を前記方向音として取得する
ことを特徴とする請求項１又は２に記載の信号処理装置。
【請求項４】
前記方向音取得手段は、前記収音部としての指向性マイクで取得した音響信号を前記方向音として取得する
ことを特徴とする請求項１又は２に記載の信号処理装置。
【請求項５】
前記空間分布取得手段は、前記所定の地点において収音される音響信号の空間相関行列を決定し、該空間相関行列を用いて前記空間分布を決定する
ことを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
【請求項６】
前記空間分布取得手段は、前記空間相関行列の固有値間の差が小さいほど前記空間分布の先鋭度を小さくする
ことを特徴とする請求項５に記載の信号処理装置。
【請求項７】
前記所定の地点の近傍において撮影する撮像装置から映像信号を取得する映像取得手段を更に有し、
前記空間分布取得手段は、前記映像信号に対して画像認識処理を適用することで前記空間分布を取得する
ことを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
【請求項８】
前記空間分布取得手段は、前記映像信号に対応する前記撮像装置の画角に基づいて前記空間分布を決定する
ことを特徴とする請求項７に記載の信号処理装置。
【請求項９】
前記空間分布取得手段は、前記所定の地点を示す場所情報に基づき前記空間分布を決定する
ことを特徴とする請求項７に記載の信号処理装置。
【請求項１０】
前記空間分布のパラメータの調整指示をユーザから受け付ける受付手段を更に有する
ことを特徴とする請求項１乃至９の何れか１項に記載の信号処理装置。
【請求項１１】
音響信号を処理する信号処理装置の制御方法であって、
収音部により所定の地点において収音される音響信号に基づいて、周波数ごとに異なる方向範囲に対応する指向性を有する方向音を取得する方向音取得工程と、
前記所定の地点を基準とした音の空間分布を取得する空間分布取得工程と、
前記方向音取得工程により取得される方向音の指向性パターンと、前記空間分布取得工程により取得される空間分布とに基づいて、複数の周波数それぞれに対応する補正パラメータを決定する決定工程と、
前記決定工程により決定される補正パラメータを用いて、前記方向音取得工程により取得される方向音の周波数特性を補正する補正工程と、
を含むことを特徴とする信号処理装置の制御方法。
【請求項１２】
コンピュータを、請求項１乃至１０の何れか１項に記載の信号処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号の周波数特性を補正する技術に関するものである。
【背景技術】
【０００２】
複数のマイク素子からなるマイクアレイを使用して、所望の方向から到来する音響を選択的に取得する技術がある。具体的には、マイクアレイにより得られた複数チャンネルの音響信号に対して、所望の方向に対応する指向性形成のフィルタ係数を適用して加算することで、当該指向方向の音響（方向音）を取得することができる。また、指向性マイクを用いても方向音を取得することが出来る。ここで、取得すべき目的音を発している目的音源の方向に指向方向を合わせることで目的音が支配的に含まれる方向音を取得でき、例えば音素材として用いることができる。
【０００３】
特許文献１では、スピーカアレイで出力音響の指向性を形成する際に、指向方向である正面０°方向において、入出力ゲインの値が全周波数で０ｄＢとなるよう周波数特性の補正を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０９５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般に方向音の取得においては、形成できるビームパターンの幅（指向性の鋭さ）が低周波数帯域では広くなり、逆に高周波数帯域では狭くなる傾向がある。これは、フィルタリングで指向性を形成する場合も指向性マイクを用いる場合も同様である。また、例えば反射や残響の影響がある場合などには、目的音は必ずしも一方向のみから到来するとは限らない。従来技術では、目的音が特定の方向に局在している場合は目的音の周波数特性のバランスは適切に補正できる。一方、目的音が反射等により様々な方向に空間的に分布している場合には、取得した方向音において、目的音の低域成分の過多や高域成分の不足が発生し周波数特性のバランスが悪化してしまう。
【０００６】
本発明はこのような問題を鑑みてなされたものであり、周波数特性がより適切に補正された目的音を取得可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明に係る信号処理装置は以下の構成を備える。すなわち、信号処理装置は、収音部により所定の地点において収音される音響信号に基づいて、周波数ごとに異なる方向範囲に対応する指向性を有する方向音を取得する方向音取得手段と、前記所定の地点を基準とした音の空間分布を取得する空間分布取得手段と、前記方向音取得手段により取得される方向音の指向性パターンと、前記空間分布取得手段により取得される空間分布とに基づいて、複数の周波数それぞれに対応する補正パラメータを決定する決定手段と、前記決定手段により決定される補正パラメータを用いて、前記方向音取得手段により取得される方向音の周波数特性を補正する補正手段と、を有する。
【発明の効果】
【０００８】
本発明によれば、周波数特性がより適切に補正された目的音を取得可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る信号処理装置を含むシステムのブロック図である。
【図２】信号処理装置が実行する信号解析処理のフローチャートである。
【図３】第１実施形態における空間分布取得処理の詳細フローチャートである。
【図４】周波数ごとのビームパターンの例を示す図である。
【図５】第１実施形態における目的音の空間分布の例を示す図である。
【図６】第１実施形態おける積和量の例を示す図である。
【図７】第２実施形態に係る信号処理装置を含むシステムのブロック図である。
【図８】第２実施形態における空間分布取得処理の詳細フローチャートである。
【図９】第２実施形態における目的音の空間分布の例を示す図である。
【図１０】信号処理装置のハードウェア構成を例示的に示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る信号処理装置の第１実施形態として、マイクアレイで録音された無指向性の音響信号を処理する信号処理装置を例に挙げて以下に説明する。
【００１２】
＜装置構成＞
図１は、第１実施形態に係る信号処理装置を含むシステムのブロック図である。信号処理装置１００は、全構成要素の統御を行うシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。記憶部１０２は、マイクアレイ１０５と音響信号入力部１０４を介して取得された音響信号を保持している。マイクアレイ１０５は、取得対象の目的音（人の声、車両の音などの任意の音）を収音可能である所定の地点に配置され、収音部として機能する。
【００１３】
図１０は、信号処理装置１００のハードウェア構成を例示的に示す図である。ここでは、一般的なパーソナルコンピュータ（ＰＣ）がプログラムを実行することにより信号処理装置１００の各部を実現することを想定するが、１以上の機能部をハードウェア（ＡＳＩＣなど）により実現してもよい。また、図１０では、ディスプレイ１２３、通信Ｉ／Ｆ１２４、キーボード１２５などを含んでいるが、これらは必須の構成というわけではない。
【００１４】
ＣＰＵ１２０は、各種演算を実行するほか、信号処理装置１００を統括的に制御する。ＣＰＵ１２０は、例えばＲＯＭ１２２やハードディスクドライブ（ＨＤＤ）１２６に格納された演算プログラムを実行することにより図１に示される各機能部を実現する。
【００１５】
ＨＤＤ１２６は、例えば、信号処理装置１００で利用される演算プログラムあるいは各種の制御プログラムを記憶する。また、演算プログラムあるいは各種の制御プログラムに関連する各種情報を保存する。また、一時的に各種情報を記憶するためにＲＡＭ１２１も利用される。
【００１６】
キーボード１２５は、ユーザから、計算に用いる各種情報などの入力を受け付ける機能部である。また、ディスプレイ１２３は、ユーザに対して、計算処理の進行状況や計算結果など各種情報を提供する機能部である。通信インタフェース（Ｉ／Ｆ）１２４は、音響信号入力部１０４や不図示の外部装置に接続するためのインタフェースであり、例えば、有線通信又は無線通信のインタフェースである。通信Ｉ／Ｆ１２４を介して、例えば、音響信号入力部１０４から処理の対象となる音響信号のデータを入力したり、得られた結果を不図示の外部装置などに出力することができる。
【００１７】
＜装置の動作＞
図２は、信号処理装置１００が実行する信号解析処理のフローチャートである。なお、記憶部１０２には音響信号入力部１０４から取得した音響信号が逐次記憶され、図２のフローチャートは、所定の時間長を有する時間ブロックごとの音響信号の処理を表すものとする。
【００１８】
Ｓ２０１では、信号解析処理部１０３は、記憶部１０２に記憶された、Ｍ個のマイク素子（Ｍチャンネルマイクアレイ）で録音したＭチャンネル分の音響信号を取得する。そして、チャンネルごとにフーリエ変換することで、周波数領域のデータを表すフーリエ係数であるｚ（ｆ）を得る。ここで、ｆは周波数のインデックス、ｚ（ｆ）はＭ個の要素を持つベクトルである。
【００１９】
Ｓ２０２では、信号解析処理部１０３は、空間分布取得処理を行う。図３は、空間分布取得処理（Ｓ２０２）の詳細フローチャートである。Ｓ３０１〜Ｓ３０２は周波数ごとの処理であり、周波数ループの中で行う。
【００２０】
Ｓ３０１では、信号解析処理部１０３は、音響信号の空間的性質を表す統計量である空間相関行列Ｒ（ｆ）を、数式（１）のように算出する。ここで、Ｅは期待値を、上付きのＨは複素共役転置を表す。
【００２１】
【数１】
2019054340.tif 000003
【００２２】
Ｓ３０２では、信号解析処理部１０３は、Ｓ３０１で算出した空間相関行列Ｒ（ｆ）を用いて、音源方向に感度のピークを形成する空間スペクトルＰ（ｆ，θ）を算出する。方位角θに指向方向を向けて取得した方向音の信号パワーＰｗ（ｆ，θ）は、数式（２）で表される。
【００２３】
【数２】
2019054340.tif 000004
ここで、ｗ（ｆ，θ）は方位角θに対応する指向性形成フィルタ処理におけるフィルタ係数である。ｗ（ｆ，θ）は周波数領域のデータ（フーリエ係数）であり、Ｍ個の要素を持つベクトルである。
【００２４】
ｗ（ｆ，θ）のθを、例えば−１８０°から１８０°まで１°刻みで変えながら数式（２）を計算することで、水平全方位の空間スペクトルがＰ（ｆ，θ）＝Ｐｗ（ｆ，θ）のように得られる。
【００２５】
なお、指向性形成のフィルタ係数は任意のアルゴリズムのものを用いることができる。例えば、最小分散法のフィルタ係数を用いた場合の空間スペクトルＰＭＶ（ｆ，θ）は、数式（３）で得られる。
【００２６】
【数３】
2019054340.tif 000005
ここで、ａ（ｆ，θ）は各方向（方位角θ）の音源と各マイク素子間の伝達関数であるアレイ・マニフォールド・ベクトル（ＡＭＶ）である。ａ（ｆ，θ）は周波数領域のデータ（フーリエ係数）であり、Ｍ個の要素を持つベクトルである。
【００２７】
また、信号部分空間と雑音部分空間の直交性を利用して空間スペクトルを算出する方法もある。空間相関行列Ｒ（ｆ）のＭ個の固有ベクトルのうち、雑音部分空間に対応するものを並べた行列をＥｎと置く。そして、信号部分空間に属するアレイ・マニフォールド・ベクトルａ（ｆ，θ）との直交性を考えれば、ＭＵＳＩＣ法の空間スペクトルＰＭＵ（ｆ，θ）が数式（４）で得られる。
【００２８】
【数４】
2019054340.tif 000006
【００２９】
ａ（ｆ，θ）のθを、例えば−１８０°から１８０°まで１°刻みで変えながら数式（３）や数式（４）を計算する。これにより、水平全方位の空間スペクトルがＰ（ｆ，θ）＝ＰＭＶ（ｆ，θ）やＰ（ｆ，θ）＝ＰＭＵ（ｆ，θ）のように得られる。なお、ＡＭＶは一般に、無響室でのスピーカを用いた測定や音響シミュレーション等により得られるが、音響信号の録音に用いたマイクアレイの構造によっては、自由空間や剛球等の理論式により任意の解像度でａ（ｆ，θ）を算出できる。
【００３０】
なお、指向性形成のフィルタ係数やＡＭＶは、記憶部１０２があらかじめ保持しているものを取得して用いればよい。なお、マイクアレイの構成が異なるとフィルタ係数やＡＭＶも異なるため、録音に用いたマイクアレイの種別ＩＤを音響信号の付加情報として録音時に記録しておき、そのマイクアレイに対応するフィルタ係数やＡＭＶを用いるようにしてもよい。
【００３１】
Ｓ３０３では、信号解析処理部１０３は、Ｓ３０２で算出した空間スペクトルＰ（ｆ，θ）をもとに目的音源の方向を特定し、その方向を指向性の指向方向θｓとして決定する。
【００３２】
まず、Ｐ（ｆ，θ）を周波数に亘って平均化した空間スペクトルＰ（θ）を求める。ここで、平均化に用いる周波数は全周波数でもよいし、音響信号で卓越している帯域の周波数などとしてもよい。そして、時間ブロックのインデックスｔを用いて現時間ブロックの空間スペクトルをＰ（θ，ｔ）と表すと、ｎブロック前の時間ブロックにおける空間スペクトルはＰ（θ，ｔ−ｎ）と表される。
【００３３】
このような複数（ｎ＋１個）の時間ブロックにおける空間スペクトルＰ（θ，ｔ−ｎ）〜Ｐ（θ，ｔ）から、それぞれ大きなピークとなる方向を検出することで、主要な音源の方向を一通り検出することができる。そこで、その中から目的音源とするものを決定し、その方向を指向性の指向方向θｓとして決定する。なお、音響信号の全時間ブロックの空間スペクトルから目的音源の方向を決定しても構わない。決定法としては、正面に最も近いピークの方向または最大ピークの方向などとしてもよいし、システム制御部１０１と相互に結ばれた不図示のＧＵＩ部を介して、ユーザに選択させるようにしてもよい。
【００３４】
Ｓ３０４では、信号解析処理部１０３は、空間スペクトルから目的音の空間分布Ｐｓ（θ）を決定する。基本的に空間スペクトルは鳴っている音の空間分布に対応すると考えられる。ただし、非目的音源も音を発している場合、目的音源の方向以外にも大きなピークが立っているため、その時間ブロックの空間スペクトルを目的音の空間分布として用いるのは好ましくない。そこで、複数の時間ブロックにおける空間スペクトルのうち、特定の時間ブロックにおける空間スペクトルを用いる。例えば、大きなピークが目的音源方向（指向方向θｓ）の近傍のみに出ている時間ブロックｔｓの空間スペクトルＰ（θ，ｔｓ）を、現時間ブロックにおける目的音の空間分布Ｐｓ（θ）として用いる。なお、ｔｓの候補が複数ある場合は、現時間ブロックに近いものを選ぶのが好適である。
【００３５】
図５は、第１実施形態における目的音の空間分布の例を示す図である。図５において、横軸が水平方向の方位角θ、縦軸が空間分布の値の大きさである。
【００３６】
図５は、目的音源が正面０°の場合の、様々な空間における目的音の空間分布Ｐｓ（θ）の例である。反射の少ない空間では、図５（ａ）のように幅の狭い鋭いピークを持つ空間分布となる。また、反射・残響が中程度の空間では、図５（ａ）よりもピークの幅が広がった図５（ｂ）のような空間分布となり、この例では大きなピークの両側に主要な反射に対応する小さなピークも出ている。さらに、反射・残響が多い空間では、図５（ｂ）よりさらにピークの幅が広がり先鋭度が小さくなった図５（ｃ）のような空間分布となり、全方位から目的音が到来するため分布の裾のレベルも大きい。
【００３７】
なお、これらの例からも分かるように、反射・残響の多寡と空間分布の先鋭度には対応関係があるため、全方位の空間スペクトルまで算出しなくても、例えば空間相関行列の固有値分布から目的音の空間分布を推定することもできる。例えば、空間相関行列の固有値を大きさでソートすると、反射・残響が多いほど隣接する固有値間の差の最大値が小さくなるため、固有値間の差の最大値が小さいほど空間分布の先鋭度を小さくするようにすればよい。また、音響信号から公知の方法により残響時間を推定し、残響時間が長いほど空間分布の先鋭度を小さくするようにしてもよい。
【００３８】
Ｓ２０３〜Ｓ２０７は周波数ごとの処理であり、周波数ループの中で行う。Ｓ２０３では、信号解析処理部１０３は、Ｓ２０２の空間分布取得処理内で決定した指向方向θｓに、指向性のメインローブを形成するためのフィルタ係数を取得する。ここでは、記憶部１０２があらかじめ保持している指向性形成のフィルタ係数から、指向方向θｓに対応するｗｓ（ｆ）を取得する。
【００３９】
Ｓ２０４では、信号解析処理部１０３は、Ｓ２０３で取得した指向性形成のフィルタ係数ｗｓ（ｆ）と、アレイ・マニフォールド・ベクトルａ（ｆ，θ）を用いて指向性のビームパターン（指向性パターン）を算出（指向性取得）する。ビームパターンの方位角θ方向の値ｂｓ（ｆ，θ）は、数式（５）で得られる。
【００４０】
【数５】
2019054340.tif 000007
【００４１】
ａ（ｆ，θ）のθを、例えば−１８０°から１８０°まで１°刻みで変えながらｂｓ（ｆ，θ）を計算することで、水平全方位のビームパターンが得られる。
【００４２】
図４は、周波数ごとのビームパターンの例を示す図である。図４において、横軸が水平方向の方位角θ、縦軸がビームパターンの大きさである。図４（ａ）は、目的音源が正面０°であり指向方向θｓ＝０°の場合の周波数ごとの典型的なビームパターンを示している。図から理解されるように、低域のビームパターンほど幅が広くなる傾向がある。なお、円状等間隔マイクアレイなどマイク素子が等方的に配置されている場合は、指向方向が正面０°の場合のビームパターンをθ方向にθｓ巡回シフトさせることで、任意の指向方向のビームパターンが得られる。
【００４３】
Ｓ２０５では、信号解析処理部１０３は、指向方向θｓの方向音Ｙ（ｆ）を生成（方向音取得）する。具体的には、Ｓ２０１で取得したＭチャンネル音響信号のフーリエ係数ｚ（ｆ）に、Ｓ２０３で取得した指向性形成のフィルタ係数ｗｓ（ｆ）を適用する。このことで、所定の方向範囲を示す指向方向θｓの方向音Ｙ（ｆ）を数式（６）のように生成する。ここで、Ｙ（ｆ）は周波数領域のデータ（フーリエ係数）である。
【００４４】
【数６】
2019054340.tif 000008
【００４５】
ただし、目的音が空間的に分布している場合、本ステップで生成した方向音に含まれる目的音は、図４（ａ）からも分かるように低域ほど広い範囲のビームパターンで拾われている。そのため、低周波数帯域成分の過多や高周波数帯域成分の不足となって周波数特性のバランスが悪化している。そこで、以降のステップにおいて、周波数ごとのビームパターンと目的音の空間分布を用いて補正パラメータを決定し、指向性で取得した方向音の周波数特性を補正する。
【００４６】
Ｓ２０６では、信号解析処理部１０３は、Ｓ２０４で算出した周波数ごとのビームパターンｂｓ（ｆ，θ）と、Ｓ２０２で取得した目的音の空間分布Ｐｓ（θ）の、積和量Ｑ（ｆ）を算出する。例えば、全方位に亘る積和量Ｑ（ｆ）を数式（７）のように算出する。ここで、空間分布Ｐｓ（θ）の次元が信号パワーである場合に合わせて、信号振幅比に対応するビームパターンｂｓ（ｆ，θ）は二乗している。
【００４７】
【数７】
2019054340.tif 000009
【００４８】
この周波数ごとの積和量Ｑ（ｆ）は、各周波数でビームパターンの幅が異なることに起因する、周波数特性の変化を表していると考えられる。そのため、積和量Ｑ（ｆ）を補正パラメータとして利用することが出来る。
【００４９】
図６は、第１実施形態における積和量の例を示す図である。直線６０１〜６０３はそれぞれ、目的音の空間分布Ｐｓ（θ）が図５（ａ）〜（ｃ）の場合の積和量Ｑ（ｆ）を示している。低域ほど目的音を拾うビームパターンの範囲が広がるため、右下がりの直線となっている。また、反射・残響が多くなって目的音の空間分布のピーク幅が広がるほど、低域と高域で目的音を拾うビームパターンの範囲の差が大きくなるため、直線の傾きも急になっている。なお、図６においてＱ（ｆ）を直線として示しているが、任意の曲線になり得る。Ｑ（ｆ）は実際上は大域的に右下がりの傾向を示す。
【００５０】
Ｓ２０７では、信号解析処理部１０３は、Ｓ２０６で算出した積和量Ｑ（ｆ）で正規化することにより、Ｓ２０５で生成した方向音Ｙ（ｆ）の周波数特性を補正する。補正の考え方としては、現在の状態を表す値で割って正規化した後、目標の状態を表す値を掛ける。ここで、現在の状態とは、周波数ごとにビームパターンの幅が異なることにより周波数特性が変化している状態であり、Ｓ２０６で算出したＱ（ｆ）に対応する。また目標の状態とは、ビームパターンｂｓ（ｆ，θ）が全周波数で同じ、すなわち周波数に依存せずθのみの関数となる状態である。このとき、数式（７）から分かるようにＱ（ｆ）は周波数に依存しなくなり、周波数に対してフラットな固定値となる。
【００５１】
これらを踏まえて、補正のうち目標の状態を表す値を掛ける方は割愛して、現在の状態に対応するＱ（ｆ）で割って正規化することにより、方向音Ｙ（ｆ）の周波数特性を数式（８）のように補正する。ここで、信号振幅の次元であるＹ（ｆ）に合わせて、Ｑ（ｆ）はルートをとっている。
【００５２】
【数８】
2019054340.tif 000010
【００５３】
反射・残響が多いほど、図６におけるＱ（ｆ）の傾きも急になるため、周波数特性が大きく補正されることになる。なお、数式（８）のＹ（ｆ）に数式（６）を代入すると数式（９）のようになるため、周波数ごとに指向性形成のフィルタ係数ｗｓ（ｆ）を補正していると解釈することもできる。
【００５４】
【数９】
2019054340.tif 000011
【００５５】
例えば、空間分布Ｐｓ（θ）を全方位で一定値とした場合に、図４（ａ）のビームパターンに対応するフィルタ係数を数式（９）のように補正すると、図４（ｂ）のようなビームパターンとなる。なお、表示されるビームパターンの最大値が０ｄＢとなるよう縦方向に平行移動している。図４（ｂ）より、広い範囲で目的音を拾う低域のビームパターンほどピーク値が小さく、逆に狭い範囲で目的音を拾う高域のビームパターンほどピーク値が大きくなるため、指向性で取得する方向音の周波数特性が低域過多や高域不足に陥らなくなる。本発明では、目的音が空間的に広く分布するほど、図６のように周波数特性の補正に用いるカーブＱ（ｆ）の傾きが大きくなり、フィルタ係数の補正として解釈した場合は、その周波数ごとのビームパターンのピーク値の差も大きくなる。なお、図４（ａ）のように指向方向のビームパターンの値を全周波数で０ｄＢとする従来の方法は、目的音が空間的に分布する場合には適切ではない。なぜなら、本実施形態の説明に対応させると空間分布を図５（ａ）の縦点線で示すようなパルスで考えていることになるためである。
【００５６】
なお、不図示のＧＵＩ部を介して、図５（ａ）の双方向矢印で示すように、空間分布のパラメータ（幅や裾のレベルなど）の調整指示をユーザから受付けるよう構成してもよい。これにより、周波数特性の補正に用いるカーブＱ（ｆ）の傾きが制御されるため、ユーザが周波数特性を最初から直接調整するのに比べて簡便である。より簡単には、あらかじめ用意された複数の空間分布（自由音場用や拡散音場用など）から、収音の状況に応じた分布をユーザが選択できるようにしてもよい。
【００５７】
なお、上記において、目的音の空間分布Ｐｓ（θ）は周波数に依存しないθのみの関数としていた。しかし、空間スペクトルＰ（ｆ，θ）の周波数に亘る平均化を行わないで、目的音の空間分布を周波数に依存するＰｓ（ｆ，θ）としてもよい。この場合、Ｓ２０６において積和量Ｑ（ｆ）は、数式（７）の代わりに数式（１０）で算出する。
【００５８】
【数１０】
2019054340.tif 000012
【００５９】
また、Ｓ２０７の補正において、ビームパターンの基準とする周波数をｆｂとすると、全周波数でビームパターンが同じｂｓ（ｆｂ，θ）となるのが目標の状態であり、これは数式（１１）のＱｂ（ｆ）に対応する。
【００６０】
【数１１】
2019054340.tif 000013
【００６１】
これらを踏まえ、現在の状態を表す値で割って目標の状態を表す値を掛けることによる周波数特性の補正は、数式（８）の代わりに数式（１２）のように行う。
【００６２】
【数１２】
2019054340.tif 000014
【００６３】
Ｓ２０８では、信号解析処理部１０３は、周波数特性の補正前後（または補正ＯＮの場合とＯＦＦの場合）で、方向音の音量が略同一となるようにスケーリングを行う。ここでは、全周波数に亘る信号パワー和が補正前後で等しくなるよう数式（１３）のようにスケーリング係数Ｃを算出し、これを用いて数式（１４）のようにスケーリングを行う。
【００６４】
【数１３】
2019054340.tif 000015
【００６５】
【数１４】
2019054340.tif 000016
【００６６】
なお、上記においては物理的な信号パワーの観点で処理を行っていた。しかし、Ｓ２０６における周波数ごとの積和量Ｑ（ｆ）や、Ｓ２０８における周波数ごとの信号パワーを等ラウドネス曲線などを用いて正規化してもよく、これにより人の聴覚特性を考慮することが可能である。
【００６７】
Ｓ２０９では、信号解析処理部１０３は、周波数特性を補正した方向音のフーリエ係数ＹＱ（ｆ）を逆フーリエ変換することで、現時間ブロックの方向音時間波形を表すｙＱ（ｔ）取得する。これを窓掛けして前時間ブロックまでの方向音にオーバーラップ加算していき、得られる方向音を記憶部１０２へ逐次記録する。
【００６８】
このようにして得られた補正後の方向音は、システム制御部１０１と相互に結ばれた不図示のデータ入出力部を介して外部に出力したり、イヤホン、ヘッドホン、スピーカといった不図示の音響再生系によって再生したりすることができる。なお、Ｓ２０８のようなスケーリング処理は、周波数領域ではなく時間領域で行ってもよい。
【００６９】
以上説明したとおり第１実施形態によれば、周波数ごとのビームパターン及び目的音の空間分布を用いて、方向音の周波数特性をより適切に補正することが可能となる。すなわち、周波数特性のバランスが改善され（例えば、低域過多や高域不足の解消）、例えば、屋内設置の監視カメラ等で用いれば人の声などが聴き易くなるという効果がある。
【００７０】
なお、記憶部１０２があらかじめ保持しているとした各種データは、不図示のデータ入出力部を介して外部から入力するようにしてもよい。また、信号処理装置１００が撮影部（カメラ）・録音部（マイクアレイ）の機能や、表示部（ディスプレイ）・再生部（ヘッドホン、スピーカ）の機能を備えていてもよい。このとき、撮影・録音系と表示・再生系を同期して動作するよう構成することにより、遠隔監視システムを実現することができる。
【００７１】
また、上述の実施形態においては説明を簡単にするため、広がり幅として水平方向の方位角θのみを考慮した形態について説明したが、仰角φを考慮した形態に拡張することも可能である。
【００７２】
更に、音響信号は必ずしもマイクアレイ（複数のマイク素子）で録音する必要はなく、目的音の空間分布さえ定まれば、例えば指向性マイク１本で録音する場合にも本発明は適用できる。この場合、音響信号がそのまま補正対象の方向音となるが、これは指向性形成のフィルタ係数がｗｓ（ｆ）＝１であることに対応する。
【００７３】
（第２実施形態）
第２実施形態では、音響信号の録音とともに撮影された映像信号から目的音の空間分布を取得する形態について説明する。上述の第１実施形態では、主に屋内空間を想定して、反射・残響によって変わる目的音の空間分布を音響信号から算出した。一方、近距離での録音や屋外のような空間を想定した場合、直接音が支配的となる。ただし、目的音源自体の空間的に占める幅が大きい場合、直接音のみであっても目的音の方向範囲は広がりを有し、従って目的音の空間分布の幅も広がる。
【００７４】
例えば、屋外で乗り物の音を録るとき、乗り物がすぐ目の前を通過する場合は、遠くを走っている場合に比べて目的音源の幅（すなわち目的音の空間分布の幅）が広がっていると考えられる。この場合、目的音の空間分布の幅が広がると低域ほど広い範囲のビームパターンで目的音を拾うことになるため、低域過多や高域不足となって周波数特性のバランスが悪化する。
【００７５】
＜装置構成＞
図７は、第２実施形態に係る信号処理装置を含むシステムのブロック図である。第１実施形態（図１）に対して、更に、撮像装置であるカメラ７０７及び映像信号入力部７０６が追加されている。カメラ７０７は、例えば、マイクアレイ１０５の近傍に配置され、取得すべき方向音と略同一の方向を撮影する。なお、記憶部１０２は、音響信号に加えて、カメラ７０７と映像信号入力部７０６を介して取得された映像信号を保持（映像取得）しているものとする。
【００７６】
＜装置の動作＞
全体の信号解析処理は第１実施形態の場合（図２）と共通であるが、空間分布取得処理（Ｓ２０２）の詳細が第１実施形態の場合（図３）と異なる。図８は、第２実施形態における空間分布取得処理の詳細フローチャートである。
【００７７】
Ｓ８０１では、信号解析処理部１０３は、記憶部１０２が保持している映像信号を取得し、画像認識処理を適用することで目的音源になり得るオブジェクトを検出する。例えば、公知の機械学習や顔認識、動体検知などを適用することで、乗り物、動物、楽器、人といった音を発し得るオブジェクトを検出する。また、動きベクトルの反転から物体の衝突などを検出してもよい。
【００７８】
Ｓ８０２では、信号解析処理部１０３は、Ｓ８０１の映像認識で検出したオブジェクトの中から目的音源とするものを決定し、そのオブジェクト検出枠（オブジェクトを内包する領域）の中心を指向性の指向方向θｓとして決定する。目的音源の決定法としては、映像認識における検出枠の水平画素数が最も大きいオブジェクト、または映像の中心に最も近いオブジェクトなどとしてもよいし、不図示のＧＵＩ部を介してユーザにより指定されたオブジェクトとしてもよい。
【００７９】
映像信号の中心を原点とする座標系において、目的音源のオブジェクト検出枠中心の水平画素座標をＵｓとすると、指向方向θｓは数式（１５）で算出できる。ここで、映像の中心は、音響信号を録音したマイクアレイの座標系の正面０°に対応するものとする。
【００８０】
【数１５】
2019054340.tif 000017
ここで、Ｖは映像信号の水平撮影画角、Ｂは映像信号の水平画素数である。
【００８１】
Ｓ８０３では、信号解析処理部１０３は、目的音源のオブジェクト検出枠の大きさから目的音の空間分布Ｐｓ（θ）を決定する。オブジェクト検出枠の左端と右端の水平画素座標をそれぞれＵＬ，ＵＲとする。このとき、空間分布Ｐｓ（θ）において値を持たせる水平方向範囲の左端θＬと右端θＲは、数式（１５）と同様に次の数式（１６）で算出できる。
【００８２】
【数１６】
2019054340.tif 000018
【００８３】
図９は、第２実施形態における目的音の空間分布の例を示す図である。図９（ａ）は、θＬ＝０°、θＲ＝１０°の場合の空間分布Ｐｓ（θ）の例である。なお、このようにＰｓ（θ）の一部範囲のみが値を持つ場合は、Ｓ２０６において全方位ではなく、方向範囲θＬ〜θＲのみに亘る積和量Ｑ（ｆ）を算出すればよい。
【００８４】
図９（ｂ）は、θＬ＝−４５°、θＲ＝５５°の場合の空間分布Ｐｓ（θ）の例を示す図であり、図９（ａ）より目的音源の幅が広い場合に対応する。このように、目的音源（被写体）が空間的に占める幅が大きくなるほど、図６におけるＱ（ｆ）の傾きも急になるため、Ｓ２０７において周波数特性が大きく補正されることになる。なお、必ずしもθＬ，θＲでＰｓ（θ）を急激に変化させなくてもよく、図９（ｂ）の点線のように滑らかに変化させてもよい。
【００８５】
また、カメラ７０７は、目的音の広がり幅と連動して撮影画角を変更するよう構成されており、映像信号に映っているもの全体が目的音源であるとして、映像信号の撮影画角が目的音源の大きさに対応すると考えてもよい。例えば、撮影画角が大きい場面では幅の大きい目的音源を撮っており、逆に撮影画角が小さい場面では幅の小さい目的音源を撮っていると考える。
図９（ｃ）は、このような考え方に基づく空間分布Ｐｓ（θ）の例を示す図である。θＬ＝−６０°、θＲ＝６０°の実線が撮影画角１２０°の場合に対応し、θＬ＝−１０°、θＲ＝１０°の点線が撮影画角２０°の場合に対応する。映像信号の撮影画角が大きい場面ほど、図６におけるＱ（ｆ）の傾きも急になるため、Ｓ２０７において周波数特性が大きく補正されることになる。なお、ズーム倍率に応じて変わる各時間ブロックの撮影画角は、映像信号の付加情報として撮影時に記録されているものとし、現時間ブロックに対応する画角情報を取得することで空間分布Ｐｓ（θ）を決定する。
【００８６】
第２実施形態では映像信号を用いて、目的音源の幅に対応する空間分布を図９のように決定したが、第１実施形態のように音響信号を用いても、目的音源の幅に対応する空間分布は算出可能と考えられる。なお、例えば反射・残響が多い空間で、音響信号から算出した空間スペクトルのピークが明瞭でない場合に、映像信号から指向性の指向方向を決定するなど、Ｓ２０２の空間分布取得処理で音響信号と映像信号のどちらを用いるかを切り替えてもよい。また、音響信号と映像信号の両方を用いて空間分布を取得してもよい。
【００８７】
また、映像信号から屋外／屋内を判定したり、反射・残響の多寡を推定したりすることで、図５（ａ）の双方向矢印で示すように空間分布の幅や裾のレベルなどを自動的に切り替えてもよい。また、音響信号や映像信号の解析によらなくても、音響信号や映像信号の付加情報としてＧＰＳ情報や場所情報などが記録されている場合は、その場所の反射・残響レベルに対応する空間分布を選択するようにしてもよい。
【００８８】
以上説明したとおり第２実施形態によれば、音響信号の録音とともに撮影された映像信号から目的音の空間分布を取得する。周波数ごとのビームパターン及び目的音の空間分布を用いて、方向音の周波数特性をより適切に補正することが可能となる。
【００８９】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９０】
１００  信号処理装置；  １０１  システム制御部；  １０２  記憶部；  １０３  信号解析処理部；  １０４  音響信号入力部；  １０５  マイクアレイ
【図１】
2019054340.tif 000019
【図２】
2019054340.tif 000020
【図３】
2019054340.tif 000021
【図４】
2019054340.tif 000022
【図５】
2019054340.tif 000023
【図６】
2019054340.tif 000024
【図７】
2019054340.tif 000025
【図８】
2019054340.tif 000026
【図９】
2019054340.tif 000027
【図１０】
2019054340.tif 000028