(57)【特許請求の範囲】
【請求項１】
複数の収音部により収音された音響信号に基づいて特定の方向に対応する音響信号である方向音信号を取得する取得手段であって、第１周波数帯域と前記第１周波数帯域より低い第２周波数帯域とを少なくとも含む複数の周波数帯域それぞれについて１以上の方向に対応する１以上の方向音信号を取得する取得手段と、
前記取得手段により取得された前記第１周波数帯域に対応する方向音信号と、前記取得手段により取得された前記第２周波数帯域に対応する方向音信号とを用いて、再生用の音響信号を生成する生成手段とを有し、
前記生成手段により前記再生用の音響信号の生成に用いられる前記第１周波数帯域に対応する方向音信号の数は、前記生成手段により前記再生用の音響信号の生成に用いられる前記第２周波数帯域に対応する方向音信号の数よりも多いことを特徴とする信号処理装置。
【請求項２】
前記取得手段は、前記複数の収音部により収音された音響信号に対して特定の方向に対応する指向性形成フィルタを適用することで、当該特定の方向に対応する方向音信号を取得することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記複数の収音部は、それぞれ異なる方向に指向性を有する複数の指向性マイクロホンであり、
前記取得手段は、前記複数の指向性マイクロホンのうち特定の方向に指向性を有する指向性マイクロホンにより収音された音響信号を、当該特定の方向に対応する方向音信号として取得することを特徴とする請求項１に記載の信号処理装置。
【請求項４】
前記取得手段により取得される同一の周波数帯域に対応する複数の方向音信号はそれぞれ異なる方向に対応することを特徴とする請求項１乃至３のいずれか１項に記載の信号処理装置。
【請求項５】
前記生成手段により用いられる同一の周波数帯域に対応する複数の方向音信号に対応するビームパターンを合成した合成ビームパターンの凹み量が閾値以下となるように、前記生成手段により用いられる方向音信号の数を決定する決定手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
【請求項６】
前記生成手段により用いられる同一の周波数帯域に対応する複数の方向音信号に対応するビームパターンの重なり量が所定値以下となるように、前記生成手段により用いられる方向音信号の数を決定する決定手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
【請求項７】
前記決定手段は、前記複数の方向音信号に対応するビームパターンの特定の方向の値について、最大値とそれ以外の値との比が閾値以上となるように、前記生成手段により用いられる方向音信号の数を決定することを特徴とする請求項６に記載の信号処理装置。
【請求項８】
前記生成手段により生成された再生用の音響信号を再生する再生手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の信号処理装置。
【請求項９】
前記生成手段は、前記取得手段により取得された複数の方向音信号に、各方向音信号に対応する方向の頭部伝達関数を適用することで、前記再生用の音響信号を生成し、
前記再生手段は、前記生成手段により生成された再生用の音響信号をユーザの両耳近傍で再生することを特徴とする請求項８に記載の信号処理装置。
【請求項１０】
前記再生手段は、前記生成手段により生成された再生用の音響信号をユーザの周囲に配置される複数のスピーカにより再生することを特徴とする請求項８に記載の信号処理装置。
【請求項１１】
前記生成手段により前記再生用の音響信号の生成に用いられる前記第１周波数帯域に対応する方向音信号の数及び前記第２周波数帯域に対応する方向音信号の数は、頭部伝達関数の周波数別の方向感度に応じて決まることを特徴とする請求項８乃至１０のいずれか１項に記載の信号処理装置。
【請求項１２】
前記方向感度は、前記頭部伝達関数の両耳間レベル差の方向に応じた変化量であることを特徴とする請求項１１に記載の信号処理装置。
【請求項１３】
前記生成手段により前記再生用の音響信号の生成に用いられる前記第１周波数帯域に対応する方向音信号の数及び前記第２周波数帯域に対応する方向音信号の数は、選択可能な指向方向数の中から、所定の指向方向数との差が小さくなるように決定されることを特徴とする請求項１０に記載の信号処理装置。
【請求項１４】
前記選択可能な指向方向数は、前記複数のスピーカが再生可能な周波数帯域に応じて決定されることを特徴とする請求項１３に記載の信号処理装置。
【請求項１５】
複数の収音部により収音された音響信号に基づいて特定の方向に対応する音響信号である方向音信号を取得する取得工程であって、第１周波数帯域と前記第１周波数帯域より低い第２周波数帯域とを少なくとも含む複数の周波数帯域それぞれについて１以上の方向に対応する１以上の方向音信号を取得する取得工程と、
前記取得工程において取得された前記第１周波数帯域に対応する方向音信号と、前記取得工程において取得された前記第２周波数帯域に対応する方向音信号とを用いて、再生用の音響信号を生成する生成工程とを有し、
前記生成工程において前記再生用の音響信号の生成に用いられる前記第１周波数帯域に対応する方向音信号の数は、前記生成工程において前記再生用の音響信号の生成に用いられる前記第２周波数帯域に対応する方向音信号の数よりも多いことを特徴とする信号処理方法。
【請求項１６】
前記取得工程において取得される同一の周波数帯域に対応する複数の方向音信号はそれぞれ異なる方向に対応することを特徴とする請求項１５に記載の信号処理方法。
【請求項１７】
コンピュータを請求項１乃至１４のいずれか１項に記載の信号処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理技術に関する。
【背景技術】
【０００２】
複数のマイクロホン素子（マイクロホンアレイ）で録音した複数チャネルの音響信号から、方向ごとの音（以下「方向音」という。）を取得する技術が知られている。この技術を用いて、全方位の方向音が各方向から再生されているようにユーザに提示できれば、あたかも録音現場にいるかのような高臨場感を実現することができる。
【０００３】
特許文献１には、指向性約４５°の８本の指向性マイクロホンを放射状に並べた指向性マイクロホンアレイで指向方向ごとの方向音を取得し、各指向方向に４５°間隔で配置した８台の周囲スピーカで再生を行う全方位録音・再生システムが開示されている。
【０００４】
方向音を取得する方法としては、指向性マイクロホンアレイを用いる方法の他に、フィルタリングに基づく方法がある。すなわち、（無指向性）マイクロホンアレイで録音した複数チャネルの音響信号に、所望の指向方向に対応する指向性形成のフィルタ係数を適用して加算することで、任意の指向方向の方向音を生成することができる。特許文献２では、８本のマイクロホンで構成されるマイクロホンアレイで録音した８ｃｈ音響信号をフィルタリング（遅延制御）することで、ユーザが要求する指向性マイクロホンと同じになるよう指向性を形成し、ユーザが要求する数の方向音を生成している。
【０００５】
また、全方位の方向音が各方向から再生されているようにユーザに提示する方法としては、ユーザの周囲にスピーカを配置する方法の他に、ヘッドホンで立体音響再生を行う方法がある。すなわち、各方向音に各指向方向に対応する方向の左右耳の頭部伝達関数を適用し、左右それぞれ加算してヘッドホンから再生することで、仮想スピーカをユーザの周囲に配置するような効果が得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２５１５１０１号公報
【特許文献２】特開平９−５５９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
一般に方向音の取得において、指向性マイクロホンアレイを用いる場合もフィルタリングで指向性を形成する場合も、形成できる指向性のビームパターンは、低周波数域では鈍くなり、逆に高周波数域では鋭くなる傾向がある。このとき、全方位録音・再生を行うために、所定の指向方向数で均等配置した各指向方向の方向音を取得し、例えばヘッドホンで立体音響再生を行うと、以下のような課題が生じる。
【０００８】
すなわち、低周波数域では各指向性のビームパターンの重なりが増えるため、（点）音源の方向感が不明瞭になり、音量も過多になる傾向がある。また高周波数域では、各指向性のビームパターンの重なりが減り、各ビームパターンを合成した合成ビームパターンにおいて、各指向方向の間で凹みが生じる。このため、音源間（例えば全方位に配置した楽器間）の音量バランスが崩れ、全方位の雰囲気音（拡散音源）も方向ごとに音量感が変わってしまう。
【０００９】
特許文献１，２には、このような周波数ごとの指向性の違いに起因する課題を解決できる手法は開示されていない。
【００１０】
本発明は、音源の方向感の明瞭化、及び、各方向の音量バランスの均一化に有利な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一側面によれば、複数の収音部により収音された音響信号に基づいて特定の方向に対応する音響信号である方向音信号を取得する取得手段であって、第１周波数帯域と前記第１周波数帯域より低い第２周波数帯域とを少なくとも含む複数の周波数帯域それぞれについて１以上の方向に対応する１以上の方向音信号を取得する取得手段と、前記取得手段により取得された前記第１周波数帯域に対応する方向音信号と、前記取得手段により取得された前記第２周波数帯域に対応する方向音信号とを用いて、再生用の音響信号を生成する生成手段とを有し、前記生成手段により前記再生用の音響信号の生成に用いられる前記第１周波数帯域に対応する方向音信号の数は、前記生成手段により前記再生用の音響信号の生成に用いられる前記第２周波数帯域に対応する方向音信号の数よりも多いことを特徴とする信号処理装置が提供される。
【発明の効果】
【００１２】
本発明によれば、音源の方向感の明瞭化、及び、各方向の音量バランスの均一化に有利な技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る信号処理装置のブロック図。
【図２】第１実施形態に係る信号処理を示すフローチャート。
【図３】指向方向数が５の場合のビームパターンの例を示す図。
【図４】指向方向数が９の場合のビームパターンの例を示す図。
【図５】指向方向数が１７の場合のビームパターンの例を示す図。
【図６】周波数ごとの指向方向数の説明図。
【図７】頭部伝達関数の周波数別方向感度の説明図。
【図８】第２実施形態に係る信号処理装置のブロック図。
【図９】第２実施形態に係る信号処理を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１５】
＜第１実施形態＞
図１は、第１実施形態に係る信号処理装置１００の構成を示すブロック図である。信号処理装置１００は、各構成要素を統括的に制御するシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。記憶部１０２は、複数のマイクロホン素子（収音部）を有するマイクロホンアレイ１０６で収音された音響信号を保持している。音響信号入力部１０７は、マイクロホンアレイ１０６からの音響信号を入力する。
【００１６】
信号処理装置１００は、ユーザの周囲に方向音の音像である方向音像を生成する再生系を有する。本実施形態において、再生系は、音響信号出力部１０４、ヘッドホン１０５を含む。この再生系は、後述するように、各方向音に各指向方向に対応する方向の頭部伝達関数（ＨＲＴＦ（Head-Related Transfer Function））を適用して、ユーザの両耳近傍で再生することができる。信号解析処理部１０３は、後述する信号解析処理によって、ヘッドホン１０５から再生するヘッドホン再生信号を生成する。音響信号出力部１０４は、ヘッドホン再生信号にＤ／Ａ変換および増幅を施した信号を、ヘッドホン１０５に出力する。
【００１７】
以下、本実施形態における信号処理について、図２のフローチャートに沿って説明する。なお、図２のフローチャートに対応するプログラムは例えば記憶部１０２に保持され、特に別記しない限り信号解析処理部１０３によって実行されるものとする。
【００１８】
Ｓ２０１では、記憶部１０２が保持している、M個のマイクロホン素子（Mチャネルマイクロホンアレイ）で録音したMチャネル音響信号を取得し、チャネルごとにフーリエ変換することで周波数領域のデータ（フーリエ係数）であるz(f)を得る。ここで、各周波数のz(f)はM個の要素を持つベクトルである。
【００１９】
Ｓ２０２〜Ｓ２１６は周波数ごとの処理であり、周波数ループの中で行う。
【００２０】
Ｓ２０２では、現在の周波数ループの周波数における指向方向数D(f)をD(f)=1のように初期化する。Ｓ２０３では、指向方向数D(f)を用いて各指向性の指向方向θd(f)［d=1〜D(f)］を算出する。ここでは複数の指向性で水平全方位をカバーするため、音響信号を録音したマイクロホンアレイの座標系における正面０°を基準方向として、水平の指向方向（方位角）を、θd(f)=(d-1)×360°／D(f)のように算出する。なお、１８０°を超える指向方向についてはθd(f)←θd(f)-360°のように表現するものとする。
【００２１】
Ｓ２０４〜Ｓ２０５は、Ｓ２０３で指向方向を算出した指向性ごとの処理であり、指向性ループの中で行う。
【００２２】
Ｓ２０４では、現在の指向性ループで対象としている指向性を形成するための指向性形成フィルタのフィルタ係数を取得する。ここでは、記憶部１０２があらかじめ保持している指向性形成フィルタのフィルタ係数から、指向方向θd(f)に対応するwd(f)を取得する。ここで、フィルタ係数（ベクトル）wd(f)は周波数領域のデータ（フーリエ係数）であり、M個の要素で構成される。なお、マイクロホンアレイの構成が異なればフィルタ係数も異なるため、録音に用いたマイクロホンアレイの種別ＩＤを音響信号の付加情報として録音時に記録しておき、そのマイクロホンアレイに対応するフィルタ係数を本ステップで用いるようにしてもよい。
【００２３】
指向性形成フィルタのフィルタ係数の算出には、各方向（方位角θ）の音源と各マイクロホン素子間の伝達関数であるアレイ・マニフォールド・ベクトルa(f,θ)が一般に用いられる。ここで、a(f,θ)は周波数領域のデータ（フーリエ係数）であり、M個の要素で構成される。指向方向θd(f)に指向性のメインローブを向ける方法として、例えば遅延和法ならθd(f)方向のアレイ・マニフォールド・ベクトルad(f)を用いて、wd(f)=ad(f)／(adH(f)ad(f))のようにフィルタ係数が得られる。
【００２４】
Ｓ２０５では、Ｓ２０４で取得した指向性形成フィルタのフィルタ係数wd(f)と、アレイ・マニフォールド・ベクトルa(f,θ)を用いて指向性のビームパターンを算出する。ビームパターンの方位角θ方向の値bd(f,θ)は、式（１）で得られる。
【００２５】
【数１】
0006613078.tif 000002
【００２６】
a(f,θ)のθを、例えば−１８０°から１８０°まで１°刻みで変えながらbd(f,θ)を計算することで、水平全方位のビームパターンが得られる。なお、音響信号の録音に用いたマイクロホンアレイの構造によっては、自由空間や剛球等の理論式により、任意の解像度でアレイ・マニフォールド・ベクトルa(f,θ)を算出できる。なお、円状等間隔マイクロホンアレイなどマイクロホン素子が等方的に配置されている場合は、指向方向が正面０°の場合のビームパターンb1(f,θ)を回転させることで、他の指向性のビームパターンbd(f,θ)［d=2〜］を得ることもできる。
【００２７】
Ｓ２０６では、Ｓ２０５で算出した各指向性のビームパターンbd(f,θ)［d=1〜D(f)］を合成することで、式（２）のように合成ビームパターンbsum(f,θ)を算出する。
【００２８】
【数２】
0006613078.tif 000003
【００２９】
ここで、現在の周波数で形成される指向性に対して指向方向数D(f)が不足していると、図３［D(f)=5の例］のように、指向方向３０１〜３０５にそれぞれメインローブを向けた各指向性のビームパターン３１１〜３１５の重なりが減る。この結果、各ビームパターンを合成した合成ビームパターン３１６において、各指向方向３０１〜３０５の間で凹みが生じるため、音源間の音量バランスが崩れ、全方位の雰囲気音も方向ごとに音量感が変わってしまう。
【００３０】
そこでＳ２０７では、Ｓ２０６で算出した合成ビームパターンbsum(f,θ)の凹み量の目安として標準偏差σbsum(f)を算出し、その値が閾値以下であるか否かを判定する。この閾値をδ1とする。算出された標準偏差σbsum(f)が閾値δ1以下でなければ、指向方向数D(f)が不足しているとして処理はＳ２０８へ進み、δ1以下であれば、処理はＳ２０９へ進む。なお、標準偏差σbsum(f)は例えばｄＢ表現のbsum(f,θ)から算出するものとする。なお、bsum(f,θ)の最大値と最小値の差（図３の例では双方向矢印３１７）を凹み量の目安とし、その値を閾値δ2と比較するようにしてもよい。このとき、bsum(f,θ)は各指向方向で最大値をとり、隣接する指向方向の真ん中で最小値をとる。
【００３１】
Ｓ２０８へ進んだ場合は、指向方向数D(f)をD(f)←D(f)+1のようにインクリメントし、Ｓ２０３へ戻る。
【００３２】
Ｓ２０９へ進んだ場合は、指向方向数が適切な範囲に入ったとして、このときの指向方向数D(f)を現周波数の指向方向数の下限値である下限指向方向数Dmin(f)と決定する。
【００３３】
現在の周波数で形成される指向性に対して指向方向数D(f)が適切となると、図４［D(f)=9の例］のように、合成ビームパターン３３４の凹みが消え略円形となる。
【００３４】
次に、現在の周波数で形成される指向性に対して指向方向数D(f)が過剰となると、図５［D(f)=17の例］のように、各指向性のビームパターンの重なりが増えるため、音源の方向感が不明瞭になり、音量も過多になる傾向がある。ただし、指向方向数が過剰な場合については、指向方向数が不足の場合のような合成ビームパターンの乱れは生じず、図５の合成ビームパターン３６６のように略円形となるため、別の評価法を考える必要がある。ただし、ビームパターンの形状（面積）は描画における表示範囲の設定（図３の場合−３０ｄＢから＋１０ｄＢ）に依存するため、評価指標として各ビームパターンのオーバーラップ部分の面積比などは適さない。
【００３５】
そこで、所定の方向における各ビームパターンの値の比を評価指標に用いることを考える。式（３）のように、各方向でビームパターンの値が最大となる指向性のインデックスをdmax(f,θ)とする。
【００３６】
【数３】
0006613078.tif 000004
【００３７】
そして、各方向で最大のビームパターンの値をbdmax(f,θ)とすると、各方向におけるビームパターンの最大値とそれ以外の値との比r(f,θ)は、例えば式（４）のように表される。
【００３８】
【数４】
0006613078.tif 000005
【００３９】
ここで、図４のように指向方向数が適切な場合は、例えば指向方向３２１に音源があるとすると、この指向方向θ1(f)=0°におけるr(f,θ1)は、例えば８ｄＢといった正の値をとる。すなわち、指向方向３２１にメインローブを向けたビームパターン３３１が捉える音のエネルギー３４１が、指向方向３２２〜３２３にメインローブを向けたビームパターン３３２〜３３３が捉える音のエネルギー３４２〜３４３の和よりも大きい。つまり、ある方向に音源がある場合に、その方向にメインローブを向けた指向性が捉える音のエネルギーが、他の方向にメインローブを向けた指向性が捉える音のエネルギーの和より大きいため、適切な状態であるといえる。
【００４０】
一方、図５のように指向方向数が過剰な場合は、例えば指向方向３５１に音源があるとすると、この指向方向θ1(f)=0°におけるr(f,θ1)は、例えば０ｄＢ未満の小さな値をとる。すなわち、指向方向３５１にメインローブを向けたビームパターン３６１が捉える音のエネルギー３７１より、指向方向３５２〜３５５にメインローブを向けたビームパターン３６２〜３６５が捉える音のエネルギー３７２〜３７５の和の方が大きい。つまり、ある方向に音源がある場合に、その方向にメインローブを向けた指向性が捉える音のエネルギーより、他の方向にメインローブを向けた指向性が捉えるエネルギーの和の方が大きいため、不適切な状態であるといえる。
【００４１】
以上を踏まえ、Ｓ２１０では、指向方向θd(f)におけるビームパターンの最大値とそれ以外の値との比r(f,θd(f))を算出し、その値が閾値以上であるか否かを判定する。ここではその閾値をδ3とする。算出された比の値が閾値δ3（例えば０ｄＢ）以上であれば、指向方向数D(f)はまだ適切な範囲内であるとして処理はＳ２０８へ進み、閾値δ3未満であれば処理はＳ２１１へ進む。なお、指向方向θd(f)以外の方向におけるr(f,θ)を閾値δ4と比較するようにしてもよいが、r(f,θ)は指向方向θd(f)で最大となるため、本実施形態では、例えば、δ4＜δ3とする。
【００４２】
なお、各指向性のビームパターンの重なりが増えると、図５のように合成ビームパターン３６６の値が大きくなるため、音量も過多になる傾向がある。そこで、合成ビームパターンの最大値bsum(f,θd(f))と、各ビームパターンの最大値bd(f,θd(f))［正規化されていれば０ｄＢ］との差（図５の例では双方向矢印３６７）を、閾値δ5と比較するようにしてもよい。すなわち、bsum(f,θd(f))-bd(f,θd(f))がδ5以下であれば、指向方向数D(f)はまだ適切な範囲内であるとしてＳ２０８へ、δ5より大きければＳ２１１へ進むようにしてもよい。
【００４３】
Ｓ２０８へ進んだ場合は、指向方向数D(f)をD(f)←D(f)+1のようにインクリメントし、Ｓ２０３へ戻る。ただし、指向方向数の下限値Dmin(f)は既に決定しているため、以降はＳ２０７とＳ２０９をスキップするものとする。
【００４４】
Ｓ２１１へ進んだ場合は、指向方向数が適切な範囲から外れたとして、このときの指向方向数D(f)から１を引いたD(f)-1を現在の周波数の指向方向数の上限値である上限指向方向数Dmax(f)と決定する。
【００４５】
一般に、低周波数域では形成できる指向性のビームパターンが鈍くなり、逆に高周波数域では鋭くなる傾向がある。このため、上記Ｓ２０７、２１０のように周波数ごとにビームパターンを評価すると、図６（ａ）に模式的に示すように、低周波数域より高周波数域で下限指向方向数Dmin(f)および上限指向方向数Dmax(f)が大きくなる。そこで、周波数ごとの指向方向数を例えば次式を用いてD(f)=Dmean(f)のように決定する。
【００４６】
【数５】
0006613078.tif 000006
【００４７】
このようにすれば、低周波数域より高周波数域の指向方向数が多くなり、全ての周波数で指向方向数が適切な範囲内となるため、音源の方向感が明瞭となり、各方向の音量バランスも均一となる。
【００４８】
ここでさらに、人の音源方向に対する周波数ごとの感度特性を考慮して、各周波数の指向方向数D(f)をDmin(f)〜Dmax(f)の範囲内で適切に決定することを考える。
【００４９】
図７（ａ）は、ＨＲＴＦから算出した周波数ごとの両耳間レベル差（ＩＬＤ）について、音源方向が０°から１８０°の場合まで１°ごとに、計１８１本のグラフで描画したものである。なお、音源方向が０°から−１８０°の場合のグラフは、概ね図７（ａ）を符号反転（上下反転）したものとなる。また、図７（ａ）のグラフの周波数ごとの標準偏差σILD(f)を図７（ｂ）に示している。
【００５０】
ここで、人の音源方向に対する感度（方向感度）は、ＨＲＴＦの両耳間レベル差の方向に対する変化量に対応する。例えば、σILD(f)が大きい周波数、すなわち方向によるＩＬＤの変化が大きい周波数は、人の音源方向に対する感度（方向感度）が高い周波数である。そこで、点線５０１のようにσILD(f)が大きい周波数では、人が方向ごとの差が分かりやすいと考えられるため、指向方向数をDmax(f)寄りの値とする。一方、図７（ｂ）の点線５０２のようにσILD(f)が小さい周波数では、人が方向ごとの差が分かりにくいと考えられるため、指向方向数をDmin(f)寄りの値とする。
【００５１】
具体的には、例えば図７（ｂ）のようにσILD(f)が概ね０〜１５ｄＢの値をとる場合は、１５で割ることで正規化し、０〜１の値をとるＨＲＴＦの周波数別の方向感度s(f)と定義する。そして、例えば式（６）を用いることで、人の周波数別の方向感度を考慮した指向方向数を、D(f)=Dsens(f)のようにDmin(f)〜Dmax(f)の範囲内で決定することができる。
【００５２】
【数６】
0006613078.tif 000007
【００５３】
なお、音源方向０°〜１８０°のＨＲＴＦからs(f)を算出しているため、これは全方位に対する平均的な方向感度であると解釈できる。これは特に、後述するヘッドホン再生信号の生成において、ユーザの頭部運動に応じたＨＲＴＦの切り替え（ヘッドトラッキング処理）を行う場合は、全方位のＨＲＴＦが使用され得るため妥当であるといえる。
【００５４】
なお、人が音を知覚しにくい例えば１５ｋＨｚ以上においては、ＨＲＴＦから算出したs(f)に適当な減衰カーブを適用することで、Dsens(f)を小さくするようにしてもよい。図６（ａ）にDsens(f)の例を曲線で模式的に示す。なお、指向方向数に対応する図６（ａ）の４本のグラフは、整数値をとるため実際には階段状のグラフとなる。
【００５５】
以上を踏まえ、Ｓ２１２では、Dmin(f)〜Dmax(f)の範囲内で各周波数の指向方向数をD(f)=Dmean(f)［式（５）］やD(f)=Dsens(f)［式（６）］のように決定する。なお、式（６）のs(f)は、あらかじめＨＲＴＦから算出して記憶部１０２が保持しているものを取得して用いればよい。
【００５６】
Ｓ２１３では、Ｓ２１２で決定した指向方向数D(f)を用いて、Ｓ２０３と同様に各指向性の指向方向θd(f)=(d-1)×360°／D(f)［d=1〜D(f)］を算出する。なお、１８０°を超える指向方向についてはθd(f)←θd(f)-360°のように表現するものとする。
【００５７】
Ｓ２１４〜Ｓ２１６は、Ｓ２１３で指向方向を算出した指向性ごとの処理であり、指向性ループの中で行う。
【００５８】
Ｓ２１４では、Ｓ２０４と同様に、現在の指向性ループで対象としている指向性を形成するためのフィルタ係数を取得する。すなわち、記憶部１０２があらかじめ保持している指向性形成フィルタのフィルタ係数から、指向方向θd(f)に対応するwd(f)を取得する。
【００５９】
Ｓ２１５では、Ｓ２０１で取得したMチャネル音響信号のフーリエ係数z(f)に、Ｓ２１４で取得した指向性形成フィルタのフィルタ係数wd(f)を適用する。これにより、現在の指向性ループに対応する指向方向θd(f)の方向音Yd(f)を式（７）のように生成する。ここで、Yd(f)は周波数領域のデータ（フーリエ係数）である。
【００６０】
【数７】
0006613078.tif 000008
【００６１】
Ｓ２１６では、Ｓ２１５で取得した指向方向θd(f)の方向音のフーリエ係数Yd(f)に、指向方向θd(f)と同じ方向の左右耳のＨＲＴＦ［HL(f,θd(f)),HR(f,θd(f))］を適用する。そして、式（８）のように左右それぞれのヘッドホン再生信号XL(f),XR(f)に加算して行く。ここで、XL(f),XR(f)は周波数領域のデータ（フーリエ係数）である。なお、ＨＲＴＦはあらかじめ記憶部１０２が保持しているものを取得して用いればよい。
【００６２】
【数８】
0006613078.tif 000009
【００６３】
指向性ループの中で本ステップの処理を行うことで、各指向方向の方向音を再生する仮想スピーカをユーザの周囲に順次配置していくことになる。さらに周波数ループの中で本ステップの処理を行うことで、Ｓ２１２で決定した指向方向数D(f)に対応して、仮想スピーカの数も周波数ごとに制御することになる。すなわち、低周波数域より高周波数域の仮想スピーカ数が多くなり、全ての周波数で仮想スピーカ数が適切な範囲内となるため、音源の方向感が明瞭となり、各方向の音量バランスも均一となる。
【００６４】
なお、周波数ごとに指向方向数D(f)を適切に制御することで、各周波数の合成ビームパターンのレベルは概ね揃うようになるが、より厳密に、全周波数で合成ビームパターンのレベルを一定値にするような周波数ごとのゲイン調整を行ってもよい。
【００６５】
なお、ユーザの頭部運動を検出可能なセンサを、例えばヘッドホン１０５が備えていてもよい。そして、例えば音響信号の所定の時間フレーム長（音響フレーム）ごとに、頭部運動に応じて使用するＨＲＴＦを切り替えて行くヘッドトラッキング処理を行ってもよい。
【００６６】
Ｓ２１７では、Ｓ２１６で生成したヘッドホン再生信号のフーリエ係数XL(f),XR(f)をそれぞれ逆フーリエ変換することで、時間波形であるヘッドホン再生信号xL(t),xR(t)を取得する。
【００６７】
Ｓ２１８では、音響信号出力部１０４が、Ｓ２１７で取得したヘッドホン再生信号xL(t),xR(t)にＤＡ変換および増幅を施し、ヘッドホン１０５から再生する。
【００６８】
なお、例えばＳ２０２〜Ｓ２１３の周波数ごとの各指向方向の決定までは、あらかじめ処理して結果を記憶部１０２に保持しておいてもよい。そして、Ｓ２０１の音響信号の取得に合わせて、例えば音響フレームごとにＳ２１４〜Ｓ２１８の音響レンダリング・再生処理のみリアルタイムに行うようにしてもよい。
【００６９】
なお、例えばシステム制御部１０１と相互に結ばれた不図示のＧＵＩ部を介して、指向方向数D(f)を例えば低域・中域・高域ごとにユーザが制御できるようにしてもよい。
【００７０】
なお、第１実施形態では、Ｓ２１５で指向方向θd(f)の方向音のみを生成し、Ｓ２１６で指向方向θd(f)と同じ方向に、生成した方向音と同じ数の仮想スピーカを配置していた。しかし、Ｓ２１５で指向方向θd(f)の方向音だけでなく、例えば１°間隔で水平全方位にメインローブを向けた３６０°の方向音を生成しておいてもよい。そして、Ｓ２１６でそのうち指向方向θd(f)の方向音のみを選択的に用いて、指向方向θd(f)と同じ方向のみに仮想スピーカを配置するようにしてもよい。
【００７１】
＜第２実施形態＞
上記した第１実施形態では、（無指向性）マイクロホンアレイでの指向性形成フィルタリングによる方向音生成と、ヘッドホンでの立体音響再生の組み合わせで、周波数ごとに指向方向数および仮想スピーカ数を制御した。第２実施形態では、指向性マイクロホンアレイによる方向音取得と、周囲スピーカ再生の組み合わせにおいて、周波数ごとに指向方向数および使用スピーカ数を制御する。
【００７２】
図８は、本実施形態に係る信号処理装置６００の構成を示すブロック図である。信号処理装置６００は、各構成要素を統括的に制御するシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。また、信号処理装置６００は、ユーザの周囲に方向音の音像である方向音像を生成する生成手段としての再生系を有する。本実施形態において、再生系は例えば、音響信号出力部６０４、ユーザの周囲（水平周囲）に配置された複数チャネル（例えば１２チャネル）を構成する複数のスピーカ６１１〜６２２を含む。記憶部１０２は、スピーカ６１１〜６２２の配置数・方向に合わせて１２本の指向性マイクロホンを放射状に並べた、１２チャネルの指向性マイクロホンアレイ６０５で音響信号入力部１０７を介して録音された１２チャネル音響信号を保持している。なお、本発明は、特定のスピーカの数に限定されるものではない。なお、録音に用いた指向性マイクロホンの配置数・方向に合わせて、周囲スピーカを配置するようにしてもよい。
【００７３】
信号解析処理部１０３は、後述する信号解析処理によって、スピーカ６１１〜６２２から再生するスピーカ再生信号を生成する。音響信号出力部１０４は、生成されたスピーカ再生信号にＤＡ変換および増幅を施し、スピーカ６１１〜６２２から再生する。
【００７４】
以下、本実施形態の信号解析処理について、図９のフローチャートに沿って説明する。なお、図９のフローチャートに対応するプログラムは例えば記憶部１０２に保持され、特に別記しない限り信号解析処理部１０３によって実行されるものとする。
【００７５】
Ｓ７０１では、記憶部１０２があらかじめ保持しているスピーカ６１１〜６２２の配置と再生可能帯域を取得し、そこから各周波数で全方位再生に使用可能なスピーカ数の組み合わせを決定して、後のステップで選択可能な指向方向数Dsp(f)とする。なお、周囲スピーカの配置や再生可能帯域は、ユーザの位置であるリスニングポイントに備えたマイクロホンで音響測定を行い算出してもよい。
【００７６】
選択可能な指向方向数Dsp(f)は、複数のスピーカのそれぞれの再生可能帯域に応じて決定されうる。図８において、大型スピーカ６１１，６１４，６１７，６２０は低域から高域まで、中型スピーカ６１３，６１５，６１９，６２１は中域から高域まで、小型スピーカ６１２，６１６，６１８，６２２は高域のみが再生可能とする。これより、均等配置が可能で全方位再生に使用可能な周波数ごとのスピーカ数の組み合わせ、すなわち後のステップで選択可能な指向方向数Dsp(f)は、以下のようになる。
Dsp(f)={1,2,4}［f＜fM］、
Dsp(f)={1,2,3,4,6}［fM≦f＜fH］、
Dsp(f)={1,2,3,4,6,12}［fH≦f］
ここで、fMは低域と中域の境界周波数、fHは中域と高域の境界周波数とする。
【００７７】
Ｓ７０２の処理は、第１実施形態のＳ２０１と同様であるため説明を省略する。
【００７８】
Ｓ７０３〜Ｓ７１５は周波数ごとの処理であり、周波数ループの中で行う。
【００７９】
Ｓ７０３〜Ｓ７０４の処理は、第１実施形態のＳ２０２〜Ｓ２０３と同じであるため説明を省略する。
【００８０】
Ｓ７０５は、Ｓ７０４で指向方向を算出した指向性ごとの処理であり、指向性ループの中で行う。
【００８１】
Ｓ７０５では、現在の指向性ループで対象としている指向性のビームパターンを取得する。すなわち、記憶部１０２があらかじめ保持している、指向性マイクロホンを指向方向θd(f)に向けた場合のビームパターンbd(f,θ)を取得する。なお、指向性マイクロホンのビームパターンは測定やシミュレーション等により得られる。なお、指向性マイクロホンの種別によってビームパターンは異なる。そのため、録音に用いた指向性マイクロホンの種別ＩＤを音響信号の付加情報として録音時に記録しておき、その指向性マイクロホンに対応するビームパターンを本ステップで取得するようにしてもよい。なお、指向性マイクロホンを正面０°に向けた場合のビームパターンb1(f,θ)を回転させることで、指向性マイクロホンを他の指向方向θd(f)に向けた場合のビームパターンbd(f,θ)［d=2〜］を得ることができる。
【００８２】
Ｓ７０６〜Ｓ７１１の処理は、第１実施形態のＳ２０６〜Ｓ２１１と同じであるため説明を省略する。
【００８３】
Ｓ７１２では、第１実施形態のＳ２１２と同様に、各周波数の指向方向数をDmean(f)［式（５）］やDsens(f)［式（６）］のように決定する。ここで決定した指向方向数を「所定の指向方向数」という。
【００８４】
Ｓ７１３では、Ｓ７１２で決定した所定の指向方向数との差が小さくなるように（例えば最小となるように）、Ｓ７０１で決定した選択可能な指向方向数Dsp(f)の中から、各周波数の指向方向数D(f)を決定する。例えば所定の指向方向数がDmean(f)の場合、図６（ｂ）の太横線で示すように、D(f)=4［f＜fM］、D(f)=6［fM≦f＜fD］、D(f)=12［fD≦f］となる。ここで、fDはDmean=(6+12)/2=9となるような周波数である。また、所定の指向方向数がDsens(f)の場合は、指向方向数が同じ値となる周波数は必ずしも連続せず、飛び飛びになり得る。
【００８５】
Ｓ７１４の処理は、第１実施形態のＳ２１３と同じであるため説明を省略する。
【００８６】
Ｓ７１５では、Ｓ７０２で取得した音響信号から指向方向θd(f)の方向音を取得して、対応するスピーカ再生信号に割り当てる。本実施形態では音響信号が指向性マイクロホンアレイで録音されており、指向方向θd(f)に対応するチャネルの音響信号がそのまま方向音となる。そのため、それを対応するチャネルのスピーカ再生信号に割り当てればよい。
【００８７】
１２チャネル音響信号のフーリエ係数（ベクトル）z(f)について、そのm番目の要素をzm(f)［m=1〜12］とする。また、１２チャネルのスピーカ６１１〜６２２について、各スピーカ再生信号のフーリエ係数をXs(f)［s=1〜12］とする。ここで、指向方向数D(f)=4で、各指向方向で次のようになる周波数を考える。
θ1(f)=0°,
θ2(f)=90°,
θ3(f)=180°,
θ4(f)=-90°
この場合は、
Xi(f)=zi(f)［i=1,4,7,10］、
Xj(f)=0［j=2,3,5,6,8,9,11,12］
となる。
【００８８】
また、指向方向数D(f)=6で、各指向方向が次のようになる周波数を考える。
θ1(f)=0°,
θ2(f)=60°,
θ3(f)=120°,
θ4(f)=180°,
θ5(f)=-120°,
θ6(f)=-60°
この場合は、
Xi(f)=zi(f)［i=1,3,5,7,9,11］、
Xj(f)=0［j=2,4,6,8,10,12］
となる。
【００８９】
また、指向方向数D(f)=12で、各指向方向が次のようになる周波数を考える。
θ1(f)=0°,
θ2(f)=30°,
θ3(f)=60°,
θ4(f)=90°,
θ5(f)=120°,
θ6(f)=150°,
θ7(f)=180°,
θ8(f)=-150°,
θ9(f)=-120°,
θ10(f)=-90°,
θ11(f)=-60°,
θ12(f)=-30°
この場合は、
Xi(f)=zi(f)［i=1〜12］
となる。
【００９０】
図６（ｂ）の太横線で示すように、D(f)=4［f＜fM］、D(f)=6［fM≦f＜fD］、D(f)=12［fD≦f］の場合、周波数fM未満の方向音は、４つのスピーカ６１１，６１４，６１７，６２０から再生される。また、周波数fM以上fD未満の方向音は、６つのスピーカ６１１，６１３，６１５，６１７，６１９，６２１から再生される。また、周波数fD以上の方向音は、全１２のスピーカ６１１〜６２２から再生される。これは、高域ほど使用するスピーカの数が多くなる、新しいタイプのサラウンド構成である。
【００９１】
Ｓ７１６では、Ｓ７１５で生成したスピーカ再生信号のフーリエ係数Xs(f)をそれぞれ逆フーリエ変換することで、時間波形であるスピーカ再生信号xs(t)［s=1〜12］を取得する。
【００９２】
Ｓ７１７では、音響信号出力部１０４が、Ｓ７１６で取得したスピーカ再生信号xs(t)にＤ／Ａ変換および増幅を施し、スピーカ６１１〜６２２から再生する。
【００９３】
以上説明した実施形態によれば、周波数ごとに指向方向数を制御することで、音源の方向感が明瞭となり、各方向の音量バランスも均一となる。
【００９４】
なお、上記実施形態において記憶部１０２があらかじめ保持しているとした各種データは、システム制御部１０１と相互に結ばれた不図示のデータ入出力部を介して、外部から入力するようにしてもよい。
【００９５】
また、上記第１実施形態と第２実施形態を適宜組み合わせれば、以下のような実施形態が構成可能であり、これらの実施形態も本発明の範囲に含まれる。すなわち、（無指向性）マイクロホンアレイでの指向性形成フィルタリングによる方向音生成と、周囲スピーカ再生の組み合わせにおいて、周波数ごとに指向方向数および使用スピーカ数を制御する実施形態が構成可能である。また、指向性マイクロホンアレイによる方向音取得と、ヘッドホンでの立体音響再生の組み合わせにおいて、周波数ごとに指向方向数および仮想スピーカ数を制御する実施形態が構成可能である。
【００９６】
なお、信号処理装置１００が再生（ヘッドホン、スピーカ）の機能に加えて、録音（マイクロホンアレイ）や撮影（カメラ）・表示（ディスプレイ）の機能を備えていてもよい。このとき、撮影・録音系と表示・再生系がそれぞれ遠隔地で同期的に動作すれば、遠隔ライブシステムを実現することができる。
【００９７】
なお、上記実施形態では、水平全方位で音源の方向感が明瞭となり、音量バランスも均一となるようにしていたが、対象とする方向範囲を任意に設定してもよい。例えば、水平方向だけでなく、仰角方向も含めた全方位を対象方向範囲としてもよいし、水平前方半面や、撮影した映像信号の画角範囲などに限定してもよい。この場合、例えば合成ビームパターンの凹み量の目安である標準偏差は、水平全方位ではなく対象方向範囲の合成ビームパターンから算出する。
【００９８】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９９】
１００：信号処理装置、１０１：システム制御部、１０２：記憶部、１０３：信号解析処理部、１０４：音響信号出力部、１０５：ヘッドホン
【図１】
0006613078.tif 000010
【図２】
0006613078.tif 000011
【図３】
0006613078.tif 000012
【図４】
0006613078.tif 000013
【図５】
0006613078.tif 000014
【図６】
0006613078.tif 000015
【図７】
0006613078.tif 000016
【図８】
0006613078.tif 000017
【図９】
0006613078.tif 000018