(57)【要約】【課題】高精度に音場を収音し再現する。【解決手段】信号分解処理部１３は、複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、点音源に由来する成分である第一の信号と第一の信号以外の成分である第二の信号とに分離する。点音源駆動信号計算部１４は、第一の信号及び潜在点音源位置に基づいて音圧勾配に相当する点音源駆動信号を求める。残差駆動信号計算部１５は、第二の信号に波面再構成フィルタを適用して音圧勾配に相当する残差駆動信号を求める。駆動信号合成部１６は、点音源駆動信号と残差駆動信号とを合成してマイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する。【選択図】図２
2015171111.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、上記点音源に由来する成分である第一の信号と上記第一の信号以外の成分である第二の信号とに分離する信号分解処理部を含む
音場収音再生装置。
【請求項２】
請求項１に記載の音場収音再生装置であって、
ωを時間周波数とし、p(i)(ω)を上記時間周波数領域信号のi番目の時間フレームとし、q(i)(ω)を上記第一の信号のi番目の時間フレームとし、h(i)(ω)を上記第二の信号のi番目の時間フレームとし、Dを上記潜在点音源位置から上記マイクロホンまでの伝達関数を要素にもつ行列とし、
上記信号分解処理部は、p(i)(ω)=Dq(i)(ω)+h(i)(ω)を満たすように、上記時間周波数領域信号を上記第一の信号と上記第二の信号とに分離するものである
音場収音再生装置。
【請求項３】
請求項１又は２に記載の音場収音再生装置であって、
上記信号分解処理部は、信号のスパース性を利用した信号分解アルゴリズムにより、上記時間周波数領域信号を上記第一の信号と上記第二の信号とに分離するものである
音場収音再生装置。
【請求項４】
請求項１から３のいずれかに記載の音場収音再生装置であって、
ωを時間周波数とし、p(i)(ω)を上記時間周波数領域信号のi番目の時間フレームとし、q(i)(ω)を上記第一の信号のi番目の時間フレームとし、h(i)(ω)を上記第二の信号のi番目の時間フレームとし、P=[p(1)(ω),…,p(Γ)(ω)]を上記時間周波数領域信号の1番目からΓ番目までの時間フレームからなる行列とし、Q=[q(1)(ω),…,q(Γ)(ω)]を上記第一の信号の1番目からΓ番目までの時間フレームからなる行列とし、H=[h(1)(ω),…,h(Γ)(ω)]を上記第二の信号の1番目からΓ番目までの時間フレームからなる行列とし、Dを上記潜在点音源位置から上記マイクロホンまでの伝達関数を要素にもつ行列とし、ρは0≦ρ≦1として設定するパラメータであり、λは第一の信号のスパース性の程度を調整するパラメータであり、||・||Fは行列のフロベニウスノルムであり、||・||2はベクトルのl2ノルムであり、Q[n]は行列Qのn行目を表し、Nは上記潜在点音源位置の数であり、
【数２６】
2015171111.tif 000028
であり、
上記信号分解処理部は、次式により上記第一の信号を求め、
【数２７】
2015171111.tif 000029
次式により、上記第二の信号を求めるものである
【数２８】
2015171111.tif 000030
音場収音再生装置。
【請求項５】
請求項１から３のいずれかに記載の音場収音再生装置であって、
ωを時間周波数とし、p(i)(ω)を上記時間周波数領域信号のi番目の時間フレームとし、q(i)(ω)を上記第一の信号のi番目の時間フレームとし、h(i)(ω)を上記第二の信号のi番目の時間フレームとし、P=[p(1)(ω),…,p(Γ)(ω)]を上記時間周波数領域信号の1番目からΓ番目までの時間フレームからなる行列とし、βは正則化パラメータであり、Iは単位行列であり、・Hはエルミート転置であり、
上記信号分解処理部は、次式により上記第一の信号を求め、
【数２９】
2015171111.tif 000031
次式により上記第二の信号を求めるものである
【数３０】
2015171111.tif 000032
音場収音再生装置。
【請求項６】
請求項１から５のいずれかに記載の音場収音再生装置であって、
上記第一の信号及び上記潜在点音源位置に基づいて音圧勾配に相当する点音源駆動信号を求める点音源駆動信号計算部と、
上記第二の信号に波面再構成フィルタを適用して音圧勾配に相当する残差駆動信号を求める残差駆動信号計算部と、
をさらに含む音場収音再生装置。
【請求項７】
複数のマイクロホンで収音された信号から点音源に由来する成分を分離した第一の信号に基づいて生成された点音源駆動信号と、上記第一の信号と異なる第二の信号に基づいて生成された残差駆動信号とを合成して、上記マイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する駆動信号合成部を含む
音場収音再生装置。
【請求項８】
請求項７に記載の音場収音再生装置であって、
上記第二の信号は、上記マイクロホンで収音された信号から上記第一の信号を分離した残りの成分である
音場収音再生装置。
【請求項９】
音場収音装置と音場再生装置を含む音場収音再生システムであって、
上記音場収音装置は、
複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、上記点音源に由来する成分である第一の信号と上記第一の信号以外の成分である第二の信号とに分離する信号分解処理部と、
上記第一の信号及び上記潜在点音源位置に基づいて音圧勾配に相当する点音源駆動信号を求める点音源駆動信号計算部と、
上記第二の信号に波面再構成フィルタを適用して音圧勾配に相当する残差駆動信号を求める残差駆動信号計算部と、
を含み、
上記音場再生装置は、
上記点音源駆動信号と上記残差駆動信号とを合成して上記マイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する駆動信号合成部を含む
音場収音再生システム。
【請求項１０】
信号分解処理部が、複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、上記点音源に由来する成分である第一の信号と上記第一の信号以外の成分である第二の信号とに分離する信号分解処理ステップを含む
音場収音再生方法。
【請求項１１】
駆動信号合成部が、複数のマイクロホンで収音された信号から点音源に由来する成分を分離した第一の信号に基づいて生成された点音源駆動信号と、上記第一の信号と異なる第二の信号に基づいて生成された残差駆動信号とを合成して、上記マイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する駆動信号合成ステップを含む
音場収音再生方法。
【請求項１２】
信号分解処理部が、複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、上記点音源に由来する成分である第一の信号と上記第一の信号以外の成分である第二の信号とに分離する信号分解処理ステップと、
点音源駆動信号計算部が、上記第一の信号及び上記潜在点音源位置に基づいて音圧勾配に相当する点音源駆動信号を求める点音源駆動信号計算ステップと、
残差駆動信号計算部が、上記第二の信号に波面再構成フィルタを適用して音圧勾配に相当する残差駆動信号を求める残差駆動信号計算ステップと、
駆動信号合成部が、上記点音源駆動信号と上記残差駆動信号とを合成して上記マイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する駆動信号合成ステップと、
を含む音場収音再生方法。
【請求項１３】
請求項１から８のいずれかに記載の音場収音再生装置もしくは請求項９に記載の音場収音装置又は音場再生装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ある音場に設置されたマイクロホンアレイで音信号を収音し、その音信号を用いてスピーカアレイでその音場を再生する波面合成法（Wave Field Synthesis）の技術に関する。
【背景技術】
【０００２】
波面合成法は、複数のマイクロホンとスピーカを用いて、遠隔地の音場を仮想的に再現する技術である。遠隔コミュニケーションシステムなどの応用では、リアルタイムの収音・再現が必要になるため、一般的なマイクロホンアレイで収音した音圧を、一般的なスピーカアレイで出力するための音場再現信号へと一意に変換可能であることが必要となる。
【０００３】
波面合成法の従来技術として非特許文献１に記載の方法が知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】小山、古家、日和崎、羽田、「音場収音・再現のための時空間周波数領域信号変換法」、音響学会秋季研究発表会講演論文集、pp. 635-636、2011年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、マイクロホンアレイで取得した音場をスピーカアレイを用いて再現する場合に、マイクロホンやスピーカの間隔に依存する空間エイリアシングによる誤差が生じる。これはマイクロホンの数がスピーカの数よりも少ない場合に特に顕著である。空間エイリアシングによる誤差が生じると、再現された音場において、音質や定位感の劣化が生じるという課題がある。
【０００６】
この発明の目的は、一般的なマイクロホン及びスピーカを用いて、高精度に音場を収音し再現することができる音場収音再生装置、システム、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、この発明の第一の態様の音場収音再生装置は、複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、点音源に由来する成分である第一の信号と第一の信号以外の成分である第二の信号とに分離する信号分解処理部を含む。
【０００８】
この発明の第二の態様の音場収音再生装置は、複数のマイクロホンで収音された信号から点音源に由来する成分を分離した第一の信号に基づいて生成された点音源駆動信号と、第一の信号と異なる第二の信号に基づいて生成された残差駆動信号とを合成して、マイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する駆動信号合成部を含む。
【０００９】
この発明の第三の態様の音場収音再生システムは、音場収音装置と音場再生装置を含む。音場収音装置は、複数のマイクロホンで収音された信号に基づいて生成された時間周波数領域信号を、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置に基づいて、点音源に由来する成分である第一の信号と第一の信号以外の成分である第二の信号とに分離する信号分解処理部と、第一の信号及び潜在点音源位置に基づいて音圧勾配に相当する点音源駆動信号を求める点音源駆動信号計算部と、第二の信号に波面再構成フィルタを適用して音圧勾配に相当する残差駆動信号を求める残差駆動信号計算部と、を含む。音場再生装置は、点音源駆動信号と残差駆動信号とを合成してマイクロホンで収音された信号の波面を再現するためのスピーカ駆動信号を生成する駆動信号合成部を含む。
【発明の効果】
【００１０】
この発明の音場収音再生技術によれば、空間エイリアシングによる誤差を軽減することができ、再現された音場における音質や定位感の劣化の改善が可能となる。
【図面の簡単な説明】
【００１１】
【図１】図１は、マイクロホン及びスピーカの配置の例を説明するための図である。
【図２】図２は、第一実施形態の音場収音再生装置の機能構成を例示する図である。
【図３】図３は、潜在点音源位置の設定の例を説明するための図である。
【図４】図４は、第一実施形態の音場収音再生方法の処理フローを例示する図である。
【図５】図５は、第二実施形態の音場収音再生装置の機能構成を例示する図である。
【図６】図６は、第二実施形態の音場収音再生方法の処理フローを例示する図である。
【発明を実施するための形態】
【００１２】
以下、この発明の実施形態について説明する。なお、以下の説明に用いる図面中において同じ機能を有する構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。
【００１３】
以下の説明において、文中で使用する記号「−」「~」「＾」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１４】
この発明の音場収音再生技術は、マイクロホンアレイで収音した音圧を、点音源に由来する成分と、その残差成分に分解し、それぞれに対して駆動信号への変換を行うことで、空間エイリアシングによる誤差を軽減する。第一実施形態は、点音源が実際に存在する位置を事前に与えない場合の音場収音再生装置及び方法である。第二実施形態は、点音源が実際に存在する位置を事前に与える場合の音場収音再生装置及び方法である。
【００１５】
［第一実施形態］
第一実施形態の音場収音再生装置及び方法は、図１に示すように、収音側となる第一の空間に配置されているＭ個のマイクロホン１1,…,１Mで構成されるマイクロホンアレイと、再生側となる第二の空間に配置されているＬ個のスピーカ２1,…,２Lで構成されるスピーカアレイとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。なお、第一の空間及び第二の空間は互いに異なる空間であってもよいし、同じ空間であってもよい。図１では、第二の空間においてＬ個のスピーカ２1,…,２Lで再現された音源を音源Ｓ'（以下、「仮想音源Ｓ’」ともいう）と表現している。図１では、第一の空間の音源Ｓは１個であるが、複数個であってもよい。その場合、第二の空間の仮想音源Ｓ’も音源Ｓと同数となる。
【００１６】
Ｍ個のマイクロホン１1,…,１Mは任意の配置とすることができ、例えば、直線や平面、円、球等に配置できる。同様に、Ｌ個のスピーカ２1,…,２Lは任意の配置とすることができ、例えば、直線や平面、円、球等に配置できる。マイクロホンの配置とスピーカの配置は同じでなくてもよい。例えば、図１に示すように、平面状アレイに配置されたマイクロホン１1,…,１Mで収音し、上下方向の次元数を削減した直線状アレイに配置されたスピーカ２1,…,２Lで再生するように構成することができる。
【００１７】
第一実施形態の音場収音再生装置１０は、図２に示すように、潜在点音源位置設定部１１、周波数変換部１２、信号分解処理部１３、点音源駆動信号計算部１４、残差駆動信号計算部１５、駆動信号合成部１６及び周波数逆変換部１７を例えば含み、図４に例示された各ステップの処理を行う。
【００１８】
音場収音再生装置１０は、例えば、中央演算処理装置（Central Processing Unit、ＣＰＵ）、主記憶装置（Random Access Memory、ＲＡＭ）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音場収音再生装置１０は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音場収音再生装置１０に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて読み出されて他の処理に利用される。
【００１９】
ステップＳ１１において、潜在点音源位置設定部１１は、潜在的に点音源が存在すると仮定する位置rps∈R3×N（以下、潜在点音源位置という）を事前に与える。ここで、Rは実数全体であり、Nは潜在点音源位置の数である。潜在点音源位置rpsは、マイクロホンアレイからの相対的な三次元位置である。三次元位置はどのような座標系を用いてもよく、例えば、三軸で表される直交座標系や、動径と偏角で表される円筒座標系や球座標系のような極座標系などを利用することができる。潜在点音源位置rpsは、例えば、図３に示すように、収音側となる第一の空間を格子状にサンプリングした位置に設定する。
【００２０】
潜在点音源位置は任意の位置に設定することができる。このとき、潜在点音源位置を密に設定すると信号の分解が困難となり、疎に設定すると点音源に由来する信号以外の残差信号が大きくなるというトレードオフの関係にある。具体的には、潜在点音源位置を、例えば10cm程度の間隔のグリッドとして設定する。
【００２１】
潜在点音源位置は収音空間外に設定してもよい。例えば、ある部屋で収音する場合、部屋の壁の中や部屋の外の廊下に潜在点音源位置を設定してもよい。設定された潜在点音源は、壁からの反射を考慮する際に反射音の仮想音源となり得る。
【００２２】
第一の空間に配置されたマイクロホン１1,…,１Mは、第一の空間の音源Ｓで発せられた音を収音して時間領域の信号を生成する。生成された時間領域の信号は、周波数変換部１２に送られる。m（=1,…,M）番目のマイクロホン１mで収音された時間領域の時刻tの信号をpm(t)と表記する。
【００２３】
ステップＳ１２において、周波数変換部１２は、マイクロホン１mで収音された時間領域信号pm(t)をフーリエ変換により時間周波数領域信号pm(i)(ω)に変換する。生成された時間周波数領域信号pm(i)(ω)は、信号分解処理部１３に送られる。ここで、iは時間フレームのインデックスを示し、ωは時間周波数である。例えば、短時間離散フーリエ変換により時間周波数領域信号pm(i)(ω)が生成される。もちろん、他の既存の方法により時間周波数領域信号pm(i)(ω)を生成してもよい。また、オーバーラップアド等の方法を用いて時間周波数領域信号pm(i)(ω)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば10ミリ秒ごとといったフレームごとに処理を行う。時間周波数領域信号pm(i)(ω)は、例えば次式のように定義される。
【００２４】
【数１】
2015171111.tif 000003
ただし、exp関数の引数の中のjは虚数単位である。
【００２５】
ステップＳ１３において、信号分解処理部１３は、マイクロホンアレイで取得した信号の時間周波数領域信号p(i)(ω)∈CMを、潜在的に点音源が存在すると仮定する位置の集合である潜在点音源位置rps∈R3×Nに基づいて、潜在点音源位置rpsに存在すると仮定する点音源に由来する成分である第一の信号q(i)(ω)∈CN（以下、点音源信号ともいう）と仮定した点音源信号以外の成分である第二の信号h(i)(ω)∈CM（以下、残差信号ともいう）とに分離する。生成された点音源信号q(i)(ω)は、点音源駆動信号計算部１４へ送られる。生成された残差信号h(i)(ω)は、残差駆動信号計算部１５へ送られる。ここで、Cは複素数全体であり、Rは実数全体であり、Mはマイクロホンの数であり、Nは潜在点音源位置の数である。
【００２６】
点音源信号q(i)(ω)と残差信号h(i)(ω)は、以下の式を満たすように、時間周波数領域信号p(i)(ω)を分解することで得る。
【００２７】
【数２】
2015171111.tif 000004
【００２８】
ここで、D∈CM×Nは、各潜在点音源位置からマイクロホン位置までの点音源の伝達関数を要素に持つ行列である。例えば、行列Dの(m,n)番目の要素Dmnは、図３に示すように、n番目の潜在点音源位置rps[n]からm番目のマイクロホン位置rm[m]までの正規化した伝達関数である。行列Dの要素Dmnは次式のように定義する。
【００２９】
【数３】
2015171111.tif 000005
【００３０】
ここで、kは時間周波数ωと音速cとを用いてk=ω/cとして定義される波数である。波数とは、いわゆる空間周波数又は角度スペクトルのことである。
【００３１】
信号分解のアルゴリズムには様々な方法が考えられる。一般的に、事前に設定した潜在点音源位置のうち、実際に点音源の成分が存在する箇所はごく少数であるため、ベクトルq(i)(ω)の要素はほとんどがゼロとなり、少数の要素のみが値を持つことになる。これをベクトルq(i)(ω)がスパースであると呼び、スパース性を利用したアルゴリズムで分解を行うことが望ましい。また、各時間フレームのデータで分解を行っても構わないし、複数の時間フレームのデータを同時に分解しても構わない。ここでは、M-FOCUSS法と呼ばれる手法を適用した場合について示す。M-FOCUSS法は、ベクトルq(i)(ω)がスパースであること、及び、短い時間区間においては複数の時間フレームにおいて非ゼロ要素の位置がほとんど変化しないことを利用した信号分解アルゴリズムである。M-FOCUSS法についての詳細は、例えば、「S. F. Cotter, B. D. Rao, K. Engan, and K. Kreutz-Delgado, “Sparse Solutions to Linear Inverse Problems with Multiple Measurement Vectors”, IEEE Transactions on Signal Processing, vol. 53, no. 7, pp. 2477-2488, 2005.（参考文献１）」を参照されたい。
【００３２】
複数の時間フレームi∈{1,…,Γ}のデータをまとめて行列表記すると、P=[p(1)(ω),…,p(Γ)(ω)]、Q=[q(1)(ω),…,q(Γ)(ω)]、H=[h(1)(ω),…,h(Γ)(ω)]として、次式のように書ける。
【００３３】
【数４】
2015171111.tif 000006
【００３４】
M-FOCUSS法のアルゴリズムでは、以下の規準に基づき、Qの推定値Q^を得る。
【数５】
2015171111.tif 000007
【００３５】
ここで、
【数６】
2015171111.tif 000008
であり、ρは0≦ρ≦1として設定するパラメータであり、Q[n]は行列Qの第n行目を表わす。λはQの推定値Q^のスパースさを調整するためのパラメータである。||・||Fは行列のフロベニウスノルムを表わし、||・||2はベクトルのl2ノルムを表わす。具体的なアルゴリズムの例は以下の通りである。ζ回目の反復において、以下の計算を行う。
【００３６】
１．以下のWζ+1を計算する。
【数７】
2015171111.tif 000009
【００３７】
ここで、
【数８】
2015171111.tif 000010
である。
【００３８】
２．以下のBζ+1を計算する。
【数９】
2015171111.tif 000011
【００３９】
ここで、
【数１０】
2015171111.tif 000012
である。・Hはエルミート転置を表す。
【００４０】
３．求めるQ^を以下のように更新する。
【数１１】
2015171111.tif 000013
【００４１】
以上を反復することで、最適なQ^を得る。あらかじめ設定した回数で反復を終えるか、又はQの更新量||Qζ+1-Qζ||Fが十分小さい値になったところで反復を終える。
【００４２】
その他の簡単な信号分解の方法としては、次式に示す、l2ノルム規準である最小ノルム解に基づく分解などが考えられる。
【００４３】
【数１２】
2015171111.tif 000014
【００４４】
ここでβは正則化パラメータであり、数値計算の安定性を調整するための任意の正の実数である。Iは単位行列であり、・Hはエルミート転置を表す。
【００４５】
残差信号Hは、次式により得られる。
【数１３】
2015171111.tif 000015
【００４６】
または、次式により得られる。
【数１４】
2015171111.tif 000016
【００４７】
M-FOCUSS法もしくは最小ノルム解による信号分解の方法はあくまで一例である。また、M-FOCUSS法による信号分解の方法も様々な方法が存在する。M-FOCUSS法以外のスパース性を利用したアルゴリズムとして適用可能なものとしては、例えば、OMP法、FOCUSS法、Basis Pursuit法等が挙げられる。
【００４８】
ステップＳ１４において、点音源駆動信号計算部１４は、点音源信号q(i)(ω)及び潜在点音源位置rpsに基づいて、音圧勾配に相当する点音源駆動信号q~(i)(ω)を計算する。生成された点音源駆動信号q~(i)(ω)は、駆動信号合成部１６に送られる。これらの間の信号変換は、Wave Field Synthesisを用いる方法（「S. Spors, R. Rabenstein, and J. Ahrens, “The Theory of Wave Field Synthesis Revisited”, Proceedings of AES 124th Convention, 2008.（参考文献２）」参照）や、Spectral Division Methodを用いる方法（「J. Ahrens, and S. Spors, “Sound Field Reproduction Using Planar and Linear Arrays of Loudspeakers”, IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 8, pp. 2038-2050, 2010.（参考文献３）」参照）などがある。ここでは、一例として、スピーカアレイが直線状の場合のWave Field Synthesisを用いる方法について示す。
【００４９】
まず、行列G∈CM×Nを定義する。行列Gの(m,n)番目の要素Gmnは、n番目の潜在点音源位置rps[n]及びm番目のマイクロホン位置rm[m]を用いて、次式により定義する。
【００５０】
【数１５】
2015171111.tif 000017
【００５１】
ここで、ym及びypsは、rm及びrpsのy座標（マイクロホンアレイに直交する方向の座標）であり、G0は音色を操作するための任意の複素数である。
【００５２】
このとき、次式により点音源駆動信号q~(i)(ω)が得られる。
【数１６】
2015171111.tif 000018
【００５３】
式（１６）におけるH1(2)は１次の第二種ハンケル関数である。第二種ハンケル関数Hn(2)は、第一種ベッセル関数Jn(x)及び第二種ベッセル関数Yn(x)を用いて以下のように定義される。
【数１７】
2015171111.tif 000019
【００５４】
ステップＳ１５において、残差駆動信号計算部１５は、残差信号h(i)(ω)に基づいて、音圧勾配に相当する残差駆動信号h~(i)(ω)を出力する。生成された残差駆動信号h~(i)(ω)は、駆動信号合成部１６に送られる。これらの間の信号変換は、波面再構成フィルタ（Wave Field Reconstructionフィルタ：WFRフィルタともいう）を用いる方法がある。波面再構成フィルタについての詳細は非特許文献１を参照されたい。
【００５５】
波面再構成フィルタは、収音場の波面を平面波に展開して得られる時空間スペクトルと、マイクロホンアレイ及びスピーカアレイの配置及び相対位置関係と、物理的な音波の伝搬式とに基づいて設計される。
【００５６】
例えば、マイクロホンアレイ及びスピーカアレイが共に直線状の場合には、まず、残差信号h(i)(ω)を空間方向にフーリエ変換し、時空間周波数領域信号h−(i)(ω)を得る。そして、時空間周波数領域信号h−(i)(ω)のm番目の要素に対し、以下の係数を乗じる。
【００５７】
【数１８】
2015171111.tif 000020
【００５８】
ここで、kx,mはm番目の要素に対応するx方向の空間周波数であり、yrefは振幅を一致させる位置を設定するパラメータであり、f0は音色を操作するための任意の複素数である。H0(2)は０次の第二種ハンケル関数である。最後に、空間方向に逆フーリエ変換を行い、残差駆動信号h~(i)(ω)を得る。
【００５９】
例えば、マイクロホンアレイ及びスピーカアレイが共に平面状配置の場合には、まず、残差信号h(i)(ω)を空間方向に２次元フーリエ変換し、時空間周波数領域信号h−(i)(ω)を得る。そして、時空間周波数領域信号h−(i)(ω)のm番目の要素に対し、以下の係数を乗じる。
【００６０】
【数１９】
2015171111.tif 000021
【００６１】
ここで、kx,m、ky,mはm番目の要素に対応するx方向、y方向の空間周波数であり、f0は音色を操作するための任意の複素数である。最後に、空間方向に２次元逆フーリエ変換を行い、残差駆動信号h~(i)(ω)を得る。
【００６２】
上記の波面再構成フィルタはあくまで一例であり、収音場の波面を平面波に展開して得られる時空間スペクトルと、マイクロホンアレイ及びスピーカアレイの配置及び相対位置関係と、物理的な音波の伝搬式とに基づいて設計される波面再構成フィルタであれば、どのような波面再構成フィルタを用いてもよい。
【００６３】
ステップＳ１６において、駆動信号合成部１６は、点音源駆動信号q~(i)(ω)と残差駆動信号h~(i)(ω)とを合成して、マイクロホンアレイで収音された信号の波面を再現するためのスピーカ駆動信号d(i)(ω)を出力する。生成されたスピーカ駆動信号d(i)(ω)は、周波数逆変換部１７に送られる。スピーカ駆動信号d(i)(ω)は、以下のように、入力された点音源駆動信号q~(i)(ω)と残差駆動信号h~(i)(ω)とを加算することで得られる。
【００６４】
【数２０】
2015171111.tif 000022
【００６５】
ステップＳ１７において、周波数逆変換部１７は、周波数領域信号d(i)(ω)を逆フーリエ変換により時間領域信号dp(t)に変換する。pはその時間領域信号が再生されるスピーカのインデックスであり、p=1,…,Lである。逆フーリエ変換によりフレーム毎に得られた時間領域信号dp(t)は適宜シフトされて線形和が取られて、連続した時間領域信号となる。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。時間領域信号dp(t)はスピーカ２pへ送られる。
【００６６】
スピーカ２1,…,２Lは、時間領域信号dp(t)に基づいて音を再生する。具体的には、p=1,…,Lとして、p番目のスピーカ２pが時間領域信号dp(t)に基づいて音を再生する。これにより、第一の空間の音場を第二の空間に再現することができる。
【００６７】
［第二実施形態］
第二実施形態の音場収音再生装置及び方法は、第一実施形態と同様に、収音側となる第一の空間に配置されているＭ個のマイクロホン１1,…,１Mで構成されるマイクロホンアレイと、再生側となる第二の空間に配置されているＬ個のスピーカ２1,…,２Lで構成されるスピーカアレイとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。
【００６８】
第一の空間に配置されたマイクロホン及び第二の空間に配置されたスピーカの配置は第一実施形態と同様である。
【００６９】
第二実施形態の音場収音再生装置２０は、図５に示すように、点音源位置設定部２１、周波数変換部１２、信号分解処理部２３、点音源駆動信号計算部１４、残差駆動信号計算部１５、駆動信号合成部１６及び周波数逆変換部１７を例えば含み、図６に例示された各ステップの処理を行う。第一実施形態の音場収音再生装置１０と第二実施形態の音場収音再生装置２０との相違点は、潜在点音源位置設定部１１の代わりに点音源位置設定部２１を備え、信号分解処理部の処理が異なることである。
【００７０】
以下、第二実施形態の音場収音再生装置２０の行う処理について、第一実施形態と異なる部分を中心に説明する。
【００７１】
ステップＳ２１において、点音源位置設定部２１は、実際に点音源が存在する位置r’ps∈R3×N’（以下、点音源位置と言う）を事前に与える。ここで、N’は実在する点音源の数である。点音源位置r’psは、マイクロホンアレイからの相対的な三次元位置である。
【００７２】
ステップＳ２３において、信号分解処理部２３は、マイクロホンアレイで取得した信号の時間周波数領域信号p(i)(ω)∈CMを、実際に点音源が存在する位置の集合である点音源位置r’ps∈R3×N’に基づいて、実在する点音源に由来する成分である点音源信号q(i)(ω)∈CN’と点音源信号以外の成分である残差信号h(i)(ω)∈CMとに分離する。生成された点音源信号q(i)(ω)は、点音源駆動信号計算部１４へ送られる。生成された残差信号h(i)(ω)は、残差駆動信号計算部１５へ送られる。
【００７３】
点音源信号q(i)(ω)と残差信号h(i)(ω)は、以下の式を満たすように、時間周波数領域信号p(i)(ω)を分解することで得る。
【数２１】
2015171111.tif 000023
【００７４】
ここで、D’∈CM×N’は、各点音源位置からマイクロホン位置までの点音源の伝達関数を要素に持つ行列である。行列D’の要素D’mnは次式のように定義する。
【数２２】
2015171111.tif 000024
【００７５】
信号分解では、N'≦Mの場合には最小二乗解に基づく方法を用いる。
【数２３】
2015171111.tif 000025
【００７６】
また、N'>Mの場合には最小ノルム解に基づく方法を用いる。
【数２４】
2015171111.tif 000026
【００７７】
ここでβは正則化パラメータであり、数値計算の安定性を調整するための任意の正の実数である。
【００７８】
残差信号Hは、次式により得られる。
【数２５】
2015171111.tif 000027
【００７９】
［変形例］
音場収音再生装置は、収音側の空間に配置された音場収音装置と再生側の空間に配置された音場再生装置とを含む音場収音再生システムとして構成してもよい。音場収音再生装置を構成する各部は、音場収音装置と音場再生装置のいずれに備えられていてもよい。換言すれば、潜在点音源位置設定部１１（もしくは点音源位置設定部２１）、周波数変換部１２、信号分解処理部１３（もしくは信号分解処理部２３）、点音源駆動信号計算部１４、残差駆動信号計算部１５、駆動信号合成部１６及び周波数逆変換部１７のそれぞれの処理は、収音側の空間に配置された音場収音装置で実行されてもよいし、再生側の空間に配置された音場再生装置で実行されてもよい。音場収音装置で生成された信号は、音場再生装置に送信される。このとき送信信号は任意の方法で符号化されていてもよい。
【００８０】
例えば、第一の空間に配置された音場収音装置は潜在点音源設定部１１、周波数変換部１２及び信号分解処理部１３を備え、第二の空間に配置された音場再生装置は点音源駆動信号計算部１４、残差駆動信号計算部１５、駆動信号合成部１６及び周波数逆変換部１７を備え、信号分解処理部１３の出力する点音源信号q(i)(ω)及び残差信号h(i)(ω)が音場収音装置から音場再生装置へ符号化して送信されるように構成することができる。また、例えば、第一の空間に配置された音場収音装置は潜在点音源設定部１１、周波数変換部１２、信号分解処理部１３、点音源駆動信号計算部１４及び残差駆動信号計算部１５を備え、第二の空間に配置された音場再生装置は駆動信号合成部１６及び周波数逆変換部１７を備え、点音源駆動信号計算部１４の出力する点音源駆動信号q~(i)(ω)及び残差駆動信号計算部１５の出力する残差駆動信号h~(i)(ω)が音場収音装置から音場再生装置へ符号化して送信されるように構成してもよい。
【００８１】
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００８２】
［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００８３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００８４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【符号の説明】
【００８７】
１  マイクロホン
２  スピーカ
１０、２０  音場収音再生装置
１１  潜在点音源位置設定部
１２  周波数変換部
１３、２３  信号分解処理部
１４  点音源駆動信号計算部
１５  残差駆動信号計算部
１６  駆動信号合成部
１７  周波数逆変換部
２１  点音源位置設定部
【図１】
2015171111.tif 000033
【図２】
2015171111.tif 000034
【図３】
2015171111.tif 000035
【図４】
2015171111.tif 000036
【図５】
2015171111.tif 000037
【図６】
2015171111.tif 000038