(57)【要約】      （修正有）【課題】従来よりも、外挿が有効な空間領域が大きい音場推定装置、その方法及びプログラムを提供する。【解決手段】音場推定装置２００は、J個の位置(ra,Ωj)にそれぞれマイクロホンを備える球面マイクロホンアレー１の収音信号y(ｔ，ra,Ωj)（ｊ＝１，２，・・・，Ｊ）から算出される球面波スペクトルun,m(ω,ra)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解部２１３と、ｒを極座標の動径、Ωを極座標の偏角とし、平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,Ω)とを用いて、仮想マイクロホンの位置での周波数領域の収音信号u^(ω,r,Ω)を推定する外挿推定部２１６とを含む。【選択図】図２
2017112415.tif 000002
【特許請求の範囲】
【請求項１】
j=1,2,…,J、raを極座標の動径、θj及びφjを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(ra,θj,φj)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(ra,θj,φj)から算出される球面波スペクトルun,m(ω,ra)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解部と、
ｒを極座標の動径、θ及びφを極座標の偏角とし、前記平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、前記仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定部とを含む、
音場推定装置。
【請求項２】
請求項１の音場推定装置であって、
||a(ω)||1をa(ω)=[a1(ω),a2(ω),…,al'(ω),…,aL'(ω)]TのL1ノルムとし、Ynm(Ωl')をオーダーn、次数mの球調和関数とし、kを波数、bn(kra)をモード強度関数とし、前記平面波分解部は、
【数１９】
2017112415.tif 000021
をコスト関数とし、
【数２０】
2017112415.tif 000022
を拘束条件とし、凸最適化問題を解くことで、前記平面波の強度からなるベクトルの推定値a(ω)を求め、
iを虚数、Pを1以上の整数、p=1,2,…,Pとし、前記外挿推定部は、
【数２１】
2017112415.tif 000023
により、[dx dy dz]を中心とする半径rの球体上の偏角θp及びφpの仮想的なマイクロホンの周波数領域の収音信号u^(ω,r,θp,φp)を推定する、
音場推定装置。
【請求項３】
請求項１または請求項２の音場推定装置であって、
αを所定の実数、p=1,2,…,Pとし、rを極座標の動径、θp及びφpを極座標の偏角、収音信号u^(ω,r,θp,φp)の球面波スペクトルun,m(ω,r)の絶対値|un,m(ω,r)|と、収音信号u^(ω,αr,θp,φp)の球面波スペクトルun,m(ω,αr)の絶対値|un,m(ω,αr)|との大小関係に基づき、剛球型マイクロホンアレーの収音信号から算出される球面波スペクトルvn,m(ω,r)を推定するアレー型変換部を含む、
音場推定装置。
【請求項４】
請求項３の音場推定装置であって、仮想的な頭部の位置を剛球型マイクロホンアレーの位置として、
前記球面波スペクトルvn,m(ω,r)から得られるP個の時間領域の収音信号y(t,r,Ωp)と仮想的な頭部の方向に基づき、仮想的な頭部の位置と方向におけるバイノーラル信号を生成するバイノーラル信号生成部を含む、
音場推定装置。
【請求項５】
j=1,2,…,J、raを極座標の動径、θj及びφjを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(ra,θj,φj)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(ra,θj,φj)から算出される球面波スペクトルun,m(ω,ra)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解ステップと、
ｒを極座標の動径、θ及びφを極座標の偏角とし、前記平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、前記仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定ステップとを含む、
音場推定方法。
【請求項６】
請求項５の音場推定方法であって、
αを所定の実数、p=1,2,…,Pとし、rを極座標の動径、θp及びφpを極座標の偏角、収音信号u^(ω,r,θp,φp)の球面波スペクトルun,m(ω,r)の絶対値|un,m(ω,r)|と、収音信号u^(ω,αr,θp,φp)の球面波スペクトルun,m(ω,αr)の絶対値|un,m(ω,αr)|との大小関係に基づき、剛球型マイクロホンアレーの収音信号から算出される球面波スペクトルvn,m(ω,r)を推定するアレー型変換ステップを含む、
音場推定方法。
【請求項７】
請求項６の音場推定方法であって、仮想的な頭部の位置を剛球型マイクロホンアレーの位置として、
前記球面波スペクトルvn,m(ω,r)から得られるP個の時間領域の収音信号y(t,r,Ωp)と仮想的な頭部の方向に基づき、仮想的な頭部の位置と方向におけるバイノーラル信号を生成するバイノーラル信号生成ステップを含む、
音場推定方法。
【請求項８】
請求項１から請求項４の何れかの音場推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある位置に配置されたマイクロホンの収音信号を用いて、他の位置にマイクロホンが配置された場合に得られる収音信号を推定する技術に関する。
【背景技術】
【０００２】
近年、オーディオ再生技術は２チャネルステレオから５．１チャネル再生に拡大し、さらに２２．２チャネル再生や波面合成法の研究開発が進められ、再生そのものの臨場感を大きく向上させることと、臨場感の高い再生エリアをなるべく拡大することが図られている。
【０００３】
このような多チャネルオーディオ再生方法を評価検証するには、再生された音場を計測することが重要になる。例えば波面合成法では、実際に収録された音場と再現された音場とを比較し、その相違を把握する必要がある。その理由は、収録音場を再生信号へ変換する信号処理、収録した信号のエンコードとデコード、再生装置が設置された部屋の音響特性などの諸要因が音場の再現精度に影響するためであり、再現精度の高い手法を確立することが重要だからである。
【０００４】
（従来法１）
音場を計測する方法として、対象とする測定エリアの一部に局所的にマイクロホンを集中配置し、その測定結果から周辺エリアの音場を推定することが考えられる。一例として球面マイクロホンアレーの検討が進められている。球面マイクロホンアレーとは、数十以上のマイクロホン素子を半径raの球面上に配置して構成するマイクロホンアレーであり、raは数cmから十数cmの範囲にある。
【０００５】
図１は、従来技術における球面マイクロホンアレー１をもちいる音場推定処理の信号フローを示す。球面上に配置されたJ個のマイクロホンでそれぞれ収音された時間領域の信号y(t,ra,Ωj)は、短時間フーリエ変換部１１１により周波数領域の信号u(i,ω,ra,Ωj)に変換される。ただし、tは時刻、iはフレーム、Jは2以上の整数、ωは時間周波数、j=1,2,…,Jである。なお、以下の処理では、フレーム単位で処理を行うが、表記を簡略化するために、iを省略する。Ωjはj番目のマイクロホン素子の球面上の位置であり、elevation角θjとazimuth角φjのペアで指定される。Ωj=(θj,φj)である。
【０００６】
球面波スペクトル変換部１１２は、周波数ωごとに次式により球面波スペクトルun,m(ω,ra)を求める。
【０００７】
【数１】
2017112415.tif 000003
【０００８】
ただしαjは、式(1)の積和が次式で表される球調和関数の直交条件を満たすように適切に設定された重みである。
【０００９】
【数２】
2017112415.tif 000004
【００１０】
なお、Ynm(θj,φj)はオーダーn、次数mの球調和関数であり、*は複素共役を意味する。n=0,1,…,N、m=-n,-n+1,…,nである。δnn'はn=n'のときに１、n≠n'のときに0となる値であり、δmm'はm=m'のときに１、m≠m'のときに0となる値である。オーダー数Nまでの球面波スペクトルを得るには、(N+1)2個以上のマイクロホン素子が必要になる。
【００１１】
なお、これ以降は測定対象範囲の外側にある音源によって生成された音場を測定すること、すなわち内部問題を扱う。別の言い方をすると、球面マイクロホンアレーの成す球体の外側にある音源によって生成された音場を測定する。
【００１２】
球面マイクロホンアレーの中心を原点として、極座標系(r,Ω)=(r,θ,φ)で音場を考える。
【００１３】
外挿推定部１１６では、周波数ωで次式により、半径raの位置から半径rへと音場を外挿し、極座標系(r,Ω)=(r,θ,φ)における収音信号u(ω,r,Ω)を求める。言い換えると、球面マイクロホンアレー上に配置されたマイクロホンの収音信号を用いて球面マイクロホンアレーの成す球体の外側にある音場を推定する。
【００１４】
【数３】
2017112415.tif 000005
【００１５】
ただしkは波数k=ω/c(cは音速)であり、bn( )はモード強度関数である。
【００１６】
非特許文献１では、マイクロホン素子を中空で球面上に配置する開球型(open sphere)の球面マイクロホンアレーの場合が示されている。この場合、モード強度関数は次式で表される。
【００１７】
【数４】
2017112415.tif 000006
【００１８】
である。ただしiは虚数であり、jn( )はn次の球ベッセル関数である。球面マイクロホンアレーが剛球表面にマイク素子を配置して構成されている場合には、非特許文献２に基づき、モード強度関数は次式で表される。
【００１９】
【数５】
2017112415.tif 000007
【００２０】
ただしhn( )はｎ次の第1種ハンケル関数である。なお、「A'」はAの微分を意味する。
【００２１】
短時間逆フーリエ変換部１１８は、空間的に外挿した収音信号を周波数領域の信号u(ω,r,Ω)から時間領域の信号y(t,r,Ω)に戻し、出力する。
【００２２】
なお、式（３）は、球面波スペクトルにbn(kr)/bn(kra)を適用し、Ynm(θ,φ)で積和をとっている。このYnm(θ,φ)の積和は、逆球面波スペクトル変換に対応する。そのため、空間的に外挿した収音信号u(ω,r,Ω)は周波数領域の信号となっている。
【００２３】
開球型のマイクロホンアレーによる計測では、特異点の影響を避けられず、jn(kr)=0になるkおよびrで測定不能になる。具体的には、音場が存在してもｊn(kr)=0が満たされるとき、その出力が0になる。しかし剛球型のマイクロホンアレーには特異点がなく、測定不能にならない。そのため球面型マイクロホンアレーとしては、剛球型のマイクロホンアレーを使うことが主流である。
【先行技術文献】
【非特許文献】
【００２４】
【非特許文献１】T. Abhayapala and D. Ward, "Theory and design of high order  sound field microphones using spherical microphone array", in Acoustics, Speech, and Signal Processing (ICASSP), IEEE International Conference on, 2002, pp. II-1949.
【非特許文献２】Meyer, Jens; Elko, Gary, "A highly scalable spherical microphone array based on an orthonormal decomposition of the soundfield", Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEE International Conference on, 2002, II-1781 - II-1784.
【発明の概要】
【発明が解決しようとする課題】
【００２５】
従来技術では、半径raの位置から半径rへと音場を外挿する際に、ベッセル関数jn(kr)もしくはベッセル関数jn(kr)とハンケル関数hn(kr)とを使用している。参考文献１によれば、2関数とも大域的な傾向としてkrが増大すると、1/krのペースで減少する。
（参考文献１）Ｅ．Ｇ．ウィリアムズ、「フーリエ音響学」、シュプリンガー・フェアラーク、２００５、p.234-236．
【００２６】
例えばrがraの10倍になると、外挿の推定値は約1/10と急激に小さくなってしまう。そのため、外挿が有効な空間領域は球面マイクロホンアレー表面の周囲に限定されてしまう。まだ同じ理由により、周波数ωが高くなってもk=ω/cが大きくなり、外挿の推定値が急激に小さくなる。つまり周波数を高くすると外挿が有効な空間領域が急激に狭まってしまう。
【００２７】
本発明は、従来技術よりも、外挿が有効な空間領域が大きい音場推定装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２８】
上記の課題を解決するために、本発明の一態様によれば、音場推定装置は、j=1,2,…,J、raを極座標の動径、θj及びφjを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(ra,θj,φj)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(ra,θj,φj)から算出される球面波スペクトルun,m(ω,ra)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解部と、ｒを極座標の動径、θ及びφを極座標の偏角とし、平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定部とを含む。
【００２９】
上記の課題を解決するために、本発明の他の態様によれば、音場推定方法は、j=1,2,…,J、raを極座標の動径、θj及びφjを極座標の偏角、ωを時間周波数のインデックスとし、J個の位置(ra,θj,φj)にそれぞれマイクロホンを備える球面マイクロホンアレーの収音信号y(ra,θj,φj)から算出される球面波スペクトルun,m(ω,ra)(n=0,1,…,N、m=-n,-n+1,…,n)を用いて、音場を構成する平面波の強度からなるベクトルを推定する平面波分解ステップと、ｒを極座標の動径、θ及びφを極座標の偏角とし、平面波の強度からなるベクトルの推定値a(ω)と仮想マイクロホンの位置(r,θ,φ)とを用いて、仮想マイクロホンの位置(r,θ,φ)での周波数領域の収音信号u^(ω,r,θ,φ)を推定する外挿推定ステップとを含む。
【発明の効果】
【００３０】
本発明によれば、従来技術よりも、外挿が有効な空間領域が大きいという効果を奏する。
【図面の簡単な説明】
【００３１】
【図１】従来技術に係る音場推定装置の機能ブロック図。
【図２】第一実施形態に係る音場推定装置の機能ブロック図。
【図３】第一実施形態に係る音場推定装置の処理フローの例を示す図。
【図４】第一実施形態、その変形例１及び変形例２における仮想マイクロホンの位置の概要を示す図。
【図５】第二実施形態に係る音場推定装置の機能ブロック図。
【図６】第二実施形態に係る音場推定装置の処理フローの例を示す図。
【図７】第三実施形態に係る音場推定装置の機能ブロック図。
【図８】第三実施形態に係る音場推定装置の処理フローの例を示す図。
【発明を実施するための形態】
【００３２】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」「-」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００３３】
＜第一実施形態のポイント＞
本実施形態では、球面波スペクトルを外挿する代わりに、球面波スペクトルから音場を構成する平面波の集まりを求め、この平面波をもちいて音場を外挿する。平面波を経由することで、外挿が有効な空間領域を大きく広げることが可能になる。以下、その方法を説明する。
【００３４】
＜第一実施形態に係る音場推定装置２００＞
図１は第一実施形態に係る音場推定装置２００の機能ブロック図を、図２はその処理フローを示す。
【００３５】
音場推定装置２００は、短時間フーリエ変換部２１１、球面波スペクトル変換部２１２、平面波分解部２１３、外挿推定部２１６及び短時間逆フーリエ変換部２１８を含む。
【００３６】
音場推定装置２００は、球面マイクロホンアレー１から時間領域の収音信号y(t,ra,Ωj)(ただし、j=1,2,…,J)と、仮想マイクロホンの位置情報(r,Ω)とを受け取り、仮想マイクロホンの位置における時間領域の収音信号y(t,r,Ω)を推定し、出力する。球面マイクロホンアレー１には、半径raの球面上にJ個のマイクロホンが配置され、j番目のマイクロホンの位置はΩj=(θj,φj)で特定される。つまり、球面マイクロホンアレー１の成す球面の中心を原点として、raを極座標の動径、θj及びφjを極座標の偏角とし、j番目のマイクロホンの位置は(ra,θj,φj)で表される。
【００３７】
＜短時間フーリエ変換部２１１＞
短時間フーリエ変換部２１１は、時間領域の収音信号y(t,ra,Ωj)(ただし、j=1,2,…,J)を受け取り、短時間フーリエ変換により、時間領域の収音信号y(t,ra,Ωj)を周波数領域の収音信号u(i,ω,ra,Ωj)(ただし、iはフレーム番号、ω=1,2,…,F、j=1,2,…,J)に変換し（Ｓ２１１）、出力する。なお、以降の処理はフレームi毎に行うが、記載を簡略化するため、フレーム番号iを省略する。なお、時間領域の信号を周波数領域の信号に変換する方法であれば、短時間フーリエ変換以外の方法を用いてもよい。
【００３８】
＜球面波スペクトル変換部２１２＞
球面波スペクトル変換部２１２は、周波数領域の収音信号u(i,ω,ra,Ωj)(ただし、ω=1,2,…,F、j=1,2,…,J)を受け取り、周波数ω毎に、式（１）により、球面波スペクトルun,m(ω,ra)を求め（Ｓ２１２）、球面波スペクトルun,m(ω,ra)(ただし、n=0,1,…,N、m=-n,-n+1,…,n、ω=1,2,…,F)を出力する。
【００３９】
【数６】
2017112415.tif 000008
【００４０】
なお、αj及びYnm(θj,φj)については上述の（従来法１）で説明した通りである。
【００４１】
＜平面波分解部２１３＞
平面波分解部２１３は、球面波スペクトルun,m(ω,ra)(ただし、n=0,1,…,N、m=-n,-n+1,…,n、ω=1,2,…,F)を受け取り、音場を構成する平面波の強度からなるベクトルを推定し（Ｓ２１３）、推定値a(ω)(ただし、ω=1,2,…,F)を出力する。例えば、平面波分解部２１３は、音場を構成する平面波の集まりを求めるために、最初にＬ１ノルムをもちいる以下の凸最適化問題を解く。
【００４２】
【数７】
2017112415.tif 000009
【００４３】
行列D(ω)は、次式で表される。
【００４４】
【数８】
2017112415.tif 000010
【００４５】
で与えられる。行列D(ω)のl’列目の縦ベクトルは、振幅１の平面波が単一で入射角Ωl’、すなわちelevation角θl’かつazimuth角φl’で入射したときに、球面マイクロホンアレー１の収音信号y(t,ra)から算出される球面波スペクトルのベクトルである。例えば、L'個の平面波が全方位から万遍なく取得できるようにL'個の入射角Ωl’を設定する。例えば、正多面体の頂点の方向から平面波が入射するようにL'個の入射角Ωl’を設定する。l’列目の縦ベクトルは次式で与えられる。
【００４６】
【数９】
2017112415.tif 000011
【００４７】
オーダーNまでの球調和関数を使うとき、そのサイズは(N+1)2になる。なおこのサイズは球面マイクロホンアレー１に含まれるマイクロホンの素子数Ｊよりも小さい必要がある(よって(N+1)2<J)。また推定値a(ω)は、各平面波の強度の推定値からなるベクトルである。a(ω)=[a1(ω),a2(ω),…,al'(ω),…,aL'(ω)]Tとする。
【００４８】
Ｌ１ノルムによる凸最適化は、解ベクトルa(ω)として0を多く含むスパースなベクトルを導きだす。そのため、参考文献２で示されているように、あらかじめ想定する平面波の個数L'がマイクロホン数を大きく上回るような冗長な場合でも、平面波をうまく抽出することが可能である。
(参考文献２)A. Wabnitz, N. Epain, A. van.Shaik, C. Jin, "Reconstruction of spatial sound field using compressed sensing", in Acoustics, Speech, and Signal Processing (ICASSP), IEEE International Conference on, 2011.
一例として、32個のマイクロホン素子をもつ球面マイクロホンアレーの場合、N≦4である。またL’を百以上に設定可能である。
【００４９】
＜外挿推定部２１６＞
外挿推定部２１６は、推定値a(ω)と仮想マイクロホンの位置情報(r,Ω)とを受け取り、仮想マイクロホンの位置(r,Ω)での周波数領域の収音信号u^(ω,r,Ω)(ただし、ω=1,2,…,F)を次式により推定し（Ｓ２１６）、出力する。
【００５０】
【数１０】
2017112415.tif 000012
【００５１】
ただし、●は内積を意味し、k-lはl番目の平面波の入射方向に対応する波数ベクトルであり、次式により表される。
【００５２】
【数１１】
2017112415.tif 000013
【００５３】
Tは転置を表す。また、r-はXYZ3次元空間における指定位置の表現であり、次式により表される。
【００５４】
【数１２】
2017112415.tif 000014
【００５５】
なお、仮想マイクロホンの位置情報(r,Ω)は、例えば、音場推定装置２００の利用者により入力される。
【００５６】
＜短時間逆フーリエ変換部２１８＞
短時間逆フーリエ変換部２１８は、周波数領域の収音信号u^(ω,r,Ω)(ただし、ω=1,2,…,F)を受け取り、逆短時間フーリエ変換により、収音信号u^(ω,r,Ω)を時間領域の収音信号y(t,r,Ω)に変換し（Ｓ２１８）、出力する。なお、時間領域の信号を周波数領域の信号に変換する方法として、短時間フーリエ変換部２１１における変換方法に対応する方法を用いればよい。
【００５７】
＜効果＞
以上の構成により、従来技術よりも、外挿が有効な空間領域が大きい音場推定装置を実現することができる。
【００５８】
＜変形例１＞
第一実施形態では、１つの仮想的なマイクロホンを想定し、その位置で収音される信号を推定した。しかし、当然、複数の位置に仮想的なマイクロホンを想定してもよい。また、仮想的なマイクロホンを同一の球面上に配置することで、半径rの開球型の仮想的なマイクロホンアレーを構成することができる。例えば、P個の仮想的なマイクロホンを備える仮想的なマイクロホンアレーを構成した場合、音場推定装置２００は、P個の仮想マイクロホンの位置情報(r,Ωp)(ただし、p=1,2,…,P)を受け取り、収音信号y(t,r,Ωp)(ただし、p=1,2,…,P)を出力する。
【００５９】
仮想的なマイクロホンアレーが備える仮想的なマイクロホンの個数Pが1のとき、第一実施形態となるため、第一実施形態は変形例１の一例とも言える。
【００６０】
＜変形例２＞
第一実施形態の変形例１では、球面マイクロホンアレー１の中心と仮想的なマイクロホンアレーの中心とが同一である。しかし、次式により、仮想的なマイクロホンアレーの中心を変更することができる。仮想的なマイクロホンアレーの中心が、球面マイクロホンアレー１の中心（原点）から見てD=[dx dy dz]の位置にあり、仮想的なマイクロホンアレーの球面上のp番目のマイクロホン位置をΩp=(θp,φp)(ただし、p=1,2,…,P)とするとき、外挿推定部２１６は、周波数領域の収音信号u^(ω,r,Ωp)を次式により推定する。
【００６１】
【数１３】
2017112415.tif 000015
【００６２】
音場推定装置２００は、仮想マイクロホンの中心DとP個の仮想マイクロホンの位置情報(r,Ωp)(ただし、p=1,2,…,P)を受け取り、収音信号y(t,r,Ωp)(ただし、p=1,2,…,P)を出力する。
【００６３】
図４は、第一実施形態、その変形例１及び変形例２における仮想マイクロホンの位置の概要を示している。なお、変形例２の仮想的なマイクロホンアレーの中心[dx dy dz]が[0 0 0]のとき、変形例１となるため、変形例１は変形例２の一例とも言える。
【００６４】
＜第二実施形態＞
第一実施形態の変形例２と異なる部分を中心に説明する。
【００６５】
第一実施形態の変形例２では、仮想的に開球型のマイクロホンアレーを想定し、その収音信号を推定した。第二実施形態では、第一実施形態の変形例２の構成をベースとして、開球型のマイクロホンアレーの代わりに、仮想的に剛球型マイクロホンアレーを想定し、その収音信号を推定する。
【００６６】
図５は第二実施形態に係る音場推定装置３００の機能ブロック図を、図６はその処理フローを示す。
【００６７】
音場推定装置３００は、短時間フーリエ変換部２１１、球面波スペクトル変換部２１２、平面波分解部２１３、外挿推定部２１６及び短時間逆フーリエ変換部２１８を含み、さらに、アレー型変換部３１７を含む。
【００６８】
最初に、仮想的な球面マイクロホンアレーとして、参考文献３の二重式開球型の球面マイクロホンアレー(dual open sphere microphone array)による収音を想定する。このマイクロホンアレーではマイクロホン素子が半径rの球面もしくは半径αrの球面上に配置されており、α=1.2が推奨されている。
（参考文献３）I. Balmages, B. Rafaely, "Open-Sphere Designs for Spherical Microphone Arrays", IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 2, pp 727-732, 2007.
【００６９】
例えば、Q=P×2とし、Q個の仮想的なマイクロホン素子のうち、P個の仮想的なマイクロホン素子の位置を変形例２と同様とする。つまり、仮想的なマイクロホンアレーの中心が、球面マイクロホンアレー１の中心（原点）から見て[dx dy dz]の位置にあり、仮想的なマイクロホンアレーの球面上のp番目の仮想的なマイクロホンの位置をΩp=(θp,φp)とする。Q個の仮想的なマイクロホン素子のうち、残りP個の仮想的なマイクロホンを中心が[dx dydz]、半径αrの球面上に配置し、q番目の仮想的なマイクロホンの位置をΩq=(θq,φq)=Ωq=(θq,φq)とする。つまり、q番目のマイクロホンとp番目のマイクロホンとは、仮想的なマイクロホンアレーの中心からみて同じ方向にあり、q番目のマイクロホンまでの半径はrであり、q番目のマイクロホンまでの半径はαrである。
【００７０】
外挿推定部２１６は、推定値Aと仮想的なマイクロホンアレーの中心Dと、仮想マイクロホンのP個の位置情報(r,Ωp)(ただし、p=1,2,…,P)とP個の位置情報(αr,Ωq)(ただし、q=P+1,P+2,…,Q)とを受け取り、仮想マイクロホンの位置(r,Ωp)及び(αr,Ωq)での周波数領域の収音信号u^(ω,r,Ωp)(ただし、p=1,2,…,P)、u^(ω,r,Ωq)(ただし、q=P+1,P+2,…,Q)を推定し（Ｓ２１６）、出力する。なお、P個の位置情報(αr,Ωq)(ただし、q=P+1,P+2,…,Q)に代えて、αのみを受け取る構成としてもよい。
【００７１】
＜アレー型変換部３１７＞
アレー型変換部３１７は、周波数領域の収音信号u^(ω,r,Ωp)(ただし、p=1,2,…,P)、u^(ω,r,Ωq)(ただし、q=P+1,P+2,…,Q)を受け取り、次式により、球面波スペクトルun,m(ω,r)およびun,m(ω,αr)に変換する。
【００７２】
【数１４】
2017112415.tif 000016
【００７３】
開球型の球面マイクロホンアレーでは、特異点の影響によりjn(kr)=0になるkおよびrで測定が不可能になる。しかしun,m(ω,r)とun,m(ω,αr)のうち、絶対値の大きい方を選択することで、二重式開球型の球面マイクロホンアレーは特異点の影響を回避することができる。
【００７４】
そこで、アレー型変換部３１７は、
【００７５】
【数１５】
2017112415.tif 000017
【００７６】
を用い、
|un,m(ω,r)|>|un,m(ω,αr)|のとき
【００７７】
【数１６】
2017112415.tif 000018
【００７８】
とし、|un,m(ω,r)|≦|un,m(ω,αr)|のとき
【００７９】
【数１７】
2017112415.tif 000019
【００８０】
として、球面波スペクトルvn,m(ω,r)を求める。
【００８１】
アレー型変換部３１７は、最後に逆球面波スペクトル変換
【００８２】
【数１８】
2017112415.tif 000020
【００８３】
を適用する。これにより、最初に仮想的に設置した二重式開球型の球面マイクロホンアレーの位置に、半径ｒの剛球型マイクロホンアレーを設置した場合の収音信号を周波数領域で得ることができる。アレー型変換部３１７は周波数領域の信号v(ω,r,Ωp)(ただし、p=1,2,…,P)を短時間逆フーリエ変換部２１８に出力する。
【００８４】
＜効果＞
このような構成とすることで、第一実施形態の変形例２と同様の効果を得ることができる。さらに、剛球型のマイクロホンアレーを設置した場合の収音信号を仮想的に得ることができる。
【００８５】
＜第三実施形態＞
剛球型マイクロホンアレーのバーチャルリアリティへの適用が、参考文献４で示されている。
（参考文献４）R. Duraiswami1, D. N. Zotkin1, Z. Li, E. Grassi, N. A. Gumerov, L. S. Davis, "High Order Spatial Audio Capture and Binaural Head-Tracked Playback over Headphones with HRTF Cues", Proceedings 119th convention of AES, 2005.
【００８６】
この参考文献４では、固定された剛球型マイクロホンアレーの収音信号および仮想的な頭部の方向を入力とし、指定方向に頭を向けたときに右耳および左耳に聞こえる信号（バイノーラル信号）を出力する方法が示されている。球面マイクロホンアレーが全方向に収音しているために、マイクロホン素子およびマイクロホンアレーを動かすことなく、指定された任意の方向に対応したバイノーラル信号を生成可能である。すなわち、受聴者の頭部回転をリアルタイムに計測して入力すると、その回転運動に追随してバイノーラル信号を生成して、受聴者に提示できる。
【００８７】
第二実施形態では、仮想的に設置した剛球型マイクロホンアレーの収音信号を求める方法を示した。この収音信号に対して、図７のようにこのバイノーラル信号生成法を組み合わせる構成が、本実施形態の構成である。
【００８８】
第二実施形態と異なる部分を中心に説明する。
【００８９】
図７は第三実施形態に係る音場推定装置４００の機能ブロック図を、図８はその処理フローを示す。
【００９０】
音場推定装置４００は、短時間フーリエ変換部２１１、球面波スペクトル変換部２１２、平面波分解部２１３、外挿推定部２１６、アレー型変換部３１７及び短時間逆フーリエ変換部２１８を含み、さらに、バイノーラル信号生成部４１９を含む。
【００９１】
＜バイノーラル信号生成部４１９＞
バイノーラル信号生成部４１９は、仮想的な頭部の方向（姿勢）と時間領域の収音信号y(t,r,Ωp)(ただし、p=1,2,…,P、剛球型球面マイクロホンアレーの収音信号に相当)とを受け取り、例えば参考文献４に記載の方法により、これらの信号から仮想的な頭部の位置と方向におけるバイノーラル信号y(t,R),y(t,L)を生成し（Ｓ４１９）、音場推定装置４００の出力値として出力する。なお、仮想的な頭部の位置は、仮想的なマイクロホンアレーの中心D=[dx dy dz]に相当し、時間領域の収音信号y(t,r,Ωp)は、仮想的な頭部の位置における剛球型球面マイクロホンアレーの収音信号に相当する。そのため、バイノーラル信号生成部４１９では、仮想的な頭部の方向（姿勢）と時間領域の収音信号y(t,r,Ωp)とから仮想的な頭部の位置と方向におけるバイノーラル信号y(t,R),y(t,L)を生成することができる。
【００９２】
参考文献４の手法は頭での回転運動にしか追随できず、頭の並進運動には対応できない。しかし、本実施形態の構成では、剛球型球面マイクロホンアレーを仮想的に並進移動させることができる。そのために本実施形態は、頭部の回転運動および並進運動の両方に追随してバイノーラル信号を生成することを可能にする。
【００９３】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００９４】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００９５】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００９６】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００９７】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００９８】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2017112415.tif 000024
【図２】
2017112415.tif 000025
【図３】
2017112415.tif 000026
【図４】
2017112415.tif 000027
【図５】
2017112415.tif 000028
【図６】
2017112415.tif 000029
【図７】
2017112415.tif 000030
【図８】
2017112415.tif 000031