(57)【要約】【課題】音場をより広い範囲で精度よく推定することができる技術を提供する。【解決手段】球面マイクロホンアレーで収音された信号に基づく周波数領域収音信号us(ω,j) (ω=1, 2,…, F、j=1, 2,…, J)及び追加マイクロホンアレー群で収音された信号に基づく周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、jc=1, 2,…, Jc)から、コスト関数J(ω) (ω=1, 2,…, F)を用いて、音場を構成する混合波の分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)からなるベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を推定する音場表現ベクトル推定部１２０と、上記音場表現ベクトルa(ω) (ω=1, 2,…, F)及び仮想マイクロホン位置rから、仮想マイクロホン周波数領域収音信号u(ω, r)(ω=1, 2,…, F)を計算する音場計算部１３０と、を備えている。【選択図】図１
2018120129.tif 000002
【特許請求の範囲】
【請求項１】
球面マイクロホンアレー上のマイクロホンの数をJとし、上記マイクロホンの配置位置を指定する仰角と方位角の組を(Θj, Φj) (j=1, 2,…, J)とし、上記球面マイクロホンアレーの半径をraとし、上記球面マイクロホンアレーの中心位置を原点とし、追加マイクロホン群のマイクロホンの数をJcとし、平面波モデルを3次元座標系の原点へ入射角(θq,φq)で入射してくる平面波(q=1, 2,…, Q)のモデルとし、上記球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号をvs(ω, q, j) (ωは周波数を表すインデックスとし、ω=1, 2,…, F、q=1, 2,…, Qとする)とし、上記追加マイクロホン群中の第jcマイクロホン(jc=1, 2,…, Jc)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号をvc(ω, q, j) (ω=1, 2,…, F、q=1, 2,…, Q)とし、ds(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を、次式で定義されるJ次元の第q平面波ベクトルとし、
【数２７】
2018120129.tif 000029
dc(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を、次式で定義されるJc次元の第q球面波ベクトルとし、
【数２８】
2018120129.tif 000030
D(ω) (ω=1, 2,…, F)を、次式で定義される(J+Jc)×Qの辞書行列とし、
【数２９】
2018120129.tif 000031
λを正則化パラメータとし、コスト関数J(ω) (ω=1, 2,…, F)を、音場表現ベクトルa(ω)(ω=1, 2,…, F)と分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いた次式で定義されるJ(ω)とし、
【数３０】
2018120129.tif 000032
上記音場表現ベクトルa(ω)(ω=1, 2,…, F)は、上記分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いて次式で定義されるQ次元ベクトルであるとし、
【数３１】
2018120129.tif 000033
us(ω),uc(ω) (ω=1, 2,…, F)を、それぞれ次式で定義されるJ次元の球面マイクロホンアレーの周波数領域収音信号ベクトル及びJc次元の追加マイクロホン群の周波数領域収音信号ベクトルとして、
【数３２】
2018120129.tif 000034
【数３３】
2018120129.tif 000035
上記球面マイクロホンアレーで収音された信号に基づく周波数領域収音信号us(ω, j) (ω=1, 2,…, F、j=1, 2,…, J)と、上記追加マイクロホンアレー群で収音された信号に基づく周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、上記仮想マイクロホン位置rにおける周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω, r) (ω=1, 2,…, F)を推定する音場推定装置であって、
上記周波数領域収音信号us(ω,j) (ω=1, 2,…, F、j=1, 2,…, J)及び上記周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、jc=1, 2,…, Jc)から、上記コスト関数J(ω) (ω=1, 2,…, F)を用いて、音場を構成する混合波の分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)からなるベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を推定する音場表現ベクトル推定部と、
上記音場表現ベクトルa(ω) (ω=1, 2,…, F)及び上記仮想マイクロホン位置rから、上記仮想マイクロホン周波数領域収音信号u(ω, r)(ω=1, 2,…, F)を計算する音場計算部と、
を含む音場推定装置。
【請求項２】
請求項１の音場推定装置であって、
上記球面マイクロホンアレー上の第jマイクロホンによる時間領域収音信号ys(t, j)を上記周波数領域収音信号us(ω, j) (ω=1, 2,…, F、j=1, 2,…, J)に変換すると共に、上記追加マイクロホン群中の第jcマイクロホンによる時間領域収音信号yc(t, jc)を上記周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、jc=1, 2,…, Jc)に変換する短時間フーリエ変換部と、
上記仮想マイクロホン周波数領域収音信号u(ω,r) (ω=1, 2,…, F)を時間領域収音信号y(t, r) (ω=1, 2,…, F)に変換する短時間逆フーリエ変換部と、
をさらに含む音場推定装置。
【請求項３】
球面マイクロホンアレー上のマイクロホンの数をJとし、上記マイクロホンの配置位置を指定する仰角と方位角の組を(Θj, Φj) (j=1, 2,…, J)とし、上記球面マイクロホンアレーの半径をraとし、上記球面マイクロホンアレーの中心位置を原点とし、追加マイクロホン群のマイクロホンの数をJcとし、平面波モデルを3次元座標系の原点へ入射角(θq,φq)で入射してくる平面波(q=1, 2,…, Q)のモデルとし、上記球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号をvs(ω, q, j) (ωは周波数を表すインデックスとし、ω=1, 2,…, F、q=1, 2,…, Qとする)とし、上記追加マイクロホン群中の第jcマイクロホン(jc=1, 2,…, Jc)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号をvc(ω, q, j) (ω=1, 2,…, F、q=1, 2,…, Q)とし、ds(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を、次式で定義されるJ次元の第q平面波ベクトルとし、
【数３４】
2018120129.tif 000036
dc(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を、次式で定義されるJc次元の第q球面波ベクトルとし、
【数３５】
2018120129.tif 000037
D(ω) (ω=1, 2,…, F)を、次式で定義される(J+Jc)×Qの辞書行列とし、
【数３６】
2018120129.tif 000038
λを正則化パラメータとし、コスト関数J(ω) (ω=1, 2,…, F)を、音場表現ベクトルa(ω)(ω=1, 2,…, F)と分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いた次式で定義されるJ(ω)とし、
【数３７】
2018120129.tif 000039
上記音場表現ベクトルa(ω)(ω=1, 2,…, F)は、上記分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いて次式で定義されるQ次元ベクトルであるとし、
【数３８】
2018120129.tif 000040
us(ω),uc(ω) (ω=1, 2,…, F)を、それぞれ次式で定義されるJ次元の球面マイクロホンアレーの周波数領域収音信号ベクトル及びJc次元の追加マイクロホン群の周波数領域収音信号ベクトルとして、
【数３９】
2018120129.tif 000041
【数４０】
2018120129.tif 000042
上記球面マイクロホンアレーで収音された信号に基づく周波数領域収音信号us(ω, j) (ω=1, 2,…, F、j=1, 2,…, J)と、上記追加マイクロホンアレー群で収音された信号に基づく周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、上記仮想マイクロホン位置rにおける周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω, r) (ω=1, 2,…, F)を推定する音場推定方法であって、
音場表現ベクトル推定部が、上記周波数領域収音信号us(ω,j) (ω=1, 2,…, F、j=1, 2,…, J)及び上記周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、jc=1, 2,…, Jc)から、上記コスト関数J(ω) (ω=1, 2,…, F)を用いて、音場を構成する混合波の分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)からなるベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を推定する音場表現ベクトル推定ステップと、
音場計算部が、上記音場表現ベクトルa(ω) (ω=1, 2,…, F)及び上記仮想マイクロホン位置rから、上記仮想マイクロホン周波数領域収音信号u(ω, r)(ω=1, 2,…, F)を計算する音場計算ステップと、
を含む音場推定方法。
【請求項４】
請求項１又は２の音場推定装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音場推定技術に関し、特に球面マイクロホンアレーと追加マイクロホンを用いて収音した収音信号から音場を推定する技術に関する。
【背景技術】
【０００２】
近年、オーディオ再生に使われるチャネル数およびスピーカ数は、臨場感をより高め同時に再生エリアを拡大するために、2から、5.1へ、さらには22.1へと増加している。チャネル数等が拡張された再生手法の評価検証には、再生された音場を測定、推定することが重要になる。
【０００３】
このような音場推定法として、非特許文献１で球面マイクロホンアレーを用いる方法が提案されている。この方法では、バッフルを持つ剛球型球面マイクロホンアレーに配置された複数のマイクロホンで信号が収音され、そのマルチチャネル信号から音場の平面波分解が求められ、音場が推定される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】B. Rafaely, “Analysis and Design of Spherical Microphone Arrays”, IEEE Trans. Speech Audio Processing, Vol.13, No.1, pp.135-143, Jan. 2005.
【非特許文献２】E. G. Williams, “Fourier Acoustics”, Academic Press, 6.10節, pp.224-231, 1999.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
単一の球面マイクロホンアレーをもちいる従来の音場推定方法では、音場の測定点が半径数ｃｍから十数cmの球面に限定される。その測定点から音場を外挿により推定するために、推定された音場について精度を確保できる範囲が限定されてしまう可能性がある。
【０００６】
本発明は、音場をより広い範囲で精度よく推定することができる音場推定装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様による音場推定装置は、球面マイクロホンアレー上のマイクロホンの数をJとし、上記マイクロホンの配置位置を指定する仰角と方位角の組を(Θj, Φj) (j=1, 2,…, J)とし、上記球面マイクロホンアレーの半径をraとし、上記球面マイクロホンアレーの中心位置を原点とし、追加マイクロホン群のマイクロホンの数をJcとし、平面波モデルを3次元座標系の原点へ入射角(θq,φq)で入射してくる平面波(q=1, 2,…, Q)のモデルとし、上記球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号をvs(ω, q, j) (ωは周波数を表すインデックスとし、ω=1, 2,…, F、q=1, 2,…, Qとする)とし、上記追加マイクロホン群中の第jcマイクロホン(jc=1, 2,…, Jc)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号をvc(ω, q, j) (ω=1, 2,…, F、q=1, 2,…, Q)とし、ds(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を、次式で定義されるJ次元の第q平面波ベクトルとし、
【０００８】
【数１】
2018120129.tif 000003
【０００９】
dc(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を、次式で定義されるJc次元の第q球面波ベクトルとし、
【００１０】
【数２】
2018120129.tif 000004
【００１１】
D(ω) (ω=1, 2,…, F)を、次式で定義される(J+Jc)×Qの辞書行列とし、
【００１２】
【数３】
2018120129.tif 000005
【００１３】
λを正則化パラメータとし、コスト関数J(ω) (ω=1, 2,…, F)を、音場表現ベクトルa(ω)(ω=1, 2,…, F)と分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いた次式で定義されるJ(ω)とし、
【００１４】
【数４】
2018120129.tif 000006
【００１５】
上記音場表現ベクトルa(ω)(ω=1, 2,…, F)は、上記分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いて次式で定義されるQ次元ベクトルであるとし、
【００１６】
【数５】
2018120129.tif 000007
【００１７】
us(ω),uc(ω) (ω=1, 2,…, F)を、それぞれ次式で定義されるJ次元の球面マイクロホンアレーの周波数領域収音信号ベクトル及びJc次元の追加マイクロホン群の周波数領域収音信号ベクトルとして、
【００１８】
【数６】
2018120129.tif 000008
【００１９】
【数７】
2018120129.tif 000009
【００２０】
上記球面マイクロホンアレーで収音された信号に基づく周波数領域収音信号us(ω, j) (ω=1, 2,…, F、j=1, 2,…, J)と、上記追加マイクロホンアレー群で収音された信号に基づく周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、上記仮想マイクロホン位置rにおける周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω, r) (ω=1, 2,…, F)を推定する音場推定装置であって、
上記周波数領域収音信号us(ω,j) (ω=1, 2,…, F、j=1, 2,…, J)及び上記周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, Jc)から、上記コスト関数J(ω) (ω=1, 2,…, F)を用いて、音場を構成する混合波の分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)からなるベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を推定する音場表現ベクトル推定部と、
上記音場表現ベクトルa(ω) (ω=1, 2,…, F)及び上記仮想マイクロホン位置rから、上記仮想マイクロホン周波数領域収音信号u(ω, r)(ω=1, 2,…, F)を計算する音場計算部と、を備えている。
【発明の効果】
【００２１】
音場をより広い範囲で精度よく推定することができる。
【図面の簡単な説明】
【００２２】
【図１】音場推定装置１００の構成の一例を示す図。
【図２】音場推定装置１００の動作の一例を示す図。
【図３】追加マイクロホン群の構成の一例を示す図。
【図４】音場推定装置１０１の構成の一例を示す図。
【図５】音場推定装置２００の構成の一例を示す図。
【図６】音場推定装置２００の動作の一例を示す図。
【図７】音場推定装置２０１の構成の一例を示す図。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００２４】
＜第一実施形態＞
まず、開球型球面マイクロホンアレーモデルについて説明する。
【００２５】
［開球型球面マイクロホンアレーモデル］
開球型球面マイクロホンアレーとは、各マイクロホンは細い骨格で支持されているが、音響的には中空に浮いている状態と等価とみなすことができる球面状のマイクロホンアレーである。以下、球面マイクロホンアレーは、開球型球面マイクロホンアレーであるとする。球面マイクロホンアレーには、半径ra(>0)の球面上にJ個(J≧1)のマイクロホンが配置されており、マイクロホンの配置位置は仰角と方位角の組(Θj, Φj) (j=1, 2,…, J)で指定されるものとする。また、球面マイクロホンアレーの中心位置は原点と同じとする。
【００２６】
球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)の3次元位置r(j)は、仰角と方位角の組(Θj, Φj)が各球面マイクロホンアレーの中心位置から測定したものであるので、式(1)で表される。
【００２７】
【数８】
2018120129.tif 000010
【００２８】
同様に追加マイクロホン群中の第jcマイクロホン(jc=1, 2,…, Jc)の3次元位置rc(jc)は、球面マイクロホンアレーの中心位置から測定した距離、仰角及び方位角の組(rj_c, Θj_c, Φj_c)を用いて、式(2)で表される。
【００２９】
【数９】
2018120129.tif 000011
【００３０】
［平面波モデル］
平面波モデルとは、3次元座標系の原点に入射する平面波のモデルのことであり、具体的には、原点へ入射角(θq, φq)で入射してくる平面波(q=1, 2,…, Q)のモデルのことである。θqは仰角、φqは方位角を表し、Qは1以上の整数とする。なお、Q個の入射角(θq, φq)は、Q個の平面波が全方位から万遍なく取得できるように例えば設定される。例えば、正多面体の頂点の方向から平面波、球面波が入射するようにQ個の入射角(θq, φq)が設定される。
【００３１】
以下、図１から図３を参照して音場推定装置１００について説明する。
【００３２】
図１に示すように、音場推定装置１００は、短時間フーリエ変換部１１０、音場表現ベクトル推定部１２０、音場計算部１３０、短時間逆フーリエ変換部１４０、記録部１９０を例えば備えている。記録部１９０は、音場推定装置１００の処理に必要な情報を適宜記録する構成部である。
【００３３】
球面マイクロホンアレー９０１及び追加マイクロホン群９０２は、音場推定装置１００に接続されている。球面マイクロホンアレー９０１及び追加マイクロホン群９０２による収音信号が、音場推定装置１００に入力される。図３に追加マイクロホン群の配置の一例を示す。追加マイクロホンの位置は、任意である。追加マイクロホンは、例えば、球面マイクロホンアレーを中心として対称に配置される。図３の例では、追加マイクロホンは、直線状に配置されている。
【００３４】
球面マイクロホンアレー上の第jマイクロホンによる時間領域での収音信号である時間領域収音信号をys(t, j)と表すこととする。tを時間を表すパラメータとし、j=1, 2,…, Jとする。また、追加マイクロホン群中の第jcマイクロホンによる時間領域での収音信号である時間領域収音信号をyc(t, jc)と表すこととする。tを時間を表すパラメータとし、jc=1, 2,…, Jcとする。
【００３５】
音場推定装置１００は、球面マイクロホンアレーが収音した時間領域収音信号ys(t, j)(j=1, 2,…, J)と、追加マイクロホン群が収音した時間領域収音信号yc(t, 2, jc)(jc=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、仮想マイクロホン位置rにおける時間領域での収音信号である仮想マイクロホン時間領域収音信号y(t, r)を推定し、出力する。
【００３６】
以下、図２を参照して、音場推定装置１００の動作について説明する。
【００３７】
短時間フーリエ変換部１１０は、短時間フーリエ変換を用いて、球面マイクロホンアレー上の第jマイクロホンによる時間領域収音信号ys(t, j)を、時間領域収音信号ys(t, j)の周波数領域表現である周波数領域収音信号us(n, ω, j)に変換し、出力する（ステップＳ１１０）。、nをフレーム番号を表すインデックスとし、ωを周波数を表すインデックスとし、ω=1, 2,…, Fとする。)に変換し、出力する。また、短時間フーリエ変換部１１０は、追加マイクロホン群中の第jcマイクロホンによる時間領域収音信号yc(t, jc)を、時間領域収音信号yc(t, jc)の周波数領域表現である周波数領域収音信号uc(n, ω, jc)に変換し、出力する（ステップＳ１１０）。nをフレーム番号を表すインデックスとし、ωを周波数を表すインデックスとし、ω=1, 2,…, Fとする。)に変換し、出力する。
【００３８】
以降の処理は、具体的には音場表現ベクトル推定部１２０、音場計算部１３０での処理は、フレームnごとに実行されるが、記載を簡略化するため、フレーム番号nを省略し、us(n, ω,j)、uc(n, ω,jc)を単にus(ω, j)、uc(ω, jc)と表すことにする。
【００３９】
また、周波数領域収音信号us(ω, j) (j=1, 2,…, J)を用いて、J次元ベクトルである、球面マイクロホンアレーの周波数領域収音信号ベクトルus(ω)を式(3)で定義する(ω=1, 2,…, F)。また、周波数領域収音信号uc(ω, j) (jc=1, 2,…, Jc)を用いて、J次元ベクトルである、球面マイクロホンアレーの周波数領域収音信号ベクトルum(ω)を式(4)で定義する(ω=1, 2,…, F)。
【００４０】
【数１０】
2018120129.tif 000012
【００４１】
【数１１】
2018120129.tif 000013
【００４２】
なお、短時間フーリエ変換部１１０は、時間領域信号を周波数領域信号に変換するものであれば、短時間フーリエ変換以外の方法を用いてもよい。
【００４３】
音場表現ベクトル推定部１２０は、周波数領域収音信号us(ω, j)と、uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, J、jc=1, 2,…, Jc)とから、音場を構成する分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)からなるベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を推定し、出力する（ステップＳ１２０）。以下、音場表現ベクトルa(ω)の算出方法について、説明する。
【００４４】
まず、各マイクロホンで観測される信号のモデル、すなわち、周波数領域収音信号us(ω, j)及びuc(ω, jc)の線形結合モデルについて説明する。
【００４５】
［各マイクロホンで観測される信号のモデル］
各マイクロホンで観測される信号は、Q個の平面波からなる集まりであると仮定する。具体的には、周波数領域収音信号us(ω, j)及びuc(ω, j)は、Q個の平面波の周波数領域信号の線形結合として近似表現されるものとする。
【００４６】
球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号vs(ω, q, j)、言い換えれば、平面波が到達したときにマイクロホンで観測される周波数領域での信号は、式(5)で表される。ω=1, 2,…, Fであり、q=1, 2,…, Qである。
【００４７】
【数１２】
2018120129.tif 000014
【００４８】
kは周波数インデックスωに基づき決定される波数であり、^kqは式(6)で表されるベクトルである。なお、iは虚数単位、・は内積記号である。
【００４９】
【数１３】
2018120129.tif 000015
【００５０】
また、追加マイクロホン群の第jcマイクロホン(jc=1, 2,…, Jc)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号vc(ω, q, j)は、式(7)で表される。ω=1, 2,…, Fであり、q=1, 2,…, Qである。
【００５１】
【数１４】
2018120129.tif 000016
【００５２】
ここで、音場を構成するQ個の平面波の分解係数ap(ω, 1),…, ap(ω, Q)を順に並べた、Q次元ベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を式(8)で定義すると、
【００５３】
【数１５】
2018120129.tif 000017
【００５４】
周波数領域収音信号u(ω, m, j)は、式(9)(10)のようなQ個の平面波周波数領域観測信号vs(ω, q, m, j)とQ個の球面波周波数領域観測信号vc(ω, q, m, j)との線形結合として近似表現される。
【００５５】
【数１６】
2018120129.tif 000018
【００５６】
次に、音場表現ベクトルa(ω)(ω=1, 2,…, F)の算出方法について説明する。
【００５７】
［音場表現ベクトルa(ω)の算出方法］
まず、J次元ベクトルである、球面マイクロホンアレーの平面波ベクトルds(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を式(11)で定義する。
【００５８】
【数１７】
2018120129.tif 000019
【００５９】
同様に、Jc次元ベクトルである、追加マイクロホン群の平面波ベクトルdc(ω, q)(ω=1, 2,…, F、q=1, 2,…, Q)を式(12)で定義する。
【００６０】
【数１８】
2018120129.tif 000020
【００６１】
さらに、dp(ω, q)及びdc(ω,a q) (ω=1, 2,…, F、q=1, 2,…, Q)を用いて、(J+Jc)×Qの辞書行列D(ω)(ω=1, 2,…, F)を式(13)で定義する。
【００６２】
【数１９】
2018120129.tif 000021
【００６３】
つまり、辞書行列D(ω)の第q列(q=1, 2,…, Q)は、仰角と方位角の組(θq,φq)で指定された方向から原点へ振幅１の平面波が入射した場合の、原点での位相が0の状態での球面マイクロホンアレー及び追加マイクロホン群の平面波周波数領域観測信号からなるベクトルdp(ω, q)及びdc(ω, q)から構成される。
【００６４】
辞書行列D(ω)及び音場表現ベクトルa(ω)と、球面マイクロホンアレーの周波数領域収音信号ベクトルus(ω)と、追加マイクロホン群の周波数領域収音信号ベクトルuc(ω)とを用いて、コスト関数J(ω)を式(14)で定義する。ω=1, 2,…, Fである。
【００６５】
【数２０】
2018120129.tif 000022
【００６６】
式(14)の第1項は式(9)(10)の線形結合の誤差に由来するものである。また、式(14)の第2項は、正則化項であり、音場表現ベクトルのL1ノルムに相当するΣ|ap(ω, q)|と正則化パラメータλを用いて表現される。
【００６７】
音場表現ベクトルa(ω)をコスト関数J(ω)の最小値を実現するベクトルとして算出する。式(14)の第2項を正則化項として用いることにより、特定のqについてのap(ω, q)の組以外のqについてはap(ω, q)の値を0に近づける効果を持つ。すなわち、qに関して疎（スパース）な音場表現ベクトルa(ω)が算出される。これにより、あらかじめ想定する、線形結合による近似に用いる平面波の個数Qがマイクロホンの数を大きく上回るような冗長な場合であっても、λを適切に設定することで、平面波をうまく抽出することが可能となる。
【００６８】
音場計算部１３０は、ステップＳ１２０で推定した音場表現ベクトルa(ω)と、仮想マイクロホン位置rから、式(15)を用いて、仮想マイクロホンの位置rでの周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω,r)(ω=1, 2,…, F)を計算し、出力する（ステップＳ１３０）。
【００６９】
【数２１】
2018120129.tif 000023
【００７０】
なお、入力となる仮想マイクロホン位置rは、音場推定装置１００のユーザが求めたい音場の位置として自由に設定することができる。
【００７１】
短時間逆フーリエ変換部１４０は、仮想マイクロホン周波数領域収音信号u(ω, r)(ω=1, 2,…, F)、フレーム番号を省略しないで記載すると仮想マイクロホン周波数領域収音信号u(n, ω, r)(ω=1, 2,…, F)から、短時間逆フーリエ変換を用いて、仮想マイクロホン周波数領域収音信号u(ω, r)の仮想マイクロホンによる時間領域での収音信号である仮想マイクロホン時間領域収音信号y(t, r)に変換し、出力する（ステップＳ１４０）。
【００７２】
なお、時間領域信号を周波数領域信号に変換する方法として短時間フーリエ変換以外の方法を用いた場合は、当該方法に対応する逆変換を用いればよい。
【００７３】
［変形例１］
音場推定装置１００では、球面マイクロホンアレー９０１及び追加マイクロホン群９０２による収音信号が時間領域収音信号ys(t, j) (j=1, 2,…, J)、yc(t,jc) (jc=1, 2,…, Jc)として入力されいてる。
【００７４】
しかし、球面マイクロホンアレー９０１及び追加マイクロホン群９０２による収音信号が周波数領域収音信号us(ω, j)、uc(ω, j) (ω=1, 2,…, F、j=1, 2,…, J、jc=1, 2,…, Jc)として入力されてもよい。
【００７５】
周波数領域収音信号us(ω, j)、uc(ω, j)を入力とするように構成した音場推定装置１０１を図４に示す。図４に示すように、音場推定装置１０１は、音場表現ベクトル推定部１２０、音場計算部１３０及び記録部１９０を例えば備えている。音場表現ベクトル推定部１２０、音場計算部１３０及び記録部１９０は、それぞれ音場推定装置１００の音場表現ベクトル推定部１２０、音場計算部１３０及び記録部１９０と同一である。
【００７６】
音場推定装置１０１は、球面マイクロホンアレーが収音した周波数領域収音信号us(ω, 1, j)と、追加マイクロホン群が収音した周波数領域収音信号uc(ω, j) (ω=1, 2,…, F、j=1, 2,…, J、jc=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、仮想マイクロホン位置rにおける周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω, r)を推定し、出力する。
【００７７】
本実施形態によれば、音場を平面波の集まりとみなし、その分解係数を周波数領域で求めることにより音場を推定する際に、球面マイクロホンアレーの収音信号とともに追加マイクロホン群の収音信号を用いることで、音場を高精度に推定できる空間範囲を広げることが可能となる。特に、分解係数からなる音場表現ベクトルのL1ノルムに相当する項を含む正則化項を用いて定義されるコスト関数J(ω)を用いることで、スパースな音場表現ベクトルが算出され、近似に用いるべき平面波をうまく抽出することが可能となる。
【００７８】
＜第二実施形態＞
第一実施形態では、開球型球面マイクロホンアレーを用いて収音した収音信号から音場を推定する方法について説明した。本実施形態では、剛球型球面マイクロホンアレーを用いて収音した収音信号から音場を推定する方法について説明する。
【００７９】
まず、剛球型球面マイクロホンアレーモデルについて説明する。
【００８０】
［剛球型球面マイクロホンアレーモデル］
球面マイクロホンアレーは、剛球型球面マイクロホンアレーであるとする。球面マイクロホンアレーには、半径ra(>0)の球面上にJ個(J≧1)のマイクロホンが配置されており、マイクロホンの配置位置は仰角と方位角の組(Θj, Φj) (j=1, 2,…, J)で指定されるものとする。また、球面マイクロホンアレーの中心位置は原点と同じとする。
【００８１】
つまり、剛球型球面マイクロホンアレーモデルは、球面マイクロホンアレーが剛球型球面マイクロホンアレーに変更された点以外は第一実施形態の球面マイクロホンアレーモデルと同一である。
【００８２】
［平面波モデル］
平面波モデルは、第一実施形態のそれと同様である。
【００８３】
以下、図５から図６を参照して音場推定装置２００について説明する。図４に示すように、音場推定装置２００は、短時間フーリエ変換部１１０、音場表現ベクトル推定部２２０、音場計算部２３０、短時間逆フーリエ変換部１４０及び記録部１９０を例えば備えている。記録部１９０は、音場推定装置２００の処理に必要な情報を適宜記録する構成部である。
【００８４】
球面マイクロホンアレー９０３及び追加マイクロホン群９０４は音場推定装置２００に接続されている。球面マイクロホンアレー９０３及び追加マイクロホン群９０４による収音信号が音場推定装置２００に入力される。
【００８５】
音場推定装置２００は、球面マイクロホンアレーが収音した時間領域収音信号ys(t, 1, j)(j=1, 2,…, J)と、追加マイクロホン群が収音した時間領域収音信号yc(t, 2, j)(jc=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、仮想マイクロホン位置rにおける時間領域での収音信号である仮想マイクロホン時間領域収音信号y(t, r)を推定し、出力する。
【００８６】
図６を参照して、音場推定装置２００の動作について説明する。
【００８７】
短時間フーリエ変換部１１０は、時間領域収音信号ys(t, j)及びyc(t, jc) (j=1, 2,…, J、jc=1, 2,…, Jc)を、短時間フーリエ変換を用いて、時間領域収音信号ys(t, j)、yc(t, jc)の周波数領域表現である周波数領域収音信号us(n, ω, j)及びuc(n, ω, jc)に変換し、出力する（ステップＳ１１０）。nをフレーム番号を表すインデックスとし、ωは周波数を表すインデックスとし、ω=1, 2,…, Fとする。
【００８８】
以降の処理が、具体的には音場表現ベクトル推定部２２０、音場計算部２３０での処理が、フレームnごとに実行されるのは、第一実施形態と同様であり、記載を簡略化するため、フレーム番号nを省略し、us(n, ω, j)を単にus(ω, j)と表すことにする。
【００８９】
音場表現ベクトル推定部２２０は、周波数領域収音信号us(ω,j)、uc(ω,jc) (ω=1, 2,…, F、j=1, 2,…, J、jc=1, 2,…, Jc)から、音場を構成する分解係数ap(ω, q) (ω=1, 2,…, F、q=1, 2,…, Q)からなるベクトルである音場表現ベクトルa(ω)(ω=1, 2,…, F)を推定し、出力する（ステップＳ２２０）。以下、音場表現ベクトルa(ω)の算出方法について、説明する。
【００９０】
まず、各マイクロホンで観測される信号のモデルについて説明する。
【００９１】
［各マイクロホンで観測される信号のモデル］
第一実施形態と同様、周波数領域収音信号us(ω,j)及びuc(ω,jc)は、Q個の平面波の周波数領域信号の線形結合として近似表現されるものとする。
【００９２】
まず、球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号vs(ω, q, j)について説明する。ω=1, 2,…, Fであり、q=1, 2,…, Qである。
【００９３】
球面マイクロホンアレー９０３と同一の特徴を有する剛球型球面マイクロホンアレーを仮定し、その剛球型球面マイクロホンアレーの中心が3次元座標系の原点と一致している場合を考える。このとき、仰角及び方位角の組(θq, φq)で指定された方向から振幅1の平面波が入射した場合、音場は入射波と散乱波から構成されることを考慮すると、剛球型球面マイクロホンアレー上の第jマイクロホン(j=1, 2,…, J)で観測される平面波の周波数領域での観測信号vs(ω, q, j)は、非特許文献２より式(16)で表される。ω=1, 2,…, Fであり、q=1, 2,…, Qである。
【００９４】
【数２２】
2018120129.tif 000024
【００９５】
Ynw(x, y)は次数n, wの球面調和関数であり、Ynw*(x, y)は次数n, wの球面調和関数の複素共役であり、jn(x)はオーダーnの球ベッセル関数であり、hn(x)はオーダーnの第1種ハンケル関数である。また、jn'(x)、hn'(x)は、それぞれjn(x)、hn(x)の微分関数である。なお、kは周波数インデックスωに基づき決定される波数である。
【００９６】
次に、追加マイクロホン群中の第jcマイクロホン(jc=1, 2,…, Jc)で観測される平面波の周波数領域での観測信号である平面波周波数領域観測信号vc(ω, q, jc)について説明する。ω=1, 2,…, Fであり、q=1, 2,…, Qである。
【００９７】
先ほどと同様、球面マイクロホンアレー９０３と同一の特徴を有する剛球型球面マイクロホンアレーを仮定し、その剛球型球面マイクロホンアレーの中心が3次元座標系の原点と一致している場合を考える。このとき、追加マイクロホン群中の第jcマイクロホン(jc=1, 2,…, Jc)で観測される平面波の周波数領域での観測信号vc(ω, q, jc)は、非特許文献２より式(17)で表される(ω=1, 2,…, F、q=1, 2,…, Q)。
【００９８】
【数２３】
2018120129.tif 000025
【００９９】
周波数領域収音信号u(ω,m,j)は、式(16)の平面波周波数領域観測信号vs(ω, q, j)及び式(17)の平面波周波数領域観測信号vc(ω, q, m, jc)を用いて、式(9)(10)と同一の線形結合として近似表現される。
【０１００】
［音場表現ベクトルa(ω)の算出方法］
式(16)で定義される平面波周波数領域観測信号vs(ω, q, j)及び式(17)で定義される平面波周波数領域観測信号vc(ω, q, jc)を用いて、辞書行列D(ω)を式(13)と同様に、コスト関数J(ω)を式(14)と同様に定義する。第一実施形態と同様のLasso型の最適化問題を解くことに帰着するため、音場表現ベクトルa(ω)を算出することができる。
【０１０１】
なお、式(16)の観測信号vs(ω, q, j)と式(17)の観測信号vc(ω, q, jc)は極限（nについての無限和）をもって定義されているため、実際には有限のn（以下、Nとすると、Nは0以上の整数となる）を用いて数値計算することにより観測信号vs(ω, q, j)及び観測信号vc(ω, q, j)の値を求める必要がある。つまり、観測信号vs(ω, q, j)及び観測信号vc(ω, q, j)の計算式として、式(16)と式(17)の代わりに、式(16)’と式(17)’を用いる。
【０１０２】
【数２４】
2018120129.tif 000026
【０１０３】
【数２５】
2018120129.tif 000027
【０１０４】
例えば、ra=4cmのとき、N=10程度にとればよい。
【０１０５】
音場計算部２３０は、ステップＳ２２０で推定した音場表現ベクトルa(ω)、仮想マイクロホン位置rから、式(18)を用いて、仮想マイクロホンの位置rでの周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω,r)(ω=1, 2,…, F)を計算し、出力する（ステップＳ２３０）。
【０１０６】
【数２６】
2018120129.tif 000028
【０１０７】
ここで、(Θ+, Φ+)は3次元座標系の原点からみた仮想マイクロホン位置rの仰角及び方位角の組である。
【０１０８】
短時間逆フーリエ変換部１４０は、仮想マイクロホン周波数領域収音信号u(ω, r)(ω=1, 2,…, F)、フレーム番号を省略しないで記載すると仮想マイクロホン周波数領域収音信号u(n, ω, r)(ω=1, 2,…, F)から、短時間逆フーリエ変換を用いて、仮想マイクロホン周波数領域収音信号u(ω, r)を仮想マイクロホンによる時間領域での収音信号である仮想マイクロホン時間領域収音信号y(t, r)に変換し、出力する（ステップＳ１４０）。
【０１０９】
［変形例２］
第１実施形態の変形例１と同様に、音場推定装置２００を構成してもよい。つまり、音場推定装置２００では、球面マイクロホンアレー９０３及び追加マイクロホン群９０４による収音信号が時間領域収音信号ys(t, j)、yc(t, jc) (j=1, 2,…, J、jc=1, 2,…, Jc)として入力されているが、球面マイクロホンアレー９０３及び追加マイクロホン群９０４による収音信号が周波数領域収音信号us(ω, j)、uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, J、jc=1, 2,…, Jc)として入力されてもよい。
【０１１０】
周波数領域収音信号us(ω, j)、uc(ω, jc)を入力とする音場推定装置２０１を図７に示す。図７に示すように音場推定装置２０１は、音場表現ベクトル推定部２２０、音場計算部２３０及び記録部１９０を備えている。音場表現ベクトル推定部２２０、音場計算部２３０、記録部１９０は、それぞれ音場推定装置２００の音場表現ベクトル推定部２２０、音場計算部２３０、記録部１９０と同一である。
【０１１１】
音場推定装置２０１は、球面マイクロホンアレーが収音した周波数領域収音信号us(ω, j)と、追加マイクロホン群が収音した周波数領域収音信号uc(ω, jc) (ω=1, 2,…, F、j=1, 2,…, J、jc=1, 2,…, Jc)と、音場推定の対象となる仮想マイクロホンの配置位置である仮想マイクロホン位置rとから、仮想マイクロホン位置rにおける周波数領域での収音信号である仮想マイクロホン周波数領域収音信号u(ω, r)を推定し、出力する。
【０１１２】
本実施形態の発明によれば、音場を平面波の集まりとみなし、その分解係数を周波数領域で求めることにより音場を推定する際に、球面マイクロホンアレーからの収音信号とともに追加マイクロホン群からの収音信号を用いることで、音場を高精度に推定できる空間範囲を広げることが可能となる。特に、分解係数からなる音場表現ベクトルのL1ノルムに相当する項を含む正則化項を用いて定義されるコスト関数J(ω)を用いることで、スパースな音場表現ベクトルが算出され、近似に用いるべき平面波をうまく抽出することが可能となる。
【０１１３】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また、必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１１４】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１１５】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１１６】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１１７】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１１８】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１１９】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２０】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１２１】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018120129.tif 000043
【図２】
2018120129.tif 000044
【図３】
2018120129.tif 000045
【図４】
2018120129.tif 000046
【図５】
2018120129.tif 000047
【図６】
2018120129.tif 000048
【図７】
2018120129.tif 000049