(57)【要約】【課題】音場を機動的に収音することができる音場収音再生装置等を提供する。【解決手段】音場収音再生装置は、基準座標系における各マイクロホンアレイの位置から得られる物体座標系の原点位置と、各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列とを用いて、各マイクホンアレイに搭載された各マイクロホンの基準座標系における座標を得、その座標から仮想マイクロホンアレイのマイクロホンの座標への伝搬を記述する自由空間グリーン関数と、各マイクロホンアレイの周波数領域の収音信号とから各マイクロホンアレイでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面を求め、複数の波面を加算し、各マイクロホンアレイでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面の合計値を求める。【選択図】図２
2017028494.tif 000002
【特許請求の範囲】
【請求項１】
Mを2以上の整数の何れか、m=1,2,…,M、Pmを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはPm個のマイクロホンが搭載されるものとし、
P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をrv(p')とし、基準座標系における前記各マイクロホンアレイの位置から得られる物体座標系の原点位置smと、前記各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列Rmとを用いて、各マイクホンアレイmに搭載された各マイクロホンpmの基準座標系における座標rm(p)を得、座標rm(p)から座標rV(p')への伝搬を記述する自由空間グリーン関数G(rm(p),rV(p'))と、前記各マイクロホンアレイmの周波数領域の収音信号Xm=[Xm(1) Xm(2) … Xm(Pm)]とから各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面XV,m(p')を求めるアレイブロック伝搬部と、
M個の前記波面XV,m(p')を加算し、M個の前記各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面の合計値XV(p')を求める伝搬加算部と、を含む、
音場収音再生装置。
【請求項２】
請求項１の音場収音再生装置であって、
前記各マイクロホンアレイmに搭載されるマイクロホン間の間隔をdとし、前記各マイクロホンアレイmの各マイクロホンの位置にダイポール特性を持つスピーカが仮想的に配置されるものとし、そのスピーカは近接配置された2つの無指向性スピーカで表現されるものとし、2つの無指向性スピーカの間隔を2δとし、前記アレイブロック伝搬部は、前記波面XV,m(p')を
【数８】
2017028494.tif 000010
として求める、
音場収音再生装置。
【請求項３】
請求項２の音場収音再生装置であって、
前記アレイブロック伝搬部は、前記仮想マイクロホンアレイよりも各マイクロホンの座標rm(p)が、音源に対して、後方に位置する場合には、そのマイクロホンの収音信号Xm(p)を前記波面XV,m(p')を求める際に除外する、
音場収音再生装置。
【請求項４】
請求項１から請求項３の何れかの音場収音再生装置であって、
前記各マイクロホンアレイmの位置と姿勢とを計測する位置姿勢計測部を含む、
音場収音再生装置。
【請求項５】
Mを2以上の整数の何れか、m=1,2,…,M、Pmを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはPm個のマイクロホンが搭載されるものとし、
P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をrv(p')とし、基準座標系における前記各マイクロホンアレイの位置から得られる物体座標系の原点位置smと、前記各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列Rmとを用いて、各マイクホンアレイmに搭載された各マイクロホンpmの基準座標系における座標rm(p)を得、座標rm(p)から座標rV(p')への伝搬を記述する自由空間グリーン関数G(rm(p),rV(p'))と、前記各マイクロホンアレイmの周波数領域の収音信号Xm=[Xm(1) Xm(2) … Xm(Pm)]とから各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面XV,m(p')を求めるアレイブロック伝搬ステップと、
M個の前記波面XV,m(p')を加算し、M個の前記各マイクロホンアレイmでキャプチャした音波面から前記仮想マイクロホンアレイに直接伝搬する波面の合計値XV(p')を求める伝搬加算ステップと、を含む、
音場収音再生方法。
【請求項６】
請求項５の音場収音再生方法であって、
前記各マイクロホンアレイmに搭載されるマイクロホン間の間隔をdとし、前記各マイクロホンアレイmの各マイクロホンの位置にダイポール特性を持つスピーカが仮想的に配置されるものとし、そのスピーカは近接配置された2つの無指向性スピーカで表現されるものとし、2つの無指向性スピーカの間隔を2δとし、前記アレイブロック伝搬ステップは、前記波面XV,m(p')を
【数９】
2017028494.tif 000011
として求める、
音場収音再生方法。
【請求項７】
請求項６の音場収音再生方法であって、
前記アレイブロック伝搬ステップは、前記仮想マイクロホンアレイよりも各マイクロホンの座標rm(p)が、音源に対して、後方に位置する場合には、そのマイクロホンの収音信号Xm(p)を前記波面XV,m(p')を求める際に除外する、
音場収音再生方法。
【請求項８】
請求項１から請求項４の何れかに記載の音場収音再生装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある音場に設置されたマイクロホンアレイで音信号を収音し、その音信号を用いてスピーカアレイでその音場を再生する波面合成法（Wave Field Synthesis）の技術に関する。
【背景技術】
【０００２】
音波面を多数のマイクロホンでキャプチャし、波面再構成フィルタ（wave field reconstruction filter：以下「ＷＦＲフィルタ」ともいう）で処理し、多数のスピーカで再構成することで、音場を伝送し再現することが可能になっている（非特許文献１）。そのシステムは、マイクロホンアレイ１、ＷＦＲフィルタ４、スピーカアレイ７から構成され（図１参照）、マイクロホンアレイ１を構成するマイクロホン１−ｐとスピーカアレイ７を構成するスピーカ７−ｐの総数Pは数十以上になる。ただし、p=1,2,…,Pとする。P個のマイクロホン１−ｐは数ｃｍ以下の間隔で等間隔に配置され、P個のスピーカ７−ｐも同じ間隔で等間隔に配置される。ＷＦＲフィルタ４は、短時間フーリエ変換部４１、空間フーリエ変換部４２、時空間周波数領域でのフィルタ部４３、空間逆フーリエ変換部４４、短時間逆フーリエ変換部４５からなる。フィルタ部４３で用いるフィルタ係数は波面の伝搬を記述するキルヒホッフ・ヘルムホルツ方程式から導出される。この方法は、音場をそのまま再現するために、３Ｄ映像コンテンツと組み合わせたときに、音の臨場感を飛躍的に高めることができる。またこの方法による音場再現は、多人数へ等しく臨場感を提供でき、受聴エリアがこれまでのマルチチャネル再生方法と比較してとても広い。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】小山、「音場再現技術における数理問題」、日本音響学会誌、2012年、Vol.68、No.11,pp.584-589.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、広い範囲で音波面をキャプチャし再構成するために長さ数ｍ以上のマイクロホンアレイが必要になる。そのため、音場を機動的に収音することが非常に困難である。例えば、対象が動いているときに、その動きにマイクロホンアレイを追随させたり、対象にマイクロホンアレイを近づけたりすることが困難である。それは、マイクロホンアレイが長さ数ｍ以上になるため、ビデオカメラのようには機動的に動かせないためである。
【０００５】
本発明は、音場を機動的に収音することができる音場収音再生装置、その方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、音場収音再生装置は、Mを2以上の整数の何れか、m=1,2,…,M、Pmを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはPm個のマイクロホンが搭載されるものとし、P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をrv(p')とし、基準座標系における各マイクロホンアレイの位置から得られる物体座標系の原点位置smと、各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列Rmとを用いて、各マイクホンアレイmに搭載された各マイクロホンpmの基準座標系における座標rm(p)を得、座標rm(p)から座標rV(p')への伝搬を記述する自由空間グリーン関数G(rm(p),rV(p'))と、各マイクロホンアレイmの周波数領域の収音信号Xm=[Xm(1)Xm(2)…Xm(Pm)]とから各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面XV,m(p')を求めるアレイブロック伝搬部と、M個の波面XV,m(p')を加算し、M個の各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面の合計値XV(p')を求める伝搬加算部と、を含む。
【０００７】
上記の課題を解決するために、本発明の他の態様によれば、音場収音再生方法は、Mを2以上の整数の何れか、m=1,2,…,M、Pmを2以上の整数の何れかとし、第一の音場にはM個のマイクロホンアレイmが配置されるものとし、各マイクロホンアレイmにはPm個のマイクロホンが搭載されるものとし、P'を2以上の整数の何れか、p'=1,2,…,P'とし、仮想的に配置され、P'個のマイクロホンp'が仮想的に搭載されるマイクロホンアレイを仮想マイクロホンアレイとし、仮想マイクロホンアレイの座標系を基準座標系とし、各マイクロホンアレイmの座標系を物体座標系とし、仮想マイクロホンアレイに仮想的に搭載されるマイクロホンp'の基準座標系における座標をrv(p')とし、基準座標系における各マイクロホンアレイの位置から得られる物体座標系の原点位置smと、各マイクロホンアレイの姿勢から得られる物体座標系から基準座標系への回転変換行列Rmとを用いて、各マイクホンアレイmに搭載された各マイクロホンpmの基準座標系における座標rm(p)を得、座標rm(p)から座標rV(p')への伝搬を記述する自由空間グリーン関数G(rm(p),rV(p'))と、各マイクロホンアレイmの周波数領域の収音信号Xm=[Xm(1)Xm(2)…Xm(Pm)]とから各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面XV,m(p')を求めるアレイブロック伝搬ステップと、M個の波面XV,m(p')を加算し、M個の各マイクロホンアレイmでキャプチャした音波面から仮想マイクロホンアレイに直接伝搬する波面の合計値XV(p')を求める伝搬加算ステップと、を含む。
【発明の効果】
【０００８】
本発明によれば、音場を機動的に収音することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】従来技術に係る音場収音再生装置の機能ブロック図。
【図２】第一実施形態に係る音場収音再生装置の機能ブロック図。
【図３】第一実施形態に係る音場収音再生装置の処理フローの例を示す図。
【図４】仮想マイクロホンアレイと各マイクロホンアレイ間の位置計測と計測結果の取り扱い説明するための図。
【図５】マイクロホンアレイの一部が仮想マイクロホンアレイよりも後方にある場合を説明するための図。
【図６】第一実施形態の変形例に係るアレイブロック伝搬部の処理を説明するための図。
【図７】第二実施形態に係る音場収音再生装置の機能ブロック図。
【図８】第二実施形態の変形例に係る音場収音再生装置の機能ブロック図。
【図９】第二実施形態の変形例に係る音場収音再生装置の機能ブロック図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、説明する。以下の説明において、テキスト中で使用する記号「~」、「−」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１１】
＜第一実施形態のポイント＞
本実施形態では、従来技術では長さ数ｍ以上もあったマイクロホンアレイを、それよりも小さいマイクロホンアレイに分割し、マイクロホンアレイの可搬性を高め、音場の機動的な収音を可能とする。しかし、線状、あるいは、面状に配置されるマイクロホンアレイを分割し、各マイクロホンアレイの位置や姿勢（向き、方向）を変えてしまうと、従来技術では、複数のマイクロホンアレイでそれぞれキャプチャした音波面を、再生側のスピーカアレイで適切に再構成することができない。本実施形態では、各マイクロホンアレイの位置、姿勢をセンシングし、各マイクロホンアレイでキャプチャした音波面を仮想的な単一のマイクロホンアレイ（以下「仮想マイクロホンアレイ」ともいう）へに仮想的に伝搬させ、そこで統合する。
【００１２】
＜第一実施系板に係る音場収音再生装置＞
図２は第一実施形態に係る音場収音再生装置１００の機能ブロック図を、図３はその処理フローを示す。
【００１３】
音場収音再生装置１００は、M個のマイクロホンアレイ１ｍと、仮想アレイ合成部３と波面再構成フィルタ５とスピーカアレイ７とを含む。ただし、Mは２以上の整数の何れかであり、m=1,2,…,Mである。さらに、仮想アレイ合成部３は、M個の短時間フーリエ変換部３１ｍと、M個のアレイブロック伝搬部３２ｍと、伝搬加算部３５と、位置姿勢計測部３７とを含む。波面再構成フィルタ５は、空間フーリエ変換部５２と、フィルタ部５３と、空間逆フーリエ変換部５４と、短時間逆フーリエ変換部５５とを含む。
【００１４】
M個のマイクロホンアレイ１ｍで収音された時間領域の収音信号xm(t)は、仮想アレイ合成部３に入力される。ただし、tは時刻を表すインデックスである。M個の収音信号xm(t)は、それぞれM個の短時間フーリエ変換部３１ｍにより周波数領域の収音信号Xm(i)へ変換される。ただし、iはフレーム時刻を表すインデックスである。各マイクロホンアレイ１ｍの位置と姿勢は位置姿勢計測部３７により計測される。M個のアレイブロック伝搬部３２ｍにおいて、各マイクロホンアレイ１ｍから仮想マイクロホンアレイへの音波面の伝搬が算出される。各伝搬波面は伝搬加算部３５でミキシングにより統合される。この結果が、後段の波面再構成フィルタ５への入力となる。以下、各部の詳細を説明する。
【００１５】
＜マイクロホンアレイ１ｍ＞
第一の音場にM個のマイクロホンアレイ１ｍが配置され、各マイクロホンアレイ１ｍにはPm個の無指向性マイクロホン１−ｐｍが間隔ｄで等間隔に搭載される。本実施形態では、P1=P2=…=PM=Pとし、pm=1m,2m,…,Pm（ただし、下付き添え字ｍはマイクロホンアレイを示すインデックスである）の場合を説明する。
【００１６】
第一の音場に配置されたM個のマイクロホンアレイ１ｍは、第一の音場の音源Ｓで発せられた音を収音して（Ｓ１）、時間領域の収音信号xm(t)を生成する。生成された信号は、仮想アレイ合成部３内の短時間フーリエ変換部３１ｍに送られる。マイクロホンアレイ１ｍに搭載されるp番目のマイクロホン１−ｐｍで収音された時間領域の時刻ｔの収音信号をxm(p,t)と表記する。ただし、p=1,2,…,Pとし、xm(t)=[xm(1,t),xm(2,t),…,xm(P,t)]とする。
【００１７】
＜短時間フーリエ変換部３１ｍ＞
短時間フーリエ変換部３１ｍは、マイクロホンアレイ１ｍに搭載されるP個のマイクロホンで収音された時間領域の信号xm(t)をフーリエ変換により周波数領域信号Xm(i)=[Xm(1,i),Xm(2,i),…,Xm(P,i)]に変換する（Ｓ３１）。生成された周波数領域信号Xm(i)は、アレイブロック伝搬部３２ｍに送られる。例えば、短時間離散フーリエ変換により周波数領域信号Xm(p,i)が生成される。もちろん、他の既存の方法により周波数領域信号Xm(p,i)を生成してもよい。また、オーバーラップアド等の方法にしたがって周波数領域信号Xm(p,i)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば10msごとといったフレームごとに処理を行う。例えば、ｍ番目のマイクロホンアレイ１ｍ上のｐ番目のマイクロホン１−ｐｍで収音された信号xm(p,t)を、Ｆ点（シフト長）ごとに長さ２Ｆ（フレーム長）のフレームにフレーム化し、短時間フーリエ変換部３１ｍにより次式のように高速フーリエ変換（ＦＦＴ）することで、周波数ごとに波面がキャプチャされる。
【数１】
2017028494.tif 000003
ただしiはブロック化した信号フレームのフレーム時刻である。信号のサンプリング周波数をfSとすると、Xm,f(p,i)はフレームiにおけるマイクロホン１−ｐｍの収音信号の周波数fSf/2F[Hz]の成分を表す。
【００１８】
＜位置姿勢計測部３７＞
位置姿勢計測部３７は、各マイクロホンアレイ１ｍの位置と姿勢とを計測し（Ｓ３７）、出力する。
【００１９】
仮想マイクロホンアレイ９と各マイクロホンアレイ１ｍ間の位置計測と計測結果の取り扱いを図４をもちいて説明する。
【００２０】
第一の音場に、P'個のマイクロホンp'が間隔ｄで等間隔に仮想的に搭載されるマイクロホンアレイ（以下「仮想マイクロホンアレイ」ともいう）９を仮想的に配置する。なお、P'を2以上の整数の何れか、p'=1,2,…,P'とする。
【００２１】
仮想マイクロホンアレイ９の座標系を基準座標系(Xv,Yv,Zv)とし、各マイクロホンアレイ１ｍにはりつけた座標系を物体座標系(Xm,Ym,Zm)とし、マイクロホンアレイ１ｍ毎に物体座標系(Xm,Ym,Zm)を持つ。仮想マイクロホンアレイに仮想的に搭載されるマイクロホン９−ｐ’の基準座標系における座標をrv(p')とし、各マイクロホンアレイ１ｍの位置から得られる、基準座標系における物体座標系の原点位置をsm(i)とし、各マイクロホンアレイ１ｍの姿勢から得られる物体座標系(Xm,Ym,Zm)から基準座標系(Xv,Yv,Zv)への回転変換行列をRm(i)とする。
【００２２】
基準座標系(Xv,Yv,Zv)と各マイクロホンアレイ１ｍにはりつけた物体座標系(Xm,Ym,Zm)との関係は、例えば、磁気式の位置姿勢計測システムをもちい、各マイクロホンアレイ１ｍに磁気センサを搭載することで計測できる（参考文献１）。
（参考文献１）舘ススム、広瀬通孝、「バーチャル・テック・ラボ―「超」現実への接近」、株式会社工業調査会、１９９２年、p.36-39
【００２３】
もしくは、複数台のカメラを使用し、三角測量の原理で計測することも可能である。これら方式にもとづく位置姿勢計測部３７により、基準座標系(Xv,Yv,Zv)における物体座標系(Xm,Ym,Zm)の原点位置sm(i)、物体座標系(Xm,Ym,Zm)から基準座標系(Xv,Yv,Zv)への回転変換行列Rm(i)が毎フレーム時刻iで求められる。なお、各マイクロホンアレイ１ｍの位置及び姿勢と、原点位置sm(i)及び回転変換行列Rm(i)とはそれぞれ等価な関係にあり、上述の通り位置姿勢計測部３７において原点位置sm(i)及び回転変換行列Rm(i)を求めてもよいし、位置と姿勢とから各アレイブロック伝搬部３２ｍにおいて原点位置sm(i)及び回転変換行列Rm(i)を求めてもいよい。
【００２４】
＜アレイブロック伝搬部３２ｍ＞
アレイブロック伝搬部３２ｍは、周波数領域信号Xm(i)と、原点位置sm(i)及び回転変換行列Rm(i)とを受け取る。
【００２５】
まず、アレイブロック伝搬部３２ｍは、原点位置sm(i)と回転変換行列Rm(i)とを用いて、基準座標系におけるマイクロホン１−ｐｍの座標rm(p,i)を得る。例えば、マイクロホン１−ｐｍの位置が物体座標系で[pd,0,0]で与えられるとする。フレーム時刻iにおいて、基準座標系から見たマイクロホン１−ｐｍの座標rm(p,i)は、原点位置sm(i)と回転変換行列Rm(i)とを用いて、次式で求めることができる。
【数２】
2017028494.tif 000004
【００２６】
次に、アレイブロック伝搬部３２ｍは、座標rm(p,i)から座標rV(p')への伝搬を記述する自由空間グリーン関数G(rm(p),rV(p'))と、各マイクロホンアレイ１ｍの周波数領域の収音信号Xm(i)とから各マイクロホンアレイ１ｍでキャプチャした音波面から仮想マイクロホンアレイ９に搭載されるマイクロホン９−ｐ’に直接伝搬する波面XV,m(p',i)を求め（Ｓ３２）、XV,m(i)=[XV,m(1,i),XV,m(2,i),…,XV,m(P',i)]を出力する。ただし、XV,m(p',i)=[XV,m(p',i,0),…,XV,m(p',i,f),…,XV,m(p',i,2F-1)]Tである。
【００２７】
例えば、参考文献２によれば、以下のモデルにより、上述の波面XV,m(p',i)を計算することができる。
（参考文献２）A.J. Berkhout, D.D. Vries and P. Vogel, "Acoustic control by wave field synthesis", J Acoust. Soc Am, 93, p.2764-2778 (1993)
(i)マイクロホンアレイ１ｍ上の各マイクロホン１−ｐｍの素子の位置に、ダイポール特性を持つスピーカ素子を仮想的に配置する。
(ii)マイクロホンアレイ１ｍの各マイクロホン１−ｐｍの収音信号xm(p,t)を、このスピーカ素子で再生する。
(iii)再生したときに、仮想マイクロホンアレイ９上の各マイクロホン９−ｐ’の素子で収音される収音信号を求める。
【００２８】
このモデルは、キルヒホッフ・ヘルムホルツ積分方程式をもとに導かれている。ダイポール特性を持つスピーカは、近接配置された２つの無指向性スピーカで表現できる。この２つの無指向性スピーカ間の間隔を２δとする。上述のモデルは、グリーン関数をもちいて次式で表現できる。
【数３】
2017028494.tif 000005
なお、r+m(p,i)及びr-m(p,i)は、フレームｉにおける、マイクロホン１ｍのp番目のマイクロホンの位置に仮想的に配置されるダイポール特性を持つスピーカ素子に相当する２個の無指向性のスピーカの位置である。例えば、収音信号の周波数として20kHz以下を想定する場合には、δを0.5cm以下に設定すればよい。また、
【数４】
2017028494.tif 000006
は基準座標系における仮想マイクロホンアレイ９上のp’番目のマイクロホン９−ｐ’の位置である。G(r1,r2,f)は周波数ｆにおける自由空間グリーン関数であり、位置ｒ１から位置ｒ２への伝搬は次式により記述される。
【数５】
2017028494.tif 000007
ただし、ｊは虚数単位を、ｃは音速を表す。
【００２９】
＜伝搬加算部３５＞
伝搬加算部３５は、M個のXV,m(i)を受け取り、これらの値を加算し（Ｓ３５）、M個の各マイクロホンアレイ１ｍでキャプチャした音波面から仮想マイクロホンアレイ９に直接伝搬する波面の合計値XV(p',i)=[XV(p',i,0),…,XV(p',i,f),…,XV(p',i,2F-1)]Tを求め（Ｓ３５）、出力する。ただし、前述の通りXV,m(i)=[XV,m(1,i),XV,m(2,i),…,XV,m(P',i)]、XV,m(p',i)=[XV,m(p',i,0),…,XV,m(p',i,f),…,XV,m(p',i,2F-1)]Tであり、各マイクロホン９−ｐ’、各フレームｉ及び各周波数ｆの組合せ毎に加算すればよい。
【００３０】
例えば、次式により、M個のマイクロホンアレイ１ｍから仮想マイクロホンアレイ９のマイクロホン９−ｐ’への波面の仮想伝搬および加算をまとめて記述することができる。
【数６】
2017028494.tif 000008
【００３１】
この仮想マイクロホンアレイ９における収音信号（波面XV(p',i,f)）は周波数領域信号であり、これを後段の波面再構成フィルタ５に入力する。各信号はすでに周波数領域に変換されているため、波面再構成フィルタ５の内部では、時間領域信号を周波数領域へ変換する必要が無く、この周波数領域の入力信号（波面XV(p',i,f)）に空間ＦＦＴを適用すればよい。よって、空間フーリエ変換部５２、フィルタ部５３、空間逆フーリエ変換部５４、短時間逆フーリエ変換部５５における処理は、従来技術（例えば、非特許文献１や参考文献３、参考文献４）の空間フーリエ変換部４２、フィルタ部４３、空間逆フーリエ変換部４４、短時間逆フーリエ変換部４５における処理と同じである。また、スピーカアレイ７の再生方法や配置も従来技術と同様である。
（参考文献３）S Koyama, K Furuya, Y Hiwasaki, Y Haneda,"Design of transform filter for sound field reproduction using microphone array and loudspeaker array", Applications of Signal Processing to Audio and Acoustics (WASPAA), 2011 IEEE ,p.5-8
（参考文献４）
S. Koyama and K. Furuya and H. Uematsu and Y. Hiwasaki and Y. Haneda, "Real-Time Sound Field Transmission System by Using Wave Field Reconstruction Filter and Its Evaluation", IEICE Trans. Fundamentals.,  E97-A, 9, 2014, pp.1840--1848.
【００３２】
＜効果＞
以上の構成により、従来技術のマイクロホンアレイよりも小さなマイクロホンアレイを複数用いて、可搬性を高め、従来よりも音場を機動的に収音することができる。
【００３３】
＜変形例＞
第一実施形態では、仮想マイクロホンアレイ９がM個のマイクロホンアレイ１ｍ全ての後方に位置することが想定されていた。すなわち第一実施形態では、前方の音源からの音波面をM個のマイクロホンアレイ１ｍでキャプチャし、マイクロホンアレイ１ｍの後方にある仮想マイクロホンアレイ９へ仮想伝搬させて統合している。本変形例では、この想定が成立しないケースの扱いかたを示す。
【００３４】
上記想定が成立しないケースの例を図５に示す。ここではマイクロホンアレイ１３の一部が仮想マイクロホンアレイ９よりも後方にある。マイクロホンアレイ１３上のマイクロホンには、仮想マイクロホンアレイの前方にあるものと、後方にあるものが混在している。
【００３５】
第一実施形態の仮想アレイ合成部３から、マイクロホンアレイ１３上のP個のマイクロホンの位置は全て基準座標系で分かっている。そのためどのマイクロホンが仮想マイクロホンアレイよりも後方に位置するかを検出できる。そのため、後方に位置するマイクロホンの信号について、式３及び式６の計算から除外すればよい。つまり、仮想マイクロホンアレイ９よりも各マイクロホン１−ｐｍの座標rm(p)が、音源に対して、後方に位置する場合には、そのマイクロホン１−ｐｍの収音信号Xm(p)を波面XV,m(p')を求める際に除外する。
【００３６】
例えば、基準座標系の原点を(0,0,0)として、Xv-Zv平面上に仮想マイクロホンアレイ９のマイクロホン９−ｐ’が位置するように設定し、基準座標系においてy≧0側に音源がある場合には、基準座標系においてy≧0となるマイクロホンは仮想マイクロホンアレイ９よりも前方にあるものとし、y＜0に位置するマイクロホンは仮想マイクロホンアレイ９よりも後方にあるものとする。このとき、アレイブロック伝搬部３２ｍは、座標rm(p,i)から座標rV(p')への伝搬を記述する自由空間グリーン関数G(rm(p),rV(p'))と、各マイクロホンアレイ１ｍの周波数領域の収音信号Xm(i)とから各マイクロホンアレイ１ｍでキャプチャした音波面から仮想マイクロホンアレイ９に搭載されるマイクロホン９−ｐ’に直接伝搬する波面XV,m(p',i)を求めるが、式３のように、全ての伝搬を加算するのではなく、座標rm(p,i)のYv値が0以上の場合のみ、その座標rm(p,i)に対応する伝搬を加算する（図６参照）。これは、本来の波面伝搬が、(1)音源  →  (2)マイクロホンアレイ１ｍ上にあり仮想マイクロホンアレイ９より前方のマイクロホン  →  (3)仮想マイクロホンアレイ９であるため、仮想マイクロホンアレイ９より後方のマイクロホンを式３及び式６の計算により加算すると、適切な波面伝搬ができないためである。
【００３７】
通常、音源が仮想マイクロホンアレイ９より前方になるように仮想マイクロホンアレイ９を設定する。このとき、音源、マイクロホンアレイ１ｍの少なくとも何れかが移動等することを想定すると、仮想マイクロホンアレイ９の前方領域が広くなるように、音源から仮想マイクロホンアレイ９を離して設定する必要がある。しかし、音源とマイクロホンアレイ１ｍとの距離が離れすぎると、適切な収音が困難になる。そこで、この変形例の構成により、適切な収音と波面伝搬を同時に実現している。なお、各マイクロホン１−ｐｍが仮想マイクロホンアレイ９よりも前方にあるか、後方にあるかは、仮想マイクロホンアレイ９の位置及び姿勢と、音源の位置から適宜設定すればよい。
【００３８】
＜その他の変形例＞
第一実施形態におけるM個のマイクロホンアレイでは、マイクロホンを直線状に等間隔に配置している。しかし、この配置は本発明の原理を制約するものではなく、マイクロホンを湾曲線上に配置したり、非等間隔に配置することも可能である。
【００３９】
音場収音再生装置を構成する各部は、第一の音場に配置された収音装置と第二の音場に配置された再生装置の何れに備えられていてもよい。換言すれば、短時間フーリエ変換部３１ｍ、アレイブロック伝搬部３２ｍ、位置姿勢計測部３７、伝搬加算部３５、空間フーリエ変換部５２、フィルタ部５３、空間逆フーリエ変換部５４、短時間逆フーリエ変換部５５のそれぞれの処理は、第一の音場に配置された収音装置で実行されてもよいし、第二の音場に配置された再生装置で実行されてもよい。収音装置で生成された信号は、再生装置に送信される。
【００４０】
第一の音場と第二の音場の位置は、図１に示したものに限定されない。第一の音場と第二の音場は、隣接していても互いに離れた位置にあってもよい。また、第一の音場と第二の音場の向きもどのようなものであってもよい。
【００４１】
音場収音再生装置は、アレイブロック伝搬部３２ｍ、伝搬加算部３５を含みさえすれば、他の部を備えていなくてもよい。例えば、位置姿勢計測部３７を含まずに、人手により、マイクロホン１ｍの位置、姿勢を入力してもよい。ただし、仮想マイクロホンアレイ９とマイクロホン１ｍとの位置関係、仮想マイクロホンアレイ９に対するマイクロホン１ｍの姿勢により、波面XV,m(p',i)の値が変動するため、即座に適切な信号を再生するためには、位置姿勢計測部３７を用いることが望ましい。また、音場収音再生装置は、再生側に配置され、アレイブロック伝搬部３２ｍ、伝搬加算部３５、フィルタ部５３、空間逆フーリエ変換部５４及び短時間逆フーリエ変換部５５から構成されていてもよい。また、音場収音再生装置は、収音側に配置され、短時間フーリエ変換部３１ｍ、アレイブロック伝搬部３２ｍ、伝搬加算部３５から構成されていてもよい。
【００４２】
また、本実施形態では、マイクロホンアレイ１ｍに搭載されるマイクロホン１−ｐｍの総数をP個としたが、マイクロホンアレイ１ｍ毎に搭載されるマイクロホン１−ｐｍの総数を変え、Pm個としてもよい。この場合、次式により、波面XV,m(p',i)を求めればよい。
【数７】
2017028494.tif 000009
【００４３】
また、スピーカアレイ７に搭載されるスピーカの個数については特に限定していないが、例えば、仮想マイクロホンアレイ９に搭載されるマイクロホン９−ｐ’の総数と同じP'個でもよいし、再生装置側で、再生信号を補完することでスピーカの個数をP'個よりも多くしてもよいし、間引くことでスピーカの個数をP'個よりも小さくしてもよい。このとき、P'は伝送のチャネル数を表す。
【００４４】
＜第二実施形態＞
図７は第二実施形態に係る音場収音再生装置１００の機能ブロック図を示す。
【００４５】
音場収音再生装置１００は、M個のマイクロホンアレイ１ｍと、受信部２と仮想アレイ合成部３と波面再構成フィルタ５とスピーカアレイ７と収音信号同期部８とを含む。各マイクロホンアレイ１ｍは、送信部１ｍ−ｓを含む。この構成では、マイクロホンアレイ１ｍと後段の信号処理部が別装置になっており、その間を無線通信で接続する。
【００４６】
また、各マイクロホンアレイ１ｍの内部では時刻が同期しており、各マイクロホンアレイ１ｍは、時間領域の収音信号xm(t)を生成するとともに、時刻情報を付与して、時刻情報付き収音信号xm,time(t)を送信部１ｍ−ｓを介して無線で送信する。なお、時刻情報付き収音信号xm,time(t)は、符号化技術によりエンコードされて送信され、受信後にデコードされてもよい。受信部２は、各マイクロホンアレイ１ｍから時刻情報付き収音信号xm,time(t)を受信し、収音信号同期部８に出力する。収音信号同期部８は、時刻情報に基づき時刻情報付き収音信号xm,time(t)を同期させ、同期させた収音信号xm(t)を仮想アレイ合成部３に出力する。仮想アレイ合成部３以降の処理は第一実施形態と同様である。
【００４７】
この装置構成は、各マイクロホンアレイ１ｍがケーブル等により拘束されないために、機動性がさらに高まるというメリットを持つ。
【００４８】
＜変形例＞
なお、図８では、図２や図７のように処理結果の多チャネルの再生信号をスピーカアレイ７に出力するかわりに、ハードディスク等の記憶部１２に蓄積保管するケースを示している。
【００４９】
収音信号同期部８、仮想アレイ合成部３、波面再構成フィルタ５の処理は、図９のように受信部２からネットワーク１１を経由して離れた場所にある計算機上で実行することも可能である。この構成では汎用コンピュータによるサーバを信号処理に使用することができるため、専用の信号処理装置を用意しなくてもよいというメリットを持つ。
【００５０】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００５１】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００５２】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００５３】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００５４】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００５５】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2017028494.tif 000012
【図２】
2017028494.tif 000013
【図３】
2017028494.tif 000014
【図４】
2017028494.tif 000015
【図５】
2017028494.tif 000016
【図６】
2017028494.tif 000017
【図７】
2017028494.tif 000018
【図８】
2017028494.tif 000019
【図９】
2017028494.tif 000020