(57)【特許請求の範囲】
【請求項１】
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出する第１の時間周波数分析部と、
前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出する第１の空間周波数分析部と、
前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出する第２の時間周波数分析部と、
前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出する第２の空間周波数分析部と、
前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する空間領域信号混合部と
を備える音場収音装置。
【請求項２】
前記第１の直線マイクアレイと前記第２の直線マイクアレイとの位置関係に応じて、前記第１の空間周波数スペクトルの位相をシフトさせる空間シフト部をさらに備え、
前記空間領域信号混合部は、前記第２の空間周波数スペクトルと、前記位相がシフトされた前記第１の空間周波数スペクトルとを混合する
請求項１に記載の音場収音装置。
【請求項３】
前記空間領域信号混合部は、前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルのポイント数が同じ数となるように、前記第１の空間周波数スペクトルまたは前記第２の空間周波数スペクトルに対してゼロ詰めを行う
請求項１または請求項２に記載の音場収音装置。
【請求項４】
前記空間領域信号混合部は、所定の混合係数を用いて前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを重み付き加算することで混合を行う
請求項１乃至請求項３の何れか一項に記載の音場収音装置。
【請求項５】
前記第１の直線マイクアレイと前記第２の直線マイクアレイは、同一直線上に配置されている
請求項１乃至請求項４の何れか一項に記載の音場収音装置。
【請求項６】
前記第１の直線マイクアレイを構成するマイクロフォンの数と、前記第２の直線マイクアレイを構成するマイクロフォンの数とが異なる
請求項１乃至請求項５の何れか一項に記載の音場収音装置。
【請求項７】
前記第１の直線マイクアレイの長さと、前記第２の直線マイクアレイの長さとが異なる
請求項１乃至請求項６の何れか一項に記載の音場収音装置。
【請求項８】
前記第１の直線マイクアレイを構成する各マイクロフォン間の間隔と、前記第２の直線マイクアレイを構成する各マイクロフォン間の間隔とが異なる
請求項１乃至請求項７の何れか一項に記載の音場収音装置。
【請求項９】
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出し、
前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出し、
前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出し、
前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出し、
前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する
ステップを含む音場収音方法。
【請求項１０】
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出し、
前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出し、
前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出し、
前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出し、
前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１１】
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出する空間リサンプリング部と、
前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する時間周波数合成部と
を備える音場再生装置。
【請求項１２】
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出し、
前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する
ステップを含む音場再生方法。
【請求項１３】
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出し、
前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は音場収音装置および方法、音場再生装置および方法、並びにプログラムに関し、特に、より低コストで正確に音場を再現することができるようにした音場収音装置および方法、音場再生装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、音場における音声の波面を複数個のマイクロフォンで収音し、得られた収音信号に基づいて音場を再現する波面合成技術が知られている。【０００３】
例えば、波面合成に関する技術として、オブジェクト音源が収音されているという前提で仮想空間に音源を配置し、直線上に配置された複数のスピーカからなる直線スピーカアレイで各音源からの音声を再現する技術が提案されている（例えば、非特許文献１参照）。【０００４】
また、非特許文献１に記載の技術を直線上に配置された複数のマイクロフォンからなる直線マイクアレイに応用した技術も提案されている（例えば、非特許文献２参照）。非特許文献２に記載の技術では、一つの直線マイクアレイで収音して得られた収音信号から、空間周波数上の処理により音圧勾配が生成され、一つの直線スピーカアレイでの音場再生が行われる。【０００５】
このように直線マイクアレイを用いれば、収音信号に対する時間周波数変換を行うことで周波数領域での処理が可能となり、空間周波数でのリサンプリングにより任意の直線スピーカアレイでの音場再生を行うことができるようになる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Jens Adrens, Sascha Spors, “Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers,” in 2nd International Symposium on Ambisonics and Spherical Acoustics
【非特許文献２】Shoichi Koyama et al.,“Design of Transform Filter for Sound Field Reproduction using Micorphone Array and Loudspeaker Array,” IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、直線マイクアレイを用いる技術では、より正確に音場を再現しようとすると、波面の収音に用いる直線マイクアレイとして、より高性能なものが必要となる。このような高性能な直線マイクアレイは高価であり、低コストで正確に音場を再現することは困難であった。【０００８】
本技術は、このような状況に鑑みてなされたものであり、より低コストで正確に音場を再現することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の第１の側面の音場収音装置は、第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出する第１の時間周波数分析部と、前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出する第１の空間周波数分析部と、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出する第２の時間周波数分析部と、前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出する第２の空間周波数分析部と、前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する空間領域信号混合部とを備える。【００１０】
音場収音装置には、前記第１の直線マイクアレイと前記第２の直線マイクアレイとの位置関係に応じて、前記第１の空間周波数スペクトルの位相をシフトさせる空間シフト部をさらに設け、前記空間領域信号混合部には、前記第２の空間周波数スペクトルと、前記位相がシフトされた前記第１の空間周波数スペクトルとを混合させることができる。【００１１】
前記空間領域信号混合部には、前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルのポイント数が同じ数となるように、前記第１の空間周波数スペクトルまたは前記第２の空間周波数スペクトルに対してゼロ詰めを行わせることができる。【００１２】
前記空間領域信号混合部には、所定の混合係数を用いて前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを重み付き加算することで混合を行わせることができる。【００１３】
前記第１の直線マイクアレイと前記第２の直線マイクアレイを、同一直線上に配置することができる。【００１４】
前記第１の直線マイクアレイを構成するマイクロフォンの数と、前記第２の直線マイクアレイを構成するマイクロフォンの数とが異なるようにすることができる。【００１５】
前記第１の直線マイクアレイの長さと、前記第２の直線マイクアレイの長さとが異なるようにすることができる。【００１６】
前記第１の直線マイクアレイを構成する各マイクロフォン間の間隔と、前記第２の直線マイクアレイを構成する各マイクロフォン間の間隔とが異なるようにすることができる。【００１７】
本技術の第１の側面の音場収音方法またはプログラムは、第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出し、前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出し、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出し、前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出し、前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出するステップを含む。【００１８】
本技術の第１の側面においては、第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号が時間周波数変換されて、第１の時間周波数スペクトルが算出され、前記第１の時間周波数スペクトルが空間周波数変換されて、第１の空間周波数スペクトルが算出され、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号が時間周波数変換されて、第２の時間周波数スペクトルが算出され、前記第２の時間周波数スペクトルが空間周波数変換されて、第２の空間周波数スペクトルが算出され、前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルが混合されて、マイクロフォン混合信号が算出される。【００１９】
本技術の第２の側面の音場再生装置は、第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出する空間リサンプリング部と、前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する時間周波数合成部とを備える。【００２０】
本技術の第２の側面の音場再生方法またはプログラムは、第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出し、前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成するステップを含む。【００２１】
本技術の第２の側面においては、第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号が、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換されて、時間周波数スペクトルが算出され、前記時間周波数スペクトルに対する時間周波数合成が行われて、前記直線スピーカアレイにより音場を再生するための駆動信号が生成される。
【発明の効果】
【００２２】
本技術の第１の側面および第２の側面によれば、より低コストで正確に音場を再現することができる。【００２３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２４】
【図１】複数の直線マイクアレイによる収音について説明する図である。
【図２】本技術による音場再現について説明する図である。
【図３】音場再現器の構成例を示す図である。
【図４】空間周波数におけるゼロ詰めについて説明する図である。
【図５】音場再現処理を説明するフローチャートである。
【図６】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２６】
〈第１の実施の形態〉
〈本技術について〉
本技術は、実空間において直線上に並べられた複数のマイクロフォンからなる直線マイクアレイを用いて音声の波面を収音し、その結果得られた収音信号に基づいて、直線上に配置された複数のスピーカからなる直線スピーカアレイで音場を再現するものである。
【００２７】
直線マイクアレイと直線スピーカアレイを用いて音場を再現する場合、より正確に音場を再現しようとすると、より高性能な直線マイクアレイが必要となるが、高性能な直線マイクアレイは高価である。
【００２８】
そこで、例えば図１に示すように、互いに異なる特性を有する直線マイクアレイMA11と直線マイクアレイMA12を用いて収音を行うことを考える。
【００２９】
ここで、直線マイクアレイMA11は、例えば比較的音響特性のよいマイクロフォンから構成されており、直線マイクアレイMA11を構成するマイクロフォンは直線上に等間隔に並べられている。通常、音響特性のよいマイクロフォンの大きさ（容積）は大きいので、直線マイクアレイを構成するマイクロフォンを狭い間隔で並べることは困難である。
【００３０】
また、直線マイクアレイMA12は、例えば直線マイクアレイMA11を構成するマイクロフォンと比べて音響特性はよくないが、より小型なマイクロフォンから構成され、直線マイクアレイMA12を構成するマイクロフォンも直線上に等間隔に並べられている。
【００３１】
このように互いに特性の異なる複数の直線マイクアレイを用いれば、例えば再現しようとする音場のダイナミックレンジや周波数レンジを拡大させたり、収音信号の空間周波数分解能を向上させたりすることができる。これにより、より低コストで正確に音場を再現することができるようになる。
【００３２】
収音に二つの直線マイクアレイを用いる場合、例えば矢印Ａ１１に示すように、直線マイクアレイMA11を構成するマイクロフォンと、直線マイクアレイMA12を構成するマイクロフォンとを同一座標上（同一位置）に配置することは物理的に不可能である。
【００３３】
また、矢印Ａ１２に示すように直線マイクアレイMA11と直線マイクアレイMA12とが同一直線上にない場合、各直線マイクアレイで収音される音場の中心座標が異なるため、単一の直線スピーカアレイで一つの音場を再現することができない。
【００３４】
さらに、矢印Ａ１３に示すように直線マイクアレイMA11を構成するマイクロフォンと、直線マイクアレイMA12を構成するマイクロフォンとを、マイクロフォン同士が重ならないように直線上に交互に配置すれば、各直線マイクアレイで収音される音場の中心座標を同じ位置に揃えることができる。
【００３５】
しかし、この場合、直線マイクアレイの数だけ収音信号の伝送量が増加してしまい、伝送コストが高くなってしまう。
【００３６】
そこで、本技術では例えば図２に示すように、実空間において音響特性や容積（大きさ）などの特性の異なる複数のマイクロフォンを、同一直線上に異なる間隔、または等間隔で配置して得られる複数の直線マイクアレイによって収音された複数の収音信号が混合されて伝送される。そして、収音信号の受信側では、実空間と再現空間が同等の音場となるように直線スピーカアレイの駆動信号が生成される。
【００３７】
具体的には、図２では実空間において複数のマイクロフォンMCAからなる直線マイクアレイMA21と、マイクロフォンMCAとは異なる特性を有する複数のマイクロフォンMCBからなる直線マイクアレイMA22とが同一直線上に並べられている。
【００３８】
この例では、各マイクロフォンMCAは間隔DAで等間隔に並べられており、各マイクロフォンMCBは間隔DBで等間隔に並べられている。そして、各マイクロフォンMCAおよびマイクロフォンMCBは、配置位置（座標）が物理的に重ならないように配置されている。
【００３９】
なお、図２では、直線マイクアレイMA21を構成する一部のマイクロフォンにのみ符号MCAが付されている。同様に、直線マイクアレイMA22を構成する一部のマイクロフォンにのみ符号MCBが付されている。
【００４０】
また、実空間での音場を再現する再現空間では、直線上に間隔DCで並べられた複数のスピーカSPからなる直線スピーカアレイSA11が配置されており、スピーカSPが並ぶ間隔DCは、上述した間隔DAや間隔DBとは異なる間隔となっている。なお、図２では、直線スピーカアレイSA11を構成する一部のスピーカにのみ符号SPが付されている。
【００４１】
実空間では、このように特性の異なる二種類の直線マイクアレイMA21および直線マイクアレイMA22により音声の実波面が収音され、得られた音声信号が収音信号とされる。
【００４２】
これらの二種類の直線マイクアレイでは、直線マイクアレイを構成するマイクロフォンが並べられた間隔が異なるので、各直線マイクアレイで得られる収音信号の空間サンプリング周波数が異なるとみなすことができる。
【００４３】
そのため、直線マイクアレイごとに得られた収音信号を時間周波数領域で単純に混合することはできない。すなわち、直線マイクアレイごとにマイクロフォンの位置、つまり実波面の収録（収音）位置が異なり、音場が重ならないため、収音信号を時間周波数領域で単純に混合することができない。
【００４４】
そこで、本技術では、正規直交基底を用いて、それぞれの収音信号を座標位置に依存しない空間周波数領域へ直交変換し、空間周波数領域でスペクトルの混合を行う。
【００４５】
また、二種類のマイクロフォンで構成される二種類の直線マイクアレイの中心座標が異なる場合には、収音信号に対して空間周波数領域で位相シフトを行うことで、直線マイクアレイの中心座標を合わせてから収音信号の混合を行う。ここで、各直線マイクアレイの中心座標は、例えば直線マイクアレイの両端にある二つのマイクロフォンの中間の位置とされる。
【００４６】
このようにして直線マイクアレイMA21の収音信号と直線マイクアレイMA22の収音信号が混合されると、混合により得られたマイクロフォン混合信号が再現空間へと伝送される。そして、伝送されたマイクロフォン混合信号に対して逆空間周波数変換が行われて、マイクロフォン混合信号が直線スピーカアレイSA11のスピーカSPの間隔DCに相当する空間サンプリング周波数の信号へと変換され、得られた信号が直線スピーカアレイSA11のスピーカ駆動信号とされる。このようにして得られたスピーカ駆動信号に基づいて、直線スピーカアレイSA11で音声が再生され、再現波面が出力される。つまり実空間の音場が再現される。
【００４７】
以上において説明したように、音場収音装置に複数の直線マイクアレイを用い、音場再生装置に単一の直線スピーカアレイを用いた本技術の音場再現器は、特に以下に示す特徴（１）乃至特徴（３）を有している。
【００４８】
特徴（１）
例えば一つの直線マイクアレイを小型シリコンマイクロフォンにより構成し、その小型シリコンマイクロフォンを、その他のマイクロフォンより小さな間隔で多数並べることにより、収音信号の空間周波数分解能を上げ、再現エリアにおける空間エリアシングを低減させることが可能となる。特に低コストで小型シリコンマイクロフォンを供給可能な場合には更に有利となる。
特徴（２）
ダイナミックレンジや周波数レンジが異なる複数のマイクロフォンを組み合わせて、複数の直線マイクアレイとすることで、再生される音声のダイナミックレンジや周波数レンジを広げることが可能となる。
特徴（３）
複数の直線マイクアレイの収音信号を空間周波数変換して混合し、得られたマイクロフォン混合信号の必要な空間周波数帯域の成分までを伝送することにより、伝送コストを削減することが可能となる。
【００４９】
〈音場再現器の構成例〉
次に、本技術を音場再現器に適用した場合を例として、本技術を適用した具体的な実施の形態について説明する。
【００５０】
図３は、本技術を適用した音場再現器の一実施の形態の構成例を示す図である。
【００５１】
音場再現器１１は、直線マイクアレイ２１−１、直線マイクアレイ２１−２、時間周波数分析部２２−１、時間周波数分析部２２−２、空間周波数分析部２３−１、空間周波数分析部２３−２、空間シフト部２４−１、空間シフト部２４−２、空間領域信号混合部２５、通信部２６、通信部２７、空間リサンプリング部２８、時間周波数合成部２９、および直線スピーカアレイ３０を有している。
【００５２】
この例では、直線マイクアレイ２１−１、直線マイクアレイ２１−２、時間周波数分析部２２−１、時間周波数分析部２２−２、空間周波数分析部２３−１、空間周波数分析部２３−２、空間シフト部２４−１、空間シフト部２４−２、空間領域信号混合部２５、および通信部２６が音声の実波面を収音する実空間に配置されている。そして、これらの直線マイクアレイ２１−１乃至通信部２６により音場収音装置４１が実現されている。
【００５３】
これに対して、実波面を再現する再現空間には、通信部２７、空間リサンプリング部２８、時間周波数合成部２９、および直線スピーカアレイ３０が配置されており、これらの通信部２７乃至直線スピーカアレイ３０により音場再生装置４２が実現されている。
【００５４】
直線マイクアレイ２１−１および直線マイクアレイ２１−２は、実空間において音声の実波面を収音し、その結果得られた収音信号を、時間周波数分析部２２−１、および時間周波数分析部２２−２に供給する。
【００５５】
ここで、直線マイクアレイ２１−１を構成する各マイクロフォンと、直線マイクアレイ２１−２を構成する各マイクロフォンとは、同一直線上に配置されている。
【００５６】
また、直線マイクアレイ２１−１と直線マイクアレイ２１−２は、互いに異なる特性を有している。
【００５７】
具体的には、例えば直線マイクアレイ２１−１を構成するマイクロフォンと、直線マイクアレイ２１−２を構成するマイクロフォンとは、音響特性や容積（大きさ）などの特性が異なるマイクロフォンとなっている。また、直線マイクアレイ２１−１を構成するマイクロフォンの数と、直線マイクアレイ２１−２を構成するマイクロフォンの数は互いに異なる数とされている。
【００５８】
さらに、直線マイクアレイ２１−１を構成するマイクロフォンが並ぶ間隔と、直線マイクアレイ２１−２を構成するマイクロフォンが並ぶ間隔も互いに異なる間隔となっている。また、例えば直線マイクアレイ２１−１の長さと、直線マイクアレイ２１−２の長さも異なっている。ここで、直線マイクアレイの長さとは、直線マイクアレイを構成するマイクロフォンが並ぶ方向の長さである。
【００５９】
このように、これらの二つの直線マイクアレイは、マイクロフォン自体の特性やマイクロフォンの数、マイクロフォンが並ぶ間隔など、各種の特性が異なる直線マイクアレイとなっている。
【００６０】
なお、以下、直線マイクアレイ２１−１および直線マイクアレイ２１−２を特に区別する必要のない場合、単に直線マイクアレイ２１とも称することとする。また、ここでは二種類の直線マイクアレイ２１を用いて実波面の収音を行う例について説明するが、三種類以上の直線マイクアレイ２１が用いられるようにしてもよい。
【００６１】
時間周波数分析部２２−１、および時間周波数分析部２２−２は、直線マイクアレイ２１−１、および直線マイクアレイ２１−２から供給された収音信号に対して時間周波数変換を行い、得られた時間周波数スペクトルを空間周波数分析部２３−１、および空間周波数分析部２３−２に供給する。
【００６２】
なお、以下、時間周波数分析部２２−１および時間周波数分析部２２−２を特に区別する必要のない場合、単に時間周波数分析部２２とも称することとする。
【００６３】
空間周波数分析部２３−１、および空間周波数分析部２３−２は、時間周波数分析部２２−１、および時間周波数分析部２２−２から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを空間シフト部２４−１、および空間シフト部２４−２に供給する。
【００６４】
なお、以下、空間周波数分析部２３−１および空間周波数分析部２３−２を特に区別する必要のない場合、単に空間周波数分析部２３とも称することとする。
【００６５】
空間シフト部２４−１、および空間シフト部２４−２は、空間周波数分析部２３−１、および空間周波数分析部２３−２から供給された空間周波数スペクトルを空間シフトさせることで、直線マイクアレイ２１の中心座標合わせを行い、得られた空間シフトスペクトルを空間領域信号混合部２５に供給する。
【００６６】
なお、以下、空間シフト部２４−１、および空間シフト部２４−２を特に区別する必要のない場合、単に空間シフト部２４とも称することとする。
【００６７】
空間領域信号混合部２５は、空間シフト部２４−１、および空間シフト部２４−２から供給された空間シフトスペクトルを混合し、その結果得られた単一のマイクロフォン混合信号を通信部２６に供給する。通信部２６は、空間領域信号混合部２５から供給されたマイクロフォン混合信号を、例えば無線通信等により送信する。なお、マイクロフォン混合信号の送信（伝送）は、無線通信に限らず、有線の通信により行われてもよいし、無線と有線を組み合わせた通信により行われてもよい。
【００６８】
通信部２７は、通信部２６から送信されたマイクロフォン混合信号を受信して、空間リサンプリング部２８に供給する。空間リサンプリング部２８は、通信部２７から供給されたマイクロフォン混合信号に基づいて、直線スピーカアレイ３０で実空間の実波面を再現するための駆動信号である時間周波数スペクトルを生成し、時間周波数合成部２９に供給する。
【００６９】
時間周波数合成部２９は、空間リサンプリング部２８から供給された時間周波数スペクトルの時間周波数合成やフレーム合成を行い、その結果得られたスピーカ駆動信号を直線スピーカアレイ３０に供給する。直線スピーカアレイ３０は、時間周波数合成部２９から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、実空間の音場（実波面）が再現される。
【００７０】
ここで、音場再現器１１を構成する各部についてより詳細に説明する。
【００７１】
（時間周波数分析部）
時間周波数分析部２２は、音響特性や容積等の特性の異なるＩ本の直線マイクアレイ２１について、直線マイクアレイ２１を構成する各マイクロフォン（マイクセンサ）で得られた収音信号s(nmic,t)の時間周波数情報を分析する。
【００７２】
但し、収音信号s(nmic,t)においてnmicは直線マイクアレイ２１を構成するマイクロフォンを示すマイクインデクスであり、マイクインデクスnmic＝0,…,Nmic-1である。なお、Nmicは直線マイクアレイ２１を構成するマイクロフォンの数を示している。また、収音信号s(nmic,t)においてｔは時間を示している。図３の例では、直線マイクアレイ２１の本数Ｉ＝２となっている。
【００７３】
時間周波数分析部２２は、収音信号s(nmic,t)に対して固定サイズの時間フレーム分割を行って入力フレーム信号sfr(nmic,nfr,l)を得る。そして、時間周波数分析部２２は、次式（１）に示す窓関数wT(nfr)を入力フレーム信号sfr(nmic,nfr,l)に乗算し、窓関数適用信号sw(nmic,nfr,l)を得る。すなわち、以下の式（２）の計算が行われて窓関数適用信号sw(nmic,nfr,l)が算出される。
【００７４】
【数１】
0006508539.tif 000002
【００７５】
【数２】
0006508539.tif 000003
【００７６】
ここで、式（１）および式（２）において、nfrは時間インデクスを示しており、時間インデクスnfr＝0,…,Nfr-1である。また、ｌは時間フレームインデクスを示しており、時間フレームインデクスｌ＝0,…,L-1である。なお、Nfrはフレームサイズ（時間フレームのサンプル数）であり、Ｌは総フレーム数である。
【００７７】
また、フレームサイズNfrは、時間サンプリング周波数fsT[Hz]における一フレームの時間Tfr[s]相当のサンプル数Nfr（＝R(fsT×Tfr)、但しR()は任意の丸め関数）である。この実施の形態では、例えば一フレームの時間Tfr＝1.0[s]であり、丸め関数R()は四捨五入であるが、それ以外でも構わない。さらに、フレームのシフト量はフレームサイズNfrの50％としているが、それ以外でも構わない。
【００７８】
さらに、ここでは窓関数としてハニング窓の平方根を用いているが、ハミング窓やブラックマンハリス窓などのその他の窓を用いるようにしてもよい。
【００７９】
このようにして窓関数適用信号sw(nmic,nfr,l)が得られると、時間周波数分析部２２は、以下の式（３）および式（４）を計算することで、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、時間周波数スペクトルS(nmic,nT,l)を算出する。
【００８０】
【数３】
0006508539.tif 000004
【００８１】
【数４】
0006508539.tif 000005
【００８２】
すなわち、式（３）の計算によりゼロ詰め信号sw’(nmic,mT,l)が求められ、得られたゼロ詰め信号sw’(nmic,mT,l)に基づいて式（４）が計算され、時間周波数スペクトルS(nmic,nT,l)が算出される。
【００８３】
なお、式（３）および式（４）において、MTは時間周波数変換に用いるポイント数を示している。また、nTは時間周波数スペクトルインデクスを示している。ここで、NT＝MT/2+1であり、nT＝0,…,NT-1である。さらに、式（４）においてｉは純虚数を示している。
【００８４】
また、この実施の形態では、STFT（Short Time Fourier Transform）（短時間フーリエ変換）による時間周波数変換を行っているが、DCT（Discrete Cosine Transform）（離散コサイン変換）やMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）などの他の時間周波数変換を用いてもよい。
【００８５】
さらに、STFTのポイント数MTは、Nfr以上である、Nfrに最も近い２のべき乗の値としているが、それ以外のポイント数MTでも構わない。
【００８６】
時間周波数分析部２２は、以上において説明した処理で得られた時間周波数スペクトルS(nmic,nT,l)を、空間周波数分析部２３に供給する。
【００８７】
（空間周波数分析部）
続いて空間周波数分析部２３は、時間周波数分析部２２から供給された時間周波数スペクトルS(nmic,nT,l)に対して、次式（５）を計算することで空間周波数変換を行い、空間周波数スペクトルSSP(nS,nT,l)を算出する。
【００８８】
【数５】
0006508539.tif 000006
【００８９】
なお、式（５）においてMSは空間周波数変換に用いるポイント数を示しており、mS＝0,…,MS-1である。また、S’(mS,nT,l)は時間周波数スペクトルS(nmic,nT,l)に対してゼロ詰めを行うことにより得られるゼロ詰め信号を示しており、ｉは純虚数を示している。さらに、nSは空間周波数スペクトルインデクスを示している。
【００９０】
この実施の形態では、式（５）の計算によってIDFT（Inverse Discrete Fourier Transform）（逆離散フーリエ変換）による空間周波数変換が行われている。
【００９１】
また、必要であればIDFTのポイント数MSに合わせて適切にゼロ詰めを行ってもよい。この実施の形態では、直線マイクアレイ２１で得られる信号の空間サンプリング周波数をfsS[Hz]として、複数の直線マイクアレイ２１の長さ（アレイ長）X＝MS/fsSが揃うようにIDFTのポイント数MSのゼロ詰めがされており、基準の長さが最大のアレイ長Xmaxを持つ直線マイクアレイ２１の長さとされている。しかし、それ以外の長さを基準にポイント数MSを決定しても構わない。
【００９２】
具体的には、空間サンプリング周波数fsSは、直線マイクアレイ２１を構成するマイクロフォン同士の間隔により定まり、この空間サンプリング周波数fsSに対してアレイ長X＝MS/fsSがアレイ長Xmaxとなるようにポイント数MSが定められる。
【００９３】
そして、0≦mS≦Nmic-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝時間周波数スペクトルS(nmic,nT,l)とされ、Nmic≦mS≦MS-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝0とされる。
【００９４】
なお、この時点では、各直線マイクアレイ２１の中心座標がずれていても構わないが、各直線マイクアレイ２１の長さMS/fsSを揃える必要がある。空間サンプリング周波数fsSやIDFTのポイント数MSは、直線マイクアレイ２１ごとに異なる値となる。
【００９５】
以上において説明した処理により得られる空間周波数スペクトルSSP(nS,nT,l)は、時間フレームｌに含まれている時間周波数nTの信号が空間上においてどのような波形となっているかを示している。空間周波数分析部２３は、空間周波数スペクトルSSP(nS,nT,l)を空間シフト部２４に供給する。
【００９６】
（空間シフト部）
空間シフト部２４は、空間周波数分析部２３から供給された空間周波数スペクトルSSP(nS,nT,l)を、直線マイクアレイ２１と水平方向、すなわち直線マイクアレイ２１を構成するマイクロフォンが並んでいる方向に空間シフトさせ、空間シフトスペクトルSSFT(nS,nT,l)を得る。つまり、空間シフト部２４は、複数の直線マイクアレイ２１の中心座標を揃え、複数の各直線マイクアレイ２１で記録した音場を混合可能な状態にする。
【００９７】
具体的には、空間シフト部２４は次式（６）を計算して、空間周波数領域で空間周波数スペクトルの位相を変える（シフトさせる）ことによって空間領域での空間シフトを行うことで、その結果として時間周波数領域で位相を変化させ、時間領域での直線マイクアレイ２１で得られる信号の時間シフトを実現する。
【００９８】
【数６】
0006508539.tif 000007
【００９９】
なお、式（６）において、nSは空間周波数スペクトルインデクスを示しており、nTは時間周波数スペクトルインデクスを示しており、ｌは時間フレームインデクスを示しており、ｉは純虚数を示している。
【０１００】
また、kxは波数[rad/m]を示しており、ｘは空間周波数スペクトルSSP(nS,nT,l)の空間シフト量[m]を示している。なお、各空間周波数スペクトルSSP(nS,nT,l)の空間シフト量ｘは、各直線マイクアレイ２１の位置関係等から予め求められているものとする。
【０１０１】
さらに、fsSは空間サンプリング周波数[Hz]を示しており、MSはIDFTのポイント数を示している。これらの波数kx、空間サンプリング周波数fsS、ポイント数MS、および空間シフト量ｘは、直線マイクアレイ２１ごとに異なる値となる。
【０１０２】
このように、空間周波数領域で空間周波数スペクトルSSP(nS,nT,l)を空間シフト量ｘだけシフトさせる（位相シフトを行う）ことで、時間信号を時間方向にシフトさせる場合と比べて、より簡単に各直線マイクアレイ２１の中心座標を同位置に揃えることができる。
【０１０３】
空間シフト部２４は、得られた空間シフトスペクトルSSFT(nS,nT,l)を空間領域信号混合部２５に供給する。なお、以下においては、複数の各直線マイクアレイ２１の識別子をｉとし、識別子ｉにより特定される直線マイクアレイ２１についての空間シフトスペクトルSSFT(nS,nT,l)を、空間シフトスペクトルSSFT_i(nS,nT,l)とも記すこととする。但し、識別子i＝0,…,I-1である。
【０１０４】
なお、複数の各直線マイクアレイ２１の空間周波数スペクトルSSP(nS,nT,l)のうち、どの直線マイクアレイ２１の空間周波数スペクトルを空間シフトさせるかや、その空間シフト量は各直線マイクアレイ２１の位置関係等に応じて定めればよい。すなわち、各直線マイクアレイ２１の中心座標、換言すれば直線マイクアレイ２１により収音される音場（収音信号）の中心座標が同じ位置とされればよく、必ずしも全ての直線マイクアレイ２１の空間周波数スペクトルを空間シフトさせる必要はない。
【０１０５】
（空間領域信号混合部）
空間領域信号混合部２５は、次式（７）を計算することで、複数の空間シフト部２４から供給された複数の直線マイクアレイ２１についての空間シフトスペクトルSSFT_i(nS,nT,l)を混合して、単一のマイクロフォン混合信号SMIX(nS,nT,l)を算出する。
【０１０６】
【数７】
0006508539.tif 000008
【０１０７】
なお、式（７）においてai(nS,nT)は、各空間シフトスペクトルSSFT_i(nS,nT,l)に乗算される混合係数を示しており、この混合係数ai(nS,nT)を用いて空間シフトスペクトルを重み付き加算することで、マイクロフォン混合信号が算出される。
【０１０８】
また、式（７）の計算にあたっては、空間シフトスペクトルSSFT_i(nS,nT,l)のゼロ詰めが行われる。
【０１０９】
すなわち、直線マイクアレイ２１の識別子iによって区別される空間シフトスペクトルSSFT_i(nS,nT,l)は、それぞれアレイ長Xは同じとなるように既に揃えられているが、空間周波数変換のポイント数MSが異なる。
【０１１０】
そこで、空間領域信号混合部２５は、最大の空間サンプリング周波数fsS[Hz]をもつ直線マイクアレイ２１に合わせて、空間シフトスペクトルSSFT_i(nS,nT,l)の上限周波数をゼロ詰めするなどして、各空間シフトスペクトルSSFT_i(nS,nT,l)のポイント数MSが同じ数となるようにする。すなわち、適宜、所定空間周波数nSにおける空間シフトスペクトルSSFT_i(nS,nT,l)を０とすることで、ポイント数MSを合わせるためのゼロ詰めが行われる。
【０１１１】
この実施の形態では、例えば最大空間周波数に合わせたゼロ詰めにより、空間サンプリング周波数fsS[Hz]の統一が行われる。
【０１１２】
しかし、これに限らず、例えば特定の空間周波数までのマイクロフォン混合信号しか音場再生装置４２に送信しない場合には、特定の空間周波数以降の空間シフトスペクトルSSFT_i(nS,nT,l)の値を０（ゼロ）にしてもよい。この場合、不要な空間周波数成分の伝送を行わなくて済むので、空間シフトスペクトルの伝送コストを削減することができる。
【０１１３】
例えば直線スピーカアレイ３０を構成するスピーカの間隔等によって、再現できる音場の空間周波数帯域が異なるので、再現空間の再生環境に応じたマイクロフォン混合信号を伝送するようにすれば、伝送効率を向上させることができる。
【０１１４】
また、空間シフトスペクトルSSFT_i(nS,nT,l)の重み付き加算に用いられる混合係数ai(nS,nT)の値は、時間周波数nTおよび空間周波数nSに依存する。
【０１１５】
例えば、この実施の形態では、それぞれの直線マイクアレイ２１のゲインがほぼ同じになるように調整されているとして、混合係数ai(nS,nT)＝1/Ic(nS)とされるが、その他の値とされるようにしてもよい。なお、Ic(nS)は各空間周波数帯域、すなわち空間周波数nSにおいて、空間シフトスペクトルSSFT_i(nS,nT,l)がゼロ値でない直線マイクアレイ２１の数である。混合係数ai(nS,nT)＝1/Ic(nS)とされるのは、直線マイクアレイ２１間の平均値を計算するためである。
【０１１６】
また、例えば、それぞれの直線マイクアレイ２１のマイクロフォンの周波数特性が考慮されて混合係数ai(nS,nT)が定められてもよい。例えば、低周波数域は直線マイクアレイ２１−１の空間シフトスペクトルのみがマイクロフォン混合信号の算出に用いられ、高周波数域は直線マイクアレイ２１−２の空間シフトスペクトルのみがマイクロフォン混合信号の算出に用いられるようにするなどとしてもよい。
【０１１７】
さらに、例えばマイクロフォンの感度を考慮し、感度が音圧に対して高過ぎてデジタル飽和が検出されたマイクロフォンを含む直線マイクアレイ２１の混合係数ai(nS,nT)を０（ゼロ）にしてもよい。
【０１１８】
その他、例えば、特定の直線マイクアレイ２１の特定のマイクロフォンに欠陥があり、そのマイクロフォンでは実波面が収音されていないことが既知である場合、または信号の平均値を常時観測することにより未収音が確定された場合、マイクロフォン間の不連続点により空間周波数領域で高周波数帯域に顕著に非線形ノイズが出ることになる。そこで、そのような場合には、欠陥を有する直線マイクアレイ２１の混合係数ai(nS,nT)が空間ローパスフィルタとなるように設計されてもよい。
【０１１９】
ここで、図４を参照して、以上において説明した空間シフトスペクトルSSFT_i(nS,nT,l)に対するゼロ詰めの具体例について説明する。
【０１２０】
例えば、図４の矢印Ａ３１に示すように直線マイクアレイ２１−１による収音によって音声の波面Ｗ１１が得られ、矢印Ａ３２に示すように直線マイクアレイ２１−２による収音によって音声の波面Ｗ１２が得られたとする。
【０１２１】
なお、波面Ｗ１１および波面Ｗ１２において、図中、横方向は実空間上の直線マイクアレイ２１のマイクロフォンが並ぶ方向における位置を示しており、図中、縦方向は音圧を示している。また、波面Ｗ１１および波面Ｗ１２上の一つの円は、直線マイクアレイ２１を構成する一つのマイクロフォンの位置を表している。
【０１２２】
この例では、直線マイクアレイ２１−２よりも直線マイクアレイ２１−１の方がマイクロフォン同士の間隔が狭いので、波面Ｗ１１の空間サンプリング周波数fsSは波面Ｗ１２の空間サンプリング周波数fs’Sよりも大きい（高い）値となっている。
【０１２３】
そのため、各波面Ｗ１１および波面Ｗ１２から得られた時間周波数スペクトルに対して空間周波数変換（IDFT）を行い、さらに空間シフトをすることで得られる各空間シフトスペクトルSSFT(nS,nT,l)のポイント数MSは異なる値となる。
【０１２４】
図４では、矢印Ａ３３に示される空間シフトスペクトルSSFT(nS,nT,l)は、波面Ｗ１１から得られた空間シフトスペクトルを示しており、その空間シフトスペクトルのポイント数はMSとなっている。
【０１２５】
これに対して、矢印Ａ３４に示される空間シフトスペクトルSSFT(nS,nT,l)は、波面Ｗ１２から得られた空間シフトスペクトルを示しており、その空間シフトスペクトルのポイント数はMS’となっている。
【０１２６】
なお、矢印Ａ３３および矢印Ａ３４に示す空間シフトスペクトルにおいて、横軸は波数kxを示しており、縦軸は各波数kx、すなわち各ポイント（空間周波数nS）における空間シフトスペクトルの値、より詳細には周波数レスポンスの絶対値を示している。
【０１２７】
空間シフトスペクトルのポイント数は波面の空間サンプリング周波数により定まり、この例ではfsS>fs’Sであるから、矢印Ａ３４に示す空間シフトスペクトルのポイント数MS’は、矢印Ａ３３に示す空間シフトスペクトルのポイント数MSよりも少ない。つまり、空間シフトスペクトルとして、より狭い周波数帯域の成分しか含まれていない。
【０１２８】
この例では、矢印Ａ３４に示す空間シフトスペクトルには、Ｚ１１の部分およびＺ１２の部分の周波数帯域の成分は存在しない。
【０１２９】
そのため、単純にこれらの二つの空間シフトスペクトルを混合してマイクロフォン混合信号SMIX(nS,nT,l)とすることができない。そこで、空間領域信号混合部２５は、例えば矢印Ａ３４に示される空間シフトスペクトルのＺ１１の部分およびＺ１２の部分にゼロ詰めを行って、二つの空間シフトスペクトルのポイント数を揃える。つまり、Ｚ１１の部分およびＺ１２の部分の各ポイント（空間周波数nS）における空間シフトスペクトルSSFT(nS,nT,l)の値として０（ゼロ）が設定される。
【０１３０】
そして、空間領域信号混合部２５は、ゼロ詰めによりポイント数MSが揃えられた二つの空間シフトスペクトルを式（７）の計算により混合し、矢印Ａ３５に示されるマイクロフォン混合信号SMIX(nS,nT,l)を得る。なお、矢印Ａ３５に示されるマイクロフォン混合信号において、横軸は波数kxを示しており、縦軸は各ポイントにおけるマイクロフォン混合信号の値を示している。
【０１３１】
空間領域信号混合部２５は、以上の処理により得られたマイクロフォン混合信号SMIX(nS,nT,l)を通信部２６に供給し、送信させる。通信部２６および通信部２７によりマイクロフォン混合信号の送受信が行われると、マイクロフォン混合信号は空間リサンプリング部２８へと供給される。
【０１３２】
（空間リサンプリング部）
空間リサンプリング部２８は、まず、空間領域信号混合部２５から供給されたマイクロフォン混合信号SMIX(nS,nT,l)に基づいて以下の式（８）を計算し、直線スピーカアレイ３０で音場（波面）を再現するための空間領域の駆動信号DSP(mS,nT,l)を求める。すなわち、SDM(Spectral Division Method)により、駆動信号DSP(mS,nT,l)が算出される。
【０１３３】
【数８】
0006508539.tif 000009
【０１３４】
ここで、式（８）におけるkpwは次式（９）により得られる。
【０１３５】
【数９】
0006508539.tif 000010
【０１３６】
なお、式（８）においてyrefはSDMの基準距離を示しており、基準距離yrefは波面が正確に再現される位置である。この基準距離yrefは直線マイクアレイ２１のマイクロフォンが並ぶ方向と垂直な方向の距離となる。例えば、ここでは基準距離yref＝1[m]とされているが、その他の値でもよい。また、この実施の形態では、エバネッセント波については無視している。
【０１３７】
さらに、式（８）においてH0(2)はハンケル関数を示しており、ｉは純虚数を示している。また、mSは空間周波数スペクトルインデクスを示している。さらに、式（９）においてcは音速を示しており、ωは時間角周波数を示している。
【０１３８】
なお、ここではSDMにより駆動信号DSP(mS,nT,l)を算出する手法を例として説明したが、他の手法により駆動信号が算出されてもよい。また、SDMについては、特に「Jens Adrens, Sascha Spors, “Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers,” in 2nd International Symposium on Ambisonics and Spherical Acoustics」に詳細に記載されている。
【０１３９】
続いて空間リサンプリング部２８は、次式（１０）を計算することで空間領域の駆動信号DSP(mS,nT,l)を逆空間周波数変換して、時間周波数スペクトルD(nspk,nT,l)を算出する。式（１０）では、逆空間周波数変換として、DFT（Discrete Fourier Transform）（離散フーリエ変換）が行われる。
【０１４０】
【数１０】
0006508539.tif 000011
【０１４１】
なお、式（１０）において、nspkは直線スピーカアレイ３０を構成するスピーカを特定するスピーカインデクスを示している。また、MSはDFTのポイント数を示しており、ｉは純虚数を示している。
【０１４２】
式（１０）では、空間周波数スペクトルである駆動信号DSP(mS,nT,l)が時間周波数スペクトルに変換されると同時に、駆動信号（マイクロフォン混合信号）のリサンプリングも行われる。具体的には、空間リサンプリング部２８は、直線スピーカアレイ３０のスピーカ間隔に応じた空間サンプリング周波数で駆動信号をリサンプリング（逆空間周波数変換）することで、実空間の音場を再現することができる直線スピーカアレイ３０の駆動信号を得る。このようなリサンプリングは、音場の収音を直線マイクアレイで行わない場合には、行うことができない。
【０１４３】
空間リサンプリング部２８は、このようにして得られた時間周波数スペクトルD(nspk,nT,l)を時間周波数合成部２９に供給する。
【０１４４】
（時間周波数合成部）
時間周波数合成部２９は、次式（１１）の計算を行うことで、空間リサンプリング部２８から供給された時間周波数スペクトルD(nspk,nT,l)の時間周波数合成を行い、出力フレーム信号dfr(nspk,nfr,l)を得る。ここでは、時間周波数合成として、ISTFT（Inverse Short Time Fourier Transform）（短時間逆フーリエ変換）が用いられているが、時間周波数分析部２２で行われる時間周波数変換（順変換）の逆変換に相当するものを用いればよい。
【０１４５】
【数１１】
0006508539.tif 000012
【０１４６】
なお、式（１１）におけるD’(nspk,mT,l)は、次式（１２）により得られるものである。
【０１４７】
【数１２】
0006508539.tif 000013
【０１４８】
式（１１）においてｉは純虚数を示しており、nfrは時間インデクスを示している。また、式（１１）および式（１２）において、MTはISTFTのポイント数を示しており、nspkはスピーカインデクスを示している。
【０１４９】
さらに、時間周波数合成部２９は、得られた出力フレーム信号dfr(nspk,nfr,l)に、窓関数wT(nfr)を乗算し、オーバーラップ加算を行うことでフレーム合成を行う。例えば、次式（１３）の計算によりフレーム合成が行われて、出力信号d(nspk,t)が求められる。
【０１５０】
【数１３】
0006508539.tif 000014
【０１５１】
なお、ここでは、出力フレーム信号dfr(nspk,nfr,l)に乗算する窓関数wT(nfr)として、時間周波数分析部２２で用いた窓関数と同じものを用いているが、ハミング窓などのその他の窓の場合は矩形窓で構わない。
【０１５２】
また、式（１３）において、dprev(nspk,nfr+lNfr)およびdcurr(nspk,nfr+lNfr)は、どちらも出力信号d(nspk,t)を示しているが、dprev(nspk,nfr+lNfr)は更新前の値を示し、dcurr(nspk,nfr+lNfr)は更新後の値を示している。
【０１５３】
時間周波数合成部２９は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号として直線スピーカアレイ３０に供給する。
【０１５４】
〈音場再現処理の説明〉
次に、以上において説明した音場再現器１１により行われる処理の流れについて説明する。音場再現器１１は、実空間における音声の波面の収音が指示されると、その波面の収音を行って音場を再現する音場再現処理を行う。
【０１５５】
以下、図５のフローチャートを参照して音場再現器１１による音場再現処理について説明する。
【０１５６】
ステップＳ１１において、直線マイクアレイ２１は、実空間において音声の実波面を収音し、その結果得られた収音信号を時間周波数分析部２２に供給する。
【０１５７】
ここでは、直線マイクアレイ２１−１で得られた収音信号が時間周波数分析部２２−１に供給され、直線マイクアレイ２１−２で得られた収音信号が時間周波数分析部２２−２に供給される。
【０１５８】
ステップＳ１２において、時間周波数分析部２２は直線マイクアレイ２１から供給された収音信号s(nmic,t)の時間周波数情報を分析する。
【０１５９】
具体的には、時間周波数分析部２２は収音信号s(nmic,t)に対して時間フレーム分割を行い、その結果得られた入力フレーム信号sfr(nmic,nfr,l)に窓関数wT(nfr)を乗算し、窓関数適用信号sw(nmic,nfr,l)を算出する。
【０１６０】
また、時間周波数分析部２２は、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルS(nmic,nT,l)を空間周波数分析部２３に供給する。すなわち、式（４）の計算が行われて時間周波数スペクトルS(nmic,nT,l)が算出される。
【０１６１】
ここでは、時間周波数分析部２２−１および時間周波数分析部２２−２のそれぞれにおいて時間周波数スペクトルS(nmic,nT,l)が算出され、空間周波数分析部２３−１および空間周波数分析部２３−２に供給される。
【０１６２】
ステップＳ１３において、空間周波数分析部２３は、時間周波数分析部２２から供給された時間周波数スペクトルS(nmic,nT,l)に対して空間周波数変換を行い、その結果得られた空間周波数スペクトルSSP(nS,nT,l)を空間シフト部２４に供給する。
【０１６３】
具体的には、空間周波数分析部２３は式（５）を計算することで、時間周波数スペクトルS(nmic,nT,l)を空間周波数スペクトルSSP(nS,nT,l)に変換する。換言すれば、空間サンプリング周波数fsSで、時間周波数スペクトルを空間周波数領域へ直交変換することで、空間周波数スペクトルが算出される。
【０１６４】
ここでは、空間周波数分析部２３−１および空間周波数分析部２３−２のそれぞれにおいて空間周波数スペクトルSSP(nS,nT,l)が算出され、空間シフト部２４−１および空間シフト部２４−２に供給される。
【０１６５】
ステップＳ１４において、空間シフト部２４は、空間周波数分析部２３から供給された空間周波数スペクトルSSP(nS,nT,l)を空間シフト量ｘだけ空間シフトさせ、その結果得られた空間シフトスペクトルSSFT(nS,nT,l)を空間領域信号混合部２５に供給する。
【０１６６】
具体的には、空間シフト部２４は式（６）を計算することにより空間シフトスペクトルを算出する。ここでは、空間シフト部２４−１および空間シフト部２４−２のそれぞれにおいて、空間シフトスペクトルが算出され、空間領域信号混合部２５に供給される。
【０１６７】
ステップＳ１５において、空間領域信号混合部２５は、空間シフト部２４−１および空間シフト部２４−２から供給された空間シフトスペクトルSSFT(nS,nT,l)を混合し、その結果得られたマイクロフォン混合信号SMIX(nS,nT,l)を通信部２６に供給する。
【０１６８】
具体的には、空間領域信号混合部２５は、必要に応じて空間シフトスペクトルSSFT_i(nS,nT,l)のゼロ詰めを行いながら式（７）を計算し、マイクロフォン混合信号を算出する。
【０１６９】
ステップＳ１６において、通信部２６は、空間領域信号混合部２５から供給されたマイクロフォン混合信号を、無線通信により再現空間に配置された音場再生装置４２に送信する。そして、ステップＳ１７において、音場再生装置４２に設けられた通信部２７は、無線通信により送信されてきたマイクロフォン混合信号を受信し、空間リサンプリング部２８に供給する。
【０１７０】
ステップＳ１８において、空間リサンプリング部２８は、通信部２７から供給されたマイクロフォン混合信号SMIX(nS,nT,l)に基づいて、空間領域の駆動信号DSP(mS,nT,l)を求める。具体的には、空間リサンプリング部２８は式（８）を計算することで、駆動信号DSP(mS,nT,l)を算出する。
【０１７１】
ステップＳ１９において、空間リサンプリング部２８は、得られた駆動信号DSP(mS,nT,l)に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルD(nspk,nT,l)を時間周波数合成部２９に供給する。具体的には、空間リサンプリング部２８は式（１０）を計算することで、空間周波数スペクトルである駆動信号DSP(mS,nT,l)を、時間周波数スペクトルD(nspk,nT,l)に変換する。
【０１７２】
ステップＳ２０において、時間周波数合成部２９は、空間リサンプリング部２８から供給された時間周波数スペクトルD(nspk,nT,l)の時間周波数合成を行う。
【０１７３】
具体的には、時間周波数合成部２９は式（１１）の計算を行って、時間周波数スペクトルD(nspk,nT,l)から出力フレーム信号dfr(nspk,nfr,l)を算出する。さらに時間周波数合成部２９は、出力フレーム信号dfr(nspk,nfr,l)に窓関数wT(nfr)を乗算して式（１３）の計算を行い、フレーム合成により出力信号d(nspk,t)を算出する。
【０１７４】
時間周波数合成部２９は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号として直線スピーカアレイ３０に供給する。
【０１７５】
ステップＳ２１において、直線スピーカアレイ３０は、時間周波数合成部２９から供給されたスピーカ駆動信号に基づいて音声を再生し、音場再現処理は終了する。このようにしてスピーカ駆動信号に基づいて音声が再生されると、再現空間において実空間の音場が再現される。
【０１７６】
以上のようにして音場再現器１１は、複数の直線マイクアレイ２１で得られた収音信号を空間周波数スペクトルに変換し、これらの空間周波数スペクトルを必要に応じて空間シフトさせて中心座標を揃えてから混合する。
【０１７７】
このように、複数の直線マイクアレイ２１について得られた空間周波数スペクトルを混合して単一のマイクロフォン混合信号とすることで、より低コストで正確に音場を再現することができる。すなわち、この場合、複数の直線マイクアレイ２１を用いることで、高性能であるが高価な直線マイクアレイを必要とせずに、正確に音場を再現することができ、音場再現器１１のコストも低く抑えることができる。
【０１７８】
特に、直線マイクアレイ２１として小型なものを用いれば、収音信号の空間周波数分解能を向上させることができ、複数の直線マイクアレイ２１として、互いに特性の異なるものを用いれば、ダイナミックレンジや周波数レンジを拡大させることができる。
【０１７９】
また、複数の直線マイクアレイ２１について得られた空間周波数スペクトルを混合して単一のマイクロフォン混合信号とすることで、信号の伝送コストも低減させることができる。さらに、マイクロフォン混合信号をリサンプリングすれば、任意のスピーカ数やスピーカ間隔の直線スピーカアレイ３０で音場を再現することができる。
【０１８０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
【０１８１】
図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８２】
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Me mory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１８３】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１８４】
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１８５】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８６】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８７】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９３】
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１９４】
さらに、本技術は、以下の構成とすることも可能である。
【０１９５】
（１）
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出する第１の時間周波数分析部と、
前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出する第１の空間周波数分析部と、
前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出する第２の時間周波数分析部と、
前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出する第２の空間周波数分析部と、
前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する空間領域信号混合部と
を備える音場収音装置。
（２）
前記第１の直線マイクアレイと前記第２の直線マイクアレイとの位置関係に応じて、前記第１の空間周波数スペクトルの位相をシフトさせる空間シフト部をさらに備え、
前記空間領域信号混合部は、前記第２の空間周波数スペクトルと、前記位相がシフトされた前記第１の空間周波数スペクトルとを混合する
（１）に記載の音場収音装置。
（３）
前記空間領域信号混合部は、前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルのポイント数が同じ数となるように、前記第１の空間周波数スペクトルまたは前記第２の空間周波数スペクトルに対してゼロ詰めを行う
（１）または（２）に記載の音場収音装置。
（４）
前記空間領域信号混合部は、所定の混合係数を用いて前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを重み付き加算することで混合を行う
（１）乃至（３）の何れか一項に記載の音場収音装置。
（５）
前記第１の直線マイクアレイと前記第２の直線マイクアレイは、同一直線上に配置されている
（１）乃至（４）の何れか一項に記載の音場収音装置。
（６）
前記第１の直線マイクアレイを構成するマイクロフォンの数と、前記第２の直線マイクアレイを構成するマイクロフォンの数とが異なる
（１）乃至（５）の何れか一項に記載の音場収音装置。
（７）
前記第１の直線マイクアレイの長さと、前記第２の直線マイクアレイの長さとが異なる
（１）乃至（６）の何れか一項に記載の音場収音装置。
（８）
前記第１の直線マイクアレイを構成する各マイクロフォン間の間隔と、前記第２の直線マイクアレイを構成する各マイクロフォン間の間隔とが異なる
（１）乃至（７）の何れか一項に記載の音場収音装置。
（９）
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出し、
前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出し、
前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出し、
前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出し、
前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する
ステップを含む音場収音方法。
（１０）
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第１の時間周波数スペクトルを算出し、
前記第１の時間周波数スペクトルを空間周波数変換して、第１の空間周波数スペクトルを算出し、
前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号を時間周波数変換して、第２の時間周波数スペクトルを算出し、
前記第２の時間周波数スペクトルを空間周波数変換して、第２の空間周波数スペクトルを算出し、
前記第１の空間周波数スペクトルおよび前記第２の空間周波数スペクトルを混合して、マイクロフォン混合信号を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
（１１）
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出する空間リサンプリング部と、
前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する時間周波数合成部と
を備える音場再生装置。
（１２）
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出し、
前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する
ステップを含む音場再生方法。
（１３）
第１の特性を有するマイクロフォンから構成される第１の直線マイクアレイによる収音によって得られた収音信号から算出された第１の空間周波数スペクトルと、前記第１の特性とは異なる第２の特性を有するマイクロフォンから構成される第２の直線マイクアレイによる収音によって得られた収音信号から算出された第２の空間周波数スペクトルとが混合されて得られたマイクロフォン混合信号を、直線スピーカアレイにより定まる空間サンプリング周波数で逆空間周波数変換して、時間周波数スペクトルを算出し、
前記時間周波数スペクトルに対する時間周波数合成を行って、前記直線スピーカアレイにより音場を再生するための駆動信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９６】
１１  音場再現器，  ２１−１，２１−２，２１  直線マイクアレイ，  ２２−１，２２−２，２２  時間周波数分析部，  ２３−１，２３−２，２３  空間周波数分析部，  ２４−１，２４−２，２４  空間シフト部，  ２５  空間領域信号混合部，  ２８  空間リンサンプリング部，  ２９  時間周波数合成部，  ３０  直線スピーカアレイ
【図１】
0006508539.tif 000015
【図２】
0006508539.tif 000016
【図３】
0006508539.tif 000017
【図４】
0006508539.tif 000018
【図５】
0006508539.tif 000019
【図６】
0006508539.tif 000020