(57)【要約】【課題】簡便な機器で取得した音源を波面合成の音源として利用することができるようにする。【解決手段】信号処理装置は、オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得する取得部と、複数の多重化データそれぞれについて、オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、サンプリングレート調整後の複数のオーディオ情報を、オーディオ情報ごとに異なるスピーカに出力する出力部とを備える。本開示は、例えば、信号処理装置等に適用できる。【選択図】図６
2016092772.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得する取得部と、
前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、
サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する出力部と
を備える信号処理装置。
【請求項２】
前記サンプリングレート調整部は、前記オーディオ情報のサンプリングレートを、前記時刻情報に基づいて調整する
請求項１に記載の信号処理装置。
【請求項３】
前記多重化データには、位置情報も含まれており、
前記位置情報に基づいて伝達関数を算出し、算出された伝達関数に対応するフィルタを用いてサンプリングレート調整後の前記オーディオ信号をフィルタ処理するフィルタ部をさらに備える
請求項１に記載の信号処理装置。
【請求項４】
前記時刻情報は、GPS信号から取得された情報である
請求項１に記載の信号処理装置。
【請求項５】
前記時刻情報は、NTPサーバから取得された情報である
請求項１に記載の信号処理装置。
【請求項６】
前記位置情報は、GPS信号から取得された情報である
請求項１に記載の信号処理装置。
【請求項７】
前記時刻情報は、所定サンプル数の前記オーディオ情報ごとに含まれる
請求項１に記載の信号処理装置。
【請求項８】
前記時刻情報は、前記多重化データの記録を開始した開始時刻情報と、前記多重化データの記録を終了した終了時刻情報である
請求項１に記載の信号処理装置。
【請求項９】
前記サンプリングレート調整部は、前記取得部により取得された前記複数の多重化データの一部の多重化データについてのみサンプリングレートを調整し、
前記出力部は、サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する
請求項１に記載の信号処理装置。
【請求項１０】
信号処理装置が、
オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得し、
前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整し、
サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する
信号処理方法。
【請求項１１】
コンピュータを、
オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得させる取得部と、
前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、
サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力させる出力部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置及びその信号処理方法、並びにプログラムに関し、特に、簡便な機器で取得した音源を波面合成の音源として利用することができるようにすることができるようにする信号処理装置及びその信号処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
音場における音声の波面を複数のマイクロホンで収音し、得られた収音信号に基づいて音場を再現する音場再現手法として、波面合成技術が知られている。波面合成技術の一つに、境界音場制御がある（例えば、特許文献１参照）。
【０００３】
一般に、音場再現手法では、音源を収音する際の複数のマイクロホンとして、特殊なマイクロホンや、多数のマイクロホンが必要である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１００１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、一人一台スマートフォンを携帯するようになってきており、スマートフォンには、自分の位置を受信するGPS（Global Positioning System）機能や、映像や音声を記録する機能がついているものが多い。
【０００６】
そこで、波面合成に必要な音源をスマートフォンで簡単に録音することができれば望ましい。このときに問題となるのが、複数の機器で得られる各音源のクロックのずれである。スマートフォンでは、例えば、映像は30fps、音声は48kHzのサンプリング周波数で記録が可能であるが、厳密には、機器ごとに、サンプリング周波数はわずかに異なる。
【０００７】
音場再現のための専用機では、Wordclockと呼ばれるオーディオのリファレンス信号、Genlockと呼ばれるビデオのリファレンス信号を基準にサンプリングされるので、同期がずれることはない。しかし、専用機以外の一般の民生機器では、このような機構がないため、それぞれの機器間で得られた信号にクロックのずれが生じてしまう。
【０００８】
本開示は、このような状況に鑑みてなされたものであり、簡便な機器で取得した音源を波面合成の音源として利用することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の信号処理装置は、オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得する取得部と、前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する出力部とを備える。
【００１０】
本開示の一側面の信号処理方法は、信号処理装置が、オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得し、前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整し、サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する。
【００１１】
本開示の一側面のプログラムは、コンピュータを、オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得させる取得部と、前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力させる出力部として機能させるためのものである。
【００１２】
本開示の一側面においては、オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データが取得され、前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートが調整され、サンプリングレート調整後の複数の前記オーディオ情報が、前記オーディオ情報ごとに異なるスピーカに出力される。
【００１３】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１４】
信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１５】
本開示の一側面によれば、簡便な機器で取得した音源を波面合成の音源として利用することができる。
【００１６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本開示に係る音響システムの一実施の形態の構成例を示すブロック図である。
【図２】境界音場制御法について説明する図である。
【図３】録音装置の詳細な構成例を示すブロック図である。
【図４】録音装置による多重化データ作成処理を説明するフローチャートである。
【図５】多重化データのデータ配置例を示す図である。
【図６】再生装置の詳細な構成例を示すブロック図である。
【図７】オーディオ情報と時刻情報との対応関係を示す図である。
【図８】再生装置による多重化データ再生処理を説明するフローチャートである。
【図９】本実施の形態における音源データの取得方法を説明する図である。
【図１０】多重化データを5.1チャンネルのスピーカシステムに利用する例を示す図である。
【図１１】本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
＜音響システムの構成例＞
図１は、本開示に係る音響システムの一実施の形態の構成例を示している。
【００１９】
図１の音響システム１は、波面合成を用いて音の臨場感を再現するシステムであり、K個（K＞１）のスピーカ１０1乃至１０K、M個（M＞１）の録音装置１１1乃至１１M、データ記憶装置１２、M個の再生装置１３1乃至１３M、及び、M個のスピーカ１４1乃至１４Mにより構成される。
【００２０】
なお、以下において、K個のスピーカ１０1乃至１０Kそれぞれを特に区別する必要がない場合、単にスピーカ１０と記述し、M個の録音装置１１1乃至１１Mそれぞれを特に区別する必要がない場合、単に、録音装置１１と記述する。M個の再生装置１３1乃至１３M、及び、M個のスピーカ１４1乃至１４Mについても同様とする。
【００２１】
K個のスピーカ１０とM個の録音装置１１は、収音システム１５を構成し、音源を収音する場合に、所定の会場に設置される。一方、M個の再生装置１３とM個のスピーカ１４は、再生システム１６を構成し、収音された音源を再生する場合に、所定の会場に設置される。なお、データ記憶装置１２は、収音システム１５または再生システム１６の一部として組み込むことができる。
【００２２】
図２を参照して、音の臨場感を再現する波面合成技術の一つである、境界音場制御法について説明する。
【００２３】
境界音場制御法は、音場を再現する再生空間に、音源を収音した原空間と同じようにマイクロホンを配置し、そのマイクロホンで観測される信号が、原空間で収音したときのマイクロホン信号と同じになるように、再生空間の周囲に設置した複数のスピーカに入力信号を与える方法である。
【００２４】
具体的には、図２に示されるように、会場Aを原空間として、会場Aにおいて周辺に配置された多数のスピーカ１０から出力された音が、会場内に配列させた多数の録音装置１１で収音される。
【００２５】
そして、再生空間としての会場Bにおいて、図２に示されるように、原空間と同じような配置で多数の録音装置１１を設置した場合に、それぞれの録音装置１１で観測されるオーディオ信号が、原空間で収音した信号と同じになるような音を、再生装置１３が、スピーカ１４から出力させることで、原空間の音場が、再生空間で再現される。原空間及び再生空間における各録音装置１１の位置は、境界音場制御法における制御点と呼ばれる。
【００２６】
再生空間の制御点で観測されるオーディオ信号が原空間で収音した信号と同じになるようにするには、再生空間の各スピーカ１４から各録音装置１１までの伝達関数（伝達特性）Gを実測し、再生装置１３が、伝達関数Gの逆特性となる逆関数フィルタH＝G-1を計算して、原空間で収音したオーディオ信号を逆関数フィルタHを通してスピーカ１４から出力する。
【００２７】
図１の説明に戻り、収音システム１５は、原空間で音源を収音したり、再生空間で伝達関数Gを実測する際に使用される。
【００２８】
K個のスピーカ１０それぞれは、所定の音を出力する。M個の録音装置１１それぞれは、K個のスピーカ１０から出力される音を収音し、その結果得られるオーディオ信号をデータ記憶装置１２に供給する。
【００２９】
再生システム１６は、原空間で収音した音源を再生空間で再現する際に使用される。
【００３０】
再生装置１３は、伝達関数Gの逆特性となる逆関数フィルタH＝G-1を算出する。そして、再生装置１３は、データ記憶装置１２から取得したオーディオ信号に対して、逆関数フィルタHによるフィルタ処理を施し、フィルタ処理後のオーディオ信号を出力する。スピーカ１４は、接続されている再生装置１３から供給されるオーディオ信号に基づく音を出力する。
【００３１】
なお、波面合成の伝達関数G及びその逆関数G-1の算出には、上述した境界音場制御の原理の他、キルヒホッフ・ホルムヘルツ積分方程式など、波面合成技術として知られる任意の演算を用いることができる。以下において、再生装置１３が、原空間で収音したオーディオ信号に対して実行する、伝達関数Gの逆関数フィルタHを、波面合成フィルタと称する。
【００３２】
音響システム１は、以上のように構成される。
【００３３】
なお、収音システム１５において、複数の録音装置１１で行われる処理を、１つの信号処理装置が行う構成とすることもできる。同様に、再生システム１６において、複数の再生装置１３で行われる処理を１つの信号処理装置が行う構成とすることもできる。また、データ記憶装置１２の機能を録音装置１１や再生装置１３が備える構成とし、データ記憶装置１２は省略されてもよい。
【００３４】
一般に、音場を再現する音響システム１の録音装置１１としては、音場再現用に設計された専用機が用いられるが、本実施の形態では、後述するように、録音装置１１として、スマートフォンのような多数のユーザが所有する民生機器を使用することができる。録音装置１１として民生機器を使用した場合、問題となるのは、複数の録音装置１１どうしの同期のずれである。そこで、後述するように、本開示に係る音響システム１の再生装置１３は、複数の録音装置１１どうしの同期のずれを修正して再生する機能を有している。
【００３５】
以下、録音装置１１と再生装置１３の詳細について説明する。
【００３６】
＜録音装置の構成例＞
図３は、録音装置１１の詳細な構成例を示すブロック図である。
【００３７】
録音装置１１は、収音部３１、撮像部３２、GPS受信部３３、制御部３４、データ記憶部３５、及び通信部３６を有する。
【００３８】
収音部３１は、例えば、マイクロホンなどで構成され、周囲の音を取得して、その結果得られるオーディオ信号を制御部３４に供給する。
【００３９】
撮像部３２は、例えば、CCD(Charge Coupled Device)やCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどで構成され、所定の映像を撮像し、その結果得られるビデオ信号を制御部３４に供給する。
【００４０】
GPS受信部３３は、GPS衛星から送信されてくるGPS信号を受信して、受信したGPS信号に含まれる位置情報と時刻情報を制御部３４に供給する。GPS信号に含まれる時刻情報は、原子時計に基づく時刻情報であり、高精度な時刻情報である。
【００４１】
制御部３４は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等で構成され、各種のプログラムを実行することにより、録音装置１１全体の動作を制御する。また、制御部３４は、収音部３１から供給されるオーディオ信号、撮像部３２から供給されるビデオ信号、GPS受信部３３から供給される位置情報及び時刻情報を、所定のフォーマットで多重化した多重化データを生成し、データ記憶部３５に記憶させる。さらに、制御部３４は、生成した多重化データを、通信部３６を介して、データ記憶装置１２（図１）に出力させる。
【００４２】
データ記憶部３５は、例えば、EEPROM(Electronically Erasable and Programmable Read Only Memory)などの不揮発性メモリで構成され、所定のプログラムやデータを記憶する。データ記憶部３５には、例えば、制御部３４が実行するプログラムや、制御部３４から供給されたデータが記憶される。
【００４３】
通信部３６は、例えば、有線または無線によりLAN（Local Area Network）に接続するための通信モジュールで構成され、ネットワークに接続して、他の装置と通信する。通信部３６は、USB（Universal Serial Bus）の規格に基づくUSB I/F(Inter Face)やBluetooth（登録商標）等、有線、無線を問わず、その他の通信方式で通信を行うものでもよい。
【００４４】
以上の構成を有する録音装置１１は、例えば、スマートフォンなどの携帯情報端末で構成することができる。
【００４５】
＜多重化データ作成処理＞
次に、図４のフローチャートを参照して、録音装置１１による多重化データ作成処理について説明する。この処理は、例えば、M個の録音装置１１それぞれにおいて、音源の記録開始の指示がなされたとき、実行される。
【００４６】
初めに、ステップＳ１１において、GPS受信部３３は、GPS信号を受信して、受信したGPS信号に含まれる時刻情報を取得し、制御部３４に供給する。制御部３４は、供給された時刻情報を開始時刻情報として所定の方式で符号化し、パケット化する。
【００４７】
ステップＳ１２において、GPS受信部３３は、GPS信号を受信して、受信したGPS信号に含まれる位置情報と時刻情報を取得し、制御部３４に供給する。制御部３４は、GPS受信部３３から供給された位置情報と時刻情報を、GPS位置情報及びGPS時刻情報として所定の方式で符号化し、パケット化する。
【００４８】
ステップＳ１３において、収音部３１は、周囲の音を取得し、その結果得られるオーディオ信号を制御部３４に供給する。制御部３４は、収音部３１から供給されたオーディオ信号を取得し、オーディオ情報として所定の方式で符号化し、パケット化する。
【００４９】
ステップＳ１４において、撮像部３２は、所定の映像を撮像し、その結果得られるビデオ信号を制御部３４に供給する。制御部３４は、撮像部３２から供給されたビデオ信号を取得し、ビデオ情報として所定の方式で符号化し、パケット化する。
【００５０】
なお、説明の便宜上、ステップＳ１２乃至Ｓ１４の処理は、順番に行うこととして説明しているが、実際には、並列に（同時に）実行される。
【００５１】
ステップＳ１５において、制御部３４は、データ取得が終了したか否かを判定する。
【００５２】
ステップＳ１５で、データ取得がまだ終了していないと判定された場合、処理はステップＳ１２に戻り、上述したステップＳ１２乃至Ｓ１５が繰り返し実行される。
【００５３】
一方、ステップＳ１５で、データ取得が終了したと判定された場合、処理はステップＳ１６に進み、GPS受信部３３は、GPS信号を受信して、受信したGPS信号に含まれる時刻情報を取得し、制御部３４に供給する。制御部３４は、供給された時刻情報を終了時刻情報として所定の方式で符号化し、パケット化する。
【００５４】
ステップＳ１７において、制御部３４は、上述した各ステップでパケット化した開始時刻情報、GPS位置情報、GPS時刻情報、オーディオ情報、ビデオ情報、及び、終了時刻情報を多重化した多重化データを作成して、データ記憶部３５に記憶させる。あるいは、制御部３４は、作成した多重化データを、データ記憶部３５に記憶する代わりに、通信部３６を介してデータ記憶装置１２（図１）に出力してデータ記憶装置１２に記憶させてもよい。
【００５５】
＜多重化データのデータ配置例＞
図５は、図４の多重化データ作成処理により作成される多重化データのデータ配置例を示している。
【００５６】
例えば、多重化データの最初には、多重化データの記録を開始した時刻を表す開始時刻情報が配置され、多重化データの最後に、記録を終了した時刻を表す終了時刻情報が配置される。そして、開始時刻情報と終了時刻情報の間に、GPS時刻情報、GPS位置情報、オーディオ情報、及びビデオ情報のセットが、繰り返し配置される。
【００５７】
各情報は、データの長さに応じた１個以上のパケットで構成される。ここで、オーディオ情報とビデオ情報の１まとまりは、予め定めたNサンプル（N枚）単位とされる。
【００５８】
なお、GPS時刻情報、GPS位置情報、オーディオ情報、及びビデオ情報の格納位置や順番はあくまで一例であり、この例に限られない。多重化データのファイルフォーマットは、例えば、MP4や、MPEG2-TS（Moving Picture Experts Group 2 Transport Stream）など、汎用のファイルフォーマットを適宜選択して採用することができる。
【００５９】
上述した例では、時刻情報については、開始時刻情報及び終了時刻情報と、信号取得中に定期的に取得される時刻情報の両方を、記録データとして保存するようにしたが、多重化データには、開始時刻情報及び終了時刻情報か、または、定期的に取得する時刻情報のいずれか一方のみが少なくとも格納されていればよい。
【００６０】
＜再生装置の構成例＞
図６は、再生装置１３の詳細な構成例を示すブロック図である。
【００６１】
再生装置１３は、データ取得部５１、デマルチプレクサ（DEMUX）５２、サンプリンレートコンバータ５３、波面合成用フィルタ５４、D/Aコンバータ５５、アンプ（AMP）５６、及び基準クロック生成部５７を有する。
【００６２】
データ取得部５１は、録音装置１１により録音された所定のファイルフォーマットの多重化データを、データ記憶装置１２から取得して、デマルチプレクサ５２に供給する。
【００６３】
デマルチプレクサ５２は、データ取得部５１から供給される所定のファイルフォーマットの多重化データを、データ種類（トラック）別に分離し、ファイル保存時の符号化方式に対応する復号方式により復号する。デマルチプレクサ５２は、復号の結果得られたGPS時刻情報とオーディオ情報についてはサンプリングレートコンバータ５３に供給し、復号の結果得られたGPS位置情報については波面合成用フィルタ５４に供給する。
【００６４】
サンプリングレートコンバータ５３は、デマルチプレクサ５２から供給されたオーディオ情報のサンプリングレートを調整するサンプリングレート調整部として機能する。具体的には、サンプリングレートコンバータ５３は、デマルチプレクサ５２から供給されたオーディオ情報のサンプリングレートを、基準クロック生成部５７から供給される再生レートfsに変換する。そして、サンプリングレートコンバータ５３は、再生レートfsに変換されたオーディオ情報を、波面合成用フィルタ５４に供給する。
【００６５】
サンプリングレートコンバータ５３には、GPS時刻情報とオーディオ情報が供給されるが、GPS時刻情報は、図７に示されるように、Nサンプルのオーディオ情報に対応付けられている。
【００６６】
例えば、Nサンプルのオーディオ情報７１に対して、GPS時刻情報T1が対応付けられ、Nサンプルのオーディオ情報７２に対して、GPS時刻情報T2が対応付けられ、Nサンプルのオーディオ情報７３に対して、GPS時刻情報T3が対応付けられている。
【００６７】
ここで、基準クロック生成部５７から供給される再生装置１３の再生レートfsが、例えば、４８kHzであり、録音装置１１がオーディオ信号を記録したときのサンプリングレートも、同じ４８ｋHzであったとする。しかしながら、録音装置１１がスマートフォンのような民生機器である場合、クロック信号の精度が専用機のように高くないため、記録時のサンプリングレートは、例えば、４７．９９８ｋHzや、４８．００１kHzのように、多少のずれをもっている。
【００６８】
Nサンプルのオーディオ情報７１のサンプリングレートが再生レートfsと完全に一致していた場合、Nサンプルのオーディオ情報７１と再生レートfsには、
（T2-T1）＝N/fs
の関係が成り立つ。
【００６９】
一方、録音装置１１のサンプリングレートが４８ｋHzよりも遅かった場合には、
（T2-T1）＞N/fs
となり、録音装置１１のサンプリングレートが４８ｋHzよりも速かった場合には、
（T2-T1）＜N/fs
となる。
【００７０】
サンプリングレートコンバータ５３は、
fs_est＝N/(T2-T1)
を計算し、Nサンプルのオーディオ情報７１の録音時のサンプリングレートfs_estを算出する。そして、サンプリングレートコンバータ５３は、Nサンプルのオーディオ情報７１のサンプリングレートfs_estを、基準クロック生成部５７から供給される再生レートfsに変換して、波面合成用フィルタ５４に供給する。
【００７１】
サンプリングレートコンバータ５３は、以上の処理を、Nサンプル単位のオーディオ情報に対して順次繰り返し実行する。これにより、録音時のサンプリングレートが再生レートfsと厳密に一致していない場合であっても、サンプリングレートを再生レートfsに修正して再生することができる。また、複数の再生装置１３間でも、再生時のサンプリングレートを、再生レートfsに一致させることができる。
【００７２】
なお、多重化データに含まれる時刻情報が、開始時刻情報と終了時刻情報のみである場合には、サンプリングレートコンバータ５３は、開始時刻情報と終了時刻情報から、記録時のサンプリングレートfs_estを算出し、再生レートfsに変換する。
【００７３】
図６の説明に戻り、サンプリングレートコンバータ５３は、サンプリングレートを再生レートfsに変換した後のオーディオ情報を、波面合成用フィルタ５４に供給する。また、波面合成用フィルタ５４には、デマルチプレクサ５２から、オーディオ情報に対応するGPS位置情報も供給される。
【００７４】
波面合成用フィルタ５４は、サンプリングレートコンバータ５３から供給されたオーディオ情報を記録したときの伝達関数Gを、オーディオ情報に対応するGPS位置情報に基づいて算出する。そして、波面合成用フィルタ５４は、サンプリングレートコンバータ５３から供給されたオーディオ情報に対して、伝達関数Gの逆特性となる波面合成フィルタ処理を施す。波面合成用フィルタ５４は、フィルタ処理後のオーディオ信号をD/Aコンバータ５５に供給する。
【００７５】
D/Aコンバータ５５は、波面合成用フィルタ５４から供給されるデジタルのオーディオ信号をアナログの信号に変換し、アンプ５６に供給する。波面合成用フィルタ５４とD/Aコンバータ５５にも、基準クロック生成部５７から、再生レートfsのクロック信号が供給され、波面合成用フィルタ５４とD/Aコンバータ５５は、再生レートfsで各動作を行う。
【００７６】
アンプ５６は、D/Aコンバータ５５から供給されたアナログのオーディオ信号を増幅して、スピーカ１４に出力する。
【００７７】
基準クロック生成部５７は、再生レートfsに対応するクロック信号を生成し、サンプリングレートコンバータ５３、波面合成用フィルタ５４、及び、D/Aコンバータ５５に供給する。
【００７８】
＜多重化データ再生処理＞
図８のフローチャートを参照して、再生装置１３による多重化データ再生処理について説明する。この処理は、例えば、再生装置１３において多重化データの再生が指示されたとき、実行される。
【００７９】
初めに、ステップＳ４１において、データ取得部５１は、所定のファイルフォーマットの多重化データをデータ記憶装置１２から取得して、デマルチプレクサ５２に供給する。
【００８０】
ステップＳ４２において、デマルチプレクサ５２は、データ取得部５１から供給された所定のファイルフォーマットの多重化データを、データ種類（トラック）別に分離し、ファイル保存時の符号化方式に対応する復号方式により復号する。復号の結果得られたGPS時刻情報とオーディオ情報は、サンプリングレートコンバータ５３に供給され、GPS位置情報は、波面合成用フィルタ５４に供給される。
【００８１】
ステップＳ４３において、サンプリングレートコンバータ５３は、デマルチプレクサ５２から供給されたオーディオ情報のサンプリングレートを、基準クロック生成部５７から供給された再生レートfsに変換して、サンプリングレート変換後のオーディオ情報を波面合成用フィルタ５４に供給する。
【００８２】
ステップＳ４４において、波面合成用フィルタ５４は、デマルチプレクサ５２から供給されたオーディオ情報を記録したときの伝達関数Gを、デマルチプレクサ５２から供給されたオーディオ情報に対応するGPS位置情報に基づいて算出する。
【００８３】
ステップＳ４５において、波面合成用フィルタ５４は、サンプリングレートコンバータ５３から供給されたオーディオ情報に対して、伝達関数Gの逆特性となる波面合成フィルタ処理を実行する。フィルタ処理後のオーディオ信号は、D/Aコンバータ５５に供給される。
【００８４】
ステップＳ４６において、D/Aコンバータ５５は、波面合成用フィルタ５４から供給されたデジタルのオーディオ信号をアナログの信号に変換し、アンプ５６に供給する。
【００８５】
ステップＳ４７において、アンプ５６は、D/Aコンバータ５５から供給されたアナログのオーディオ信号を増幅して、スピーカ１４に出力する。スピーカ１４は、アンプ５６から供給されたアナログのオーディオ信号に対応する音を出力する。
【００８６】
多重化データ再生処理は以上のように実行される。
【００８７】
図１の音響システム１では、上述したように、多数のユーザが所有するスマートフォンなどを録音装置１１として使用することができる。録音装置１１としての各ユーザのスマートフォンは、オーディオ信号とビデオ信号を、GPS信号から取得した位置情報と時刻情報とともに多重化して、所定のファイルフォーマットの多重化データとして記録する。
【００８８】
再生装置１３は、録音装置１１により作成された所定のファイルフォーマットの多重化データを取得して、GPS時刻情報、GPS位置情報、オーディオ情報、及びビデオ情報に分離する。そして、再生装置１３は、多重化データに含まれるGPS時刻情報に基づいて、オーディオ信号のサンプリングレートを、録音時のサンプリングレートfs_estから所定の再生レートfsに変換し、変換後のオーディオ信号に波面合成フィルタ処理を施して、スピーカ１４から出力させる。
【００８９】
ここで、多重化データに含まれる時刻情報は、録音装置１１内のカウンタクロックに基づくものではなく、受信したGPS信号から取得した時刻情報であり、原子時計に基づく高精度な時刻情報である。
【００９０】
再生装置１３は、多重化データに含まれる高精度なGPS時刻情報に基づいて、記録されているオーディオ信号のサンプリングレートのずれを検出し、所定の再生レートfsにサンプリングレートを変換してから、音を出力する。これにより、多数のユーザが所有するスマートフォンなどの民生機器を録音装置１１として使用した場合であっても、複数の再生装置１３どうしで、出力する音の同期をとることができ、録音時の音場を再現することができる。
【００９１】
即ち、簡便な機器で取得した音源を波面合成の音源として利用することができる。
【００９２】
録音装置１１により作成された所定のファイルフォーマットの多重化データには、録音装置１１が音源を取得した位置を表すGPS位置情報が含まれている。
【００９３】
再生装置１３は、多重化データに含まれるGPS位置情報に基づいて伝達関数Gを算出し、伝達関数Gの逆特性で与えられる波面合成フィルタ処理を実行することができる。
【００９４】
これにより、通常、再生空間で音源データを取得する場合には、図２を参照して説明したように録音装置１１を原空間と同じように配列させたり、特性を測定済みの録音装置１１を再生空間の現場に持っていく必要があった。
【００９５】
しかしながら、本実施の形態によれば、再生空間で録音装置１１が音源データを取得する際に、録音装置１１の位置を示すGPS位置情報も取得することができるので、図９に示されるように、収音位置（制御点）が不均一に配置された状態であっても、GPS位置情報を基に、複数のスピーカ１４との距離に基づいて伝達関数Gを算出し、その逆特性を求めることができる。すなわち、より簡単に、再生空間の伝達関数Gを算出し、音場を再現することができる。
【００９６】
なお、上述した説明では、多重化データ作成処理により作成した多重化データを、波面合成処理に用いて音場を再現する例について説明したが、波面合成処理以外に用いてもよい。例えば、多重化データ作成処理により作成された複数の多重化データの一部のみを用いて、5.1チャンネルのスピーカシステムに利用することもできる。
【００９７】
図１０は、多重化データ作成処理により作成された多重化データを5.1チャンネルのスピーカシステムに利用する例を示している。
【００９８】
多重化データ作成処理により作成された多数の収音位置の多重化データのうち、例えば、図１０に示されるように、録音装置１１Aで取得された多重化データを、センタースピーカ９１Aに使用し、録音装置１１Bで取得された多重化データを、右フロントスピーカ９１Bに割り当て、録音装置１１Cで取得された多重化データを、右リアスピーカ９１Cに割り当て、録音装置１１Dで取得された多重化データを、左リアスピーカ９１Dに割り当て、録音装置１１Eで取得された多重化データを、左フロントスピーカ９１Eに割り当て、出力させることができる。
【００９９】
上述した説明では、オーディオ情報を複数の再生装置１３間で同期させる処理について説明したが、ビデオ情報についても同様に、多重化データに含まれる時間情報に基づいてサンプリングレートを制御し、オーディオ情報に同期させた映像を表示させたり、複数の録画位置で取得した映像の視点補間も行うことができる。
【０１００】
上述した例では、録音装置１１が、自身の正確な位置情報を、GPS信号に含まれる位置情報から認識したが、高精度な時刻情報をその他の方法で取得してもよい。例えば、録音装置１１の制御部３４が、通信部３６を介して、正確な時刻情報を配信しているNTP(Network Time Protocol)サーバにアクセスすることで、高精度な時間情報を取得してもよい。
【０１０１】
また、GPS衛星は、アメリカが運用する測位衛星であるが、ロシアによるGLONASS（Global Orbiting Navigation Satellite System ）、EUによるGalileoなど、その他の衛星測位システム（GNSS：Global Navigation Satellite System）の測位衛星から送信されてくる送信信号を受信して時刻情報及び位置情報を取得してもよい。
【０１０２】
オーディオ情報及びビデオ情報を処理する信号処理装置としての録音装置１１及び再生装置１３のそれぞれは、それ専用のハードウエアとして作成することもできるし、コンピュータに上述した一連の処理を行うプログラムを実行させることで実現することもできる。上述した一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０３】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０４】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１０５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０１０６】
入力部１０６は、キーボード、マウス、マイクロホン、カメラなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０１０７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０８】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１０９】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０１１０】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１１１】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１２】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１５】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１１６】
なお、本開示は以下のような構成も取ることができる。
（１）
オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得する取得部と、
前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、
サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する出力部と
を備える信号処理装置。
（２）
前記サンプリングレート調整部は、前記オーディオ情報のサンプリングレートを、前記時刻情報に基づいて調整する
前記（１）に記載の信号処理装置。
（３）
前記多重化データには、位置情報も含まれており、
前記位置情報に基づいて伝達関数を算出し、算出された伝達関数に対応するフィルタを用いてサンプリングレート調整後の前記オーディオ信号をフィルタ処理するフィルタ部をさらに備える
前記（１）または（２）に記載の信号処理装置。
（４）
前記時刻情報は、GPS信号から取得された情報である
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記時刻情報は、NTPサーバから取得された情報である
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（６）
前記位置情報は、GPS信号から取得された情報である
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記時刻情報は、所定サンプル数の前記オーディオ情報ごとに含まれる
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記時刻情報は、前記多重化データの記録を開始した開始時刻情報と、前記多重化データの記録を終了した終了時刻情報である
前記（１）乃至（７）のいずれかに記載の信号処理装置。
（９）
前記サンプリングレート調整部は、前記取得部により取得された前記複数の多重化データの一部の多重化データについてのみサンプリングレートを調整し、
前記出力部は、サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する
前記（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）
オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得し、
前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整し、
サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力する
信号処理装置の信号処理方法。
（１１）
コンピュータを、
オーディオ情報と時刻情報が少なくとも多重化された複数の多重化データを取得させる取得部と、
前記複数の多重化データそれぞれについて、前記オーディオ情報のサンプリングレートを調整するサンプリングレート調整部と、
サンプリングレート調整後の複数の前記オーディオ情報を、前記オーディオ情報ごとに異なるスピーカに出力させる出力部
として機能させるためのプログラム。
【符号の説明】
【０１１７】
１  音響システム，  １０  スピーカ，  １１  録音装置，  １２  データ記憶装置，  １３  再生装置，  １４  スピーカ，  ５１  データ取得部，  ５２  デマルチプレクサ，  ５３  サンプリングレートコンバータ，  ５４  波面合成用フィルタ，  ５６  アンプ，  ８１  スピーカ，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０６  入力部，  １０７  出力部，  １０８  記憶部，  １０９  通信部
【図１】
2016092772.tif 000003
【図２】
2016092772.tif 000004
【図３】
2016092772.tif 000005
【図４】
2016092772.tif 000006
【図５】
2016092772.tif 000007
【図６】
2016092772.tif 000008
【図７】
2016092772.tif 000009
【図８】
2016092772.tif 000010
【図９】
2016092772.tif 000011
【図１０】
2016092772.tif 000012
【図１１】
2016092772.tif 000013