(57)【要約】【課題】複数のマイクで収音した音響信号の音場の範囲を調整して３つ以上のスピーカを駆動することができるミキシング装置を提供する。【解決手段】ミキシング装置は、Ｎ個のスピーカのうちの２つのスピーカのスピーカ組それぞれに対応する第Ｋスピーカ組処理手段を有し、第Ｋスピーカ組処理手段は、マイクロフォンの組それぞれに対応して設けられ、第１音響信号と第２音響信号を出力する処理手段を有し、各処理手段が出力する第１音響信号を加算し、かつ、各処理手段が出力する第２音響信号を加算して、対応するスピーカ組のスピーカを駆動する信号を出力し、各処理手段は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応するマイクロフォン組の２つのマイクロフォンが出力する音響信号を処理する。【選択図】図２
2020053862.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロフォンで収音した音響信号に基づきＮ個（Ｎは３以上の整数）のスピーカそれぞれを駆動する駆動信号を出力するミキシング装置であって、
前記Ｎ個のスピーカのうちの隣接する２つのスピーカのスピーカ組それぞれに対応する第１スピーカ組処理手段から第Ｐ（ＰはＮ−１又はＮ）スピーカ組処理手段であって、前記第１スピーカ組処理手段から前記第Ｐスピーカ組処理手段は、それぞれ、対応するスピーカ組の第１スピーカを駆動する第１駆動信号と、対応するスピーカ組の第２スピーカを駆動する第２駆動信号を出力する、前記第１スピーカ組処理手段から前記第Ｐスピーカ組処理手段と、
前記第１スピーカ組処理手段から前記第Ｐスピーカ組処理手段が出力する２Ｐ個の駆動信号の内、同じスピーカを駆動する駆動信号を合成する合成手段と、
を備えており、
第Ｋスピーカ組処理手段（Ｋは１からＰまでの整数）は、
前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの内の２つのマイクロフォンのマイクロフォン組それぞれに対応して設けられ、対応するマイクロフォン組の２つのマイクロフォンが出力する音響信号を処理して第１音響信号と第２音響信号を出力するマイク組処理手段と、
前記マイクロフォン組に対応する前記マイク組処理手段が出力する前記第１音響信号を加算して対応するスピーカ組の前記第１スピーカを駆動する前記第１駆動信号を出力する第１加算手段と、
前記マイクロフォン組に対応する前記マイク組処理手段が出力する前記第２音響信号を加算して対応するスピーカ組の前記第２スピーカを駆動する前記第２駆動信号を出力する第２加算手段と、
を備えており、
前記マイク組処理手段は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応するマイクロフォン組の２つのマイクロフォンが出力する音響信号を処理することを特徴とするミキシング装置。
【請求項２】
ユーザ操作を受け付ける受付手段をさらに備え、
前記第Ｋスピーカ組処理手段は、前記ユーザ操作に基づき前記マイクロフォン組を分類し、前記マイクロフォン組の分類結果に基づき前記マイク組処理手段が使用する拡縮係数、シフト係数及び減衰係数を決定する第Ｋ決定手段をさらに備えていることを特徴とする請求項１に記載のミキシング装置。
【請求項３】
前記複数のマイクロフォンは所定の線上に沿って配置され、前記マイクロフォン組の２つのマイクロフォンは、前記所定の線上において隣り合うマイクロフォンであり、
前記ユーザ操作は、前記所定の線上における区間を指定する操作であり、
前記第Ｋ決定手段は、前記区間を対応するスピーカ組に関連するサブ区間に分割し、前記サブ区間に少なくとも１つのマイクロフォンが含まれる場合、前記サブ区間内に２つのマイクロフォンが含まれるマイクロフォン組を第１組、前記サブ区間内に２つのマイクロフォンが含まれないマイクロフォン組を第２組、前記サブ区間内に１つのマイクロフォンのみが含まれるマイクロフォン組を第３組に分類し、
前記サブ区間内に１つもマイクロフォンが含まれない場合、前記サブ区間の両端それぞれに最も近い２つのマイクロフォンの組を前記第３組に分類し、それ以外の組を前記第２組に分類することを特徴とする請求項２に記載のミキシング装置。
【請求項４】
前記第Ｋ決定手段は、前記第１組及び前記第２組に対応する前記マイク組処理手段が使用する拡縮係数を音場の拡縮が無い値に決定し、前記第１組及び前記第２組に対応する前記マイク組処理手段が使用するシフト係数を音場のシフトが無い値に決定することを特徴とする請求項３に記載のミキシング装置。
【請求項５】
前記第Ｋ決定手段は、前記第３組に対応する前記マイク組処理手段が使用する拡縮係数を、前記第３組の２つのマイクロフォンの間における前記サブ区間の長さに応じて決定し、前記第３組に対応する前記マイク組処理手段が使用するシフト係数を、前記第３組の２つのマイクロフォンの配置位置の中心と、前記第３組の２つのマイクロフォンの間における前記サブ区間の中心との距離に応じて決定することを特徴とする請求項３又は４に記載のミキシング装置。
【請求項６】
前記第Ｋ決定手段は、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数及び前記第３組の２つのマイクロフォンが出力する２つの音響信号の減衰係数を、前記第２組の２つのマイクロフォンが出力する２つの音響信号の減衰係数より減衰量が小さくなる値に決定することを特徴とする請求項３から５のいずれか１項に記載のミキシング装置。
【請求項７】
前記第Ｋ決定手段は、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数を減衰量が０となる値に決定することを特徴とする請求項３から６のいずれか１項に記載のミキシング装置。
【請求項８】
前記第Ｋ決定手段は、前記第３組の前記サブ区間内に含まれるマイクロフォンが出力する音響信号の減衰係数を、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数と同じにすることを特徴とする請求項６又は７に記載のミキシング装置。
【請求項９】
前記第Ｋ決定手段は、前記第３組の前記サブ区間内に含まれないマイクロフォンが出力する音響信号の減衰係数を、前記第１組の２つのマイクロフォンが出力する２つの音響信号の減衰係数より減衰量が大きくなる値に決定することを特徴とする請求項６から８のいずれか１項に記載のミキシング装置。
【請求項１０】
前記第Ｋ決定手段は、前記第３組の前記サブ区間内に含まれないマイクロフォンが出力する音響信号の減衰係数を、当該マイクロフォンの配置位置と前記サブ区間との距離に応じて決定することを特徴とする請求項９に記載のミキシング装置。
【請求項１１】
前記第Ｋ決定手段は、前記第２組の２つのマイクロフォンが出力する２つの音響信号の減衰係数を減衰量が最大となる値に決定することを特徴とする請求項６から１０のいずれか１項に記載のミキシング装置。
【請求項１２】
前記第Ｋ決定手段は、前記区間を前記Ｎ個のスピーカの配置間隔に応じてＰ個のサブ区間に分割し、前記関連するサブ区間は、前記第Ｋスピーカ組処理手段に対応する２つのスピーカの配置位置に応じて分割されたサブ区間であることを特徴とする請求項３から１１のいずれか１項に記載のミキシング装置。
【請求項１３】
請求項１から１２のいずれか1項に記載のミキシング装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロフォンで収音した音響信号のミキシング技術に関する。
【背景技術】
【０００２】
現在、ヘッドマウントディスプレイを使用したバーチャルリアリティ（ＶＲ）システムが提供されている。この様なＶＲシステムにおいては、ヘッドマウントディスプレイを装着したユーザの視野に相当する映像をディスプレイに表示する。
【０００３】
これら映像と共にヘッドマウントディスプレイのスピーカから出力される音は、例えば、複数のマイクロフォン（以下、マイクと呼ぶ。）により収音される。図１は、この収音方法の一例を示す図である。図１によると、マイク５１〜５８の計８個のマイクが、位置６０を中心とする所定半径の円周上に配置されている。マイク５１〜マイク５８のそれぞれが収音した音響信号をそのままミキシングしてスピーカに出力すると、マイク５１〜マイク５８のそれぞれが収音した音が同じレベルでスピーカから出力される。例えば、ヘッドマウントディスプレイに、図１の参照符号６１及び６２で示す範囲の映像が表示されているときにマイク５１〜マイク５８のそれぞれが収音した音を同じレベルで再生すると、ユーザが見ている範囲と、音場の範囲とに乖離が生じる。
【０００４】
特許文献１は、音場の伸縮率に基づき２つのマイクにより収音した音響信号を処理して右（Ｒ）チャネルと左（Ｌ）チャネルの２つの音響信号を生成し、Ｒチャネル及びＬチャネルの２つの音響信号で１組（２つ）のスピーカを駆動することで、音場の範囲を調整する構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９０５３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１は、複数のマイクで収音した音響信号の音場の範囲を調整して２つスピーカを駆動することを開示しているが、複数のマイクで収音した音響信号の音場の範囲を調整して３つ以上のスピーカを駆動することを開示してはいない。
【０００７】
本発明は、複数のマイクで収音した音響信号の音場の範囲を調整して３つ以上のスピーカを駆動することができるミキシング装置を提供するものである。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、複数のマイクロフォンで収音した音響信号に基づきＮ個（Ｎは３以上の整数）のスピーカそれぞれを駆動する駆動信号を出力するミキシング装置は、前記Ｎ個のスピーカのうちの隣接する２つのスピーカのスピーカ組それぞれに対応する第１スピーカ組処理手段から第Ｐ（ＰはＮ−１又はＮ）スピーカ組処理手段であって、前記第１スピーカ組処理手段から前記第Ｎ−１スピーカ組処理手段は、それぞれ、対応するスピーカ組の第１スピーカを駆動する第１駆動信号と、対応するスピーカ組の第２スピーカを駆動する第２駆動信号を出力する、前記第１スピーカ組処理手段から前記第Ｐスピーカ組処理手段と、前記第１スピーカ組処理手段から前記第Ｐスピーカ組処理手段が出力する２Ｐ個の駆動信号の内、同じスピーカを駆動する駆動信号を合成する合成手段と、を備えており、第Ｋスピーカ組処理手段（Ｋは１からＰまでの整数）は、前記複数のマイクロフォンの配置位置に基づき決定される前記複数のマイクロフォンの内の２つのマイクロフォンのマイクロフォン組それぞれに対応して設けられ、対応するマイクロフォン組の２つのマイクロフォンが出力する音響信号を処理して第１音響信号と第２音響信号を出力するマイク組処理手段と、前記マイクロフォン組に対応する前記マイク組処理手段が出力する前記第１音響信号を加算して対応するスピーカ組の前記第１スピーカを駆動する前記第１駆動信号を出力する第１加算手段と、前記マイクロフォン組に対応する前記マイク組処理手段が出力する前記第２音響信号を加算して対応するスピーカ組の前記第２スピーカを駆動する前記第２駆動信号を出力する第２加算手段と、を備えており、前記マイク組処理手段は、音場の拡縮率を決定する拡縮係数と、音場のシフト量を決定するシフト係数と、マイクロフォンが出力する音響信号の減衰量を決定する減衰係数と、に基づき対応するマイクロフォン組の２つのマイクロフォンが出力する音響信号を処理することを特徴とする。
【発明の効果】
【０００９】
本発明によると、複数のマイクで収音した音響信号の音場の範囲を調整して３つ以上のスピーカを駆動することができる
【図面の簡単な説明】
【００１０】
【図１】収音方法の一例を示す図。
【図２】一実施形態によるミキシング装置の構成図。
【図３】一実施形態によるスピーカ組の説明図。
【図４】一実施形態による音響信号処理部の構成図。
【図５】一実施形態によるスピーカ組処理部の構成図。
【図６】一実施形態による各係数の説明図。
【図７】一実施形態による区間の説明図。
【図８】一実施形態によるサブ区間の説明図。
【図９】一実施形態によるマイクロフォン組の分類の説明図。
【図１０】一実施形態によるサブ区間に対応するスピーカ組で再現される音場の説明図。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１２】
図２は、本実施形態によるミキシング装置１０の構成図である。ミキシング装置１０の音響信号処理部１１には、Ｍ個のマイク＃１〜＃Ｍ（Ｍは２以上の整数）のそれぞれが収音した音響信号＃１〜＃Ｍが入力される。マイク＃１〜＃Ｍは、例えば、図１に示す様に、位置６０を中心とする所定半径の円周上に配置される。なお、円周上でなく、例えば、直線上や、任意の曲線状等、地理的に異なる位置に複数のマイクを配置する構成であっても良い。また、位置６０に複数の指向性のマイクをそれぞれ異なる方向に向けて配置して収音することもできる。音響信号処理部１１は、音響信号＃１〜＃Ｍに基づきスピーカ＃１〜＃Ｎの計Ｎ個（Ｎは３以上の整数）のスピーカを駆動する駆動信号＃１〜＃Ｎを出力する。なお、駆動信号＃Ｑ（Ｑは、１からＮまでの整数）が、スピーカ＃Ｑを駆動する。
【００１３】
図３は、スピーカ＃１〜＃Ｎの位置関係の説明図である。スピーカ＃１〜＃Ｎは、図３に示す様に、直線又は曲線に沿ってその番号順に一列に配置される。なお、スピーカ＃Ｋとスピーカ＃（Ｋ＋１）（Ｋは１からＮ−１までの整数）との距離をＤＫとする。また、隣接する２つのスピーカを１つのスピーカ組として定義する。本実施形態では、図３に示す様に、第１組から第（Ｎ−１）組の計（Ｎ−１）個のスピーカ組ができる。なお、以下の説明において、スピーカ＃Ｋとスピーカ＃Ｋ＋１のスピーカ組を第Ｋスピーカ組とする。
【００１４】
図４は、音響信号処理部１１の構成図である。音響信号処理部１１は、各スピーカ組に対応する計（Ｎ−１）個のスピーカ組処理部を有する。なお、第Ｋスピーカ組に対応するスピーカ組処理部を第Ｋスピーカ組処理部とする。各スピーカ組処理部には、それぞれ、音響信号＃１〜＃Ｍが入力される。各スピーカ組処理部は、それぞれ、若番駆動信号と老番駆動信号を出力する。若番駆動信号とは、対応する第Ｋスピーカ組の２つのスピーカ＃Ｋ及び＃Ｋ＋１のうちの若番側のスピーカ、つまり、スピーカ＃Ｋを駆動するための信号であり、老番駆動信号とは、対応する第Ｋスピーカ組の２つのスピーカ＃Ｋ及び＃Ｋ＋１のうちの老番側のスピーカ、つまり、スピーカ＃Ｋ＋１を駆動するための信号である。なお、図４に示す様に、第Ｋスピーカ組処理部が出力する若番駆動信号及び老番駆動信号をそれぞれ、若番駆動信号＃Ｋ及び老番駆動信号＃Ｋと表記する。
【００１５】
また、音響信号処理部１１は、スピーカ組の内、２つの組に含まれるスピーカ＃２〜＃Ｎ−１それぞれに対応するスピーカ合成部を有する。なお、スピーカ＃Ｘ（Ｘは、２からＮ−１までの整数）に対応するスピーカ合成部を第Ｘスピーカ合成部とする。第Ｘスピーカ合成部には、それぞれ、スピーカ組処理部が出力するスピーカ＃Ｘを駆動するための２つの信号、具体的には、老番駆動信号＃Ｘ−１と若番駆動信号＃Ｘが入力される。第Ｘスピーカ合成部は、老番駆動信号＃Ｘ−１と若番駆動信号＃Ｘとを合成し、駆動信号＃Ｘとして出力する。なお、Ｎ−１個の組処理部が出力する計２（Ｎ−１）個の信号のうち、スピーカ＃１及び＃Ｎを駆動する信号は、それぞれ、若番駆動信号＃１及び老番駆動信号＃Ｎ−１のみであるため、音響信号処理部１１は、若番駆動信号＃１及び老番駆動信号＃Ｎ−１を、それぞれ、駆動信号＃１及び駆動信号＃Ｎとして出力する。
【００１６】
図５は、第Ｋスピーカ組処理部の構成図である。本実施形態において、配置位置が隣り合うマイクを１つのマイク組とする。例えば、図１の配置においては、マイク５１とマイク５２が１つのマイク組であり、マイク５２とマイク５３が１つのマイク組である。以下、同様に、マイク５７とマイク５８が１つのマイク組であり、マイク５８とマイク５１が１つのマイク組である。つまり、図１の配置においては計８個のマイク組ができる。この様に、閉じた曲線状に複数のマイクを配置する場合、Ｍ個のマイクに対してＭ個のマイク組ができる。一方、直線状に複数のマイクを配置する等、閉じていない線状に複数のマイクを配置する場合には、Ｍ個のマイクに対して（Ｍ−１）個のマイク組ができる。なお、閉じた曲線状に複数のマイクを配置する場合であっても、その一部の区間にマイクを配置する場合には、Ｍ個のマイクに対して（Ｍ−１）個の組を生成する構成とすることもできる。
【００１７】
第Ｋスピーカ組処理部には、図５に示す様に、マイク組それぞれに対応する数に応じたマイク組処理部が設けられる。本実施形態では、Ｍ個のマイクを図１に示す様に円状に配置し、よって、Ｍ個のマイク組があるものとする。したがって、第Ｋスピーカ組処理部には、第１マイク組処理部〜第Ｍマイク組処理部の計Ｍ個のマイク組処理部が設けられる。なお、第１マイク組処理部〜第Ｍマイク組処理部における処理は同様である。マイク組処理部は、処理対象のマイク組の２つのマイクから入力される音響信号に基づき音響信号Ｒと音響信号Ｌを出力する。
【００１８】
以下、マイク組処理部での処理について説明する。まず、マイクＡが収音した音響信号を音響信号Ａと呼び、マイクＢが収音した音響信号を音響信号Ｂと呼び、マイク組処理部には、音響信号Ａ及び音響信号Ｂが入力されるものとする。マイク組処理部は、音響信号Ａ及び音響信号Ｂを所定の時間区間毎に離散フーリエ変換する。以下では、音響信号Ａ及び音響信号Ｂを離散フーリエ変換した周波数領域の信号を、それぞれ、信号Ａ及び信号Ｂとする。マイク組処理部は、以下の式（１）により信号Ａ及び信号Ｂから周波数領域の信号Ｒ（右チャネル：若番に対応）及び信号Ｌ（左チャネル：老番に対応）を生成する。なお、式（１）で示す処理は、信号Ａ及び信号Ｂそれぞれの各周波成分（ビン）に対して行われる。そして、マイク組処理部は、周波数領域の信号Ｒ及び信号Ｌを離散逆フーリエ変換して、音響信号Ｒと音響信号Ｌの２つの音響信号を出力する。若番合成部は、第１マイク組処理部〜第Ｍマイク組処理部のそれぞれが出力する音響信号Ｒを加算して若番駆動信号＃Ｋを出力する。同様に、老番合成部は、第１マイク組処理部〜第Ｍマイク組処理部のそれぞれが出力する音響信号Ｌを加算して老番駆動信号＃Ｋを出力する。
【００１９】
【数１】
2020053862.tif 000003
【００２０】
式（１）において、ｆは処理対象の周波数（ビン）であり、Φは２つの音響信号Ａ及び音響信号Ｂの偏角の主値である。したがって、式（１）においてｆ及びΦは処理対象の音響信号Ａ及び音響信号Ｂに応じて決まる値である。一方、式（１）において、ｍ１、ｍ２、τ及びκは係数決定部が決定してマイク組処理部それぞれに通知する変数である。以下、それぞれの変数の技術的な意味について説明する。
【００２１】
ｍ１及びｍ２は減衰係数であり０以上１以下の値である。なお、ｍ１は信号Ａの減衰量を決定し、ｍ２は信号Ｂの減衰量を決定する。以下では、ｍ１をマイクＡの減衰係数と呼び、ｍ２をマイクＢの減衰係数と呼ぶものとする。
【００２２】
κはスケーリング（拡縮）係数であり、音場の範囲を決定する。なお、スケーリング係数κは、０以上２以下の値である。例えば、図６（Ａ）に示す様に、マイクＡとマイクＢが配置されているものとする。ここで、ｍ１及びｍ２を１に設定し、τを０に設定するものとする。つまり、行列Ｍ及びＴについては、信号Ａ及び信号Ｂを何ら変化させない値に設定するものとする。このときに、κを１とすると、信号Ｒ＝信号Ａ及び信号Ｌ＝信号Ｂとなる。つまり、信号Ｒ及び信号Ｌは、信号Ａと信号Ｂと同じであり、よって、信号Ｒ及び信号Ｌを離散逆フーリエ変換して得られる音響信号Ｒ及び音響信号Ｌは、それぞれ、マイクＡ及びマイクＢが収音した時間領域の信号と同じである。したがって、例えば、マイクＡ及びマイクＢの位置にスピーカを置いて音響信号Ｒ及び音響信号Ｌでそれぞれを駆動すると、マイクＡ及びＢが配置されている方向における音場の範囲は図６（Ａ）の様に、マイクＡ及びマイクＢの収音範囲と同等になる。例えば、音源Ｃ及びＤが図６（Ａ）に示す位置あるものとする。なお、位置６３は、マイクＡとマイクＢとを結ぶ直線の中間位置である。この場合、再生される音において、音源Ｃ及び音源Ｄの音像の位置は、音源Ｃ及び音源Ｄの配置位置と同じ位置となる。
【００２３】
一方、ｍ１及びｍ２を１に設定し、τを０に設定したときに、κを１より小さくすると、図６（Ｂ）に示す様に、音場の範囲はκが１のときより短くなる。このとき、例えば、マイクＡ及びＢの位置にスピーカを置いて音響信号Ｒ及び音響信号Ｌで駆動すると、音源Ｃの音像の位置は、音源Ｃの配置位置と同じ中間位置６３になる。しかしながら、音源Ｄの音像の位置は、音源Ｄの配置位置より中間位置６３に近づく様になる。逆に、κを１より大きくすると、音場の範囲はκが１のときより長くなる。この様に、スケーリング係数κは音場の範囲を拡大・縮小させる係数である。
【００２４】
τはシフト係数であり、−ｘ〜＋ｘの範囲の値をとる。上述した様にτ＝０のとき、行列Ｔは、信号Ａ及び信号Ｂに何ら影響を与えない。一方、τ＝０以外のとき、行列Ｔは、信号Ａ及び信号Ｂにそれぞれ同じ絶対値で異なる符号の位相変化を与える。したがって、音像の位置がτの値に応じてマイクＡ又はマイクＢの方向にシフトする。なお、シフトの方向は、τの正負に応じて決定され、τの絶対値が大きくなる程、そのシフト量は大きくなる。図６（Ｃ）は、図６（Ｂ）に示す音場の範囲となる様なκとしたうえで、τを０以外の値に設定したときの音場の範囲を示している。音源Ｃ及びＤの音像の位置は、図６（Ｂ）に示すときから図の左側にシフトしている。つまり、音場が左側にシフトしている。なお、図６においては、説明のためスピーカをマイクＡ及びマイクＢの位置に置くものとしたが、ＲチャネルとＬチャネルの２つのスピーカを設置する距離は任意の距離とすることができる。この場合、音場の範囲はスピーカの配置距離に応じたものにもなる。
【００２５】
第Ｋスピーカ組処理部の係数決定部は、第１マイク組処理部〜第Ｍマイク組処理部それぞれの係数、つまり、ｍ１、ｍ２、τ及びκを決定し、第１マイク組処理部〜第Ｍマイク組処理部に通知する。以下、第Ｋスピーカ組処理部の係数決定部が、各マイク組処理部の係数をどの様に決定するかについて説明する。
【００２６】
係数決定部には、区間判定部１２（図２）より区間を示す区間情報が入力される。区間情報は、複数のマイクが配置された直線又は曲線に沿った区間で示される。例えば、図１に示す様に、マイク５１〜５８が円周上に配置されており、その中心位置における角度とその方向をユーザ指定したものとする。つまり、線６１と線６２との間の範囲をユーザが指定したものとする。この場合、図７に示す様に、複数のマイクが配置された円周と線６１及び線６２との２つの交点の範囲である区間６９が区間情報により示されることになる。なお、図７においては、説明の簡略化のため、円周の形状を直線で示している。
【００２７】
第Ｋスピーカ組処理部の係数決定部は、複数のマイクそれぞれの配置位置を示すマイク情報と、スピーカの配置位置を示すスピーカ情報を保持している。そして、区間情報が示す区間を、第１スピーカ組から第Ｎ−１スピーカ組それぞれに対するＮ−１個のサブ区間に分割し、第Ｋスピーカ組に対応するサブ区間を判定する。図８は、区間情報が示す区間６９をＮ−１個のサブ区間に分割した状態を示している。ここで、区間６９の区間長をＬとし、第１サブ区間〜第Ｎ−１区間のサブ区間の長さをそれぞれ、Ｌ１〜ＬＮ−１とすると、
Ｌ１：Ｌ２：Ｌ３：・・・：ＬＮ−１＝Ｄ１：Ｄ２：Ｄ３：・・・：ＤＮ−１
Ｌ１＋Ｌ２＋Ｌ３＋・・・＋ＬＮ−１＝Ｌ
である。なお、ＤＫは、図３に示す様に、第Ｋスピーカ組に含まれるスピーカ＃Ｋとスピーカ＃Ｋ＋１との距離である。第Ｋスピーカ組処理部の係数決定部は、第Ｋスピーカ組に対応するサブ区間を第Ｋサブ区間６４として求める。
【００２８】
第Ｋスピーカ組処理部の係数決定部は、第Ｋサブ区間６４と、マイクの配置位置に基づきＭ個のマイク組を分類する。図９は、マイク組の分類の説明図である。図９の丸はマイクをそれぞれ示している。まず、係数決定部は、第Ｋサブ区間６４内に少なくとも１つのマイクが含まれるか否かを判定する。第Ｋサブ区間６４内に少なくとも１つのマイクが含まれる場合、係数決定部は、図９（Ａ）に示す様に、Ｍ個のマイク組の内、第Ｋサブ区間６４内に２つのマイクが共に含まれている組を第１組とし、第Ｋサブ区間６４には２つのマイクが共に含まれない組を第２組とし、第Ｋサブ区間６４内に１つのマイクが含まれるが他方のマイクが含まれない組を第３組とする。一方、第Ｋサブ区間６４内にマイクが１つも含まれない場合、係数決定部は、図９（Ｂ）に示す様に、第Ｋサブ区間６４に最も近い２つのマイクの組を第３組とし、それ以外のマイクの組を第２組とする。
【００２９】
以下、第１組から第３組それぞれについて、対応するマイク組処理部が使用する係数をどの様に決定するかについて説明する。なお、以下では、ある組のマイク組処理部が使用する係数を、単に、「マイク組の係数」と表現する。また、第３組の２つのマイクの間における第Ｋサブ区間６４の長さを、図９（Ａ）及び図９（Ｂ）に示す様にＬ１とし、この長さＬ１の区間を重複区間と呼ぶものとする。また、第３組の２つのマイクの間における第Ｋサブ区間６４以外の区間を非重複区間と呼ぶものとする。図９（Ａ）の場合、距離Ｌ２で示す区間が非重複区間であり、図６（Ｂ）においては、第Ｋサブ区間６４の両側に２つの非重複区間が存在する。
【００３０】
係数決定部は、第１組については、例えば、τは０とし、κを１とし、減衰係数については２つのマイクとも１にする。つまり、音場の拡縮、シフトを行わせず、減衰量については２つのマイクが収音する音響信号共、減衰させない値とする。
【００３１】
一方、係数決定部は、第３組のスケーリング係数κと、シフト係数τについては、音場の範囲が重複区間に応じたものとなる様に決定する。つまり、係数決定部は、第３組のスケーリング係数κを、重複区間の長さＬ１に基づき決定する。具体的には、例えば、第３組の２つのマイク間の距離Ｌとすると、Ｌ１／Ｌの拡縮率となる様に当該第３組に対するスケーリング係数κを決定する。したがって、係数決定部は、第３組の重複区間の長さが短くなる程、音場の範囲を短くする様に当該第３組のスケーリング係数κを決定する。また、係数決定部は、重複区間の中心位置に音場の中心位置がくるように第３組のシフト係数τを決定する。したがって、係数決定部は、２つのマイクの配置位置の中心と重複区間の中心との距離に応じて第３組のシフト係数を決定する。また、係数決定部は、第３組の２つのマイクの減衰係数をそれぞれ１に設定する。あるいは、係数決定部は、第３組のうち、第Ｋサブ区間６４に含まれるマイクの減衰係数を第１組の２つのマイクの減衰係数と同じ値にし、第Ｋサブ区間６４に含まれないマイクの減衰係数については、第Ｋサブ区間６４に含まれるマイクの減衰量より大きい減衰量となる様に減衰係数を設定する。あるいは、係数決定部は、第３組の第Ｋサブ区間６４に含まれないマイクの減衰係数については、非重複区間の長さ、つまり、マイクの配置位置から第Ｋサブ区間６４までの最短距離Ｌ２が大きくなる程、減衰量が大きくなる様に設定することができる。
【００３２】
さらに、係数決定部は、第２組については、第１組と同様に、例えば、τは０とし、κを１とする。しかしながら、２つのマイクの減衰係数については、第１組及び第３組のマイクに対して設定した減衰係数より減衰量が大きくなる値に設定する。一例として、係数決定部は、第２組の２つのマイクの減衰係数を減衰量が最大となる値、つまり、０に設定、或いは、０に近い所定の値に設定する。
【００３３】
例えば、第Ｋサブ区間６４が、図１０に示す様に、図１に示すマイク５２及び５３の間の位置６６と、マイク５１及び５２の間の位置６７とを端点とする区間であったものとする。なお、図１０では、図の簡略化のためマイクの配置を直線の様に表示している。この場合、マイク５１とマイク５２の組と、マイク５２とマイク５３の組は共に第３組であり、その他の組は総て第２組となる。上記の通りに各係数を決定することで、マイク５１とマイク５２の位置に音源があるとしたとき（以下、音源５１と音源５２と呼ぶ。）、音源５１の音像の位置が位置６７になり、音源５２の音像の位置が位置６５となる。同様に、マイク５３とマイク５２の位置に音源があるとしたとき（以下、音源５３と音源５２と呼ぶ）、音源５３の音像の位置が位置６６になり、音源５２の音源の位置が位置６５となる。また、第２組のマイクに対する減衰量は大きいためこれらの組からの音響信号は、第Ｋスピーカ組処理部が出力する若番号駆動信号及び老番駆動信号には殆ど含まれなくなる。以上の構成により、第Ｋスピーカ組処理部が出力する若番号駆動信号及び老番駆動信号で第Ｋスピーカ組の第Ｋスピーカ及び第Ｋ＋１スピーカを駆動すると、第Ｋスピーカ組により、第Ｋサブ区間に対応する音場が再現できる。
【００３４】
本実施形態では、音響信号処理部１１は、第１スピーカ組処理部から第Ｎ−１スピーカ組処理部を有し、第１スピーカ組処理部から第Ｎ−１スピーカ組処理部は、それぞれ、第１スピーカ組から第Ｎ−１スピーカ組それぞれに含まれる２つのスピーカにより、第１サブ区間〜第Ｎ−１サブ区間の音場を再現するための、各スピーカ組に対応する駆動信号を出力する。そして、音響信号処理部１１は、各スピーカを駆動する駆動信号を出力する。なお、第１スピーカ組処理部から第Ｎ−１スピーカ組処理部が出力する２（Ｎ−１）個の駆動信号のうち同じスピーカを駆動する２つの信号については合成される。図３の様に配置された各スピーカ組が対応するサブ区間の音場を再現することで、Ｎ個のスピーカ全体により区間情報により示される区間の音場を再現することができる。
【００３５】
最後に、区間判定部１２は、ユーザ操作に基づき区間を判定する。例えば、ユーザが区間を直接指定する場合、区間判定部１２は、ユーザが区間を指定する操作を受け付ける受付部として機能する。この場合、区間判定部１２は、ユーザが指定した区間を音響信号処理部１１に出力する。一方、例えば、ＶＲのヘッドマウントディスプレイでの映像の視聴や、３６０度パノラマ映像のタブレットでの視聴に適用する場合、区間判定部１２は、ユーザが見ている映像の範囲に基づき区間を計算し、計算した区間を音響信号処理部１１に出力する。
【００３６】
なお、本実施形態では、区間をスピーカの配置間隔の比率に応じてサブ区間に分割したが、スピーカを等間隔で配置することを前提とする場合、区間を等間隔のサブ区間に分割する構成とすることができる。この場合、スピーカの配置位置を示す配置情報は必要ではない。
【００３７】
なお、本実施形態では、Ｎ個のスピーカを直線又は曲線に沿ってその番号順に一列に配置し、これにより（Ｎ−１）個のスピーカ組を構成していた。しかしながら、Ｎ個のスピーカを閉じた曲線上、例えば、円周上に配置し、Ｎ個のスピーカをＮ個のスピーカ組に構成することができる。この場合、ミキシング装置１０は、図４の構成に加えて、第Ｎスピーカ組処理部と、第１スピーカ合成部と、第Ｎスピーカ合成部と、をさらに有することになる。第Ｎスピーカ組処理部は、若番駆動信号＃Ｎ及び老番駆動信号＃Ｎを出力する。そして、第１スピーカ合成部は、若番駆動信号＃１と、老番駆動信号＃Ｎを合成して駆動信号＃１を出力する。また、第Ｎスピーカ合成部は、老番駆動信号＃Ｎ−１と若番駆動信号＃Ｎを合成して駆動信号＃Ｎを出力する。
【００３８】
本発明によるミキシング装置１０は、プロセッサ及び記憶部を含むコンピュータを上記ミキシング装置１０として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。プログラムは、記憶部に記憶され、プロセッサが当該プログラムを実行することで、図２の各部の機能が実現される。
【符号の説明】
【００３９】
１１：音響信号処理部
【図１】
2020053862.tif 000004
【図２】
2020053862.tif 000005
【図３】
2020053862.tif 000006
【図４】
2020053862.tif 000007
【図５】
2020053862.tif 000008
【図６】
2020053862.tif 000009
【図７】
2020053862.tif 000010
【図８】
2020053862.tif 000011
【図９】
2020053862.tif 000012
【図１０】
2020053862.tif 000013