(57)【要約】  本技術は、波面合成のための演算量を削減することができるようにする信号処理装置および方法、並びにプログラムに関する。信号処理装置は、仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する再生スピーカ選択部を備える。本技術は信号処理装置に適用することができる。
2020100670.tif 000002
【特許請求の範囲】
【請求項１】
仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する再生スピーカ選択部を備える
信号処理装置。
【請求項２】
前記再生スピーカ選択部は、前記仮想音源が大きさを有する場合、前記仮想音源の領域と、前記聴取エリアの範囲とに基づいて前記再生スピーカを選択する
請求項１に記載の信号処理装置。
【請求項３】
前記再生スピーカ選択部は、前記仮想音源と前記聴取エリアの位置関係に対して定まる直線に基づいて前記再生スピーカを選択する
請求項１に記載の信号処理装置。
【請求項４】
前記再生スピーカ選択部は、互いに異なる２つの前記直線に基づいて前記再生スピーカを選択する
請求項３に記載の信号処理装置。
【請求項５】
前記直線は、前記聴取エリアに接する
請求項４に記載の信号処理装置。
【請求項６】
前記再生スピーカ選択部は、前記直線と前記スピーカアレイとの交点近傍にある前記スピーカを前記再生スピーカとして選択する
請求項４に記載の信号処理装置。
【請求項７】
前記再生スピーカ選択部は、前記スピーカアレイを構成する複数の前記スピーカのうち、一方の前記直線と前記スピーカアレイとの交点近傍の位置から、他方の前記直線と前記スピーカアレイとの交点近傍の位置までの間にある前記スピーカを前記再生スピーカとして選択する
請求項４に記載の信号処理装置。
【請求項８】
前記再生スピーカ選択部は、前記仮想音源が前記聴取エリアから見て前記スピーカアレイの手前側にある場合、前記聴取エリアと前記仮想音源との間の位置で交差する２つの前記直線に基づいて前記再生スピーカを選択する
請求項４に記載の信号処理装置。
【請求項９】
前記仮想音源、前記聴取エリア、および前記スピーカアレイの位置関係に応じて、前記仮想音源および前記聴取エリアの少なくとも何れか一方について位置または範囲を変更する変更処理を行う処理部をさらに備え、
前記再生スピーカ選択部は、前記変更処理後の前記仮想音源の位置と前記聴取エリアの範囲とに基づいて前記再生スピーカを選択する
請求項１に記載の信号処理装置。
【請求項１０】
前記オーディオ信号に対するフィルタリング処理を行って、波面合成により前記聴取エリアで前記仮想音源の前記音を再生させるためのスピーカ駆動信号を前記再生スピーカごとに生成する再生処理部を備える
請求項１に記載の信号処理装置。
【請求項１１】
前記再生スピーカ選択部は、複数の前記仮想音源の位置のそれぞれと、前記聴取エリアの範囲との組み合わせごとに前記再生スピーカを選択し、それらの組み合わせごとの前記再生スピーカの選択結果に基づいて、最終的な前記再生スピーカを選択する
請求項１に記載の信号処理装置。
【請求項１２】
前記再生スピーカ選択部は、前記仮想音源の位置と、複数の前記聴取エリアの範囲のそれぞれとの組み合わせごとに前記再生スピーカを選択し、それらの組み合わせごとの前記再生スピーカの選択結果に基づいて、最終的な前記再生スピーカを選択する
請求項１に記載の信号処理装置。
【請求項１３】
前記スピーカアレイは、直線スピーカアレイまたは環状スピーカアレイである
請求項１に記載の信号処理装置。
【請求項１４】
信号処理装置が、
仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する
信号処理方法。
【請求項１５】
仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および方法、並びにプログラムに関し、特に、波面合成のための演算量を削減することができるようにした信号処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、オーディオコンテンツの配信方式として、位置情報を持ったオーディオ信号であるオーディオオブジェクトのデータを配信するオブジェクトオーディオが注目を集めている。【０００３】
オーディオオブジェクトの位置情報は空間内の任意の位置を示す情報とすることができ、受聴者に対して、その位置から音が到来しているかのように知覚させることで、高い臨場感のコンテンツを提供することができる。【０００４】
このようなオーディオオブジェクト位置での音源（仮想音源）の再生は、ホームシアタや映画館などにおいて多チャネルスピーカを使用したり、ヘッドホンにバイノーラル技術を適用したりすることで実現可能である。【０００５】
ところで、波面合成技術はオーディオオブジェクトの再生方式として特に新しい技術である。波面合成は多チャネルスピーカアレイを用いた音響再生方法であり、実空間において物理的にオーディオオブジェクトの位置からの波面を合成することにより、広いエリアにおいて立体的に飛び出す音像を作り出すことができる。これにより、受聴者に対して高い臨場感をもった音響コンテンツを提示することができる。【０００６】
このような波面合成技術は、例えばテーマパークなどにおいて見えない音像が飛び回るコンテンツをアトラクションに取り入れたり、ホームシアタシステムにおいてオーディオオブジェクトをより立体的に知覚させたりする場合に利用できる。【０００７】
なお、波面合成方法としては、例えばWFS（Wave Field Synthesis）、HOA（Higher Order Ambisonics）、SDM（Spectral Division Method）などが提案されている（例えば、非特許文献１乃至非特許文献３参照）。これらの波面合成手法では、ある基準に則って各スピーカに対応する波面合成のためのフィルタを計算し、それらのフィルタをオーディオオブジェクトのオーディオ信号に畳み込む（フィルタリングする）ことにより波面合成が実現される。【０００８】
また、波面合成に関する技術として、受聴者位置から見て仮想音源とは反対方向にあるスピーカを駆動しないことで、特定位置での波面合成によるアーティファクトを抑制する方法も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特表２００７−５０７１２１号公報
【非特許文献】
【００１０】
【非特許文献１】A.J. Berkhout, D. de Vries, P. Vogel: “Acoustic Control by Wave Field Synthesis”, J. Acoust. Soc. Am., 1993
【非特許文献２】M.A. Poletti: “Three-Dimensional Surround Sound Systems Based on Spherical Harmonics”, J. Audio Eng. Soc., 2005
【非特許文献３】S. Spors, J. Ahres: “Reproduction of Focused Sources by the Spectral Division Method”, ISCCSP, 2010
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ところで、大規模な波面合成システムを実現する場合、その規模に応じてスピーカ数を多くする必要がある。【００１２】
このとき、一般的な波面合成では各スピーカに対して適切なスピーカ駆動信号を計算する処理を行う必要があるため、スピーカ数が増えるに従って計算機での演算量が多くなる。【００１３】
また、各オーディオオブジェクトに対して上記の計算処理を行う必要があるため、オーディオオブジェクトの数が増えるほど演算処理量は多くなる。【００１４】
特に、リアルタイムに波面合成によるレンダリングを行う場合、同時に再生されるオーディオオブジェクトの数やスピーカ数によっては、使用する計算機の計算可能な演算量の上限を超えてしまうリスクがあるため、演算量を少なく抑える必要がある。しかもこのとき、できるだけ受聴者の臨場感を損なわないようにしなければならない。【００１５】
例えば上述した非特許文献１乃至非特許文献３に記載の波面合成手法では、全てのスピーカを駆動させる、つまり全てのスピーカについてフィルタを畳み込む演算処理を行う必要がある。そのため、スピーカ数が増えた場合やオーディオオブジェクト数が増えた場合に、それに比例して演算量が増加してしまう。【００１６】
また、特許文献１に記載の技術では、駆動しないスピーカの選択が行われるが、広いエリア内での受聴が考慮されたスピーカの選択は行われない。そのため、広いエリア内で波面を合成するための信号が消えてしまったり、逆に必要のない信号が再生されてしまったりすることで、指定した一点以外での波面合成による再現精度が大幅に低下したり、必要のない冗長な計算が行われて演算量が増加したりすることがある。【００１７】
本技術は、このような状況に鑑みてなされたものであり、波面合成のための演算量を削減することができるようにするものである。
【課題を解決するための手段】
【００１８】
本技術の一側面の信号処理装置は、仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する再生スピーカ選択部を備える。【００１９】
本技術の一側面の信号処理方法またはプログラムは、仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択するステップを含む。【００２０】
本技術の一側面においては、仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカが選択される。
【図面の簡単な説明】
【００２１】
【図１】コンテンツ再生システムの構成例を示す図である。
【図２】スピーカ選択処理部の構成例を示す図である。
【図３】スピーカ選択直線の決定について説明する図である。
【図４】スピーカ選択直線の決定について説明する図である。
【図５】スピーカ選択直線の決定について説明する図である。
【図６】スピーカ選択直線の決定について説明する図である。
【図７】スピーカ選択直線の決定について説明する図である。
【図８】再生スピーカの選択について説明する図である。
【図９】再生スピーカの選択について説明する図である。
【図１０】再生処理部の構成例を示す図である。
【図１１】再生処理を説明するフローチャートである。
【図１２】再生処理部の構成例を示す図である。
【図１３】再生処理を説明するフローチャートである。
【図１４】再生スピーカの選択について説明する図である。
【図１５】エラー処理について説明する図である。
【図１６】コンテンツ再生システムの構成例を示す図である。
【図１７】再生処理を説明するフローチャートである。
【図１８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈第１の実施の形態〉
〈本技術について〉
本技術は、聴取エリア内において波面合成により音場を形成する場合に、音場の再現精度を保ったまま、波面合成に必要な演算の演算量を削減することができるようにするものである。また、本技術によれば、計算機に保持しておく波面合成フィルタの容量（メモリ消費量）を削減することもできる。
【００２４】
すなわち本技術では、範囲（大きさ）を有する聴取エリアの仮想音源に対する相対的な位置と、スピーカアレイのスピーカ駆動信号の関係がどのように波面合成の精度に影響するかという知見に基づき、聴取エリア内で波面合成の精度を維持したまま、かつ最低限必要なスピーカのみを選択的に用いるようにした。これにより、最小限のスピーカの駆動のみでコンテンツの受聴者に最大限の臨場感を与えることができる。
【００２５】
ここで、波面合成の精度とは音場の再現精度であり、波面合成精度、つまり音場の再現精度が高いとは、実際に波面合成により形成された音場と、再現しようとする理想的な音場との誤差が小さいことである。
【００２６】
本技術では、波面合成の精度を低下させないようにコンテンツの再生に用いるスピーカの選択が行われる。以下では、スピーカアレイを構成する複数のスピーカのうち、コンテンツの再生に用いるスピーカを特に再生スピーカとも称することとする。
【００２７】
例えば本技術では、波面合成によるオーディオオブジェクト（仮想音源）を含むコンテンツを再生するコンテンツ再生システムにおいて長さ、面積、または体積を有する、すなわち大きさを有する現実空間の聴取エリアが指定される。そして、その聴取エリア内において、可能な限り波面合成精度を低下させず、かつ再生スピーカの数が少なくなるようにすることで波面合成のための演算量が削減される。
【００２８】
なお、仮想音源は点音源であってもよいし、面積（大きさ）を有する音源であってもよい。
【００２９】
また、本技術では、再生スピーカの選択にあたっては、例えば仮想音源と聴取エリアの両方と重ならず（交わらず）、かつ仮想音源と聴取エリアの間で交差する２本の直線を引き、それらの直線とスピーカアレイとが交差する位置（交差位置）が検出される。そして、スピーカアレイを構成するスピーカのうち、２つの交差位置の間にあるスピーカが再生スピーカとされて波面合成のフィルタリング処理が行われる。
【００３０】
これは、聴取エリア内での波面の合成において、このようにして選択される再生スピーカから出力する音（信号）が著しく優勢になるという本出願人の独自の知見に基づくものである。
【００３１】
さらに、本技術では、聴取エリアまたは仮想音源の位置や大きさが時間とともに変化していく場合、その時間変化に合わせて再生スピーカの再選択が行われる。これにより、各時刻における聴取エリアと仮想音源の位置および大きさに対して最適なスピーカ選択が行われる。
【００３２】
また、本技術では、波面合成に用いる波面合成フィルタが事前に計算されているようにすることができる。この場合、スピーカアレイを構成する全スピーカに対応する波面合成フィルタが予め保持されているようにし、波面合成時には、再生スピーカについてのみフィルタリング処理が行われるようにすればよい。この場合、再生スピーカではない他のスピーカについてはフィルタリング処理が行われないので、演算量を削減することができる。
【００３３】
これに対して、予め波面合成フィルタが保持されていない場合、再生スピーカについてのみ波面合成フィルタを計算により求めるようにすることができる。この場合、波面合成フィルタは、例えばWFSやHOA、SDMなどの既存の手法により求めることができる。
【００３４】
予め波面合成フィルタを保持せずに、再生スピーカについてのみ波面合成フィルタを求める場合には、再生スピーカではないスピーカについて波面合成フィルタを保持しておく必要がないため、その分だけ波面合成時のメモリ消費量を削減することができる。
【００３５】
その他、本技術では、聴取エリアや仮想音源が複数あってもよい。そのような場合、複数の各聴取エリアと、複数の各仮想音源とについて、聴取エリアと仮想音源の全ての組み合わせに対して再生スピーカを選択（決定）する処理が行われる。そして、スピーカアレイを構成するスピーカのうち、何れかの組み合わせで選択された再生スピーカは全て最終的な再生スピーカとされて、それらの最終的な再生スピーカについて、各仮想音源に対する波面合成フィルタのフィルタリング処理が行われる。
【００３６】
また、コンテンツに対して聴取エリアの位置や大きさが予め定められている、つまり固定されていることもある。そのような場合、各仮想音源位置に対応する波面合成フィルタが事前に計算されて保持されるときには、再生スピーカについてのみ波面合成フィルタを保持しておくようにしてもよい。そうすれば、再生スピーカ以外のスピーカの波面合成フィルタの分だけ、波面合成フィルタの保持に用いるメモリのメモリ量を削減することができる。
【００３７】
さらに、再生スピーカの選択を行った際に、聴取エリアと仮想音源の位置関係が無効である、つまり適切ではないと判定された場合に、何らかの方法により聴取エリアと仮想音源の位置関係が有効（適切）となるようにしたり、コンテンツの再生を行わないようにしたりしてもよい。
【００３８】
〈コンテンツ再生システムの構成例〉
それでは、以上において説明した本技術のより具体的な実施の形態について説明する。
【００３９】
図１は、本技術を適用したコンテンツ再生システムの一実施の形態の構成例を示す図である。
【００４０】
図１に示すコンテンツ再生システムは、信号処理装置１１およびスピーカアレイ１２を有している。このコンテンツ再生システムは、オーディオオブジェクトを含む１または複数のオーディオ信号からなるオーディオコンテンツを再生するためのシステムである。
【００４１】
信号処理装置１１は、外部から供給された入力情報に基づいて、波面合成によりオーディオコンテンツを再生するためのスピーカ駆動信号を生成し、スピーカアレイに供給する。
【００４２】
スピーカアレイ１２は、例えば直線スピーカアレイや環状スピーカアレイ、球状スピーカアレイなどからなり、信号処理装置１１から供給されたスピーカ駆動信号に基づいて音を出力することにより、オーディオコンテンツを再生する。
【００４３】
なお、スピーカアレイ１２は、直線スピーカアレイや環状スピーカアレイ、球状スピーカアレイに限らず、例えば複数のスピーカを矩形状に並べて構成されたスピーカアレイなど、どのようなものであってもよい。
【００４４】
また、信号処理装置１１はスピーカ選択処理部２１および再生処理部２２を有している。
【００４５】
スピーカ選択処理部２１には、入力情報として仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報が供給される。
【００４６】
仮想音源範囲情報は、オーディオコンテンツの再生対象となる領域である聴取エリアやスピーカアレイ１２が配置された空間における、仮想音源の位置や大きさ（領域の広さ）など、大きさを有する仮想音源の領域の範囲を示す情報である。
【００４７】
ここで仮想音源とは、オーディオオブジェクト、つまりオーディオコンテンツのオーディオ信号に基づく音の仮想的な音源であり、仮想音源の範囲はオーディオ信号に基づく音の音像の領域の範囲となる。なお、以下では仮想音源が大きさを有するものとして説明を行うが、仮想音源は大きさを有さない点音源であってもよい。そのような場合、仮想音源範囲情報は、点音源である仮想音源の位置を示す情報となる。
【００４８】
スピーカ位置情報は、スピーカアレイ１２を構成する各スピーカの空間内における配置位置を示す情報である。聴取エリア範囲情報は、空間内における聴取エリアの位置や大きさ（領域の広さ）など、聴取エリアとなる領域の範囲を示す情報である。
【００４９】
また、再生処理部２２には仮想音源範囲情報と、オーディオコンテンツのオーディオ信号とが供給される。なお、以下では説明を簡単にするため、基本的にはオーディオコンテンツとして１つのオーディオオブジェクト、つまり１つのオーディオ信号が供給されることとする。換言すれば、オーディオコンテンツでは１つの仮想音源の音が再生される。
【００５０】
スピーカ選択処理部２１は供給された仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報に基づいて、スピーカアレイ１２を構成する複数のスピーカのなかから２以上のスピーカ、つまり複数のスピーカを、オーディオコンテンツの再生に用いる再生スピーカとして選択する。スピーカ選択処理部２１は、再生スピーカの選択結果、すなわち選択された再生スピーカを示す選択スピーカ情報を再生処理部２２に供給する。
【００５１】
再生処理部２２は、スピーカ選択処理部２１から供給された選択スピーカ情報と、供給されたオーディオ信号および仮想音源範囲情報とに基づいて、再生スピーカごとに、波面合成フィルタによるフィルタリング処理を行うことでスピーカ駆動信号を生成する。
【００５２】
再生処理部２２は、フィルタリング処理により得られた各再生スピーカのスピーカ駆動信号をスピーカアレイ１２に供給し、オーディオコンテンツを再生させる。これにより、波面合成によって仮想音源の音が聴取エリアで再生される。
【００５３】
なお、再生処理部２２において予め各スピーカの波面合成フィルタが保持されていない場合には、再生処理部２２は、スピーカ選択処理部２１から供給された選択スピーカ情報と、供給された仮想音源範囲情報とに基づいて再生スピーカごとに波面合成フィルタを演算により求める。
【００５４】
〈スピーカ選択処理部の構成例〉
また、信号処理装置１１のスピーカ選択処理部２１は、例えば図２に示すように構成される。
【００５５】
図２に示す例では、スピーカ選択処理部２１は、スピーカ選択直線決定部５１および再生スピーカ選択部５２を有している。
【００５６】
スピーカ選択直線決定部５１は、供給された仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報に基づいて、再生スピーカを決定するための直線であるスピーカ選択直線を決定し、その決定結果を示すスピーカ選択直線情報を再生スピーカ選択部５２に供給する。スピーカ選択直線決定部５１では、空間内における仮想音源、聴取エリア、およびスピーカアレイ１２の位置関係に基づいて、互いに異なる２つのスピーカ選択直線が決定される。換言すれば、スピーカ選択直線は仮想音源、聴取エリア、およびスピーカアレイ１２の位置関係に対して定まる直線である。
【００５７】
再生スピーカ選択部５２は、スピーカ選択直線決定部５１から供給されたスピーカ選択直線情報と、供給されたスピーカ位置情報とに基づいて再生スピーカを選択し、その選択結果を示す選択スピーカ情報を再生処理部２２に供給する。
【００５８】
ここで、スピーカ選択直線と再生スピーカの決定の具体的な例について説明する。なお、ここでは説明を簡単にするため、スピーカアレイ１２を構成するスピーカは、空間内の２次元平面上に配置されているものとする。
【００５９】
まず、スピーカ選択直線の決定の具体的な例について説明する。
【００６０】
例えば図３に示すようにスピーカアレイ１２としての直線スピーカアレイの前方に楕円形状の領域である聴取エリアER11があり、さらに聴取エリアER11とスピーカアレイ１２の間に仮想音源VS11があるとする。すなわち、聴取エリアER11から見て、スピーカアレイ１２よりも手前側に仮想音源VS11があるとする。
【００６１】
このような場合、スピーカ選択直線決定部５１は、仮想音源VS11および聴取エリアER11の両方の領域の範囲と重ならず、かつ仮想音源VS11と聴取エリアER11の間の位置で交差する２本の直線L11および直線L12をスピーカ選択直線とする。したがって、ここでは仮想音源VS11と聴取エリアER11の間の位置に直線L11および直線L12の交点が位置している。
【００６２】
なお、スピーカ選択直線とされる直線L11や直線L12は、仮想音源VS11または聴取エリアER11の領域と接するようにしてもよい。すなわち、例えば仮想音源VS11の領域に対する接線がスピーカ選択直線とされるようにしてもよい。
【００６３】
また、仮想音源VS11が点音源である場合には、その仮想音源VS11の位置が２本のスピーカ選択直線の交点の位置とされるようにしてもよい。その他、仮想音源VS11が点音源でない場合でも、２本のスピーカ選択直線の交点が仮想音源VS11の領域内や、仮想音源VS11近傍における聴取エリアER11側の位置などとされてもよい。
【００６４】
また、例えば図４に示すようにスピーカアレイ１２としての直線スピーカアレイの前方に楕円形状の領域である聴取エリアER21があり、さらに聴取エリアER21から見てスピーカアレイ１２の奥側（遠い側）に仮想音源VS21があるとする。換言すれば、聴取エリアER21と仮想音源VS21の間にスピーカアレイ１２があるとする。
【００６５】
このような場合、スピーカ選択直線決定部５１は、仮想音源VS21および聴取エリアER21の両方の領域の範囲と重ならず、かつ仮想音源VS21と聴取エリアER21が内側に含まれるように交差する２本の直線L21および直線L22をスピーカ選択直線とする。
【００６６】
すなわち、直線L21および直線L22の交点は、聴取エリアER21から見て仮想音源VS21よりも奥側（遠い側）に位置しており、直線L21と直線L22により囲まれる領域に仮想音源VS21および聴取エリアER21が位置している。
【００６７】
さらに、例えば図５に示すようにスピーカアレイ１２としての直線スピーカアレイの前方に円形状の領域である聴取エリアER31があり、さらに聴取エリアER31とスピーカアレイ１２の間に円形状の領域である仮想音源VS31があるとする。
【００６８】
このような場合、スピーカ選択直線決定部５１は、仮想音源VS31および聴取エリアER31の両方に接し、かつ仮想音源VS31と聴取エリアER31の間の位置で交差する２本の直線L31および直線L32をスピーカ選択直線とする。
【００６９】
したがって、この例では直線L31および直線L32は、仮想音源VS31の接線であるとともに聴取エリアER31の接線ともなっている。仮想音源の領域および聴取エリアがそれぞれ円（真円）であるときには、このようにしてスピーカ選択直線を決定することで、十分な音場再現性を保ちつつ再生スピーカの数が最も少なくなるようにすることができる。
【００７０】
また、例えば図６に示すように聴取エリアER41が線分である場合、その線分の端を通り、仮想音源VS41の領域を通る接線をスピーカ選択直線とすることができる。
【００７１】
この例ではスピーカアレイ１２としての直線スピーカアレイの前方に聴取エリアER41となる線分があり、さらに聴取エリアER41とスピーカアレイ１２の間に円形状の領域である仮想音源VS41が配置されている。
【００７２】
スピーカ選択直線決定部５１は、聴取エリアER41の図中、左側の端を通り、かつ仮想音源VS41に接する直線L41をスピーカ選択直線とするとともに、聴取エリアER41の図中、右側の端を通り、かつ仮想音源VS41に接する直線L42をスピーカ選択直線とする。これらの直線L41および直線L42は、仮想音源VS41と聴取エリアER41の間の位置で交差するようになっている。
【００７３】
さらに、例えば図７に示すようにスピーカアレイ１２が環状スピーカアレイであり、その環状スピーカアレイの内側に聴取エリアER51と仮想音源VS51とがあるとする。図７に示す例では、聴取エリアER51および仮想音源VS51が、スピーカアレイ１２を構成するスピーカにより囲まれており、それらの聴取エリアER51および仮想音源VS51は円形状の領域となっている。
【００７４】
このような場合、スピーカ選択直線決定部５１は、仮想音源VS51および聴取エリアER51の両方に接し、かつ仮想音源VS51と聴取エリアER51の間の位置で交差する２本の直線L51および直線L52をスピーカ選択直線とする。
【００７５】
以上のようにしてスピーカ選択直線が決定されると、再生スピーカ選択部５２は、スピーカ選択直線の決定結果と、スピーカ位置情報とに基づいて再生スピーカを選択する。
【００７６】
例えば再生スピーカ選択部５２は、スピーカ選択直線とスピーカアレイ１２との交点を探索し、探索により得られた２つの交点の間にあるスピーカを再生スピーカとして選択する。より詳細には、スピーカアレイ１２における一方の交点近傍にあるスピーカから、スピーカアレイ１２における他方の交点近傍にあるスピーカまでの間にある全スピーカが再生スピーカとして選択される。
【００７７】
具体的には、例えば図８に示すようにスピーカアレイ１２としての直線スピーカアレイの前方に円形状の聴取エリアER31があり、その聴取エリアER31とスピーカアレイ１２の間に円形状の仮想音源VS31があるとする。なお、図８において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００７８】
この例では、スピーカアレイ１２は、直線状に並ぶスピーカSP11-1乃至スピーカSP11-5を含む７個のスピーカにより構成されている。なお、以下、スピーカSP11-1乃至スピーカSP11-5を特に区別する必要のない場合、単にスピーカSP11とも称することとする。
【００７９】
図８に示す例では、再生スピーカ選択部５２はスピーカアレイ１２としての直線スピーカアレイの一方の端側から他方の端側まで順番に、互いに隣接する１対のスピーカを処理対象のスピーカ対として選択する。例として、ここでは図中、左側の端から右側の端まで順番に処理対象のスピーカ対とされていくものとする。
【００８０】
したがって、この例ではスピーカアレイ１２の図中、左端に位置するスピーカSP11-1と、そのスピーカSP11-1の右側に隣接するスピーカSP11-2とが処理対象となる最初のスピーカ対とされ、それに続いてスピーカSP11-2とスピーカSP11-3とが次の処理対象のスピーカ対とされる。
【００８１】
処理対象となるスピーカ対が定められると、再生スピーカ選択部５２は、スピーカ選択直線の決定結果およびスピーカ位置情報に基づいて、処理対象のスピーカ対を構成する２つのスピーカを結ぶ線分とスピーカ選択直線とが交差するか否かを特定する。このとき、２つのスピーカを結ぶ線分とスピーカ選択直線とが交差すると特定された場合には、その２つのスピーカの間にスピーカアレイ１２とスピーカ選択直線との交点が存在することになる。
【００８２】
再生スピーカ選択部５２は、このようにして順番にスピーカを結ぶ線分とスピーカ選択直線とが交差するかを特定していくことで、スピーカアレイ１２とスピーカ選択直線との交点を探索する。
【００８３】
図８の例では、スピーカSP11-2およびスピーカSP11-3を結ぶ線分と直線L32とが交差しているので、スピーカSP11-2とスピーカSP11-3との間に１つの交点が存在することが分かる。同様にスピーカSP11-4およびスピーカSP11-5を結ぶ線分と直線L31とが交差しているので、スピーカSP11-4とスピーカSP11-5との間に他の１つの交点が存在することが分かる。
【００８４】
以上の処理で２つの交点が求まると、再生スピーカ選択部５２はスピーカアレイ１２における一方の交点の外側に隣接するスピーカ、つまりスピーカアレイ１２の近い方の端側に位置するスピーカから、他方の交点の外側に隣接するスピーカまでのスピーカを再生スピーカとして選択する。この例では、スピーカSP11-2乃至スピーカSP11-5が再生スピーカとされる。
【００８５】
なお、ここでは２つの交点のそれぞれの外側に隣接するスピーカのそれぞれを含む、それらのスピーカ間にあるスピーカを再生スピーカとする例について説明したが、交点の内側にあるスピーカを再生スピーカとしてもよい。そのような場合には、スピーカSP11-3およびスピーカSP11-4が再生スピーカとされる。その他、交点に隣接するスピーカに限らず、交点から外側に２つ目にあるスピーカも再生スピーカとして選択してもよいし、スピーカ選択直線が直線L32のみの１本とされ、その直線L32の交点よりも図８中、右側、つまりスピーカアレイ１２のより遠い方の端側にあるスピーカが再生スピーカとされるようにしてもよい。
【００８６】
以上のように再生スピーカ選択部５２では、スピーカ選択直線とスピーカアレイ１２との一方の交点近傍にあるスピーカから他方の交点近傍にあるスピーカまでが再生スピーカとされる。これは出願人による実験等から、一方の交点近傍にあるスピーカから他方の交点近傍にあるスピーカまでの各スピーカは仮想音源の波面の再現に対する寄与率が高いが、それ以外のスピーカの寄与率は低く、そのような寄与率の低いスピーカは波面合成に用いなくても十分な再現性で仮想音源の波面を再現できるとの知見が得られているからである。
【００８７】
また、他の例として、例えば図９に示すようにスピーカアレイ１２が環状スピーカアレイであり、その環状スピーカアレイの内側に聴取エリアER51と仮想音源VS51とがあるとする。なお、図９において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８８】
図９に示す例では、スピーカSP21-1乃至スピーカSP21-4を含む、環状に並べられた１２個のスピーカによってスピーカアレイ１２としての環状スピーカアレイが構成されている。なお、以下、スピーカSP21-1乃至スピーカSP21-4を特に区別する必要のない場合、単にスピーカSP21とも称することとする。
【００８９】
このような場合、再生スピーカ選択部５２は図８における場合と同様にして、スピーカアレイ１２を構成するある１つのスピーカから右回りまたは左回りに順番に互いに隣接する２つのスピーカを処理対象のスピーカ対として選択し、処理対象のスピーカ対を構成する２つのスピーカを結ぶ線分とスピーカ選択直線とが交差するか否かを特定する。
【００９０】
図９の例ではスピーカSP21-1とスピーカSP21-2の間の位置に、スピーカ選択直線としての直線L51と、スピーカアレイ１２との交点が存在し、スピーカSP21-3とスピーカSP21-4の間の位置にスピーカ選択直線としての直線L52と、スピーカアレイ１２との交点が存在することが特定される。但し、この例では１つのスピーカ選択直線のスピーカアレイ１２との交点は２つとなるが、それらの２つの交点のうち、聴取エリアER51から見て仮想音源VS51側に位置する交点のみが、スピーカ選択直線とスピーカアレイ１２との交点とされる。
【００９１】
このようにして２つの交点が求まると、再生スピーカ選択部５２はスピーカアレイ１２における一方の交点の外側に隣接するスピーカ、つまり他方の交点から遠い側に位置するスピーカから、他方の交点の外側に隣接するスピーカまでのスピーカを再生スピーカとして選択する。特にこの場合、再生スピーカからなる円弧がより短くなるように再生スピーカが選択される。換言すれば、聴取エリアER51から見て仮想音源VS51側に位置するスピーカが再生スピーカとなるようにされる。したがって、図９に示す例では、スピーカSP21-1乃至スピーカSP21-4が再生スピーカとされる。
【００９２】
以上のようにして再生スピーカが選択されると、その選択結果を示す選択スピーカ情報が再生スピーカ選択部５２から再生処理部２２へと供給される。
【００９３】
〈再生処理部の構成例〉
さらに図１に示した再生処理部２２は、例えば図１０に示すように構成される。
【００９４】
図１０に示す再生処理部２２は、再生信号計算部８１およびスピーカ駆動部８２を有している。この例では、仮想音源の範囲ごとに、スピーカアレイ１２を構成する各スピーカに対応する波面合成フィルタが事前に求められて再生処理部２２に保持されている。すなわち、再生処理部２２には、仮想音源の範囲ごとに、スピーカアレイ１２を構成する各スピーカに対応する波面合成フィルタからなる波面合成フィルタ群が保持されている。
【００９５】
再生信号計算部８１は、供給された仮想音源範囲情報に基づいて、再生処理部２２に保持されている波面合成フィルタ群のなかから、仮想音源範囲情報により示される仮想音源の範囲に対応する波面合成フィルタ群を選択し、選択した波面合成フィルタ群を取得する。すなわち、選択された波面合成フィルタ群が読み出される。
【００９６】
また、再生信号計算部８１は、選択した波面合成フィルタ群のなかから、再生スピーカ選択部５２から供給された選択スピーカ情報により示される再生スピーカの波面合成フィルタを選択する。
【００９７】
そして、再生信号計算部８１は、再生スピーカごとに、供給された仮想音源（オーディオオブジェクト）のオーディオ信号に対して、再生スピーカに対応する波面合成フィルタ、より詳細には波面合成フィルタを構成するフィルタ係数を用いたフィルタリング処理を行うことでスピーカ駆動信号を生成し、スピーカ駆動部８２に供給する。これにより、選択スピーカ情報により示される再生スピーカについてのみスピーカ駆動信号が得られる。
【００９８】
スピーカ駆動部８２は、再生信号計算部８１から供給されたスピーカ駆動信号に対するDA（Digital to Analog）変換を行い、デジタル信号からアナログ信号へと変換されたスピーカ駆動信号をスピーカアレイ１２を構成する再生スピーカに供給してオーディオコンテンツの音、つまり仮想音源の音を出力させる。これにより、波面合成によって聴取エリアにおいてオーディオコンテンツの音が再生される。
【００９９】
〈再生処理の説明〉
次にコンテンツ再生システムの動作について説明する。すなわち、以下、図１１のフローチャートを参照して、コンテンツ再生システムによる再生処理について説明する。
【０１００】
ステップＳ１１においてスピーカ選択直線決定部５１は、供給された仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報に基づいてスピーカ選択直線を決定し、その決定結果を示すスピーカ選択直線情報を再生スピーカ選択部５２に供給する。ステップＳ１１では、例えば図３乃至図７を参照して説明したようにして、スピーカ選択直線が決定される。
【０１０１】
ステップＳ１２において再生スピーカ選択部５２は、スピーカ選択直線決定部５１から供給されたスピーカ選択直線情報と、供給されたスピーカ位置情報とに基づいて再生スピーカを選択し、その選択結果を示す選択スピーカ情報を再生処理部２２の再生信号計算部８１に供給する。例えばステップＳ１２では、図８や図９を参照して説明したようにして再生スピーカが選択される。
【０１０２】
ステップＳ１３において再生信号計算部８１は、供給された仮想音源範囲情報と、再生スピーカ選択部５２から供給された選択スピーカ情報とに基づいて波面合成フィルタを選択する。
【０１０３】
すなわち、再生信号計算部８１は、再生処理部２２に保持されている波面合成フィルタ群のなかから、仮想音源範囲情報により示される仮想音源の範囲に対応する波面合成フィルタ群を選択し、その波面合成フィルタ群を読み出す。また、再生信号計算部８１は、読み出した波面合成フィルタ群から、選択スピーカ情報により示される再生スピーカの波面合成フィルタを選択する。
【０１０４】
ステップＳ１４において再生信号計算部８１は、供給されたオーディオオブジェクトのオーディオ信号に対して、ステップＳ１３の処理で選択した波面合成フィルタのフィルタ係数を用いたフィルタリング処理を行うことで再生スピーカごとにスピーカ駆動信号を生成し、スピーカ駆動部８２に供給する。
【０１０５】
また、スピーカ駆動部８２は、再生信号計算部８１から供給されたスピーカ駆動信号に対してDA変換を行い、アナログのスピーカ駆動信号を得る。
【０１０６】
ステップＳ１５においてスピーカ駆動部８２は、DA変換により得られたスピーカ駆動信号をスピーカアレイ１２を構成する再生スピーカに供給し、各再生スピーカからオーディオコンテンツの音を出力させる。
【０１０７】
これにより、聴取エリアにおいては、波面合成によりオーディオコンテンツ（仮想音源）の音が再生される。このようにしてオーディオコンテンツの音が再生されると、再生処理は終了する。
【０１０８】
以上のようにしてコンテンツ再生システムは、再生スピーカを選択し、選択した再生スピーカについてのみスピーカ駆動信号を生成してオーディオコンテンツを再生する。このようにすることで、再生に必要なスピーカについてのみフィルタリング処理が行われるようになるので、波面合成精度を低下させずに波面合成のための演算量を削減することができる。
【０１０９】
〈第２の実施の形態〉
〈再生処理部の構成例〉
なお、以上においては波面合成フィルタが事前に求められている場合について説明したが、仮想音源範囲情報に応じて波面合成フィルタが生成されるようにしてもよい。
【０１１０】
そのような場合、信号処理装置１１の再生処理部２２は図１２に示すように構成される。なお、図１２において図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１１】
図１２に示す再生処理部２２は、フィルタ演算部１１１、再生信号計算部８１、およびスピーカ駆動部８２を有している。
【０１１２】
フィルタ演算部１１１は、供給された仮想音源範囲情報と、再生スピーカ選択部５２から供給された選択スピーカ情報とに基づいて、波面合成フィルタを構成するフィルタ係数を算出し、再生信号計算部８１に供給する。すなわち、フィルタ演算部１１１は、仮想音源範囲情報により示される仮想音源の範囲に対応する、選択スピーカ情報により示される各再生スピーカの波面合成フィルタのフィルタ係数を算出する。
【０１１３】
例えばフィルタ係数は、スピーカアレイ１２の形状、つまりスピーカ配置の形状に応じてWFSやHOA、SDMなどの既存の手法により算出するようにすればよい。このようにして得られるフィルタ係数は、仮想音源範囲情報により示される仮想音源の範囲に、オーディオ信号に基づく音の音像を定位させる波面合成フィルタのフィルタ係数である。
【０１１４】
再生信号計算部８１は、供給されたオーディオオブジェクトのオーディオ信号に対して、フィルタ演算部１１１から供給されたフィルタ係数を用いたフィルタリング処理を行うことで再生スピーカのスピーカ駆動信号を生成し、スピーカ駆動部８２に供給する。
【０１１５】
〈再生処理の説明〉
続いて、再生処理部２２が図１２に示した構成とされる場合にコンテンツ再生システムにより行われる再生処理について説明する。すなわち、以下、図１３のフローチャートを参照して、コンテンツ再生システムによる再生処理について説明する。
【０１１６】
なお、ステップＳ４１およびステップＳ４２の処理は、図１１のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ４２では、再生スピーカの選択結果を示す選択スピーカ情報が再生スピーカ選択部５２から再生処理部２２のフィルタ演算部１１１へと供給される。
【０１１７】
ステップＳ４３においてフィルタ演算部１１１は、供給された仮想音源範囲情報により示される仮想音源の範囲に対応する、再生スピーカ選択部５２から供給された選択スピーカ情報により示される再生スピーカの波面合成フィルタのフィルタ係数を算出する。フィルタ演算部１１１は、算出された各再生スピーカの波面合成フィルタのフィルタ係数を再生信号計算部８１に供給する。
【０１１８】
フィルタ係数が算出されると、その後、ステップＳ４４およびステップＳ４５の処理が行われて再生処理は終了するが、これらの処理は図１１のステップＳ１４およびステップＳ１５の処理と同様であるので、その説明は省略する。但し、ステップＳ４４では、再生信号計算部８１は、フィルタ演算部１１１から供給されたフィルタ係数を用いてフィルタリング処理を行う。
【０１１９】
以上のようにしてコンテンツ再生システムは、再生スピーカを選択して再生スピーカのフィルタ係数を算出するとともに、再生スピーカについてのみフィルタリング処理を行ってスピーカ駆動信号を生成し、オーディオコンテンツを再生する。
【０１２０】
このようにすることで、波面合成精度を低下させずに波面合成のための演算量を削減することができる。また、波面合成フィルタを保持しておく必要がないので、その分だけ再生処理部２２のメモリ量を削減でき、仮想音源の範囲の変更が生じた場合でも適切な波面合成フィルタを算出し、スピーカ駆動信号を生成することができる。さらにフィルタリング処理時においても再生スピーカ以外のスピーカの波面合成フィルタが不要となるので、その分だけメモリ消費量を削減することができる。
【０１２１】
〈変形例〉
なお、以上においては説明を簡単にするため、仮想音源や聴取エリアが１つである例について説明したが、仮想音源や聴取エリアは２以上、つまり複数あってもよい。
【０１２２】
例えば図１４に示すように仮想音源および聴取エリアが２つである場合、仮想音源と聴取エリアの組み合わせごとに再生スピーカを選択する処理が行われ、それらの選択結果に基づいて最終的な再生スピーカが選択される。
【０１２３】
図１４に示す例ではスピーカアレイ１２の前方に２つの仮想音源VS71および仮想音源VS72があり、スピーカアレイ１２から見て仮想音源VS71および仮想音源VS72のさらに前方に２つの聴取エリアER71および聴取エリアER72がある。また、スピーカアレイ１２は、スピーカSP71-1乃至スピーカSP71-6を含む、直線状に並べられた複数のスピーカから構成されている。
【０１２４】
このような場合、スピーカ選択直線決定部５１は、仮想音源VS71および聴取エリアER71の両方の領域の範囲と重ならず、かつ仮想音源VS71と聴取エリアER71の間の位置で交差する２本の直線L71および直線L72をスピーカ選択直線とする。
【０１２５】
再生スピーカ選択部５２は図８における場合と同様に、スピーカ選択直線である直線L71および直線L72とスピーカアレイ１２との交点を特定する。さらに再生スピーカ選択部５２は、スピーカアレイ１２を構成するスピーカのうち、特定された交点のうちの図中、左側にある交点の外側に位置するスピーカSP71-2から、特定された交点のうちの図中、右側にある交点の外側に位置するスピーカSP71-5までの間にあるスピーカを聴取エリアER71と仮想音源VS71の組み合わせについての再生スピーカとして選択する。
【０１２６】
また、スピーカ選択直線決定部５１は、仮想音源VS71と聴取エリアER72の組み合わせについて、直線L73および直線L74をスピーカ選択直線とし、再生スピーカ選択部５２はスピーカSP71-1からスピーカSP71-3までの間にあるスピーカを聴取エリアER72と仮想音源VS71の組み合わせについての再生スピーカとして選択する。
【０１２７】
同様に、スピーカ選択直線決定部５１は、仮想音源VS72と聴取エリアER71の組み合わせについて、直線L75および直線L76をスピーカ選択直線とし、再生スピーカ選択部５２はスピーカSP71-4からスピーカSP71-6までのスピーカを聴取エリアER71と仮想音源VS72の組み合わせについての再生スピーカとして選択する。
【０１２８】
また、スピーカ選択直線決定部５１は、仮想音源VS72と聴取エリアER72の組み合わせについて、直線L77および直線L78をスピーカ選択直線とし、再生スピーカ選択部５２はスピーカSP71-2からスピーカSP71-5までの間にあるスピーカを聴取エリアER72と仮想音源VS72の組み合わせについての再生スピーカとして選択する。
【０１２９】
そして再生スピーカ選択部５２は、仮想音源VS71および聴取エリアER71、仮想音源VS71と聴取エリアER72、仮想音源VS72と聴取エリアER71、および仮想音源VS72と聴取エリアER72の各組み合わせについての選択結果に基づいて、最終的な再生スピーカを選択する。
【０１３０】
例えば、４つの各組み合わせのうちの少なくとも何れかの組み合わせで再生スピーカとして選択されたスピーカが最終的な再生スピーカとして選択される。したがって、この例ではスピーカSP71-1からスピーカSP71-6までの間にある合計９個のスピーカが再生スピーカとして用いられることになる。
【０１３１】
なお、ここでは仮想音源と聴取エリアの各組み合わせでの選択結果に基づいて最終的な再生スピーカが選択されると説明したが、仮想音源ごとに再生スピーカを選択するようにしてもよい。
【０１３２】
そのような場合、例えば再生スピーカ選択部５２は、仮想音源VS71については、聴取エリアER71との組み合わせ時の選択結果と、聴取エリアER72との組み合わせ時の選択結果とから、最終的にスピーカSP71-1からスピーカSP71-5までの間にある合計６個のスピーカを再生スピーカとする。すなわち、聴取エリアER71との組み合わせ時に選択された再生スピーカと、聴取エリアER72との組み合わせ時に選択された再生スピーカとが仮想音源VS71についての再生スピーカとして選択される。
【０１３３】
このようにして再生スピーカが選択されると、再生信号計算部８１は、選択された再生スピーカについて、仮想音源VS71に対応する再生スピーカごとの波面合成フィルタのフィルタ係数を用いたフィルタリング処理を仮想音源VS71のオーディオ信号に対して行い、スピーカ駆動信号を生成する。この例では、仮想音源VS71について、スピーカSP71-1からスピーカSP71-6までの間にある合計９個の再生スピーカのスピーカ駆動信号が生成される。
【０１３４】
同様に、再生信号計算部８１は、合計９個の再生スピーカについて、仮想音源VS72に対応する再生スピーカごとの波面合成フィルタのフィルタ係数を用いたフィルタリング処理を仮想音源VS72のオーディオ信号に対して行い、スピーカ駆動信号を生成する。
【０１３５】
最後に再生信号計算部８１は、同じ再生スピーカについて生成された仮想音源VS71についてのスピーカ駆動信号と、仮想音源VS72についてのスピーカ駆動信号とを加算して、再生スピーカの最終的なスピーカ駆動信号とする。
【０１３６】
以上のように仮想音源や聴取エリアが複数ある場合には、複数の仮想音源のそれぞれと、複数の聴取エリアそれぞれとの組み合わせごとに再生スピーカが選択され、それらの選択結果に基づいて最終的な再生スピーカが選択される。
【０１３７】
〈第３の実施の形態〉
〈エラー処理について〉
ところで、信号処理装置１１においては再生スピーカ選択部５２において再生スピーカが選択されるが、仮想音源の範囲と聴取エリアとスピーカアレイ１２との位置関係によっては適切に再生スピーカを選択することができないことがある。
【０１３８】
適切に再生スピーカを選択できない例としては、例えば以下の２つの例が考えられる。
【０１３９】
すなわち、まず１つ目の例として仮想音源の範囲と聴取エリアとが重なっている場合が考えられる。また、２つ目の例としてスピーカ選択直線がスピーカアレイ１２と交点をもたない場合、つまりスピーカ選択直線がスピーカアレイ１２の配置位置から離れた位置を通る場合が考えられる。
【０１４０】
そこで、適切に再生スピーカを選択することができない場合にはエラーがあるとし、そのようなエラーに対処するためのエラー処理が行われるようにしてもよい。
【０１４１】
このようなエラーが生じるか否かは、仮想音源の範囲と聴取エリアとスピーカアレイ１２との位置関係、すなわち仮想音源範囲情報、聴取エリア範囲情報、およびスピーカ位置情報から特定することが可能である。
【０１４２】
エラー処理の具体的な例としては、例えば仮想音源の範囲および聴取エリアの少なくとも何れか一方を、エラーが生じなくなるように縮小または拡大したり、移動させたり、時間方向における仮想音源の移動を制限したりすることが考えられる。また、他のエラー処理として、エラーの発生をコンテンツ再生システムにフィードバックし、オーディオコンテンツの再生を行わないようにすることも考えられる。
【０１４３】
ここで、図１５を参照してエラー処理の具体例について説明する。
【０１４４】
例えば図１５の矢印Q11に示すようにスピーカアレイ１２の前方に仮想音源VS91があり、スピーカアレイ１２から見て仮想音源VS91のさらに前方に聴取エリアER91があるとする。
【０１４５】
このような場合に、仮想音源VS91の範囲と聴取エリアER91の位置関係から、スピーカ選択直線決定部５１において、仮想音源VS91と聴取エリアER91の間の位置で交差する２本の直線L91および直線L92がスピーカ選択直線として求められたとする。
【０１４６】
ところが直線L91はスピーカアレイ１２と交点を有するが、直線L92についてはスピーカアレイ１２と交点をもたないことからエラーがあると判定されることになる。
【０１４７】
そこで、矢印Q12に示すように、エラー処理として聴取エリアER91を縮小する縮小処理が行われ、その結果得られた縮小後の聴取エリアER91である聴取エリアER91’と、仮想音源VS91の範囲とに基づいてスピーカ選択直線が決定し直される。
【０１４８】
ここでは、直線L91と直線L93とが再決定により得られたスピーカ選択直線となっており、それらの直線L91と直線L93はスピーカアレイ１２と交点を有することが分かる。
【０１４９】
なお、聴取エリアER91をどのように縮小すればエラーが生じなくなるか、つまりスピーカ選択直線がスピーカアレイ１２と交点を有するようになるかは、仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報から特定することが可能である。
【０１５０】
エラー処理が行われると、その後、再生スピーカが選択される。図１５に示した例のようにエラー処理を行うことで、適切に再生スピーカを選択することができ、波面合成のための演算量を削減することができる。
【０１５１】
また、他の例として、例えば仮想音源と聴取エリアが重なっているときには、エラー処理として仮想音源と聴取エリアの少なくとも何れか一方の位置を移動させ、それらの仮想音源と聴取エリアとが重ならないようにすることも考えられる。
【０１５２】
このようなエラー処理は、仮想音源、聴取エリア、およびスピーカアレイ１２の位置関係に応じて、仮想音源および聴取エリアの少なくとも何れか一方について、拡大または縮小や移動により位置または範囲（領域）を変更する変更処理であるといえる。変更処理（エラー処理）が行われると、変更処理後の仮想音源の範囲（位置）と聴取エリアの範囲とに基づいて再生スピーカが選択される。
【０１５３】
〈コンテンツ再生システムの構成例〉
以上のように適宜、エラー処理が行われる場合、コンテンツ再生システムは、例えば図１６に示すように構成される。なお、図１６において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１５４】
図１６に示すコンテンツ再生システムは、信号処理装置１１およびスピーカアレイ１２を有しており、また信号処理装置１１はスピーカ選択処理部２１、エラー処理部１４１、および再生処理部２２を有している。
【０１５５】
なお、再生処理部２２の構成は、図１０に示した構成とされてもよいし、図１２に示した構成とされてもよいが、ここでは図１０に示した構成とされるものとして説明を続ける。
【０１５６】
スピーカ選択処理部２１ではスピーカ選択直線の決定と再生スピーカの選択が行われるが、スピーカ選択処理部２１は適切に再生スピーカを選択できない等の場合には、エラーが生じたとする。そしてスピーカ選択処理部２１は、エラーが生じた旨のエラー情報とともに仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報をエラー処理部１４１に供給する。このときスピーカ選択直線情報もエラー処理部１４１に供給されるようにしてもよい。
【０１５７】
これに対して、エラーが生じなかった場合には、スピーカ選択処理部２１の再生スピーカ選択部５２は、再生スピーカの選択結果を示す選択スピーカ情報を再生処理部２２に供給する。
【０１５８】
エラー処理部１４１は、スピーカ選択処理部２１からエラーが生じた旨のエラー情報が供給された場合、スピーカ選択処理部２１から供給された仮想音源範囲情報やスピーカ位置情報、聴取エリア範囲情報、スピーカ選択直線情報に基づいてエラー処理を行う。
【０１５９】
また、エラー処理部１４１は、エラー処理の結果に応じて再生スピーカを選択し、その選択結果を示す選択スピーカ情報を再生処理部２２に供給する。
【０１６０】
再生処理部２２には、再生スピーカ選択部５２またはエラー処理部１４１の何れか一方から選択スピーカ情報が供給されるので、再生処理部２２は、供給された選択スピーカ情報に基づいて再生スピーカのスピーカ駆動信号を生成し、スピーカアレイ１２に供給する。
【０１６１】
〈再生処理の説明〉
次に図１６に示したコンテンツ再生システムの動作について説明する。すなわち、以下、図１７のフローチャートを参照して、コンテンツ再生システムによる再生処理について説明する。
【０１６２】
なお、ステップＳ７１およびステップＳ７２の処理は、図１１のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。
【０１６３】
ステップＳ７３においてスピーカ選択処理部２１は、エラーが生じたか否かを判定する。例えばステップＳ７３では、ステップＳ７１において仮想音源の範囲と聴取エリアとが重なっており、適切にスピーカ選択直線が決定できなかった場合や、ステップＳ７２においてスピーカ選択直線とスピーカアレイ１２が交点をもたず、適切に再生スピーカが選択できなかった場合にエラーが発生したと判定される。
【０１６４】
ステップＳ７３においてエラーが生じていないと判定された場合、スピーカ選択処理部２１の再生スピーカ選択部５２は選択スピーカ情報を再生処理部２２の再生信号計算部８１に供給し、その後、処理はステップＳ７７へと進む。
【０１６５】
これに対して、ステップＳ７３においてエラーが生じたと判定された場合、スピーカ選択処理部２１は、エラーが生じた旨のエラー情報とともに仮想音源範囲情報やスピーカ位置情報、聴取エリア範囲情報、スピーカ選択直線情報をエラー処理部１４１に供給し、その後、処理はステップＳ７４へと進む。
【０１６６】
ステップＳ７４においてエラー処理部１４１は、スピーカ選択処理部２１から供給されたエラー情報に応じてエラー処理を行う。
【０１６７】
すなわち、エラー処理部１４１は、スピーカ選択処理部２１から供給された仮想音源範囲情報やスピーカ位置情報、聴取エリア範囲情報、スピーカ選択直線情報に基づいて、仮想音源の範囲および聴取エリアの少なくとも何れか一方を縮小または拡大する。
【０１６８】
その他、エラー処理として仮想音源の範囲および聴取エリアの少なくとも何れか一方を移動させる処理や、仮想音源の移動を制限する処理、上述の縮小または拡大と移動と仮想音源の移動の制限とのうちの２以上のものを組み合わせた処理が行われてもよい。さらに、エラー処理部１４１が再生処理部２２を制御し、オーディオコンテンツの再生を行わないようにする処理をエラー処理として行うようにしてもよい。
【０１６９】
エラー処理が行われると、その後、エラー処理部１４１はステップＳ７５およびステップＳ７６の処理を行って再生スピーカを選択し、その選択結果を示す選択スピーカ情報を再生処理部２２の再生信号計算部８１に供給する。
【０１７０】
なお、これらのステップＳ７５およびステップＳ７６の処理はステップＳ７１およびステップＳ７２の処理と同様であるので、その説明は省略する。但し、ステップＳ７５では、エラー処理後の仮想音源の範囲や聴取エリアに基づいてスピーカ選択直線が決定される。
【０１７１】
また、ステップＳ７５およびステップＳ７６の処理は、エラー処理部１４１ではなく、スピーカ選択直線決定部５１および再生スピーカ選択部５２により行われるようにしてもよい。
【０１７２】
ステップＳ７６の処理が行われて再生スピーカが選択されると、その後、処理はステップＳ７７へと進む。
【０１７３】
ステップＳ７６の処理が行われたか、またはステップＳ７３においてエラーが生じていないと判定されると、ステップＳ７７乃至ステップＳ７９の処理が行われて再生処理は終了するが、これらの処理は図１１のステップＳ１３乃至ステップＳ１５の処理と同様であるのでその説明は省略する。
【０１７４】
但し、ステップＳ７７では、再生信号計算部８１において再生スピーカ選択部５２またはエラー処理部１４１から供給された選択スピーカ情報が用いられて波面合成フィルタの選択が行われる。また、再生処理部２２が図１２に示した構成とされる場合には、ステップＳ７７ではフィルタ演算部１１１によりフィルタ係数が算出される。
【０１７５】
以上のようにしてコンテンツ再生システムは、必要に応じてエラー処理を行って再生スピーカを選択し、選択した再生スピーカについてのみスピーカ駆動信号を生成してオーディオコンテンツを再生する。このように必要に応じてエラー処理を行うことで、波面合成精度を低下させずに波面合成のための演算量を削減できるだけでなく、適切に再生スピーカを選択し、確実に演算量を削減することができる。
【０１７６】
また、以上においては説明を簡単にするため、スピーカアレイ１２を構成するスピーカが２次元平面上に配置される場合を例として説明した。しかし、スピーカアレイ１２を構成するスピーカが３次元空間に配置される場合であっても、すなわちスピーカアレイ１２が球状スピーカアレイ等である場合でも同様にして演算量を削減することができる。
【０１７７】
そのような場合、例えば再生スピーカを選択するためにスピーカ選択直線を用いてもよいし、スピーカ選択直線に代えて円錐や四角錘などの曲面、２以上の平面などを用いるようにしてもよい。
【０１７８】
例えばスピーカ選択直線を用いる場合には、スピーカ選択処理部２１は、スピーカアレイ１２のスピーカが２次元平面上に配置される場合と同様にして２つのスピーカ選択直線を求める。そして、スピーカ選択処理部２１は、それらのスピーカ選択直線の交点を通る直線を回転軸として、２つのスピーカ選択直線のうちの何れか一方を回転させて得られる円錐の内側にあるスピーカを再生スピーカとして選択する。
【０１７９】
また、例えば２以上の平面を用いる場合には、スピーカ選択処理部２１は、仮想音源範囲情報、スピーカ位置情報、および聴取エリア範囲情報に基づいて、仮想音源および聴取エリアの両方の領域の範囲と重ならず、かつ仮想音源と聴取エリアの間の位置で交差する２以上の平面を決定する。そして、スピーカ選択処理部２１は、スピーカアレイ１２を構成するスピーカのうち、決定された２以上の平面により囲まれる領域内にあるスピーカを再生スピーカとして選択する。
【０１８０】
〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８１】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８２】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１８３】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１８４】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
【０１８５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１８６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１８７】
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１８８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９３】
さらに、本技術は、以下の構成とすることも可能である。
【０１９４】
（１）
仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する再生スピーカ選択部を備える
信号処理装置。
（２）
前記再生スピーカ選択部は、前記仮想音源が大きさを有する場合、前記仮想音源の領域と、前記聴取エリアの範囲とに基づいて前記再生スピーカを選択する
（１）に記載の信号処理装置。
（３）
前記再生スピーカ選択部は、前記仮想音源と前記聴取エリアの位置関係に対して定まる直線に基づいて前記再生スピーカを選択する
（１）または（２）に記載の信号処理装置。
（４）
前記再生スピーカ選択部は、互いに異なる２つの前記直線に基づいて前記再生スピーカを選択する
（３）に記載の信号処理装置。
（５）
前記直線は、前記聴取エリアに接する
（４）に記載の信号処理装置。
（６）
前記再生スピーカ選択部は、前記直線と前記スピーカアレイとの交点近傍にある前記スピーカを前記再生スピーカとして選択する
（４）または（５）に記載の信号処理装置。
（７）
前記再生スピーカ選択部は、前記スピーカアレイを構成する複数の前記スピーカのうち、一方の前記直線と前記スピーカアレイとの交点近傍の位置から、他方の前記直線と前記スピーカアレイとの交点近傍の位置までの間にある前記スピーカを前記再生スピーカとして選択する
（４）乃至（６）の何れか一項に記載の信号処理装置。
（８）
前記再生スピーカ選択部は、前記仮想音源が前記聴取エリアから見て前記スピーカアレイの手前側にある場合、前記聴取エリアと前記仮想音源との間の位置で交差する２つの前記直線に基づいて前記再生スピーカを選択する
（４）乃至（７）の何れか一項に記載の信号処理装置。
（９）
前記仮想音源、前記聴取エリア、および前記スピーカアレイの位置関係に応じて、前記仮想音源および前記聴取エリアの少なくとも何れか一方について位置または範囲を変更する変更処理を行う処理部をさらに備え、
前記再生スピーカ選択部は、前記変更処理後の前記仮想音源の位置と前記聴取エリアの範囲とに基づいて前記再生スピーカを選択する
（１）乃至（８）の何れか一項に記載の信号処理装置。
（１０）
前記オーディオ信号に対するフィルタリング処理を行って、波面合成により前記聴取エリアで前記仮想音源の前記音を再生させるためのスピーカ駆動信号を前記再生スピーカごとに生成する再生処理部を備える
（１）乃至（９）の何れか一項に記載の信号処理装置。
（１１）
前記再生スピーカ選択部は、複数の前記仮想音源の位置のそれぞれと、前記聴取エリアの範囲との組み合わせごとに前記再生スピーカを選択し、それらの組み合わせごとの前記再生スピーカの選択結果に基づいて、最終的な前記再生スピーカを選択する
（１）乃至（１０）の何れか一項に記載の信号処理装置。
（１２）
前記再生スピーカ選択部は、前記仮想音源の位置と、複数の前記聴取エリアの範囲のそれぞれとの組み合わせごとに前記再生スピーカを選択し、それらの組み合わせごとの前記再生スピーカの選択結果に基づいて、最終的な前記再生スピーカを選択する
（１）乃至（１０）の何れか一項に記載の信号処理装置。
（１３）
前記スピーカアレイは、直線スピーカアレイまたは環状スピーカアレイである
（１）乃至（１２）の何れか一項に記載の信号処理装置。
（１４）
信号処理装置が、
仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する
信号処理方法。
（１５）
仮想音源の位置と聴取エリアの範囲とに基づいて、スピーカアレイを構成する複数のスピーカのなかから、前記仮想音源のオーディオ信号に基づく音の再生に用いる複数の再生スピーカを選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１９５】
１１  信号処理装置，  １２  スピーカアレイ，  ２１  スピーカ選択処理部，  ２２  再生処理部，  ５１  スピーカ選択直線決定部，  ５２  再生スピーカ選択部，  ８１  再生信号計算部，  ８２  スピーカ駆動部，  １１１  フィルタ演算部，  １４１  エラー処理部
【図１】
2020100670.tif 000003
【図２】
2020100670.tif 000004
【図３】
2020100670.tif 000005
【図４】
2020100670.tif 000006
【図５】
2020100670.tif 000007
【図６】
2020100670.tif 000008
【図７】
2020100670.tif 000009
【図８】
2020100670.tif 000010
【図９】
2020100670.tif 000011
【図１０】
2020100670.tif 000012
【図１１】
2020100670.tif 000013
【図１２】
2020100670.tif 000014
【図１３】
2020100670.tif 000015
【図１４】
2020100670.tif 000016
【図１５】
2020100670.tif 000017
【図１６】
2020100670.tif 000018
【図１７】
2020100670.tif 000019
【図１８】
2020100670.tif 000020
【国際調査報告】
2020100670.tif 000021
2020100670.tif 000022
2020100670.tif 000023
2020100670.tif 000024