(57)【要約】【課題】スピーカに接近したユーザに対する音量バランスを改善しつつ、基準位置における各チャネルの音響信号のエネルギーと音像方向を維持する。【解決手段】信号処理装置は、聴取者の位置を検出する検出手段と、複数チャネルの音響信号の各チャネルに対応する複数のスピーカから出力される音響信号を制御する制御手段とを有する。前記制御手段は、前記検出手段により検出された位置に基づいて、当該位置における前記複数チャネルの音響信号の音量バランスを制御する第１制御と、前記検出手段により検出された位置と異なる基準位置における前記音量バランスの前記第１制御に応じた変化を抑制するための第２制御とを行う。【選択図】  図１
2017022498.tif 000002
【特許請求の範囲】
【請求項１】
信号処理装置であって、
聴取者の位置を検出する検出手段と、
複数チャネルの音響信号の各チャネルに対応する複数のスピーカから出力される音響信号を制御する制御手段と、を有し、
前記制御手段は、
前記検出手段により検出された位置に基づいて、当該位置における前記複数チャネルの音響信号の音量バランスを制御する第１制御と、
前記検出手段により検出された位置と異なる基準位置における前記音量バランスの前記第１制御に応じた変化を抑制するための第２制御とを行う
ことを特徴する信号処理装置。
【請求項２】
前記制御手段は、
前記第１制御において、前記検出手段により検出された位置に対応するスピーカであって、聴取者が接近した前記複数のスピーカのうちの接近スピーカから出力されるチャネルの音響信号のゲインを低下させ、
前記第２制御において、前記ゲインの低下に伴う前記基準位置における前記チャネルの音響信号のエネルギー低下を補償する補償信号を、前記複数のスピーカのうち前記接近スピーカを除く少なくとも２つのスピーカで構成される補償スピーカ組から出力させる
ことを特徴する請求項１に記載の信号処理装置。
【請求項３】
前記制御手段は、前記第２制御により、前記基準位置から見て前記接近スピーカの方向に音像を生成させることを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記制御手段は、前記補償スピーカ組を構成する前記少なくとも２つのスピーカの各々に、当該スピーカに対応するチャネルの音響信号と前記補償信号との合成信号を出力させることを特徴とする請求項２に記載の信号処理装置。
【請求項５】
前記基準位置は、前記複数のスピーカの位置の重心位置であることを特徴とする請求項２乃至４のいずれか１項に記載の信号処理装置。
【請求項６】
前記基準位置は、前記接近スピーカに接近していない他の聴取者の位置であることを特徴とする請求項２乃至４のいずれか１項に記載の信号処理装置。
【請求項７】
前記検出手段は、
（前記聴取者と注目スピーカとの距離）≦閾値
の場合に、当該注目スピーカを前記接近スピーカとして検出することを特徴とする請求項２乃至６のいずれか１項に記載の信号処理装置。
【請求項８】
前記検出手段は、
（前記聴取者と各スピーカとの距離の最大値）／（前記聴取者と注目スピーカとの距離）≧閾値
の場合に、当該注目スピーカを前記接近スピーカとして検出することを特徴とする請求項２乃至６のいずれか１項に記載の信号処理装置。
【請求項９】
前記検出手段は、
（前記基準位置と注目スピーカとの距離）／（前記聴取者と注目スピーカとの距離）≧閾値
の場合に、当該注目スピーカを前記接近スピーカとして検出することを特徴とする請求項２乃至６のいずれか１項に記載の信号処理装置。
【請求項１０】
前記制御手段は、前記接近スピーカから出力されるチャネルの音響信号のゲインを、前記聴取者と前記接近スピーカとの距離に応じて低下させることを特徴とする請求項２乃至９のいずれか１項に記載の信号処理装置。
【請求項１１】
前記補償スピーカ組は、前記少なくとも２つのスピーカの位置を結んで形成される図形が前記接近スピーカの位置と前記基準位置とを結ぶ線分と交差するスピーカ組であることを特徴とする請求項２乃至１０のいずれか１項に記載の信号処理装置。
【請求項１２】
前記補償スピーカ組は、更に、前記基準位置に対して前記少なくとも２つのスピーカの成す角が閾値以内であるスピーカ組であることを特徴とする請求項１１に記載の信号処理装置。
【請求項１３】
前記補償スピーカ組は、更に、前記基準位置と前記少なくとも２つのスピーカとの距離の最大値が最小となるスピーカ組であることを特徴とする請求項１１に記載の信号処理装置。
【請求項１４】
前記補償スピーカ組は、更に、前記基準位置と前記少なくとも２つのスピーカとの距離の和が最小となるスピーカ組であることを特徴とする請求項１１に記載の信号処理装置。
【請求項１５】
前記補償スピーカ組は、更に、前記聴取者と前記少なくとも２つのスピーカとの距離の最小値が最大となるスピーカ組であることを特徴とする請求項１１に記載の信号処理装置。
【請求項１６】
前記補償スピーカ組は、当該スピーカ組から音響信号を出力した場合に前記聴取者の位置において前記チャネルの音響信号のエネルギーが最小となるようなスピーカ組であることを特徴とする請求項１１に記載の信号処理装置。
【請求項１７】
信号処理装置によって実行される信号処理方法であって、
聴取者の位置を検出する検出ステップと、
複数チャネルの音響信号の各チャネルに対応する複数のスピーカから出力される音響信号を制御する制御ステップと、を有し、
前記制御ステップは、
前記検出ステップで検出された位置に基づいて、当該位置における前記複数チャネルの音響信号の音量バランスを制御する第１制御ステップと、
前記検出ステップで検出された位置と異なる基準位置における前記音量バランスの前記第１制御ステップでの制御に応じた変化を抑制するための第２制御ステップとを含む
ことを特徴する信号処理方法。
【請求項１８】
コンピュータに、請求項１７に記載の信号処理方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号の再生を制御する信号処理装置及び方法に関する。
【背景技術】
【０００２】
聴取者の周囲に複数のスピーカを配置し、スピーカの数と配置方向に合わせて作り込まれた複数チャネルの音響信号を作成し、各スピーカから対応するチャネルの音響信号を再生する方法は、サラウンド再生として広く用いられている。
【０００３】
サラウンド再生では、聴取者が特定のスピーカに接近してしまうと、そのスピーカからの音が相対的に大きく聞こえるようになる。そのため、聴取者が聴く各チャネルの音響信号の音量バランスが崩れてしまう。
【０００４】
特許文献１には、以下のような方法が開示されている。車室内の席では、車室の左右両側に設置されたスピーカからの距離が異なるため、例えば右側の運転席では、左スピーカからのＬｃｈ音響信号が特に高域で相対的に小さく聞こえる。そこで、Ｌｃｈ音響信号の高域を再生する専用の高域スピーカを前方に設け、運転席に向けることで運転席におけるＬｃｈ音響信号の相対的なエネルギー低下分を補償する。また同様に、Ｒｃｈ音響信号の高域を再生する専用の高域スピーカを前方に設け、助手席に向けることで左側の助手席におけるＲｃｈ音響信号の相対的なエネルギー低下分を補償する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−６７１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の技術では、補償専用のスピーカが前方に設けられているために、例えば後部座席では、Ｌｃｈ音響信号の高域が左側と前方の２つの方向から聞こえてしまい、各チャネルの音響信号の音量バランスが崩れてしまうという問題も生じうる。このように、特定の聴取位置からずれた聴取者に合わせて音量バランスを調整すると、今度は特定の聴取位置における音量バランスが崩れてしまうおそれがある。
【０００７】
そこで本発明は、複数のチャネルの音響信号を出力する際に、基準位置からずれた聴取者に対する音量バランスを改善しつつ、基準位置における音量バランスの変化を抑制することのできる信号処理装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、聴取者の位置を検出する検出手段と、複数チャネルの音響信号の各チャネルに対応する複数のスピーカから出力される音響信号を制御する制御手段とを有し、前記制御手段は、前記検出手段により検出された位置に基づいて、当該位置における前記複数チャネルの音響信号の音量バランスを制御する第１制御と、前記検出手段により検出された位置と異なる基準位置における前記音量バランスの前記第１制御に応じた変化を抑制するための第２制御とを行うことを特徴する信号処理装置が提供される。
【発明の効果】
【０００９】
本発明によれば、複数のチャネルの音響信号を出力する際に、基準位置からずれた聴取者に対する音量バランスを改善しつつ、基準位置における音量バランスの変化を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る信号処理装置のブロック図。
【図２】実施形態に係る音響信号制御部および音響信号出力部のブロック図。
【図３】実施形態におけるスピーカ配置図。
【図４】実施形態における音響信号制御処理のフローチャート。
【図５】実施形態における接近ユーザおよび接近スピーカ特定処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態の一例について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施の具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１２】
＜第１実施形態＞
図１は、本実施形態における信号処理装置１００のブロック図である。信号処理装置１００は、各構成要素の制御を統括的に行うシステム制御部１０１、各種データを記憶する記憶部１０２を備える。信号処理装置１００は、再生系として、音響信号制御部１０３、音響信号出力部１０４、聴取者（ユーザ）の周囲に配置されたスピーカ１１１〜１１８を備える。記憶部１０２は、スピーカの配置方向に合わせて作り込まれた、スピーカの数と同じチャネル数を有する複数チャネルの音響信号を保持する。音響信号は、音響信号制御部１０３で後述する処理を施され、音響信号出力部１０４で図２に示すようにＤＡ変換器２３０および増幅器２４０に通された後、スピーカから再生される。各スピーカの配置座標は記憶部１０２に予め記憶されている。なお、スピーカの数や配置は、図１の態様に限られるものではない。
【００１３】
位置検出部１２０は、ユーザの位置座標を検出する。本実施形態において位置検出部１２０は、スピーカで囲まれた空間範囲を撮影可能なカメラ１２１および、映像信号解析部１２２を含む。カメラ１２１は例えば、広角のレンズを備え、部屋の中央部天井に配置されることで、スピーカに囲まれたユーザを画角に収めることができる。映像信号解析部１２２は、カメラ１２１が捉えた映像信号及び、記憶部１０２が予め保持しているカメラ１２１の配置情報をもとに、映像信号の解析を行うことでユーザの位置座標を算出する。なお、ユーザの位置検出を容易にするために、ユーザがマーカを身に付けるようにしてもよい。スピーカの配置座標、カメラ１２１の配置情報、およびユーザの位置座標は、共通の座標系で記述されているものとする。スピーカの配置座標やカメラ１２１の配置情報、また音響信号は、記憶部１０２と相互に結ばれた不図示のデータ入出力部を介して、外部から入力するようにしてもよい。位置検出部１２０の機能は、上記の映像解析の他で実現されてもよい。例えば、スピーカから可聴域外の超音波を発してユーザが身に付けるマイクロホンで収音する方法が考えられる。あるいは、ユーザが持つＧＰＳ機能搭載の携帯機器と通信する方法や、磁気センサや赤外線センサを用いる方法も考えられる。すなわち、ユーザの位置を検出できるものであれば何でもよい。なお、ユーザが身に付けるマーカ等をスピーカにも付ければ、スピーカの配置座標も検出可能と考えられる。
【００１４】
次に、本実施形態の処理の概要を、図２を用いて説明する。本明細書において、サラウンド再生において或るスピーカに接近したユーザを「接近ユーザ」と呼び、接近ユーザが接近したスピーカを「接近スピーカ」と呼ぶ。
【００１５】
図２において、接近スピーカ２００に接近した接近ユーザが聴く各チャネルの音響信号の音量バランスを改善するために、接近スピーカ２００に対応付けられているチャネルの音響信号である、接近スピーカ用音響信号のゲインを低下させる。具体的には、１より小さいゲインであるg0を接近スピーカ用音響信号に乗じることで、接近ユーザが聴く接近スピーカ用音響信号の音量を、他のチャネルの音響信号と同程度に抑える。その後、振幅補正器２１０および遅延補正器２２０で振幅補正および遅延補正が行われ、ＤＡ変換器２３０および増幅器２４０に通された後、接近スピーカ２００から再生される。振幅補正器および遅延補正器は、各スピーカと基準位置との距離の違いによる、音量差および遅延差を補償するための一般的なものである。具体的には、スピーカと基準位置との距離に比例するようなゲインを乗じて振幅補正を行い、また基準位置から最も遠いスピーカに合わせて遅延補正を行う。なお、図１のスピーカ１１１〜１１８のように、各スピーカが基準位置（点線円の中心とする）から等距離に配置されている場合は、振幅補正器および遅延補正器の処理は全スピーカで同じとなる。
【００１６】
接近スピーカ用音響信号のゲインをg0により低下させたことに伴い、基準位置においては、接近スピーカ用音響信号は他のチャネルの音響信号に比べてエネルギーが低下する。このため、接近ユーザとは別のユーザが基準位置にいる場合、そのユーザに対する音量バランスが変化してしまう。
【００１７】
そこで本実施形態では、ゲインg0による接近スピーカ用音響信号のエネルギー低下を補償する補償信号を、他のチャネルに対応する他のスピーカ（本実施形態では「補償スピーカ」と呼ぶ。）から再生する。補償信号は、例えば、接近スピーカのチャネルの音響信号（接近スピーカ２００用音響信号）にゲイン（1-g0）を乗じて得た信号とすることができる。このとき、複数のスピーカを補償スピーカとして用いることで、複数の補償スピーカの間に仮想音像を生成することが可能となる。基準位置から見て接近スピーカ２００の方向に仮想音像を生成することで、基準位置における接近スピーカ用音響信号のエネルギーと音像方向が維持され、基準位置における複数チャネルの音量バランスの変化が抑制される。
【００１８】
このとき、補償スピーカ２０１〜２０２からは、補償スピーカに対応するチャネルの音響信号に補償信号を重畳して得た合成信号を出力させるようにしてもよい。これにより、基準位置から見て接近スピーカ２００の方向に仮想音像が生成されうる。また、図２に示すように、二乗和が１となるようなゲインの組gi（i=1〜2）を更に用いて補償スピーカの各々に対する補償信号を作成してもよい。例えば、補償スピーカ２０１は、このスピーカに対応するチャネルの音響信号である補償スピーカ用音響信号と、接近スピーカ用音響信号にゲインg1(1-g0)を乗じて得た補償信号との合成信号を再生することができる。同様に補償スピーカ２０２は、このスピーカに対応するチャネルの音響信号である補償スピーカ用音響信号と、接近スピーカ用音響信号にゲインg2(1-g0)を乗じて得た補償信号との合成信号を再生することができる。なお、接近スピーカ２００の出力のゲインを下げるようにしたが、接近スピーカ２００以外の他のスピーカの出力のゲインを上げて、接近ユーザにおける各チャネルの音量バランスを改善するようにしてもよい。この場合、基準位置における音量バランスは、接近スピーカと異なる他のスピーカ用音響信号のエネルギー増加を補償する補償信号を、複数のスピーカから再生する。この場合、補償信号は、エネルギー増加分を相殺させるための信号となる。
【００１９】
以上のように、制御手段としての音響信号制御部１０３は、位置検出部１２０により検出された聴取者の位置に基づいて、当該位置における複数チャネルの音響信号の音量バランスを制御する第１制御を行う。また音響信号制御部１０３は、位置検出部１２０により検出された位置とは異なる基準位置における、上記音量バランスの上記第１制御に応じた変化を抑制するための第２制御を行う。このような構成により、補償専用のスピーカを別に設けることなく、スピーカに接近した聴取者に対する音量バランスを改善しつつ、基準位置における音量バランスの変化を抑制することができる。
【００２０】
具体例として図１に示すような状況においては、ユーザ１３２が基準位置からずれてスピーカ１１１とスピーカ１１８に接近しているため、ユーザ１３２が接近ユーザ、スピーカ１１１とスピーカ１１８がそれぞれ、図２における接近スピーカ２００となる。まず、接近スピーカ１１１から再生する接近スピーカ用音響信号のゲインをg0により低下させることで、ユーザ１３２が聴く８チャネルの音響信号の音量バランスを改善する。同時に、スピーカ１１２および１１７をそれぞれ、図２における補償スピーカ２０１および２０２として、ゲイン(1-g0), g1, g2により、基準位置のユーザ１３１に対する接近スピーカ用音響信号のエネルギーと音像方向を維持する。また、接近スピーカ１１８の接近スピーカ用音響信号についても、スピーカ１１２および１１７を補償スピーカとして、音響信号制御部１０３において同様の処理を行う。
【００２１】
なお、スピーカ１１２ではなくスピーカ１１１とスピーカ１１７でも、基準位置から見てスピーカ１１８の方向に仮想音像を生成することは可能である。しかし、ユーザ１３２のためにスピーカ１１８のゲインを抑えたにもかかわらず、基準位置における補償のためにスピーカ１１１のゲインを上げて再生したのでは、結局、その再生音はユーザ１３２に近いため強く感じられてしまう。このため、接近スピーカであるスピーカ１１１とスピーカ１１８は、補償スピーカとしては用いない。
【００２２】
なお、複数スピーカのセット（本明細書では「スピーカ組」と呼ぶ。）は、スピーカ１１２と１１７で構成されるスピーカ組の他にも多数ある。ただ、上述した図１に示すような状況の場合、接近スピーカであるスピーカ１１１とスピーカ１１８を含まず、かつ基準位置から見て接近スピーカの側に仮想音像を生成することが可能なスピーカ組は、スピーカ１１２と１１７で構成されるものだけである。このため、スピーカ１１２と１１７で構成されるスピーカ組を補償のためのスピーカ組（本明細書では「補償スピーカ組」と呼ぶ。）とし、補償スピーカ組を構成するスピーカ１１２と１１７を補償スピーカとして用いている。
【００２３】
しかし、より大規模なスピーカ配置を考えると、接近スピーカの側に仮想音像を生成可能なスピーカ組は複数存在し得るため、スピーカ組のうち接近ユーザへの影響が最も少ないものを補償スピーカ組とする、といったことが可能となる。そこで以下では、図３（ａ）に示されるような、スピーカ３０１〜３１２によるスピーカ配置の例を考える。以下、ゲインg0, g1, g2や補償スピーカ組の決定法を含む本実施形態の音響信号制御処理を、図４および図５のフローチャートに沿って詳述する。なお、これらフローチャートの処理は、特に別記しない限り音響信号制御部１０３が行うものとし、所定時間ごと、例えば位置検出部１２０による位置検出の周期に合わせて実行されるものとする。
【００２４】
Ｓ４０１では、サラウンド再生におけるリスニングポイントである、基準位置を算出する。具体的には、記憶部１０２があらかじめ保持しているスピーカ３０１〜３１２の配置座標について、重心位置を算出して基準位置とする。図３（ａ）において、基準位置は点線長方形の中心、もしくは基準位置にいるユーザ３３１を表す円の中心である。
【００２５】
Ｓ４０２では、音響信号制御部１０３において音響信号が通される、各スピーカの振幅補正器と遅延補正器の設定を行う。具体的には、各スピーカ（３０１〜３１２）と基準位置との距離に比例するようなゲインを、各振幅補正器に設定する。また、基準位置から最も遠いスピーカ（３０２、３０６、３０８、３１２）に遅延量を合わせるための、例えば遅延サンプル数を各遅延補正器に設定する。なお、図１のスピーカ１１１〜１１８とは異なり、図３（ａ）のスピーカ３０１〜３１２は基準位置から等距離に配置されていないため、振幅補正器および遅延補正器の処理はスピーカごとに異なる。
【００２６】
Ｓ４０３では、図５のフローチャートで表される接近ユーザおよび接近スピーカ特定処理を行う。Ｓ５０１では、システム制御部１０１が位置検出部１２０と通信を行い、スピーカ３０１〜３１２に囲まれたユーザ３３１とユーザ３３２の位置座標を取得する。Ｓ５０２からＳ５０３は、Ｓ５０１で位置座標を取得したユーザ３３１〜３３２および、配置されているスピーカ３０１〜３１２ごとの処理であり、ユーザループおよびスピーカループの中で行う。Ｓ５０２では、現在のユーザループで対象としているユーザと、現在のスピーカループで対象としているスピーカが接近しているかを判定し、接近している場合はＳ５０３へ進む。
【００２７】
図３（ａ）の例において、基準位置にいるユーザ３３１のユーザループでは、スピーカ３０１〜３１２の何れにも接近していないと判定されたとする。一方、基準位置からずれているユーザ３３２のユーザループでは、スピーカ３０１とスピーカ３１２に接近していると判定されたとする。ユーザとスピーカが接近しているかは、例えば式（１）〜（３）の何れかにより判定する。
【００２８】
（ユーザと注目スピーカとの距離）≦閾値    （１）
（ユーザと各スピーカとの距離の最大値）／（ユーザと注目スピーカとの距離）≧閾値    （２）
（基準位置と注目スピーカとの距離）／（ユーザと注目スピーカとの距離）≧閾値    （３）
【００２９】
式（１）は、ユーザと注目スピーカとの距離が閾値以下であれば、接近していると判定するものである。式（２）は、ユーザと各スピーカとの距離のバランス、別の見方をすれば、ユーザが聴くであろう１２チャネルの音響信号の音量バランスを評価しているといえる。すなわち、ユーザとスピーカとの距離に対して、ユーザと最も離れているスピーカとの距離が閾値（例えば５倍）以上であれば、スピーカへの接近により音量バランスが崩れていると判定する。式（３）は、ユーザが基準位置にいるときに比べて、スピーカから再生されている音響信号の音量が、どのくらい大きく聞こえるかを評価しているといえる。すなわち、ユーザとスピーカとの距離に対して、基準位置とスピーカとの距離が閾値（例えば３倍）以上であれば、スピーカへの接近により基準位置にいるときとの音量差が大きいと判定する。
【００３０】
Ｓ５０３では、Ｓ５０２でユーザとスピーカが接近していると判定されたため、現在のユーザループで対象としているユーザを接近ユーザ、現在のスピーカループで対象としているスピーカを接近スピーカとして登録する。図３（ａ）の例の場合、ユーザ３３２を接近ユーザ、スピーカ３０１とスピーカ３１２を接近スピーカとして、接近ユーザと接近スピーカを紐付けて登録する。なお、或るスピーカに複数のユーザが接近している場合は、最も近いユーザをその接近スピーカに紐付ける接近ユーザとする、もしくは接近している複数のユーザの重心位置を接近ユーザの位置とするといった処置を行う。なお、上記においては全スピーカの重心位置を基準位置としたが、接近ユーザ以外のユーザ、すなわちスピーカに接近していないユーザの位置を基準位置としてもよい。
【００３１】
図４の説明に戻る。Ｓ４０４からＳ４０９は、Ｓ４０３で特定した接近スピーカごとの処理であり、接近スピーカループの中で行う。なお、接近スピーカループの中の処理における接近ユーザとは、現在の接近スピーカループで対象としている接近スピーカに紐付けられている接近ユーザを指すものとする。
【００３２】
Ｓ４０４では、接近スピーカから再生するために接近スピーカ用音響信号に適用するゲインg0を決定する。基本的には、接近ユーザと接近スピーカとの距離が小さいほど、g0を小さくする。例えば、基準位置と接近スピーカとの距離が５ｍで、接近ユーザと接近スピーカとの距離が１ｍであれば、接近ユーザが基準位置にいるときと同程度の音量で接近スピーカからの接近スピーカ用音響信号を聞けるよう、g0＝１／５のように定める。なお、図１や図３（ａ）からも分かるように、接近ユーザと接近スピーカ以外のスピーカとの距離は、接近ユーザが基準位置にいるときよりも大きくなる傾向があるため、これを考慮してg0をより小さく定めてもよい。
【００３３】
Ｓ４０５からＳ４０８は、基準位置から見て接近スピーカの方向に仮想音像を生成するための、スピーカ組の選択やゲインg1, g2の算出に係る処理であり、スピーカ組ループの中で行う。図３（ａ）の場合、スピーカ３０１〜３１２のうち接近スピーカであるスピーカ３０１とスピーカ３１２を除いて、10Ｃ2＝45通りのスピーカ組が構成できる。
【００３４】
Ｓ４０５では、現在のスピーカ組ループで対象としているスピーカ組が、接近スピーカの側に仮想音像を生成可能か判定する。生成可能な場合はＳ４０６へ進む。図３（ａ）において、現在の接近スピーカループで対象としている接近スピーカをスピーカ３０１とすると、本ステップにおける判定は以下のように行う。すなわち、接近スピーカの位置と基準位置を結ぶ鎖線の線分が、スピーカ組を構成する２つのスピーカの位置を結んだ実線の線分と交差するかを調べる。交差している場合は接近スピーカの側に仮想音像を生成可能と判定する。逆に、例えばスピーカ３０４とスピーカ３１０で構成されるスピーカ組は、スピーカ３０４とスピーカ３１０とを結ぶ線が接近スピーカの位置と基準位置を結ぶ鎖線の線分とは交差しないので、接近スピーカの側に仮想音像を生成可能とは判定されない。図３（ａ）の場合、実線の線分で表される６つのスピーカ組３２１〜３２６が、接近スピーカであるスピーカ３０１の側に仮想音像を生成可能と判定される。
【００３５】
なお、本実施形態では、分かり易さのためスピーカが２次元に配置された場合を例にとっているが、スピーカが３次元に配置された場合にも適用できる。２次元の場合、基準位置から見て接近スピーカの方向に仮想音像を生成するスピーカ組は２つのスピーカで構成するが、３次元の場合は３つのスピーカでスピーカ組を構成する。３次元の場合、本ステップにおける判定は以下のように行う。すなわち、接近スピーカの位置と基準位置を結ぶ線分が、スピーカ組を構成する３つのスピーカの位置を結んで形成される三角形と交差するかを調べ、交差している場合は接近スピーカの側に仮想音像を生成可能と判定する。以上を一般化すれば、接近スピーカの位置と基準位置を結ぶ線分が、スピーカ組を構成する複数のスピーカの位置を結んで形成される図形と交差するかを調べ、交差している場合は接近スピーカの側に仮想音像を生成可能と判定する。ここで、スピーカ組を構成する複数のスピーカの位置を結んで形成される図形とは、２次元の場合は線分であり、３次元の場合は三角形である。
【００３６】
Ｓ４０６では、基準位置に対してスピーカ組を構成するスピーカの成す角が閾値以内かを判定し、閾値以内の場合はＳ４０７へ進む。本ステップの判定は、基準位置に対してスピーカ組を構成するスピーカの開き角が大きすぎると、基準位置に対して適切に仮想音像を生成できないために行う。例えば閾値を１５０°とすると、図３（ａ）のスピーカ組３２１〜３２６のうち、スピーカ組３２１を構成するスピーカ３０２とスピーカ３０９が基準位置に対して成す角が、閾値を超えていると判定される。なお、閾値はこれより小さい値、例えばステレオスピーカ配置における一般的な開き角である６０°などであっても構わない。
【００３７】
なお、図３（ｂ）に示すように、基準位置からスピーカ組を構成する２つのスピーカの方向への単位ベクトルをそれぞれs1, s2とすると、基準位置に対してスピーカ組を構成するスピーカが成す角θ[rad]は、式（４）で算出できる。
【００３８】
θ=arccos(s1・s2)      （４）
【００３９】
なお、スピーカ配置が３次元の場合は、スピーカ組を構成する３つのスピーカに対して、２つのスピーカの成す角は３つ存在するため、例えばその最大値を閾値と比較する。
【００４０】
Ｓ４０７では、基準位置から見て接近スピーカの方向に仮想音像を生成するための、スピーカ組の各スピーカ用のゲインg1, g2を算出する。図３（ｂ）に示すように、現在の接近スピーカループで対象としている接近スピーカがスピーカ３０１、現在のスピーカ組ループで対象としているスピーカ組が、スピーカ３０３とスピーカ３１０で構成されるスピーカ組３２４である場合を例にとる。ここでは、ベクトルベース振幅パンニング（ＶＢＡＰ：Vector Base Amplitude Panning）の考え方に基づいてゲインg1, g2を算出する。基準位置から接近スピーカの方向への単位ベクトルをp、単位ベクトルs1, s2をまとめた行列をS=[s1 s2]、ゲインg1, g2をまとめたベクトルをg=[g1 g2]Tと置く。ＶＢＡＰでは、pをsi（i=1〜2）の線形結合で表すための係数として、gが式（５）および式（６）のように算出される。
【００４１】
【数１】
2017022498.tif 000003
【００４２】
なお、各ゲインの二乗和またはノルムが所定値（一般に１）となるよう、式（７）のように正規化を行うのが好適である。
【００４３】
【数２】
2017022498.tif 000004
【００４４】
なお、ＶＢＡＰは代表的な振幅パンニング則であるタンジェント則と等価であると言われているが、同じく代表的な振幅パンニング則であるサイン則を本ステップで用いてもよい。
【００４５】
Ｓ４０８では、後のステップでスピーカ組のうち接近ユーザへの影響が最も少ないものを補償スピーカ組とするために、スピーカ組の評価値を算出する。第１の方法として、スピーカ組を構成するスピーカが基準位置に近ければ、基準位置からずれた接近ユーザへの影響は小さい。そこで、基準位置とスピーカ組を構成する各スピーカとの距離をci（i=1〜2）として、スピーカ組の評価値J1を式（８）のように定める。
【００４６】
J1=max(ci)  (i=1〜2)    （８）
【００４７】
これは、基準位置とスピーカ組を構成する各スピーカとの距離の最大値であり、J1が最小となるようなスピーカ組を補償スピーカ組とするのが第１の考え方である。ただし、図３（ａ）の場合、J1が最小となるスピーカ組は３つ（３２４、３２５、３２６）存在する。
【００４８】
そこで第２の方法として、スピーカ組の評価値J2を式（９）のように定める。
【００４９】
【数３】
2017022498.tif 000005
【００５０】
これは、基準位置とスピーカ組を構成する各スピーカとの距離の和であり、J2が最小となるようなスピーカ組を補償スピーカ組とするのが第２の方法である。ただし、これでも図３（ａ）の場合、J2が最小となるスピーカ組は２つ（３２４、３２６）存在する。
【００５１】
そこで第３の方法では、接近ユーザへの影響を直接的に評価するため、接近ユーザとスピーカ組を構成する各スピーカとの距離をdi（i=1〜2）として、スピーカ組の評価値J3を式（１０）のように定める。
【００５２】
J3=min(di)  (i=1〜2)    （１０）
【００５３】
これは、接近ユーザとスピーカ組を構成する各スピーカとの距離の最小値であり、J3が最大となるようなスピーカ組を補償スピーカ組とするのが第３の方法である。図３（ａ）の場合、J2が最小となるスピーカ組は２つ（３２４、３２６）存在した。しかし、接近ユーザ（３３２）とスピーカ組３２４（太実線）との距離（太点線）と、接近ユーザとスピーカ組３２６（細実線）との距離（細点線）を見比べれば、スピーカ組３２４の方がJ3の値が大きく好適であることが分かる。
【００５４】
さらに第４の方法では、接近スピーカ用音響信号をスピーカ組から再生した場合の、接近ユーザへの影響をエネルギーの観点で評価する。具体的には、スピーカ組を構成する各スピーカ用の振幅補正器のゲインをhi（i=1〜2）として、スピーカ組の評価値J4を式（１１）のように定める。
【００５５】
【数４】
2017022498.tif 000006
【００５６】
これは、スピーカ組から再生した接近スピーカ用音響信号の、接近ユーザの位置におけるエネルギーに対応し、J4が最小となるようなスピーカ組を補償スピーカ組とするのが第４の方法である。図３（ａ）の場合、J4が最小となるスピーカ組はスピーカ組３２４である。
【００５７】
Ｓ４０９では、Ｓ４０８で算出した評価値をもとに、補償スピーカ組および補償スピーカ組を構成する各補償スピーカ用のゲインg1, g2を決定する。すなわち、Ｓ４０８で用いたスピーカ組の評価値に応じて、評価値が最大または最小となるスピーカ組を補償スピーカとし、また補償スピーカ組となったスピーカ組に対してＳ４０７で算出していたゲインをg1, g2とする。
【００５８】
以上で決定したゲインg0, g1, g2が、音響信号制御部１０３において音響信号に適用されることで、本実施形態の音響信号制御処理が実現される。なお、図３（ａ）の場合、スピーカ３０１と同じく接近スピーカであるスピーカ３１２に対しても、スピーカ３０３とスピーカ３１０で構成されるスピーカ組３２４が補償スピーカ組になる。よって、補償スピーカであるスピーカ３０３は、スピーカ３０３用音響信号に加えて、スピーカ３０１用音響信号とスピーカ３１２用音響信号を再生することになる。また、同じく補償スピーカであるスピーカ３１０は、スピーカ３１０用音響信号に加えて、スピーカ３０１用音響信号とスピーカ３１２用音響信号を再生する。
【００５９】
以上説明したように、本実施形態によれば、サラウンド再生において、スピーカに接近したユーザに対する音量バランスを改善しつつ、基準位置における各チャネルの音響信号のエネルギーと音像方向を維持することができる。
【００６０】
（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６１】
１００：信号処理装置、１０１：システム制御部、１０２：記憶部、１０３：音響信号制御部、１０４：音響信号出力部
【図１】
2017022498.tif 000007
【図２】
2017022498.tif 000008
【図３】
2017022498.tif 000009
【図４】
2017022498.tif 000010
【図５】
2017022498.tif 000011