(57)【特許請求の範囲】
【請求項１】
各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理部と、
上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理部と、
上記ハイパスフィルタ処理部により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理部と、
上記ローパスフィルタ処理部による帯域制限信号と上記遅延処理部による遅延処理の施された上記ハイパスフィルタ処理部による帯域制限信号とを合成する合成処理部と、
を備えることを特徴とする信号処理装置。
【請求項２】
上記聴取者の聴取位置に関する入力情報に基づき、上記聴取者の耳位置における、各スピーカからの出力音の到達時間差の値を求める到達時間差計算部と、
上記到達時間差計算部により計算された上記到達時間差の値の逆数に対し１／２を乗じた値に基づき、上記カットオフ周波数を求めるカットオフ周波数計算部とをさらに備える、
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
上記到達時間差計算部は、
聴取者が予め設定された理想的な聴取位置にて各スピーカからの出力音を聴取するときの、上記各スピーカからの出力音の到達時間差Ｄｐの値が予め設定されており、
上記入力情報に基づき取得した一方の上記スピーカから聴取者までの距離ＤspLの値と、他方の上記スピーカから聴取者までの距離ＤspRの値と、上記到達時間差Ｄｐの値とに基づき、
Ｄｐ＋(|ＤspL−ＤspR|)／音速
による計算を行ってより到達時間差の大きい方の耳における各スピーカからの出力音の到達時間差の値を求めると共に、
該計算した到達時間差の値に基づき上記カットオフ周波数の値を設定する、
ことを特徴とする請求項２に記載の信号処理装置。
【請求項４】
上記ローパスフィルタ処理部及び上記ハイパスフィルタ処理部は、上記カットオフ周波数として予め定められた固定の周波数が設定される、
ことを特徴とする請求項１に記載の信号処理装置。
【請求項５】
操作入力を受け付ける操作入力部をさらに備え、
上記到達時間差計算部は、
上記操作入力部からの操作入力情報に基づき聴取者の聴取位置に関する情報を取得する、
ことを特徴とする請求項２に記載の信号処理装置。
【請求項６】
画像撮像を行うカメラ部と、
上記カメラ部による撮像画像を解析して上記聴取者の位置を特定する画像解析部とをさらに備え、
上記到達時間差計算部は、
上記画像解析部によって特定された上記聴取者の位置の情報を聴取者の聴取位置に関する情報として取得する、
ことを特徴とする請求項２に記載の信号処理装置。
【請求項７】
各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理手順と、
上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理手順と、
上記ハイパスフィルタ処理手順により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理手順と、
上記ローパスフィルタ処理手順による帯域制限信号と上記遅延処理手順により遅延処理を施した上記ハイパスフィルタ処理手順による帯域制限信号とを合成する合成処理手順と、
を備えることを特徴とする信号処理方法。
【請求項８】
入力オーディオ信号について信号処理を行う信号処理装置において実行されるべきプログラムであって、
各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理と、
上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理と、
上記ハイパスフィルタ処理により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理と、
上記ローパスフィルタ処理による帯域制限信号と上記遅延処理により遅延処理を施した上記ハイパスフィルタ処理による帯域制限信号とを合成する合成処理と、
を上記信号処理装置に実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想音像定位効果を与えるための音響再生を行う場合において、オーディオ信号に対して音像定位効果のサービスエリア拡張のための信号処理を施す信号処理装置、及びその方法、及びそのような信号処理を実現するためのプログラムに関する。
【背景技術】
【０００２】
【特許文献１】特開平５−２６０５９７号公報
【０００３】
上記特許文献１にあるように、例えばフロントの左右２チャンネルのスピーカで音響再生を行って後方左や後方右に音像を定位させるなど、実際に音響再生を行うスピーカ位置とは異なる位置に仮想的に音像を定位させる仮想音像定位処理が一般的に行われている。
仮想的に音源を定位させるにあたっては、予め、配置される複数のスピーカ（例えばＬ，Ｒの２チャンネル）に対する聴取者の理想聴取位置を定めておき、該理想位置における聴取者の左右両耳までの音響伝達関数として、実際に音響再生を行う上記複数のスピーカから上記両耳までの伝達関数（Ｇ）と、仮想音像位置から上記両耳までの伝達関数（Ｈ）とを測定により求めておく。そして、実際の処理では、上記仮想音像位置から出力されるべき信号に対して、上記伝達関数（Ｇ）と（Ｈ）とに基づく伝達関数の畳み込みを行い、その結果得られる信号を上記複数のスピーカに供給して出力する。
これにより、例えばフロントの左右２チャンネルのスピーカのみで、聴取者の後方左や後方右などの任意の位置に仮想的に音像を定位させることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、上記により説明した手法に代表される一般的な仮想音像定位処理が行われた場合、音像定位のサービスエリアは非常に狭いものとなることが知られている。仮想音像定位処理では、聴取者が理想的な位置で聴取する場合を前提とした伝達関数の畳み込みを行うようにされているので、聴取者が理想的な位置から移動してしまった場合には、音像定位効果が薄れていく。特に、理想位置から左右方向への移動に対しては、音像定位効果が急激に減衰していく。
【課題を解決するための手段】
【０００５】
以上のような問題点に鑑み、本発明では、仮想音像定位処理の施されたオーディオ信号の再生を行う場合における音像定位効果のサービスエリアの拡張を図ることを目的とする。
このために、本発明では信号処理装置として以下のように構成することとした。
つまり、各スピーカから出力された出力音を聴取者の耳位置で合成することで得られた合成音の周波数特性においてクシ歯状の特性の乱れが現れ始める周波数に基づき決定されたカットオフ周波数が設定され、該カットオフ周波数に基づいて入力オーディオ信号の帯域制限処理を行うローパスフィルタ処理部と、上記カットオフ周波数が設定され、該カットオフ周波数に基づき上記入力オーディオ信号の帯域制限処理を行うハイパスフィルタ処理部とを備える。
また、上記ハイパスフィルタ処理部により帯域制限されたオーディオ信号に対して遅延処理を施す遅延処理部を備える。
さらに、上記ローパスフィルタ処理部による帯域制限信号と上記遅延処理部による遅延処理の施された上記ハイパスフィルタ処理部による帯域制限信号とを合成する合成処理部を備えるものである。
【０００６】
ここで、後述もするように、仮想音像の定位感が聴取者の理想位置からのずれによって薄れていくのは、該位置ずれにより、聴取者の各耳位置における、各スピーカからの出力音の合成音についての周波数特性に差が生じるためである。このとき、位置ずれによって各耳位置における周波数特性に差が生じてしまうのは、主としてそれぞれの耳位置での周波数特性にて、位置ずれ量に応じた周波数以上の帯域でクシ歯状の特性の乱れが大きく生じるためである。
そこで、本発明は上記構成によって、このような特性の乱れが現れ始める周波数に基づいて決定したカットオフ周波数により、上記入力オーディオ信号を低域側の信号と高域側の信号とに分割し、低域側の信号は先行出力させ、高域側の信号は遅延させて後続出力するものとしている。
このようにすることで、いわゆる先行音効果により、音像の定位感は、先行出力された特性乱れの少ない低域側の信号成分によって支配的に与えることができるようになる。つまりこの結果、聴取者の理想位置からの左右ずれが生じた場合にも、音像の定位感が維持されるようにすることができる。
【発明の効果】
【０００７】
本発明によれば、例えば左右２チャンネルのスピーカなど、複数のスピーカを用いた音響再生によって所要の位置に仮想的な音像を定位させる音響再生（バーチャルサラウンド再生）を行う場合において、聴取者の左右方向への移動に対しても音像の定位感が損なわることを緩和することができる。つまりこれにより、音像定位効果についてのサービスエリアの拡張を図ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。
＜第１の実施の形態＞
［再生装置］
図１は、本発明の第１の実施の形態としての信号処理装置を備えてバーチャルサラウンド再生を行う再生装置１の内部構成を示したブロック図である。
この再生装置１は、入力信号として図示するように左チャンネルオーディオ信号Ｌ、右チャンネルオーディオ信号Ｒ、左チャンネルサラウンド信号ＳＬ、右チャンネルサラウンド信号ＳＲの４チャンネルのオーディオ信号を入力する。そして、これら４チャンネルのオーディオ信号から左右２チャンネルのバーチャルサラウンド信号を生成し、これを聴取者の前方左右に配置されるスピーカＳＰ-L、ＳＰ-Rから出力することで、バーチャルサラウンド再生を行う。
【０００９】
ここで、上記説明からも理解されるように、左チャンネルオーディオ信号Ｌ、右チャンネルオーディオ信号Ｒは聴取者の前方から出力される信号となる。この点から、左チャンネルオーディオ信号ＬについてはＦＬ（Front Left）、右チャンネルオーディオ信号ＲについてはＦＲ（Front Right）とも表記する。
また、左チャンネルサラウンド信号ＳＬは聴取者の後方左、右チャンネルサラウンド信号ＳＲは聴取者の後方右から出力されるべき信号となる。すなわち、実際にスピーカの配置されない、仮想的な音像位置から出力されるべき信号となる。
再生装置１では、上記フロント側の左右２チャンネルのスピーカＳＰ-L、ＳＰ-Rを用いて、これら左右のサラウンド信号ＳＬ、ＳＲがそれぞれ後方左、後方右位置から発せられたものとして聴取者に知覚されるように、バーチャルサラウンド再生を行う。
【００１０】
図１において、再生装置１には、２ｃｈバーチャルサラウンド信号生成部２、Ｄ／Ａコンバータ３-L,３-R、アンプ４-L,４-R、スピーカＳＰ-L,ＳＰ-R、及びメモリ５が設けられる。
２ｃｈバーチャルサラウンド信号生成部２は、ＤＳＰ（Digital Signal Processor）で構成され、メモリ５内に格納されるプログラムに基づくデジタル信号処理により、入力オーディオ信号（Ｌ，Ｒ，ＳＬ，ＳＲ）に対する信号処理を行う。
本実施の形態の場合、メモリ５内には、ＤＳＰとしての２ｃｈバーチャルサラウンド信号生成部２に後述する実施の形態としての信号処理を実行させるための信号処理プログラム５ａが格納される。
２ｃｈバーチャルサラウンド信号生成部２は、上記信号処理プログラム５ａに基づくデジタル信号処理を実行することで、上記入力オーディオ信号Ｌ，Ｒ，ＳＬ，ＳＲから、左右２チャンネルのバーチャルサラウンド信号Ｌvs、Ｒvsを生成する。これらバーチャルサラウンド信号Ｌvs、Ｒvsは、これらの信号が前方のスピーカＳＰ-L,ＳＰ-Rから出力されたときに、左チャンネルサラウンド信号ＳＬ、右チャンネルサラウンド信号ＳＲがそれぞれ後方左、後方右から出力されたかのように知覚させることができるように生成された信号となる。
【００１１】
上記２ｃｈバーチャルサラウンド信号生成部２により生成された左チャンネルのバーチャルサラウンド信号Ｌvsは、Ｄ／Ａコンバータ３-Lでアナログ信号に変換され、アンプ４-Lで増幅された後、聴取者の前方左に配置されたスピーカＳＰ-Lにより音声出力される。また、上記２ｃｈバーチャルサラウンド信号生成部２により生成された右チャンネルのバーチャルサラウンド信号Ｒvsは、Ｄ／Ａコンバータ３-Rでアナログ信号に変換されアンプ４-Rで増幅された後、聴取者の前方右に配置されたスピーカＳＰ-Rにより音声出力される。
【００１２】
［２ｃｈバーチャルサラウンド信号生成部］
図２は、図１に示した２ｃｈバーチャルサラウンド信号生成部２のデジタル信号処理によって実現される各機能動作をブロック化して示した図である。
なお、以下では便宜上、各機能ブロックをハードウエアとして扱うようにして説明を行うが、各機能ブロックとしての機能動作は、ＤＳＰとしての２ｃｈバーチャルサラウンド信号生成部２がメモリ５内の信号処理プログラム５ａに基づくデジタル信号処理を行うことで実現されるものである。
【００１３】
先ず、２ｃｈバーチャルサラウンド信号生成部２内には、バーチャライズ処理部２Ａと、サービスエリア拡張処理部２Ｂとが設けられる。
バーチャライズ処理部２Ａは、入力オーディオ信号Ｌ，Ｒ，ＳＬ，ＳＲから左右２チャンネルのバーチャルサラウンド信号Ｌvs、Ｒvsを生成するための信号処理を行う。また、サービスエリア拡張処理部２Ｂは、上記バーチャルサラウンド信号Ｌvs、Ｒvsが音響再生されて実現される、仮想音像定位効果の得られるサービスエリアの拡張を図るための信号処理を行う。なお、サービスエリア拡張処理部２Ｂにより行われる、実施の形態としてのサービスエリア拡張処理については後述する。
【００１４】
バーチャライズ処理部２Ａには、左チャンネルオーディオ信号ＦＬ、右チャンネルオーディオ信号ＦＲ、左チャンネルサラウンド信号ＳＬ、右チャンネルサラウンド信号ＳＲが入力される。バーチャライズ処理部２Ａ内において、上記左チャンネルオーディオ信号ＦＬは加算処理部１０Ｌに入力され、右チャンネルオーディオ信号ＦＲは加算処理部１０Ｒに入力される。
【００１５】
また、バーチャライズ処理部２Ａには、フィルタ処理部１１Ｌ,１１Ｒ,１２Ｌ,１２Ｒ,１４Ｌ,１４Ｒ,１５Ｌ,１５Ｒ、及び加算処理部１３Ｌ,１３Ｒ,１６Ｌ,１６Ｒが設けられる。
バーチャライズ処理部２Ａに入力された左チャンネルサラウンド信号ＳＬは、フィルタ処理部１１Ｌに供給されると共に、分岐してフィルタ処理部１２Ｌに対しても供給される。また、バーチャライズ処理部２Ａに入力された右チャンネルサラウンド信号ＳＲはフィルタ処理部１１Ｒに供給されると共に、分岐してフィルタ処理部１２Ｒにも供給される。
【００１６】
加算処理部１３Ｌは、上記フィルタ処理部１１Ｌによって処理された左チャンネルサラウンド信号ＳＬと、上記フィルタ処理部１２Ｒにより処理された右チャンネルサラウンド信号ＳＲとを入力し、これらを加算する。
また、加算処理部１３Ｒは、上記フィルタ処理部１１Ｒによって処理された右チャンネルサラウンド信号ＳＲと、上記フィルタ処理部１２Ｌにより処理された左チャンネルサラウンド信号ＳＬとを入力し、これらを加算する。
【００１７】
上記加算処理部１３Ｌによる加算結果は、フィルタ処理部１４Ｌで処理された後、加算処理部１６Ｌに入力される。また、この加算処理部１３Ｌによる加算結果は、分岐してフィルタ処理部１５Ｌにも供給され、該フィルタ処理部１５Ｌで処理された後加算処理部１６Ｒに入力される。
また、上記加算処理部１３Ｒによる加算結果はフィルタ処理部１４Ｒで処理された後、加算処理部１６Ｒに入力される。また、加算処理部１３Ｒによる加算結果は、分岐してフィルタ処理部１５Ｒにも供給され、該フィルタ処理部１５Ｒで処理された後加算処理部１６Ｌに入力される。
【００１８】
加算処理部１６Ｌは、上記フィルタ処理部１４Ｌで処理された信号と上記フィルタ処理部１５Ｒにて処理された信号とを加算する。この加算処理部１６Ｌによる加算結果は、上述した加算処理部１０Ｌに対して入力される。
また、加算処理部１６Ｒは、上記フィルタ処理部１４Ｒで処理された信号と上記フィルタ処理部１５Ｌにて処理された信号とを加算する。加算処理部１６Ｒによる加算結果は、加算処理部１０Ｒに対して入力される。
【００１９】
加算処理部１０Ｌは、上述のようにして入力される左チャンネルオーディオ信号ＦＬと上記加算処理部１６Ｌによる加算結果とを加算する。この加算処理部１０Ｌによる加算結果が、左チャンネルバーチャルサラウンド信号Ｌvsとなる。
また、加算処理部１０Ｒは、上述したようにして入力される右チャンネルオーディオ信号ＦＲと上記加算処理部１６Ｒによる加算結果とを加算する。この加算処理部１０Ｒによる加算結果が、右チャンネルバーチャルサラウンド信号Ｒvsとなる。
加算処理部１０Ｌにて生成された左チャンネルバーチャルサラウンド信号Ｌvsは一方のサービスエリア拡張処理部２Ｂに供給され、加算処理部１０Ｒにて生成された右チャンネルバーチャルサラウンド信号Ｒvsは他方のサービスエリア拡張処理部２Ｂに供給される。
【００２０】
ここで、左右のサラウンド信号ＳＬ、ＳＲがそれぞれ後方左、後方右から出力されるように知覚させるにあたり、上記バーチャライズ処理部２Ａ内の各フィルタ処理部に与えられるべきフィルタ特性について、次の図３を参照して説明しておく。
図３は、スピーカＳＰ-L、スピーカＳＰ-Rから聴取者Ｐの各耳への音響伝達関数、及び仮想音源位置として破線により示す後方左仮想スピーカＶＳＰ-L、後方右仮想スピーカＶＳＰ-Rから聴取者Ｐの各耳への音響伝達関数を模式的に示している。
【００２１】
この図３に示されるように、後方左仮想スピーカＶＳＰ-Lから聴取者Ｐ左耳までの音響伝達関数をＨ１Ｌ、同仮想スピーカＶＳＰ-Lから聴取者Ｐ右耳までの音響伝達関数をＨ１Ｒとおく。また、後方右仮想スピーカＶＳＰ-Rから聴取者Ｐ左耳までの音響伝達関数をＨ２Ｌ、同仮想スピーカＶＳＰ-Rから聴取者Ｐ右耳までの音響伝達関数をＨ２Ｒとおく。
さらに、前方左のスピーカＳＰ-Lから聴取者Ｐ左耳までの音響伝達関数をＧ１Ｌ、同スピーカＳＰ-Lから聴取者Ｐ右耳までの音響伝達関数をＧ１Ｒとおき、また、前方右のスピーカＳＰ-Rから聴取者Ｐ左耳までの音響伝達関数をＧ２Ｌ、同スピーカＳＰ-Rから聴取者Ｐ右耳までの音響伝達関数をＧ２Ｒとおく。
【００２２】
これら各音響伝達関数に基づくフィルタ特性を、図２に示したフィルタ処理部にそれぞれ設定する。具体的に、フィルタ処理部１１Ｌには、伝達関数Ｈ１Ｌを与えるためのフィルタ特性（フィルタ係数）を設定し、フィルタ処理部１１Ｒには伝達関数Ｈ２Ｒを与えるためのフィルタ特性を設定する。また、フィルタ処理部１２Ｌには伝達関数Ｈ１Ｒを与えるためのフィルタ特性を、フィルタ処理部１２Ｒには伝達関数Ｈ２Ｌを与えるためのフィルタ特性を設定する。
また、フィルタ処理部１４Ｌには、−Ｇ２Ｒ／Ａで表される伝達関数を与えるためのフィルタ特性を設定する。但し、「Ａ」は下記の式により与えられるものである。
Ａ＝Ｇ２Ｌ*Ｇ１Ｒ−Ｇ２Ｒ*Ｇ１Ｌ
また、フィルタ処理部１４Ｒには、−Ｇ１Ｌ／Ａで表される伝達関数を与えるためのフィルタ特性を設定する。さらに、フィルタ処理部１５ＬにはＧ１Ｒ／Ａで表される伝達関数を与えるためのフィルタ特性を、またフィルタ処理部１５ＲにはＧ２Ｌ／Ａで表される伝達関数を与えるためのフィルタ特性を設定する。
これら各フィルタ処理部は、例えばＦＩＲ（Finite Impulse Response）フィルタで構成され、入力信号に対して設定されたフィルタ特性に基づくフィルタ処理を施す。
【００２３】
ここで、例えば仮に、ヘッドホン装置におけるバーチャライズ処理のように、実際に音声出力が行われる音源位置から聴取者耳までの音響伝達関数について特に考慮する必要性がない場合には、聴取者Ｐの左耳によって聴取されるべき左チャンネル側の出力信号に対しては伝達関数Ｈ１Ｌと伝達関数Ｈ２Ｌとを畳み込み、また聴取者Ｐの右耳によって聴取されるべき右チャンネル側の出力信号に対して伝達関数Ｈ１Ｒと伝達関数Ｈ２Ｒとを畳み込めばよい。すなわち、図２の構成と照らせば、フィルタ処理部１４Ｌ,１４Ｒ,１５Ｌ,１５Ｒ、及び加算処理部１６Ｌ,１６Ｒは不要とできる。
しかしながら、本例では聴取者Ｐから或る程度離間して配置されるスピーカＳＰ-L、ＳＰ-Rによって音声出力を行うので、これらスピーカＳＰ-L、ＳＰ-Rから聴取者Ｐの各耳までの伝達関数も考慮したバーチャライズ処理を行う必要がある。このために、図２に示す構成によって、聴取者Ｐの左耳によって聴取されるべき左チャンネル側の出力信号には上記−Ｇ２Ｒ／Ａとしての「−Ｇ２Ｒ／Ｇ２Ｌ*Ｇ１Ｒ−Ｇ２Ｒ*Ｇ１Ｌ」、上記Ｇ２Ｌ／Ａとしての「Ｇ２Ｌ／Ｇ２Ｌ*Ｇ１Ｒ−Ｇ２Ｒ*Ｇ１Ｌ」による伝達関数を与え、また聴取者Ｐの右耳によって聴取されるべき右チャンネル側の出力信号には上記−Ｇ１Ｌ／Ａとしての「−Ｇ１Ｌ／Ｇ２Ｌ*Ｇ１Ｒ−Ｇ２Ｒ*Ｇ１Ｌ」、上記Ｇ１Ｒ／Ａとしての「Ｇ１Ｒ／Ｇ２Ｌ*Ｇ１Ｒ−Ｇ２Ｒ*Ｇ１Ｌ」による伝達関数を与えるものとし、各スピーカＳＰから聴取者Ｐの各耳までの伝達関数による影響をキャンセルさせる作用が得られるようにしている。すなわちこのことで、前方左右の各スピーカＳＰからの音声出力により、左チャンネルサラウンド信号ＳＬが後方左仮想スピーカＳＰ-Lから出力され、右チャンネルサラウンド信号ＳＲが後方右仮想スピーカＳＰ-Rから出力されるかのように知覚させることができる。
【００２４】
なお、ここではバーチャライズ処理の一例として、バイノーラル化処理に基づく手法を採る場合を例示したが、バーチャライズ処理としては他の手法を採ることもできる。何れにしても、後述するサービスエリア拡張処理の観点から見れば、バーチャライズ処理としては如何なる手法が採られてもよいものであり、ここで特に限定されるべきものではない。
【００２５】
［サービスエリア拡張処理］
−音像定位効果の減衰要因の考察−
これまでの説明から理解されるように、本実施の形態の再生装置１では、実際に音声出力を行うスピーカＳＰ以外の位置に音像を仮想的に定位させるバーチャルサラウンド再生を行うものとされるが、先にも述べたように、このようなバーチャルサラウンド再生による仮想音像定位効果は、一般的にそのサービスエリアが狭く、特に聴取者Ｐの左右方向への位置ずれに対しては急激に音像定位効果が薄れてしまうという問題がある。
【００２６】
ここで、次の図４〜図６を参照して、このように聴取者Ｐの位置ずれに伴い音像定位効果が薄れていく要因について説明しておく。
先ず、図４は、聴取者Ｐが理想的な聴取位置にある場合での、聴取者Ｐの各耳におけるスピーカＳＰ-L、ＳＰ-Rからの出力音の到達時間差について説明するための図である。図４（ａ）では聴取者Ｐの各耳に対し各スピーカＳＰ-L、ＳＰ-Rからの出力音が到達する様子を模式的に示し、図４（ｂ）では、図４（ａ）に示す状態での、聴取者Ｐの各耳で聴取されるスピーカＳＰ-L、ＳＰ-Rからの出力音の振幅及び到達時間を示している。
【００２７】
先ず前提として、本例では、図４（ａ）に示されるように、聴取者Ｐの理想的な聴取位置（理想位置とも称する）は左右のスピーカＳＰ-L、ＳＰ-Rの中心軸上にあるものとしている。換言すれば、聴取者Ｐから見て各スピーカＳＰ-L、ＳＰ-Rは左右対称の位置関係で配置される。従ってこの場合、聴取者Ｐが理想位置にあるときには、スピーカＳＰ-Lから聴取者Ｐまでの距離と、スピーカＳＰ-Rから聴取者Ｐまでの距離は等しくなる。
【００２８】
この図４（ａ）に示される聴取者Ｐが理想位置にある場合では、聴取者Ｐの左耳で聴取されるスピーカＳＰ-Lからの出力音（図中（１））、スピーカＳＰ-Rからの出力音（図中（３））の振幅及び到達時間は、図４（ｂ）の上段に示すようになる。つまり、聴取者Ｐの左耳に対してはスピーカＳＰ-Lの方がより近いため、スピーカＳＰ-Lからの出力音の方が振幅が大きく、また到達時間も短いものとなる。
このとき、聴取者Ｐの左耳で聴取されるスピーカＳＰ-Lからの出力音とスピーカＳＰ-Rからの出力音の到達時間差は、図中の矢印ＤＬ0で表される。
【００２９】
一方、聴取者Ｐの右耳で聴取される、スピーカＳＰ-Lからの出力音（図中（２））、スピーカＳＰ-Rからの出力音（図中（４））の振幅及び到達時間は、図４（ｂ）の下段に示されるものとなる。聴取者Ｐの右耳に対してはスピーカＳＰ-Rの方がより近くなるため、この場合はスピーカＳＰ-Rからの出力音の方が振幅が大きく到達時間も短くなる。
聴取者Ｐの右耳で聴取されるスピーカＳＰ-Lからの出力音とスピーカＳＰ-Rからの出力音の到達時間差は、図中の矢印ＤＲ0で表される。
【００３０】
この図４（ｂ）に示されるタイミング及びレベルにより、聴取者Ｐの各耳でスピーカＳＰ-Lの出力音とスピーカＳＰ-Rの出力音とが聴取されることで、理想的な音像定位効果が得られるようになっているものである。
【００３１】
図５は、聴取者Ｐが理想的な聴取位置から左右方向にずれた場合の例として、例えば左側にずれた場合での、聴取者Ｐの各耳におけるスピーカＳＰ-L、ＳＰ-Rからの出力音の到達時間差について説明するための図である。
この図５においても、（ａ）図では聴取者Ｐの各耳に対し各スピーカＳＰ-L、ＳＰ-Rからの出力音が到達する様子を模式的に示し、（ｂ）図では、（ａ）図に示す状態での聴取者Ｐの各耳で聴取されるスピーカＳＰ-L、ＳＰ-Rからの出力音の振幅及び到達時間を示している。
【００３２】
聴取者Ｐが理想位置から左側にずれた場合、聴取者Ｐに対してはスピーカＳＰ-Lの方が相対的に近くなる。このため、聴取者Ｐの左耳で聴取されるスピーカＳＰ-Lからの出力音（図中（１））、スピーカＳＰ-Rからの出力音（図中（３））についての振幅及び到達時間は、図５（ｂ）の上段に示す如く、スピーカＳＰ-Lからの出力音は図４の場合よりも振幅は大きく到達時間も短くなり、逆にスピーカＳＰ-Rからの出力音は先の図４の場合よりも振幅が小さく到達時間が遅れることになる。この結果、左耳における各スピーカＳＰからの出力音の到達時間差は、先の図４の場合の到達時間差ＤＬ0よりも大きくなる（図中、到達時間差ＤＬ）
【００３３】
一方、聴取者Ｐの右耳で聴取されるスピーカＳＰ-Lからの出力音（図中（２））、スピーカＳＰ-Rからの出力音（図中（４））についての振幅、及び到達時間は、図５（ｂ）の下段に示す如く、スピーカＳＰ-Lからの出力音としては図４の場合よりも振幅が大きく到達時間も短くなる一方で、スピーカＳＰ-Rからの出力音は先の図４の場合よりも振幅が小さく到達時間が遅れることになる。
この結果、右耳においては、各スピーカＳＰからの出力音の到達時間差は先の図４の場合の到達時間差ＤＲ0よりも小さくなる（図中、到達時間差ＤＲ）。
【００３４】
このようにして、聴取者Ｐが理想的な聴取位置から左右方向に位置ずれを起こすと、各スピーカＳＰから聴取者の各耳に到達する信号は本来理想的な聴取位置で受けるべきものとは振幅や到達時間などが異なるものとなってしまう。このうち、特に音像定位効果への影響が大きいのは、到達時間のずれによるものである。
【００３５】
図６は、聴取者Ｐの各耳位置における、各スピーカＳＰ-L、ＳＰ-Rからの出力音の合成音についての周波数特性（周波数−振幅特性）の測定結果を例示している。なお、この図では特徴を明らかにするため、両スピーカＳＰから同一信号を同時に発した場合の測定結果を示している。
【００３６】
図６において、図６（ａ）は聴取者Ｐが理想位置にある状態での測定結果を示し、図６（ｂ）では左方向に約２０cmずれた状態での測定結果、図６（ｃ）では左方向に３０cmずれた状態での測定結果を示している。
なお、この図６において、聴取者Ｐの左耳における周波数特性は実線で示し、右耳における周波数特性は破線により示している。
【００３７】
この図６に示す測定結果からも明らかなように、聴取者Ｐの理想位置からの左右位置ずれが生じた場合は、ずれ方向と一致する方向の耳位置における周波数特性の方で特に、より大きな乱れが発生することになる。この場合、乱れとしてはクシ歯状の乱れが生じ、このクシ歯状の乱れは、或る周波数を起点として高域側に現れるものとなっている。以下、このようにクシ歯状の乱れが現れ始める周波数を、起点周波数と称する。
【００３８】
また、図６（ｂ）（ｃ）の比較より、聴取者Ｐの位置が理想位置からずれた場合は、そのずれ量が大きくなるほどクシ歯状の乱れについての起点周波数はより低域側にシフトすることがわかる。
【００３９】
また、図６（ａ）〜（ｃ）を比較してわかるように、起点周波数としては、聴取者Ｐの位置ずれ方向と一致する耳側の方が、より低い周波数となることがわかる。これは、先の図５において説明したように、位置ずれ方向と一致する耳側の方が各スピーカＳＰからの音の到達時間差の値が大きくなるということからも理解できる。
【００４０】
なお、図示は省略したが、このような聴取者Ｐの位置ずれに伴う影響は位相特性にも現れることになる。
【００４１】
ここで、この図６に示す測定結果は、両スピーカから同一信号を同時に発した場合のものであり、実際に再生装置１にて再生するバーチャルサラウンド信号Ｌvs、Ｒvsと厳密に一致するものではないが、一般的に、バーチャルサラウンドシステムにおいて出力するバーチャルサラウンド信号としても両スピーカから振幅レベルが近いものが出力されることがしばしばあることから、影響の現れ方はこれに近いものとなる。
【００４２】
図６の測定結果からも理解されるように、左右方向へのずれが大きくなるほど、各耳における周波数特性に乱れが生じ、これによって両耳間における特性の差が大きくなっていく。音像定位効果の減衰は、このような両耳間での周波数特性の差に起因して生じるものである。
【００４３】
−第１の実施の形態としてのサービスエリア拡張処理−
ここで、上記説明によれば、聴取者Ｐの位置ずれに伴う両耳間での周波数特性の差が解消できれば、音像の定位感が損なわれてしまうことを防止できるということになる。
このとき、先の図６を参照して分かるようにクシ歯状の乱れが出現する起点周波数は、聴取者Ｐのずれ方向側となる耳の方でより低い周波数となる傾向になる。従って、該ずれ方向側の耳での起点周波数よりも低域側となる信号のみが出力されるようにすれば、他方の耳側も含めてクシ歯状の乱れが生じる帯域を除外でき、結果として聴取者Ｐの各耳における周波数特性の差を小さくすることができる。すなわち、定位感が損なわれないようにすることができる。
【００４４】
但し、当然のことながら音響再生としては、上記起点周波数以上の帯域の信号についても出力しなければならい。このため本実施の形態では、上記起点周波数よりも低域側の信号を先行して出力し、残りの帯域の信号については後続音として遅延出力するという手法を採る。
このような手法を採ることで、聴取者Ｐの知覚する音像の定位感は、先に到来する低域側の信号によって支配的に与えることができるものとなり、後続音としての高域側の信号による影響を知覚的に緩和することができる。この効果は、いわゆる先行音効果として知られている。
この先行音効果により、聴取者Ｐが理想位置から左右方向にずれた場合にも、音像の定位感が損なわれるのを緩和することができる。
【００４５】
ところで、本発明の目的は、バーチャルサラウンド再生を行う場合において、音像定位効果についてのサービスエリアの拡張を図ることにある。このようなサービスエリア拡張にあたり、第１の実施の形態では、予め音像定位効果の保証される範囲を定めるという手法を採るものとしている。すなわち、聴取者Ｐの理想位置からのずれ量として許容する最大値を予め定めておき、該最大値としてのずれ量までの範囲内では、音像定位効果が保証されるようにするものである。
【００４６】
このことに応じ、先行音として出力すべき信号帯域は、聴取者Ｐの位置ずれ量が上記最大値であるときの起点周波数を基準として定めればよい。
最大値としての位置ずれ量のときの起点周波数を求めるための具体的な手法としては、種々考えることができる。
最も単純な例としては、実際にダミーヘッドなどを用いて図６に示したような周波数特性を測定した結果に基づき求めることができる。具体的にこの場合は、ダミーヘッドを理想位置から上記最大値としてのずれ量となる位置に配置し、理想位置からのずれ方向と一致する側となる耳における各スピーカＳＰからの出力音の合成音についての周波数特性を測定する。そして、この測定結果から、クシ歯状の乱れが現れ始める起点周波数を特定する。
【００４７】
或いは、起点周波数は、このように周波数特性を実測せずとも、各スピーカＳＰからの到達時間差の値を用いて求めることができる。
先にも述べたように、起点周波数は、聴取者Ｐの位置ずれ方向と一致する方向側の耳における到達時間差が大きくなるほど、より低域側にシフトすることになる。つまりこのことからも理解されるように、起点周波数は、位置ずれ方向側の耳における到達時間差の値と相関した値をとる。
具体的に、起点周波数は、聴取者Ｐの理想位置からのずれ方向と一致する方向側の耳における、各スピーカＳＰからの出力音の到達時間差をＤｄとしたとき、この到達時間差Ｄｄの逆数の１／２の値を目安として求めることができる。
例えば、到達時間差が１ｍsec（１／１０００sec）であれば、クシ歯状の乱れの生じ始める周波数は、１０００×１／２＝５００Hzで概略求まる。
【００４８】
ここで、このようにクシ歯状の乱れが生じ始める周波数が到達時間差Ｄｄの逆数の１／２で求まる点について、次の図７を用いて検証してみる。
図７は、サンプリング周波数FSによるオーディオ信号として同一の全域フラットな信号を或る時間差を与えて出力したときの、同一聴取位置で測定される周波数特性を表している。すなわち、例えば上記同一聴取位置が聴取者の耳元であるとすれば、上記時間差は、各スピーカＳＰからの出力音の到達時間差に相当するものとなる。
【００４９】
この場合の周波数特性としては、ＤＣ（直流＝０Hz）からサンプリング周波数であるFSHzまでの範囲内において、与えた時間差に応じた個数のクシ歯が発生する。例えばこの図の例では、与えた時間差が１０サンプル分の時間差であった場合を例示しているが、その場合には、周波数＝FSHzまでの範囲内に１０個分のクシ歯が含まれるものとなる。
このことから、クシ歯１つ分の帯域幅は、時間差が１０サンプルである場合は、図のようにFS／１０（FS／サンプル数）Hzで表すことができる。
【００５０】
ここで、先の図６（ｂ）（ｃ）にて説明したクシ歯状の乱れが生じない帯域は、この図７においては、最も低域側の半波状のクシ歯の帯域となる。この半波状のクシ歯の帯域幅は、FS／サンプル数×１／２Hzである。すなわち、この図で例示している時間差が１０サンプル分である場合、クシ歯状の乱れが現れ始める周波数はFS／１０×１／２Hzにより求まることになる。
【００５１】
サンプル数を時間長に置き換えた場合にも、同様の考えによりクシ歯状の乱れが現れ始める周波数を特定することができる。
例えば、聴取者Ｐの耳元における各スピーカＳＰからの出力音の到達時間差が、先に例示した１ｍsecである場合を例に説明すると、先ず、サンプリング周波数FSが例えば４８ｋHzであれば、１ｍsecは、１／１０００÷１／４８０００より４８サンプル分の時間長となる。これを、上述した「FS／サンプル数×１／２」にあてはめれば、４８０００／４８×１／２＝１０００×１／２＝５００Hzとなる。
【００５２】
以上の説明から理解されるように、クシ歯状の乱れが現れ始める起点周波数は、聴取者Ｐのずれ方向と一致する側の耳における到達時間差（Ｄｄ）の値の逆数の１／２の値で概略求まる。
【００５３】
ここで、上述もしたように第１の実施の形態では、音像定位効果が保証される許容範囲を固定的に設定するものであり、起点周波数としては、上記許容範囲における最大の位置ずれ量のときの起点周波数を求めることになる。
このために、実際に起点周波数の導出を行うとしたときは、先ず、聴取者Ｐが上記最大の位置ずれ量となる位置にあるときの、ずれ方向と一致する側の耳における各スピーカＳＰからの出力音の到達時間差の値を求める。すなわち、聴取者Ｐが上記最大の位置ずれ量にあるときの到達時間差Ｄｄの値を求める。
そして、このように求まった到達時間差Ｄｄの値の逆数に１／２を乗じた値を、上記最大の位置ずれ量のときの起点周波数の値として求めればよい。
【００５４】
このとき、到達時間差Ｄｄの値は、実際にダミーヘッドを上記最大のずれ量となる位置に配置させて各スピーカからの出力音の到達時間差を測定して求めることができる。
或いは、ダミーヘッドを用いずとも、各スピーカから上記最大の位置ずれ量となる位置までの距離の値から求めることもできる。
【００５５】
ここで、バーチャルサラウンド再生を行うシステムでは、バーチャライズ処理で用いる伝達関数の導出にあたり、各スピーカＳＰと聴取者Ｐとの理想的な配置関係が設定されるものとなる。つまり、本例の場合であれば、先の図４（ａ）にて説明したように聴取者Ｐの理想位置は各スピーカＳＰの中心軸上の所定位置に設定される。
【００５６】
この図４（ａ）に示す理想位置では、聴取者Ｐから各スピーカＳＰまでの距離は等しくなる。また、通常、聴取者Ｐの各耳は左右対称に形成されることから、聴取者Ｐの各耳における各スピーカＳＰからの出力音の到達時間差としても、図４（ｂ）で説明したように等しくなる（ＤＬ0＝ＤＲ0）。
【００５７】
先にも述べたように、先行音として出力すべき信号の帯域は、聴取者Ｐのずれ方向に一致する耳側での起点周波数に応じて設定されるべきものである。よって、起点周波数を求めるにあたって計算されるべき到達時間差Ｄｄの値としても、該ずれ方向に一致する耳側における到達時間差を求めればよい。
【００５８】
このような聴取者Ｐのずれ方向に一致する耳側での到達時間差Ｄｄは、聴取者Ｐから左側のスピーカＳＰ-Lまでの距離ＤspLと、聴取者Ｐから右側のスピーカＳＰ-Rまでの距離ＤspRと、さらに上記理想位置にあるときの各スピーカＳＰからの出力音の到達時間差（ＤＬ0又はＤＲ0）とを用いて、以下の［式１］により概ね求めることができる。ここで、この場合はＤＬ0＝ＤＲ0であることより、ＤＬ0＝ＤＲ0＝Ｄｐとおく。
Ｄｐ＋(|ＤspL−ＤspR|)／音速  ・・・[式１]
【００５９】
上記[式１]において、理想位置における聴取者Ｐの左耳、右耳における各スピーカＳＰからの出力音の到達時間差ＤＬ0＝ＤＲ0＝Ｄｐの値は、予めダミーヘッドなどを用いて測定して求めておく値となる。
但し、各距離ＤspL、ＤspRの値は、聴取者Ｐの位置ずれ量として許容する値（位置ずれ量の最大値）が定まることで、計算により求めることができる。
つまり、この場合は各スピーカＳＰに対する聴取者Ｐの理想的な位置関係が定められているので、理想状態における聴取者Ｐから各スピーカＳＰまでの距離、及び理想位置からの左右方向の軸と「聴取者Ｐ←→スピーカＳＰ-L」方向の軸とがなす角度、及び上記左右方向の軸と「聴取者Ｐ←→スピーカＳＰ-R」方向の軸とがなす角度の値は既知の値とできる。
これらの値が既知であることより、あとは許容範囲を定めるための上記位置ずれ量の最大値が定まることで、三角法を用いた距離ＤspL、ＤspRの導出を行うことができる。つまり、距離ＤspLとしては、「理想位置」「ずれ量が最大値となる位置」「スピーカＳＰ-Lの位置」の３点からなる三角形における、「ずれ量が最大値となる位置−スピーカＳＰ-Lの位置」の辺の長さが求まればよい。このとき、上記位置ずれ量の最大値が定まることで、この三角形における「スピーカＳＰ-L−理想位置」の辺と「理想位置−ずれ量が最大値となる位置」の２辺の長さと、該２辺の挟角の値とが定まった状態となり、これによって「ずれ量が最大値となる位置−スピーカＳＰ-Lの位置」の辺の長さとしての、距離ＤspLを求めることができる。
同様に、距離ＤspRについては、「理想位置」「ずれ量が最大値となる位置」「スピーカＳＰ-Rの位置」の３点からなる三角形における「ずれ量が最大値となる位置−スピーカＳＰ-Rの位置」の辺の長さが求まればよく、上記位置ずれ量の最大値が定まり該三角形の「スピーカＳＰ-L−理想位置」の辺と「理想位置−ずれ量が最大値となる位置」の２辺の長さと該２辺の挟角の値とが定まることによって、「ずれ量が最大値となる位置−スピーカＳＰ-Rの位置」の辺の長さとしての距離ＤspRを求めることができる。
【００６０】
このようにして左スピーカＳＰ-Lまでの距離ＤspLと右スピーカＳＰ-Rまでの距離ＤspRは計算により求めることができ、距離の実測の手間は省略することができる。
【００６１】
［サービスエリア拡張処理部の構成］
続いては、上記により説明した第１の実施の形態としてのサービスエリア拡張処理を実現するための構成について説明する。
図８は、先の図２にて説明したサービスエリア拡張処理部２Ｂとしての各機能動作をブロック化して示した図である。
なお、確認のために述べておくと、この図においても各機能ブロックをハードウエアとして扱うようにして説明を行うが、各機能動作はＤＳＰとしての２ｃｈバーチャルサラウンド信号生成部２が信号処理プログラム５ａに基づくデジタル信号処理を実行することによって実現されるものである。
【００６２】
また、先の図２からも理解されるように、サービスエリア拡張処理部２Ｂとしては、左チャンネルのバーチャルサラウンド信号Ｌvsを入力して処理するものと、右チャンネルのバーチャルサラウンド信号Ｒvsを入力して処理するものとで２つ設けられるものとなる。
これら２つのサービスエリア拡張処理部２Ｂとしては同一構成でよいことから、この図８では、これらをまとめた形で説明を行う。なお、説明の便宜上、左右のバーチャルサラウンド信号Ｌvs、Ｒvsは、総称してバーチャルサラウンド信号vsとする。
【００６３】
図８において、サービスエリア拡張処理部２Ｂには、ＬＰＦ（Low Pass Filter）２０、ＨＰＦ（High Pass Filter）２１、遅延処理部２２、及び合成処理部２３が設けられる。
図２に示したバーチャライズ処理部２Ａからのバーチャルサラウンド信号vsは、ＬＰＦ２０と共に、分岐してＨＰＦ２１にも供給される。
【００６４】
これらＬＰＦ２０、ＨＰＦ２１には、そのカットオフ周波数として、先に説明したようにして予め求められた起点周波数に基づく周波数が設定される。具体的に、カットオフ周波数としては、少なくとも上記起点周波数よりも低い周波数が設定される。
このことで、上記ＬＰＦ２０によっては、バーチャルサラウンド信号vsのうち周波数特性の乱れが小さな低域側となる信号成分が抽出される。また、上記ＨＰＦ２１では、バーチャルサラウンド信号vsのうち少なくとも上記起点周波数を基準とした高域側となる信号成分が抽出されることになる。
【００６５】
ＬＰＦ２０によって抽出された信号成分は合成処理部２３に供給される。
一方、ＨＰＦ２１によって抽出された信号成分は、遅延処理部２２において所定時間長による遅延が与えられた後、上記合成処理部２３に供給される。
合成処理部２３は、上記ＬＰＦ２０からの信号成分と上記遅延処理部２３からの信号成分とを合成して出力する。
【００６６】
上記合成処理部２３の合成処理によって得られたバーチャルサラウンド信号vsは、サービスエリア拡張処理部２Ｂの出力信号として、先の図１に示したＤ／Ａコンバータ３-L、３-Rに供給される。これによって、スピーカＳＰ-L、スピーカＳＰ-Rからは、サービスエリア拡張処理部２Ｂによるサービスエリア拡張処理の施されたバーチャルサラウンド信号vsに基づく音声が出力される。
この結果、先に説明したような先行音効果が得られ、予め設定された位置ずれ量の許容範囲内において、音像定位効果が保証されるようにすることができる。つまりこれにより、従来よりも音像定位効果のサービスエリアを拡張することができる。
【００６７】
ここで、先行音効果を適切に得るにあたっては、後続音として出力される信号成分に、中高域成分のみではなく若干の低域成分も含まれていることが望ましい。従って、この場合、中高域成分を分離するＨＰＦ２１のカットオフ特性（スロープ）は急峻なものではなく、例えば-6dB/Oct.や-12dB/Oct.といった比較的緩い特性を設定する。
【００６８】
図９は、この点を踏まえた場合のＨＰＦ２１のカットオフ特性を例示した図である。
この図９では比較として、破線によりＬＰＦ２０におけるカットオフ特性も示しているが、ＬＰＦ２０のカットオフ特性は比較的急峻であるのに対し、ＨＰＦ２１のカットオフ特性はより緩やかに設定されることが分かる。
【００６９】
また、先行音効果を得るにあたっては、後続音として出力する中高域成分の遅延量を１〜３０ｍsec程度の範囲内に設定すべきものとされている。このことから、上記遅延処理部２３においても上記１〜３０ｍsecの範囲内の遅延時間長を設定する。
【００７０】
但し、厳密に言うと、この遅延時間長は、設定されるカットオフ周波数（起点周波数）を考慮して設定されるべきものとなる。
ここで、或る遅延時間長を設定した場合、当然のことながら聴取者Ｐの耳元では先行音（低域）と後続音（中高域）とに到達時間差が生じることになる。このような先行音と後続音との到達時間の差により、先のカットオフ周波数（起点周波数）の導出手法の説明にで挙げた原理と同様の原理で、聴取者の耳元での周波数特性には、到達時間差（つまりこの場合は設定した遅延時間長である）に応じた周波数以上の帯域でクシ歯状の乱れが生じるものとなる。つまり厳密には、このような先行音と後続音の合成の面でも周波数特性に乱れを生じさせる可能性がある。
ここで、この乱れを抑制するためには、クシ歯乱れが生じていない帯域の信号のみが先行出力される状態が得られるようにすればよいことになる。そのためには、設定したカットオフ周波数が、遅延時間長の設定値に応じて定まる上記クシ歯状の乱れが現れ始める周波数よりも低くなるという条件が満たされるようにすればよい。換言すれば、遅延時間長としては、その値の設定によって定まる、先行音と後続音との合成音についての周波数特性においてクシ歯状の乱れが現れ始める周波数が、設定したカットオフ周波数よりも高くなるようにして設定されればよい、ということになる。
【００７１】
ここで、具体例を挙げて説明しておくと、例えばサンプリング周波数が４８ｋHzとされる場合において、遅延時間長を１ｍsec（４８サンプル分の時間長）に設定したとすると、周波数特性にクシ歯乱れが現れ始める周波数は、この場合も48000／48×1/2より500Hzとなる。従って、当該１ｍsecによる遅延時間長の設定によれば、カットオフ周波数＝５００Hz未満であれば、先行音・後続音の合成の面で生じる周波数特性の乱れの防止を図ることができる。つまりこれにより、オーディオとしての音色をより適正なものとすることができる。
【００７２】
このとき、設定する遅延時間長が長ければ、その分、先行音と後続音の合成の面でのクシ歯乱れが生じる周波数は低下する。逆に、設定する遅延時間長が短ければその分クシ歯乱れが生じる周波数が上昇する。このことから、設定したカットオフ周波数が低い場合には、遅延時間長としてはその分長い値を設定することができ、逆に設定したカットオフ周波数が高い場合には遅延時間長はその分短い値を設定することになる。
本例の場合、カットオフ周波数は許容する最大の位置ずれ量に応じた値を設定している。従って、この場合の遅延時間長としては、その時間長の設定によって定まる、先行音と後続音との合成音についての周波数特性においてクシ歯状の乱れが現れ始める周波数が、最大の位置ずれ量に応じて設定したカットオフ周波数よりも高い値となるようにして設定されればよい。
【００７３】
ここで、先に説明した到達時間差Ｄｄの値と起点周波数の値との関係からも理解されるように、周波数の値を２倍として、その逆数を求めれば、時間長の値が求まることになる。従って、設定したカットオフ周波数×２の逆数により、設定すべき遅延時間長についての閾値を求めることができる。つまり実際に設定される遅延時間長は、少なくともこのようにして求められる閾値よりも短い時間長とすればよい。
【００７４】
なお、図８に示したサービスエリア拡張処理部２Ｂにおいて、ＬＰＦ２０、ＨＰＦ２１は、それぞれ機能的に満足されていればどのようなフィルタ構成とされても良い。すなわち、ＩＩＲ（Infinite Impulse Response）フィルタで構成しても良いし、ＦＩＲフィルタ(時間軸での直線畳み込み、もしくは周波数軸での循環畳み込み)でも良い。ＦＩＲフィルタとする場合、ＨＰＦ２１と遅延処理部２２とがマージされた構成とすることもできる。さらには、ＬＰＦ２０・ＨＰＦ２１・遅延処理部２２がマージされた構成とすることもできる。
【００７５】
また、サービスエリア拡張処理部２Ｂにおいて、合成処理部２３における合成処理は、単純な加算処理とは限らない。例えば、合成処理後の周波数特性が大きく乱れないように位相調整などを併せて行う処理とされても良い。特に、ＬＰＦ２０、ＨＰＦ２１がゲイン的に重複する周波数帯域で位相特性が逆相関係になっている場合には、合成処理は減算処理とすべきである。
【００７６】
＜第２の実施の形態＞
［再生装置の構成］
続いて、第２の実施の形態について説明する。
第２の実施の形態は、第１の実施の形態のように予め固定のサービスエリアを定めるというものではなく、実際の聴取者Ｐの位置に応じて、可変的にカットオフ周波数（つまりサービスエリア）が設定されるようにするものである。
【００７７】
図１０は、第２の実施の形態としての再生装置３０の内部構成を示したブロック図である。なお、第２の実施の形態の再生装置３０は、第１の実施の形態の再生装置１の構成に対しユーザ位置取得部３１が追加される点と、２ｃｈバーチャルサラウンド信号生成部２の機能動作に変更が加えられる点のみが異なる。図１０において、既に先の図１において説明した部分については同一符号を付して説明を省略する。
【００７８】
この図１０に示す再生装置３０では、先の図１における２ｃｈバーチャルサラウンド信号生成部２と同様に、左チャンネルのオーディオ信号ＦＬ（Ｌ）、右チャンネルのオーディオ信号ＦＲ（Ｒ）、左チャンネルのサラウンド信号ＳＬ、右チャンネルのバーチャルサラウンド信号ＳＲを入力してサービスエリア拡張のための左チャンネルのバーチャルサラウンド信号Ｌvs、右チャンネルのバーチャルサラウンド信号Ｒvsを得る信号処理を行う部位として、２ｃｈバーチャルサラウンド信号生成部３２が設けられる。
この２ｃｈバーチャルサラウンド信号生成部３２としてもＤＳＰにより構成され、この場合のメモリ５には、後述する第２の実施の形態としての信号処理を該ＤＳＰにより実現させるためのプログラムとして、信号生成プログラム５ｂが格納されている。
【００７９】
また、再生装置３０は、ユーザ位置取得部３１を備える。
このユーザ位置取得部３１は、聴取者Ｐ（ユーザ）の聴取位置を表す情報を取得するために設けられる。
この場合、ユーザ位置取得部３１としては、ユーザが操作により自らの聴取位置を表す情報を入力できるようにして構成される。具体的に、ユーザ位置取得部３１としては、例えば各種ボタンやキー操作子などを備えた操作入力部と、該操作入力部からの操作入力情報に基づき、ユーザの聴取位置を表す情報を取得する例えばＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータなどの情報処理部によって構成される。
【００８０】
このユーザ位置取得部３１において、上記情報処理部には、例えばプリセットなどにより定められた所定複数の聴取位置の情報が設定される。この場合、該聴取位置の情報としては、理想位置と、該理想位置から各ずれ量となるそれぞれの位置を特定するための情報とされる。具体的に、この場合の聴取位置情報は、理想位置からのずれ量によって各位置を表す情報となる。
【００８１】
上記情報処理部は、上記各聴取位置を表す情報を例えば所要の表示手段（図示は省略）上に表示してユーザに提示する。
ユーザは、このように提示された各聴取位置の情報から、実際の聴取位置と合致する聴取位置情報を上記操作入力部に対する操作を行って選択する。
情報処理部は、このようなユーザ操作に応じた上記操作入力部からの操作入力情報に基づき、選択された聴取位置の情報を取得する。
【００８２】
このようにしてユーザ位置取得部３１は、ユーザ（聴取者Ｐ）の聴取位置の情報を取得する。
ユーザ位置取得部３１は、該取得した聴取位置の情報を、図示するようにユーザ位置情報として２ｃｈバーチャルサラウンド信号生成部３２に対して供給する。
【００８３】
図１１は、図１０に示される２ｃｈバーチャルサラウンド信号生成部３２が、先に述べた信号処理プログラム５ｂに基づくデジタル信号処理を実行することで実現される機能動作をブロック化して示した図として、特にサービスエリア拡張処理３２Ｂとしての機能動作のみを抽出して示した図である。
なお、図示は省略したが、第２の実施の形態の２ｃｈバーチャルサラウンド信号生成処理部３２としても、先の第１の実施の形態の場合と同様に、オーディオ信号ＦＬ,ＦＲ、及びサラウンド信号ＳＲ,ＳＬからバーチャルサラウンド信号Ｌvs,Ｒvsを生成するためのバーチャライズ処理部２Ａとしての機能動作も行うものとなる。このバーチャライズ処理部２Ａとしての機能動作については既に図２において説明したので、ここでの改めての説明は省略する。
また、第２の実施の形態において、サービスエリア拡張処理部３２Ｂとしては、上記バーチャライズ処理部２Ａによって生成された左チャンネルのバーチャルサラウンド信号Ｌvsを入力して処理するものと、右チャンネルのバーチャルサラウンド信号Ｒvsを入力して処理するものとで２つ設けられるものとなるが、何れも機能ブロックの構成は同様となることから、この図においても、先の図８の場合と同様に一方の構成のみでまとめた形で説明を行う。
【００８４】
先ず、図１１と先の図８とを比較してわかるように、バーチャライズ処理部２Ａによって生成されたバーチャルサラウンド信号Ｌvsまたはバーチャルサラウンド信号Ｒvs（バーチャルサラウンド信号vs）についてカットオフ周波数を基準とした低域側の信号成分を先行出力させるための構成については、図８の場合と同様となる（ＬＰＦ２０、ＨＰＦ２１、遅延処理部２２、合成処理部２３）。
このサービスエリア拡張処理部３２Ｂにおいては、上記ＬＰＦ２０、ＨＰＦ２１のカットオフ周波数を、上記ユーザ位置情報に応じて可変的に設定するための到達時間差計算部３５、及びカットオフ周波数計算部３６がさらに設けられる点が異なる。
【００８５】
到達時間差計算部３５は、図１０に示したユーザ位置取得部３１からのユーザ位置情報に基づき、到達時間差Ｄｄの値を求める。つまり、聴取者Ｐの各耳における各スピーカＳＰからの出力音の到達時間差のうち、より大きい値となる方の到達時間差（つまりずれ方向と一致する方向側の耳における各スピーカＳＰからの出力音の到達時間差）の値を求める。
【００８６】
具体的に、この到達時間差計算部３５では、上記ユーザ位置情報としての、理想位置からの左右方向へのずれ量を表す情報に基づき、その位置（つまり聴取者Ｐの位置）から各スピーカＳＰ-L,ＳＰ-Rまでの距離ＤspL,ＤspRの値を求め、これら距離ＤspL、ＤspRの値を用いて先に説明した［式１］による計算を行うことで、上記到達時間差の値を求める。
このとき、上記ユーザ位置情報から距離ＤspL,ＤspRを求めるにあたっては、予め各聴取位置と距離ＤspL、ＤspRとが対応づけられた対応情報を用いる。具体的に、この対応情報は、ユーザ位置取得部３１（情報処理部）から指示され得る各ユーザ位置の情報（各聴取位置の情報）に対し、それぞれのユーザ位置での各スピーカＳＰ-L,ＳＰ-Rまでの距離ＤspL,ＤspRの値が対応づけられた情報となる。
図示は省略したが、このような対応情報は、例えば図１０に示されるメモリ５内に格納しておく。到達時間差計算部３５は、該対応情報と入力されたユーザ位置情報とに基づき、距離ＤspL,距離ＤspRの値を求める。
【００８７】
その上で、これら距離ＤspL,ＤspRの値を用いた［式１］による計算を行う。
このとき、［式１］による計算を行うにあたっては、理想位置における到達時間差Ｄｐ（＝ＤＬ0＝ＤＲ0）の値が必要となる。この到達時間差Ｄｐの値は、例えば予めメモリ５に格納され、到達時間差計算部３５は、該到達時間差Ｄｐの値を読み出して上記距離ＤspL,ＤspRの値を用いた［式１］による計算を行う。これによって、聴取者Ｐの各耳における各スピーカＳＰからの出力音の到達時間差のうち、より大きい値となる方の到達時間差Ｄｄの値が求まる。
【００８８】
なお、先の第１の実施の形態にて説明したように、理想位置からの左右方向へのずれ量の値が定まれば、三角法により各スピーカＳＰまでの距離ＤspL,ＤspRの値を求めることができる。従って、到達時間差計算部３５としても、このような三角法に基づく計算によって上記距離ＤspL,ＤspRを求めるようにすることもできる。
その場合、距離ＤspL,ＤspRの計算には、先に述べたように「聴取者Ｐの位置（理想位置）←→スピーカＳＰ-L」方向の軸と左右方向の軸とがなす角度、及び「聴取者Ｐの位置（理想位置）←→スピーカＳＰ-R」方向の軸と左右方向の軸とがなす角度を用いるので、これらの角度情報が予め設定されるべきものとなる。これらの角度情報は、例えばメモリ５内に予め格納しておき、到達時間差計算部３５は、計算にあたりこれら角度情報を読み出して用いるものとすればよい。
【００８９】
到達時間差計算部３５により計算された上記到達時間差Ｄｄの値は、カットオフ周波数計算部３６に供給される。
カットオフ周波数計算部３６は、上記到達時間差Ｄｄの値について、その逆数に対し１／２を乗じて起点周波数の値を求める。そして、該起点周波数の値に基づきカットオフ周波数を決定し、該カットオフ周波数がＬＰＦ２０、ＨＰＦ２１に設定されるように指示を行う。これによりＬＰＦ２０、ＨＰＦ２１には、上記カットオフ周波数に応じたフィルタ特性が設定されることになる。具体的な特性としては、この場合も例えば先の図９に示したような特性を設定すればよい。
【００９０】
以上のようにして第２の実施の形態によれば、聴取者Ｐの位置に応じて、可変的にカットオフ周波数を設定することができる。つまりこれにより、聴取者Ｐの位置に応じて可変的に音像定位効果のサービスエリアを設定することができる。
このような第２の実施の形態によっても、聴取者Ｐが理想位置からずれたとしても音像定位効果が維持されるようにできるので、音像定位効果のサービスエリアの拡張が図られる。
【００９１】
また、先の第１の実施の形態の場合、カットオフ周波数は、想定される最も低い周波数に設定されるので、先行音として出力する信号の周波数帯域、すなわち先行音効果の有効帯域は狭めとなるが、上記第２の実施の形態によれば、聴取者Ｐの位置に応じて可変的にカットオフ周波数を設定できるので、先行音効果の有効帯域が不必要に制限されることなく、聴取者Ｐの位置に応じた適切な帯域幅を確保することができる。
【００９２】
なお、第２の実施の形態においても、遅延処理部２２において設定する遅延時間長は、第１の実施の形態の場合と同様の時間長を設定すればよい。
つまり、第２の実施の形態の場合としても、上記遅延時間長としては、その時間長の設定によって定まる、先行音と後続音との合成音についての周波数特性においてクシ歯状の乱れが現れ始める周波数が、最大の位置ずれ量のときに設定されるべきカットオフ周波数よりも低い値となるようにして設定されればよい。
【００９３】
或いは、第２の実施の形態の場合、遅延時間長は、ユーザ位置に応じて設定されるカットオフ周波数に応じて可変的に設定することもできる。
先にも述べたように、先行音と後続音の合成の面での特性乱れを考慮する場合における遅延時間長の閾値は、設定したカットオフ周波数の値の２倍の逆数で求まる。従って遅延時間長を可変的に設定する場合には、設定したカットオフ周波数について上記計算を行って遅延時間長の閾値を求め、該閾値よりも小さな値による遅延時間長を設定するものとすればよい。
【００９４】
［変形例］
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した具体例に限定されるべきものではない。
以下、変形例としての構成について説明する。
【００９５】
図１２は、バーチャライズ処理部の変形例について説明するための図である。
この変形例は、聴取者Ｐから見てスピーカＳＰ-L、スピーカＳＰ-Rが左右対称に配置される状態が理想状態とされることを前提とした場合に、バーチャライズ処理に要するフィルタの個数の削減を図るようにしたものである。
この図１２に示されるバーチャライズ処理部４０は、第１及び第２の実施の形態で説明したバーチャライズ処理部２Ａに代わるものであり、該図１２としても、ＤＳＰとしてのバーチャルサラウンド信号生成部２又は３２のデジタル信号処理によって実現される機能動作をブロック化して示している。
【００９６】
図１２において、この場合も左チャンネルオーディオ信号ＦＬは加算処理部１０Ｌ、右チャンネルオーディオ信号ＦＲは加算処理部１０Ｒに入力される。
一方、左チャンネルサラウンド信号ＳＬは加算処理部４１Ｌに入力されると共に、分岐して減算処理部４１Ｒに対しても入力される。また、右チャンネルサラウンド信号ＳＲは、減算処理部４１Ｒに入力されると共に、分岐して加算処理部４１Ｌにも入力される。
【００９７】
上記加算処理部４１Ｌは、上記のようにして入力された双方の信号を加算する。加算処理部４１Ｌの加算結果は、ＦＩＲフィルタ４２Ｌに供給される。
一方、上記減算処理部４１Ｒは、左チャンネルサラウンド信号ＳＬから右チャンネルサラウンド信号ＳＲを減算する。減算処理部４１Ｒによる減算結果は、ＦＩＲフィルタ４２Ｒに供給される。
【００９８】
ＦＩＲフィルタ４２Ｌ,ＦＩＲフィルタ４２Ｒは、それぞれ入力信号に対して所定の信号特性を与える。これらＦＩＲフィルタ４２Ｌ、ＦＩＲフィルタ４２Ｒに設定されるフィルタ特性は、先の図３に示した各音響伝達関数Ｈ１Ｌ,Ｈ１Ｒ,Ｈ２Ｒ,Ｈ２Ｌ,Ｇ１Ｌ,Ｇ１Ｒ,Ｇ２Ｒ,Ｇ２Ｌに基づき、左チャンネルサラウンド信号ＳＬは左後方から、右チャンネルサラウンド信号ＳＲは右後方からの音声として聴取者Ｐに知覚されるようにして適切に設定される。
【００９９】
上記ＦＩＲフィルタ４２Ｌの出力は加算処理部４３Ｌに入力されると共に、分岐して減算処理部４３Ｒにも入力される。また、上記ＦＩＲフィルタ４２Ｒの出力は減算処理部４３Ｒに入力されると共に、分岐して加算処理部４３Ｌにも入力される。
【０１００】
加算処理部４３Ｌは上記入力された双方の信号を加算する。加算処理部４３Ｌの加算結果は、上述した加算処理部１０Ｌに入力され、ここで左チャンネルオーディオ信号ＦＬと加算される。
また、減算処理部４３Ｒは、ＦＩＲフィルタ４２Ｌの出力からＦＩＲフィルタ４２Ｒの出力を減算する。加算処理部４３Ｒによる減算結果は、上述した加算処理部１０Ｒに入力され、右チャンネルオーディオ信号ＦＲと加算される。
【０１０１】
上記構成により、先に説明したバーチャライズ処理部２Ａと同様のバーチャルサラウンド信号Ｌvs、Ｒvsを生成することができる。つまりこの場合、バーチャライズ処理に要するフィルタ処理部の数は、バーチャライズ処理部２Ａの構成とする場合よりも削減することができ、これによってＤＳＰの処理負担の軽減、ハードウエアリソースの削減が図られる。
【０１０２】
なお、バーチャルサラウンド信号Ｌvs,Ｒvsの生成にあたっては、バイノーラル録音された、或いは予めバイノーラル処理された信号を左チャンネルサラウンド信号ＳＬ、右チャンネルサラウンド信号ＳＲとして入力するようにもできる。その場合は、図２に示したフィルタ処理部１１Ｌ,１１Ｒ,１２Ｌ,１２Ｒ及び加算処理部１３Ｌ,１３Ｒを省略した構成、或いは図１２における加算処理部４１Ｌ,減算処理部４１Ｒ,ＦＩＲフィルタ４２Ｌ,４２Ｒを省略した構成とすることができる。
また、このようにバイノーラル録音された、或いは予めバイノーラル処理された信号を左チャンネルサラウンド信号ＳＬ、右チャンネルサラウンド信号ＳＲとして入力する場合は、さらに左チャンネルオーディオ信号ＦＬ,右チャンネルオーディオ信号ＲＦ、及び加算処理部１０Ｌ,１０Ｒを省略することもできる。
【０１０３】
また、次の図１３〜図１５は、変形例１〜変形例３の構成について説明するための図である。
先ず、図１３に示される変形例１は、サービスエリア拡張処理を施す位置についての変形例である。
これまでの説明では、サービスエリア拡張処理部２Ｂ又は３２Ｂが、バーチャライズ処理部２Ａ又は４０によるバーチャライズ処理後の信号に対してサービスエリア拡張処理を行うものとしたが、この図１３に示されるように、サービスエリア拡張処理は、バーチャライズ処理前の信号に対して行うこともできる。すなわち、バーチャライズ処理が帯域的にいわゆる線形処理のものであれば、サービスエリア拡張処理は、実施の形態で例示したようにバーチャライズ処理の後段に配置しても、図１３のように前段に配置しても全体的な出力信号(Ｌvs,Ｒvs)は等価である。
この場合、サービスエリア拡張処理部２Ｂ又は３２Ｂは、図示するようにバーチャライズ処理部２Ａ又は４０に入力される全チャンネルの信号に対して設ける。
【０１０４】
また、図１４に示す変形例２は、バーチャライズ処理が、入力１チャンネル、出力複数チャンネルとなる場合に対応した構成を例示したものである。
この場合のバーチャライズ処理部５０としては、１チャンネルの入力オーディオ信号から２チャンネルのバーチャルサラウンド信号を生成する。そして、このように生成された各チャンネルのバーチャルサラウンド信号に対し、それぞれ実施の形態としてのサービスエリア拡張処理を施すサービスエリア拡張処理部２Ｂ又は３２Ｂが設けられる。
【０１０５】
なお、図示による説明は省略するが、この場合もバーチャライズ処理が帯域的にいわゆる線形処理のものであれば、サービスエリア拡張処理部２Ｂ又は３２Ｂは、バーチャライズ処理の前段に対して設けることができる。つまりその場合は、図中のバーチャライズ処理部５０に入力される１チャンネルのオーディオ信号に対してサービスエリア拡張処理部２Ｂ又は３２Ｂを設けることになる。当然のことながら、このようにバーチャライズ処理部５０の前段側にサービスエリア拡張処理部２Ｂ又は３２Ｂを設けた方が、処理負担の軽減、ハードウエアリソースの削減が図られる。
【０１０６】
また、図１５に示す変形例３は、最終的な音声出力チャンネル数が２チャンネルよりも多くなる場合に対応した構成を例示したものである。
この図１５の例では、例えばバーチャライズ処理の入力が４チャンネル、出力が６チャンネルとなる場合を例示している。具体的に、この図に示すバーチャライズ処理部５１は、左チャンネルオーディオ信号ＦＬ，右チャンネルオーディオ信号ＦＲ、左チャンネルサラウンド信号ＳＬ、右チャンネルサラウンド信号ＳＲを入力し、それらから６チャンネルの出力信号を生成する。
このようにしてバーチャライズ処理部５１により生成される各チャンネルの信号ごとに、サービスエリア拡張処理部２Ｂ又は３２Ｂが設けられる。
【０１０７】
なお、この変形例３においても、サービスエリア拡張処理はバーチャライズ処理の前段に配置させてもよい。この場合としても、前段に配置した方がサービスエリア拡張処理部２Ｂ又は３２Ｂの数を削減できる。
【０１０８】
ここで、本発明としては、上記各変形例を含め、これまでに説明した構成例に限定されるものではなく、低域を含むバーチャルサラウンド再生を行うシステムに対して好適に適正することができるものである。
【０１０９】
また、これまでの説明では、本発明のサービスエリア拡張処理が、ＤＳＰのデジタル信号処理によって実現される場合を例示したが、例えばこれまで図示により説明した各機能ブロックをハードウエアで構成するなどして、本発明の信号処理をハードウエア構成により実現することもできる。
【０１１０】
また、先の第２の実施の形態では、ユーザ位置取得部３１が操作入力部と情報処理部とを備え、操作入力に基づき聴取者Ｐの位置の情報を取得する構成を例示したが、他の構成を採ることもできる。
例えば、聴取者Ｐの位置情報は、撮像画像の解析を行った結果に基づき取得することもできる。
この場合、ユーザ位置取得部３１としては、例えば各スピーカＳＰ間の中心付近となる位置で聴取者Ｐ側を撮像した画像を得るカメラ部と、該カメラ部による撮像画像について画像解析を行う画像解析部とを備える。この画像解析部では、例えば顔認識技術を用いて撮像画像内における人の顔が映し出されている部分を特定し、この特定された部分の、画像内における位置の情報から、聴取者Ｐの理想位置からの左右方向へのずれ量の値を算出する。このずれ量の値をユーザ位置情報として得る。
【０１１１】
このような画像解析によるユーザ位置情報の特定を行うことで、聴取者Ｐの左右方向のずれ量の値をリアルタイムに得ることができる。つまり、このようにリアルタイムに取得されるずれ量の情報に基づき先に説明したサービスエリア拡張処理部３２Ｂによる動作が実行されることで、サービスエリアは、実際の聴取者Ｐの位置に応じてリアルタイムに可変設定できる。
【０１１２】
また、ユーザ位置情報を取得する手法については、他にも多様に考えられる。
例えば、再生装置３０に付属のリモートコントローラがある場合には、該リモートコントローラの位置から聴取者Ｐの位置を特定するなどの手法を採ることもできる。この手法は、例えば聴取者Ｐがリモートコントローラを手にした状態、或いは手元など近接した位置にリモートコントローラを配置した状態で聴取を行うことを前提とした手法となる。
この場合、ユーザ位置取得部３１としては、上記リモートコントローラが逐次発信する信号を受信した結果に基づき、上記リモートコントローラの位置を特定する。このように特定した位置の情報を、ユーザ位置情報として利用する。
【０１１３】
また、これまでの説明では、音像定位効果の薄れは理想位置からの左右方向の位置ずれが特に大きく影響するとの前提に立ち、聴取者Ｐの位置ずれに関しては、左右方向のずれ量のみを考慮する場合を例示したが、もちろん、前後方向のずれ量も考慮に入れてより確実にサービスエリア拡張が図られるようにすることもできる。
その場合には、聴取者Ｐの前後方向における距離の情報が必要となるが、該前後方向の距離の情報は以下のように求めることができる。例えば、ユーザ位置取得部３１として、上述のようにカメラ部と画像解析部を設ける場合には、画像解析において、人の顔が映し出されている部分の画サイズから前後方向の距離を推定することができる。
或いは、カメラ部がフォーカス機能を備える場合には、合焦点の焦点距離の情報から前後方向の距離を推定することができる。
【０１１４】
また、第２の実施の形態のようにユーザ位置情報を取得する構成を採る場合においては、聴取者Ｐが理想位置と一致する位置にあるとされた場合には、先行音・後続音の分割出力は行わずに全帯域を同時出力するように構成することもできる。
例えば、この場合の動作切り換え制御は、ユーザ位置取得部３１が行うようにすればよい。つまり、この場合のユーザ位置取得部３１としては、上記操作入力や画像解析から特定した位置情報が、理想位置と一致するものであるか否かを判別し、一致しない場合はサービスエリア拡張処理部３２Ｂとしての機能動作が実行されるようにバーチャルサラウンド信号生成部３２に対する指示を行い、一致する場合はサービスエリア拡張処理部３２Ｂとしての機能動作が省略されるようにバーチャルサラウンド信号生成部３２に対する指示を行うものとすればよい。
【０１１５】
また、第２の実施の形態では、各スピーカＳＰからの出力音の到達時間差の値からカットオフ周波数を求める場合のみを例示したが、第２の実施の形態としても、実際に周波数特性を測定した結果に基づきカットオフ周波数を求めるように構成することもできる。
その場合、再生装置３０としては、少なくともマイクロフォンからの収音信号の入力が可能となるように構成しておく。測定時には、聴取者Ｐが実際に聴取を行う位置において、耳元となる位置に上記マイクロフォンを設置する。その状態で、各スピーカＳＰから例えばＴＳＰ（Time Stretched Pulse）信号などのテスト信号を出力させ、上記マイクロフォンからの収音信号を取得し、この収音信号に基づき各スピーカＳＰからの出力音についての周波数特性を測定する。この周波数特性においてクシ歯状の乱れが現れ始める起点周波数を検出し、その周波数に基づきＬＰＦ２０、ＨＰＦ２１に設定すべきカットオフ周波数を求める。
ここで、カットオフ周波数の設定にあたって求めるべき起点周波数は、各スピーカＳＰからの出力音の到達時間差の値が大きくなる方の耳側の起点周波数となる。換言すれば、双方の耳位置についての起点周波数のうち、より低い方の起点周波数を求める必要がある。従って、上記マイクロフォンを両耳位置に設置して双方の耳位置での周波数特性を測定するとした場合は、双方の耳について検出された起点周波数のうち、より周波数の低い方の起点周波数を選択すればよい。或いは、マイクロフォンを、予め理想位置からのずれ方向と一致する耳側のみに配置して測定を行うものとしておけば、求めるべき起点周波数のみを検出することができるので、上記のような選択は不要とできる。
【０１１６】
なお、このように周波数特性を実測する手法を採る場合には、より正確なカットオフ周波数の設定を行うことができるが、マイクロフォンが別途必要であったり、また測定の手間をユーザに強いるものとなってしまう。これに対し、先に説明したように操作入力や画像解析の結果に基づき計算により起点周波数を求める手法を採る場合には、ユーザとしては聴取位置の選択操作を行う、或いは画像解析の場合には操作負担をも不要にできるなど、より簡易にサービスエリアの拡張を図ることができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の第１の実施の形態としての信号処理装置を備えて構成される再生装置の内部構成を示したブロック図である。
【図２】第１の実施の形態の２ｃｈバーチャルサラウンド信号生成部（ＤＳＰ）のデジタル信号処理によって実現される各機能動作をブロック化して示した図である。
【図３】バーチャライズ処理で用いる音響伝達関数について説明するための図である。
【図４】聴取者が理想的な聴取位置にある場合での、聴取者の各耳における各スピーカからの出力音の到達時間差について説明するための図である。
【図５】聴取者が理想的な聴取位置から左右方向にずれた場合での、聴取者の各耳における各スピーカからの出力音の到達時間差について説明するための図である。
【図６】聴取者の各耳位置での各スピーカからの出力音の合成音についての周波数特性（周波数−振幅特性）の測定結果を示した図である。
【図７】聴取者の耳位置における各スピーカからの出力音の到達時間差の値からカットオフ周波数が求まることについて説明するための図である。
【図８】第１の実施の形態のサービスエリア拡張処理部としての機能動作をブロック化して示した図である。
【図９】ＬＰＦとＨＰＦのカットオフ特性を例示した図である。
【図１０】第２の実施の形態としての再生装置の内部構成を示したブロック図である。
【図１１】第２の実施の形態のサービスエリア拡張処理部としての機能動作をブロック化して示した図である。
【図１２】バーチャライズ処理部の変形例について説明するための図である。
【図１３】変形例１としての構成を示した図である。
【図１４】変形例２としての構成を示した図である。
【図１５】変形例３としての構成を示した図である。
【符号の説明】
【０１１８】
１,３０  再生装置、２,３２  ２ｃｈバーチャルサラウンド信号生成部、２Ａ,４０,５１  バーチャライズ処理部、２Ｂ,３２Ｂ  サービスエリア拡張処理部、３−Ｌ,３−Ｒ  Ｄ／Ａコンバータ、４−Ｌ,４−Ｒ  アンプ、５  メモリ、５ａ,５ｂ  信号処理プログラム、ＳＰ-L,ＳＰ-R  スピーカ、１１Ｌ,１１Ｒ,１２Ｌ,１２Ｒ,１４Ｌ,１４Ｒ,１５Ｌ,１５Ｒ  フィルタ処理部、２０  ＬＰＦ、２１  ＨＰＦ、２２  遅延処理部、２３  合成処理部、３１  ユーザ位置取得部、３５  到達時間差計算部、３６  カットオフ周波数計算部、４２Ｌ,４２Ｒ  ＦＩＲフィルタ
【図１】
0004518151.tif 000002
【図２】
0004518151.tif 000003
【図３】
0004518151.tif 000004
【図４】
0004518151.tif 000005
【図５】
0004518151.tif 000006
【図６】
0004518151.tif 000007
【図７】
0004518151.tif 000008
【図８】
0004518151.tif 000009
【図９】
0004518151.tif 000010
【図１０】
0004518151.tif 000011
【図１１】
0004518151.tif 000012
【図１２】
0004518151.tif 000013
【図１３】
0004518151.tif 000014
【図１４】
0004518151.tif 000015
【図１５】
0004518151.tif 000016