(57)【要約】【課題】  演奏や音声を再生する場合、自然で躍動感や臨場感にあふれた再生を実現する。【解決手段】  スピーカＳＰ1〜ＳＰmによりスピーカアレイを構成する。スピーカアレイＳＰ1〜ＳＰmから出力される音波が波面合成されて仮想音源を形成するようにスピーカアレイＳＰ1〜ＳＰmに供給されるオーディオ信号を処理する処理回路ＷＦ1〜ＷＦmを設ける。仮想音源の位置を設定する設定回路２２と、この設定回路２２による仮想音源の位置を、その近傍で変化させるようにオーディオ信号の処理を制御する制御回路２４とを設ける。【選択図】  図８
2006086921.tif 000002
【特許請求の範囲】
【請求項１】
スピーカアレイに所定のオーディオ信号を供給して波面合成を行い、
この波面合成により仮想音源を形成するとともに、
上記オーディオ信号を制御して上記仮想音源の位置を、その近傍で変化させる
ようにしたオーディオ信号の再生方法。
【請求項２】
請求項１に記載のオーディオ信号の再生方法において、
上記仮想音源の位置の変化が所定の揺らぎである
ようにしたオーディオ信号の再生方法。
【請求項３】
請求項２に記載のオーディオ信号の再生方法において、
上記揺らぎのパラメータあるいはパターンをユーザが設定できる
ようにしたオーディオ信号の再生方法。
【請求項４】
請求項１に記載のオーディオ信号の再生方法において、
上記仮想音源を複数の位置に形成するとともに、その位置を変化させる
ようにしたオーディオ信号の再生方法。
【請求項５】
スピーカアレイから出力される音波が波面合成されて仮想音源を形成するように上記スピーカアレイに供給されるオーディオ信号を処理する処理回路と、
上記仮想音源の位置を設定する設定回路と、
この設定回路による上記仮想音源の位置を、その近傍で変化させるように上記オーディオ信号の処理を制御する制御回路と
を有するオーディオ信号の再生装置。
【請求項６】
請求項５に記載のオーディオ信号の再生装置において、
上記仮想音源の位置の変化が所定の揺らぎである
ようにしたオーディオ信号の再生装置。
【請求項７】
請求項５に記載のオーディオ信号の再生装置において、
上記処理回路は、上記仮想音源を複数の位置に形成する
ようにしたオーディオ信号の再生装置。
【請求項８】
請求項６に記載のオーディオ信号の再生装置において、
上記揺らぎの種類、大きさ、周波数をユーザが選択する操作手段を有する
ようにしたオーディオ信号の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、オーディオ信号の再生方法およびその再生装置に関する。
【背景技術】
【０００２】
２チャンネルステレオにおいては、例えば図１０に示すように、左チャンネルのスピーカＳＰLと、右チャンネルのスピーカＳＰRとを結ぶ線上に仮想音源ＶSSが形成され、この仮想音源ＶSSから音響が出力されるとともに、この仮想音源ＶSSの位置に音像が定位する。この場合、リスナは、スピーカＳＰL、ＳＰRを結ぶ直線を底辺とする正三角形の頂点に位置すると、最良の効果が得られる。
【０００３】
また、多数のスピーカにより音場を形成するマルチチャンネルステレオにおいては、もとの音場をより正確に再現することができる。
【０００４】
なお、先行技術文献として例えば以下のものがある。
【特許文献１】特表２００２−５０５０５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、実際に楽器を演奏する場合、ほとんどの楽器は演奏者が手で支えているので、楽器の位置は演奏につれて、特にメロディやリズムにつれて小さく揺らいでいる。また、ピアノなどのように床に固定して演奏する楽器であっても、楽器から発せられた音は演奏者により反射したり回折したりするとともに、演奏者は演奏につれて体を動かすので、楽器の位置は演奏につれて等価的に揺らいでいる。さらに、歌、スピーチ、会話などの場合も、歌手や話者の頭や顔の位置や向き、つまり音源である口の位置は発声につれて揺らいでいる。
【０００６】
ところが、ステレオシステムにより仮想音源ＶSSを形成した場合、その位置は上述のように両スピーカＳＰL、ＳＰRを結ぶ線上に固定されている。このため、ステレオシステムにより、演奏や発声を再生すると、不自然で躍動感や臨場感に乏しいものとなってしまう。
【０００７】
この発明は、このような問題点を解決しようとするものである。
【課題を解決するための手段】
【０００８】
この発明においては、
スピーカアレイに所定のオーディオ信号を供給して上記スピーカアレイから出力される音波の波面合成を行い、
この波面合成により仮想音源を形成するとともに、
上記オーディオ信号を制御して上記仮想音源の位置を、その近傍で変化させる
ようにしたオーディオ信号の再生方法
とするものである。
【発明の効果】
【０００９】
この発明によれば、再現される仮想音源の位置に揺らぎが与えられるので、音楽の再生時であれば、実際に楽器を演奏しているかのように、自然で、躍動感や臨場感にあふれ、ふくらみのある音場や音源を提供することができる。あるいは音声であれば、息使いのわかるようなリアリティを出すことができる。
【００１０】
さらに、音源の移動状態をシミュレートしたり、デフォルメした特殊効果を創造したりすることもできる。特に、アニメやゲームあるいはＳＦ映画などの映像をともなうような場合には、より効果的な音像処理を行うことができる。
【発明を実施するための最良の形態】
【００１１】
この発明は、波面合成の技術を用いて仮想音源を実現するとともに、この仮想音源の位置を制御することにより上述の問題点を解決するものである。これらについて、順を追って以下に説明する。
【００１２】
〔１〕  音場の再現について
今、図１に示すように、任意の形状の空間を包み込んだ閉曲面Ｓを想定するとともに、この閉曲面Ｓの内部には音源が含まれていないものとする。そして、この閉曲面Ｓの内部空間および外部空間について、
ｐ(ｒi) ：内部空間における任意の点ｒiの音圧
ｐ(ｒj) ：閉曲面Ｓ上における任意の点ｒjの音圧
ｄｓ    ：点ｒjを含む微小面積
ｎ      ：点ｒjにおける微小面積ｄｓに対する法線
ｕn(ｒj)：点ｒjにおける法線ｎ方向の粒子速度
ω      ：オーディオ信号の角周波数
ρ      ：空気の密度
ｃ      ：音速（＝340m/s）
ｋ      ：ω／ｃ
とすると、キルヒホッフの積分公式は図２における(1)式で示される。
【００１３】
これは、閉曲面Ｓ上の点ｒjの音圧ｐ(ｒj)と、その点ｒjにおける法線ｎの方向の粒子速度ｕn(ｒj)とを適切に制御することができれば、閉曲面Ｓの内部空間の音場を再現できることを意味している。
【００１４】
そこで、例えば図３Ａに示すように、左側に音源ＳＳが配置され、右側に半径Ｒの閉曲面ＳR（破線図示）が配置されているとする。すると、音源ＳＳにより閉曲面ＳRの内部空間に生じる音場は、上記のように閉曲面ＳR上の音圧および粒子速度を制御すれば、音源ＳＳがなくても再現が可能である。そして、このとき、音源ＳＳの位置に仮想音源ＶSSを生じることになる。つまり、閉曲面ＳR上の音圧および粒子速度を適切に制御すれば、閉曲面ＳRの内側にいるリスナは、音源ＳＳの位置に仮想音源ＶSSが存在するかのように音響を知覚する。
【００１５】
次に、閉曲面ＳRの半径Ｒを無限大にすると、図３Ａに実線で示すように、閉曲面ＳRは平面ＳSRとなる。そして、この場合も、音源ＳＳにより閉曲面ＳRの内部空間、すなわち、平面ＳSRの右側に生じる音場は、平面ＳSR上の音圧および粒子速度を制御することにより、音源ＳＳがなくても再現が可能である。また、このときも、音源ＳＳの位置に仮想音源ＶSSを生じる。
【００１６】
つまり、平面ＳSR上のすべての点における音圧および粒子速度を適切に制御すれば、平面ＳSRよりも左側に仮想音源ＶSSを配置し、右側に音場を配置することができ、その音場を受聴空間とすることができる。
【００１７】
実際には、図３Ｂにも示すように、平面ＳSRを有限の広さとし、この平面ＳSR上における有限の点ＣP1〜ＣPxの音圧および粒子速度を制御すればよい。なお、以下においては、平面ＳSR上の、音圧および粒子速度の制御される点ＣP1〜ＣPxを「制御点」と呼ぶものとする。
【００１８】
〔２〕  制御点ＣP1〜ＣPxにおける音圧および粒子速度の制御について
制御点ＣP1〜ＣPxにおける音圧および粒子速度を制御するには、図４にも示すように、
(A) 平面ＳSRの音源側に、複数ｍ個のスピーカＳＰ1〜ＳＰmを、平面ＳSRと例えば平行に配置する。なお、このスピーカＳＰ1〜ＳＰmはスピーカアレイを構成するものである。  
(B) スピーカＳＰ1〜ＳＰmに供給されるオーディオ信号を制御して制御点ＣP1〜ＣPxにおける音圧および粒子速度を制御する。  
とすればよい。
【００１９】
このようにすれば、スピーカＳＰ1〜ＳＰmから出力される音波が波面合成され、あたかも仮想音源ＶSSから音波が出力されているかのように作用するとともに、所望の音場を形成することができる。なお、スピーカＳＰ1〜ＳＰmから出力される音波が波面合成される位置は、平面ＳSRとなるので、以下においては、平面ＳSRを「波面合成面」と呼ぶものとする。
【００２０】
〔３〕  波面合成の様子
図５は、波面合成の様子の一例をシミュレーションにより示すものである。スピーカＳＰ1〜ＳＰmに供給されるオーディオ信号の処理内容・処理方法については後述するが、この例においては、各値を以下のように設定した場合である。  
スピーカの数ｍ：16個
スピーカの間隔：10cm
スピーカの口径：８cmφ
制御点の位置  ：スピーカからリスナ側に10cmの位置
制御点の数    ：1.3cm間隔で１列に116点
仮想音源の位置：受聴領域の前方１ｍ（図５Ａの場合）
受聴領域の前方３ｍ（図５Ｂの場合）
受聴領域の広さ：2.9ｍ（前後方向）×４ｍ（左右方向）
なお、
ｗ  ：スピーカの間隔〔ｍ〕
ｃ  ：音速（＝340m/s）
ｆhi：再生上限周波数〔Hz〕
とすれば、
ｆhi＝ｃ／（２ｗ）
となる。したがって、スピーカＳＰ1〜ＳＰm（ｍ＝16）の間隔ｗは狭くすることが好ましく、そのためにはスピーカＳＰ1〜ＳＰmの口径を小さくする必要がある。
【００２１】
また、スピーカＳＰ1〜ＳＰmに供給されるオーディオ信号をデジタル処理している場合には、そのサンプリングによる影響を除くため、制御点ＣP1〜ＣPxの間隔は、そのサンプリング周波数に対応する波長の1/4〜1/5以下にすることが好ましい。上記の数値例においては、サンプリング周波数を８ｋHzとしたので、制御点ＣP1〜ＣPxの間隔を上記のように1.3cmとしている。
【００２２】
そして、図５によれば、スピーカＳＰ1〜ＳＰmから出力された音波は、仮想音源ＶSSから出力された音波であるかのように波面合成され、受聴領域にきれいな波紋が描かれている。つまり、波面合成が適切に行われ、目的とする仮想音源ＶSSおよび音場が形成されていることがわかる。
【００２３】
また、上記のように図５Ａの場合には、仮想音源ＶSSの位置が受聴領域の前方１ｍであって、仮想音源ＶSSが平面ＳSRに比較的近いので、波紋の曲率は小さい。しかし、図５Ｂの場合には、仮想音源ＶSSの位置が受聴領域の前方３ｍであって、仮想音源ＶSSが図５Ａの場合よりも平面ＳSRから遠ざかっているので、波紋の曲率は図５Ａの場合よりも大きくなっている。つまり、仮想音源ＶSSを遠ざけるにつれて、音波は平行波面に近づいていくことがわかる。
【００２４】
〔４〕  波面合成のアルゴリズム
波面合成面ＳSRにおける波面合成は、例えば図４において、仮想音源ＶSSの位置の音源ＳＳによって制御点ＣP1〜ＣPxに生じる信号と、スピーカＳＰ1〜ＳＰmによって制御点ＣP1〜ＣPxに生じる信号との差が最小となるように、スピーカＳＰ1〜ＳＰmから出力される信号を制御すればよい。
【００２５】
そこで、図６Ａに示すように、
ｕ(ω)：仮想音源ＶSSの出力信号、つまり、原オーディオ信号
Ａ(ω)：仮想音源ＶSSから制御点ＣP1〜ＣPxまでの伝達関数
ｄ(ω)：制御点ＣP1〜ＣPxに得られるべき信号（希望信号）
とすると、原オーディオ信号ｕ(ω)に伝達関数Ａ(ω)を畳み込んだ信号が、希望信号ｄ(ω)であるから、
ｄ(ω)＝Ａ(ω)・ｕ(ω)
となる。この場合、仮想音源ＶSSから制御点ＣP1〜ＣPxまでの伝達特性を求めておくことにより、伝達関数Ａ(ω)を規定できる。
【００２６】
また、図６Ｂに示すように、
Ｈ(ω)：適切な波面合成を実現するために信号ｕ(ω)に畳み込む伝達関数
Ｃ(ω)：スピーカＳＰ1〜ＳＰmから制御点ＣP1〜ＣPmまでの伝達関数
ｑ(ω)：波面合成により実際に制御点ＣP1〜ＣPxに再現される信号
とすると、同様に、
ｑ(ω)＝Ｃ(ω)・Ｈ(ω)・ｕ(ω)
となる。この場合、スピーカＳＰ1〜ＳＰmから制御点ＣP1〜ＣPxまでの伝達特性を求めておくことにより、伝達関数Ｃ(ω)を規定できる。
【００２７】
そして、伝達関数Ｈ(ω)を制御して再現信号ｑ(ω)を希望信号ｄ(ω)に等しくすれば、このときの再現信号ｑ(ω)により適切な波面合成が実現され、希望信号ｄ(ω)により形成した音場および音像と同等の音場および音像を再現することができる。
【００２８】
したがって、
ｅ(ω)＝ｄ(ω)−ｑ(ω)
で示されるエラー信号ｅ(ω)を求め、値ｅ(ω)T・ｅ(ω)が最小となるように伝達関数Ｈ(ω)を制御することになる。なお、最小二乗解は、
Ｈ(ω)＝Ｃ(ω)T・Ａ(ω)／（Ｃ(ω)T・Ｃ(ω)）
となる。
【００２９】
また、仮想音源ＶSSを理想点音源とするには、
Ｑ(ω)＝ｅ（−ｊωｘ／ｃ）／ｘ
ｘ：距離
ｃ：音速
で示される伝達関数Ｑ(ω)を、伝達関数Ａ(ω)およびＣ(ω)に代入して伝達関数Ｈ(ω)を求めればよい。
【００３０】
〔５〕  生成回路
上記の〔４〕にしたがって原オーディオ信号ｕ(ω)から再現オーディオ信号ｑ(ω)を生成する場合、その生成回路は例えば図７に示すように構成することができる。なお、この生成回路は、スピーカＳＰ1〜ＳＰmのそれぞれごとに設けられるもので、これを生成回路ＷＦ1〜ＷＦmとする。
【００３１】
すなわち、生成回路ＷＦ1〜ＷＦmのそれぞれにおいて、デジタル化された原オーディオ信号ｕ(ω)が、入力端子１１を通じてデジタルフィルタ１２に供給されて希望信号ｄ(ω)とされる。また、信号ｕ(ω)が、デジタルフィルタ１３およびデジタルフィルタ１４に順に供給されて再現信号ｑ(ω)とされる。そして、これら信号ｄ(ω)、ｑ(ω)が減算回路１５に供給されてエラー信号ｅ(ω)が取り出され、この信号ｅ(ω)が変換回路１７により制御信号に変換され、この制御信号により、エラー信号ｅ(ω)が最小となるようにデジタルフィルタ１３の伝達関数Ｈ(ω)が制御される。
【００３２】
したがって、デジタルフィルタ１４から出力される再現信号ｑ(ω)を、スピーカＳＰ1〜ＳＰmのうち、対応するスピーカに供給すれば、仮想音源ＶSSが形成されるとともに、その位置に音像が形成される。
【００３３】
〔６〕  実施例
図８は、上述の〔１〕〜〔５〕にしたがって仮想音源ＶSSの位置に揺らぎを与える、あるいは仮想音源ＶSSの位置を移動させるようにした再生装置の一例を示す。すなわち、ＣＤプレーヤ、ＤＶＤプレーヤ、デジタル放送チューナなどの信号源ＳＣからデジタルオーディオ信号ｕ(ω)が取り出され、この信ｕ(ω)が生成回路ＷＦ1〜ＷＦmに供給されて再現信号ｑ(ω)に対応する再現信号ｑ1(ω)〜ｑm(ω)が生成される。そして、これら信号ｑ1(ω)〜ｑm(ω)がＤ／Ａコンバータ回路ＤＡ1〜ＤＡmに供給されてアナログのオーディオ信号にＤ／Ａ変換され、これら信号がパワーアンプＰＡ1〜ＰＡmを通じてスピーカＳＰ1〜ＳＰmに供給される。
【００３４】
なお、この場合、スピーカＳＰ1〜ＳＰmは、例えば図４により説明したように、リスナの前方に水平に配置され、スピーカアレイを構成している。具体的には、〔３〕により説明したとおりとすることができる。
【００３５】
また、仮想音源ＶSSの位置を設定するため、音源位置設定回路２２が設けられて所定の制御信号Ｓ22が形成され、この制御信号Ｓ22が生成回路ＷＦ1〜ＷＦmのデジタルフィルタ１３〜１３に供給されてそれらの伝達関数Ｈ1(ω)〜Ｈm(ω)が制御される。この結果、音源位置設定回路２２の操作手段２３を操作すると、その操作につれて生成回路ＷＦ1〜ＷＦmのデジタルフィルタ１３〜１３の伝達関数Ｈ1(ω)〜Ｈm(ω)が制御され、仮想音源ＶSSの位置が、例えば図５ＡおよびＢに示すように、あるいはさらに他の位置へと変更される。
【００３６】
さらに、仮想音源ＶSSの位置に揺らぎを与えるため、揺らぎ制御回路２４が設けられて揺らぎ制御信号Ｓ24が形成され、この制御信号Ｓ24により音源位置設定回路２２が制御され、その結果、制御信号Ｓ22により設定される仮想音源ＶSSの位置に揺らぎが与えられる。
【００３７】
この揺らぎの禁止・許可、種類（波形）、大きさ、周波数（速度）、規則性の有無などのパラメータは、揺らぎ制御回路２４に接続された操作手段２５を通じてリスナ（ユーザ）により選択あるいは設定される。なお、このとき、１／ｆ揺らぎのように、揺らぎの周波数が高くなるほど振幅を小さくすることができる。
【００３８】
図９は制御信号Ｓ24の制御により得られる揺らぎの例を示す。図９Ａは、仮想音源ＶSSが、本来の位置を中心にして、その前後方向、左右方向、上下方向、あるいはこれらを組み合わせた方向に揺らぐ場合である。また、図９Ｂは、仮想音源ＶSSが３次元空間における所定の面内で回転する場合であり、図９Ｃは、あらかじめ用意しておいた関数の示すコースに沿って立体的に移動する場合である。
【００３９】
さらに、図９Ｄは、仮想音源ＶSSの大きさが変化する場合である。この場合には、例えば、スピーカＳＰ1〜ＳＰmを複数組に分割し、それぞれの組により形成される仮想音源位置を異ならせるとともに、その組み合わせを変更すればよい。なお、これら図９Ａ〜Ｄの揺らぎは組み合わせることも可能で、仮想音源ＶSSが例えば図９Ｂに示すように回転しながら図９Ｄに示すように大きさも変化するように制御することもできる。そして、これらの揺らぎのパターンも、操作手段２５を通じてリスナ（ユーザ）により選択あるいは設定される。
【００４０】
こうして、図８に示した再生装置においては、再現される仮想音源ＶSSの位置に揺らぎを与えたり、位置を変化させたりすることができる。したがって、この再生装置によれば、音楽の再生時であれば、実際に楽器を演奏しているかのように、自然で、躍動感や臨場感にあふれ、ふくらみのある音場や音源を提供することができる。あるいは音声であれば、息使いのわかるようなリアリティを出すことができる。
【００４１】
さらに、音源の移動状態をシミュレートしたり、デフォルメした特殊効果を作り出したりすることができる。特に、アニメやゲームあるいはＳＦ映画などの映像をともなうような場合には、より効果的な音像処理を行うことができる。例えば、音源が遠くからリスナに向かって近づいてくる場合、そのように仮想音源ＶSSの位置を制御すると同時に、音源が近づくにつれて仮想音源ＶSSの大きさが次第に大きくなるように制御すれば、よりいっそうの迫力や臨場感を与えることができる。
【００４２】
〔７〕  その他
上述においては、複数ｍ個のスピーカＳＰ1〜ＳＰmを１列に水平に配置してスピーカアレイを構成した場合であるが、垂直面内に複数行×複数列にわたってマトリックス状に配置してスピーカアレイを構成することもできる。また、上述においては、スピーカＳＰ1〜ＳＰmと、平面ＳSRとは平行であるとしたが、平行である必要はなく、さらに、スピーカＳＰ1〜ＳＰmは直線状あるいは平面状に配置しなくてもよい。
【００４３】
また、方向に関する聴覚は、水平方向には感度や識別能力は高いが、垂直方向には低いので、スピーカＳＰ1〜ＳＰmを、十字状あるいは逆Ｔ字状に配置してもよい。さらに、ＡＶシステムと一体化するような場合には、スピーカＳＰ1〜ＳＰmをディスプレイの上下左右に枠状に配置したり、ディスプレイの上あるいは下と左右とに冂字状あるいは凵字状に配置したりすることもできる。
【００４４】
さらに、映像をともなう場合には、その映像となるビデオ信号にしたがって仮想音源ＶSSの揺らぎを制御することもできる。
【００４５】
〔略語の一覧〕
ＡＶ  ：Audio and Visual
ＣＤ  ：Compact Disc
Ｄ／Ａ：Digital to Analog
ＳＦ  ：Science Fiction
【図面の簡単な説明】
【００４６】
【図１】この発明を説明するための音響空間の図である。
【図２】この発明を説明するための数式を示す図である。
【図３】この発明を説明するための音響空間の図である。
【図４】この発明による音響空間の一例を示す図である。
【図５】この発明における波面合成の様子を示す図である。
【図６】この発明を説明するための音響空間の図である。
【図７】この発明に使用できる回路の一形態を示す系統図である。
【図８】この発明の一形態を示す系統図である。
【図９】この発明を説明するための図である。
【図１０】一般のステレオ音場を説明するための図である。
【符号の説明】
【００４７】
１２、１３および１４…デジタルフィルタ、１７…変換回路、２２…音源位置設定回路、２４…揺らぎ制御回路、ＳＣ…信号源、ＳＰ1〜ＳＰm…スピーカ、ＷＦ1〜ＷＦm…生成回路
【図１】
2006086921.tif 000003
【図２】
2006086921.tif 000004
【図３】
2006086921.tif 000005
【図４】
2006086921.tif 000006
【図５】
2006086921.tif 000007
【図６】
2006086921.tif 000008
【図７】
2006086921.tif 000009
【図８】
2006086921.tif 000010
【図９】
2006086921.tif 000011
【図１０】
2006086921.tif 000012